AI CCTV를 위한인공지능 전용 가속기
iSpur NPU
개요
인공지능을 위한 전용 가속기
수퍼게이트 NPU는 고성능 비전 AI 및 생성형 AI 추론을 위해 설계된 AI 프로세서입니다. 수퍼게이트가 자체 설계한 커스텀 ISA와 메모리 아키텍처를 기반으로, 다양한 컴퓨터 비전 및 자연어 처리 모델을 온디바이스에서 고속 처리할 수 있도록 최적화되었습니다.
제품 특징
최대 64TOPS / 32TFLOPS 성능
AI 연산 가속기 및 병렬화 구조로 고해상도 영상 분석과 대규모 언어 모델 추론을 동시에 처리합니다.
다중 채널 동시 처리
15~30 FPS로 다채널 실시간 영상 스트림을 병렬 분석하여 더 많은 객체를 정확히 탐지합니다.
언어 모델(sLM) 지원
자체 AI 컴파일러와 저수준(C/C++) 최적화 백엔드로 생성형 AI 추론을 지원합니다.
전력 효율 중심 설계
계층구조의 내장 SRAM 메모리를 이용한 데이터 지역성 최적화로 DRAM 접근을 최소화하여 저전력 고효율로 연산 처리합니다.
온디바이스 추론 최적화
FP16, FP8, INT8 등의 데이터 타입을 지원하며 양자화로 최적화가 가능 합니다.
AI 전용 ISA구현
- 생성형 AI 연산에 특화된 연산자를 사용자가 직접 제어 가능
- 오픈소스 및 확장 가능한 하드웨어 ISA 설계를 지원합니다.
다양한 AI 모델 Zoo
수퍼게이트 NPU에 포팅이 되고 성능이 검증된 다양한 AI 모델 Zoo의 제공을 통하여 AI 응용 프로그램의 개발 및 배포를 효과적으로 달성할 수 있도록 도와줍니다.
- PyTorch 기반 GGUF 모델을 직접 최적화하여 온디바이스 서빙 제공
- 60개 이상의 최신 sLM 모델 대응
AI 개발 환경
AI 컴파일러를 포함한 개발자 친화적인 개발 환경은 다양한 AI 모델의 개발 및 배포를 효과적으로 달성할 수 있도록 도와줍니다.
제품 사양
AI 처리 능력
수퍼게이트 NPU의 AI 비전 프로세서는 다양한 비전 처리 알고리즘과 비디오 처리 알고리즘과 함께 생성성 AI 기반의 언어모델을 최적화하여 제공합니다.
메모리 아키텍처
고유한 메모리 아키텍처를 통해 데이터 전송 속도를 극대화하고, 전력 소비를 최소화합니다.
AI 개발 환경 및 생태계
- 모델 변환 도구 포함: GGUF, HuggingFace, safetensors, pytorch 등 다양한 포멧 제공호환
- 통합 SDK: 커맨드라인 API, 성능 분석 도구, 디버깅 툴
지원 모델
비전 모델 (영상 기반 AI)
- YOLOv5/v8
- ViT (Vision Transformer)
- DeepSORT
- SAM (Segment Anything)
생성형 AI 모델 (LLM)
- LLaMA 2/3
- TinyLlama
- Mistral
- Qwen
- CodeLlama
- Baichuan, Gemma 등
적용 사례
스마트 시티
CCTV 객체 탐지 + 자연어 설명 자동생성
산업 현장
설비 상태 인식 + 유지보수 알림 생성
드론 분석기
실시간 영상 분석 및 명령어 기반 설명 생성
무인 매장
행동 감지 + 상품 설명 자동 제공
전력 및 성능
연산 성능
최대 64 TOPS / 32TFLOPS
영상 추론
8채널 @ 30FPS
언어 처리 속도
최대 420 tokens/sec (LLaMA 2 7B 기준)
전력 소모
3~5W 내외 (Edge camera 환경 기준)
추가 지원
01
PCIe 기반 호스트 통합
(x86 호스트 → NPU 명령어 전달)
02
LLM 양자화 및 고정소수점 지원
03
모델 Zoo 지속 업데이트 및 상시 지원