요약
2026년 6월 24일 OpenAI와 Broadcom이 Jalapeño를 공개했다. OpenAI 최초의 자체 설계 실리콘이다. 훈련 가속기나 범용 AI 프로세서가 아니라 LLM 추론만을 위한 전용 ASIC이다.
핵심 특징:
- 레티클(reticle) 크기의 단일 다이: 칩렛 없이 만들 수 있는 최대 크기의 다이.
- 시스톨릭 어레이: 행렬 곱셈에 최적화된 2D 처리 요소 격자.
- HBM 스택 × 8: 2.5D 실리콘 인터포저 위에 배치해 컴퓨팅과 메모리 간 물리적 거리를 최소화.
- 9개월 개발 사이클: OpenAI 모델이 설계 속도를 높인 고성능 ASIC 역사상 가장 빠른 사이클.
- 배포 목표: 2026년 말.
배경: 왜 OpenAI는 자체 칩을 만드는가
LLM 추론의 주요 병목은 메모리 대역폭이다. 디코딩 단계는 매 토큰마다 전체 모델 가중치를 메모리에서 읽어야 한다. GPT-5.6 같은 모델은 수천억 개의 파라미터를 갖는다.
H100 GPU는 훈련에 맞게 최적화됐다. CUDA 코어의 행렬 연산 처리량은 높지만, GPU 설계의 상당 부분은 범용 워크로드를 위한 하드웨어다. 추론에서는 그 자원이 사용되지 않는다.
OpenAI가 공개한 설계 의도는 세 가지다:
- 데이터 이동 최소화: 메모리에서 연산 요소까지의 전자 이동 거리를 줄인다.
- 컴퓨팅-메모리-네트워킹 균형: 추론 파이프라인의 실제 병목에 맞춰 세 자원의 비율을 재조정.
- 이론 대비 실현 활용률: 범용 GPU는 이론 TFLOPS 대비 실제 활용률이 추론에서 낮다. 추론 전용 설계는 그 간극을 줄인다.
아키텍처 심화
레티클 크기 단일 다이
반도체 제조에서 한 번의 리소그래피로 찍을 수 있는 최대 다이 면적을 레티클 한계라 한다. Jalapeño는 이 한계까지 단일 다이로 설계됐다. 칩렛 연결 없는 단일 다이의 장점은 칩렛 간 인터커넥트 레이턴시와 대역폭 손실이 없다는 것이다.
대신 수율 리스크가 높아진다. 제조 공정 품질과 결함 허용 설계에 큰 투자가 필요하다.
2.5D HBM 패키징과 시스톨릭 어레이
2.5D 패키징: HBM 스택과 컴퓨트 다이를 같은 실리콘 인터포저 위에 올려 메모리와 연산 코어 간의 물리적 거리를 줄인다. 데이터 전송 에너지와 레이턴시가 모두 낮아진다.
시스톨릭 어레이: 처리 요소(PE, Processing Element)들이 2D 격자로 배치된 구조다. 각 PE는 인접 PE에서 데이터를 받아 처리한 뒤 다음 PE로 넘긴다. LLM 추론의 핵심 연산인 행렬-벡터 곱셈에 자연스럽게 맞는다. 가중치 행렬이 고정된 채 입력 토큰 벡터가 PE 격자를 흐르며 부분합을 누적한다.
GPU 대비 무엇이 다른가
| 특성 | H100 SXM5 (GPU) | Jalapeño (ASIC) |
|---|---|---|
| 설계 목적 | 범용 행렬 연산 + 훈련 | LLM 추론 전용 |
| 다이 구조 | 단일 GH100 다이 (814 mm²) | 레티클 최대 단일 다이 |
| 메모리 | HBM3e × 6 | HBM × 8 |
| 소프트웨어 스택 | CUDA + cuDNN + NCCL | 추론 특화 런타임 |
| 추론 활용률 | 이론 대비 낮음 | 이론 대비 높음 (설계 목표) |
| 유연성 | 훈련·추론·시뮬레이션 가능 | 추론 전용 |
| 개발 사이클 | 수년 | 9개월 |
| 전력 효율(추론) | 기준선 | "substantially better" (공식 발표) |
| 정확한 사양 | 공개 | 미공개(기술 보고서 예정) |
GPU에는 추론에서 사용되지 않는 하드웨어가 있다. 텍스처 유닛, 래스터라이저, ROP 등은 그래픽 워크로드용이다. 또한 GPU의 메모리 계층은 배치 처리에 최적화되어 있어, 스트리밍 단일 요청의 디코딩 단계에서는 대역폭 이용 효율이 낮다.
Jalapeño는 이 비효율을 줄이는 방향으로 설계됐다.
9개월 개발 사이클: AI가 ASIC 설계를 가속한 방법
전통적인 고성능 ASIC 개발에는 3~5년이 걸린다. RTL 설계, 검증, 타이밍 분석, 물리 설계, 테이프아웃의 각 단계가 수개월씩이다.
OpenAI는 자사 모델을 설계 도구로 활용했다고 밝혔다:
- 회로 설계 보조: RTL 코드 생성 및 검증
- 타이밍 오류 탐지 및 수정 제안
- 설계 문서화 자동화
결과적으로 초기 설계에서 테이프아웃까지 9개월이 걸렸다. OpenAI와 Broadcom은 이를 고성능 반도체 역사에서 이 규모 프로젝트로는 가장 빠른 사이클이라고 밝혔다.
역할 분담:
| 회사 | 역할 |
|---|---|
| OpenAI | 아키텍처 설계, 커널 최적화, 서빙 시스템 요구사항 |
| Broadcom | 실리콘 구현, 네트워킹·연결성 기술 |
| Celestica | 보드·랙·시스템 통합 |
배포 계획과 규모
OpenAI와 Broadcom은 2026년 말 초기 배포를 목표로 한다. 양사는 10 기가와트 규모의 OpenAI 설계 AI 가속기 배포를 위한 전략적 협력도 발표했다. 단기 파일럿이 아닌 장기 인프라 전략임을 시사한다.
대규모 배포 전에 성능·전력 약속이 실제로 충족되는지 검증하는 것이 첫 번째 관문이다.
운영자·엔지니어가 알아야 할 것
API 투명성
Jalapeño는 OpenAI의 추론 인프라 내부에 배치된다. 사용자와 API 개발자 입장에서는 직접 노출되지 않는다. 서비스 요금 구조나 지연 특성이 변할 수 있지만, API 인터페이스 자체는 동일하다.
경쟁 구도 변화
Google TPU v6, AWS Trainium2에 이어 OpenAI도 자체 추론 칩 라인을 시작했다. 추론 비용을 대규모로 낮추려는 시장 압력이 커지고 있다. 클라우드 GPU 공급자와 NVIDIA 입장에서는 잠재적 수요 대체 요인이다.
아직 공개되지 않은 정보
- 정확한 TFLOPS (FP16 / FP8 / INT8)
- 정확한 메모리 대역폭 (GB/s)
- HBM 스택당 용량
- 최대 전력 소비 (TDP)
- 지원 정밀도 형식 (FP8, FP4 여부)
- 소프트웨어 스택 세부 사항
Open question: 정확한 사양과 벤치마크는 "수개월 내 기술 보고서 공개 예정"이라고 OpenAI가 밝혔다. 현재 공개된 내용은 설계 철학과 개발 방법론이며, 실제 성능 수치는 미공개 상태다.
References
- OpenAI 공식 발표: https://openai.com/index/openai-broadcom-jalapeno-inference-chip/
- Broadcom 투자자 발표: https://investors.broadcom.com/news-releases/news-release-details/openai-and-broadcom-unveil-llm-optimized-intelligence-processor
- VentureBeat 분석: https://venturebeat.com/infrastructure/openai-unveils-first-custom-ai-inference-chip-jalapeno-with-broadcom-and-its-development-was-sped-up-with-openais-own-models/
- Tom's Hardware 기술 분석: https://www.tomshardware.com/tech-industry/artificial-intelligence/broadcom-and-openai-unveil-custom-built-jalapeno-inference-processor-openais-first-chip-is-a-massive-reticle-sized-asic-built-in-an-ultra-fast-nine-month-development-cycle
- Bloomberg 보도 (2026-06-24): https://www.bloomberg.com/news/articles/2026-06-24/openai-and-broadcom-unveil-ai-chip-to-run-models-faster-cheaper
- CNN Business: https://edition.cnn.com/2026/06/24/tech/openai-broadcom-jalapeno-ai-chip