프레임 디렉토리

오픈AI가 자체 설계한 첫 AI 추론 프로세서 '할라피뇨(Jalapeño)'의 벤치마크 결과를 공개했습니다. 전력당 처리량은 최대 1.9배, 응답 지연시간은 최대 3.6배 낮은 수치로 엔비디아 GB200·GB300 기반 시스템을 앞섰다고 발표했습니다. 숫자만 보면 단순한 성능 발표처럼 보이지만, 이 결과가 놓인 맥락을 들여다보면 AI 반도체 시장 전체를 흔들 수 있는 신호탄에 가깝습니다. 🔍 왜 '전력 효율'이 핵심 지표인가 AI 칩 성능을 논할 때 흔히 초당 연산 횟수(FLOPS)나 처리 속도만 비교합니다. 그러나 오픈AI가 이번 발표에서 전면에 내세운 지표는 '와트당 처리 토큰 수', 즉 전력 효율입니다. 이는 우연이 아닙니다. 대규모 AI 서비스를 운영할 때 가장 큰 변동비는 전력입니다. 데이터센터 1기가와트(GW) 규모의 시설을 운영하면 연간 전력 비용만 수천억 원에 달합니다. GPT-4 수준의 모델을 하루 수억 건의 쿼리로 서비스할 때, 처리량이 동일하다면 전력을 절반만 써도 연간 원가 구조 자체가 달라집니다. 할라피뇨가 GPT-OSS 120B 기준으로 초당 8만 5,448토큰을 처리하면서 엔비디아 비교 시스템의 4만 4,960토큰 대비 1.9배를 기록했다는 것은, 같은 전력으로 약 두 배 가까운 사용자 요청을 소화할 수 있다는 의미입니다. 이 격차가 연간 누적되면 서비스 원가 구조 자체를 바꿉니다. 📊 수치로 보는 모델별 성능 격차 세 가지 공개 모델을 기준으로 한 테스트 결과를 정리하면, 격차의 크기가 모델 규모에 따라 달라지는 패턴이 보입니다. GPT-OSS 120B에서는 전력당 처리량 1.9배, 응답 지연 약 1.7배 개선을 기록했습니다. 딥시크 R1 670B에서는 지연시간이 3.6배 낮아졌고, 사용자당 디코딩 처리량은 초당 700토큰 대 169토큰으로 4.1배 차이가 났습니다. 가장 큰 모델인 키미 K2.5 1T에서는 전력당 처리량 1.5배, 지연시간 3.4배, 디코딩 처리량 2.1배 우위를 ...