엔비디아와 브로드컴의 AI 칩 경쟁: TPU 확산과 ‘추론’ 시장이 판을 바꾸는 이유

AI 칩 전쟁이 ‘훈련’에서 ‘추론’으로 옮겨가고 있습니다

AI 반도체 시장을 이해할 때 많은 분들이 “엔비디아(Nvidia, NVDA)가 독주한다”는 문장으로 시작하십니다. 실제로 AI 붐 초반에는 이 말이 거의 정답처럼 통했습니다. 그런데 2026년 들어 판이 달라지는 조짐이 뚜렷해졌습니다. 

경쟁의 핵심이 “AI 모델을 키우는 훈련(training)”에서 “키운 모델을 실제 서비스로 굴리는 추론(inference)”으로 빠르게 이동하면서, 엔비디아의 GPU가 사실상 독점하던 영역에 강력한 대안이 떠오르고 있기 때문입니다. 그 대안의 중심에 구글이 쓰던 TPU, 그리고 그 설계를 도운 브로드컴(Broadcom, AVGO)이 있습니다.

‘훈련’과 ‘추론’: 같은 AI라도 비용 구조가 완전히 다릅니다

AI를 사람으로 비유하면 훈련은 “공부시키는 과정”, 추론은 “배운 것을 바탕으로 시험을 치고 답을 내는 과정”입니다. 대규모 언어모델을 만들려면 처음에 엄청난 연산을 투입해 공부를 시켜야 합니다. 하지만 모델이 한 번 만들어지고 나면, 서비스는 매일매일 사용자 질문에 답을 해 줘야 하죠. 이때 대부분의 연산은 ‘공부’가 아니라 ‘답하기’에 쓰입니다.

초보자 입장에서 가장 쉬운 생활 예시는 이런 그림입니다. 학원에서 선생님이 한 번 커리큘럼을 짜고 수업 자료를 만들 때(훈련)는 시간이 많이 들지만, 이후 학생들이 문제를 풀고 채점을 받을 때(추론)는 반복 횟수가 압도적으로 많습니다. AI 서비스도 비슷합니다. “한 번 만들기”보다 “계속 돌리기”가 길어지면, 기업들은 자연히 추론 비용을 얼마나 싸게 만들 수 있느냐에 집착하게 됩니다.

TPU가 커지는 이유

여기서 TPU(Tensor Processing Unit)가 등장합니다. TPU는 원래 구글이 자사 서비스에서 AI를 효율적으로 돌리기 위해 만든 전용 프로세서인데, 그 설계와 공급망에서 브로드컴이 중요한 역할을 해 왔습니다. 지금 시장이 주목하는 변화는, TPU가 “구글 내부용 도구”를 넘어 외부 고객에게도 본격 판매될 가능성이 커졌다는 점입니다.

가격 비교가 이 변화를 가장 직관적으로 보여줍니다. UBS는 TPU의 평균 판매가격이 대략 1만500달러~1만5,000달러 수준이고, 시간이 지나며 2만달러 안팎으로 향할 수 있다고 봅니다. 

반면 엔비디아의 최신 블랙웰(Blackwell) 계열 칩은 시장에서 보통 4만~5만달러 정도로 추정됩니다. 즉, 같은 추론 작업을 놓고 “비슷한 성능이면 더 싼 쪽을 쓰겠다”는 선택이 가능해지는 구간이 열리는 셈입니다.

이 차이는 가정의 전기요금으로 비유하면 이해가 쉽습니다. 냉장고(추론)는 1년 365일 계속 돌아가고, 세탁기(훈련)는 특정 시점에 몰아서 돌립니다. 세탁기는 한 번 돌릴 때 부담이 크더라도 어쩔 수 없지만, 냉장고는 전기요금이 조금만 더 나와도 1년 누적 비용이 크게 벌어집니다. 기업들이 추론용 칩의 단가에 유난히 민감해지는 이유가 여기에 있습니다.

브로드컴 TPU 출하 370만 개 전망

UBS의 티모시 아커리(Timothy Arcuri)는 올해 브로드컴이 TPU를 약 370만 개 출하할 것으로 전망했고, 2027년에는 500만 개를 넘길 가능성까지 제시했습니다. 이런 물량이 현실화되면 브로드컴의 AI 관련 매출이 2026년에 약 600억달러, 2027년에는 1,060억달러까지 커질 수 있다는 추정도 따라붙습니다.

물론 절대 규모로는 엔비디아가 여전히 거대합니다. 시장 예상치로는 엔비디아의 데이터센터 매출이 2027 회계연도(내년 1월 종료) 기준으로 약 3,000억달러 수준으로 거론됩니다. 중요한 건 “누가 1등이냐”보다, 추론 중심의 수요가 커질수록 2등이 빠르게 커질 수 있는 구조가 만들어졌다는 점입니다.

성능의 디테일

그렇다면 TPU가 엔비디아를 바로 따라잡느냐는 질문이 생깁니다. 여기서 핵심은 “무엇을 하느냐”입니다. UBS는 최신 아이언우드(Ironwood) TPU의 추론 성능이 엔비디아 GB300과 비슷한 수준일 수 있다고 보면서도, 훈련 성능은 절반 정도로 평가했습니다. 

훈련 속도에서는 차이가 더 체감될 수 있는데, 예를 들어 최신 엔비디아 GPU로 35~50일 걸리는 훈련이 TPU로는 약 3개월 걸릴 수 있다는 식의 설명이 나옵니다.

이건 자동차로 치면 고속도로 ‘정속 주행’(추론)은 연비 좋은 차가 유리해질 수 있지만, ‘급가속과 장거리 레이스’(훈련)는 아직 고성능 엔진이 필요하다는 것과 비슷합니다. 그래서 기업들은 “훈련은 엔비디아로, 추론은 TPU로”처럼 목적에 따라 섞어 쓰는 전략을 고민하게 됩니다.

추론 비중이 20~40%에서 60~80%로 커질 수 있습니다

여기서 시장이 특히 예민해진 이유가 하나 더 있습니다. 미즈호는 현재 AI 작업에서 추론 비중이 20~40% 정도인데, 향후 5년 안에 60~80%까지 커질 수 있다고 봅니다. 즉, AI가 연구실의 ‘만들기’에서 산업 현장의 ‘운영’으로 중심축이 넘어갈수록, 가성비가 좋은 추론 칩의 중요도도 구조적으로 커질 수 있습니다.

이 전망이 의미하는 바는 단순합니다. 지금까지는 “훈련에 필요한 최고 사양 칩”이 주인공이었다면, 앞으로는 “매일매일 서비스를 굴리며 비용을 줄여 주는 칩”이 더 큰 시장을 만들 수 있다는 것입니다. 그리고 그 시장은 엔비디아만의 무대가 아닐 수 있습니다.

앤스로픽과 메타의 선택지

TPU가 외부로 확산되는 과정에서 상징적인 플레이어로는 앤스로픽(Anthropic)과 메타 플랫폼스(Meta Platforms, META)가 거론됩니다. 앤스로픽은 TPU를 두 차례에 걸쳐 대규모로 주문해 합계 210억달러 규모가 됐다는 언급이 나오고, 메타도 TPU 사용을 논의 중인 것으로 전해집니다.

이 장면이 중요한 이유는 ‘레퍼런스’ 때문입니다. 대형 AI 기업이 특정 칩을 선택하면, 그 선택은 다른 기업들에게 “검증된 옵션”처럼 보이기 쉽습니다. 마치 대형 프랜차이즈가 특정 결제 시스템을 쓰기 시작하면, 중소 가게들도 “저걸 쓰면 안전하겠구나”라고 따라가는 것과 비슷합니다.

엔비디아의 반격 카드

엔비디아가 이 변화를 가만히 보고만 있을 리는 없습니다. 주목할 만한 움직임으로, 엔비디아가 추론 하드웨어로 알려진 그록(Groq)의 기술에 대해 비독점 라이선스를 확보했고, 그 대가로 200억달러를 지급했다는 내용이 거론됩니다. 이 계약에는 엔비디아로 합류한 그록 직원들의 보상 패키지 성격도 포함된 것으로 설명됩니다.

초보자 눈높이에서 이 결정은 이렇게 읽을 수 있습니다. 지금까지 엔비디아는 “훈련에 최적화된 생태계”로 강했고, 그 힘이 추론 시장까지 자연스럽게 이어졌습니다. 

그런데 추론이 더 큰 시장이 될 수 있다면, 엔비디아 입장에서는 “내가 강한 분야만으로는 안심할 수 없다”는 신호가 됩니다. 그래서 추론에서 더 낮은 비용, 더 높은 효율을 확보하기 위한 기술 보강이 필요해집니다. 200억달러라는 숫자는 바로 그 긴박함의 가격표로 볼 수 있습니다.

‘누가 이기나’보다 중요한 질문은 “AI 비용의 중심이 어디로 가나”입니다

이번 경쟁 구도에서 가장 중요한 메시지는, AI 반도체의 전장이 단순히 “더 빠른 칩” 경쟁이 아니라는 점입니다. AI가 커질수록 기업들은 “최고 성능”만큼이나 “총비용(TCO)”을 집요하게 계산하게 됩니다. 

추론 비중이 커지면, 칩 단가와 전력 효율, 운영 비용이 곧 경쟁력으로 직결됩니다. 이 구간에서 TPU는 엔비디아 GPU의 강력한 대안이 될 수 있고, 브로드컴은 그 흐름의 ‘제조·공급’ 측면에서 가장 직접적인 수혜를 받을 수 있습니다.

동시에 엔비디아는 훈련에서의 우위를 바탕으로 추론에서도 주도권을 지키려 할 가능성이 큽니다. 그록 기술 확보는 “추론 시장이 본게임이 될 수 있다”는 판단 아래, 엔비디아가 미리 방어선을 쌓는 움직임으로 해석할 수 있습니다. 결국 앞으로의 관전 포인트는 세 가지로 좁혀집니다. 

첫째, TPU가 외부 고객에게 얼마나 빠르게 확산되는지. 

둘째, 추론 비중이 실제로 얼마나 빨리 커지는지. 

셋째, 엔비디아가 추론 효율을 어떻게 끌어올려 가격·성능 격차를 다시 벌릴 수 있는지입니다. 

이 세 가지가 맞물리는 방식에 따라, AI 칩 전쟁은 “독주 체제”에서 “다극 경쟁”으로 넘어갈 가능성이 점점 커지고 있습니다.

참고 출처:

Nvidia and Broadcom Will Go Head to Head. How The AI Chips Battle Is Escalating. - Barron's