AI 팩토리, 왜 GPU를 사는 것만으론 안 될까요?

AI 팩토리는 전력과 칩만 갖추면 완성되는 게 아니에요. 1메가와트짜리 인프라 하나에 700억 원이 들어가는 자본 게임이지만, 진짜 승부처는 그 위에서 대규모 학습과 추론을 실제로 돌려본 경험이 있는지에 있어요. 네오클라우드(neocloud) 관점에서 AI 팩토리에 관해 정리해봤어요.

핵심 요약

• AI 팩토리는 전력, 칩, 서비스 세 가지 요소로 이루어지고, 앞의 두 가지만으로는 토큰을 만들어낼 수 없어요.
• 1메가와트 규모 AI 인프라에 약 700억 원, 1기가와트에 약 70조 원이 들어가기 때문에 네오클라우드 사업은 사실상 금융 사업에 가까워요.
• GPU 1,000장 이상 규모에서 학습과 추론을 운영해 본 경험이 AI 팩토리 시장의 사실상 '입장권' 역할을 해요.

이 글은 2026년 7월 대기업 임직원 대상 테크 세미나에서 VESSL AI 안재만 대표가 발표한 내용을 정리했어요.

기가와트급 데이터센터를 짓겠다는 소식이 매주 뉴스에 나와요. 그런데 발표된 부지와 전력, 확보한 칩 물량을 다 더해도 그것만으로는 토큰이 나오지 않아요. 설비를 가동하는 것과 고객이 실제로 학습을 돌리고 추론 트래픽을 서빙하는 것 사이에는 생각보다 큰 간극이 있거든요.

이 글에서는 AI 팩토리가 어떤 구조로 이루어져 있는지, 그 안에서 자본과 기술의 병목이 각각 어디에 있는지 짚어볼게요.

AI 팩토리는 데이터센터와 뭐가 다를까요?

AI 팩토리는 GPU를 돌려서 토큰을 생산하는 인프라예요. 서버를 임대해 주는 기존 데이터센터와 달리, 모델 학습과 추론이라는 워크로드를 끝까지 책임지고 결과물(토큰)을 단가 기준으로 파는 구조라고 보시면 돼요.

AI 팩토리는 크게 세 가지 요소로 구성돼요.

지금 시장의 논의는 대부분 전력과 칩에 집중되어 있어요. 몇 기가와트를 짓겠다, GPU 몇 만 장을 확보하겠다는 발표는 많은데, 그 위에서 어떻게 서비스를 할지는 상대적으로 덜 다뤄져요. 그런데 실제로 매출을 만드는 건 세 번째 레이어예요.

전력과 데이터센터 측면에서 한국은 유리한 위치에 있어요. 산업 기반과 에너지 인프라가 잘 갖춰져 있고 전력 품질도 좋은 편이라, 미국과 유럽에서 부지를 구하지 못한 글로벌 빅테크들이 한국으로 넘어와 전력 쇼핑을 하고 있어요. 여기에 공급 병목인 HBM을 SK하이닉스와 삼성전자가 잡고 있다는 점까지 더하면, 한국은 AI 팩토리를 하기에 조건이 좋은 나라 중 하나예요.

1메가와트에 700억, AI 인프라의 유닛 이코노믹스

기가와트 단위는 감이 잘 안 오니까 1메가와트를 기준으로 계산해 볼게요.

1메가와트 규모면 NVIDIA B300 기준으로 GPU가 500장 조금 안 되게 들어가요. GPU 한 장을 약 1억 원으로 잡으면 GPU 서버와 네트워크 장비에만 약 500억 원이 필요해요. 여기에 전력과 냉각 같은 설비가 최소 100억 원, 보수적으로 잡으면 150억 원 정도 들어가고, 실제 데이터센터 건설과 부대 비용까지 더하면 총액은 약 700억 원이 돼요.

1기가와트는 여기에 1,000을 곱하면 되니까 약 70조 원이에요. 15기가와트짜리 계획이라면 1,000조 원 단위의 사업이라는 뜻이고요. 발표되는 숫자들이 왜 비현실적으로 느껴지는지가 여기서 드러나요.

회수 구조도 같이 보면 좋아요. 건물과 전력, 냉각 설비는 10년 이상 쓸 수 있는 장기 자산인 반면, GPU는 감가상각을 넉넉히 잡아도 6년이면 잔존가치가 사라져요. 1메가와트에 GPU 500억 원을 투자하면 연간 약 200억 원의 매출이 나오고, 5년이면 약 1,000억 원을 회수하는 계산이에요. 다만 여기서 전력비와 금융 비용이 빠져요.

GPU는 왜 금융 상품처럼 거래될까요?

투입 자본이 조 단위이기 때문에 네오클라우드 사업은 일반 기업의 재무 구조로는 성립하지 않아요. 그래서 'GPU 파이낸싱'이라는 개념이 등장했어요.

GPU 파이낸싱이란은 인공지능(AI) 연산에 필수적인 GPU를 확보하기 위해 자금을 조달하거나, GPU 장비 자체를 담보·자산화하여 금융 거래를 수행하는 구조를 뜻합니다.

70조 원 규모의 인프라를 짓는다면 보통 대출 비중이 크게 잡혀요. 문제는 대출의 담보예요. GPU는 5~6년이면 가치가 0에 수렴하는 자산이라 장비 자체만으로는 담보가 성립하기 어렵거든요. 그래서 실제로는 GPU 장비와 함께 그 장비에서 나올 캐시플로우(cashflow), 즉 고객 계약을 묶어서 담보로 잡아요.

여기서 오프테이커(offtaker)라고 부르는 계약 상대방의 신용등급이 결정적으로 중요해져요. 이 고객이 앞으로 5년간 계약된 금액을 지불할 수 있느냐를 금융기관이 믿어주느냐에 따라 대출 가능 여부와 조달 금리가 갈려요. 투자적격등급(Investment Grade) 파트너를 확보한 사업자와 그렇지 못한 사업자의 출발선이 완전히 달라지는 이유예요.

금리는 시장의 신뢰도를 그대로 따라 움직였어요. GPU가 담보 가치를 형성할 수 있는지, 실제로 현금이 나오는지에 대한 확신이 없던 2023년에는 15% 수준에서 형성됐어요. 이후 대형 네오클라우드들이 실제로 수익을 내는 것이 확인되면서 금융권 진입이 늘었고, 지금은 5%대까지 내려온 사례도 나와요. 전체 원가에서 GPU가 차지하는 비중이 가장 크기 때문에, 조달 금리를 몇 퍼센트포인트 낮추는 것이 사업 성패를 가르는 변수가 돼요.

최근에는 칩 제조사나 OEM이 직접 보증을 서는 구조도 등장했어요. 예를 들어 잔존가치의 일정 비율을 제조사가 보장하고 나머지 리스크만 사업자가 부담하는 방식이에요. 이 구조를 두고 칩을 파는 쪽이 그 칩의 구매를 보증한다는 점에서 순환 거래가 아니냐는 지적과 버블 논쟁이 이어지고 있어요.

베슬에이아이 안재만 대표는 "AI 인프라는 결국 자본 싸움이에요. 대출을 어떻게 받아서 어떻게 구축하고 어떻게 파느냐의 게임이 됩니다"라고 말했어요.

GPU에 대한 수요는 왜 계속 늘어날까요?

이 정도 리스크를 감수하고도 자본이 몰리는 이유는 GPU에 대한 수요가 공급을 훨씬 앞지르고 있기 때문이에요. 수요 증가는 크게 세 갈래로 나뉘어요.

첫째, 에이전틱 AI (Agentic AI)

예전에는 모델에 질문하고 답을 받는 방식이라 요청 한 번에 수백 토큰이 소모됐어요. 지금은 에이전트에게 몇 시간, 며칠짜리 작업을 맡기고 스스로 판단하며 실행하게 해요. 요청 한 번에 수백만 토큰이 나가는 시대가 된 거예요. 게다가 이런 방식으로 일하는 사람은 아직 소수예요. 이 비율이 조금만 늘어도 수요는 지금과 비교할 수 없는 수준이 돼요.

둘째, 피지컬 AI(Physical AI)와 멀티모달(Multi-modal)

언어 모델에서 자동화 효과를 확인한 팀들이 로보틱스와 멀티모달로 범위를 넓히고 있어요. 이 영역은 언어 모델보다 GPU를 훨씬 많이 써요. 시뮬레이션과 학습, 배포를 반복하는 구조 때문인데, 자세한 내용은 피지컬 AI와 GPU 인프라를 다룬 글에서 확인해 보세요.

셋째, 소버린 AI (Sovereign AI)

프론티어 모델 제공사들이 국가나 지역 단위로 모델 접근을 통제하기 시작하면서, 각국에서 자체 모델을 확보해야 한다는 판단이 확산됐어요. 한국뿐 아니라 여러 나라에서 자국 파운데이션 모델 개발 계획이 잇따라 발표되고 있어요.

반면 공급은 묶여 있어요. 병목은 HBM과 패키징에서 발생하는데, 이 영역은 SK하이닉스, 삼성전자, 마이크론 세 곳이 사실상 좌우해요. 이들의 증설 계획은 향후 몇 년 내 두세 배 수준이라, 수십 배로 늘어나는 수요를 따라갈 정도는 아니에요. 구형 GPU에 할인이 붙는 경우는 있지만, 최신 세대 GPU는 여전히 확보 자체가 어려워요.

진짜 병목은 서비스 레이어예요

전력과 칩을 확보했다고 해서 AI 팩토리가 완성되는 건 아니에요. 이 지점이 실무에서 가장 과소평가되는 부분이에요.

대규모 학습에서는 규모가 커질수록 새로운 병목이 나타나요

GPU가 1,000장, 3,000장 단위로 올라가면 스토리지 대역폭이 학습 속도를 잡아먹거나, CPU와 GPU 사이의 연결성(connectivity), 네트워크 스위치 구간의 병목 때문에 병렬화 효율이 떨어지는 문제가 발생해요. 최신 학습 프레임워크나 강화학습 기반 포스트 트레이닝을 돌릴 때는 요구되는 인프라 설계 자체가 달라지고요.

이게 왜 중요하냐면, 고객 입장에서 이건 효율의 문제가 아니라 되느냐 안 되느냐의 문제이기 때문이에요. GPU 1,000장을 1년 쓰면 수백억 원이 나가는데, 그중 10%가 제대로 돌지 않으면 수십억 원이 그냥 사라져요. 게다가 이 팀들에게는 비용보다 시간이 더 중요해요. 그래서 검증되지 않은 인프라에는 애초에 워크로드를 올리지 않아요.

추론에서는 토큰당 원가가 사업의 성립 조건이에요

원가가 높으면 마진을 줄여서 팔면 되지 않느냐고 생각하기 쉬운데, 실제로는 그렇지 않아요. 모델 제공사들이 요구하는 단가는 공개 리스트 가격보다 낮은 수준이라, 원가가 그 아래로 내려가지 않으면 트래픽 자체를 받을 수가 없어요. 트래픽이 없으면 매출도 없고요.

문제는 이 원가를 낮추는 최적화 경험이 규모마다 완전히 다른 문제라는 점이에요.

실측해 보면 100장 규모에서는 콜로케이티드 방식과 PD 분리 방식의 성능 차이가 크지 않아요. 그런데 1,000장 규모로 올라가면 PD 분리를 적용했을 때 처리량이 20~30% 이상 벌어져요. 여기에 동시성(concurrency)과 캐시 히트율에 따라 최적 구성이 계속 달라지고, 캐시 히트율(Cache Hit Ratio)은 고객의 워크로드가 코딩 에이전트인지 다른 유형인지에 따라 또 달라져요.

결국 10장에서 잘했다고 100장에서 잘할 수 있는 게 아니고, 100장에서 잘했다고 1,000장에서 잘할 수 있는 것도 아니에요. 그런데 1,000장 규모의 경험을 쌓으려면 그 자체로 수백억 원의 학습 비용을 지불해야 해요. 이걸 두고 AI 팩토리 시장의 입장권이 비싸다고 표현해요. 전 세계적으로도 이 규모에서 서빙을 운영해 본 사업자는 손에 꼽혀요.

VESSL AI는 이 문제를 어떻게 풀고 있을까요?

VESSL AI는 GPU 가용성을 핵심 경쟁력으로 하는 네오클라우드 기업이에요. 국내에 구축된 AI 인프라를 기반으로 국내외 AI 기업의 학습과 추론 워크로드를 VESSL Cloud로 공급하고 있어요.

앞서 이야기한 두 가지 병목에 대해 VESSL AI의 접근 방식은 아래와 같아요.

첫째, 대규모 학습과 추론을 운영하고 있어요

국내 파운데이션 모델 팀과 해외 프론티어 모델 개발사가 VESSL Cloud에서 학습을 하고 있어요. 추론 쪽에서는 글로벌 모델 제공사와 직접 협업해 트래픽을 처리하고 있고요. 앞서 말한 입장권을 이미 확보한 상태라고 보시면 돼요.

둘째, 계약 구조를 워크로드에 맞춰 유연하게 가져가요

대부분의 네오클라우드는 3년 또는 5년 약정을 전제로 GPU를 판매해요. 데이터센터를 직접 보유한 사업자일수록 고정 약정 외의 선택지를 만들기 어렵거든요. VESSL Cloud는 다르게 접근해요. 프리 트레이닝 단계에는 수천 장 규모를 몇 개월간, 이후 포스트 트레이닝 단계에는 수백 장 규모를 수개월간 쓰는 식으로 고객의 학습 로드맵에 맞춰 자원을 배분해요. 3주 단위나 6개월 단위처럼 짧은 기간의 사용도 가능해요.

셋째, 유휴 자원을 토큰으로 유동화해요

유연한 배분에는 필연적으로 자원이 비는 구간이 생겨요. 이 구간을 그대로 두면 손실이지만, 그 시간을 추론 서비스로 돌려 토큰 단위로 판매하면 가동률을 채울 수 있어요. AI 팩토리를 추론 전용 설비로 보지 않고, 학습과 추론을 적절히 섞어 운영하는 것이 더 효율적이라고 보는 이유예요. 추론 트래픽은 시간대에 따라 오르내리기 때문에, 이 변동에 맞춰 스케줄링하는 역량이 그대로 수익성으로 연결돼요.

넷째, 국내 인프라를 기반으로 해외 수요를 처리해요

기가와트급으로 가려면 국내 수요만으로는 가동률을 채울 수 없어요. 미국의 언어 모델 개발사, 피지컬 AI 팀, 글로벌 추론 서비스처럼 해외 수요를 확보하는 것이 국내 AI 인프라의 회수 구조를 성립시키는 조건으로 보고 있어요.

핵심 정리

AI 팩토리는 전력, 칩, 서비스 세 가지로 이루어져요. 앞의 두 가지는 자본과 부지의 문제라 규모가 큰 사업자에게 유리하지만, 세 번째 요소인 서비스 레이어가 없으면 확보한 GPU가 매출로 전환되지 않아요.

1메가와트에 약 700억 원, 1기가와트에 약 70조 원이 들어가는 사업이기 때문에 네오클라우드는 사실상 금융 사업의 성격을 가져요. 조달 금리와 오프테이커의 신용도가 사업의 출발선을 결정해요.

그리고 그 위에서 실제로 매출을 만드는 건 1,000장 이상 규모에서 학습과 추론을 돌려본 경험이에요. 이 경험 없이는 고객의 신뢰도, 경쟁력 있는 토큰 원가도 확보하기 어려워요.

GPU 인프라 확보나 대규모 학습 환경 구성이 고민이라면 VESSL Cloud에서 바로 시작해 볼 수 있어요. 워크로드에 맞는 구성이 궁금하다면 영업팀에 문의해 주세요.

VESSL Cloud 시작하기

자주 묻는 질문