NVIDIA Hopper

NVIDIA H200

NVIDIA H200 SXM은 141GB HBM3e 메모리를 탑재했어요. H100과 동일한 Hopper 연산 성능에 더 크고 빠른 메모리를 더해, 여러 GPU로 쪼개지 않고 긴 문맥(context) LLM과 더 큰 모델을 실행할 수 있어요.

물량 예약하기 요금 및 이용 안내 보기

NVIDIA H200 SXM

GPU 메모리: 141GB HBM3e
메모리 대역폭: 4.8 TB/s

기술 사양

아키텍처: Hopper
GPU 메모리: 141GB HBM3e
메모리 대역폭: 4.8 TB/s
NVLink: 900 GB/s
FP16/BF16 (텐서): 1,979 TFLOPS
FP8 (텐서): 3,958 TFLOPS
최대 TDP: 700W
노드당 GPU: 8 (HGX H200)

*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.

요금 및 이용 안내

NVIDIA H200 SXM예약 전용

문의하기

H200은 어디에 쓰면 좋을까요?

긴 문맥과 대형 모델 추론

141GB HBM3e면 FP8 정밀도의 70B급 모델과 큰 KV 캐시도 단일 GPU에 올라가, 여러 GPU로 쪼개지 않고 더 긴 문맥(context)을 서빙해요.

메모리를 많이 쓰는 학습과 파인튜닝

더 큰 배치(batch)와 더 긴 시퀀스가 메모리에 들어가요. 메모리 대역폭이 병목인 작업에서는 4.8 TB/s 대역폭이 Hopper FP8 텐서 코어에 데이터를 공급해요.

H100에서 그대로 업그레이드

H100과 동일한 CUDA, PyTorch, NeMo 스택이라, 메모리가 부족하던 워크로드를 코드 수정 없이 그대로 옮겨 실행할 수 있어요.

어떤 NVIDIA GPU가 맞을까요?

	A100 Ampere	H100 Hopper	H200 현재 보고 있는 모델	B200 Blackwell	B300 Blackwell	GB300 Blackwell
아키텍처	Ampere	Hopper	Hopper	Blackwell	Blackwell	Blackwell
GPU 메모리	80GB HBM2e	80GB HBM3	141GB HBM3e	192GB HBM3e	최대 288GB HBM3e	최대 288GB HBM3e
메모리 대역폭	2.0 TB/s	3.35 TB/s	4.8 TB/s	8 TB/s	8 TB/s	8 TB/s
FP8 (텐서)	지원 안 함	3,958 TFLOPS	3,958 TFLOPS	9 PFLOPS	9 PFLOPS	10 PFLOPS
이용 방식	최저 $1.48/시간	최저 $2.98/시간	예약 전용	예약 전용	예약 전용	예약 전용
추천 용도	가성비 파인튜닝과 추론	가성비 학습과 추론	긴 문맥과 대형 모델 추론	FP4 최신 대형 모델 학습	초대형 모델과 동시 요청이 많은 추론	클러스터급 학습과 추론

AI 팀이 VESSL Cloud를 고르는 이유

A100부터 Blackwell Ultra까지

A100과 H100은 온디맨드로 이용할 수 있어요. 더 큰 작업에는 H200과 Blackwell GPU를 예약해서, 워크로드마다 맞는 GPU를 쓸 수 있어요.

문제를 일찍 발견해요

VM Cluster의 모든 노드는 상시 상태 점검(health check)을 받고, 노드 상태는 약 1분마다 갱신돼요. Workspace와 Job은 자원 사용량이 기준을 넘거나 실행 중 문제가 생기면 알림을 보내요.

한 노드부터 클러스터까지

한 노드에서 GPU를 최대 8장까지 써서 학습과 서빙을 하고, 한 노드로 부족하면 멀티노드 VM Cluster로 넘어가요.

엔터프라이즈 보안도 문제없어요

SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.

자주 묻는 질문

NVIDIA H200은 어떻게 이용하나요?

H200은 전용 VM Cluster 예약형으로 제공해요. 현재 가용 물량과 가격은 팀에 문의해 주세요.

H100과 H200은 뭐가 다른가요?

둘 다 Hopper 연산 성능(희소성 적용 시 FP16 1,979 / FP8 3,958 TFLOPS)은 같지만, H200은 141GB HBM3e에 4.8 TB/s, H100은 80GB HBM3에 3.35 TB/s예요. H200이 더 큰 모델, 배치(batch), 문맥(context)에 유리해요.