NVIDIA Hopper

NVIDIA H200

Name: NVIDIA H200 SXM GPU Cloud
Brand: NVIDIA

NVIDIA H200 SXM은 141GB HBM3e 메모리를 탑재했어요. H100과 동일한 Hopper 연산 성능에 더 크고 빠른 메모리를 더해, 여러 GPU로 쪼개지 않고 긴 문맥(context) LLM과 대형 모델을 실행할 수 있어요.

물량 예약하기

NVIDIA H200 SXM

GPU 메모리: 141GB HBM3e
메모리 대역폭: 4.8 TB/s

기술 사양

아키텍처: Hopper
GPU 메모리: 141GB HBM3e
메모리 대역폭: 4.8 TB/s
NVLink: 900 GB/s
FP16/BF16 (텐서): 1,979 TFLOPS
FP8 (텐서): 3,958 TFLOPS
최대 TDP: 700W
노드당 GPU: 8 (HGX H200)

*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.

요금 및 이용 안내

NVIDIA H200 SXM문의 후 이용 가능

문의하기

H200은 어디에 쓰면 좋을까요?

긴 문맥 · 대형 모델 추론

141GB HBM3e면 70B급 모델과 큰 KV 캐시도 단일 GPU에 올라가, 여러 GPU로 쪼개지 않고 더 긴 문맥(context)을 서빙해요.

메모리를 많이 쓰는 학습 · 파인튜닝

더 큰 배치(batch)와 더 긴 시퀀스가 메모리에 들어가고, 4.8 TB/s 대역폭이 Hopper FP8 텐서 코어에 데이터를 끊김 없이 공급해요.

H100에서 그대로 업그레이드

H100과 동일한 CUDA · PyTorch · NeMo 스택이라, 메모리가 부족하던 워크로드를 코드 수정 없이 그대로 옮겨 실행할 수 있어요.

어떤 NVIDIA GPU가 맞을까요?

	H100 Hopper	H200 현재 보고 있는 모델	B200 Blackwell	B300 Blackwell
아키텍처	Hopper	Hopper	Blackwell	Blackwell
GPU 메모리	80GB HBM3	141GB HBM3e	192GB HBM3e	up to 288GB HBM3e
메모리 대역폭	3.35 TB/s	4.8 TB/s	8 TB/s	8 TB/s
FP8 (텐서)	3,958 TFLOPS	3,958 TFLOPS	9 PFLOPS	10 PFLOPS
이용 방식	최저 $2.39/시간	문의 후 이용 가능	문의 후 이용 가능	문의 후 이용 가능
추천 용도	가성비 학습·추론	긴 문맥·대형 모델 추론	FP4 최신 대형 모델 학습	초대형 모델·동시 요청이 많은 추론

앞서가는 팀들이 VESSL Cloud를 선택한 이유

기다림 없이 바로 시작

여러 클라우드의 GPU를 한곳에 모아둬서, 할당량이나 복잡한 절차 없이 바로 시작할 수 있어요.

한 대부터 클러스터 규모까지

고속 InfiniBand로 묶은 HGX 노드로, GPU 한 대부터 대규모 멀티 노드 클러스터까지 필요한 만큼 늘릴 수 있어요.

쓴 만큼만 투명하게

스팟·온디맨드·예약형까지, 쓴 만큼만 내는 종량제예요.

엔터프라이즈 보안도 문제없어요

SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.

자주 묻는 질문

H200도 지금 쓸 수 있나요?

H200은 문의 후 이용할 수 있어요. 현재 가용 물량과 가격은 팀에 문의해 주세요. 일정에 맞춰 필요한 수량을 확보해 드려요.

H100과 H200은 뭐가 다른가요?

둘 다 Hopper 연산 성능(FP16 1,979 / FP8 3,958 TFLOPS)은 같지만, H200은 141GB HBM3e에 4.8 TB/s, H100은 80GB HBM3에 3.35 TB/s예요. H200이 더 큰 모델·배치(batch)·문맥(context)에 유리해요.