기술 사양
- 아키텍처
- Hopper
- GPU 메모리
- 80GB HBM3
- 메모리 대역폭
- 3.35 TB/s
- NVLink
- 900 GB/s
- FP16/BF16 (텐서)
- 1,979 TFLOPS
- FP8 (텐서)
- 3,958 TFLOPS
- 최대 TDP
- 700W
- 노드당 GPU
- 8 (HGX H100)
*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.
요금 및 이용 안내
H100은 어디에 쓰면 좋을까요?
대규모 LLM 학습과 파인튜닝
검증된 Hopper 스택과 FP8 텐서 코어, 고속 InfiniBand로 70B~400B급 모델까지 멀티 노드로 학습할 수 있어요.
높은 처리량 추론
H100 FP8 가속으로 토큰 처리량은 높이고 응답 지연은 낮춰요.
연구와 HPC
성숙한 CUDA, PyTorch, JAX, NeMo 생태계 위에서, 실험, 과학 계산, 일정이 촉박한 연구 워크로드를 필요할 때 바로 실행할 수 있어요.
어떤 NVIDIA GPU가 맞을까요?
| A100 Ampere | H100 현재 보고 있는 모델 | H200 Hopper | B200 Blackwell | B300 Blackwell | GB300 Blackwell | |
|---|---|---|---|---|---|---|
| 아키텍처 | Ampere | Hopper | Hopper | Blackwell | Blackwell | Blackwell |
| GPU 메모리 | 80GB HBM2e | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e | up to 288GB HBM3e | up to 288GB HBM3e |
| 메모리 대역폭 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8 TB/s | 8 TB/s | 8 TB/s |
| FP8 (텐서) | 지원 안 함 | 3,958 TFLOPS | 3,958 TFLOPS | 9 PFLOPS | 10 PFLOPS | 10 PFLOPS |
| 이용 방식 | 최저 $1.48/시간 | 최저 $2.98/시간 | 예약 전용 | 예약 전용 | 예약 전용 | 예약 전용 |
| 추천 용도 | 가성비 파인튜닝과 추론 | 가성비 학습과 추론 | 긴 문맥과 대형 모델 추론 | FP4 최신 대형 모델 학습 | 초대형 모델과 동시 요청이 많은 추론 | 클러스터급 학습과 추론 |
앞서가는 팀들이 VESSL Cloud를 선택한 이유
여러 클라우드를 한곳에서
여러 클라우드의 GPU를 한곳에 모아둬서, 클라우드마다 할당량을 신청하고 따로 계약할 필요가 없어요.
한 노드부터 클러스터까지
한 노드에서 GPU를 최대 8장까지 쓰고, 한 노드로 부족하면 InfiniBand로 묶은 멀티노드 VM Cluster로 넘어가요.
투명한 요금
셀프서브 GPU는 초 단위 요금을 공개하고, 예약형은 GPU와 기간, 물량에 맞춰 견적을 드려요.
엔터프라이즈 보안도 문제없어요
SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.
자주 묻는 질문
VESSL Cloud에서 NVIDIA H100 가격은 얼마인가요?
H100 SXM(80GB)은 온디맨드 시간당 $2.98부터예요. 예약형 요금은 기간과 물량에 따라 정해요. cloud.vessl.ai에서 바로 시작할 수 있어요.
H100 메모리(VRAM)는 얼마인가요?
H100 SXM은 80GB HBM3 메모리에 대역폭 3.35 TB/s예요. 더 큰 모델이나 더 긴 문맥(context)에 메모리가 더 필요하면 141GB HBM3e의 H200을 보세요.
H100과 H200은 뭐가 다른가요?
둘 다 Hopper 연산 성능은 같지만, H200은 더 빠른 HBM3e 메모리를 141GB(H100은 80GB HBM3) 탑재하고 대역폭이 4.8 TB/s예요. 더 큰 모델, 더 큰 배치(batch), 더 긴 문맥(context)에 유리해요.
H100 멀티 노드 학습이 가능한가요?
가능해요. VM Cluster에서 8장 단위 HGX H100 노드를 고속 InfiniBand로 묶어 분산 학습을 하고, 모든 노드에 root SSH로 접속해요. GPU passthrough로 베어메탈에 가까운 성능을 내요. 한 노드 안에서는 Workspace나 Job으로 H100을 최대 8장까지 쓸 수 있어요.
예약형 할인이 있나요?
예약형은 계약 기간 동안 물량을 확보해 드려요. 요금 조건은 팀에 문의해 주세요.
다른 GPU도 살펴보기
워크로드가 다르다면, 메모리, 처리량, 예산에 맞는 GPU를 골라보세요.
H100과 같은 Hopper 연산에 141GB HBM3e를 더해, 여러 GPU로 쪼개지 않고 긴 문맥 LLM과 더 큰 모델을 실행할 수 있어요.
자세히 보기192GB HBM3e와 FP4 가속을 갖춘 Blackwell이에요. 최신 대형 모델 학습과 높은 처리량 추론에 맞아요.
자세히 보기최대 288GB HBM3e를 갖춘 Blackwell Ultra예요. 가장 큰 모델과 동시 요청이 많은 추론 서빙을 위한 GPU예요.
자세히 보기