기술 사양
- 아키텍처
- Ampere
- GPU 메모리
- 80GB HBM2e
- 메모리 대역폭
- 2.0 TB/s
- NVLink
- 600 GB/s
- FP16/BF16 (텐서)
- 624 TFLOPS
- 최대 TDP
- 400W
- 노드당 GPU
- 8 (HGX A100)
*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.
요금 및 이용 안내
A100은 어디에 쓰면 좋을까요?
파인튜닝과 LoRA
7B~70B급 모델을 가성비 좋게 파인튜닝할 수 있어요. 한 노드에서 A100(80GB HBM2e)을 최대 8장까지 쓰면 대부분의 LoRA 작업과 작은 모델의 풀 파인튜닝이 들어가고, 초 단위 과금이라 반복 실험 비용도 낮아요.
가성비 좋은 추론
대부분의 오픈 모델을 Hopper보다 낮은 시간당 비용으로 프로덕션 서빙할 수 있어요. TensorRT, vLLM, Triton 지원도 성숙해요.
연구와 교육
오랫동안 널리 검증된 데이터센터 GPU예요. CUDA, PyTorch, JAX를 그대로 쓸 수 있어서 실험과 수업, 재현 가능한 연구를 온디맨드로 실행할 수 있어요.
어떤 NVIDIA GPU가 맞을까요?
| A100 현재 보고 있는 모델 | H100 Hopper | H200 Hopper | B200 Blackwell | B300 Blackwell | GB300 Blackwell | |
|---|---|---|---|---|---|---|
| 아키텍처 | Ampere | Hopper | Hopper | Blackwell | Blackwell | Blackwell |
| GPU 메모리 | 80GB HBM2e | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e | 최대 288GB HBM3e | 최대 288GB HBM3e |
| 메모리 대역폭 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8 TB/s | 8 TB/s | 8 TB/s |
| FP8 (텐서) | 지원 안 함 | 3,958 TFLOPS | 3,958 TFLOPS | 9 PFLOPS | 9 PFLOPS | 10 PFLOPS |
| 이용 방식 | 최저 $1.77/시간 | 최저 $3.57/시간 | 예약 전용 | 예약 전용 | 예약 전용 | 예약 전용 |
| 추천 용도 | 가성비 파인튜닝과 추론 | 가성비 학습과 추론 | 긴 문맥과 대형 모델 추론 | FP4 최신 대형 모델 학습 | 초대형 모델과 동시 요청이 많은 추론 | 클러스터급 학습과 추론 |
AI 팀이 VESSL Cloud를 고르는 이유
A100부터 Blackwell Ultra까지
A100과 H100은 온디맨드로 이용할 수 있어요. 더 큰 작업에는 H200과 Blackwell GPU를 예약해서, 워크로드마다 맞는 GPU를 쓸 수 있어요.
문제를 일찍 발견해요
VM Cluster의 모든 노드는 상시 상태 점검(health check)을 받고, 노드 상태는 약 1분마다 갱신돼요. Workspace와 Job은 자원 사용량이 기준을 넘거나 실행 중 문제가 생기면 알림을 보내요.
한 노드부터 클러스터까지
한 노드에서 GPU를 최대 8장까지 써서 학습과 서빙을 하고, 한 노드로 부족하면 멀티노드 VM Cluster로 넘어가요.
엔터프라이즈 보안도 문제없어요
SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.
자주 묻는 질문
VESSL Cloud에서 NVIDIA A100 가격은 얼마인가요?
A100 SXM(80GB)은 온디맨드 시간당 $1.77부터예요. cloud.vessl.ai에서 셀프서브로 시작할 수 있어요.
A100 메모리(VRAM)는 얼마인가요?
A100 SXM은 80GB HBM2e 메모리에 대역폭 2.0 TB/s예요. 더 큰 모델이나 더 긴 문맥(context), FP8이 필요하면 H100(80GB HBM3)이나 H200(141GB HBM3e)이 더 많은 연산과 대역폭을 제공해요.
A100과 H100 중에 뭘 골라야 하나요?
A100은 가성비 선택이에요. 파인튜닝과 추론, 연구에 시간당 비용이 더 낮아요. H100은 FP8을 지원하고, FP16/BF16 텐서 연산 성능이 A100의 약 3배라 대규모 학습과 높은 처리량 서빙에 유리해요. A100으로 시작하고, 작업에 필요해지면 올려도 돼요.
A100 멀티노드 학습이 가능한가요?
여러 노드로는 안 돼요. Workspace나 Job에서 한 노드에 A100을 최대 8장까지 쓸 수 있어요. 여러 노드를 묶어 분산 학습하려면 H100부터 B300까지 제공하는 VM Cluster를 이용하세요.
다른 GPU도 살펴보기
워크로드가 다르다면, 메모리, 처리량, 예산에 맞는 GPU를 골라보세요.
학습, 파인튜닝, 추론 어떤 작업에도 잘 맞는 검증된 GPU예요. 가성비도 좋고, 시간당 $3.57부터예요.
자세히 보기H100과 같은 Hopper 연산에 141GB HBM3e를 더해, 여러 GPU로 쪼개지 않고 긴 문맥 LLM과 더 큰 모델을 실행할 수 있어요.
자세히 보기192GB HBM3e와 FP4 가속을 갖춘 Blackwell이에요. 최신 대형 모델 학습과 높은 처리량 추론에 맞아요.
자세히 보기