기술 사양
- 아키텍처
- Ampere
- GPU 메모리
- 80GB HBM2e
- 메모리 대역폭
- 2.0 TB/s
- NVLink
- 600 GB/s
- FP16/BF16 (텐서)
- 624 TFLOPS
- 최대 TDP
- 400W
- 노드당 GPU
- 8 (HGX A100)
*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.
요금 및 이용 안내
A100은 어디에 쓰면 좋을까요?
파인튜닝과 LoRA
7B~70B급 모델을 가성비 좋게 파인튜닝할 수 있어요. 80GB HBM2e면 대부분의 풀 파인튜닝과 LoRA 작업이 들어가고, 초당 과금이라 반복 실험 비용도 낮아요.
가성비 좋은 추론
대부분의 오픈 모델을 Hopper보다 낮은 시간당 비용으로 프로덕션 서빙할 수 있어요. TensorRT, vLLM, Triton 지원도 성숙해요.
연구와 교육
가장 많이 검증된 데이터센터 GPU예요. CUDA, PyTorch, JAX를 그대로 쓸 수 있어서 실험과 수업, 재현 가능한 연구를 필요할 때 바로 실행할 수 있어요.
어떤 NVIDIA GPU가 맞을까요?
| A100 현재 보고 있는 모델 | H100 Hopper | H200 Hopper | B200 Blackwell | B300 Blackwell | GB300 Blackwell | |
|---|---|---|---|---|---|---|
| 아키텍처 | Ampere | Hopper | Hopper | Blackwell | Blackwell | Blackwell |
| GPU 메모리 | 80GB HBM2e | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e | up to 288GB HBM3e | up to 288GB HBM3e |
| 메모리 대역폭 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8 TB/s | 8 TB/s | 8 TB/s |
| FP8 (텐서) | 지원 안 함 | 3,958 TFLOPS | 3,958 TFLOPS | 9 PFLOPS | 10 PFLOPS | 10 PFLOPS |
| 이용 방식 | 최저 $1.48/시간 | 최저 $2.98/시간 | 예약 전용 | 예약 전용 | 예약 전용 | 예약 전용 |
| 추천 용도 | 가성비 파인튜닝과 추론 | 가성비 학습과 추론 | 긴 문맥과 대형 모델 추론 | FP4 최신 대형 모델 학습 | 초대형 모델과 동시 요청이 많은 추론 | 클러스터급 학습과 추론 |
앞서가는 팀들이 VESSL Cloud를 선택한 이유
여러 클라우드를 한곳에서
여러 클라우드의 GPU를 한곳에 모아둬서, 클라우드마다 할당량을 신청하고 따로 계약할 필요가 없어요.
한 노드부터 클러스터까지
한 노드에서 GPU를 최대 8장까지 쓰고, 한 노드로 부족하면 InfiniBand로 묶은 멀티노드 VM Cluster로 넘어가요.
투명한 요금
셀프서브 GPU는 초 단위 요금을 공개하고, 예약형은 GPU와 기간, 물량에 맞춰 견적을 드려요.
엔터프라이즈 보안도 문제없어요
SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.
자주 묻는 질문
VESSL Cloud에서 NVIDIA A100 가격은 얼마인가요?
A100 SXM(80GB)은 온디맨드 시간당 $1.48부터예요. cloud.vessl.ai에서 바로 시작할 수 있고, 예약형으로 약정하면 더 저렴하고 물량도 보장돼요.
A100 메모리(VRAM)는 얼마인가요?
A100 SXM은 80GB HBM2e 메모리에 대역폭 2.0 TB/s예요. 대부분의 파인튜닝과 추론에 충분해요. 더 큰 모델이나 더 긴 문맥(context), FP8이 필요하면 H100(80GB HBM3)이나 H200(141GB HBM3e)이 더 많은 연산과 대역폭을 제공해요.
A100과 H100 중에 뭘 골라야 하나요?
A100은 가성비 선택이에요. 파인튜닝과 추론, 연구에 시간당 비용이 더 낮아요. H100은 FP8과 약 2배의 텐서 연산을 더해 대규모 학습과 높은 처리량 서빙에 유리해요. A100으로 시작하고, 작업에 필요해지면 올려도 돼요.
A100 멀티 노드 학습이 가능한가요?
여러 노드로는 안 돼요. Workspace나 Job에서 한 노드에 A100을 최대 8장까지 쓸 수 있어요. InfiniBand로 여러 노드를 묶어 분산 학습하려면 H100부터 B300까지 제공하는 VM Cluster를 이용하세요.
예약형 할인이 있나요?
예약형은 더 낮은 요금과 물량 보장을 제공해요. 자세한 내용은 팀에 문의해 주세요.
다른 GPU도 살펴보기
워크로드가 다르다면, 메모리, 처리량, 예산에 맞는 GPU를 골라보세요.
학습, 파인튜닝, 추론 어떤 작업에도 잘 맞는 검증된 GPU예요. 가성비가 가장 좋고, 시간당 $2.98부터예요.
자세히 보기H100과 같은 Hopper 연산에 141GB HBM3e를 더해, 여러 GPU로 쪼개지 않고 긴 문맥 LLM과 더 큰 모델을 실행할 수 있어요.
자세히 보기192GB HBM3e와 FP4 가속을 갖춘 Blackwell이에요. 최신 대형 모델 학습과 높은 처리량 추론에 맞아요.
자세히 보기