기술 사양
- 아키텍처
- Ampere
- GPU 메모리
- 80GB HBM2e
- 메모리 대역폭
- 2.0 TB/s
- NVLink
- 600 GB/s
- FP16/BF16 (텐서)
- 624 TFLOPS
- 최대 TDP
- 400W
- 노드당 GPU
- 8 (HGX A100)
*희소성(sparsity) 적용 시 이론상 최대 성능이며 NVIDIA 공식 사양 기준이에요. 노드 구성에 따라 달라질 수 있어요.
요금 및 이용 안내
A100은 어디에 쓰면 좋을까요?
파인튜닝과 LoRA
7B~70B급 모델을 가성비 좋게 파인튜닝할 수 있어요. 80GB HBM2e면 대부분의 풀 파인튜닝과 LoRA 작업이 들어가고, 초당 과금이라 반복 실험 비용도 낮아요.
가성비 좋은 추론
대부분의 오픈 모델을 Hopper보다 낮은 시간당 비용으로 프로덕션 서빙할 수 있어요. TensorRT, vLLM, Triton 지원도 성숙해요.
연구와 교육
가장 많이 검증된 데이터센터 GPU예요. CUDA, PyTorch, JAX를 그대로 쓸 수 있어서 실험과 수업, 재현 가능한 연구를 필요할 때 바로 실행할 수 있어요.
어떤 NVIDIA GPU가 맞을까요?
| A100 현재 보고 있는 모델 | H100 Hopper | H200 Hopper | B200 Blackwell | B300 Blackwell | GB300 Blackwell | |
|---|---|---|---|---|---|---|
| 아키텍처 | Ampere | Hopper | Hopper | Blackwell | Blackwell | Blackwell |
| GPU 메모리 | 80GB HBM2e | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e | up to 288GB HBM3e | up to 288GB HBM3e |
| 메모리 대역폭 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8 TB/s | 8 TB/s | 8 TB/s |
| FP8 (텐서) | — | 3,958 TFLOPS | 3,958 TFLOPS | 9 PFLOPS | 10 PFLOPS | 10 PFLOPS |
| 이용 방식 | 최저 $1.39/시간 | 최저 $3.19/시간 | 최저 $4.29/시간 | 최저 $5.79/시간 | 최저 $7.29/시간 | 예약 전용 |
| 추천 용도 | 가성비 파인튜닝과 추론 | 가성비 학습과 추론 | 긴 문맥과 대형 모델 추론 | FP4 최신 대형 모델 학습 | 초대형 모델과 동시 요청이 많은 추론 | 클러스터급 학습과 추론 |
앞서가는 팀들이 VESSL Cloud를 선택한 이유
기다림 없이 바로 시작
여러 클라우드의 GPU를 한곳에 모아둬서, 할당량이나 복잡한 절차 없이 바로 시작할 수 있어요.
한 대부터 클러스터 규모까지
고속 InfiniBand로 묶은 HGX 노드로, GPU 한 대부터 대규모 멀티 노드 클러스터까지 필요한 만큼 늘릴 수 있어요.
쓴 만큼만 투명하게
온디맨드부터 예약형까지, 쓴 만큼만 내는 종량제예요.
엔터프라이즈 보안도 문제없어요
SOC 2 Type II 인증에 상용 AI 전담 지원까지 갖춰서, 엔터프라이즈 규모에서도 안심하고 쓸 수 있어요.
자주 묻는 질문
VESSL Cloud에서 NVIDIA A100 가격은 얼마인가요?
A100 SXM(80GB)은 온디맨드 시간당 $1.39부터예요. cloud.vessl.ai에서 바로 시작할 수 있고, 3개월 이상 예약형으로 약정하면 더 저렴하고 물량도 보장돼요.
A100 메모리(VRAM)는 얼마인가요?
A100 SXM은 80GB HBM2e 메모리에 대역폭 2.0 TB/s예요. 대부분의 파인튜닝과 추론에 충분해요. 더 큰 모델이나 더 긴 문맥(context), FP8이 필요하면 H100(80GB HBM3)이나 H200(141GB HBM3e)이 더 많은 연산과 대역폭을 제공해요.
A100과 H100 중에 뭘 골라야 하나요?
A100은 가성비 선택이에요. 파인튜닝과 추론, 연구에 시간당 비용이 더 낮아요. H100은 FP8과 약 2배의 텐서 연산을 더해 대규모 학습과 높은 처리량 서빙에 유리해요. A100으로 시작하고, 작업에 필요해지면 올려도 돼요.
A100 멀티 노드 학습이 가능한가요?
가능해요. 8장 단위 HGX A100 노드를 고속 InfiniBand로 묶어 분산 학습을 하고, 자동 체크포인트도 지원해요.
예약형 할인이 있나요?
3개월 이상 예약형은 더 낮은 요금과 물량 보장을 제공해요. 자세한 내용은 팀에 문의해 주세요.
다른 GPU도 살펴보기
워크로드가 다르다면, 메모리, 처리량, 예산에 맞는 GPU를 골라보세요.
학습, 파인튜닝, 추론 어떤 작업에도 잘 맞는 검증된 GPU예요. 가성비가 가장 좋고, 시간당 $3.19부터예요.
자세히 보기H100과 같은 Hopper 연산에 141GB HBM3e를 더해, 여러 GPU로 쪼개지 않고 긴 문맥 LLM과 더 큰 모델을 실행할 수 있어요.
자세히 보기192GB HBM3e와 FP4 가속을 갖춘 Blackwell이에요. 최신 대형 모델 학습과 높은 처리량 추론에 맞아요.
자세히 보기