데이터 온도에 맞춘 두 가지 티어
매일 학습에 쓰는 데이터셋과 지난달 체크포인트는 필요한 게 달라요. 데이터를 얼마나 자주 쓰는지에 따라 티어를 고르면 돼요.
Cluster Storage
클러스터에 묶인 고가용성 분산 스토리지(CephFS on NVMe)예요. 코드나 가상 환경처럼 지금 당장 학습에서 매 스텝 읽어야 하는 데이터셋을 보관하기 좋아요.
- 인터넷망을 거치지 않는 클러스터 내부 네트워크 공유
- 여러 워크로드가 동시에 읽고 쓰기
- Workspace를 꺼도 데이터는 그대로 유지
- GiB당 월 $0.20, 실사용량 기준 일 단위 과금
Object Storage
조직 내 어떤 클러스터에서든 접근할 수 있는 S3 기반의 튼튼한 스토리지예요. 데이터셋이나 체크포인트, 오래 보관할 아티팩트를 한 번만 올려두면 GPU가 있는 곳 어디서든 자유롭게 붙여 쓸 수 있어요.
- 어느 클러스터에서든 접근
- 체크포인트, 로그, 장기 보관 아티팩트
- 외부 도구와 파이프라인용 S3 호환 접근
- GiB당 월 $0.03, 실사용량 기준 일 단위 과금
빈 볼륨에서 마운트까지
웹 콘솔에서도, CLI에서도 세 단계면 돼요.
볼륨 만들기
웹 또는 vesslctl volume create로 만들어요. 데이터 성격에 맞는 Warm/Cold 티어를 고르면 돼요.
데이터 올리기
웹 또는 vesslctl volume upload로 올려요. 한 번 올려두면 모든 실행에서 바로 쓸 수 있어요.
붙이고 실행하기
Workspace에 마운트하거나 Job 실행 시점에 연결하세요. 여러 워크로드가 같은 볼륨을 동시에 읽고 쓸 수 있어요.
저장한 만큼만, 매일 정산
할당 용량이 아니라 실제 저장된 데이터 기준으로 매일 과금해요.
자주 묻는 질문
Warm 티어와 Cold 티어는 뭐가 다른가요?
Warm 티어는 Cluster Storage예요. 한 클러스터에 묶인 NVMe 기반 고가용성 CephFS 스토리지로, 인터넷망을 거치지 않는 클러스터 내부 네트워크로 공유돼서 코드, 가상환경, 지금 학습이 계속 읽는 데이터셋에 맞아요. Cold 티어는 Object Storage예요. 조직의 어느 클러스터에서든 접근할 수 있는 S3 기반 저비용 내구성 스토리지로, 체크포인트, 로그, 장기 보관 아티팩트에 맞아요. 다만 Object Storage는 상대적으로 느려서 Workspace의 기본 작업 경로로는 쓰지 않는 게 좋아요.
과금은 어떻게 되나요?
두 티어 모두 약정 없는 종량제예요. 할당 용량이 아니라 실제 저장된 데이터 기준으로 매일 과금하고, Cluster Storage는 GiB당 월 $0.20(일 단위로는 GiB당 약 $0.0067), Object Storage는 GiB당 월 $0.03(약 $0.001)이에요.
볼륨은 어떻게 만들고 워크로드에 어떻게 붙이나요?
Object Storage 볼륨은 팀원 누구나 직접 만들 수 있어요. 웹 콘솔이나 vesslctl volume create로 만들고, 웹 또는 vesslctl volume upload로 데이터를 올리면 돼요. Cluster Storage 볼륨은 조직 관리자가 만들어서 팀에 할당해요. 만든 볼륨은 Workspace에 마운트하거나 Job 실행 시점에 연결하면 되고, 두 티어 모두 여러 워크로드가 같은 볼륨을 동시에 읽고 쓸 수 있어요.
학습 데이터셋과 체크포인트는 어디에 두는 게 좋나요?
지금 학습이 매 스텝 읽는 작업 데이터는 속도를 위해 Warm 티어(Cluster Storage)에, 전체 데이터셋, 체크포인트, 장기 보관 데이터는 어느 클러스터에서든 저렴하게 접근할 수 있도록 Cold 티어(Object Storage)에 두세요.
임시 파일을 둘 공간도 있나요?
네, 모든 Workspace에 캐시와 중간 산출물용 로컬 스크래치 공간(Temporary Storage)이 기본으로 포함돼요. 다만 Workspace를 끄면 전부 지워지니, 쉽게 다시 만들 수 있는 데이터만 두세요. 남겨야 하는 데이터는 Warm/Cold 티어에 보관하면 돼요.
크레딧이 다 떨어지면 데이터는 어떻게 되나요?
접근이 제한된 상태로 최대 30일간 보관된 뒤 삭제돼요. 잔액이 0이 되기 전에 충전하고, 중요한 데이터는 미리 백업해 두세요.
