AI/LLM ํ๋ก์ ํธ์ ๋ชจ๋ ๊ฒ.
๋ชจ๋ธ๊ณผ GPU ๊ด๋ฆฌ, ์ธํ๋ผ๊น์ง.
ํ์ ๊ธฐ์
๋ค์ด ์ ํํ
AI ํตํฉ ํ๋ซํผ
์ด๋ฅผ ํ์ฉํด ์ปค์คํ ๋ชจ๋ธ์ ๋ง๋์ธ์.
๋ชจ๋ธ ๋ฐฐํฌ
AI๋ชจ๋ธ์ ๋น ๋ฅด๊ฒ ํ์ํ์ธ์
VESSL Hub์ ์ค๋น๋ YAML ํ
ํ๋ฆฟ์ ํ์ฉํด
๋ฐ๋ก ์์ํ์ธ์.
AI๋ชจ๋ธ์
๋น ๋ฅด๊ฒ ํ์ํ์ธ์
VESSL Hub์ ์ค๋น๋ YAML ํ ํ๋ฆฟ์ ํ์ฉํด ๋ฐ๋ก ์์ํ์ธ์.
VESSL Hub ๋ฐ๋ก๊ฐ๊ธฐ๋ช
๋ น์ด ํ ์ค๋ก
๋ชจ๋ธ์ ํ๋ จํ์ธ์
๋ฉํฐ ํด๋ผ์ฐ๋์์ ๊ฐํธํ๊ฒ ๋ชจ๋ธ ํ๋ จ
์ด๋ค ์ธํ๋ผ์์๋ ๋ง์ถคํ AI ๋ฐ LLM์ ๋น ๋ฅด๊ฒ ๋ฐฐํฌํ๊ณ
์ธํผ๋ฐ์ค๋ฅผ ์ฝ๊ฒ ํ์ฅํ์ธ์.
๋๊ท๋ชจ ์ํฌ๋ก๋ ์ฒ๋ฆฌ
Batch job ์ค์ผ์ค๋ง์ผ๋ก ๋ณต์กํ ์์ ์ ์ฒ๋ฆฌํ๊ณ , ์ฌ์ฉ๋ ๋งํผ๋ง ๊ฒฐ์ ํ์ธ์.
๋น์ฉ ์ต์ ํ
GPU ์ฌ์ฉ๋, ์คํ ์ธ์คํด์ค, ์๋ ์ฅ์ ์กฐ์น๋ก ๋น์ฉ์
ํ ์ค์ด์ธ์.
๊ฐ๋จํ ํ๋ จ ํ๊ฒฝ ๊ตฌ์ฑ
๋ณต์กํ ์ธํ๋ผ ์ค์ ์์ด YAML ํ ์ค๋ก ํ๋ จํ์ฌ
์ฝ๊ฒ ์ธํ๋ผ๋ฅผ ์ค์ ํ์ธ์.
์ด๋์๋,
๋๊ท๋ชจ AI ๋ชจ๋ธ์ ๋ฐฐํฌํ์ธ์
ํ๋ก๋์ ์ค๋น
ํธ๋ํฝ์ ๋ฐ๋ผ Worker๋ฅผ ์๋์ผ๋ก ํ์ฅํ๊ฑฐ๋ ๋นํ์ฑ ์ํ์์๋ ์์ ์ฌ์ฉ์ ์ต์ํํ์ธ์.
์๋ฒ๋ฆฌ์ค ํ๊ฒฝ์์ ๋ชจ๋ธ ๋ฐฐํฌ
์์ ์ฌ์ฉ ๊ฐ๋ฅํ ์๋ํฌ์ธํธ๋ฅผ ํตํด ์ต์ฒจ๋จ ๋ชจ๋ธ์ ๋ฐฐํฌํ๊ณ
๋ฆฌ์์ค๋ฅผ ์ต์ ํํ์ธ์.
์ค์๊ฐ ๋ชจ๋ํฐ๋ง
Worker ์, GPU ์ฌ์ฉ๋ฅ , ์ง์ฐ ์๊ฐ, ์ฒ๋ฆฌ๋ ๋ฑ ์ฃผ์ ๋ฉํธ๋ฆญ์ ์ค์๊ฐ์ผ๋ก ๋ชจ๋ํฐ๋งํ์ธ์.
ํธ๋ํฝ ๊ด๋ฆฌ
์ฌ๋ฌ ๋ชจ๋ธ ๊ฐ ํธ๋ํฝ์ ๋๋์ด ํจ์จ์ ์ผ๋ก A/B ํ ์คํธ๋ฅผ ์งํํ์ธ์.
ํตํฉ ์ธํฐํ์ด์ค๋ก
ํด๋ฌ์คํฐ๋ฅผ ๊ด๋ฆฌํ์ธ์
ํตํฉ ์ธํฐํ์ด์ค
๋ชจ๋ ํด๋ผ์ฐ๋์ ์จํ๋ ๋ฏธ์ค ํ๊ฒฝ์์ ์ผ๊ด๋ ์น ์ฝ์๊ณผ CLI๋ฅผ ํ์ฉํ์ธ์.
๋ฆฌ์์ค ํ๋ก๋น์ ๋
์ค์๊ฐ ํด๋ฌ์คํฐ ๋์๋ณด๋๋ฅผ ํตํด ๊ด๋ฆฌ ๋น์ฉ์ ์ค์ด์ธ์.
์์ ๋ก์ด ๋ฆฌ์์ค ์ค์
GPU ์ข ๋ฅ์ ์๋ ๋ฑ์ ์ปค์คํ ํ์ฌ ํ์ํ ๋ฆฌ์์ค๋ฅผ ์์ ๋กญ๊ฒ ๊ตฌ์ฑํ์ธ์.
์ฐ์ ์์ ์ค์ผ์ค๋ง
์ค์ํ ์์ ์ ์ฐ์ ์์๋ฅผ ๋์ด ์ต๊ณ ์ ๊ฒฐ๊ณผ๋ฅผ ๋ง๋์ธ์.
์๋ ํฌ ์๋ CI/CD๋ก
AI ์ํฌํ๋ก์ฐ ์๋ํ
์ ๊ตํ AI ์ํฌํ๋ก์ฐ๋ฅผ ์ค๊ณํ๊ณ ํฌ๋ก ์ก๊ณผ ๋๋ฒ๊น ์ ๊ฐํธํ๊ฒ ํ์ธ์.
์๋ ํฌ ์๋ CI/CD๋ก
AI ์ํฌํ๋ก์ฐ ์๋ํ
์ ๊ตํ AI ์ํฌํ๋ก์ฐ๋ฅผ ์ค๊ณํ๊ณ ํฌ๋ก ์ก๊ณผ ๋๋ฒ๊น ์ ๊ฐํธํ๊ฒ ํ์ธ์.
๊ธฐ์ ๋ฌธ์ ํ์ธํ๊ธฐ์ ๋ ๊ธฐ์
๋ค๊ณผ ํจ๊ปํ๋
AI ํตํฉ ํ๋ซํผ
200๋ช ์ด์์ ๋จธ์ ๋ฌ๋ ์ฐ๊ตฌ์๋ค์ด ์ฐ๋ 1000๊ฐ+์ GPU๋ฅผ ๊ด๋ฆฌํฉ๋๋ค.
์์ธํ ๋ณด๊ธฐGPU ํด๋ฌ์คํฐ๋ฅผ ์์ ์ ์ผ๋ก ๊ณต๊ธํ์ฌ, fastMRI ์ฑ๋ฆฐ์ง๋ฅผ ๊ณต๋ ์ฃผ์ตํ ์ ์์์ต๋๋ค.
์์ธํ ๋ณด๊ธฐ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํ์ธํ๋์ ์ํ ์ต๊ณ ์ ํ๋ซํผ์ ๋๋ค.
์์ธํ ๋ณด๊ธฐCSP์ ์๋ฃจ์ ๋์ VESSL์ ์ ํํ์ต๋๋ค.
์์ธํ ๋ณด๊ธฐ์ปดํจํ ๋ฆฌ์์ค๋ฅผ ํจ์จ์ ์ผ๋ก ํ์ฉํ ์ ์๋ ์ต๊ณ ์ ํ๋ซํผ์ ๋๋ค.
์์ธํ ๋ณด๊ธฐ์ฌ๋ฌ ๋ฆฌ์ ์์ 100TB ์ด์์ ๋ฐ์ดํฐ๋ฅผ ํตํฉ, ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ฐ์ํํ์ผ๋ฉฐ, ๋ชจ๋ธ ๋ฐฐํฌ ์๊ฐ์ 5๊ฐ์์์ 1์ฃผ์ผ๋ก ๋จ์ถํ์ต๋๋ค.
์์ธํ ๋ณด๊ธฐ์์ฑํ AI ๋ชจ๋ธ์ ํ ์คํธํ๊ณ ๋ฐฐํฌํ๋๋ฐ ํ์์ ์ธ MLOps ๋๊ตฌ์ ๋๋ค.
์์ธํ ๋ณด๊ธฐ
AI/LLM ํ๋ก์ ํธ,
VESSL๋ก ์์ํ์ธ์
ํ ์ค์ ๋ช
๋ น์ด๋ก ์ธํ๋ผ ์ฐ๊ฒฐ,
๊ธฐ์กด ํด๋ค๊ณผ ํจ๊ป VESSL์ ํ์ฉํ์ธ์.