온프레미스 vs 클라우드 GPU, 갈림길은 가동률입니다
핵심 요약: GPU를 살지 빌릴지는 시간 단가 비교로 결정할 수 없어요. 양쪽 TCO에 실제로 들어가는 항목을 같은 기준으로 놓고, 사용률·도입 속도·데이터 정책·자금 구조·수요 예측 5가지 축으로 판단해야 해요. 특히 12개월 이상 60~70% 이상 지속 사용이 예상된다면 온프레미스가 유리해지는 경우가 많아요.
"GPU 서버를 사는 게 나을까요, 클라우드로 빌리는 게 나을까요?" AI 인프라 상담에서 가장 많이 받는 질문이에요. 그리고 가장 흔한 접근이 장비 가격을 클라우드 시간 단가로 나눠서 "몇 개월 쓰면 본전"이라고 계산하는 방식이에요.
결론부터 말하면 이 계산은 거의 항상 틀려요. 양쪽 모두 눈에 보이는 단가 뒤에 숨은 비용이 있고, 그 숨은 비용이 판단을 뒤집는 경우가 많거든요. 이 글에서는 어떤 항목을 어떤 기준으로 비교해야 하는지, 그리고 최종 판단에 쓰는 5가지 축을 정리해 드릴게요. 구체적인 금액은 구성·환율·시점에 따라 크게 달라지기 때문에, 여기서는 숫자가 아니라 구조와 항목에 집중할게요.
장비 가격 나누기 시간 단가, 왜 틀릴까요
단순 계산은 이렇게 흘러가요. "서버 도입가를 클라우드 시간당 요금으로 나누면 N개월이니까, 그보다 오래 쓰면 사는 게 이득이다." 직관적이지만 두 가지 큰 오류가 있어요.
첫째, 온프레미스는 장비 값만 내는 게 아니에요. 서버가 도착하는 순간부터 상면(데이터센터 공간), 전력, 냉각, 네트워크, 그리고 이걸 돌보는 사람의 비용이 계속 발생해요. 특히 최신 8GPU 서버는 한 대에 약 14kW급 전력을 쓰기 때문에, 기존 랙 환경에 그냥 들어가지 않는 경우가 많아요.
둘째, 클라우드는 GPU 시간만 내는 게 아니에요. 학습 데이터를 담는 스토리지, 데이터를 밖으로 내보낼 때의 전송 비용, 그리고 무엇보다 "켜놓고 안 쓰는 시간"의 비용이 청구서에 쌓여요. 반대로 약정을 걸면 표시 단가보다 훨씬 낮아지기도 하죠.
즉 양쪽 다 명목 단가와 실제 총비용의 간격이 커요. 이 간격을 메우는 게 TCO(총소유비용) 비교예요.
온프레미스 TCO에 넣어야 할 항목
온프레미스 쪽 비용은 크게 여섯 덩어리로 나눠요.
| 항목 | 내용 | 놓치기 쉬운 포인트 |
|---|---|---|
| 장비 | GPU 서버 본체, 스토리지, 네트워크 장비 | GPU 서버만 계산하고 스토리지·스위치를 빼먹는 경우가 많아요 |
| 유지보수 | 하드웨어 보증, 벤더 지원 계약 | 보증 기간과 지원 수준(온사이트 여부)에 따라 차이가 커요 |
| 상면 | 데이터센터 랙 사용료 | 고밀도 GPU 랙은 일반 랙과 조건이 달라요 |
| 전력·냉각 | 서버 소비 전력 + 냉각 비용 | 8GPU 서버 약 14kW급, 랙당 수용 가능 전력 사전 확인 필수예요 |
| 네트워크 | 노드 간 인터커넥트(InfiniBand/RoCE), 광모듈, 외부 회선 | 다중 노드 학습이면 네트워크가 별도의 큰 항목이 돼요 |
| 운영 인력 | 장애 대응, 펌웨어·드라이버 관리, 잡 스케줄링 운영 | 전담이 아니어도 누군가의 시간이 들어가요 |
여기에 도입 시점의 리드타임도 비용이에요. 발주부터 납품, 설치, 검수까지의 기간 동안 프로젝트가 기다려야 한다면 그 기회비용도 판단에 넣어야 해요.
클라우드 TCO에 넣어야 할 항목
클라우드 쪽은 시간 단가 외에 다섯 가지를 챙겨야 해요.
| 항목 | 내용 | 놓치기 쉬운 포인트 |
|---|---|---|
| 약정 할인 | 1년/3년 약정, 대형·장기 약정 시 별도 할인 협의 | 온디맨드 단가로만 비교하면 클라우드가 불리하게 왜곡돼요 |
| 스토리지 | 학습 데이터, 체크포인트, 모델 아티팩트 저장 | 학습 규모가 커질수록 GPU 비용 못지않게 커져요 |
| 데이터 전송 | 리전 간 이동, 외부 반출(Egress) 비용 | 온프레미스와 데이터를 오가는 하이브리드 구조에서 특히 커요 |
| 유휴 용량 | 확보해 두고 쓰지 않는 인스턴스 시간 | 실제 가동률이 낮으면 명목 단가보다 실효 단가가 훨씬 높아져요 |
| 운영 | 클라우드 아키텍처 관리, 비용 모니터링 | 온프레미스보다는 가볍지만 0은 아니에요 |
특히 유휴 용량은 클라우드 비용이 예상을 초과하는 가장 흔한 원인이에요. GPU 인스턴스를 확보해 두고 실험 사이사이 놀리는 시간이 길다면, 청구서 기준의 실효 시간 단가는 명목 단가의 몇 배가 될 수도 있어요.
판단의 5가지 축
항목을 다 모았다면, 이제 다섯 가지 축으로 우리 상황을 점검해요. 이 축들은 GPU 도입 가이드에서 다루는 도입 프로세스의 첫 단계이기도 해요.
- 사용률: GPU를 얼마나 꾸준히, 얼마나 오래 쓸 예정인가요? 지속 사용이면 온프레미스, 간헐 사용이면 클라우드로 기울어요.
- 도입 속도: 당장 다음 주부터 학습을 돌려야 하나요? 클라우드는 즉시, 온프레미스는 조달·설치 기간이 필요해요.
- 데이터 정책: 학습·서비스 데이터가 외부 클라우드로 나갈 수 있나요? 반출이 어려운 금융·공공·의료 데이터라면 온프레미스나 프라이빗 구성이 전제가 돼요.
- 자금 구조: 초기 투자(CAPEX)가 가능한가요, 월 비용(OPEX)이 편한가요? 같은 총액이라도 회사의 자금 구조에 따라 선호가 달라요.
- 수요 예측: 6개월 뒤, 1년 뒤 사용량을 어느 정도 확신하나요? 예측이 어려우면 클라우드로 시작해서 사용률이 안정된 뒤 전환하는 경로가 안전해요.
가동률 기준선: 12개월 이상, 60~70% 이상
다섯 축 중에서도 결정력이 가장 큰 것이 사용률이에요. 저희가 여러 비교 분석에서 반복적으로 확인한 기준선은 이거예요. 12개월 이상, 60~70% 이상 지속 사용이 예상되면 온프레미스가 유리해지는 경우가 많아요.
이유는 단순해요. 온프레미스 비용은 사용량과 무관하게 대부분 고정이라, 가동률이 올라갈수록 GPU 시간당 실효 비용이 계속 내려가요. 반면 클라우드는 쓴 만큼 내는 구조라 가동률이 올라가면 비용도 비례해서 올라가죠. 어느 지점에서 두 곡선이 교차하는데, 그 교차점이 대략 이 기준선 근처에 형성되는 경우가 많다는 뜻이에요.
반대로 가동률이 낮거나 들쭉날쭉하다면, 온프레미스의 고정비를 놀리는 셈이 되어 클라우드가 유리해요. "우리 팀 GPU가 실제로 몇 % 돌고 있는지"를 먼저 측정해 보는 것이 어떤 견적 비교보다 앞서야 하는 이유예요.
1년/3년 시나리오로 비교하는 방법
기준선은 출발점일 뿐이고, 실제 판단은 기간별 시나리오 비교로 해요. 방법은 이래요.
- 워크로드 정의: 무엇을 학습·서비스할지, 모델·데이터 크기, 필요 GPU 수와 예상 가동률을 적어요.
- 1년 시나리오: 온프레미스(장비+유지보수+상면+전력+네트워크+인력)와 클라우드(약정 반영 단가+스토리지+전송+예상 유휴분+운영)를 12개월 누적으로 나란히 놓아요.
- 3년 시나리오: 같은 계산을 36개월로 확장해요. 온프레미스는 초기 투자가 상각되면서 뒤로 갈수록 유리해지고, 클라우드는 약정 갱신 조건이 변수가 돼요.
- 민감도 확인: 가동률이 계획보다 20% 낮아지면, 또는 수요가 2배가 되면 결론이 뒤집히는지 확인해요. 결론이 쉽게 뒤집히는 구간에 있다면 하이브리드를 검토할 신호예요.
1년 시나리오에서는 클라우드가, 3년 시나리오에서는 온프레미스가 이기는 경우가 흔한데, 이때는 조직이 3년 수요를 얼마나 확신하는지가 최종 결정 요인이 돼요.
하이브리드 시나리오 2가지
양자택일이 아니라 섞는 것이 답인 경우도 많아요. 실무에서 자주 쓰는 조합은 두 가지예요.
시나리오 A: 베이스는 온프레미스, 피크는 클라우드. 상시 돌아가는 추론 서비스와 정기 학습은 온프레미스로 고정비화하고, 대규모 실험이나 일시적 트래픽 급증 같은 피크 수요만 클라우드로 흡수해요. 고정 수요가 뚜렷한 조직에 잘 맞아요.
시나리오 B: 클라우드로 시작, 검증 후 온프레미스 전환. PoC와 초기 서비스는 클라우드에서 빠르게 시작하고, 사용률 데이터가 쌓여 지속 수요가 검증되면 그 베이스 물량을 온프레미스로 옮겨요. 수요 예측이 어려운 초기 단계 조직에 잘 맞고, 처음부터 전환 시점의 데이터 이동과 아키텍처 호환성을 설계에 넣어두는 것이 핵심이에요.
마치며
정리하면 이래요. 살까 빌릴까의 답은 장비 가격표가 아니라 우리 조직의 가동률과 수요 확신도에 있어요. 양쪽 TCO 항목을 같은 표에 놓고, 5가지 축으로 점검한 뒤, 1년/3년 시나리오로 검증하는 순서를 지키면 후회가 적은 결정을 할 수 있어요.
에이핀은 특정 장비를 파는 것이 목표가 아니라, 고객의 AI 서비스 목적과 운영 조건을 분석한 뒤 온프레미스 GPU 서버, 퍼블릭 클라우드, 일반 서버, 데이터베이스, 구축·운영 서비스를 하나의 제안으로 결합해 드려요. 그래서 비교 결과가 "지금은 클라우드가 맞습니다"로 나오면 그렇게 말씀드려요.
특히 투자 유치 이후 GPU 확보와 비용 구조를 고민하는 조직이라면, 클라우드 유지·약정·구매 시나리오를 함께 다룬 AI 스타트업 GPU 전략도 이어서 읽어보세요.