Chat GPT 유료 서비스도, 시간당 사용 제약이 있는 이유는? (돈 냈는데....)

Chat GPT 유료 구독을 해보면, 일반 사용자들은 당황 할 수 밖에 없다. 구글/네이버 검색엔진에 익숙한 나와같이 순백한 사람들은 무한정 검색할 수 있을 거란 기대를 한다. 하지만, "최근 출시된 GPT-4 유료서비스 또한 3시간 당 25개의 메세지만 사용가능한 CAP이 존재한다."  하지만 생성형 AI 구동을 위해, 단순 유지비용만 따져봐도 유료 서비스 마저도 허덕이는 이유는 납득이 간다.

[생성형 AI 유지 비용]

LLM은 전력 소모량이 많아 유지 비용도 엄청나다.

1) 챗GPT를 구동하는 LLM GPT-4의 경우 하루 9억 원 가량이 필요한 것으로 알려졌다. 유료 구독 서비스를 운영해도 비용 부담이 큰 상황이기 때문에, 생성할 수 있는 메세지 갯수를 제약하여, 기업 서비스 운영 및 마진 사이의 TCO를 조절하는 것이다.

2) 만약 ChatGPT 같은 LLM을 검색에 활용한다면, 구글의 검색 매출 중 20% 정도가 AI 모델을 운영하는데에만 사용될 것으로 예측.(22년 구글 검색엔진 매출 1625억달러, 한화로 200조원으로, 20%수준인 LLM 검색 활용시, 연간 40조원의 운영비용이 들어가는 것을 의미)

3) 반도체 전문 리서치펌 semianalysis 분석
- 현재 구글 쿼리 당 매출(검색당 매출)  $0.0161이며,  비용은 $0.0106으로 이익률 34% 수준인데, LLM을 활용한 검색엔진으로 전환시, 비용이 $0.0106에서 $0.0141로 증가한다고 함. 이익률 34%에서 12%이하로 하락.  (이는 단순 LLM운영비 증가분만 가산된 비용이며, 추가적은 인건비는 이런 요인은 빠져있어, 쿼리당 비용은 실제 $0.0141보다 높을 것임)

[생성형 AI 훈련 비용]

가장 인기 있는 LLM인 GPT-3도 오픈AI가 훈련시키는 데 460만 달러(약 59억 2,000만 원)가 들었다.

[생성형 AI 개발 비용]

거대언어모델(LLM)을 개발하고 운영하려면 안정적 서비스 제공을 위한 그래픽처리장치(GPU) 서버 인프라가 필요하다. LLM 연산에 필수적인 GPU로 꼽히는 엔비디아의 H100칩은 개당 4,000만 원에 달하는데 초거대 LLM 구동을 위해선 수천 개가 필요