SKT는 왜 자체 AI 칩을 만들었을까
SK텔레콤이 인공지능(AI) 서비스 역량 강화를 위한 AI 연산 가속기를 발표했다. 서비스 고도화에 따라 데이터 처리 속도와 전력 효율이 중요해지면서 글로벌 IT 기업들이 자체 AI 칩을 내놓고 있는 가운데, SK텔레콤이 국내 기업으로는 처음으로 AI 가속기를 내놓았다.
SK텔레콤은 6월21일 기자간담회를 열고 AI 서비스 처리 속도를 높이는 ‘AI 가속 솔루션(AIX, AI Inference Accelerator)’을 개발해 자사 AI 서비스 ‘누구’에 적용했다고 밝혔다. 국내에서 데이터센터 기반 AI 서비스에 자체 AI 칩을 적용한 기업은 SK텔레콤이 처음이다. SK텔레콤에 따르면 자체 AI 연산 가속기를 데이터센터 AI 서버에 장착하면 딥러닝 연산 속도가 20배 빨라진다. 이를 활용하면 별도의 서버 증설 없이 AI 전체 서비스 용량을 기존 대비 약 5배 늘어날 것으로 기대된다.
SK텔레콤 데이터센터에 적용된 자체 개발 AI 연산 가속기
AI 칩 개발 배경
AI 기반 서비스가 자리를 잡기 시작하면서 글로벌 IT 기업들은 서비스 안정화를 위해 자체 AI 칩 개발에 나서고 있다. 폭증하는 방대한 데이터를 실시간으로 빠르게 처리하고 전력 효율성과 보안성을 높이기 위해서다. 기존 반도체 업체 외에도 구글이나 페이스북 등의 플랫폼 서비스 업체들도 AI 칩 개발에 적극 나서고 있다. 구글은 2016년 머신러닝 엔진인 텐서플로우에 특화된 AI 칩 ‘TPU(Tensor Processing Units)’를 내놓았으며 지난해 2세대 TPU를 발표했다. 이세돌 9단과 바둑 대결을 펼쳤던 ‘알파고’에도 TPU가 적용됐었다. 페이스북은 올해 4월 AI 칩 설계 인력 채용에 나서며 AI 칩 개발에 뛰어들었다.
SK텔레콤의 ‘AI 가속 솔루션(AIX, AI Inference Accelerator)’
SK텔레콤 역시 데이터 폭증에 대응하기 위해 AI 칩을 개발했다. SK텔레콤은 AI 가속 솔루션 개발 배경으로 자사 AI 서비스 이용자 증가를 들었다. 지난해 8월 11만명 수준이던 ‘누구’의 월간 실사용자 수는 올해 1분기 기준으로 300만명을 넘어섰다. SK텔레콤은 ‘누구’ 서비스를 스피커에 이어 내비게이션과 키즈폰, 셋톱박스 등으로 확대하고 있다. 미국 시장조사업체 트랙티카가 지난 3월 발표한 보고서에 따르면 AI 칩 시장 규모는 2025년까지 660억 달러에 이를 것으로 전망된다.
자체 서비스에 특화된 AI 연산 가속기
SK텔레콤의 AI 연산 가속기는 약 2년간 연구개발을 거쳐 상용화됐다. 이날 발표에 나선 정무경 SK텔레콤 SW기술원 머신러닝 인프라 랩장은 “(AI 연산 가속기는) 하드웨어를 팔기 위해서가 아닌 엄청난 규모의 AI 서비스 인프라 구축될 것을 대비해 자사의 인프라 효율성을 높이기 위해 개발했다”라고 밝혔다. 정무경 랩장은 연산 속도에 대해 기존 엔비디아의 GPU 기반 장치보다 일반적인 연산 속도는 떨어질 수 있지만 필요 없는 연산을 빼버리기 때문에 연산의 효율성은 GPU보다 높다고 설명했다. 자사의 서비스에 특화된 솔루션이기 때문에 더 효과적일 수 있다는 얘기다.
정무경 SK텔레콤 SW기술원 머신러닝 인프라 랩장
이번에 발표된 AI 연산 가속기는 GPU가 아닌 NPU(Neural Processing Unit)에 기반했다. GPU는 학습에 특화된 반면 NPU는 전력 효율이 높아 추론에 최적화됐다는 특징이 있다. AI 모델링을 해야 하는 연구자에게는 GPU가 효율적일지 모르지만 이미 만들어진 모델을 바탕으로 서비스를 해야 하는 기업에는 NPU가 효과적이라는 얘기다. AI 가속기가 AI 비서 서비스용 서버에 적용되면 응답시간이 빨라져 동시에 더 많은 이용자를 응대할 수 있다. 또 CCTV 등 보안 서비스에서도 더 많은 영상을 정확히 분석해 위험 상황에 빠르게 대처할 수 있다.
SK텔레콤은 AI 연산 속도 및 전력 효율성을 더욱 높일 수 있는 차세대 AI 가속 솔루션도 개발할 계획이라고 밝혔다. 정무경 랩장은 “자체 AI 연산 가속기 개발을 통해 AI 서비스 확산에 새로운 지평을 열었으며 서비스 성능 차별화 및 운용비를 절감할 수 있게 됐다”라고 말했다.
