사진 한 장으로 움직이는 얼굴 영상을 만든다고?

글로벌 영상 메신저 ‘아자르’를 개발 운영 중인 하이퍼커넥트가 사진 한 장으로 실제같이 움직이는 얼굴 영상을 만들 수 있는 기술을 구현했다. 얼굴 사진 한 장만 있으면 해당 인물의 모습을 이용자에게 씌워 다양한 표정을 연출할 수 있게 되는 셈이다.

하이퍼커넥트 AI랩이 최근 발표한 ‘마리오네트(MarioNETte)’는 재현하고자 하는 얼굴 사진 한 장(타깃)만 있으면 움직임을 부여하는 얼굴(드라이버)을 그대로 따라 하는 영상을 만들 수 있는 안면 재현 기술이다.

| 기존 안면 재현 기술과 하이퍼커넥트 기술 비교

기존에도 안면 재현 기술은 존재했지만, 재현하고자 하는 얼굴이 움직임을 부여하는 얼굴의 영향을 받아 부자연스럽게 변형되는 한계가 있었다. 또 고품질의 재현 영상을 만들려면 타깃의 얼굴과 윤곽이 비슷한 사람을 드라이버로 사용하거나, 각 타깃의 얼굴에 맞춰 딥러닝 모델을 추가로 학습시키는 등의 과정을 거쳐야 하는 탓에 기술 상용화가 어려웠다.

하이퍼커넥트는 독자 개발 기술을 적용해 문제를 해결했다. 우선, 사진에 움직임을 부여하는 드라이버의 얼굴에서 필요한 정보만 집중할 수 있는 구조(image attention block)를 딥러닝 모델에 적용했다. 또 얼굴에서 정체성을 나타내는 정보와 표정과 움직임을 나타내는 정보를 분리했다. 이를 통해 재현하고자 하는 얼굴에 드라이버의 표정 및 움직임 정보만 입히는 기술을 고안했다.

| 하이퍼커넥트 ‘마리오네트’ 기술을 통한 얼굴 재현 결과

해당 기술을 소개한 논문(MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets)은 인공지능(AI) 분야 최고 권위 학회인 미국 AI 학회 ‘AAAI’에도 채택됐다. 하이퍼커넥트는 내년 2월 뉴욕에서 열리는 AAAI 2020 학회에서 마리오네트 기술을 선보인다. 앞서 하이퍼커넥트는 지난 10월 열린 ‘국제 컴퓨터 비전 학회(ICCV 2019)’에서 이 기술을 시연해 국내외 딥러닝 전문가들로부터 호평을 받은 바 있다.

하이퍼커넥트는 앞으로 이 기술을 모바일 서비스에 바로 적용할 수 있는 수준까지 끌어올린다는 계획이다. 하이퍼커넥트는 얼굴 재현 기술이 영상 통화, 게임, AR 등 다양한 분야에 활용될 수 있는 만큼, 아자르, 하쿠나 라이브와 같은 하이퍼커넥트의 기존 서비스 개선은 물론 신규 서비스 개발에도 시너지 효과가 있을 것으로 기대된다고 밝혔다.

※마리오네트 기술 시연 영상(youtu.be/Y6HE1DtdJHg). 포털사이트에 따라 영상이 지원되지 않을 수도 있습니다.

하이퍼커넥트 AI랩을 총괄하는 하성주 디렉터는 “기존 안면 재현 기술 연구는 구동 시간이 오래 걸리고 데이터가 많이 필요한 모델을 개발해 영상 품질을 높이거나, 모델의 속도를 높이기 위해 영상 품질 손실을 감수하는 방향으로 이뤄져 왔다”라며 “AI랩의 이번 연구는 영상 품질과 구현 속도를 동시에 높일 수 있는 획기적인 접근법을 제시해, 얼굴 재현 기술의 상용화 가능성을 열었다는 데 의의가 있고, 앞으로도 새로운 사람을 만나는 경험을 혁신할 수 있는 다양한 기술을 개발해, 연결을 통해 사회적·문화적 가치를 만들어간다는 하이퍼커넥트의 목표 실현에 기여하겠다”라고 밝혔다.

The post 사진 한 장으로 움직이는 얼굴 영상을 만든다고? appeared first on Bloter.net.