심층 신경망 AI 기반 4K-UHD 초당 60프레임 실시간 초해상화(업스케일링) 하드웨어 시연 모습 (사진=KAIST 제공)
한국과학기술원(KAIST)은 김문철 전기및전자공학부 교수 연구팀이 인공지능 기술을 이용해 고해상도(Full-HD) 영상을 4K 초고화질(UHD)로 변환하는 기술을 개발했다고 16일 밝혔다.
최근 학계에선 인공지능 핵심인 심층 콘볼루션 신경망(Deep Convolutional Neural Network·DCNN) 딥러닝 학습을 통해 영상 화질을 개선하려는 노력이 활발하다.
구불구불한 주름 형태를 뜻하는 콘볼루션 구조는 2차원 구조 입력 자료를 십분 활용할 수 있는 장점이 있다.
다만 심층 콘볼루션 신경망 기술은 연산 복잡도가 높은 데다 사용 메모리가 크다.
이 때문에 작은 규모의 하드웨어를 통해 초 고해상도 영상으로 실시간 변환하는 데엔 한계가 있다.
여기에 더해 프레임 단위로 영상을 처리하는 기존 방식은 D램 같은 외부 메모리 사용이 필수여서 외부 메모리 병목현상과 전력 소모 현상도 따라온다.
김 교수 연구팀은 프레임 대신 선 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 설계했다.
이를 바탕으로 외부 메모리를 쓰지 않고도 작은 규모의 하드웨어에서 초당 60프레임의 4K-UHD를 처음으로 구현할 수 있었다.
심층 신경망 AI 기반 4K-UHD 초당 60프레임 실시간 업스케일링 보드 (사진=KAIST 제공)
김 교수는 "초당 60프레임의 4K-UHD 화면을 실시간으로 생성할 수 있는 알고리즘"이라며 "앞으로 프리미엄급 UHD TV나 360도 가상현실(VR) 등에 적용할 수 있을 것으로 기대된다"고 말했다.
연구는 김용우·최재석 KAIST 전기및전자공학부 박사과정 등이 주도했다. 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업 지원을 받았다.
기술은 현재 특허 출원을 준비 중이다.