KAIST 연구팀이 개발한 CXL-GPU 기술. 카이스트 제공한국과학기술원(KAIST)은 전기및전자공학부 정명수 교수 연구팀이 차세대 인터페이스 기술인 'CXL'(컴퓨터 익스프레스 링크)이 활성화된 인공지능(AI) 가속기 용 고성능 GPU 기술을 개발했다고 8일 밝혔다.
GPU 기반 AI 가속기는 특정 소프트웨어의 AI 연산 기능을 향상할 수 있도록 지원하는 시스템반도체다. 미국 반도체기업 엔비디아가 AI 가속기 시장을 독점하고 있다시피 하다.
최근 대규모 AI 언어모델 열풍으로 메모리 용량을 획기적으로 늘릴 수 있는 CXL 기술이 주목을 받고 있다.
CXL은 두뇌 격인 중앙처리장치(CPU)와 가속기, D램, 저장장치 등 간·직접 통신을 가능하게 하는 차세대 인터페이스다.
기존 GPU 여러 대를 연결하는 메모리 확장 방식은 GPU의 높은 가격으로 인해 구축 비용이 급격히 늘어난다는 문제점이 있다.
이에 CXL 기술을 이용해 대용량 메모리를 GPU 장치에 직접 연결하는 기술이 산업계를 중심으로 검토되고 있지만, GPU에 직접 연결된 메모리 확장 장치의 성능이 떨어지는 한계가 있었다.
연구팀은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석, 개선할 수 있는 방법을 제안했다.
메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있도록 함으로써 GPU 장치가 메모리 쓰기 작업이 끝날 때까지 기다리지 않고 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다.
또 GPU 장치에서 미리 힌트를 주는 방법으로 메모리 확장 장치가 사전에 메모리 읽기를 수행하도록 해 읽기 속도도 높였다.
이번 연구는 반도체 팹리스 스타트업인 '파네시아'의 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다.
연구팀은 파네시아의 기술을 활용해 기존 GPU끼리 연결하는 방식의 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 제공하는 데 성공했다.
정명수 교수는 "CXL-GPU의 시장의 개화 시기를 앞당겨 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것"이라고 기대했다.
이번 연구 결과는 이달 미국 산타클라라에서 열리는 유즈닉스(USENIX) 연합 학술대회에서 발표된다.