2단계 방식 기술 개념. KAIST 제공
한국과학기술원(KAIST)은 정보통신(IT) 분야에서 광범위하게 사용하는 그래프 타입의 데이터를 실제로 저장하지 않고도 알고리즘을 계산할 수 있는 기술을 개발하는 데 성공했다고 23일 밝혔다.
데이터를 저장할 필요가 없어 1조 개 간선의 초대규모 그래프도 PC 한 대로 처리가 가능한 기술로 '그래프 프로세싱 시뮬레이션'이라고 이름 붙였다.
오늘날 웹, SNS, 인공지능, 블록체인 등의 광범위한 분야들에서 그래프 타입의 데이터에 대한 다양한 알고리즘들의 연구가 매우 중요하다. 그러나 그래프 데이터의 복잡성으로 크기가 커질 때 막대한 규모의 컴퓨터 클러스터가 있어야만 알고리즘 계산이 가능하다는 문제가 있다.
연구팀은 이를 근본적으로 해결하는 T-GPS 라는 기술을 개발했다. 이 기술은 그래프 데이터를 실제로 디스크에 저장하지 않고도 마치 그래프 데이터가 저장된 것처럼 알고리즘을 계산할 수 있고 계산 결과도 실제 저장된 그래프에 대한 알고리즘 계산과 완전히 동일하다는 장점이 있다.
기존에는 그래프 알고리즘을 개발하기 위해 우선 합성 그래프를 생성해 저장한 뒤 다시 그래프 처리 엔진에서 메모리로 옮겨 알고리즘을 계산하는 방법을 써야 했다. 때문에 대규모 클러스터 장비를 사용해야 했다.
KAIST 전산학부 김민수 교수와 워털루 대학 박힘찬 박사. KAIST 제공
연구팀은 합성 그래프 모델에 따라 실시간으로 그래프를 생성해 그래프 처리 엔진이 마치 실제 그래프인 것처럼 인식하게 하고 알고리즘을 계산할 수 있도록 했다.
기존 방법으로 10억 개 간선 규모의 그래프를 계산하는 데 11대의 컴퓨터가 필요했다면 이 기술을 이용하면 1대의 컴퓨터에서 1조 개 간선 규모의 그래프를 계산할 수 있다.
컴퓨터 자원 대비 1만 배 큰 규모의 데이터를 처리할 수 있고 알고리즘 계산 시간도 최대 43배 빠르다고 연구팀은 설명했다.
김민수 교수는 "그래프 알고리즘의 개발 규모와 효율을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것으로 기대한다"고 말했다.