바나나게임 ● 릴게임오션 ●≪ 78.rph867.top ┣김민수(오른쪽) 교수와 오세연(왼쪽) 박사과정.
KAIST는 GPU를 이용해 1조 규모의 초대규모 그래프 연산을 고속으로 처리할 수 있는 연산 프레임워크 '지플럭스'를 개발했다.
국내 연구진이 25대의 컴퓨터로 2000초 걸리던 연산을 그래픽처리장치(GPU)가 장착된 컴퓨터 한 대로 처리할 수 있는 세계 최고 성능의 기술을 선보였다. 데이터 양과 복잡성이 증가할수록 성능이 떨어지는 엔비디아의 SW 시스템 '쿠다(CUDA)'를 사용하지 않고 1조개가 넘는 초대 규모 그래프를 안정적으로 빠르게 처리할 수 있다. 대규모언어모델(LL 청약제도 M)과 같은 생성형 AI와 그래프신경망(GNN) 등 점점 복잡해지는 그래프 처리에 활용할 수 있을 전망이다.
KAIST는 김민수 전산학부 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 1조 규모의 초대규모 그래프 연산을 고속으로 처리할 수 있는 연산 프레임워크 '지플럭스(GFlux)'를 개발했다고 27일 밝혔다.
추가대출서류 AI 분야에서 지식체계이나 데이터베이스를 그래프 형태로 저장하고 활용하는 사례가 급증하고 있다. 하지만, 복잡도가 높은 그래프 연산은 GPU 메모리 제한으로 작은 규모의 그래프 등 비교적 단순한 연산만을 처리할 수 있다는 한계가 있다.
연구팀은 그래프 연산을 GPU에 최적화된 단위 작업인 지태스크(GTask)로 나누고, 이를 효율적 한국토지주택공사인사 으로 GPU에 배분해 처리하도록 했다. 불필요한 연산을 사전에 제거한 것으로, 지플럭스는 그래프를 GPU 처리에 최적화된 자체 개발 압축 포맷인 HGF로 변환해 SSD(솔리드스테이트드라이브)와 같은 저장장치에서 저장·관리한다.
기존 표준 포맷인 CSR로 저장할 경우 1조 간선 규모의 그래프 크기가 9테라바이트(TB)에 이르지만, 연구팀이 smtech 개발한 HGF 포맷을 활용하면 4.6테라바이트로 절반 가까이 줄일 수 있다. 연구팀은 GPU에서 메모리 정렬 문제로 사용되지 않았던 3바이트(Byte) 주소 체계를 활용해 GPU 메모리 사용량을 25% 절감했다. 특히 엔비디아의 쿠다 통합 메모리에 전혀 의존하지 않고, 메모리 부족에 따른 연산 실패를 방지할 수 있도록 메인 메모리와 GPU 메모리를 통합 무직자연체자 관리하는 지테스크 전용 메모리 관리 기술도 함께 개발했다.
연구팀은 데이터 분석과 AI에 널리 쓰이는 삼각형 개수 세기와 같은 고난도 그래프 연산 성능을 지플럭스를 적용해 검증했다. 그 결과, 700억개의 그래프를 대상으로 한 실험에서 고속 네트워크로 연결된 25대 컴퓨터를 이용해 약 2000초 걸리던 삼각형 개수 세기 연산을 지플럭스는 두 배 빠른 1184초에 처리했다.
김민수 KAIST 교수는 "최근 그래프를 활용한 검색증강생성(RAG), 지식 그래프, 그래프 벡터 색인 등 대규모 그래프에 대한 고속 연산 처리 기술의 중요성이 점점 커지고 있다"며 "지플럭스는 검색, 추천, 이상 탐지, 경로 분석 등 그래프 기반의 서비스가 중요한 구글, 메타, 네이버, 카카오 등의 글로벌 빅테크 기업과 그래프 데이터를 적극 활용하려는 스타트업과 연구기관에서 폭넓게 쓰일 수 있다"고 말했다.
이 연구결과는 지난 22일 국제전기전자기술협회(IEEE)가 주최한 국제데이터공학학술대회(ICDE)에서 발표됐다.
이준기기자 bongchu@dt.co.kr
|
