GPU 기반의 빅데이터 질의 처리 및 AI분석 지원 플랫폼
공공 및 민간에서 구축하는 다양한 빅데이터 시스템의 데이터를 활용, 데이터 분석 작업을 수행하는 분석가가 대량의 다양한 데이터들 간의 연관성을 파악하고 AI 기반의 데이터 분석을 지원하기 위한 실시간 데이터 검색을 기반으로 데이터 분석 시각화를 지원
- 오픈소스 기반의 ITZONE Bigdata Platform과 GPU 기반 빅데이터 검색 질의 처리 기술을 결합
- AI 분석 연동을 위한 데이터 플로우 관리 엔진, 데이터 연관 관계 그래프 연산 엔진, 오픈소스 라이브러를 활용한 시각화 모듈 및 API 추가
- 빅데이터 분석 및 시각화 지원 플랫폼
플랫폼 컴포넌트
GPU기반 빅데이터 질의 처리 엔진(GDQE)
초대용량 빅데이터 시스템의 데이터 검색 속도 향상을 위한 GPU의 수 천개 이상의 코어와 GPU 메모리(VRAM)를 이용하여 검색 질의에 대해 고속 병렬 및 분산 처리 제공
- 병렬 질의 처리를 위한 GPU 질의 연관 질의 처리 상태 관리를 위한 GPU 노드 에이전트
- GPU 기반 빅데이터 검색 질의 분산처리를 위해 각 호스트의 GPU 메모리에 검색 대상 데이터 셋의 분산 저장을 관리하는 데이터 적재 관리자
- 분산 질의처리와 노드 관리, 처리 결과 관리 및 분산 처리를 총괄하는 분산처리관리자
데이터 플로우 관리 엔진(AIDFE)
대용량 데이터 스트림 처리 및 플로우 관리를 위한 데이터 플로우 관리 기능과 데이터 저장, 연관관계 데이터 생성 및 AI 분석을 위한 분석 스트림 플로우 생성 기능을 제공하는 데이터 플로우 관리 엔진. Pytorch, TensorFlow, mxnet 등의 AI 분석 개발 도구와 OrientDB, Druid, Solr, HDFS 등의 저장소 및 데이터베이스 지원.
데이터 연관관계 그래프 연산 엔진(RME)
빅데이터 시스템의 AI 분석 지원을 위한 데이터 처리의 일환으로 다양한 분석 대상 데이터 간 연관 데이터 추출, 연관 그래프 생성 및 검색, 데이터 연관성 확인을 위한 사용자 인터페이스 제공.
분석결과 시각화 모듈 및 API
GPU 기반 빅데이터 검색, 연관 데이터 생성, 연관 데이터 검색 및 그래프 확인, AI 분석 지원을 위한 플로우의 관리를 위한 사용자 인터페이스와 시각화 모듈 Spoid 플랫폼을 활용하는 분석가 및 응용에서 AI 분석 결과를 다양한 형태로 시각화할 수 있도록 Spoid 플랫폼의 연관 데이터, AI 분석 결과 저장 데이터 연동을 제공하는 REST API.
