KR102236302B1 - 빅데이터 기반의 인공지능 통합 플랫폼 서비스 방법 - Google Patents

Abstract

빅데이터 플랫폼과 인공지능 플랫폼이 통합된 통합 플랫폼 서비스 방법이 제공된다. 빅데이터 플랫폼과 인공지능 플랫폼을 클러스터 기반의 분산 아키텍처로 구현함으로써 데이터 처리, 기계 학습, 인공지능 서비스 제공의 대량, 실시간, 고속, 고가용성을 보장한다. 두 플랫폼의 결합을 통해 실시간 빅데이터 기반의 기계 학습 및 인공지능 서비스 제공이 가능하게 한다. 이러한 통합 플랫폼은 다양한 응용분야에서 실시간 빅데이터 기반 인공지능 시스템 구축에 소요되는 기간과 비용을 획기적으로 줄일 수 있도록 해준다.

Description

빅데이터 기반의 인공지능 통합 플랫폼 서비스 방법{METHOD FOR PROVIDING BIG DATA-BASED ARTIFICIAL INTELLIGENCE INTEGRATION PLATFORM SERVICE}

본 발명은 인공지능 플랫폼 분야에 관한 것으로서, 보다 상세하게는 빅데이터 기반의 인공지능 통합 플랫폼 서비스 방법에 관한 것이다.

본 기술의 근간이 되는 빅데이터 기술은 다양한 소스들로부터의 데이터를 수집하고 데이터 원본을 저장하며 데이터를 처리하고 분석하여 그 결과를 저장하고 시각화한다.

또한 인공지능 기술은 학습 데이터 셋을 기반으로 기계 학습을 수행하며 기계 학습을 기반으로 인공지능 서비스를 구현하여 제공한다.

하지만 기존 빅데이터 시스템과 인공지능 시스템은 분산 기술이 제한적으로 적용되어 데이터 처리, 기계 학습, 인공지능 서비스 제공에 있어서의 대량, 실시간, 고속, 고가용성 보장에 한계가 존재하였다. 또한 빅데이터 시스템과 인공지능 시스템이 개별적으로 구축되고 분리 운용됨으로 인해 빅데이터 시스템에서 수집 및 분석되는 데이터 처리 결과가 인공지능 시스템에 실시간으로 반영되지 못함으로써 실시간 빅데이터 기반의 기계 학습, 인공지능 서비스 제공이 불가능한 문제가 있었다.

본 발명은 빅데이터 플랫폼과 인공지능 플랫폼을 결합한 빅데이터 기반 인공지능 플랫폼 서비스 방법을 제공한다.

본 발명은 다양한 비즈니스에서 활용되는 빅데이터 플랫폼 및 인공지능 플랫폼의 아키텍처 구성 및 두 플랫폼의 결합에 관한 것이다. 보다 상세하게는 빅데이터 플랫폼의 실시간 수집, 메시지 큐, 실시간 처리, 저장소를 클러스터 기반의 분산 아키텍처로 구현함으로써 데이터 처리의 대량, 실시간, 고속, 고가용성을 보장하고 인공지능 플랫폼의 기계 학습, 인공지능 서비스, 학습모델/학습결과 저장소를 클러스터 기반의 분산 아키텍처로 구현함으로써 기계 학습, 인공지능 서비스 제공의 대량, 실시간, 고속, 고가용성을 보장하는 방법을 제공한다. 또한 분산 아키텍처로 구성된 빅데이터 플랫폼과 인공지능 플랫폼을 결합함으로써 실시간 빅데이터 기반의 기계 학습 및 인공지능 서비스의 제공을 가능하도록 한다.

본 발명에 따르면, 빅데이터 플랫폼과 인공지능 플랫폼이 통합된 통합 플랫폼 서비스 방법이 제공된다. 빅데이터 플랫폼과 인공지능 플랫폼이 통합된 통합 플랫폼을 클러스터 기반의 분산 아키텍처로 구현함으로써 데이터 처리, 기계 학습, 인공지능 서비스 제공의 대량, 실시간, 고속, 고가용성을 보장한다. 두 플랫폼의 결합을 통해 실시간 빅데이터 기반의 기계 학습 및 인공지능 서비스 제공이 가능하게 한다. 이러한 통합 플랫폼을 이용한 서비스 방법은 다양한 응용분야에서 실시간 빅데이터 기반 인공지능 시스템 구축에 소요되는 기간과 비용을 획기적으로 줄일 수 있도록 해준다.

도 1은 본 발명의 통합 플랫폼 시스템에서 빅데이터 플랫폼의 동작 프로세스를 나타내는 도면이다.
도 2는 본 발명의 통합 플랫폼 시스템에서 인공지능 플랫폼의 동작 프로세스를 나타내는 도면이다.
도 3은 본 발명에 따른 빅데이터 기반 인공지능 통합 플랫폼 시스템 구조를 도시한 도면이다.
도 4는 도 3의 통합 플랫폼 시스템의 동작 프로세스를 나타내는 도면이다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 실시예를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 빅데이터 플랫폼에서 데이터의 실시간 수집, 메시지 큐에서의 보관 및 전달, 실시간 처리, 저장까지의 기능 흐름을 나타낸다. 실시간 수집, 메시지 큐, 실시간 처리, 저장 시스템을 클러스터 기반의 분산 아키텍처로 구현함으로써 데이터 처리의 대량, 실시간, 고속, 고가용성을 보장해준다. 데이터 소스는 인공지능 학습데이터로 활용되는 것과 인공지능 서비스를 요청하는 것으로 구성된다.

인공지능 학습데이터로 활용되는 데이터는 실시간 학습데이터 수집, 학습데이터 수집 큐, 실시간 전처리를 거쳐 학습데이터 저장소에 저장되어 인공지능 플랫폼의 학습데이터로 제공된다. 인공지능 서비스를 요청하는 데이터는 실시간 데이터 수집, 인공지능 서비스 요청 큐, 실시간 분석을 통해 인공지능 서비스를 호출하는데 사용되고 결과는 서비스 결과 저장소에 저장된다.

도 4는 인공지능 플랫폼에서의 기계 학습 및 인공지능 서비스 기능을 나타낸다. 기계 학습. 인공지능 서비스, 학습모델/학습결과 저장소를 클러스터 기반의 분산 아키텍처로 구현함으로써 기계 학습 및 인공지능 서비스 제공을 통해 예측, 분류, 군집화, 이상탐지, 강화학습 문제 해결의 대량, 실시간, 고속, 고가용성을 보장해준다.

본 발명은 분산 아키텍처 기반의 빅데이터 플랫폼과 인공지능 플랫폼을 결합하여 실시간 빅데이터 기반의 인공지능 서비스 제공이 가능한 통합 플랫폼 및 그 서비스 방법을 제시한다. 빅데이터 플랫폼의 데이터 분석 결과인 학습 데이터 셋이 인공지능 플랫폼의 학습 모델 설계에 실시간으로 반영되어 실시간으로 최적의 학습 모델을 도출하고 이를 기반으로 인공지능 서비스를 구현 및 배포하여 실시간 분산 인공지능 서비스를 제공할 수 있도록 해준다. 나아가, 결합 플랫폼의 효율적 관리를 위한 설치 및 서비스 관리, 노드 및 서비스 상태 모니터링, 엔진 분석 및 로그 관리, 탐지 실시간 모니터링, 결과 관리, 모델 관리를 수행해준다.

도 3은 본 발명에 따른 빅데이터 기반 인공지능 통합 플랫폼 시스템 구조를 도시한 도면이다. 도 4는 도 3의 통합 플랫폼 시스템의 동작 프로세스를 나타내는 도면이다.

본 발명의 통합 플랫폼은 빅데이터 플랫폼과 인공지능 플랫폼을 포함한다. 빅데이터 플랫폼과 인공지능 플랫폼으로 구성되어 다양한 인공지능 서비스팩을 제공하며, 사용자의 비즈니스에 맞게 서비스팩을 쉽고 빠르게 커스터마이징하여 활용하도록 구성된다.

특정 비즈니스를 위한 서비스팩은 목적과 학습 데이터셋이 결정되면 코딩 없이 플랫폼 서비스에서의 설정만으로 구성되며 힉습모델 설계 및 학습 API 생성, 배포의 전체 라이프 사이클을 지원하는 플랫폼 기반으로 개발되기 때문에 적시 제공(Just in time)이 가능하다. 또한 플랫폼 서비스는 필요에 따라 실시간으로 Scale Out/ Scale In 이 가능하게 운영된다.

인공지능 플랫폼은 다양한 사용자들의 필요에 적합한 개발, 운영환경을 제공하며 고객의 요청에 따라 기존의 시설 및 장비 등의 사용되는 응용 서비스와도 연동이 되어 유연한 활용성 제공하도록 구성된다.

별도의 개발 작업이 필요 없이(No Code Dev.) 알고리즘 설정으로 서비스 개발이 가능하며 고객의 요청에 따라 서비스를 개발하는 주문형 서비스(On-Demand Service)의 생산 가능하다.

인공지능 플랫폼의 분석 통합개발 및 사용자에게 데이터 생성, 모델 설계, 모델 학습, 모델 테스트, 추론에 이르는 일련의 과정 수행 편의성 제공한다.

인공지능 학습 및 실행을 위한 프레임워크 및 분석엔진 제공한다.

서비스의 구성은 학습을 위한 일반 알고리즘의 학습 Data Set을 바인딩 시킨 Domain Specific Service, 여러 Domain Specific Service들의 조합으로 만들어진 Composite Service로 구성된다.

본 발명의 통합 플랫폼 서비스 방법은 분석엔진의 확장성 제공하고, 인공지능 서비스 Scale Out 보장하며, 앙상블 서비스를 지원한다. 플랫폼 사용자가 학습 Data Set과 비즈니스 목적(예측, 분류, 이상탐지, 군집화 등)을 선택하면 최적의 알고리즘(단위, 앙상블)을 자동 추천하고, 추천된 알고리즘의 파라미터 및 네트워크를 자동으로 설정하여 최적의 학습결과를 제공하고 서비스를 자동으로 배포하여 즉각적인 서비스가 가능하다.

본 발명의 서비스 방법이 제공되는 통합 플랫폼은 다음과 같은 클러스터들을 포함할 수 있다.

실시간 수집 클러스터

· 실시간 수집 클러스터는 데이터 소스로부터 데이터를 가져와 메시지 큐에 저장한다.

· 또한 실시간 수집 클러스터는 간단한 데이터 필터링 및 변환 기능을 제공한다.

· 실시간 수집 클러스터는 실시간/배치 처리 기능을 제공하고, 수집 상태 모니터링 및 작업 로그를 제공한다.

메시지 큐 클러스터

· 데이터 제공자로부터 실시간으로 데이터를 받아 큐에 저장한다.

· 데이터 소비자들에게 실시간으로 데이터를 제공한다.

· 정해진 기간 동안 데이터를 보관하고, 과거의 데이터를 다시 조회할 수 있다.

· 수집되는 데이터가 많을 경우 메시지 큐를 병렬로 구성한다.

· 병렬 메시지 큐의 경우 데이터의 수집 시간에 영향을 줄 수 있다.

· 별도의 order tag를 불여 해결한다.

실시간 처리 클러스터

· 실시간으로 데이터를 저장소에 저장한다.

· 데이터 필터링/집계/통계 등 필요한 모든 분석 기능을 담당한다.

· AI 서비스를 호출하여 분석 결과를 저장한다.

인공지능 데이터 클러스터

· 인공지능 학습, 서비스에 적용하기 위한 데이터를 생성한다.

· 데이터 정규화, 데이터 형변환, 데이터 확인, 특징 추출 등의 과정을 거쳐서 인공지능에 필요한 데이터로 변환한다.

· 데이터의 변환 속도를 빠르게 하기 위해서 여러 GPU 로 분산하여 처리한다.

학습(딥러닝) 클러스터

· 모델을 설계한다.

· 설계한 모델을 데이터와 연계하여 학습을 진행한다.

· 학습에 필요한 하이퍼파라미터의 범위를 설정하여 여러 개의 학습을 분산환경에서 다중으로 처리하여 최적의 하이퍼파라미터를 찾는다.

· 유사 알고리즘을 다수 적용하여 최적의 모델을 찾는다.

· 학습 속도를 빠르게 하기 위해서 여러 개의 GPU 를 사용하고, 여러 node 로 나누어 분산하여 학습한다.

· 학습 완료된 모델은 입력 데이터 구조와 출력 데이터 구조, 모델의 그래프 구성, 그리고 그외 필요한 데이터로 구성된다.

· 완료된 학습 모델을 다시 불러와 추가 데이터를 적용하여 추가 학습을 진행할 수 있다.

· 완료된 학습을 서비스 클러스터의 모델 저장소로 배포하여 서비스를 시작할 수 있다.

· gpu를 이용한 분산 학습은 학습할 데이터를 분산에 참여하는 gpu 수만큼 나누어 학습하고, 결과를 취합하는 방식으로 제공한다.

인공지능 서비스 클러스터 & App 클러스터

· 모델 리포지터리를 운영한다. 리포지터리에 등록된 모델에 대하여 서비스를 제공한다.

· 모델 리포지터리에 등록할 때 그래프 최적화를 진행하여 서비스 속도를 향상시킨다.

· 같은 모델의 다른 버전을 등록할 수 있고, 버전 별 서비스 비율을 설정할 수 있다.

· 서비스 요청을 위하여 서비스를 병렬로 구성할 수 있다.

본 발명의 통합 플랫폼 서비스 제공 방법은 또한 다음과 같은 특징을 가진다.

- 빅데이터 실시간 프로세스와 인공지능 플랫폼의 결합을 통해 대량의 데이터의 대하여 고속, 실시간, 고가용상 처리를 보장한다.

- 실시간 학습을 위한 실시간 빅데이터 처리 활용 가능하다.

- 실시간 인공지능 서비스(예측, 분류, 이상탐지, 군집화, 강화학습 등)를 위해 실시간 빅데이터 처리활용 가능하다.

- 인공지능 분산 학습 플랫폼 제공한다.

- 인공지능 분산 서비스 제공한다.

- 학습 데이터 및 서비스 요청의 안정적인 처리를 위해 분산큐 활용한다.

- 실시간 전처리 및 실시간 인공지능 서비스를 위해 실시간 분산 빅데이터 처리 기술 활용한다.

- 대량의 학습데이터 및 결과 데이터 저장을 위해 분산 저장소 활용한다.

- 서비스 결과를 학습데이터에 반영함으로써 추가학습, 재 학습, 강화학습을 실시간으로 가능하도록 한다.

- API 서비스를 실시간으로 가능하도록 통해 내 외부에서 API방식의 호출을 지원한다.

이상, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해서 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

Claims (3)

1. 빅데이터 플랫폼과 인공지능 플랫폼의 통합 플랫폼 서비스 방법으로서:
   실시간 수집 클러스터가 데이터 소스로부터의 학습데이터 및 인공지능 서비스 사용자로부터의 요청 데이터를 실시간으로 각각 수집하는 과정;
   메시지 큐 클러스터의 학습데이터 수집큐와 AI 요청큐가 상기 실시간 수집 클러스터에서 수집된 학습데이터 및 상기 실시간 수집 클러스터에서 수집된 요청 데이터를 각각 저장하는 과정;
   실시간 처리 클러스터가 상기 학습데이터 수집큐에 저장된 학습데이터를 실시간으로 전처리하고, 상기 AI 요청큐에 저장된 AI 서비스를 호출하여 실시간 분석을 수행하는 과정;
   인공지능 데이터 클러스터가 상기 실시간 처리 클러스터에서 전처리된 데이터와 상기 AI 서비스를 호출하여 실시간 평가된 결과를 학습데이터 저장소에 저장하고, 상기 AI 서비스를 호출하여 실시간 분석된 결과를 결과 저장소에 저장하는 과정;
   기계 학습 클러스터가 상기 학습데이터 저장소에 저장된 상기 전처리된 데이터와 상기 AI 서비스 호출에 의한 실시간 평가 결과 데이터를 이용하여 학습모델을 설계하고 기계 학습을 수행하는 과정;
   인공지능 서비스 클러스터가 상기 기계 학습 클러스터의 학습모델을 학습모델 저장소에 저장하고 학습 결과를 학습결과 저장소에 저장하는 과정; 및
   App. 클러스터가 서비스 학습 결과를 배포하는 과정;를 포함하는 통합 플랫폼 서비스 방법.
   
2. 청구항 1에 있어서,
   상기 인공지능 데이터 클러스터는 데이터 정규화, 데이터 형변환, 데이터 확인, 및 특징 추출의 과정을 거쳐서 인공지능에 필요한 데이터로 변환하는 것인 통합 플랫폼 서비스 방법.
   
3. 청구항 1에 있어서,
   상기 기계 학습 클러스터는 완료된 학습 모델을 다시 불러와 추가 데이터를 적용하여 추가 학습을 진행하도록 구성된 것인 통합 플랫폼 서비스 방법.

Images