KR102284539B1 - 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법 - Google Patents

Abstract

머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법을 개시한다. 본 발명은 기업의 인공지능 분석가들이 개인별, 프로젝트별 세팅이 가능하여 개인 맞춤형으로 분석환경을 구축할 수 있고, 포탈 솔루션으로 포털 형식을 취함으로써 다양한 오픈 소스 분석툴 및 언어를 선택적으로 활용할 수 있으며, 다양한 툴의 활용을 통해 유연하고 확장성이 높은 장점이 있다.

Description

머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법{MACHINE LEARNING BASED ARTIFICIAL INTELLIGENCE MODEL LEARNING, DEVELOPMENT, DEPLOYMENT AND OPERATION SYSTEM SERVICE METHOD USING THE SAME}

본 발명은 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법에 관한 발명으로서, 더욱 상세하게는 기업의 인공지능 분석가들이 개인별, 프로젝트별 세팅이 가능하여 개인 맞춤형으로 분석환경을 구축할 수 있고, 포탈 솔루션으로 포털 형식을 취함으로써 다양한 오픈 소스 분석툴 및 언어를 선택적으로 활용할 수 있으며, 다양한 툴의 활용을 통해 유연하고 확장성이 높은 머신 러닝 기반의 모델 학습 개발 및 운영을 지원하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법에 관한 것이다.

최근 들어, 기업의 AI(Artificial Intelligence) 도입이 증가하고 있지만, AI 도입에서 가장 큰 어려움은 AI 분석 역량의 부족함이다.

또한, 기업 내에서 AI 분석을 위한 전문 인력의 부족과 함께, 분석가 간 협업 및 기술, 산출물 등 공유 환경이 마련되지 않아 AI 제품 및 기술이 도입되더라도 내재화에 한계가 존재한다.

또한, 기업 내 분석가들이 선배 분석가나 외부 전문가가 개발한 모델을 재활용하고자 해도 적용된 모델을 파악하거나, 재현 혹은 재학습이 불가한 상황 등 운영과 관리에 어려움을 겪고 있다.

또한, 데이터 분석가들은 사용하는 분석언어(Analysis Language), 도구 (Tool) 등이 다양하고 각자 선호하는 솔루션과 버전 등이 제각각 다른 경우가 많다. 이로 인해 버전 관리에 애로사항이 있고 솔루션간에 충돌이 발생하는 문제점이 있다.

아울러, 기본적인 분석 환경을 구축하고 실행하는데는 고성능 컴퓨팅 자원이 필수적이므로 기업내 한정적 컴퓨팅 리소스를 효율적으로 분배하고 관리해야 하는 필요성이 증가하는 문제점이 있다.

아울러, 새로운 AI 기술이 빠르게 발전하고 있어 신기술 습득, 분석가 간 경쟁, 개인의 학습 욕구 등으로 사용해보고자 하는 욕구가 높다.

결과적으로 개발된 모델을 기존 시스템에 적용하기까지 소요되는 시간이 오래 걸리고 그 과정에서 해결할 과제들이 많다는 문제점이 있다.

한국 공개특허공보 공개번호 제10-2020-0105582호(발명의 명칭: 컨테이너를 활용한 가상 데스크탑 시스템 및 그 데이터 처리 방법)

이러한 문제점을 해결하기 위하여, 본 발명은 기업의 인공지능 분석가들이 개인별, 프로젝트별 세팅이 가능하여 개인 맞춤형으로 분석환경을 구축할 수 있고, 포탈 솔루션으로 포털 형식을 취함으로써 다양한 오픈 소스 분석툴 및 언어를 선택적으로 활용할 수 있으며, 다양한 툴의 활용을 통해 유연하고 확장성이 높은 머신 러닝 기반의 모델 학습 개발 및 운영을 지원하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템으로서, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링(Mirroring)을 통해 제공하고, 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하며, 상기 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반하여 최적화 모델을 선정하고, 상기 선정된 최적화 모델을 이용하여 모델 서비스를 빌드(Build)하며, 상기 빌드된 모델 서비스의 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 서비스 서버를 포함한다.

또한, 상기 실시 예에 따른 서비스 서버는 모델 서비스의 운영과정에서 수집된 데이터를 이용하여 상기 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 서비스 서버는 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링(Mirroring)을 통해 제공하는 데이터 수집 모듈부; 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하고, 상기 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반하여 최적화 모델을 선정하는 분석 모듈부; 상기 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하며, 상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 운영 모듈부; 및 상기 데이터 수집 모듈부를 통해 다운로드된 분석 알고리즘과, 모델링 기법과, 모델 자산 정보와, 빌드된 모델 서비스를 저장하는 데이터베이스;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 데이터 수집 모듈부는 서비스 서버의 폐쇄망 내에서 분석 알고리즘과 관련된 문서, 바이너리로 구성된 동일한 자료들을 전달하는 복수의 분석 알고리즘 도메인으로부터 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링을 통해 제공하는 미니 CRAN부(mini-Comprehensive R Archive Network; 및 상기 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 데이터베이스에 저장하는 데이터 수집부;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 분석 모듈부는 분석에 필요한 데이터를 데이터베이스로부터 업로드하는 데이터 전처리부; 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하는 알고리즘 선택/개발부; 상기 생성된 모델을 데이터베이스에 저장된 모델 자산에서 제공하는 정보들을 이용하여 최적화 모델을 선정하는 모델 관리부; 및 상기 최적화 모델을 학습된 알고리즘(Pre-trained Model)을 이용한 학습, 모델 서비스의 운영과정에서 수집된 데이터를 이용한 모델의 재학습과, 성능 점검을 통한 모델 수정을 수행하는 학습/검증부;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 학습/검증부는 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 운영 모듈부는 선정된 최적화 모델을 미리 설정된 전략 또는 시나리오에 기초한 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하는 비즈니스 규칙 운영부; 및 상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 앱/시스템 적용/운영부;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 서비스 서버는 데이터 수집 모듈부, 분석 모듈부, 운영 모듈부가 순차적으로 수행되도록 파이프라인으로 구성되되, 상기 파이프라인별 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 각 단계별 사용자 인터페이스가 설정되도록 이루어진 것을 특징으로 한다.

또한, 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법은 a) 임의의 사용자 단말로부터 임의의 모델 서비스 생성이 요청되면 서비스 서버가 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 데이터베이스에 저장하는 단계; b) 상기 서비스 서버가 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경의 설정을 위해 분석에 필요한 데이터를 데이터베이스로부터 업로드하는 데이터 전처리 단계; c) 상기 서비스 서버가 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 선택 및 생성하고, 상기 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반한 최적화 모델을 학습하여 선정하는 단계; d) 상기 서비스 서버가 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하고, 상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 단계;를 포함한다.

또한, 상기 실시 예에 따른 c) 단계는 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 c) 단계는 d) 단계의 모델 서비스 운영과정에서 수집된 데이터를 이용하여 상기 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정하는 단계를 더 포함한다.

또한, 상기 실시 예에 따른 a) 단계 내지 d) 단계 중 적어도 하나는 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 각 단계별 사용자 인터페이스를 설정하는 것을 특징으로 한다.

본 발명에 의하면, 기업의 인공지능 분석가들이 개인별, 프로젝트별 세팅이 가능하여 개인 맞춤형으로 분석환경을 구축할 수 있고, 포탈 솔루션으로 포털 형식을 취함으로써 다양한 오픈 소스 분석툴 및 언어를 선택적으로 활용하고 있어 개인화가 가능하다.

본 발명에 의하면, 분산관리가 가능하며 통합 개발 환경임에 따라 분석가가 원하는 툴이 계속 발생하더라도 새롭게 구축하지 않고도 활용할 수 있어서 유연하고 확장성이 높다.

본 발명에 의하면, 온프레미스 (on-premise, 클라우드와 대비되는 개념으로 자체적으로 보유한 컴퓨팅 자원에 직접 설치하여 운영하는 형태) 또는 클라우드, 또는 이 둘의 하이브리드 분석환경을 기본적으로 제공하며 개별 분석가를 위해 머신러닝 기반의 모델학습 - 개발 - 배포 - 관리 - 운영을 일괄적으로 지원할 수 있다.

또한 본 발명에 의하면, 보안, 관리 등 기업 분석 환경에 필요한 기능을 제공하여 기업 내 분석가, 개발자 및 시스템 운영자까지 일원화된 서비스와 개발 담당자와 운영 담당자가 연계하여 협업 체계 구축을 지원할 수 있다.

본 발명에 의하면, 다양한 분석언어, 분석 툴, 프레임워크 및 패키지를 분석가의 요구에 따라 유연하게 제공할 수 있다.

본 발명에 의하면, 롤기반의 의사결정이 필요한 곳이라면 어디에나 사용할 수 있고, AI를 내재화하고 분석 AI환경을 구축하려는 곳에 범용적으로 확장이 가능하다.

본 발명에 의하면, 초기 AI 모델 도입 후 지속적인 재학습 체계로 모델 성능을 높이고자 하거나 AI 모델 학습/개발 환경 구축후 모델의 전개, 배포 환경이 추가로 필요한 기업 등에 널리 적용이 가능하다.

본 발명에 의하면, 기존의 복잡하고 협업이 불가능하던 분석 및 관리 환경이 일원화되고 간편해짐으로써 기업의 AI 역량 내재화 및 자산화 가능성을 높이 수 있다.

본 발명에 의하면, 분석 과제별 맞춤형 다양한 AI 도커를 제공할 수 있다.

본 발명에 의하면, 모델 개발 기간과 시스템 적용기간으로 대폭적으로 줄일 수 있다.

본 발명에 의하면, 기업 스스로가 AI 모델 개발, 모델의 생애주기를 관리하고 개발된 모델을 운영 시스템에 즉각 적용할 수 있다.

본 발명에 의하면, AI 분석이 필요한 모든 기업, 특히 AI를 자사의 경쟁력으로 내재화를 시도하는 기업에 적용될 수 있다.

본 발명에 의하면, 기존 SAS 사용 기업이 머신 러닝 도입으로 AI 대응을 준비하는 경우에 적용될 수 있다.

본 발명에 의하면, 다양한 오픈 소스 기반 분석과 최신 패키지 및 프레임워크(framework) 사용이 필요한 기업에 적용될 수 있다.

본 발명에 의하면, 향후 대세가 될 최신의 알고리즘 및 기술을 도입하고 상용화하여 제품 및 서비스를 출시할 수 있다.

도1은 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 구성을 나타낸 블록도.
도2는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 서비스 서버 구성을 나타낸 블록도.
도3은 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 데이터 수집 모듈부 구성을 나타낸 블록도.
도4는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 분석 모듈부 구성을 나타낸 블록도.
도5는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 운영 모듈부 구성을 나타낸 블록도.
도6은 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 동작을 설명하기 위해 나타낸 예시도.
도7은 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법을 설명하기 위해 나타낸 흐름도.
도8은 도7의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법의 사용자 인터페이스 화면을 나타낸 예시도.
도9는 도7의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법을 설명하기 위해 나타낸 예시도.

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템 및 방법의 바람직한 실시 예를 상세하게 설명한다.

도1은 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 구성을 나타낸 블록도이고, 도2는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 서비스 서버 구성을 나타낸 블록도이며, 도3은 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 데이터 수집 모듈부 구성을 나타낸 블록도이고, 도4는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 분석 모듈부 구성을 나타낸 블록도이며, 도5는 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 운영 모듈부 구성을 나타낸 블록도이고, 도6은 도1의 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템의 동작을 설명하기 위해 나타낸 예시도이다.

도1 내지 도6을 참조하면, 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템은 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템으로서, 서비스 서버(100)와, 분석 알고리즘 을 제공하는 분석 알고리즘 도메인(200), 분석 알고리즘 도메인 (200a) 내지 분석 알고리즘 도메인 n(200b)와, AI 분석 환경 구축과 빠른 학습 모델의 개발 및 운영을 요청하는 사용자 단말(300), 사용자 단말 1(300a) 내지 사용자 단말 n(300b)을 포함하여 구성될 수 있다.

서비스 서버(100)는 인터넷 또는 네트워크를 통해 연결된 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링(Mirroring)을 통해 제공한다.

또한, 서비스 서버(100)는 사용자 단말(300, 300a, 300b)로부터 요청되는 신규 프로젝트를 생성하여 모델링 하기 위한 분석 환경과, 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하며, 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반하여 최적화 모델을 선정한다.

또한, 서비스 서버(100)는 선정된 최적화 모델을 이용하여 모델 서비스를 빌드(Build)하며, 빌드된 모델 서비스의 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영한다.

또한, 서비스 서버(100)는 모델 서비스의 운영과정에서 수집된 데이터를 이용하여 상기 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정할 수 있고, 데이터 수집 모듈부(110)와, 분석 모듈부(120)와, 운영 모듈부(130)와, 데이터베이스(140)를 포함하여 구성된다.

데이터 수집 모듈부(110)는 사용자 단말(300, 300a, 300b)로부터 요청되는 신규 모델 서비스 요청에 대하여 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링(Mirroring)을 통해 제공하고, 미니 CRAN부(111)와 데이터 수집부(112)를 포함하여 구성된다.

미니 CRAN부(111)는 서비스 서버의 폐쇄망 내에서 분석 알고리즘과 관련된 문서, 바이너리로 구성된 동일한 자료들을 전달하는 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링(Mirroring)을 통해 제공한다.

여기서, 미니 CRAN(mini-Comprehensive R Archive Network)은 폐쇄망 내에서 패키지 배포를 위한 서버 구성(Local Repository)을 쉽게 도와주는 패키지로서, 예를 들면, "R", "파이썬(Python)" 등의 분석 언어와, "H2O", "Tensorflow", "Pytorch", "opencv", "tesseract" 등의 분석시 필요한 다양한 라이브러리 및 바이너리들로 구성되어 있는 동일한 자료들을 전달하는 사이트들의 모음이다.

또한, "R" 등은 오프 소스(Open source) 기반의 툴(tool)로써 많은 분석 알고리즘을 제공하고 있으며 지속적으로 패키지(package)들이 추가 또는 업데이트 되고 있다.

그리고 "R"의 분석 알고리즘들은 용도에 맞게 필요할 때에 다운받아서 추가하는 식으로 사용해야 하지만 인터넷 사용이 불가능한 폐쇄망에서는 외부로 직접 접근을 하지 못하므로 패키지를 제공할 필요가 있어서, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 다운로드 받아서 미러링(Mirroring)을 통해 제공되도록 한다.

따라서, 다양한 분석언어, 분석 툴, 프레임워크 및 패키지를 분석가의 요구에 따라 유연하게 제공할 수 있다.

데이터 수집부(112)는 미니 CRAN부(111)를 통해 수신한 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 데이터베이스(140)에 저장한다.

또한, 데이터 수집부(112)는 도6과 같이 포탈 형식의 사용자 인터페이스(UI)를 통해 임의의 모델 분석 서비스가 입력되면, 모델 데이터와, 모델 오브젝트 파일의 생성, 업데이트, 제거, 프로젝트 정보, 도커 이미지(Docker Image) 아이디 및 태그(Tag) 정보 등을 데이터베이스(140) 전송하여 저장(1)되도록 한다.

분석 모듈부(120)는 도6과 같이, 사용자 단말(300, 300a, 300b)로부터 요청되는 신규 프로젝트에 대한 조회 및 설정(2)을 통해 모델링 하기 위한 분석 환경을 생성한다.

또한, 분석 모듈부(120)는 온프레미스 (on-premise, 클라우드와 대비되는 개념으로 자체적으로 보유한 컴퓨팅 자원에 직접 설치하여 운영하는 형태) 또는 클라우드, 또는 이 둘의 하이브리드 분석 환경을 제공하고, 개별 분석가를 위해 머신러닝 기반의 모델학습 - 개발 - 배포 - 관리 - 운영을 일괄적으로 지원할 수 있도록 한다.

또한, 분석 모듈부(120)는 데이터베이스(140)에 저장된 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하고, 상기 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반하여 최적화 모델을 선정하는 구성으로서, 데이터 전처리부(121)와, 알고리즘 선택/개발부(122)와, 모델 관리부(123)와, 학습/검증부(124)를 포함하여 구성된다.

데이터 전처리부(121)는 분석에 필요한 데이터를 데이터베이스(140)로부터 업로드하는 구성으로서, 선택적으로 데이터 댐(Data Dam)으로부터 분석에 요구되는 데이터의 업로드를 수행할 수도 있다.

알고리즘 선택/개발부(122)는 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하는 구성으로서, 바람직하게는 쿠버네티스 기반의 도커 컨테이너 구조로 구성될 수 있다.

즉, 알고리즘 선택/개발부(122)는 분석가들이 분석을 위해 개설하는 프로젝트의 분석 엔진이 도커 이미지 기반으로 설정되어 도커 컨테이너 형태로 구동될 수 있도록 한다.

또한, 개별 도커 컨테이너는 쿠버네티스를 통해 관리되고, 쿠버네티스 기반의 멀티 노드 분산 환경으로 구성될 수 있다.

모델 관리부(123)는 생성된 모델을 데이터베이스(140)에 저장된 모델 자산(Model Asset)에서 제공하는 정보들을 이용하여 최적화 모델을 선정하는 구성으로서, 모델 자산은 학습된 모델의 히스토리, 성능 비교 및 배포, 유효성 등 다양한 산출물을 포함한 정보를 제공한다.

또한, 모델 관리부(123)는 정확한 기능이 제공될 수 있도록 모델 결과에 대한 설명 및 위험 지점 탐색, 활용 데이터 점검 및 추적 등의 정보를 제공할 수 있다.

예를 들어, 활용 데이터 점검은 XAI(설명 가능한 AI, eXplainable AI)를 통해 패턴과 상관관계를 암묵적 추론할 수 있으므로 보호 등급에 대한 식별과, 오퍼핏(Overfit) 등을 감안한 LIME(Local Interpretable Model-Agnostic Explanation), 데이터의 합성 구성 및 상대 변수의 중요도와 같은 기법 등 모델의 편향성을 완화할 수 있도록 한다.

학습/검증부(124)는 최적화 모델을 학습된 알고리즘(Pre-trained Model)을 이용한 학습, 모델 서비스의 운영과정에서 수집된 데이터 등을 이용한 모델의 재학습, 성능 점검을 통한 모델 수정 등을 수행한다.

또한, 학습/검증부(124)는 모델의 성능을 향상시키기 위한 확장으로서, 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행함으로써, 우수한 분석가의 분석 없이도 분석이 가능하고, 높은 사용 편의성이 제공될 수 있도록 한다.

여기서, 피처 엔지니어링은 특성 엔지니어링, 기존 데이터 변수들에서 모델 개선에 사용할 수 있는 의미있는 변수들을 선택하고, 변형하거나 예측력에 영향을 미치는 새로운 변수를 생성하여 모델 성능을 높이는 방법이다.

또한, 하이퍼 파라미터 최적화는 인공 신경망 훈련 시 가장 우수한 성능을 도출할 수 있는 하이퍼 파라미터를 찾아내는 기술을 의미하며, 하이퍼 파라미터로는 학습률, 학습류 스케줄링 방법, 손실 함수, 훈련 반복횟수, 가중치 초기화 방법, 정규화방법, 적층할 계층의 수 등이 고려될 수 있다.

또한, 챔피언 모델은 여러 모델 중 가장 최적의 결과값을 내는 모델이다.

이러한 구성을 통해 분산관리가 가능하며 통합 개발 환경임에 따라 분석가가 원하는 툴이 계속 발생하더라도 새롭게 구축하지 않고도 활용할 수 있어서 유연하고 확장성이 높아질 수 있다.

운영 모듈부(130)는 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)한다.

즉, 도6에 나타낸 바와 같이, 도커 이미지, 라이브러리 등을 이용하여 모델 서비스를 빌드(3)하고, 빌드된 모델 서비스의 테스트와, Git 저장소의 "Pull, Push Git" 이슈 추척 기능 등을 이용하여 모델 개발 작업에 대한 모델 서비스 형상 연동이 이루어지도록 관리한다.

또한, 운영 모듈부(130)는 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하고, 비즈니스 규칙 운영부(131)와, 앱/시스템 적용/운영부(132)를 포함하여 구성된다.

비즈니스 규칙 운영부(131)는 선정된 최적화 모델을 미리 설정된 전략 또는 시나리오에 기초한 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)한다.

앱/시스템 적용/운영부(132)는 빌드된 모델 서비스의 앱 테스트 또는 시스템 의 통합 테스트를 수행하여 검증된 모델 서비스가 배포 및 모니터링되도록 운영(4)한다.

즉, 앱/시스템 적용/운영부(132)는 성능/사용 현황 모니터링, 라이프 사이클 관리, 인벤토리 내 식별관리 등의 모델 관리와, 모델 선택 사유 기재, 승인을 통한 투명성 확보 및 잠재적 오사용 방지를 통한 모델 투명성 확보와, 모델 간 상호작용 및 의존성, 공통 가정, 데이터 및 방법론에 대한 의존성, 여러 모델과 그 결과에 동시에 부정적인 영향을 미칠 수 있는 요인 파악하는 데이터 및 모델 흐름 시각화와, 모델 서비스 성능 및 모델 서비스 통계 현황을 모니터링하는 모델 성능 모니터링 등을 수행한다.

또한, 모델 서비스의 테스트 과정에서 생성된 정보들을 포함하여 통합 테스트를 수행할 수도 있다.

또한, 앱/시스템 적용/운영부(132)는 모델 서비스를 운영계에 배포 및 모니터링(5)에 의한 모델 서비스 운영을 통해 빌딩 서비스 저장소와 모델 서비스 및 오브젝트 이관, 구동 쉘 호출 등을 통해 모델 서비스의 운영 및 배포가 이루어지도록 한다.

데이터베이스(140)는 데이터 수집 모듈부(110)를 통해 다운로드된 분석 알고리즘과, 모델링 기법과, 모델 자산 정보와, 빌드된 모델 서비스를 저장한다.

한편, 본 발명의 실시 예에 따른 서비스 서버(100)는 데이터 수집 모듈부(110), 분석 모듈부(120), 운영 모듈부(130)가 순차적으로 수행되도록 파이프라인으로 구성되고, 파이프라인에 다양한 가이드 제공과, 특정한 작업을 위해 소프트웨어나 하드웨어를 편리하게 다룰 수 있도록 프로그램내 필요한 기능들 만을 순차적으로 실행되도록 제공하는 위저드(Wizard) 기능을 수행할 수 있다.

즉, 서비스 서버(100)는 개발된 모델의 재학습에 대한 요구시, 이미 구축된 모델을 운영하면서 새롭게 쌓인 데이터로 모델을 재학습 시킴으로써 모델을 점검하거나 또는 정확도를 증가시킬 수 있다.

이를 위해, 서비스 서버(100)는 사용자가 원하는 대로 간단한 사용자 인터페이스(UI)를 통해 재학습 또는 원하는 업무를 수행할 수 있도록 파이프라인별 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 사용자가 원하는 개별 단계로 즉시 접근 및 업무 수행이 가능하도록 사용자 인터페이스를 설정할 수 있다.

이때, 사용자 인터페이스는 미리 설정된 통합 UI(Unified UI)로 구성될 수 있고, 프로젝트의 성격, 사용자의 필요에 따라 커스터마이징된 UI 또는 통합 UI를 함께 사용하도록 구성될 수도 있다.

또한, 사용자 인터페이스는 데이터 전처리부(121), 알고리즘 선택/개발부(122), 학습/검증부(124), 비즈니스 규칙 운영부(131) 등에 설정될 수 있어서, 직접 접근 및 업무를 수행할 수 있도록 한다.

다음은 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법을 설명한다.

도7은 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법을 설명하기 위해 나타낸 흐름도이다.

도1 및 도7을 참조하면, 본 발명의 일 실시 예에 따른 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법은 임의의 사용자 단말(300, 300a, 300b)로부터 모델 서비스의 생성이 요청되면, 서비스 서버(100)가 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 언어 및 분석 알고리즘 등을 수집하여 데이터베이스(140)에 저장(S100)한다.

S100 단계에서, 사용자 단말(300, 300a, 300b)로부터 요청되는 모델 서비스의 생성 요청은 도8과 같이 포탈 방식의 화면을 통해 다양한 모델의 솔루션 중에서 원하는 환경 또는 서비스를 선택할 수 있도록 한다.

즉, 기업의 인공지능 분석가들이 개인별, 프로젝트별 세팅이 가능하여 개인 맞춤형으로 분석환경을 구축할 수 있고, 포탈 솔루션으로 포털 형식을 취함으로써 다양한 오픈 소스 분석툴 및 언어를 선택적으로 활용하고 있어 개인화가 가능하다

서비스 서버(100)는 데이터 전처리를 통해 신규 생성되는 모델 서비스의 프로젝트를 모델링 하기 위한 분석 환경의 설정과, 분석에 필요한 데이터를 데이터베이스(140)로부터 업로드(S200)한다.

또한, S200 단계는 선택적으로 데이터 댐(Data Dam)으로부터 분석에 요구되는 데이터의 업로드를 수행할 수도 있다.

계속해서, 서비스 서버(100)는 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경, 분석 알고리즘 및 복수의 모델링 기법을 이용하여 모델을 선택 및 생성하고, 생성된 모델을 미리 저장된 모델 자산(Model Asset)의 정보들에 기반한 최적화 모델을 학습하여 선정(300)한다.

또한, S300 단계에서 서비스 서버(100)는 분석가들이 분석을 위해 개설하는 프로젝트의 분석 엔진이 도커 이미지 기반으로 설정되어 도커 컨테이너 형태로 구동될 수 있도록 쿠버네티스 기반의 도커 컨테이너 구조로 구성하고, 개별 도커 컨테이너는 쿠버네티스를 통해 관리되며, 쿠버네티스 기반의 멀티 노드 분산 환경으로 구성될 수 있도록 한다.

또한, S300 단계에서 모델 자산은 학습된 모델의 히스토리, 성능 비교 및 배포, 유효성 등 다양한 산출물을 포함한 정보이고, 정확한 기능이 제공될 수 있도록 모델 결과에 대한 설명 및 위험 지점 탐색, 활용 데이터 점검 및 추적 등의 정보를 제공한다.

계속해서, 서비스 서버(100)는 최적화 모델을 학습된 알고리즘(Pre-trained Model) 등을 이용한 학습과, 성능 점검을 통한 모델 수정 등을 수행(S400)한다.

S400 단계의 학습 및 검증이 완료(S500)되면, 서비스 서버(100)는 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하여 운영(S600)하고, 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영(S700)한다.

한편, S400 단계는 서비스 서버(100)가 모델의 성능을 향상시키기 위한 확장으로서, 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행하여 우수한 분석가의 분석 없이도 분석이 가능하고, 높은 사용 편의성이 제공될 수 있도록 추가 수행할 수 있다.

또한, S400 단계는 서비스 서버(100)가 S700 단계의 모델 서비스 운영과정에서 수집된 데이터를 이용하여 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정하는 단계를 추가 수행할 수도 있다.

또한, 서비스 서버(100)는 사용자가 원하는 대로 간단한 사용자 인터페이스(UI)를 통해 재학습 또는 원하는 업무를 수행할 수 있도록 파이프라인별 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 사용자가 원하는 개별 단계, 예를 들어 데이터 전처리 단계(S200), 알고리즘 선택 및 개발 단계(S300), 모델 학습 및 검증 단계(400), 비즈니스 규칙 운영 단계(S600)로 즉시 접근 및 업무 수행이 가능하도록 사용자 인터페이스를 설정할 수 있다.

따라서, 서비스 서버(100)는 개발된 모델의 재학습에 대한 요구시, 이미 구축된 모델을 운영하면서 새롭게 쌓인 데이터로 모델을 재학습 시킴으로써 모델을 점검하거나 또는 정확도를 증가시킬 수 있도록 한다.

또한, 서비스 서버(100)는 사용자 인터페이스를 미리 설정된 통합 UI(Unified UI)로 구성할 수 있고, 프로젝트의 성격, 사용자의 필요에 따라 커스터마이징된 UI 또는 통합 UI를 함께 사용하도록 구성할 수도 있다.

따라서, 도9와 같이 분석가부터 개발자 및 시스템 운영자까지 일원화된 서비스와 협업 체계를 구축하여 분석가와 개발자, 운영자가 각각 분리되어 커뮤니케이션 등 협업에 어려움을 겪던 업무 플로우를 단순화함으로써 기업 내 분석/서비스 프로세스 및 협업의 효율을 제공할 수 있게 된다.

또한, 협업에 유리한 체계 즉 파이프라인 구조를 마련함으로써, 기존 개발된 모델을 재활용하거나 참조, 재학습을 통해 고도화할 수 있는 환경을 제공할 수 있고, 이를 통해 기업이 스스로 AI 역량을 내재화하고 자산화 할 수 있다.

즉, 본 발명의 분석 플랫폼 서비스를 통해 기업 스스로가 AI 모델 개발, 모델의 생애 주기를 관리하고 개발된 모델을 운영 시스템에 즉각 적용할 수 있으며, AI 분석이 필요한 모든 기업, 특히 AI를 자사의 경쟁력으로 내재화를 시도하는 기업에 적용할 수 있다.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.

100 : 서비스 서버 110 : 데이터 수집 모듈부
111 : 미니 CRAN 부 112 : 데이터 수집부
120 : 분석 모듈부 121 : 데이터 전처리부
122 : 알고리즘 선택/개발부 123 : 모델 관리부
124 : 학습/검증부 130 : 운영 모듈부
131 : 비즈니스 규칙 운영부 132 : 앱/시스템 적용/운영부
200 : 분석 알고리즘 도메인 200a : 분석 알고리즘 도메인 1
200b : 분석 알고리즘 도메인 n 300 : 사용자 단말
300a : 사용자 단말 1 300b : 사용자 단말 n

Claims (12)

1. 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 제공하는 데이터 수집 모듈부(110);
   신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하고, 상기 생성된 모델을 학습된 모델의 히스토리, 성능 비교 및 배포, 유효성을 포함한 모델 자산(Model Asset)의 정보들에 기반하여 최적화 모델을 선정하는 분석 모듈부(120);
   상기 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하며, 상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 운영 모듈부(130); 및
   상기 데이터 수집 모듈부(110)를 통해 다운로드된 분석 알고리즘과, 모델링 기법과, 모델 자산 정보와, 빌드된 모델 서비스를 저장하는 데이터베이스(140);로 이루어진 서비스 서버(100)를 포함하고,
   상기 서비스 서버(100)는 모델 결과에 대한 설명 및 위험 지점 탐색과, 활용 데이터 점검 및 추적 정보를 제공하며, 데이터 수집 모듈부(110)와, 분석 모듈부(120)와, 운영 모듈부(130)가 파이프라인으로 구성되며, 파이프라인 별로 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 각 단계별 사용자 인터페이스가 설정되어 프로젝트의 성격 또는 필요에 따라 커스터마이징된 UI 및 미리 설정된 통합 UI 중 하나 이상을 통해 사용자가 원하는 대로 재학습 하거나 또는 원하는 업무를 수행하여 개별 단계로 즉시 접근 및 업무 수행이 가능하도록 사용자 인터페이스를 설정하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
2. 제 1 항에 있어서,
   상기 서비스 서버(100)는 모델 서비스의 운영과정에서 수집된 데이터를 이용하여 상기 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
3. 삭제
4. 제 1 항에 있어서,
   상기 데이터 수집 모듈부(110)는 서비스 서버의 폐쇄망 내에서 분석 알고리즘과 관련된 문서, 바이너리로 구성된 동일한 자료들을 전달하는 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 미러링을 통해 제공하는 미니 CRAN부(mini-Comprehensive R Archive Network, 111); 및
   상기 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 데이터베이스(140)에 저장하는 데이터 수집부(112);를 포함하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
5. 제 1 항에 있어서,
   상기 분석 모듈부(120)는 분석에 필요한 데이터를 데이터베이스(140)로부터 업로드하는 데이터 전처리부(121);
   신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경과, 상기 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 생성하는 알고리즘 선택/개발부(122);
   상기 생성된 모델을 데이터베이스(140)에 저장된 모델 자산에서 제공하는 정보들을 이용하여 최적화 모델을 선정하는 모델 관리부(123); 및
   상기 최적화 모델을 학습된 알고리즘(Pre-trained Model)을 이용한 학습, 모델 서비스의 운영과정에서 수집된 데이터를 이용한 모델의 재학습과, 성능 점검을 통한 모델 수정을 수행하는 학습/검증부(124);를 포함하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
6. 제 5 항에 있어서,
   상기 학습/검증부(124)는 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
7. 제 1 항에 있어서,
   상기 운영 모듈부(130)는 선정된 최적화 모델을 미리 설정된 전략 또는 시나리오에 기초한 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하는 비즈니스 규칙 운영부(131); 및
   상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 앱/시스템 적용/운영부(132);를 포함하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템.
8. 삭제
9. a) 임의의 사용자 단말(300, 300a, 300b)로부터 임의의 모델 서비스 생성이 요청되면 서비스 서버(100)가 인터넷을 통해 접속한 복수의 분석 알고리즘 도메인(200, 200a, 200b)으로부터, 프레임워크, 라이브러리, 분석용 패키지를 포함한 분석 알고리즘을 수신하여 데이터베이스에 저장하는 단계;
   b) 상기 서비스 서버(100)가 신규 생성되는 프로젝트를 모델링 하기 위한 분석 환경의 설정을 위해 분석에 필요한 데이터를 데이터베이스(140)로부터 업로드하는 데이터 전처리 단계;
   c) 상기 서비스 서버(100)가 분석 알고리즘과 복수의 모델링 기법을 이용하여 임의의 모델을 선택 및 생성하고, 상기 생성된 모델을 학습된 모델의 히스토리, 성능 비교 및 배포, 유효성을 포함한 모델 자산(Model Asset)의 정보들에 기반한 최적화 모델을 학습하여 선정하는 단계;
   d) 상기 서비스 서버(100)가 선정된 최적화 모델을 미리 설정된 비즈니스 규칙을 이용하여 모델 서비스를 빌드(Build)하고, 상기 빌드된 모델 서비스의 앱 테스트 또는 시스템 테스트를 수행하여 검증된 모델 서비스가 배포되도록 운영하는 단계;를 포함하고,
   상기 서비스 서버(100)는 모델 결과에 대한 설명 및 위험 지점 탐색과, 활용 데이터 점검 및 추적 정보를 제공하며, 데이터 수집 모듈부(110)와, 분석 모듈부(120)와, 운영 모듈부(130)가 파이프라인으로 구성되며, 파이프라인 별로 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 각 단계별 사용자 인터페이스가 설정되어 프로젝트의 성격 또는 필요에 따라 커스터마이징된 UI 및 미리 설정된 통합 UI 중 하나 이상을 통해 사용자가 원하는 대로 재학습 하거나 또는 원하는 업무를 수행하여 개별 단계로 즉시 접근 및 업무 수행이 가능하도록 사용자 인터페이스를 설정하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법.
10. 제 9 항에 있어서,
    상기 c) 단계는 피처 엔지니어링(Feature Engineering), 하이퍼 파라미터(Hyper parameter) 최적화, 챔피언 모델(Champion Model)을 이용한 오토 ML(Auto Machine Learning)을 추가 수행하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법.
11. 제 10 항에 있어서,
    상기 c) 단계는 d) 단계의 모델 서비스 운영과정에서 수집된 데이터를 이용하여 상기 모델의 재학습을 이용한 성능 점검을 통해 모델을 수정하는 단계를 더 포함하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법.
12. 제 11 항에 있어서,
    상기 a) 단계 내지 d) 단계 중 적어도 하나는 사용자 인터페이스(UI) API(Application Programming Interface)를 통해 각 단계별 사용자 인터페이스를 설정하는 것을 특징으로 하는 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템을 이용한 서비스 방법.

Images