KR102491755B1 - 쿼리 기반 딥러닝 추론 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는, 쿼리 기반 딥러닝 추론 시스템 및 그 방법이 개시된다.
개시된 쿼리 기반 딥러닝 추론 시스템은, 데이터 셋, 학습 네트워크 모델, 학습 파라미터 및 학습 결과를 저장하는 데이터베이스; 상기 데이터베이스에 플러그인 방식으로 연결되고, 상기 데이터베이스에 저장된 정보 또는 데이터에 대한 확인, 수정 및 새로운 데이터를 추가하는 딥러닝 프레임워크; 및 상기 딥러닝 프레임워크를 통하여 쿼리를 입력하고, 상기 데이터베이스로부터 상기 딥러닝 프레임워크를 통하여 상기 쿼리에 대응된 추론 결과를 수신하는 사용자 단말기를 포함할 수 있다.

Description

쿼리 기반 딥러닝 추론 시스템 및 그 방법{Deep learning inference system based on query, and method thereof}

본 발명은 쿼리 기반 딥러닝 추론 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는, 쿼리 기반 딥러닝 추론 시스템 및 그 방법에 관한 것이다.

최근에 딥러닝 기술이 각광을 받으면서 보안, 관제, 자율주행, 방범 등 다양한 분야에서 지능화된 기능 제공을 위해 딥러닝 기술 기반 학습엔진을 활용하고 있다.

딥러닝을 이용한 학습엔진은 기존의 다른 AI 기술에 기반을 둔 학습엔진보다 월등히 뛰어난 지능 성능을 보이고 있다.

그러나, 딥러닝 기술 기반의 지능을 제공하는 학습엔진을 생성하기 위해서는 딥 네트워크 설계, 학습 함수 설정, 파라미터 튜닝 등 여러 가지 어려운 난관이 있다. 이러한 문제들은 딥러닝 전문가가 아니면 쉽게 할 수 없어, 누구나 쉽게 딥러닝 기반 학습엔진을 갖기 어렵다.

또한 학습엔진을 생성할 때마다, 딥러닝의 공통적인 요소를 중복 사용하게 되어, 동일한 과정을 반복 수행해야 하는 문제가 있다.

한국 등록특허공보 제10-2058124호(등록일 : 2019년12월16일)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는, 쿼리 기반 딥러닝 추론 시스템 및 그 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템은, 데이터 셋, 학습 네트워크 모델, 학습 파라미터 및 학습 결과를 저장하는 데이터베이스; 상기 데이터베이스에 플러그인 방식으로 연결되고, 상기 데이터베이스에 저장된 정보 또는 데이터에 대한 확인, 수정 및 새로운 데이터를 추가하는 딥러닝 프레임워크; 및 상기 딥러닝 프레임워크를 통하여 쿼리를 입력하고, 상기 데이터베이스로부터 상기 딥러닝 프레임워크를 통하여 상기 쿼리에 대응된 추론 결과를 수신하는 사용자 단말기를 포함할 수 있다.

상기 딥러닝 프레임워크는, 상기 쿼리를 입력받으면, 상기 데이터베이스에 저장된 학습 네트워크 모델에 대한 확인, 수정, 및 새로운 학습을 위한 학습 네트워크 모델을 생성하며, 상기 입력된 쿼리에 따라 정보 또는 데이터와 학습 네트워크 모델을 선택하고 학습 파라미터를 설정하여 기계학습을 실행하고, 학습 중간 결과 및 최종 결과를 제공하며, 상기 입력된 쿼리를 통하여 데이터와 기 학습된 학습 네트워크 모델을 선택하여 기계추론을 실행하고, 그 추론 결과를 제공할 수 있다.

상기 데이터 셋은, 동일한 형식을 가진 정보 또는 데이터의 집합이고, 상기 정보 또는 데이터는 숫자, 문자, 이미지, 영상, 음성을 포함하여 기계학습에 사용되는 모든 종류의 정보 또는 데이터일 수 있다.

상기 학습 네트워크 모델은, 기계학습에 사용되는 모델로 입출력과 모델 내부를 정의하는 파라미터 그리고 기계학습, 추론에 필요한 파라미터들로 구성되고, 상기 데이터베이스에 관계형 데이터 형식으로 저장되며, 컨버터를 통하여 다른 딥러닝 프레임워크로 변환 가능할 수 있다.

상기 데이터베이스는 기계학습, 기계추론에 사용된 모든 입출력 데이터를 저장하고, 기계학습, 기계추론에 사용된 모델을 저장하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공할 수 있다.

상기 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함할 수 있다.

상기 딥러닝 프레임워크는, 외부 프레임워크와의 호환성을 위해 사용되고 기존 프레임워크의 기학습된 모델을 가져오거나 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 이용하는 모델 컨버터를 포함할 수 있다.

상기 모델 컨버터는, 상기 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 네트워크 모델을 상기 모델 포맷으로 변환할 수 있다.

상기 데이터베이스는, 데이터셋 테이블(Dataset Table), 네트워크 테이블(Network Table), 프로젝트 테이블(Project Table), 작업 테이블(Job Table), 공통 테이블(Common Table)을 포함할 수 있다.

상기 딥러닝 프레임워크는, 상기 사용자 단말기로부터 학습 쿼리가 입력되면(Call Train), 네트워크 초기화(Init Network), 네트워크 구성(Construct Network), 네트워크 갱신(Update Network)을 실행하며, 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train)을 실행하고, 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장하며(Store Result & Model), 학습 종료시 학습 결과를 상기 사용자 단말기로 제공할 수 있다.

상기 딥러닝 프레임워크는, 상기 사용자 단말기로부터 추론 쿼리가 입력되면(Call Test), 네트워크 초기화(Init Network), 네트워크 구성(Construct Network), 네트워크 갱신(Update Network)을 실행하며, 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 테스트(Test)를 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 결과를 저장하며(Store Result), 추론 결과를 상기 사용자 단말기로 제공할 수 있다.

한편, 전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법은, 사용자 단말기 및 데이터베이스와 연동하는 딥러닝 프레임워크의 쿼리 기반 딥러닝 추론 방법으로서, (a) 상기 딥러닝 프레임워크가 상기 사용자 단말기로부터 학습 쿼리(Call Train) 또는 추론 쿼리(Call Test)를 입력받는 단계; (b) 상기 딥러닝 프레임워크가 상기 학습 쿼리 또는 상기 추론 쿼리에 따라 네트워크 초기화(Init Network), 네트워크 구성(Construct Network) 및 네트워크 갱신(Update Network)을 실행하는 단계; (c) 상기 딥러닝 프레임워크가 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train) 또는 추론(Test)을 실행하는 단계; 및 (d) 상기 딥러닝 프레임워크가 상기 학습 또는 상기 추론의 종료시 학습 결과 또는 추론 결과를 상기 사용자 단말기로 제공하는 단계를 포함할 수 있다.

상기 (c) 단계에서 상기 딥러닝 프레임워크는, 상기 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장 (Store Result & Model)할 수 있다.

상기 (c) 단계에서 상기 딥러닝 프레임워크는, 상기 테스트(Test)를 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 추론 결과를 저장(Store Result)할 수 있다.

상기 (a) 단계에서 상기 딥러닝 프레임워크는, 외부 프레임워크와의 호환성을 위해 모델 컨버터를 사용하고, 기존 프레임워크의 기학습된 모델을 가져오거나, 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 상기 모델 컨버터를 통하여 모델 포맷으로 변환할 수 있다.

상기 모델 컨버터는, 상기 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 네트워크 모델을 상기 모델 포맷으로 변환할 수 있다.

본 발명에 의하면, 쿼리 기반의 기계학습 기술을 이용함으로써 딥러닝 프레임워크가 데이터베이스에 플러그인 형태로 연결되어 사용자의 요청쿼리에 의해서 데이터베이스에 저장된 데이터를 사용하여 기계학습, 추론 등을 수행할 수 있다.

따라서, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 필요한 정보를 용이하게 제공할 수 있다.

또한, 현재 실행 또는 대기 중인 학습계획의 학습 파라미터를 확인할 수 있으며, 현재 실행 중인 학습 계획의 중간 및 결과를 확인할 수 있다.

또한, 현재 실행 중인 학습계획을 멈출 수 있으며, 대기 중인 학습계획을 시작할 수 있다.

또한, 등록된 네트워크 모델과 데이터셋을 설정하여 추론 계획을 생성하고, 실행된 추론 계획의 결과를 확인할 수 있다.

도 1은 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술의 수행 흐름을 나타낸 흐름도이다.
도 3은 본 발명의 실시 예에 따른 데이터베이스의 내부 데이터 흐름을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 학습 프로시저의 실행 흐름을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 추론 프로시저의 실행 흐름을 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 모델 컨버터의 변환 동작을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 QML 프레임워크의 내부 구조를 개략적으로 나타낸 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(100)은, 쿼리 기반의 기계학습 기술을 적용하기 위해, 데이터베이스(DB, 110), 딥러닝 프레임워크(QML, 120) 및 사용자 단말기(130)를 포함한다.

여기서, 쿼리 기반의 기계학습 기술은, 딥러닝 프레임워크(120)가 데이터베이스(110)에 플러그인 형태로 연결되어 사용자의 요청 쿼리에 의해서 데이터베이스(110)에 저장된 데이터를 사용하여 기계학습, 추론 등이 수행되는 기술이다.

데이터베이스(110)는 데이터 셋(Data Set), 학습 네트워크 모델, 학습 파라미터 및 학습 결과를 저장할 수 있다.

데이터 셋은, 동일한 형식을 가진 정보 또는 데이터의 집합이다. 정보 또는 데이터는 숫자, 문자, 이미지, 영상, 음성을 포함하여 기계학습에 사용되는 모든 종류의 정보 또는 데이터일 수 있다.

학습 네트워크 모델은, 기계학습에 사용되는 모델로 입출력과 모델 내부를 정의하는 파라미터 그리고 기계학습, 추론에 필요한 파라미터들로 구성되고, 관계형 데이터 형식으로 데이터베이스에 저장되며, 컨버터를 통하여 다른 딥러닝 프레임워크로 변환 가능할 수 있다.

학습 네트워크 모델은, 사용자에 의해 입력된 텍스트를 인식할 수 있고, 이미지, 오디오 및 동영상에 포함된 음성 및 텍스트를 인식할 수 있다. 또한, 인식한 음성 및 텍스트로부터 사용자 의향을 분석할 수 있다.

학습 결과는 기계학습이 진행되는 동안 중간 출력값이 데이터베이스(110)에 저장되어 사용자가 확인할 수 있다. 기계학습이 진행되는 동안 모델 파라미터 값이 데이터베이스(110)에 저장되어 사용자가 확인할 수 있다. 기계학습이 진행되는 동안 계산되는 모델의 평가지표 값이 데이터베이스(110)에 저장되어 사용자가 확인할 수 있다. 기계추론 결과값이 데이터베이스(110)에 저장되어 사용자가 확인할 수 있다.

데이터베이스(110)는 기계학습, 기계추론에 사용된 모든 입출력 데이터를 저장하고, 기계학습, 기계추론에 사용된 모델을 저장하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공할 수 있다. 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함할 수 있다.

딥러닝 프레임워크(120)는, 외부 프레임워크와의 호환성을 위해 사용되고 기존 프레임워크의 기학습된 모델을 가져오거나 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX(Open Neural Network Exchange) 모델 포맷을 이용하는 모델 컨버터를 포함할 수 있다.

모델 컨버터는, ONNX 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 데이터베이스의 네트워크 모델을 ONNX 모델 포맷으로 변환할 수 있다.

또한, 상기 ONNX 모델 포멧 이외에 Open Network Exchange(ONNX), Neural Network Exchange Format(NNEF) 및 학습 파라미터와 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 변환할 수도 있다.

상기와 모델 Weigh 파일을 구조화된 포멧으로 변환하여 학습 모델을 입력(Import)하거나, 데이터베이스로부터 출력(Export) 받을 수 있도록 한다.

딥러닝 프레임워크(120)는 데이터베이스(110)에 플러그인 방식으로 연결되고, 데이터베이스(110)에 저장된 정보 또는 데이터에 대한 확인, 수정 및 새로운 데이터를 추가할 수 있다. 딥러닝 프레임워크(120)는 예를 들면, QML을 예로 들 수 있다.

QML은 데이터베이스(110)에 플러그 인으로 설치된 딥러닝 프레임워크로서 데이터베이스의 호출로 실행된다. QML은 호출될 때 데이터베이스(110)로부터 각종 데이터를 인자로 받아 수행결과를 반환한다. QML은 관계형 데이터 포맷으로 정의된 네트워크 모델을 해석하여 프레임워크 내부에 네트워크를 구성한다. QML은 데이터베이스(110)로부터 학습 파라미터와 학습 데이터를 인자로 받아 프레임워크 내부에 구성된 네트워크의 학습을 수행하고 학습결과를 반환한다. QML은 데이터베이스(110)로부터 입력 데이터를 인자로 받아 프레임워크 내부에 구성된 네트워크를 이용하여 기계추론을 수행하고 결과를 반환한다.

또한, 딥러닝 프레임워크(120)는, 사용자 단말기(130)로부터 쿼리를 입력받으면, 데이터베이스(110)에 저장된 학습 네트워크 모델에 대한 확인, 수정, 및 새로운 학습을 위한 학습 네트워크 모델을 생성하며, 입력된 쿼리에 따라 정보 또는 데이터와 학습 네트워크 모델을 선택하고 학습 파라미터를 설정하여 기계학습을 실행하고, 학습 중간 결과 및 최종 결과를 제공하며, 입력된 쿼리를 통하여 데이터와 기 학습된 학습 네트워크 모델을 선택하여 기계추론을 실행하고, 그 추론 결과를 제공할 수 있다.

사용자 단말기(130)는 딥러닝 프레임워크(120)를 통하여 쿼리를 입력하고, 데이터베이스(110)로부터 딥러닝 프레임워크(120)를 통하여 쿼리에 대응된 추론 결과를 수신할 수 있다.

또한, 사용자 단말기(130)는 쿼리를 통해서 데이터베이스(110)에 여러 기능들을 요청하고, 데이터베이스(110)로부터 결과를 응답 받는다. 사용자 단말기(130)는 쿼리를 통해서 데이터베이스(110)에 저장된 데이터를 확인, 수정하고, 새로운 데이터를 추가한다. 사용자 단말기(130)는 쿼리를 통해서 데이터베이스(110)에 저장된 네트워크 모델을 확인, 수정하고 새로운 학습을 위한 네트워크 모델을 생성한다. 사용자 단말기(130)는 쿼리를 통해서 데이터와 학습 네트워크 모델을 선택하고 학습 파라미터를 설정하여 기계학습을 요청하고, 학습 중간 결과 및 최종 결과를 확인한다. 사용자 단말기(130)는 쿼리를 통해서 데이터와 기학습 된 네트워크 모델을 선택하여 기계추론을 요청하고, 추론 결과를 확인한다.

도 2는 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술의 수행 흐름을 나타낸 흐름도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술은, ONNX 포맷으로 변환된 기학습된 모델을 컨버터를 통해서 QML 포맷으로 저장하고, 사용자 단말기(130)로부터 학습 또는 추론 쿼리를 입력받으며, 데이터베이스(110)에서 정보를 QML로 주어 학습 및 추론을 수행한다. 그리고, 학습 또는 추론 결과를 데이터베이스(110)에 저장하면, 사용자 단말기(130)가 데이터베이스(110)에 저장된 결과를 확인한다.

먼저 사용자 단말기(130)는 학습 모델을 입력(Import)하거나, 데이터베이스(110)로부터 출력(Export)받을 수 있다(①).

또한, 학습 모델을 입력 또는 출력할 때, 모델 컨버터를 통하여 데이터베이스(110)의 스키마 구조에 맞게 변환한다(②).

또한, 데이터베이스(110)는 쿼리를 해석하여 적절한 작업을 수행한다(③).

또한, 딥러닝 프레임워크(120)는 데이터베이스(110)에 플러그인을 수행하고, 데이터베이스(110)로부터 받은 정보를 통해 학습 및 추론을 수행한다(④).

또한, 사용자 단말기(130)는 쿼리를 통해 데이터베이스(110)로 학습 또는 추론을 요청할 수 있다(⑤).

또한, 사용자 단말기(130)는 데이터베이스(110)의 테이블을 조회하여 학습 관련 정보를 조회할 수 있다(⑥).

그리고, 모델 데이터는 데이터베이스(110)에 QML 스키마로 저장된다(⑦).

도 3은 본 발명의 실시 예에 따른 데이터베이스의 내부 데이터 흐름을 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 데이터베이스(110)는, 기계학습과 관련된 데이터들을 저장하고, 기계학습에 필요한 기능들을 프로시저(Procedure)로 제공하여 사용자 요청에 의해 기계학습을 수행한다.

데이터베이스(110)에서, 테이블(Table)은 크게 데이터셋 테이블(Dataset Table), 네트워크 테이블(Network Table), 프로젝트 테이블(Project Table), 작업 테이블(Job Table), 공통 테이블(Common Table)을 포함할 수 있다.

데이터 셋은 데이터 종류를 포함하고, 네트워크는 네트워크 종류, lenet을 포함하며, 프로젝트는 네트워크의 정보를 복사해 학습 또는 추론 작업을 진행한다. 작업 테이블은 사용자 정보, 프로젝트의 상태, 로그 등을 포함하고, 공통 테이블은 레이어 타입, 오류 코드 등 룩업 테이블을 포함한다.

네트워크 테이블에 네트워크 모델 정보가 저장되어 있고, 프로젝트 테이블에는 네트워크 테이블로부터 복사된 실제 학습이나 추론을 진행할 프로젝트 정보가 저장된다. 프로젝트가 생성된 후 네트워크 테이블과 별개의 구성을 가지게 되므로, 프로젝트에 사용된 기반 네트워크가 수정되더라도 영향이 없다. 개수가 많고 가변적인 데이터(입출력 데이터 및 가중치 정보)는 blob 또는 text 타입으로, 개수가 적고 가변적인 데이터(각 레이어 파라미터 등)는 레코드를 분할하여 저장하도록 되어 있다.

기계학습에 필요한 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 네트워크 초기화(Init Network), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함할 수 있다.

인서트 네트워크는 네트워크 이름, 네트워크 타입, 데이터셋 이름, 옵티마이저 타입, 옵티마이저 파라미터, 학습률, 배치 크기, 학습 횟수, 출력 레이어 인덱스를 포함하는 네트워크를 생성한다.

인서트 레이어는, 네트워크 아이디, 레이어 이름, 레이어 타입, 레이어 인덱스, 레이어 파라미터, 입력 레이어 인덱스를 포함하는 레이어를 등록한다.

메이크 프로젝트는, 프로젝트 이름, 데이터셋 이름, 네트워크 이름, 학습 또는 추론 플래그, GPU 개수를 포함하는 프로젝트를 생성한다.

입력 데이터 로더는, 네트워크 입력의 선택(레이어 인덱스, 쿼리 타입(2:학습 테이블, 0:학습 데이터, 4:검증 테이블, 3:검증 데이터)에 따라 쿼리를 입력한다.

네트워크 초기화는, 네트워크 모델을 구성한다.

트레인은, 프로젝트 아이디, 학습 세대 수, 배치 사이즈, 이어서 학습 여부, 저장 간격, 검증 간격, GPU 동기화 간격을 포함하는 학습을 시작한다.

모델 저장은, 프로젝트 테이블의 네트워크 정보를 네트워크 테이블로 복사(프로젝트 이름, 네트워크 이름)한다.

테스트는, 프로젝트 아이디, 모든 레이어의 결과 저장 여부 플래그를 포함하는 추론을 시작한다.

도 4는 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(100)은, 사용자 단말기(130) 및 데이터베이스(110)와 연동하는 딥러닝 프레임워크(120)에서 쿼리 기반 딥러닝 추론 방법을 실행한다.

딥러닝 프레임워크(120)는 사용자 단말기로부터 학습 쿼리(Call Train) 또는 추론 쿼리(Call Test)를 입력받는다(S410).

이때, 딥러닝 프레임워크(120)는, 외부 프레임워크와의 호환성을 위해 모델 컨버터를 사용하고, 기존 프레임워크의 기학습된 모델을 가져오거나, 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 모델 컨버터를 통하여 ONNX 모델 포맷으로 변환할 수 있다.

모델 컨버터는, ONNX 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 데이터베이스의 네트워크 모델을 ONNX 모델 포맷으로 변환할 수 있다.

이어, 딥러닝 프레임워크(120)는 학습 쿼리 또는 추론 쿼리에 따라 네트워크 초기화(Init Network), 네트워크 구성(Construct Network) 및 네트워크 갱신(Update Network)을 실행한다(S420).

이어, 딥러닝 프레임워크(120)는 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train) 또는 추론(Test)을 실행한다(S430).

이때, 딥러닝 프레임워크(120)는, 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장 (Store Result & Model)할 수 있다.

또한, 딥러닝 프레임워크(120)는, 테스트(Test)를 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 추론 결과를 저장(Store Result)할 수 있다.

이어, 딥러닝 프레임워크(120)는 학습 또는 추론의 종료시 학습 결과 또는 추론 결과를 사용자 단말기(130)로 제공한다(S440).

전술한 학습 또는 추론 과정에 대하여 아래에서 각각 구분하여 설명한다.

도 5는 본 발명의 실시 예에 따른 학습 프로시저의 실행 흐름을 나타낸 도면이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 딥러닝 프레임워크(120)에서는 사용자의 학습 요청에 대해 다음과 같은 단계가 실행되고, 데이터베이스(110)에서는 QML(120)을 호출하여 데이터를 인자로 넘겨주어 결과를 반환받는다.

먼저, 딥러닝 프레임워크(120)는, 사용자 단말기(130)로부터 학습 쿼리가 입력되어 학습이 호출되면(Call Train)(S50), 네트워크 초기화(Init Network)(S51), 네트워크 구성(Construct Network)(S52), 네트워크 갱신(Update Network)(S53)을 실행한다.

또한, 딥러닝 프레임워크(120)는, 모든 층에 대한 초기화(Initialize all layers)가 이루어지기까지(S54-No), 레이어 초기화(Init Layer)(S55)를 실행하고, 초기화된 레이어 정보(Initialized Layer Info)를 획득하며, 레이어 갱신(Update Layer)(S56)을 실행한다.

또한, 딥러닝 프레임워크(120)는, 모든 층에 대한 초기화가 이루어지면(S54-Yes), 학습(Train)을 실행하고(S57), 학습 종료시까지(S58-No) 배치 데이터를 획득하고(Get Batch Data)(S59), 반복 되풀이(Iteration)하여(S60), 결과 및 모델을 저장하며(Store Result & Model)(S610), 학습 종료시(S58-Yes) 학습 결과를 사용자 단말기(130)로 제공한다(S62).

도 6은 본 발명의 실시 예에 따른 추론 프로시저의 실행 흐름을 나타낸 도면이다.

도 6을 참조하면, 본 발명의 실시 예에 따른 딥러닝 프레임워크(120)에서는 사용자의 추론 요청에 대해 다음과 같은 단계가 실행되고, 데이터베이스(110)에서는 QML(120)을 호출하여 데이터를 인자로 넘겨주어 결과를 반환받는다.

먼저, 딥러닝 프레임워크(120)는, 사용자 단말기(130)로부터 추론 쿼리가 입력되어 추론이 호출되면(Call Test)(S63), 네트워크 초기화(Init Network)(S64), 네트워크 구성(Construct Network)(S65), 네트워크 갱신(Update Network)(S66)을 실행한다.

또한, 딥러닝 프레임워크(120)는, 모든 층에 대한 초기화(Initialize all layers)가 이루어지기까지(S67-No), 레이어 초기화(Init Layer)(S68) 및 레이어 갱신(Update Layer)(S69)을 실행한다.

또한, 딥러닝 프레임워크(120)는, 모든 층에 대한 초기화가 이루어지면(S67-Yes), 추론 테스트(Test)를 실행하고(S70), 추론 데이터를 획득하여(Get Test Data)(S71) 피드 포워드(feed forward)하고(S72), 결과를 저장하며(Store Result)(S73), 추론 결과를 사용자 단말기(130)로 제공한다(S74).

도 7은 본 발명의 실시 예에 따른 모델 컨버터의 변환 동작을 나타낸 도면이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 데이터베이스(110)에 저장된 네트워크 모델은 외부 프레임워크(tensorflow, pytorch, caffe, etc.)와의 호환성을 위해 모델 컨버터를 필요로 한다. 기존 프레임워크의 기학습된 모델을 가져오거나 데이터베이스 외부로 내보낼 때 ONNX(Open Neural Network Exchange)포맷을 사용한다.

여기서, 상기 ONNX 이외에 Open Network Exchange(ONNX), Neural Network Exchange Format(NNEF) 및 학습 파라미터와 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 변환할 수 있다.

모델 컨버터는, ONNX 모델을 포함하는 구조화된 포맷에 정의된 network structure 및 model data(weight, bias)를 데이터베이스(110)의 네트워크 모델 테이블 포맷으로 변환한다(a). 반대로 데이터베이스(110)의 네트워크 모델을 ONNX 모델을 포함하는 구조화된 포멧로 변환한다(b).

기존 프레임워크(Caffe, tensorflow, pytorch, etc.)에서 기계학습된 모델은 사용자가 ONNX 모델을 포함하는 구호좌된 포멧으로 변환 후 Converter(Import) 기능을 통해서 데이터베이스(110)에 업로드할 수 있다.

QML(120)에서 학습한 모델은 Converter(Export) 기능을 통해서 데이터베이스(110)에서 ONNX 모델을 포함하는 구조화된 포맷, 또는 CVS 파일로 저장한다.

데이터베이스(110)에 저장된 ONNX 모델 및 구조화된 포멧은 사용자가 원하는 target 프레임 워크로 변환하여 사용할 수 있다.

한편, QML은 C 언어로 개발하고 있는 딥러닝 프레임워크(120)이다. 데이터베이스(110)와 UDF(User Defined Function)를 통해 연결되며 호출에 의해 실행된다. 딥러닝 프레임워크(120)에 정의된 함수들은 UDF를 통해 데이터베이스(110)에 등록되고, 등록된 UDF 호출을 통해서 딥러닝 프레임워크(120)가 실행된다. UDF에서 사용할 수 있는 인자 변수의 타입은 integer, real number, string으로 정해져 있고 QML에서는 다음과 같이 사용한다. Integer는 네트워크 모델을 구성하는 필수 파라미터 중 정수값, QML 내부에 정의된 구조체 메모리의 주소값이다. Real number는 네트워크 모델을 구성하는 필수 파라미터 중 실수값이다. String은 개수가 가변적인 파라미터들과 blob 데이터(binary 데이터)이다.

QML 프레임워크에서는 채널 우선 데이터 포맷인 NCHW(N:batch, C: channel, H:height, W:width) 포맷을 따른다. 레이어 종류는 ONNX에서 사용되는 레이어를 지원하며, 각 레이어에 정의된 파라미터들도 ONNX 포멧을 포함하는 구조화된 포멧을 따른다.

QML 프레임워크는 네트워크 모델을 학습 가능 하도록 backpropagation 알고리즘이 구현되어 있다. Backpropagation의 필수 요소인 gradient 계산 알고리즘과 모델 파라미터(weight, bias)를 업데이트 시키기 위한 optimization 알고리즘이 구현되어 있다. 네트워크 모델을 학습하는 방식은 두가지로 Train from scratch 및 Fine tuning을 지원한다. Train from scratch는 네트워크 모델을 처음부터 학습시킨다. 각 레이어의 가중치들은 가중치 초기화 알고리즘을 통해 결정된다. Fine tuning은 기학습된 모델의 가중치(import 기능을 통해 데이터베이스에 저장되거나, 이전 학습시도를 통해서 구한 가중치)를 읽어와서 레이어의 초기 가중치를 설정하고 학습을 진행한다.

도 8은 본 발명의 실시 예에 따른 QML 프레임워크의 내부 구조를 개략적으로 나타낸 도면이다.

도 8을 참조하면, 본 발명의 실시 예에 따른 딥러닝 프레임워크(120)에서, QML_네트워크_t(qml_network_t)는 복수 개의 QML_레이어_t(qml_network_t)로 구성되고, 하나의 QML_레이어_t(qmll_network_t)는 복수 개의 QML_텐서_t(qml_tensor_t)로 구성된다.

Object qml_networks_t 는 qml_network_t 를 들고 있고, Multi GPU 로 네트워크 모델을 학습하는 경우에 N 개의 qml_network_t가 qml_networks_t에 포함되어 있고, 네트워크 모델을 추론하는 경우에는 1개의 qml_network_t를 들고 있다.

Object qml_network_t는 여러 개의 qml_layer_t 및 네트워크 파라미터들을 들고 있다.

Object qml_layer_t 는 입출력 텐서(qml_tensor_t) 들을 갖고 있고, Object qml_tensor_t는 NCHW 포멧으로 구성된 4차원 텐서이고, 내부에는 dtype, qml_shape_t, data, name 등이 포함되어 있다.

한편, 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(100)은, 다음과 같이 클라이언트, 회원, 데이터셋, 네트워크, 학습, 학습 실행 등을 관리할 수 있다.

[클라이언트]

본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(100)은, 사용자 단말기(130)로 데이터셋과 기계학습 과정을 관리하고 결과를 확인하기 위하여 기능을 제공한다.

[회원 관리]

또한, 쿼리 기반 딥러닝 추론 시스템(100)은, 회원관리를 통해서 데이터베이스(110)의 데이터, 네트워크 모델의 생성, 수정 권한을 부여하고 변경 이력을 남긴다.

[데이터셋 관리]

또한, 쿼리 기반 딥러닝 추론 시스템(100)은, 데이터셋을 관리하기 위하여 새로운 테이블을 생성하고, 데이터를 조회, 수정, 업로드하기 위한 기능을 제공한다. 새로운 데이터셋을 생성할 때 자동으로 새로운 테이블을 생성하고, 데이터를 업로드한다. 데이터베이스의 테이블에 접근하여 데이터를 조회거나 사용자가 작성한 쿼리를 통해서 데이터베이스의 데이터를 조회한 결과를 보여준다. 권한에 따라 데이터를 수정한다. 사용자로부터 수치데이터를 입력 받거나, 하나 이상의 파일을 읽어서 데이터 업로드를 진행한다. 학습 데이터의 레이블을 작성(tagging)하는 기능을 제공한다.

[네트워크 관리]

또한, 쿼리 기반 딥러닝 추론 시스템(100)은, 다음과 같이 네트워크 모델을 관리하기 위한 기능을 제공한다. 지원되는 레이어를 추가하고 레이어 파라미터를 조정하여 새로운 네트워크 모델을 생성한다. 기존에 작성된 네트워크 모델 리스트를 조회한다. 기존에 작성된 네트워크 모델에 새로운 레이어를 추가하여 새로운 네트워크 모델을 생성한다. 네트워크 모델을 시각화하여 보여주는 기능을 제공한다.

[학습 관리]

또한, 쿼리 기반 딥러닝 추론 시스템(100)은, 다음과 같이 학습을 관리하기 위한 기능을 제공한다. 네트워크 모델과 데이터셋, 학습 파라미터를 조절하여 학습을 생성 또는 수정한다. 학습이 끝난 네트워크 모델을 컨버터 기능을 통해 출력한다. 현재 사용중인 서버의 자원을 확인한다.

[학습 실행 관리]

또한, 쿼리 기반 딥러닝 추론 시스템(100)은, 다음과 같이 학습 및 추론을 수행하고 결과를 확인하기 위한 기능을 제공한다. 서버의 자원을 확인한다. 학습 및 추론 수행이 가능한지 여부를 사용자에게 알려준다. 현재 실행 또는 대기 중인 학습계획 리스트를 조회한다. 등록된 네트워크 모델과 데이터셋, 학습 파라미터를 설정하여 학습계획을 생성한다. 현재 실행 또는 대기 중인 학습계획의 학습 파라미터를 확인할 수 있다. 현재 실행 중인 학습계획의 중간 및 결과를 확인할 수 있다. 현재 실행 중인 학습계획을 멈출 수 있다. 대기 중인 학습계획을 시작할 수 있다. 등록된 네트워크 모델과 데이터셋을 설정하여 추론계획을 생성한다. 실행된 추론 계획의 결과를 확인할 수 있다.

전술한 바와 같이 본 발명에 의하면, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는, 쿼리 기반 딥러닝 추론 시스템 및 그 방법을 실현할 수 있다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 쿼리 기반 딥러닝 추론 시스템
110 : 데이터베이스
120 : 딥러닝 프레임워크
130 : 사용자 단말기

Claims (15)

1. 데이터 셋, 학습 네트워크 모델, 학습 파라미터 및 학습 결과를 저장하는 데이터베이스;
   상기 데이터베이스에 플러그인 방식으로 연결되고, 상기 데이터베이스에 저장된 정보 또는 데이터에 대한 확인, 수정 및 새로운 데이터를 추가하되,
   외부 프레임워크와의 호환성을 위해 기존 프레임워크의 기학습된 모델을 가져오거나 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 이용하는 모델 컨버터를 포함하는 딥러닝 프레임워크; 및
   상기 딥러닝 프레임워크를 통하여 쿼리를 입력하고, 상기 데이터베이스로부터 상기 딥러닝 프레임워크를 통하여 상기 쿼리에 대응된 추론 결과를 수신하는 사용자 단말기;를 포함하고,
   상기 딥러닝 프레임워크는, 상기 쿼리를 입력받으면, 상기 데이터베이스에 저장된 학습 네트워크 모델에 대한 확인, 수정, 및 새로운 학습을 위한 학습 네트워크 모델을 생성하며, 상기 입력된 쿼리에 따라 정보 또는 데이터와 학습 네트워크 모델을 선택하고 학습 파라미터를 설정하여 기계학습을 실행하고, 학습 중간 결과 및 최종 결과를 제공하며, 상기 입력된 쿼리를 통하여 데이터와 기 학습된 학습 네트워크 모델을 선택하여 기계추론을 실행하고, 그 추론 결과를 제공하는, 쿼리 기반 딥러닝 추론 시스템.
2. 제 1 항에 있어서,
   상기 데이터 셋은, 동일한 형식을 가진 정보 또는 데이터의 집합이고, 상기 정보 또는 데이터는 숫자, 문자, 이미지, 영상, 음성을 포함하여 기계학습에 사용되는 모든 종류의 정보 또는 데이터인 쿼리 기반 딥러닝 추론 시스템.
   
3. 제 1 항에 있어서,
   상기 학습 네트워크 모델은, 기계학습에 사용되는 모델로 입출력과 모델 내부를 정의하는 파라미터 그리고 기계학습, 추론에 필요한 파라미터들로 구성되고, 상기 데이터베이스에 관계형 데이터 형식으로 저장되며, 컨버터를 통하여 다른 딥러닝 프레임워크로 변환 가능한 쿼리 기반 딥러닝 추론 시스템.
   
4. 제 1 항에 있어서,
   상기 데이터베이스는 기계학습, 기계추론에 사용된 모든 입출력 데이터를 저장하고, 기계학습, 기계추론에 사용된 모델을 저장하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공하는, 쿼리 기반 딥러닝 추론 시스템.
   
5. 제 4 항에 있어서,
   상기 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함하는, 쿼리 기반 딥러닝 추론 시스템.
   
6. 삭제
7. 제 1 항에 있어서,
   상기 모델 컨버터는, 상기 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 이용하는 모델 포멧에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 네트워크 모델을 상기 구조화된 모델 포맷으로 변환하는, 쿼리 기반 딥러닝 추론 시스템.
   
8. 제 1 항에 있어서,
   상기 데이터베이스는, 데이터셋 테이블(Dataset Table), 네트워크 테이블(Network Table), 프로젝트 테이블(Project Table), 작업 테이블(Job Table), 공통 테이블(Common Table)을 포함하는, 쿼리 기반 딥러닝 추론 시스템.
   
9. 제 1 항에 있어서,
   상기 딥러닝 프레임워크는, 상기 사용자 단말기로부터 학습 쿼리가 입력되면(Call Train), 네트워크 초기화(Init Network), 네트워크 구성(Construct Network), 네트워크 갱신(Update Network)을 실행하며, 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train)을 실행하고, 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장하며(Store Result & Model), 학습 종료시 학습 결과를 상기 사용자 단말기로 제공하는, 쿼리 기반 딥러닝 추론 시스템.
   
10. 제 1 항에 있어서,
    상기 딥러닝 프레임워크는, 상기 사용자 단말기로부터 추론 쿼리가 입력되면(Call Test), 네트워크 초기화(Init Network), 네트워크 구성(Construct Network), 네트워크 갱신(Update Network)을 실행하며, 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 추론 테스트(Test)를 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 결과를 저장하며(Store Result), 추론 결과를 상기 사용자 단말기로 제공하는, 쿼리 기반 딥러닝 추론 시스템.
    
11. 사용자 단말기 및 데이터베이스와 연동하는 딥러닝 프레임워크의 쿼리 기반 딥러닝 추론 방법으로서,
    (a) 상기 딥러닝 프레임워크가 상기 사용자 단말기로부터 학습 쿼리(Call Train) 또는 추론 쿼리(Call Test)를 입력받는 단계;
    (b) 상기 딥러닝 프레임워크가 상기 학습 쿼리 또는 상기 추론 쿼리에 따라 네트워크 초기화(Init Network), 네트워크 구성(Construct Network) 및 네트워크 갱신(Update Network)을 실행하는 단계;
    (c) 상기 딥러닝 프레임워크가 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train) 또는 추론(Test)을 실행하는 단계; 및
    (d) 상기 딥러닝 프레임워크가 상기 학습 또는 상기 추론의 종료시 학습 결과 또는 추론 결과를 상기 사용자 단말기로 제공하는 단계; 를 포함하고,
    상기 (a) 단계에서 상기 딥러닝 프레임워크는, 외부 프레임워크와의 호환성을 위해 모델 컨버터를 사용하고, 기존 프레임워크의 기학습된 모델을 가져오거나, 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 상기 모델 컨버터를 통하여 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포멧으로 변환하는, 쿼리 기반 딥러닝 추론 방법.
    
12. 제 11 항에 있어서,
    상기 (c) 단계에서 상기 딥러닝 프레임워크는, 상기 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장 (Store Result & Model)하는, 쿼리 기반 딥러닝 추론 방법.
    
13. 제 11 항에 있어서,
    상기 (c) 단계에서 상기 딥러닝 프레임워크는, 상기 추론(Test)을 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 추론 결과를 저장(Store Result)하는, 쿼리 기반 딥러닝 추론 방법.
    
14. 삭제
15. 제 11 항에 있어서,
    상기 모델 컨버터는, 상기 구조화된 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 네트워크 모델을 상기 구조화된 모델 포맷으로 변환하는, 쿼리 기반 딥러닝 추론 방법.

Images