KR102568011B1 - 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 쿼리 기반 딥러닝 추론 시스템을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는 쿼리 기반 딥러닝 추론 시스템을 이용하여, 이미지나 동영상의 사람의 안면이나 자동차 번호판 등의 보호 대상을 검출하거나 모자이크 처리하여 사생활을 보호하는 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법에 관한 것이다.

Description

쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법{FACE DETECTION AND PRIVACY PROTECTION SYSTEM USING DEEP LEARNING INFERENCE BASED ON QUERY AND METHOD THEREOF}

본 발명은 쿼리 기반 딥러닝 추론 시스템을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는 쿼리 기반 딥러닝 추론 시스템을 이용하여, 이미지나 동영상의 사람의 안면이나 자동차 번호판 등의 보호 대상을 검출하거나 모자이크 처리하여 사생활을 보호하는 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법에 관한 것이다.

블랙 박스, CCTV, 네트워크 카메라 등은 무작위로 대상을 촬영한다. 촬영된 산출물은 법원이나 보도 등 다양하게 사용될 수 있는데, 일반 공중에 공개하기 전에 사람의 얼굴이나 자동차 번호판 등 사생활 보호 대상이 알려져서는 않된다.

사생활을 보호하기 위한 보호 대상 검출은 기계 학습이나 딥러닝 기술이 이용될 수 있다. 딥러닝을 이용한 학습엔진은 기존의 다른 AI 기술에 기반을 둔 학습엔진보다 월등히 뛰어난 지능 성능을 보이고 있다.

그러나, 딥러닝 기술 기반의 지능을 제공하는 학습엔진을 생성하기 위해서는 딥 네트워크 설계, 학습 함수 설정, 파라미터 튜닝 등 여러 가지 어려운 난관이 있다. 이러한 문제들은 딥러닝 전문가가 아니면 쉽게 할 수 없어, 누구나 쉽게 딥러닝 기반 학습엔진을 갖기 어렵다.

또한 학습엔진을 생성할 때마다, 딥러닝의 공통적인 요소를 중복 사용하게 되어, 동일한 과정을 반복 수행해야 하는 문제가 있다.

KR 10-2058124 B1

전술한 문제점을 해결하기 위한 본 발명의 목적은, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는 쿼리 기반 딥러닝 추론 시스템을 이용하여, 이미지나 동영상으로부터 사생활 보호 대상을 검출하여 모자이크 등의 처리를 하여 사생활을 보호하는 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법을 제공하는데 있다.

본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버는 사용자로부터 쿼리를 입력 받고, 사용자에게 상기 쿼리에 따른 결과를 출력하는 입출력부(370); 데이터를 저장하는 저장부(200); 상기 저장된 데이터 및 상기 쿼리에 따라 딥러닝하는 프레임워크부(300); 및 제어부(100)를 포함하는 쿼리 기반 딥러닝 추론 데이터에비스 서버로서, 상기 쿼리는 사생활 보호 기능을 구비하고, 상기 제어부(100)는 카메라(50)에서 촬영한 식별 동영상(510)을 복수의 이미지로 디코딩하여 관계형 데이터 구조인 식별 이미지 데이터 셋 테이블(520)으로 데이터베이스화하는 데이터셋 관리 모듈(120); 학습 모델의 아키텍처를 관계형 데이터 구조인 네트워크 테이블로 저장 및 관리하고, 상기 딥러닝용 데이터셋 테이블과 네트워크 테이블의 관계형 데이터 구조에 기초하여 유사도를 판단하는 학습 모델 관리 모듈(130)를 구비할 수 있다.

또한, 특정 형식의 학습 모델을 다른 형식의 학습 모델로 변환하는 변환부를 더 포함하고, 상기 저장부(200)에 저장된 학습 모델 테이블은 외부 딥러닝 프레임워크에서 생성된 학습 모델이 상기 변환부에 의해 임포트된 것일 수 있다.

또한, 상기 제어부(100)는 상기 쿼리가 사생활 보호 기능(딥러닝 기능)의 학습 쿼리인 경우, 상기 저장부(200)에 저장된 복수의 학습 모델 테이블 중 상기 사생할 보호 기능에 적합한 학습 모델 테이블을 선택하고, 상기 변환부(360)는 상기 학습 모델 테이블에 속한 네트워크 테이블을 상기 DB 서버(10)에 플러그인으로 설치된 프레임워크부(300)에 적합한 포맷으로 변환하고, 상기 프레임워크부(300)는 상기 변환부(360)에서 변환된 적합한 포맷을 이용하여 모델 아키텍처를 구성하고, 상기 모델 아키텍처에 학습 파라미터를 임의로 할당하여 기저장된 학습용 이미지 데이터와 상기 모델 아키텍처를 이용하여 훈련하고, 상기 저장부(200)는 상기 훈련된 모델 아키텍처 및 훈련된 학습 파라미터를 네트워크 테이블 및 학습 파라미터 테이블로 변환하여 사생활 보호 기능의 학습 모델 테이블로 저장할 수 있다.

또한, 상기 제어부(100)는 상기 쿼리가 사생활 보호 기능의 추론 쿼리인 경우, 상기 사생활 보호 기능의 학습 모델 테이블을 선택하고, 상기 프레임워크부(300)는 상기 변환부(360)를 통해 상기 사생활 보호 기능의 학습 모델 테이블의 네트워크 테이블을 상기 프레임워크부(300)에 적합한 사생활 보호용 모델 아키텍처로 구성하고, 상기 사생활 보호 기능의 학습 모델 테이블의 학습 파라미터를 상기 사생활 보호용 모델 아키텍처에 할당하고, 상기 프레임워크부(300)는 상기 식별 이미지 데이터 셋 테이블(520)의 복수의 이미지를 사생활 보호 대상이 식별되지 않도록 복수의 비식별 이미지로 변환하고, 상기 데이터셋 관리 모듈(120)은 상기 복수의 비식별 이미지를 동영상 스트리밍으로 서비스할 수 있다.

본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법은 단말기(20) 및 데이터베이스 서버(이하, 'DB 서버(10)')와 연동하는 딥러닝 프레임워크의 쿼리 기반 딥러닝 추론 시스템을 이용한 안면 검출 및 사생활 보호 방법으로서, 상기 단말기(20)로부터 사생활 보호 기능(딥러닝 기능)의 학습 쿼리를 입력받는 단계; 상기 사생할 보호 기능에 적합한 학습 모델 테이블을 선택하는 단계; 상기 학습 모델 테이블에 속한 네트워크 테이블을 상기 DB 서버(10)에 플러그인으로 설치된 프레임워크부(300)에 적합한 포맷으로 변환하여 모델 아키텍처를 구성하는 단계; 상기 모델 아키텍처에 학습 파라미터를 임의로 할당하는 단계; 상기 프레임워크부(300)에서 기저장된 학습용 이미지 데이터와 상기 모델 아키텍처를 이용하여 훈련하는 단계; 및 상기 훈련된 모델 아키텍처 및 훈련된 학습 파라미터를 네트워크 테이블 및 학습 파라미터 테이블로 변환하여 사생활 보호 기능의 학습 모델 테이블로 상기 DB 서버(10)에 저장하는 단계를 포함할 수 있다.

또한, 상기 단말기(20)로부터 사생활 보호 기능의 추론 쿼리를 입력 받는 단계; 상기 사생활 보호 기능의 학습 모델 테이블을 선택하는 단계; 사생활 보호 대상이 기록된 식별 동영상(510)을 입력 받는 단계; 상기 식별 동영상(510)을 복수의 이미지로 디코딩하여 식별 이미지 데이터 셋 테이블(520)으로 변환하는 단계; 상기 사생활 보호 기능의 학습 모델 테이블의 네트워크 테이블을 상기 프레임워크부(300)에 적합한 사생활 보호용 모델 아키텍처로 구성하는 단계; 상기 사생활 보호 기능의 학습 모델 테이블의 학습 파라미터를 상기 사생활 보호용 모델 아키텍처에 할당하는 단계; 및 상기 프레임워크부(300)에서 상기 식별 이미지 데이터 셋 테이블(520)의 이미지를 사생활 보호 대상이 식별되지 않도록 비식별 이미지로 변환하는 추론 단계;를 더 포함할 수 있다.

또한, 상기 학습 모델 테이블은 외부 딥러닝 프레임워크에서 생성된 학습 모델이 임포트된 것일 수 있다.

또한, 상기 비식별 이미지를 동영상 스트리밍으로 서비스하는 단계를 더 포함할 수 있다.

본 발명에 의하면, 쿼리 기반의 기계학습 기술을 이용함으로써 딥러닝 프레임워크가 데이터베이스에 플러그인 형태로 연결되어 사용자의 요청쿼리에 의해서 데이터베이스에 저장된 데이터를 사용하여 기계학습, 추론 등을 수행하여, 안면이나 자동차 번호판 등의 사생활 보호 대상을 검출할 수 있다.

따라서, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 필요한 정보를 용이하게 제공할 수 있다.

또한, 현재 실행 또는 대기 중인 학습계획의 학습 파라미터를 확인할 수 있으며, 현재 실행 중인 학습 계획의 중간 및 결과를 확인할 수 있다.

도 1은 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 데이터베이스 서버의 제어 구성도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 관리 구성도이다.
도 4는 본 발명의 일 실시예에 따른 데이터베이스 구조도이다.
도 5는 본 발명의 일 실시예에 따른 변환부의 제어 구성도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 변환부의 변환 동작도이다.
도 8은 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술의 수행 흐름을 나타낸 흐름도이다.
도 9는 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법을 설명하기 위한 동작 흐름도이다.
도 10은 스트리밍 시스템 및 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 11은 데이터의 변환을 도시하는 변환도이다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법의 학습 및 추론에 대한 순서도이다.

이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한 네트워크 상의 제1 구성요소와 제2 구성요소가 연결되어 있거나 접속되어 있다는 것은, 유선 또는 무선으로 제1 구성요소와 제2 구성요소 사이에 데이터를 주고 받을 수 있음을 의미한다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 도면 전체를 통하여 동일하거나 유사한 구성요소에 대해서는 동일한 도면 부호를 부여하였고, 동일한 도면 부호를 가지는 구성요소에 대한 자세한 설명은 전술한 구성요소에 대한 설명으로 대체되어 생략될 수 있다.

또한, 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적이지 않다. 본 명세서에 기술된 특정 형상, 구조, 기능, 및 특성의 일 실시예는 다른 실시예로 구현될 수 있다. 예를 들어, 제1 및 제2 실시예에서 언급되는 구성요소는 제1 및 제2 실시예의 모든 기능을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다. 도 2는 본 발명의 일 실시예에 따른 데이터베이스 서버의 제어 구성도이다. 도 3은 본 발명의 일 실시예에 따른 데이터 관리 구성도이다. 도 4는 본 발명의 일 실시예에 따른 데이터베이스 구조도이다. 도 5는 본 발명의 일 실시예에 따른 변환부의 제어 구성도이다. 도 6 및 도 7은 본 발명의 일 실시예에 따른 변환부의 변환 동작도이다. 도 8은 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술의 수행 흐름을 나타낸 흐름도이다. 도 9는 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법을 설명하기 위한 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(1)은 쿼리 기반의 기계학습 기술을 적용할 수 있다. 이를 위해, 쿼리 기반 딥러닝 추론 시스템(1)은 데이터베이스 서버(10) 및 단말기(20)를 포함할 수 있다.

여기서, 쿼리 기반의 기계학습 기술은 사용자가 단말기(20)를 통해 데이터베이스 서버(10)로 딥러닝 등의 요청을 쿼리로 전송하면, 데이터베이스 서버(10)가 데이터베이스 서버(10)에 저장된 데이터를 이용하여 데이터베이스 서버(10)에 연결된 딥러닝 프레임워크가 기계학습, 딥러닝, 추론 등이 수행되는 기술을 의미한다.

단말기(20)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 및 플렉시블 단말기(Flexible Terminal) 중 어느 하나이거나 조합된 것일 수 있다.

단말기(20)는 데이터베이스 서버(10)(이하, DB 서버)에 접속할 수 있다. 사용자나 관리자는 단말기(20)를 통해 DB 서버(10)에 쿼리를 보내거나 쿼리에 따른 결과를 받아볼 수 있다.

DB 서버(10)는 데이터베이스를 운용하거나 데이터베이스와 연결되어 제어하는 서버일 수 있다. DB 서버(10)는 통합 관리되는 데이터의 집합(데이터베이스) 및, 이를 관리하는 미들웨어가 포함된 개념을 의미할 수 있다. 데이터베이스 서버(10)는 데이터베이스 관리 시스템(DBMS)를 의미할 수 있다. 데이터베이스를 DB 서버(10) 또는 데이터베이스 관리 시스템(DBMS)의 의미로 사용될 수도 있다.

DB 서버(10)는 쿼리에 따라 작업하거나 쿼리에 따른 결과를 생성하는 모든 장치를 의미할 수 있다. 쿼리는 SQL(Structured Query Language) 문법을 따를 수 있다. DB 서버(10)의 데이터베이스는 관계형 데이터베이스인 것이 바람직하다.

단말기(20)는 딥러닝 추론 쿼리를 입력하고, DB 서버(10)로부터 쿼리에 대응된 추론 결과를 수신할 수 있다.

단말기(20)는 쿼리를 통해서 DB 서버(10)에 여러 기능들을 요청하고, DB 서버(10)로부터 결과를 응답 받을 수 있다. 단말기(20)는 쿼리를 통해서 DB 서버(10)에 저장된 데이터를 확인, 또는 수정하거나, 새로운 데이터를 추가할 수 있다. 단말기(20)는 쿼리를 통해서 DB 서버(10)에 저장된 학습 모델을 확인, 또는 수정하고 새로운 학습을 위한 학습 모델을 생성할 수 있다. 단말기(20)는 쿼리를 통해서 데이터와 학습 모델을 선택하고 파라미터를 설정하여 기계학습을 요청하고, 학습 중간 결과 및 최종 결과를 확인할 수 있다. 단말기(20)는 쿼리를 통해서 데이터와 기학습된 학습 모델을 선택하여 기계추론을 요청하고, 추론 결과를 확인할 수 있다.

도 2를 참조하면, DB 서버(10)는 제어부(100), 저장부(200), 프레임워크부(300), 변환부(360), 및 입출력부(370)를 포함할 수 있다.

입출력부(370)는 자체적인 인터페이스 장치일 수 있다. 입출력부(370)는 입력 장치와 출력 장치를 각각 별개로 구비할 수 있다.

출력 장치는 비디오 신호 및/또는 오디오 신호를 출력할 수 있다. 출력 장치는 모니터 등의 디스플레이 장치, 및/또는 스피커 등일 수 있다.

입력 장치는 유저가 DB 서버(10)의 동작 제어를 위해 입력하는 입력 데이터를 발생시킬 수 있다. 입력 장치는 키보드, 키 패드, 터치 패드, 마우스 등의 사용자 조작 장치를 구비할 수 있다.

입력 및 출력 장치는 터치 스크린과 같이 하나로 구현될 수 있다.

입력 장치는 오디오 신호 및/또는 비디오 신호를 DB 서버(10)에 입력할 수 있다. 입력 장치는 카메라와 마이크 등을 구비할 수 있다.

입력 장치는 센서 장치를 포함할 수 있다. 센서 장치는 온도 센서, 습도 센서, 밝기 센서, 먼지 센서, 압력 센서, 진동 센서, 전압 센서, 전류 센서, 평행 센서, 자기 센서, 조도 센서, 근접 센서, 거리 센서, 기울기 센서, 가스 센서, 열감지 센서, 불꽃 감지 센서, 금속 감지 센서, 홀 센서 등을 구비할 수 있다. 센서 장치는 온도, 습도, 밝기, 먼지(탄소), 압력, 진동, 전압, 전류, 평행, 자기, 조도, 근접, 거리, 기울기, 가스, 열감지, 불꽃 감지, 금속 감지, 회전량 데이터를 생성할 수 있다.

입출력부(370)는 DB 서버(10)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행할 수 있다. 외부기기의 예로는, 유/무선 데이터 포트, 메모리 카드(Memory card) 등과 같은 카드의 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자 등이 있을 수 있다. 입출력부(370)는 이러한 외부 기기로부터 데이터를 전송받거나 DB 서버(10) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

입출력부(370)는 통신 기능을 수행할 수 있다. 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), UWB(Ultra Wideband), 지그비(ZigBee) 등 중 적어도 하나의 근거리 통신 프로토콜이 이용될 수 있다. 통신은 인터넷 접속을 포함할 수 있다. 입출력부(370)는 통신을 통해 외부 장치 예를 들어, 단말기(20)와 데이터를 주고 받을 수 있다.

본 명세서에서 단말기(20)를 별도의 장치로 도시하였지만, 입출력부(370)는 단말기(20)의 기능을 수행할 수 있다. 즉, 단말기(20)는 입출력부(370)로 대체(생략)되어, 본 발명이 실시될 수 있다.

입출력부(370)는 사용자의 통신수단(단말기(2))과의 통신을 담당하며, 사용자의 다양한 형태의 접속수단인 통신장비 및 전산장비와의 통신프로토콜 및 네트워크 상의 데이터 포멧을 제어할 수 있다.

데이터 포멧의 예로 ONNX(Open Neural Network exchange format), NNEF(Neural Network Exchange Format) 또는 CSV(Comma-separated values) 등이 있을 수 있다.

입출력부(370)는 사용자로부터 제어 명령이나 쿼리를 입력 받고, 사용자에게 결과를 제공하는 채널일 수 있다.

저장부(200)는 DB 서버(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. 저장부(200)는 제어부(110)의 처리 및 제어를 위한 프로그램이 저장될 수 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

저장부(200)는 데이터를 데이터베이스로 저장하거나, 데이터베이스를 의미할 수 있다.

저장부(200)는 작업수행 및 기 작업이 수행되었던 내역 및 사용자 등에 대한 정보를 저장할 수 있다. 저장부(200)는 외부에 별도로 구비되는 저장 장치 또는 외부 전산망에 구비되는 저장장치 등과의 접속을 통하여 정보 및/또는 데이터를 저장할 수 있다. 빅데이터의 특징을 갖는 딥러닝 결과를 분산저장하거나, 외부에 별도로 저장하여, 요청시 호출하여 적용할 수 있다.

제어부(100)는 DB 서버(10)의 각 부의 동작을 제어하여 DB 서버(10)의 전반적인 제어 기능을 실행할 수 있다.

제어부(100)는 데이터베이스 내의 데이터를 접근하거나, 데이터를 관리하거나, 데이터를 테이블로 생성할 수 있다. 데이터 관리는 데이터를 조회, 수정, 및/또는 업로드 등을 의미할 수 있다.

제어부(100)는 사용자의 쿼리를 해석하고 실행하거나, 쿼리에 따른 작업이 수행되거나 결과를 제공하기 위한 모든 기능을 제어할 수 있다.

도 3 및 도 4를 참조하면, 제어부(100)는 데이터셋 관리 모듈(120), 학습 모델 관리 모듈(130), 및 결과 관리 모듈(160)을 구비할 수 있으며, 저장부(200)는 데이터셋(220), 학습 모델(230), 및 학습 결과(260)를 저장할 수 있다.

데이터셋 관리 모듈(120)에서 관리되는 데이터셋(220)은 학습 및 추론에 사용될 동일한 형식을 가진 정보 또는 데이터의 집합을 의미한다. 정보 또는 데이터는 숫자, 문자, 이미지, 영상, 및 음성 등을 포함하며, 기계학습에 사용되는 모든 종류의 정보 또는 데이터일 수 있다.

데이터셋(220)으로 군집시킬 수 있는 데이터의 동일한 형식이라 함은 확장자를 기준으로 정의할 수 있다. 예로, 이미지 정보의 경우, 그 확장자가 이미지를 나타내는 확장자일 경우 모두 동일한 카테고리의 데이터셋으로 군집하게 되는 것이다.

여기서, 예를 위해 이미지 정보를 예를 들어 설명하고 있으나, 사용되는 데이터는 이미지 뿐만 아니라 앞서 서술한 숫자, 문자, 이미지, 영상, 음성 등 기계 학습에 사용될 수 있는 모든 종류의 데이터가 될 수 있다.

데이터셋 관리 모듈(120)은 외부로부터 입력 받은 정보 또는 데이터(이하, '데이터')를 그 형식(예를 들어, 확장자)으로 동일한 데이터셋으로 군집시키거나, 데이터의 내용으로 분류할 수 있다. 데이터의 내용으로 분류되는 경우, 데이터셋 관리 모듈(120)은 동일한 데이터 형식으로 구분하는 데이터 분류 학습 모델을 이용할 수 있다. 데이터 분류 학습 모델은 DB 서버(10)에 저장되어 필요시 호출되어 이용될 수 있다.

데이터셋 관리 모듈(120)은 데이터셋(220)이 학습 모델(230)에 잘 적용되도록 데이터를 전처리할 수 있다. 데이터 전처리는 데이터를 학습 모델의 텐서(벡터)에 맞도록 변환할 수 있다. 데이터 전처리의 예로 단어를 딥러닝에 이용되는 사전의 인덱스 숫자로 변환하는 예가 있을 수 있다.

데이터셋 관리 모듈(120)은 제1 형식의 데이터로부터 제2 형식의 데이터로 변환할 수 있다. 데이터셋 관리 모듈(120)은 제2 형식의 데이터를 1 군의 데이터셋으로 관리할 수 있다. 예를 들어, 데이터셋 관리 모듈(120)은 영상 데이터를 프레임 별로 이미지를 추출하여 일군의 데이터셋으로 변환(decoding)할 수 있다. 데이터셋 관리 모듈(120)은 일련의 이미지를 영상으로 변환(encoding)할 수 있다. 일련의 이미지는 작업된 이미지일 수 있다. 즉, 데이터셋 관리 모듈(120)은 동영상 데이터를 일군의 이미지 데이터셋으로 변환하고, 작업 처리(모자이크)된 일군의 이미지 데이터셋을 영상으로 변환할 수 있다. 데이터셋 관리 모듈(120)은 동영상 스트리밍 서비스를 할 수 있다. -데이터셋 관리 모듈(120)은 일련의 이미지로부터 인코딩하여 동영상 스트리밍 서비스하거나, 저장된 동영상 파일로부터 스트리밍 서비스할 수 있다.

데이터셋 관리 모듈(120)은 새로운 데이터셋을 생성할 때 새로운 테이블(데이터셋 테이블)을 생성하고, 데이터셋 테이블에서 데이터를 조회 또는 수정하거나 새로운 데이터를 추가할 수 있다.

데이터셋 관리 모듈(120)은 데이터베이스의 테이블에 접근하여 데이터를 조회하거나 사용자가 작성한 쿼리를 통해서 데이터베이스의 데이터를 조회한 결과를 보여주며, 사용자에게 부여된 권한에 따라 데이터를 수정할 수 있는 수준을 제한할 수 있다. 데이터셋 관리 모듈(120)은 사용자로부터 수치데이터를 입력받거나, 하나 이상의 파일을 읽어서 데이터 업로드를 진행할 수 있다. 데이터셋 관리 모듈(120)은 학습 데이터의 레이블을 작성할 수 있는 태깅기능을 제공할 수 있다.

본 명세서에서 데이터셋 테이블과 데이터셋은 서로 동일한 의미로 사용될 수 있다. 특히 관계형 데이터베이스에서 데이터셋은 데이터셋 테이블로 저장된 관계형 데이터 형식의 데이터 집합을 의미한다. 관계형 데이터 형식은 테이블 형식을 이용하여 데이터를 정의하고 설명하는 모델을 의미한다. 이는 후술하는 학습 모델과 학습 모델 테이블, 학습 결과와 학습 결과 테이블 등에서도 동일하게 적용될 수 있다.

학습 모델(Learning Model; LM) 관리 모듈(130)은 기계학습(딥러닝 등)에 사용되는 학습 모델(230)을 관리할 수 있다.

일반적으로 학습 모델(230)(학습 네트워크 모델)은 아키텍처(architecture) 및 파라미터를 포함할 수 있다.

아키텍처(모델 아키텍처)는 기계학습 모델의 구조를 의미한다. 아키텍처는 학습 모델의 구조에 해당하는 층(layer)의 수, 유닛의 수, 레이어의 종류, 유닛이 연결되는 방법 등을 포함할 수 있다.

아키텍처는 네트워크 모델 또는 네트워크로 지칭될 수 있다.

파라미터는 하이퍼 파라미터와 학습 파라미터를 구비할 수 있다.

하이퍼 파라미터는 입출력과 모델 내부를 정의하고, 학습률, 최적화 방법(학습 방법; 옵티마이저(optimzer)), 레이어의 종류, 입출력 크기, 계산에 필요한 파라미터 등을 구비할 수 있다. 하이퍼 파라미터는 아키텍처가 구현되도록 할 수 있다. 하이퍼 파라미터는 아키텍처의 일 구성요소로 작동될 수 있다. 최적화 방법은 별도의 옵티마이저 모듈로 구현될 수도 있다.

학습 파라미터는 웨이트(weight) 및/또는 바이어스(bias)를 구비할 수 있다. 웨이트는 입력된 데이터와 상호 작용에 사용되는 값으로, 모델 아키텍처에 상응하는 모델 웨이트가 존재할 수 있다. 학습 파라미터는 옵티마이저에 의해 값이 변화될 수 있다.

옵티마이저는 학습 모델이 원하는 기능을 가지도록 학습 파라미터를 변화시킬 수 있다. 학습(딥러닝) 또는 훈련은 이러한 학습 파라미터의 변화를 의미할 수 있다.

학습 모델의 기능의 예로, 사용자에 의해 입력된 텍스트를 인식하거나, 이미지/오디오/동영상 등에 포함된 음성이나 텍스트를 인식하거나, 인식된 음성이나 텍스트로붙 사용자의 의향을 분석하는 기능 등이 있을 수 있다.

학습 모델 관리 모듈(130)은 지원되는 레이어를 추가하고 레이어 파라미터(레이어의 종류, 입출력 크기, 계산에 필요한 파라미터)를 조정하여 새로운 네트워크 모델을 생성할 수 있다. 학습 모델 관리 모듈(130)은 기존에 작성된 네트워크 모델 리스트를 조회할 수 있으며, 기존에 작성된 네트워크 모델에 새로운 레이어를 추가하여 새로운 네트워크 모델을 생성할 수 있다. 이는 하이퍼 파라미터의 조정을 통해 구현될 수 있다. 이러한 일련이 작업들은 사용자의 쿼리에 의해 착수될 수 있다.

학습 모델 관리 모듈(130)은 네트워크 모델을 시각화하여 보여주는 기능을 제공할 수 있다. 이를 통해, 사용자가 히든 레이어의 구조를 쉽게 살펴볼 수 있다.

학습 모델(230)은 이외에 학습에 사용할 피드백 신호를 정의하는 손실 함수 및 학습 진행 방식을 결정하는 별도의 옵티마이저 모듈을 더 구비할 수 있다. 손실 함수 및 옵티마이저는 프레임워크부(300)에 구비될 수도 있다.

학습 모델(230)은 데이터베이스에서 관계형 데이터 형식인 학습 모델 테이블 포맷으로 저장될 수 있다.

도 4를 참조하면, 학습 모델 테이블은 네트워크 테이블(qml_network_t)을 구비할 수 있다. 아키텍처는 데이터베이스에서 관계형 데이터 형식인 네트워크 테이블(qml_network_t) 포맷으로 변환되어 저장될 수 있다. 네트워크 테이블(qml_network_t)은 학습 모델(230)의 아키텍처로 변환될 수 있다. 이는 후술하는 변환부(360)에 의해 변환될 수 있다.

네트워크 테이블은 복수의 서브-네트워크 테이블(qml_s_network_t)을 구비할 수 있다. 예를 들어, Multi GPU(N 개)로 네트워크 모델을 학습하는 경우에 N 개의 서브-네트워크 테이블이 구비될 수 있다. 네트워크 모델을 추론하는 경우에 1개의 서브-네트워크 테이블이 구비될 수 있다.

네트워크 테이블 또는 서브-네트워크 테이블은 네트워크를 구성하는 레이어에 관한 복수의 레이어 테이블(qml_layer_t)을 구비할 수 있다. 학습 모델(230)의 아키텍처를 구성하는 레이어는 레이어 테이블(qml_layer_t)로 변환되어 저장될 수 있다. 레이어 테이블(qml_layer_t)은 학습 모델(230)의 레이어로 변환될 수 있다. 이는 후술하는 변환부(360)에 의해 변환될 수 있다.

레이어 테이블(qml_layer_t)은 복수의 텐서(tensor) 테이블(qml_tensor_t)을 구비할 수 있다. 텐서 테이블은 NCHW 포맷으로 구성된 4차원 텐서일 수 있다. 텐서 테이블은 dtype, qml_shape_t, data, name 등이 구비될 수 있다. 텐서 테이블 및 학습 모델(230)의 텐서는 서로 변환될 수 있다. 이는 후술하는 변환부(360)에 의해 변환될 수 있다.

학습 모델(230)의 파라미터는 파라미터 테이블로 저장될 수 있다. 학습 모델(230)의 파라미터와 파라미터 테이블은 서로 변환될 수 있다. 이는 후술하는 변환부(360)에 의해 변환될 수 있다.

본 발명에서 미리 설계된 DB 스키마에 따라 모델 아키텍처와 모델 웨이트 등이 DB 테이블에 저장될 수 있다. 기설계된 DB 스키마는 서로 유사한 데이터셋 테이블과 학습 모델 테이블을 쉽게 분류할 수 있다. 이는 DB 서버(10)가 새로운 데이터셋을 입력 받으면, 저장되어 있는 관계형 데이터 형식의 학습 모델 중 유사한 학습 모델을 호출하여 새로운 데이터셋에 적용하게 할 수 있다.

예를 들어, '속성(attribute), 도메인(domain), 차수(degree), 튜플(tuple), 카리널리티(cardinality), 릴레이션(realtion), 키(key), 후보키(candidate key), 기본키(primary)' 등의 테이블의 구성요소의 외형인 차수, 내용인 속성 및 도메인 등의 유사도에 따라 입력된 데이터셋과 기저장된 학습 모델의 유사도를 정할 수 있다. 이러한 유사도 판단은 학습 모델 관리 모듈(130)이 할 수 있다.

이는 최초의 관계형 데이터 형식의 학습 모델이 생성되고 사용되어 데이터베이스에 저장된 후, 유사한 형식의 데이터셋이 입력되어 관계형 데이터 형식의 학습 모델을 생성해야 할 경우, 데이터베이스에 저장되어 있는 기존의 관계형 데이터 형식의 모델 중 유사도가 높은 모델을 검색하여 이를 호출한 후 적용할 수 있다. 이로 인해, 적합한 학습 모델의 생성 시간을 단축하고, 컴퓨팅 자원을 효율적으로 사용할 수 있다.

학습 모델 테이블은 구성요소가 관계형 데이터 형식으로 연결되어, 학습 모델 테이블은 사용자 또는 관리자가 작업 수행시 구성요소가 누락되지 않도록 가이드 역할을 할 수 있다.

결과 관리 모듈(160)은 기계학습이 진행되는 동안 발생되는 각 레이어의 아웃풋, 중간 출력값, 파라미터 값, 계산이 진행되는 모델의 평가지표 값(딥러닝 함수의 학습 손실값), 및 기계추론 결과값 등의 학습 결과(260)를 데이터베이스에 저장하거나 호출하여 사용자가 확인할 수 있도록 관리할 수 있다.

저장부(200)는 데이터셋(220) 테이블, 학습 모델(230) 테이블, 및 학습 결과(260) 테이블 이외에 프로젝트 테이블(Project Table), 작업 테이블(Job Table), 및 공통 테이블(Common Table)을 더 구비할 수 있다.

작업 테이블은 사용자 정보, 프로젝트의 상태, 로그 등을 포함하고, 공통 테이블은 레이어 타입, 오류 코드 등 룩업 테이블을 포함할 수 있다.

프로젝트 테이블은 학습 모델 테이블로부터 복사된 실제 학습 모델이나 추론을 진행할 프로젝트 정보가 저장될 수 있다. 프로젝트가 생성된 후 학습 모델 테이블과 별개의 구성을 가지게 되므로, 프로젝트에 사용된 기반 네트워크가 수정되더라도 기구축된 학습 모델에 영향이 없다.

저장부(200)는 개수가 많고 가변적인 데이터(입출력 데이터 및 가중치 정보)는 BLOB(Binary Large Object) 또는 text 타입으로, 개수가 적고 가변적인 데이터(각 레이어 파라미터 등)는 레코드를 분할하여 저장할 수 있다.

제어부(100)는 기계학습, 기계추론에 사용된 모든 입출력 데이터가 저장되도록 하고, 기계학습, 기계추론에 사용된 모델이 저장되도록 하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공하여, 사용자 요청에 의한 기계학습을 수행할 수 있다.

프로시저는 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 네트워크 초기화(Init Network), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함할 수 있다.

인서트 네트워크는 네트워크(아키텍처) 이름, 네트워크 타입, 데이터셋 이름, 옵티마이저 타입, 옵티마이저 파라미터, 학습률, 배치 크기, 학습 횟수, 출력 레이어 인덱스를 포함하는 네트워크 테이블을 생성할 수 있다.

인서트 레이어는 네트워크 아이디, 레이어 이름, 레이어 타입, 레이어 인덱스, 레이어 파라미터, 입력 레이어 인덱스를 포함하는 레이어 테이블을 등록할 수 있다.

메이크 프로젝트는 프로젝트 이름, 데이터셋 이름, 네트워크 이름, 학습 또는 추론 플래그, GPU 개수를 포함하는 프로젝트를 생성할 수 있다.

입력 데이터 로더는 사용자 입력의 선택(레이어 인덱스, 쿼리 타입(학습 테이블, 학습 데이터, 검증 테이블, 검증 데이터)에 따라 데이터를 입력할 수 있다.

네트워크 초기화는 네트워크 모델을 구성할 수 있다.

트레인은 프로젝트 아이디, 학습 세대 수, 배치 사이즈, 이어서 학습 여부, 저장 간격, 검증 간격, GPU 동기화 간격을 포함하는 학습을 시작할 수 있다.

모델 저장은 프로젝트 테이블의 네트워크 정보를 네트워크 테이블로 복사(프로젝트 이름, 네트워크 이름)할 수 있다.

테스트는 프로젝트 아이디, 모든 레이어의 결과 저장 여부 플래그를 포함하는 추론을 시작할 수 있다.

프레임워크부(300)는 다양한 기계학습 프레임워크 또는 딥러닝 프레임워크을 이용하여 기계학습을 수행할 수 있다.

프레임워크는 응용 프로그램을 개발하기 위한 여러 라이브러리나 모듈 등을 효율적으로 사용할 수 있도록 하나로 묶어 놓은 일종의 패키지일 수 있다. 개발자 또는 관리자는 이미 검증된 수많은 라이브러리와 사전 학습이 완료된 다양한 딥러닝 알고리즘을 프레임워크를 통해 빠르고 손쉽게 사용할 수 있다.

딥러닝 프레임워크는 TensoFlow, Torch/PyTorch, Deeplearing4j, CNTK(MICROSOFT COGNITIVE TOOLKIT), Keras, ONNX(Open Neural Network Exchange), MXNet, Caffe, QML(Quantum Machine Learning) 등이 있을 수 있다.

프레임워크부(300)는 DB 서버(10)에 플러그 인으로 설치된 딥러닝 프레임워크일 수 있다. 프레임워크부(300)는 DB 서버(10)의 제어부(100)의 호출로 실행될 수 있다.

프레임워크부(300)는 호출될 때 제어부(100)로부터 각종 데이터를 인자로 받아 수행결과를 반환할 수 있다. 프레임워크부(300)는 관계형 데이터 포맷으로 정의된 네트워크 모델을 해석하여 프레임워크 내부에 네트워크를 구성할 수 있다. 이러한 해석은 후술하는 변환부(360)에서 실행될 수도 있다.

프레임워크부(300)는 제어부(100)로부터 학습 파라미터와 학습 데이터를 인자로 받아 프레임워크 내부에 구성된 네트워크의 학습을 수행하고 학습결과를 반환할 수 있다. 프레임워크부(300)는 제어부(100)로부터 입력 데이터를 인자로 받아 프레임워크 내부에 구성된 네트워크를 이용하여 기계추론을 수행하고 결과를 반환할 수 있다.

프레임워크부(300)는, 쿼리를 입력받으면, DB 서버(10)에 저장된 학습 모델에 대한 확인, 수정, 및 새로운 학습을 위한 학습 모델을 생성하며, 입력된 쿼리에 따라 정보 또는 데이터와 학습 모델을 선택하고 학습 파라미터를 설정하여 기계학습을 실행하고, 학습 중간 결과 및 최종 결과를 제공하며, 입력된 쿼리를 통하여 데이터와 기 학습된 학습 네트워크 모델을 선택하여 기계추론을 실행하고, 그 추론 결과를 제공할 수 있다.

본 실시예에서 프레임워크부(300)는 내부 프레임워크로 QML 모듈(310)을 구비할 수 있다. 내부 프레임워크는 QML 모듈(310) 이외에 다른 프레임워크를 구비하거나 더 구비할 수 있다. 이는 사용자에게 사용하고자 하는 다양한 선택지를 제공할 수 있다.

QML 모듈(310)은 QML 플러그인 기능을 구현할 수 있다. QML 모듈(310)은 딥러닝을 수행할 수 있는 프레임워크인 QML을 탑재할 수 있다. QML 모듈(310)은 데이터베이스와 UDF(User Defined Function)를 통해 연결되며 호출에 의해 실행될 수 있다.

프레임워크에 정의된 함수들은 각각 UDF를 통해 데이터베이스에 등록되고, 등록된 UDF 호출을 통해서 프레임워크가 실행될 수 있다.

UDF에서 사용할 수 있는 인자 변수의 타입은 integer, real number, string으로 정해져 있다. 이러한 변수들은 QML에서 각각 사용될 수 있다. 예를 들어, 정수(integer) 타입은 네트워크 모델을 구성하는 필수 파라미터 중 정수값, QML 내부에 정의된 구조체 메모리의 주소값 등에 이용될 수 있다. Real number 타입은 네트워크 모델을 구성하는 필수 파라미터 중 실수값 등에 이용될 수 있으며, string 타입은 개수가 가변적인 파라미터들과 binary데이터인 blob 데이터에 이용될 수 있다.

QML 프레임워크는 채널 우선 데이터 포멧인 NCHW(N:batch, C:channel, H:height, W:width) 포멧을 따를 수 있다. 레이어 종류는 ONNX에서 사용되는 레이어를 지원하며, 각 레이어에 정의된 파라미터들도 ONNX 포맷을 따를 수 있다.

QML 프레임워크는 네트워크 모델을 학습가능하도록 백프로퍼케이션(Back-Propagation)알고리즘을 탑재할 수 있다. QML 프레임워크는 그라디언트 계산 알고리즘과 모델파라미터(weight, bias)를 업데이트 시키기 위한 옵티마제이션 알고리즘을 탑재할 수 있다.

QML 모듈(310)은 네트워크 모델(아키텍처)을 학습하는 방식 중 네트워크 모델을 처음부터 학습시킨 후 각 레이어의 가중치에 따라 초기화 알고리즘을 통하여 결정하는 Train from scratch 기법과 기 학습된 모델의 가중치(import 기능을 통해 데이터베이스에 저장되거나, 이전 학습시도를 통해서 구한 가중치)를 읽어와서 레이어의 초기 가중치를 설정하고 학습을 진행하는 Fine tuning 기법을 지원할 수 있다.

QML 모듈(310)은 데이터베이스(DB 서버(10), 서버의 제어부(100) 또는 저장부(200)를 의미하며, 이하 동일)로부터 받은 정보를 통하여 학습 및 추론을 수행할 수 있다. 데이터베이스로부터 받은 정보는 사용자 Query 질의를 통하여 받은 데이터 조합을 통하여 획득할 수 있다.

변환부(360)는 특정 학습 모델을 다른 형식의 학습 모델로 변환할 수 있다. 구체적으로, 변환부(360)는 특정 학습 모델을 데이터베이스의 관계형 데이터 형식으로 변환하거나, 관계형 데이터 형식의 학습 모델을 특정 학습 모델이나 다른 학습 모델로 변환할 수 있다. 예를 들어, 변환부(360)는 데이터베이스에 테이블 타입으로 저장된 학습 모델 테이블을 내부 프레임워크인 QML 프레임워크로 변환하거나, 그 역으로도 가능하다. 변환부(360)는 학습 모델(230)의 아키텍처, 레이어, 및 파라미터를 관계형 데이터 형식인 네트워크 테이블, 레이어 테이블, 및 파라미터 테이블로 변환하거나, 역변환할 수 있다.

도 6을 참조하면, 변환부(360)는 QML 학습 모델 테이블을 QML 모듈(310)에 적합하게 학습 모델로 변환할 수 있다. 변환부(360)는 필요시 데이터셋 테이블을 QML 모듈(310)에서 사용하기 적합하게 변환할 수 있다. QML 모듈(310)(또는 프레임워크부(300))은 데이터셋과 변환된 QML 학습 모델을 이용하여 학습 및/또는 추론을 하여, 학습 결과를 출력할 수 있다. 변환부(360)는 QML 모듈(310)에서 출력한 학습 결과를 관계형 데이터 형식으로 변환하여 학습 결과(output) 테이블로 저장할 수 있다. 이러한 기능은 QML 모듈(310) 및/또는 데이터셋 관리 모듈(120) 중 적어도 어느 하나가 대신 수행하거나, 서로 분담하여 수행할 수 있다.

변환부(360)는 외부 프레임워크와의 호환성을 위해 사용될 수 있다. 변환부(360)는 기존 프레임워크의 기학습된 모델을 가져오거나 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX(Open Neural Network Exchange) 모델 포맷 등의 다른 프레임워크 포맷으로 변환할 수 있다.

도 7을 참조하면, 변환부(360)는 ONNX 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 데이터베이스의 네트워크 모델 포맷으로 변환(임포트; import)하거나, 반대로 데이터베이스의 네트워크 모델을 ONNX 모델을 포함하는 구조화딘 포맷이나 CSV 파일로 변환(엑스포트; export)할 수 있다.

변환부(360)는 ONNX 모델 포맷 이외에 Open Network Exchange(ONNX), Neural Network Exchange Format(NNEF) 및 하이퍼 파라미터와 학습 파라미터 파일을 구조화된 포맷으로 변환할 수 있다.

사용자는 변환된 ONNX 모델 및 구조화된 포맷을 사용자가 원하는 target 프레임 워크로 변환하여 사용할 수 있다.

변환부(360)를 통한 컨버팅 작업을 통하여 다른 형태의 딥러닝 프레임 워크에 네트워크 모델을 적용할 수 있다. 이를 통해, 데이터베이스에 저장되어 있는 관계형 데이터 형식의 모델을 호출하여 이와 유사한 형태의 데이터셋에 적용할 수 있다.

변환부(360)는 이러한 변환 작업을 통해, 작업에 소요되는 시간을 최소화 할 수 있다.

도 8은 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술의 수행 흐름을 나타낸 흐름도이다.

도 8을 참조하면, 본 발명의 실시 예에 따른 쿼리 기반의 기계학습 기술은 ONNX 포맷 또는 ONNX 포맷으로 변환된 기학습된 모델을 컨버터를 통해서 QML 포맷으로 변환하고, 단말기(20)로부터 학습 또는 추론 쿼리를 입력받으며, 데이터베이스에서 정보를 QML 모듈(310)로 전송하여, QML 모듈(310)에서 학습 및 추론을 수행할 수 있다. 그리고, 학습 또는 추론 결과를 데이터베이스에 저장하면, 단말기(20)는 데이터베이스에 저장된 결과를 확인할 수 있다. 이하, 구체적으로 설명한다.

단말기(20)는 학습 모델을 입력(Import)하거나, 데이터베이스로부터 출력(Export)받을 수 있다(①).

학습 모델을 입력 또는 출력할 때, 변환부(360)를 통하여 데이터베이스의 스키마 구조에 맞게 변환할 수 있다(②).

데이터베이스는 쿼리를 해석하여 적절한 작업을 수행할 수 있다(③).

제어부(100)는 단말기(20)로부터 입력되는 쿼리의 QML의 유형을 분석하고, 이에 따른 결과를 QML 모듈(310)로 전송할 수 있다. 보다 상세하게 설명하면, 입력된 쿼리의 언어 종류를 분석하고, 호환여부 또는 유사한 작업내역이 저장부(200)에 있는지 파악하는 등의 작업을 수행할 수 있다.

제어부(100)는 각각의 운영체제 또는 기계학습 프레임워크(S/W) 별로 최적의 성능을 구현할 수 있는 프로그램을 선별하고, QML 모듈(310)에 학습 및 추론을 요청할 수도 있다. 예를 들어, 제어부(100)는 학습이 요구되는 데이터셋이 이미지일 경우 이미지 학습에 최적의 성능을 발휘할 수 있는 기계학습 S/W를 선별하고, 선별된 S/W에 학습을 요청할 수 있다.

이와 함께, 제어부(100)는 현재 학습을 위해, 사용중인 서버의 자원을 확인하여, 자원의 규모에 맞게 학습을 위한 프레임워크를 적용하거나, 프레임워크 적용시 구성요소의 선택적 적용을 시행할 수 있다.

QML 모듈(310)은 데이터베이스에서 플러그인을 수행하고, 데이터베이스로부터 받은 정보를 통해 학습 및 추론을 수행할 수 있다(④).

단말기(20)는 쿼리를 통해 데이터베이스로 학습 또는 추론을 요청할 수 있다(⑤).

단말기(20)는 데이터베이스의 테이블을 조회하여 학습 관련 정보를 조회할 수 있다(⑥).

학습 모델 데이터는 데이터베이스에 QML 스키마로 저장될 수 있다(⑦).

도 9는 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 방법을 설명하기 위한 동작 흐름도이다.

도 9를 참조하면, 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템은, 단말기(2) 및 DB 서버(10)와 연동하는 프레임워크부(300)에서 쿼리 기반 딥러닝 추론 방법을 실행할 수 있다.

제어부(100)는 사용자 단말기로부터 학습 쿼리(Call Train) 또는 추론 쿼리(Call Test)를 입력 받을 수 있다(S410).

제어부(100)는 쿼리를 분석하여, 데이터셋과 적합한 학습 모델을 프레임워크부(300)로 전송할 수 있다.

프레임워크부(300)는 학습 쿼리 또는 추론 쿼리에 따라 네트워크 초기화(Init Network), 네트워크 구성(Construct Network) 및 네트워크 갱신(Update Network)을 실행할 수 있다(S420).

프레임워크부(300)는 모든 층에 대한 초기화(Initialize all layers)가 이루어지면 학습(Train) 또는 추론(Test)을 실행할 수 있다(S430).

프레임워크부(300)는 학습 종료시까지 배치 데이터를 획득하고(Get Batch Data) 반복(Iteration)하여 결과 및 모델을 저장 (Store Result & Model)할 수 있다.

프레임워크부(300)는 테스트(Test)를 실행하고, 테스트 데이터를 획득하여(Get Test Data) 피드 포워드(feedforward)하고 추론 결과를 저장(Store Result)할 수 있다.

프레임워크부(300)는 학습 또는 추론의 종료시 학습 결과 또는 추론 결과를 사용자 단말기(130)로 제공할 수 있다(S440).

한편, 본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(1)은 다음과 같이 클라이언트, 회원, 데이터셋, 네트워크, 학습 모델, 학습 실행 등을 관리할 수 있다.

[클라이언트 관리]

본 발명의 실시 예에 따른 쿼리 기반 딥러닝 추론 시스템(1)은 사용자 단말기(130)로 데이터셋과 기계학습 과정을 관리하고 결과를 확인하기 위하여 기능을 제공할 수 있다.

[회원 관리]

쿼리 기반 딥러닝 추론 시스템(1)은 회원관리를 통해서 데이터베이스(110)의 데이터, 네트워크 모델의 생성, 수정 권한을 부여하고 변경 이력을 남길 수 있다.

[데이터셋 관리]

쿼리 기반 딥러닝 추론 시스템(1)은 데이터셋을 관리하기 위하여 새로운 테이블을 생성하고, 데이터를 조회, 수정, 업로드하기 위한 기능을 제공할 수 있다. 새로운 데이터셋을 생성할 때 자동으로 새로운 테이블을 생성하고, 데이터를 업로드할 수 있다. 데이터베이스의 테이블에 접근하여 데이터를 조회거나 사용자가 작성한 쿼리를 통해서 데이터베이스의 데이터를 조회한 결과를 보여줄 수 있다. 권한에 따라 데이터를 수정할 수 있다. 사용자로부터 수치데이터를 입력 받거나, 하나 이상의 파일을 읽어서 데이터 업로드를 진행할 수 있다. 학습 데이터의 레이블을 작성(tagging)하는 기능을 제공할 수 있다.

[네트워크 관리]

쿼리 기반 딥러닝 추론 시스템(1)은 다음과 같이 네트워크 모델을 관리하기 위한 기능을 제공할 수 있다. 지원되는 레이어를 추가하고 레이어 파라미터를 조정하여 새로운 네트워크 모델을 생성할 수 있다. 기존에 작성된 네트워크 모델 리스트를 조회할 수 있다. 기존에 작성된 네트워크 모델에 새로운 레이어를 추가하여 새로운 네트워크 모델을 생성할 수 있다. 네트워크 모델을 시각화하여 보여주는 기능을 제공할 수 있다.

[학습 모델 관리]

쿼리 기반 딥러닝 추론 시스템(1)은 다음과 같이 학습을 관리하기 위한 기능을 제공할 수 있다. 네트워크 모델과 데이터셋, 학습 파라미터를 조절하여 학습 모델을 생성 또는 수정할 수 있다. 학습이 끝난 네트워크 모델을 컨버터 기능을 통해 출력할 수 있다. 현재 사용중인 서버의 자원을 확인할 수 있다.

[학습 실행 관리]

쿼리 기반 딥러닝 추론 시스템(1)은 다음과 같이 학습 및 추론을 수행하고 결과를 확인하기 위한 기능을 제공할 수 있다. 서버의 자원을 확인할 수 있다. 학습 및 추론 수행이 가능한지 여부를 사용자에게 알려줄 수 있다. 현재 실행 또는 대기 중인 학습계획 리스트를 조회할 수 있다. 등록된 네트워크 모델과 데이터셋, 학습 파라미터를 설정하여 학습계획을 생성할 수 있다. 현재 실행 또는 대기 중인 학습계획의 학습 파라미터를 확인할 수 있다. 현재 실행 중인 학습계획의 중간 및 결과를 확인할 수 있다. 현재 실행 중인 학습계획을 멈출 수 있다. 대기 중인 학습계획을 시작할 수 있다. 등록된 네트워크 모델과 데이터셋을 설정하여 추론계획을 생성할 수 있다. 실행된 추론 계획의 결과를 확인할 수 있다.

전술한 바와 같이 본 발명에 의하면, 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 정보를 제공할 수 있도록 딥러닝 프레임워크가 정보 데이터베이스에 플러그인 형태로 연결되어, 사용자의 요청 쿼리에 의해 정보 데이터베이스에 저장된 데이터를 딥러닝 방식으로 학습하여 쿼리에 대응하는 데이터를 추론할 수 있도록 하는, 쿼리 기반 딥러닝 추론 시스템을 실현할 수 있다.

도 10은 스트리밍 시스템 및 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다. 도 11은 데이터의 변환을 도시하는 변환도이다. 도 12 및 도 13은 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법의 학습 및 추론에 대한 순서도이다. 도 1 내지 도 9를 참고한다.

쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템 및 그 방법은 CCTV, 네트워크 카메라, 블랙박스와 같은 이용형 기기 등의 사람의 안면이나 자동차 번호판과 같은 사생활 보호할 대상을 인식하여 보호 대상을 알아보지 못하게 변경하는 시스템 및 그 방법이다. 보호 대상을 알아보지 못하게 하기 위해, 원본의 안면이나 번호판을 저해상도로 변환하거나, 모자이크(블러, 이모지 등) 처리 등(이하, '모자이크 처리')을 할 수 있다.

도 10(a)를 참조하면, 스트리밍 시스템은 일반적인 스트리밍 서비스를 제공하는 시스템으로 서버(11), 카메라(50), 및 사용자 단말기(30)를 포함할 수 있다.

카메라(50)는 CCTV, 네트워크 카메라 등을 의미할 수 있다. 카메라(50)는 서버(11)와 통신할 수 있다.

서버(11)는 카메라(50)가 촬영한 신호 또는 촬영 데이터를 수신하여 사용자 단말기(30)에게 동영상 스트리밍 서비스를 제공할 수 있다. 촬영된 산출물은 무작위로 대상을 촬영하여, 사람의 얼굴이나 자동차 번호판 등의 프라이버시 대상이 스트리밍 서비스될 수 있다. 프라이버시 대상 즉, 타인이 식별할 수 있는 식별 대상은 타인이 식별 불가능하게 비식별 대상으로 변환할 필요가 있다.

도 10(b)를 참조하면, 본 발명의 일 실시예에 따른 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 시스템은 DB 서버(10), 단말기(20), 사용자 단말기(30), 및 카메라(50)를 포함할 수 있다.

DB 서버(10)는 도 1 내지 도 9에서 기술한 내용을 참고한다.

카메라(50)는 CCTV, 네트워크 카메라 등을 의미할 수 있다. 다만 이에 한정되지 않으며 블랙박스 등 다양한 매체이거나, 본 시스템에서 생략되어 실시될 수 있다. 생략된 경우, 산출된 이미지는 DB 서버(10)에 미리 저장된 것으로 볼 수 있다.

단말기(20)는 관리자를 사용자 단말기(30)는 시청자를 의미할 수 있다. 단말기(20)와 사용자 단말기(30)는 동일한 요소일 수 있다. 사용자 단말기(30)는 일 실시예에 따른 스트리밍을 시청하는 사용자를 표시하기 위한 것으로, 본 실시예에 따른 시스템에 생략될 수 있다.

도 11을 참조하면, 카메라(50)는 대상을 촬영하여 사생활 보호 대상이 식별되는 식별 동영상(510)을 생성하여 DB 서버(10)에 전송할 수 있다.

DB 서버(10)의 데이터셋 관리 모듈(120)은 식별 동영상(510)을 디코딩하여 데이터베이스 형식에 적합하도록 식별 이미지 데이터 셋 테이블(520)로 변환할 수 있다. 식별 이미지 데이터 셋 테이블(520)은 식별 동영상(510)의 프레임별 이미지들의 집합일 수 있다.

식별 이미지 데이터 셋 테이블(520)의 이미지들은 DB 서버(10)에서 보호 대상이 모자이크 처리되어 비식별 이미지 데이터 셋 테이블(530)로 변환될 수 있다. 이러한 모자이크 처리는 딥러닝에 의해 수행될 수 있다.

데이터셋 관리 모듈(120)은 비식별 이미지 데이터 셋 테이블(530)을 인코딩하여 비식별 동영상(540)으로 변환하거나 비식별 동영상 스트리밍(550) 서비스를 제공할 수 있다. 다만 이에 한정되지 않고, 딥러닝에 의해 수행된 비식별 이미지를 비식별 이미지 데이터 셋 테이블(530)로 저장하지 않고 곧바로 비식별 동영상(540)으로 저장하거나 비식별 동영상 스트리밍(550)으로 변환할 수 있다.

도 12를 참조하면, 제어부(100)는 사용자(단말기(20))로부터 사생활 보호 기능(딥러닝 기능)을 훈련하라는 쿼리를 입력 받을 수 있다(S610). 처리할 데이터는 저장부(200)에 미리 저장되어 있거나 쿼리를 통해 입력될 수 있다. 본 실시예에서 딥러닝 기능은 사생활 보호, 안면(얼굴), 모자이크(블러, 이모지, 저해상), 이미지, 동영상 등과 같은 키워드들의 조합일 수 있다. 학습용 이미지는 데이터셋 테이블 형식으로 데이터베이스화되어 있을 수 있다.

제어부(100)는 사생활 보호 기능에 적합한 학습 모델 테이블을 선택할 수 있다(S620). 사생활 보호 기능의 학습 모델 테이블은 저장부(200)에 저장된 복수의 학습 모델 테이블 중에서 선택될 수 있다. 제어부(100)는 학습 모델 테이블과 학습용 데이터셋 테이블을 비교하여, 학습용 데이터셋 테이블과 유사도가 높은 데이터 형식의 학습 모델 테이블을 사생활 보호용 학습 모델 테이블로 선택할 수 있다. 다만 이에 한정되지 않고, 사생활 보호 기능의 학습 모델 테이블은 사용자에 의해 선택될 수 있다.

학습 모델 테이블은 외부 프레임워크에서 생성된 학습 모델을 임포트(import)한 것일 수 있다.

제어부(100)는 사생활 보호 기능의 학습 모델 테이블에 속한 네트워크 테이블을 DB 서버(10)에 플러그인으로 설치된 프레임워크부(300)에 적합한 포맷으로 변환하여 모델 아키텍처를 구성할 수 있다(S630).

제어부(100)는 구성된 모델 아키텍처에 임의의 학습 파라미터를 할당(S640)하여, 학습 모델을 훈련할 준비를 할 수 있다.

프레임워크부(300), 예를 들어, QML 모듈(310)은 학습용 이미지와 학습 파라미터가 할당된 모델 아키텍처를 이용하여 훈련할 수 있다(S650).

제어부(100)는 QML 모듈(310)로부터 훈련 결과를 수신할 수 있다. 제어부(100)는 훈련 결과를 저장부(200)에 저장할 수 있다. 제어부(100)는 훈련된 모델 아키텍처 및 훈련된 학습 파라미터를 네트워크 테이블 및 학습 파라미터 테이블로 변환하여 사생활 보호 기능의 학습 모델 테이블로 DB 서버(10)에 저장할 수 있다.

도 13을 참조하면, 제어부(100)는 사용자(단말기(20))로부터 쿼리를 입력 받아 이를 해석하여 사생활 보호 기능을 딥러닝 추론하라는 명령을 입력 받을 수 있다(S710). 처리할 데이터는 저장부(200)에 미리 저장되어 있거나 쿼리를 통해 입력될 수 있다. 본 실시예에서 딥러닝 기능은 사생활 보호, 안면(얼굴), 모자이크(블러, 이모지, 저해상), 이미지, 동영상 등과 같은 키워드들의 조합일 수 있다.

DB 서버(10)는 사생활 보호 대상이 기록된 식별 동영상(510)을 입력 받을 수 있다. 식별 동영상(510)은 카메라(50)로부터 수신된 것일 수 있다.

제어부(100)는 데이터셋 관리 모듈(120)을 이용하여 처리 대상 데이터(입력 받은 데이터)를 데이터 전처리할 수 있다(S720). 데이터 전처리는 도 11의 디코딩에 대응될 수 있다. 이하, 본 실시예에서 데이터 전처리된 처리 대상은 추론용 데이터셋(DS)이라 지칭될 수 있다. 본 데이터셋 또는 데이터는 딥러닝용 데이터셋 또는 딥러닝용 데이터와 같이 일반적으로 지칭될 수 있다. 추론용 데이터셋은 식별 동영상(510)이 복수의 식별 이미지로 디코딩되어 식별 이미지 데이터 셋 테이블(520)로 변환되어 데이터베이스화될 수 있다.

제어부(100)는 기학습된 사생활 보호 기능의 학습 모델 테이블을 선택할 수 있다(S730). 기학습된 사생활 보호 기능의 학습 모델 테이블은 도 12를 통해 생성될 수 있다.

제어부(100)는 선택된 사생활 보호 기능의 학습 모델 테이블의 네트워크 테이블을 프레임워크부(300), 예를 들어, QML 모듈(310)에 적합한 사생활 보호용 모델 아키텍처로 구성할 수 있다(S740).

제어부(100)는 사생활 보호 기능의 학습 모델 테이블의 학습 파라미터 테이블을 이용하여 사생활 보호용 모델 아키텍처에 학습 파라미터를 할당할 수 있다(S750).

QML 모듈(310)은 식별 이미지 데이터 셋 테이블(520)의 이미지를 사생활 보호 대상이 식별되지 않도록 비식별 이미지로 변환하는 추론을 할 수 있다(S760). 복수의 식별 이미지는 비식별 이미지로 순차적으로 변환되거나 임의의 순서대로 변환될 수 있다. 임의 변환이 되는 경우는 복수의 프로세스로 분산 처리되는 경우에 유리할 수 있다.

제어부(100)는 비식별 이미지들을 인코딩하여 비식별 동영상(540)으로 저장하거나, 비식별 동영상 스트리밍(550)으로 작업하여 단말기(20) 또는 사용자 단말기(30)에게 스트리밍 서비스할 수 있다. 사용자 단말기(30)의 사용자는 실시간에 가깝게 사생활 보호 처리된 동영상을 시청할 수 있다. 단말기(20)의 유저인 관리자는 비식별화 작업이 순조롭게 진행되는지 실시간으로 확인할 수 있다.

상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 즉, 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 매체를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터가 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈, 및 기타 데이터 등 정보 저장을 위한 임의의 방법 또는 기술로서 구현된 모든 저장 가능한 매체를 포함하는 것으로, 휘발성/비휘발성/하이브리드형 메모리 여부, 분리형/비분리형 여부 등에 한정되지 않는다. 통신 저장 매체 는 반송파와 같은 변조된 데이터 신호 또는 전송 메커니즘, 임의의 정보 전달 매체 등을 포함한다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

10: DB 서버 20: 단말기
100: 제어부 120: 데이터셋 관리 모듈
130: 학습 모델 관리 모듈 160: 결과 관리 모듈
200: 저장부 220: 데이터셋
230: 학습 모델 260: 학습 결과
300: 프레임워크부 360: 변환부
370: 입출력부

Claims (8)

1. 카메라, 단말기 및 데이터베이스 서버(이하, 'DB 서버')와 연동하는 딥러닝 프레임워크의 쿼리 기반 딥러닝 추론 시스템을 이용한 안면 검출 및 사생활 보호 방법으로서,
   상기 카메라에서 촬영한 식별 동영상을 전처리하여 추론용 데이터셋을 생성하는 단계;
   상기 추론용 데이터셋을 상기 식별 동영상이 복수의 식별 이미지로 디코딩되어 관계형 데이터 구조인 식별 이미지 데이터 셋 테이블로 변환되어 데이터베이스화하는 단계;
   상기 단말기로부터 사생활 보호 기능의 학습 쿼리를 입력받는 단계; 및
   상기 사생할 보호 기능에 적합한 학습 모델 테이블을 선택하는 단계;를 포함하고,
   상기 학습 모델 테이블은 학습 모델의 아키텍처를 관계형 데이터 구조인 네트워크 테이블로 저장된 것이고,
   상기 사생할 보호 기능에 적합한 학습 모델 테이블을 선택하는 단계는, 관계형 데이터 구조에 기초하여, 저장된 복수의 학습 모델 테이블 중 상기 식별 이미지 데이터 셋 테이블과 유사도가 높은 데이터 형식의 학습 모델 테이블을 사생활 보호용 학습 모델 테이블로 선택하는 단계이고,
   상기 사생활 보호용 학습 모델 테이블에 속한 네트워크 테이블을 상기 DB 서버에 플러그인으로 설치된 프레임워크부에 적합한 포맷으로 변환하여 모델 아키텍처를 구성하는 단계;
   상기 모델 아키텍처에 학습 파라미터를 임의로 할당하는 단계;
   상기 프레임워크부에서 기저장된 학습용 이미지 데이터와 상기 모델 아키텍처를 이용하여 훈련하는 단계; 및
   상기 훈련된 모델 아키텍처 및 훈련된 학습 파라미터를 네트워크 테이블 및 학습 파라미터 테이블로 변환하여 사생활 보호 기능의 학습 모델 테이블로 상기 DB 서버에 저장하는 단계;를 더 포함하는 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법.
2. 제 1 항에 있어서,
   상기 단말기로부터 사생활 보호 기능의 추론 쿼리를 입력 받는 단계;
   상기 사생활 보호 기능의 학습 모델 테이블을 선택하는 단계;
   상기 사생활 보호 기능의 학습 모델 테이블의 네트워크 테이블을 상기 프레임워크부에 적합한 사생활 보호용 모델 아키텍처로 구성하는 단계;
   상기 사생활 보호 기능의 학습 모델 테이블의 학습 파라미터를 상기 사생활 보호용 모델 아키텍처에 할당하는 단계;
   상기 프레임워크부에서 상기 식별 이미지 데이터 셋 테이블의 이미지를 사생활 보호 대상이 식별되지 않도록 비식별 이미지로 변환하는 추론 단계; 및
   상기 복수의 비식별 이미지를 동영상 스트리밍으로 서비스하는 단계;를 더 포함하는 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법.
3. 제 1 항에 있어서,
   상기 DB 서버는 기계학습 및 기계추론에 사용된 모델을 저장하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공하고,
   상기 DB 서버는 외부 프레임워크와의 호환성을 위해 사용되고, 기존 프레임워크의 기학습된 모델을 가져오거나 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포맷으로 이용하는 변환부를 포함하고,
   상기 변환부는 상기 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포맷으로 이용하는 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 고장 진단 예지 모델을 상기 구조화된 모델 포맷으로 변환하고,
   상기 학습 모델 테이블은 외부 딥러닝 프레임워크에서 생성된 학습 모델이 상기 변환부에 의해 변환되어 임포트된 것이고,
   상기 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함하는 것인, 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호 방법.
4. 삭제
5. 사용자로부터 쿼리를 입력 받고, 사용자에게 상기 쿼리에 따른 결과를 출력하는 입출력부;
   데이터를 저장하는 저장부;
   상기 저장된 데이터 및 상기 쿼리에 따라 딥러닝하는 프레임워크부; 및
   제어부를 포함하는 쿼리 기반 딥러닝 추론 데이터에비스 서버로서,
   상기 쿼리는 사생활 보호 기능을 구비하고,
   상기 제어부는 카메라에서 촬영한 식별 동영상을 전처리하여 추론용 데이터셋을 생성하는 데이터셋 관리 모듈을 구비하고,
   상기 추론용 데이터셋은 상기 식별 동영상이 복수의 식별 이미지로 디코딩되어 관계형 데이터 구조인 식별 이미지 데이터 셋 테이블로 변환되어 데이터베이스화되고,
   학습 모델의 아키텍처를 관계형 데이터 구조인 네트워크 테이블로 저장 및 관리하고, 상기 식별 이미지 데이터 셋 테이블과 네트워크 테이블의 관계형 데이터 구조에 기초하여 유사도를 판단하는 학습 모델 관리 모듈를 구비하고,
   상기 제어부는 상기 쿼리가 사생활 보호 기능(딥러닝 기능)의 학습 쿼리인 경우, 상기 저장부에 저장된 복수의 학습 모델 테이블 중 상기 식별 이미지 데이터 셋 테이블과 유사도가 높은 데이터 형식의 학습 모델 테이블을 사생활 보호용 학습 모델 테이블로 선택하는, 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버.
6. 제 5 항에 있어서,
   외부 프레임워크와의 호환성을 위해 사용되고, 기존 프레임워크의 기학습된 모델을 가져오거나 상기 데이터베이스에서 정보 또는 데이터를 외부로 내보낼 때 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포맷으로 이용하는 변환부를 더 포함하고,
   상기 변환부는 상기 ONNX, NNEF 및 학습파라미터 바이어스를 포함하는 모델 Weight 파일을 구조화된 포맷으로 이용하는 모델 포맷에 정의된 망 구조(network structure) 및 모델 데이터(model data)를 상기 데이터베이스의 네트워크 모델 테이블 포맷으로 변환하거나, 반대로 상기 데이터베이스의 고장 진단 예지 모델을 상기 구조화된 모델 포맷으로 변환하고,
   상기 저장부에 저장된 학습 모델 테이블은 외부 딥러닝 프레임워크에서 생성된 학습 모델이 상기 변환부에 의해 변환되어 임포트된 것이고,
   상기 제어부는 기계학습 및 기계추론에 사용된 모델이 상기 저장부에 저장되도록 하며, 사용자의 쿼리 요청에 대응하는 프로시저(procedure)를 제공하고,
   상기 프로시저는, 인서트 네트워크(Insert Network), 인서트 레이어(Insert Layer), 메이크 프로젝트(Make Project), 입력 데이터 로더(Input Data Loader), 트레인(Train), 모델 저장(Save Model) 및 테스트(Test)를 포함하는, 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버.
7. 제 6 항에 있어서,
   상기 변환부는 상기 사생활 보호용 학습 모델 테이블에 속한 네트워크 테이블을 상기 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버에 플러그인으로 설치된 프레임워크부에 적합한 포맷으로 변환하고,
   상기 프레임워크부는 상기 변환부에서 변환된 적합한 포맷을 이용하여 모델 아키텍처를 구성하고, 상기 모델 아키텍처에 학습 파라미터를 임의로 할당하여 기저장된 학습용 이미지 데이터와 상기 모델 아키텍처를 이용하여 훈련하고,
   상기 저장부는 상기 훈련된 모델 아키텍처 및 훈련된 학습 파라미터를 네트워크 테이블 및 학습 파라미터 테이블로 변환하여 사생활 보호 기능의 학습 모델 테이블로 저장하는, 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버.
8. 제 7 항에 있어서,
   상기 제어부는 상기 쿼리가 사생활 보호 기능의 추론 쿼리인 경우, 상기 사생활 보호 기능의 학습 모델 테이블을 선택하고,
   상기 프레임워크부는 상기 변환부를 통해 상기 사생활 보호 기능의 학습 모델 테이블의 네트워크 테이블을 상기 프레임워크부에 적합한 사생활 보호용 모델 아키텍처로 구성하고, 상기 사생활 보호 기능의 학습 모델 테이블의 학습 파라미터를 상기 사생활 보호용 모델 아키텍처에 할당하고,
   입력 받은 식별 동영상을 전처리하여 추론용 데이터셋을 생성하는 데이터셋 관리 모듈을 더 포함하고,
   상기 추론용 데이터셋은 상기 식별 동영상이 복수의 식별 이미지로 디코딩되어 식별 이미지 데이터 셋 테이블로 변환되어 데이터베이스화되고,
   상기 프레임워크부는 상기 식별 이미지 데이터 셋 테이블의 복수의 이미지를 사생활 보호 대상이 식별되지 않도록 복수의 비식별 이미지로 변환하고,
   상기 데이터셋 관리 모듈은 상기 복수의 비식별 이미지를 동영상 스트리밍으로 서비스하는, 쿼리 기반 딥러닝 추론을 이용한 안면 검출 및 사생활 보호용 데이터베이스 서버.

Images