KR102605930B1

KR102605930B1 - 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법 및 이러한 방법을 제공하는 데이터 처리 플랫폼

Info

Publication number: KR102605930B1
Application number: KR1020220090269A
Authority: KR
Inventors: 이상수; 임정택; 윤준영
Original assignee: 스마트마인드 주식회사
Priority date: 2022-07-21
Filing date: 2022-07-21
Publication date: 2023-11-30
Also published as: WO2024019224A1

Abstract

본 발명은 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법 및 이러한 방법을 제공하는 데이터 처리 플랫폼에 관한 것이다. 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법은 데이터 처리 시스템이 네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하는 단계와 데이터 처리 시스템이 네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 처리하는 단계를 포함하되, 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리이고, 비정형 데이터 처리 쿼리는 비정형 데이터만을 처리하기 위한 쿼리이고, 정형 데이터 처리 쿼리는 정형 데이터만을 처리하기 위한 쿼리일 수 있다.

Description

데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법 및 이러한 방법을 제공하는 데이터 처리 플랫폼{Method for processing structured data and unstructured data on database and data processing platform providing the method}

본 발명은 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법 및 이러한 방법을 제공하는 데이터 처리 플랫폼에 관한 것이다. 보다 상세하게는 기존에 정형 데이터만을 처리하는 데이터베이스의 기능을 확장하여 데이터베이스 상에서 비정형 데이터를 처리 가능하게 하는 데이터베이스 상에서 비정형 데이터를 처리하는 방법 및 이러한 방법을 제공하는 데이터 처리 플랫폼에 관한 것이다.

급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형 데이터 및 비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다.

이와 같이 데이터의 급격한 증가와 소비는 향후 더욱 가속화될 예정이며, 이러한 정형 데이터 뿐만 아니라, 비정형 데이터에 포함되어 있는 다양한 패턴들을 수집하고 정제하고 분석하여 미래의 성장동력을 찾는 것이 기업들의 새로운 비즈니스 모델이 되고 있다.

기존 선행 기술로는 국내출원번호10-2014-0036626건이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 확장된 SQL(structured query language) 및 하나의 플랫폼을 기반으로 하나의 언어를 사용하여 정형 데이터와 비정형 데이터를 처리하는 것을 목적으로 한다.

또한, 본 발명은, 하나의 플랫폼 상에 운영 플랫폼과 모델링 플랫폼이 위치하여 보다 정확한 인공 지능 모델의 모델링이 가능할 뿐만 아니라, 별도의 배치 프로세싱 없이 정형 데이터 및 비정형 데이터를 기반으로 한 인공 지능 모델의 모델링 기능을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 실시예에 따르면, 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법은 데이터 처리 시스템이 네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하는 단계와 상기 데이터 처리 시스템이 상기 네스티드 쿼리, 상기 비정형 데이터 처리 쿼리 및 상기 정형 데이터 처리 쿼리를 처리하는 단계를 포함하되, 상기 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리이고, 상기 비정형 데이터 처리 쿼리는 상기 비정형 데이터만을 처리하기 위한 쿼리이고, 상기 정형 데이터 처리 쿼리는 상기 정형 데이터만을 처리하기 위한 쿼리일 수 있다.

한편, 상기 네스티드 쿼리에 대한 처리를 수행하는 단계는 상기 데이터 처리 시스템이 확장된 SQL(extended structured query language)을 처리하는 확장 SQL 엔진을 기반으로 상기 비정형 데이터에 대한 처리를 수행하는 단계, 상기 데이터 처리 시스템이 Postgre SQL(extended structured query language)을 처리하는 일반 SQL 엔진을 기반으로 상기 정형 데이터에 대한 처리를 수행하는 단계를 포함할 수 있다.

또한, 상기 데이터 처리 시스템은 상기 정형 데이터에 대한 데이터 테이블 및 상기 비정형 데이터에 대한 데이터 테이블을 생성하여 하나의 데이터베이스 상에서 처리하고, 상기 데이터 처리 시스템은 상기 정형 데이터 및 상기 비정형 데이터를 기반으로 한 인공 지능 엔진 모델링을 상기 하나의 데이터베이스 상에서 지원할 수 있다.

본 발명의 다른 실시예에 따르면, 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 데이터 처리 시스템은 네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하고, 상기 네스티드 쿼리, 상기 비정형 데이터 처리 쿼리 및 상기 정형 데이터 처리 쿼리를 처리하도록 구현되되, 상기 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리이고, 상기 비정형 데이터 처리 쿼리는 상기 비정형 데이터만을 처리하기 위한 쿼리이고, 상기 정형 데이터 처리 쿼리는 상기 정형 데이터만을 처리하기 위한 쿼리일 수 있다.

한편, 상기 네스티드 쿼리에 대한 처리는 확장된 SQL(extended structured query language)을 처리하는 확장 SQL 엔진을 기반으로 상기 비정형 데이터에 대한 처리 및 Postgre SQL(extended structured query language)을 처리하는 일반 SQL 엔진을 기반으로 상기 정형 데이터에 대한 처리를 포함할 수 있다.

본 발명에 의하면, 확장된 SQL(structured query language) 및 하나의 플랫폼을 기반으로 하나의 언어를 사용하여 정형 데이터와 비정형 데이터가 처리될 수 있다.

또한, 본 발명에 의하면, 하나의 플랫폼 상에 운영 플랫폼과 모델링 플랫폼이 위치하여 보다 정확한 AI(artificial intelligence) 모델의 모델링이 가능할 뿐만 아니라, 별도의 배치 프로세싱 없이 정형 데이터 및 비정형 데이터를 기반으로 한 AI 모델의 모델링 기능이 제공될 수 있다.

도 1은 기존 데이터 처리 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 처리하기 위한 데이터 처리 시스템을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 처리하기 위한 데이터 처리 시스템을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 데이터 처리 시스템의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 데이터 처리 시스템의 동작을 나타낸 개념도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 기존 데이터 처리 시스템을 나타낸 개념도이다.

도 1에서는 기존에 정형 데이터와 비정형 데이터를 처리하는 데이터 처리 시스템이 개시된다.

도 1을 참조하면, 기존 데이터 처리 시스템의 정형 데이터(100) 및 비정형 데이터(120)에 대한 데이터 처리 방식이 개시된다.

정형 데이터(100)는 스키마에 따라 테이블에 저장되고 관계를 통해 테이블 간에 연결이 가능한 데이터이다. 정형 데이터(100)는 보유하고 있는 정보에 대한 적절히 정의된 스키마를 가지고 행과 열로 표시될 수 있다. 각 열은 다른 속성을 나타내는 반면, 각 행에는 단일 인스턴스의 속성과 연결된 데이터가 있다. 행과 열은 쉽게 참조할 수 있는 테이블을 형성할 수 있고, 서로 다른 테이블들은 연결될 수 있고, 여러 테이블이 연속적으로 연결되어 있으면 관계형 데이터베이스(140)가 형성될 수 있다.

비정형 데이터(120)는 정형 데이터(100)와 반대되는 데이터로서 정해진 규칙이 없어서 값의 의미를 쉽게 파악하기 힘든 데이터로서 음성, 이미지, 영상과 같은 데이터를 포함할 수 있다.

기존 데이터 처리 시스템은 SQL(structured query language)을 기반으로 정형 데이터(100)에 대한 쿼리만이 가능하였고, 비정형 데이터(120)에 대한 처리를 위해서는 특정 스키마가 없는 NoSQL 데이터베이스가 사용되었다.

또한, 기존의 데이터 처리 시스템은 정형 데이터(100)에 대한 실시간 쿼리가 가능하였으나, 비정형 데이터(120)에 대한 실시간 쿼리가 불가능하였다. 기존 데이터베이스 처리 시스템에서 비정형 데이터(120)는 실시간 처리(real time processing) 대신 배치 처리(batch processing)을 통해 처리되었다. 이로 인해, 기존의 데이터 처리 시스템에서 이미지, 영상, 음성에 대한 실시간 검색이 불가하였다. 보다 구체적으로 기존의 데이터 처리 시스템에서 비정형 데이터(120)는 대량의 데이터를 실시간으로 분석하기 어렵다. 따라서, 실시간으로 획득이 가능한 데이터 테이블과 정해진 시간에 계산을 미리 해놓은 배치(Batch) 테이블을 결합하는 람다 아키텍처(150) 기반의 처리가 수행되었고, 정형 데이터(100)와 비정형 데이터(120)가 별도의 DMBS(database management system)를 기반으로 처리되었다.

또한, 기존의 데이터 처리 시스템은 비정형 데이터(120)에 대한 배치 프로세싱을 위해 다양한 파이프라인, 다양한 프레임워크, 다양한 언어를 사용하였다. 따라서, 하나의 가버넌스를 기반으로 한 데이터의 처리가 불가능하였고, 개발 이후 유지 보수가 어려웠다.

또한, 기존의 데이터 처리 시스템에서 비정형 데이터(120)에 대한 학습을 위해서는 데이터베이스 내에서의 인공 지능 학습이 불가하였다. 기존의 데이터 처리 시스템은 정형 데이터(100)에 대한 학습을 데이터베이스에 구현된 AI 엔진을 기반으로 수행하였으나, 비정형 데이터(120)에 대한 학습은 데이터베이스 내에서 SQL 기반으로 처리되지 않았기 때문에 데이터베이스 안에서 비정형 데이터를 기반으로 한 AI 엔진 모델링은 불가능하였다.

또한, 기존의 데이터 처리 시스템은 AI 엔진에 대한 모델링을 수행시 운영계의 모수 테이블에서 샘플링을 통해 샘플 테이블(160)을 생성하여 모델링을 수행하게 되고, 모델링을 수행하는 모델링 플랫폼과 실제 운영을 수행하는 운영 플랫폼이 서로 상이하다. 이러한 경우, 모델링 플랫폼과 운영 플랫폼의 차이로 인해 모델링 결과가 정확하지 않은 문제점이 발생된다.

기존 데이터 처리 시스템에서는 샘플 데이터를 활용하여 AI 모델링 하는데까지 정말 많은 시간이 소요된다.

기존 데이터 처리 시스템에서는 모수 테이블에서 샘플 데이터를 추출해오는 과정이 수행된다. 모수 데이터가 테이블 형태가 아닌 다양한 형태로 존재할 수 있기 때문에 데이터를 변형 및 추출해오는 과정에서 시간이 소요되고, 또 모델링 하기 위해 데이터를 전처리 하는 과정에서도 상당한 시간이 요구된다.

또한, 기존 데이터 처리 시스템의 AI 모델링 과정에서 샘플 데이터는 정형과 비정형 데이터를 모두 포함하고 있고 정형/비정형 AI모델링을 하기 위해 기존 데이터 처리 시스템에서는 람다 아키텍처를 필수로 적용해야 한다. 람다 아키텍처를 통해서 개발을 하게 된다면 다양한 플랫폼과 언어를 사용하게 되는데 플랫폼 간의 특성 차이, 연동 문제 등으로 접목시키는데 시간을 많이 허비하게 된다.

이뿐만 아니라, 모수 테이블에서 데이터를 추출하고 람다 아키텍처 상에서 AI 모델링을 하는 동안 모수 테이블/데이터에 실시간으로 새로운 데이터들이 쌓이게 되는데 그렇게 되면 기존 데이터 처리 시스템에서 만들어진 AI 모델을 적용했을 때 예측 결과(모델의 결과 값)가 정확하지 않다는 문제점이 있다. 그렇다면 다시 한번 모델링을 하기 위해서 1번 프로세스와 2번 프로세스를 거치는 등 많은 시간이 소요된다.

본 발명의 실시예에 따른 데이터 처리 시스템이 사용되는 경우, 모수 데이터가 하나의 형태(테이블)로 관리되고, 샘플 데이터를 추출해 오는 과정도 간단한 쿼리문을 통해 가능하고 람다 아키텍처를 필요로 하지 않기 때문에 정형 데이터 및 비정형 데이터에 대한 AI 모델링 또한 하나의 플랫폼과 하나의 언어를 사용하여 연동 문제없이 쉽게 프로세스 할 수 있다는 장점이 있다.

따라서, 본 발명의 실시예에 따른 데이터 처리 플랫폼은 하나의 플랫폼을 기반으로 하나의 언어를 기초로 정형 데이터(100)와 비정형 데이터(120)를 처리할 수 있다.

또한, 본 발명의 실시예에 따른 데이터 처리 플랫폼은 하나의 플랫폼 상에 운영 플랫폼과 모델링 플랫폼이 위치하여 보다 정확한 모델링이 가능할 뿐만 아니라, 별도의 배치 프로세싱 없이 정형 데이터(100) 및 비정형 데이터(120)를 기반으로 한 AI 모델링 기능을 제공할 수 있다.

이하, 보다 구체적인 본 발명의 실시예에 따른 데이터 처리 플랫폼의 기능이 개시된다.

도 2는 본 발명의 실시예에 따른 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 처리하기 위한 데이터 처리 시스템을 나타낸 개념도이다.

도 2에서는 정형 데이터 및 비정형 데이터를 하나의 플랫폼 상에서 처리하기 위한 데이터 처리 시스템이 개시된다.

도 2를 참조하면, 데이터 처리 시스템은 비정형 데이터(220)와 정형 데이터(210)를 하나의 플랫폼 상에서 처리 가능하다. 본 발명에서는 비정형 데이터(220)를 정형 데이터(210)와 함께 하나의 플랫폼에서 처리하기 위한 데이터 처리 신택스(syntax)가 새롭게 정의되고, 새롭게 정의된 데이터 처리 신택스의 사용이 가능한 확장(extended) SQL(240)이 정의될 수 있다.

정형 데이터(210)에 대한 일반 쿼리는 PostgreSQL과 같은 기존의 SQL을 기반으로 처리되고 비정형 데이터에 대한 쿼리는 본 발명에서 새롭게 정의된 확장 SQL(240)을 기반으로 처리될 수 있다.

확장 SQL(240) 상에서 새롭게 정의된 데이터 처리 신택스를 처리하기 위한 확장 SQL 엔진(250)이 정의될 수 있다. 확장 SQL 엔진(250)은 새롭게 정의된 데이터 처리 신택스를 처리 가능하도록 하기 위한 엔진일 수 있다.

기존의 데이터 처리 시스템과 다르게 확장 SQL 엔진(250)을 기반으로 네스티드 쿼리(nested query)(230)가 가능하다. 네스티드 쿼리(230)는 정형 데이터(210) 및 비정형 데이터(220)에 대한 혼합적인 쿼리로서 데이터베이스에 저장된 정형 데이터(210)와 비정형 데이터(220)에 대한 순차적인 처리 또는 복합적인 처리를 가능하게 할 수 있다.

즉, 기존에 정형 데이터(210)와 비정형 데이터(220)가 별도의 DMBS(database management system)를 기반으로 처리되는 것과 다르게 본 발명에서는 정형 데이터(210)와 비정형 데이터(220)가 하나의 플랫폼 상에서 표준화 SQL 엔진(250)을 기반으로 처리되고, 네스티드 쿼리(nested query)(230)를 기반으로 정형 데이터(210)와 비정형 데이터(220)에 대한 데이터 프로세싱이 하나의 데이터 베이스(260) 상에서 동시에 이루어질 수 있다. 이를 기반으로 정형 데이터(210)와 비정형 데이터(220)에 대한 AI 모델링도 데이터 처리 시스템의 AI 엔진(270) 상에서 이루어진다.

AI 엔진은 분류 모델, 회귀 모델, 추천 모델, 음성 인식 모델 등 다양한 AI 엔진이 미리 제공될 수도 있고, 사용자가 직접 생성한 모델, 오픈 소스로 제공되는 AI 엔진 등 제한 없이 사용될 수 있다.

본 발명의 데이터 처리 시스템은 비정형 데이터(220)에 대한 별도의 배치 프로세싱, 별도의 언어, 별도의 플랫폼 없이 하나의 플랫폼 내에서 처리 가능하다. 본 발명의 데이터 처리 시스템은 정형 데이터(210)와 비정형 데이터(220) 모두 SQL 만으로 쿼리 가능하고 정형 데이터(210)와 비정형 데이터(220)에 대한 AI 모델링을 가능하게 하는 통합 플랫폼이다. 따라서 모델링 플랫폼과 운영 플랫폼이 동일하므로 모수가 달라져서 모델링의 정확도가 떨어지는 문제도 줄어들 수 있다.

또한, 본 발명의 데이터 처리 시스템은 RDB(relational database), AI 그리고 빅데이터 플랫폼(big data platform)의 기능을 하나의 플랫폼에서 적용할 수 있으며 AI 기반의 디지털 전환시 발생하는 비효율성을 획기적으로 줄일 수 있고, 빅데이터 처리 및 분산 병렬 처리 기술을 기반으로 하여 기존 대비 2배 이상 빠른 데이터 처리를 가능하게 한다.

즉, 본 발명의 실시예에 따르면, 데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법은 데이터 처리 시스템이 네스티드 쿼리를 수신하는 단계와 데이터 처리 시스템이 네스티드 쿼리에 대한 처리를 수행하는 단계를 포함할 수 있다. 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리일 수 있다.

네스티드 쿼리에 대한 처리를 수행하는 단계는, 데이터 처리 시스템이 확장된 SQL(extended structured query language)을 처리하는 확장 SQL 엔진을 기반으로 비정형 데이터에 대한 처리를 수행하는 단계와 데이터 처리 시스템이 Postgre SQL(extended structured query language)을 처리하는 일반 SQL 엔진을 기반으로 정형 데이터에 대한 처리를 수행하는 단계를 포함할 수 있다.

데이터 처리 시스템은 정형 데이터에 대한 데이터 테이블 및 상기 비정형 데이터에 대한 데이터 테이블을 생성하여 하나의 데이터베이스 상에서 처리하고, 데이터 처리 시스템은 정형 데이터 및 비정형 데이터를 기반으로 한 인공 지능 엔진 모델링을 하나의 데이터베이스 상에서 지원할 수 있다.

또한, 본 발명의 실시예에 따르면, 데이터 처리 시스템은 정형 데이터 및 비정형 데이터 각각에 대한 개별적인 처리를 수행할 수도 있다. 데이터 처리 시스템은 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하고, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 처리하도록 구현될 수 있다. 비정형 데이터 처리 쿼리는 비정형 데이터만을 처리하기 위한 쿼리이고, 정형 데이터 처리 쿼리는 정형 데이터만을 처리하기 위한 쿼리일 수 있다.

비정형 데이터 처리 쿼리는 확장 SQL 및 확장 SQL 엔진을 기반으로 처리 되고, 정형 데이터 처리 쿼리는 일반 SQL(Postgre SQL) 및 일반 SQL 엔진을 기반으로 처리될 수 있다.

도 3은 본 발명의 실시예에 따른 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 처리하기 위한 데이터 처리 시스템을 나타낸 개념도이다.

도 3에서는 기존에 정의된 일반 쿼리와 비정형 데이터를 위해 확장된 SQL을 기반으로 정의된 확장 쿼리가 네스티드 쿼리를 형성하고, 네스티드 쿼리가 데이터 처리 시스템에서 처리되는 방법이 개시된다.

도 3을 참조하면, 입력 쿼리(300)로서 비정형 데이터 및 정형 데이터에 대한 처리를 위한 네스티드 쿼리가 입력될 수 있다.

예를 들어, 네스티드 쿼리는 제1 쿼리(310), 제2 쿼리(320) 및 제3 쿼리(330)를 포함할 수 있고, 제1 쿼리(310) 및 제3 쿼리(330)는 확장 쿼리(350)이고, 제2 쿼리(320)는 일반 쿼리(360)일 수 있다.

제1 쿼리(310)는 PRINT IMAGE, 제2 쿼리(320)는 SELECT, 제3 쿼리(330)는 SEARCH IMAGE일 수 있다. 제1 쿼리(310), 제2 쿼리(320) 및 제3 쿼리(330)는 네스티드 구조로 입력 쿼리를 형성할 수 있다.

입력 쿼리(300)는 파서를 통해 파싱될 수 있다. 렉서(lexer)를 기반으로 네스티트 쿼리는 일반 쿼리(360)와 확장 쿼리(350)로 구분되고, 파서는 일반 쿼리(360)와 확장 쿼리(350)를 분할할 수 있다.

제1 쿼리(310), 제2 쿼리(320) 및 제3 쿼리(330)는 클라우즈 아날라이즈(clause analyze) 및 쿼리 트리(query tree)를 통해 해석되어 처리될 수 있다. 제3 쿼리(330), 제2 쿼리(320) 및 제1 쿼리(310)의 순서로 처리될 수 있다.

제1 쿼리(310) 및 제3 쿼리(330)는 확장 쿼리(350)로서 확장 SQL 엔진을 기반으로 처리될 수 있고, 제2 쿼리(320)는 일반 쿼리로서 일반 쿼리 처리를 위한 SQL 엔진인 PostgreSQL 엔진을 기반으로 처리될 수 있다.

표준화 SQL 엔진과 PostgreSQL 엔진은 하나의 데이터베이스와 연결되어 쿼리를 처리할 수 있다. 하나의 데이터베이스를 기반으로 정형 데이터 및 비정형 데이터를 기반으로 한 인공 지능 학습이 가능하다.

도 4는 본 발명의 실시예에 따른 데이터 처리 시스템의 동작을 나타낸 개념도이다.

도 4에서는 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 동시에 처리하기 위한 확장된 SQL 중 쿼리 기능이 개시된다.

도 4를 참조하면, 비정형 데이터에 대한 쿼리 기능은 아래와 같은 확장된 SQL을 기반으로 수행될 수 있다.

(1) 저장 모델 확인(LIST)(410)

사용자는 "LIST" 구문을 사용하여 비정형 데이터를 프로세싱하기 위한 비정형 데이터 테이블을 위해 미리 생성된 모델(pre-built model)과 사용자가 생성한 사용자 생성 모델을 확인할 수 있다.

예를 들어, LIST MODEL 기능을 통해 사용자에 의해 생성된 사용자 생성 모델에 대한 확인이 가능하고, LIST PREBUILT MODEL 기능을 사용하여 미리 생성된 모델에 대한 확인이 가능하다.

(2) 비정형 데이터 변환(create table)(420)

"create table" 구문을 사용하여 비정형 데이터(이미지, 오디오, 비디오 등)는 수치화 알고리즘을 기초로 사용자형 벡터 형식으로 변환한 비정형 데이터 테이블로 생성될 수 있다.

아래의 표 1은 create table 구문의 예시이다

<표 1>

CREATE TABLE [사용자 지정 데이터 테이블의 이름]

USING [사용할 인공지능 모델]

AS [사용할 데이터 세트]

예를 들어, create table 기능을 사용하여 특정 경로에 존재하는 이미지 파일을 속성 추출 인공지능 모델을 사용하여 비정형 데이터 테이블로서 데이터베이스 상에 생성할 수 있다

(3) 비정형 특성 추가(convert using)(430)

사용자는 "convert using" 구문을 사용하여 이미지, 비디오, 음성 등 비정형 데이터의 정보를 이용해서 수치화 알고리즘을 사용하여 벡터 형식으로 변환하고 이값을 사용할 데이터 세트에 추가할 수 있다.

아래의 표 2는 convert using 구문의 예시이다

<표 2>

CONVERT USING [사용할 인공지능 모델]

OPTIONS(

Table_name=[저장될 테이블명]

)

AS

[사용할 데이터 세트]

예를 들어, convert using 기능을 사용하여 특정 경로에 존재하는 이미지 파일을 추가적인 속성 추출 인공지능 모델을 사용하여 데이터 테이블로서 데이터베이스 상에 생성할 수 있다

(4) 비정형 데이터 검색(search)(440)

Search 구문은 비정형 데이터에서 내용이나 의미 또는 유사도 등을 검색하기 위해 사용될 수 있다.

아래의 표 3은 search 구문의 예시이다.

<표 3>

SEARCH [사용자 지정 데이터 테이블 이름]

USING [사용할 인공지능 모델]

AS [사용할 데이터 세트]

예를 들어, 이미지 수치화 인공 지능 모델을 기반으로 유사 이미지에 대한 검색을 진행하기 위해 search 구문이 활용될 수 있다.

(5) 결과 출력(PRINT)(450)

사용자는 "PRINT" 구문을 사용하여 이미지, 오디오 및 비디오 파일을 출력할 수 있다. 또한, 서브 쿼리를 사용하여 "PRINT" 구문을 통해 나온 결과를 바로 출력할 수 있다.

아래의 표 4는 "PRINT" 구문의 예시이다.

<표 4>

PRINT IMAGE, AUDIO, VIDEO

AS [출력할 데이터 세트]

예를 들어, PRINT 쿼리문을 사용하여 데이터 테이블에 있는 이미지 파일/비디오 파일/오디오파일들을 출력할 수 있다.

위의 쿼리 신택스(syntax)는 본 발명에서 확정된 SQL을 위해 새롭게 정의된 신택스이다.

위와 같은 쿼리 신텍스를 기반으로 만들어진 비정형 데이터 테이블을 기반으로 키워드 또는 텍스트를 기반으로 한 이미지 데이터, 오디오 데이터, 비디오 데이터의 검색이 가능하다. 또한, 이미지 데이터, 오디오 데이터, 비디오 데이터를 기반으로 한 이미지 데이터, 오디오 데이터, 비디오 데이터의 검색도 가능하다.

즉, 본 발명의 실시예에 따른 데이터 처리 시스템에서는 기존의 정형 데이터에 대한 실시간 검색에 추가하여 위와 같은 비정형 데이터에 대한 실시간 검색이 가능하다. 또한, 위와 같은 확장된SQL을 기반으로 비정형 데이터 및 정형 데이터에 대한 쿼리의 조합인 네스티드 쿼리(nested query)도 가능하여 비정형 데이터 및 정형 데이터를 모두 활용한 모델링도 가능하다.

도 5는 본 발명의 실시예에 따른 데이터 처리 시스템의 동작을 나타낸 개념도이다.

도 5에서는 하나의 플랫폼 상에서 정형 데이터와 비정형 데이터를 동시에 처리하기 위한 확장된 SQL 중 ML(machine learning) 기능이 개시된다.

도 5를 참조하면, 비정형 데이터에 대한 ML 기능은 아래와 같은 확장된 SQL을 기반으로 수행될 수 있다.

(1) 모델 학습(BUILD MODEL)(510)

사용자는 "BUILD MODEL" 구문을 사용하여 인공지능모델을 개발할 수 있다.

아래의 표 5는 "BUILD MODEL" 구문의 예시이다.

<표 5>

BUILD MODEL [사용자 지정 모델 이름]

USING [사용할 인공지능모델]

OPTIONS([인공지능모델을 만들 때 필요한 옵션값])

AS [사용할 데이터 세트]

예를 들어, 사용자는 "BUILD MODEL" 구문을 사용하여 인공지능모델을 사용하여 영화를 추천하는 영화추천모델을 만들 수 있다.

(2) 모델 평가(EVALUATE USING)(520)

사용자는 "EVALUATE USING" 구문을 사용하여 인공지능모델에 대한 성능 평가를 수행할 수 있다.

아래의 표 6은 "EVALUATE USING" 구문의 예시이다.

<표 6>

EVALUATE USING [기존 학습한 모델 이름]

OPTIONS ([모델별 평가시 필요한 옵션값])

AS

[사용할 데이터 세트]

예를 들어, "EVALUATE USING" 구문을 사용하여 사용자가 모델 학습하기에서 만들었던 분류 모델에 대한 평가가 수행될 수 있다.

(3) 모델 재학습(FIT MODEL)(530)

사용자는 "FIT MODEL" 구문을 사용하여 모델에 새롭게 추가된 데이터세트를 기반으로 한 학습을 수행할 수 있다.

아래의 표 7은 "FIT MODEL" 구문의 예시이다.

<표 7>

FIT MODEL [사용자 지정 모델 이름]

USING [기존 학습한 모델 이름 | 사전 학습된 인공지능모델 이름]

OPTIONS ([인공지능모델을 만들 때 필요한 옵션값])

AS

[사용할 데이터세트]

예를 들어, "FIT MODEL"을 사용하여 사용자가 이전에 만들었던 모델에 새롭게 추가된 데이터세트를 사용하여 학습한 새로운 모델이 생성될 수 있다.

(4) 데이터 전처리(TRANSFORM USING)(540)

사용자는 "TRANSFORM USING" 구문을 사용하여 테스트 데이터 세트에 인공지능 모델 생성시 사용한 동일한 전처리 방법을 적용할 수 있다.

아래의 표 8은 "TRANSFORM USING" 구문의 예시이다.

<표 8>

TRANSFORM USING [기존 학습한 모델 이름]

AS

[사용할 테스트 데이터 세트]

예를 들어, "TRANSFORM USING" 구문을 사용하여 모델 학습하기에서 기존에 생성된 분류 모델에서 사용한 데이터 전처리가 다른 모델의 학습을 위한 데이터 세트의 데이터 전처리에 적용될 수 있다.

(5) 모델 적용하기(PREDICT USING)(550)

사용자는 "PREDICT UDING" 구문을 사용하여 테스트 데이터 세트에 인공지능 모델을 적용하여 예측, 분류, 추천 등의 작업을 수행할 수 있다.

아래의 표 9는 "PREDICT UDING" 구문의 예시이다.

<표 9>

PREDICT USING [기존 학습한 모델 이름]

OPTIONS ([모델별 추론시 필요한 옵션값])

AS

[사용할 테스트 데이터 세트]

예를 들어, "PREDICT USING" 구문을 사용하여 기존에 모델 학습하기에서 만들어었던 기존 추천 모델을 사용하여 사용자 ID 31인 사용자가 좋아할만한 영화 목록에 대한 추천이 가능할 수 있다.

(6) 모델 삭제하기(DELETE MODEL)(560)

사용자는 "DELETE MODEL" 구문을 사용하여 데이터베이스에 만들어진 모델을 삭제할 수 있다.

아래의 표 10은 "DELETE MODEL" 구문의 예시이다.

<표 10>

DELETE MODEL [삭제할 모델 이름]

예를 들어, "DELETE MODEL" 구문을 기반으로 사용자가 모델 학습하기에서 만들었던 영화추천모델이 데이터베이스에서 삭제될 수 있다.

위와 같은 확장된SQL을 기반으로 비정형 데이터 및 정형 데이터를 기반으로 한 AI 모델링이 별도의 배치 프로세스 없이 하나의 플랫폼인 데이터 처리 시스템 상에서 수행될 수 있다.

데이터 처리 시스템 상에서는 미리 생성된 AI 모델 및 사용자에 의해 생성된 AI 모델이 위치할 수 있다. 이러한 AI 모델 생성을 통해 분류 모델, 회귀 모델, 추천 시스템, 음성 인식 모델 등 다양한 AI 모델에 대한 생성이 이루어질 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 방법은,
데이터 처리 시스템이 네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하는 단계; 및
상기 데이터 처리 시스템이 상기 네스티드 쿼리, 상기 비정형 데이터 처리 쿼리 및 상기 정형 데이터 처리 쿼리를 처리하는 단계를 포함하되,
상기 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리이고,
상기 비정형 데이터 처리 쿼리는 상기 비정형 데이터만을 처리하기 위한 쿼리이고,
상기 정형 데이터 처리 쿼리는 상기 정형 데이터만을 처리하기 위한 쿼리이고,
상기 데이터 처리 시스템은 상기 정형 데이터에 대한 데이터 테이블 및 상기 비정형 데이터에 대한 데이터 테이블을 생성하여 하나의 데이터베이스 상에서 처리하고,
상기 데이터 처리 시스템은 상기 정형 데이터 및 상기 비정형 데이터를 기반으로 한 인공 지능 엔진 모델링을 상기 하나의 데이터베이스 상에서 지원하고,
상기 데이터 처리 시스템은 확장된 SQL(extended structured query language)을 기반으로 상기 비정형 데이터 및 상기 정형 데이터를 기반으로 한 AI 모델링을 별도의 배치 프로세스 없이 하나의 플랫폼 상에서 수행하도록 하고,
상기 네스티드 쿼리는 렉서(lexer)를 기반으로 정형 데이터에 대한 일반 쿼리와 비정형 데이터에 대한 확장 쿼리로 구분되고, 파서를 기반으로 상기 일반 쿼리와 상기 확장 쿼리로 분할되고,
상기 일반 쿼리는 Postgre SQL을 기반으로 처리되고,
상기 확장 쿼리는 상기 확장된 SQL을 기반으로 처리되고,
상기 확장된 SQL은 상기 정형 데이터와 상기 비정형 데이터를 동시에 처리하기 위한 쿼리 기능, ML(machine learning) 기능을 포함하고,
상기 확장된 SQL은 상기 비정형 데이터를 처리하기 위해 정의된 쿼리 랭귀지이고,
상기 Postgre SQL은 상기 정형 데이터를 처리하기 위해 정의된 쿼리 랭귀지인 것을 특징으로 하는 방법.
제1항에 있어서, 상기 네스티드 쿼리에 대한 처리를 수행하는 단계는,
상기 데이터 처리 시스템이 상기 확장된 SQL을 처리하는 확장 SQL 엔진을 기반으로 상기 비정형 데이터에 대한 처리를 수행하는 단계;
상기 데이터 처리 시스템이 상기 Postgre SQL을 처리하는 일반 SQL 엔진을 기반으로 상기 정형 데이터에 대한 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
삭제
데이터베이스 상에서 정형 데이터와 비정형 데이터를 처리하는 데이터 처리 시스템은,
네스티드 쿼리, 비정형 데이터 처리 쿼리 및 정형 데이터 처리 쿼리를 수신하고,
상기 네스티드 쿼리, 상기 비정형 데이터 처리 쿼리 및 상기 정형 데이터 처리 쿼리를 처리하되,
상기 네스티드 쿼리는 비정형 데이터에 대한 제1 쿼리 및 정형 데이터에 대한 제2 쿼리를 혼합한 쿼리이고,
상기 비정형 데이터 처리 쿼리는 상기 비정형 데이터만을 처리하기 위한 쿼리이고,
상기 정형 데이터 처리 쿼리는 상기 정형 데이터만을 처리하기 위한 쿼리이고,
상기 데이터 처리 시스템은 상기 정형 데이터에 대한 데이터 테이블 및 상기 비정형 데이터에 대한 데이터 테이블을 생성하여 하나의 데이터베이스 상에서 처리하고,
상기 데이터 처리 시스템은 상기 정형 데이터 및 상기 비정형 데이터를 기반으로 한 인공 지능 엔진 모델링을 상기 하나의 데이터베이스 상에서 지원하고,
상기 데이터 처리 시스템은 확장된 SQL(extended structured query language)을 기반으로 상기 비정형 데이터 및 상기 정형 데이터를 기반으로 한 AI 모델링을 별도의 배치 프로세스 없이 하나의 플랫폼 상에서 수행하도록 하고,
상기 네스티드 쿼리는 렉서(lexer)를 기반으로 정형 데이터에 대한 일반 쿼리와 비정형 데이터에 대한 확장 쿼리로 구분되고, 파서를 기반으로 상기 일반 쿼리와 상기 확장 쿼리로 분할되고,
상기 일반 쿼리는 Postgre SQL을 기반으로 처리되고,
상기 확장 쿼리는 상기 확장된 SQL을 기반으로 처리되고,
상기 확장된 SQL은 상기 정형 데이터와 상기 비정형 데이터를 동시에 처리하기 위한 쿼리 기능, ML(machine learning) 기능을 포함하고,
상기 확장된 SQL은 상기 비정형 데이터를 처리하기 위해 정의된 쿼리 랭귀지이고,
상기 Postgre SQL은 상기 정형 데이터를 처리하기 위해 정의된 쿼리 랭귀지인 것을 특징으로 하는 데이터 처리 시스템.
제4항에 있어서,
상기 네스티드 쿼리에 대한 처리는 상기 확장된 SQL을 처리하는 확장 SQL 엔진을 기반으로 상기 비정형 데이터에 대한 처리 및 상기 Postgre SQL을 처리하는 일반 SQL 엔진을 기반으로 상기 정형 데이터에 대한 처리를 포함하는 것을 특징으로 하는 데이터 처리 시스템.
삭제