KR20000037782A - 중간언어를 이용한 내용기반 동영상 질의어 생성 방법 - Google Patents

Abstract

본 발명은 중간언어를 이용하여 내용 기반 동영상 질의어 생성 방법에 관한 것이다.

본 발명은 사용자 인터페이스로부터 내용 기반 검색이 가능한 각각의 내용 기반 검색 정보를 수집하고 이를 토대로 입력된 이미지 특성 파라미터들을 질의어 해석기를 통해 데이터 유형을 분류하는 단계와, 상기 단계로부터 분류된 데이터를 바탕으로 질의 유형을 판단해서 중간언어를 생성하는 단계와, 상기 단계로부터 생성된 중간 언어를 사용하여 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계를 포함하여 이루어지며, 종래의 텍스트 기반 질의로는 내용 기반 질의를 할 수 없기 때문에 내용 기반 검색시 사용자가 검색하고자 하는 내용을 내용기반 질의에 맞는 중간언어(VQL : Video Query Language)를 이용하여 표준 질의어를 생성하므로서 사용자의 편의성을 도모하고 검색 효율을 극대화할 수 있는 중간언어를 이용하여 내용 기반 동영상 질의어 생성 방법을 제공하고자 한다.

Description

중간언어를 이용한 내용기반 동영상 질의어 생성 방법

본 발명은 중간언어(VQL: Video Query Language)를 이용한 내용기반 동영상 질의어 생성 방법에 관한 것으로서, 특히 동영상 데이터베이스 검색 시스템 구축에 있어 다양한 적용 분야에 따른 사용자의 검색 요구 사항의 변경에 따른 질의어 변경 부분을 최소화 할 수 있는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법에 관한 것이다.

종래의 방법은 단순히 사용자의 요구 사항과 질의어를 1 대 1로 매핑하는 정적인 방법을 사용하거나(Static SQL), 몇 가지의 경우를 예측하여 공동으로 사용할 수 있는 대표 질의어를 정하여 검색하는 방식(Dynamic SQL)을 취하여 왔다. 따라서, 사용자의 요구가 바뀔 때마다 질의어를 새로 만들어야 했고, 적용분야가 바뀌면 처음부터 다시 만들어야 하는 불편이 따랐으며, 새로 구축된 시스템의 테스트와 보완에 따르는 시간 낭비가 많았다.

한편, 이에 관련된 선행자료로서, 특허등록번호 94-9868(권리자; 사카이 요리히꼬외 2명, 국명; 일본, 명칭; 화상 데이터 관리 방법 및 화상 데이터 베이스)에서는 외부로부터 입력되는 화상 데이터를 수집해서 화상 데이터에 검색 정보로서 수집 시각을 부가해서 기억하고 이 데이터를 수집 시각에 의해 표시, 검색, 출력하는 화상 데이터 관리 방법을 명시하였고, 특허등록번호 91-2745(권리자; 오카자키 아키오, 국명; 일본, 명칭; 정보검색장치)에서는 공간적 위치 관계를 갖는 심벌, 문자, 도형 등의 검색 요구 정보를 수신하는 정보 검색 인터페이스를 통해 수신되는 검색 요구에 따라 정보 검색을 실행하는 정보검색장치를 명시하였고, 특허등록번호 96-18993(권리자; 구보타리에, 국명; 일본, 명칭; 정보 검색 방법 및 시스템)에서는 문자열 패턴의 문서내 위치 정보를 포함하는 색인 파일을 사용하여 지정된 문자열과 문자의 줄이 유사한 문자열을 포함하는 문서를 고속으로 검색하여 검색 정확도를 지정하여 문서내의 문자열과 유사한 문자열을 찾아내는 방법을 명시하였다.

따라서, 본 발명은 상기와 같은 단점을 해결하기 위해 사용자의 질의 내용을 중간언어로 표현하고 이를 다시 질의어(SQL)로 변환함으로써, 질의 내용이 바뀌더라도 간단한 절차에 의해 새로운 질의를 수행할 수 있도록 하고 사용자가 질의 범위의 제약 없이 질의를 가능하도록 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 중간언어를 이용한 내용기반 동영상 질의어 생성 방법은 사용자 인터페이스로부터 내용 기반 검색이 가능한 각각의 내용 기반 검색 정보를 수집하고 이를 토대로 입력된 이미지 특성 파라미터들을 질의어 해석기를 통해 데이터 유형을 분류하는 단계와, 상기 단계로부터 분류된 데이터를 바탕으로 질의 유형을 판단해서 중간언어를 생성하는 단계와, 상기 단계로부터 생성된 중간 언어를 사용하여 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기한 목적을 달성하기 위한 본 발명은 사용자 인터페이스로부터 내용 기반 검색이 가능한 각각의 내용 기반 검색 정보를 수집하고 이를 토대로 입력된 이미지 특성 파라미터들을 질의어 해석기를 통해 데이터 유형을 분류하는 단계와, 상기 단계로부터 분류된 데이터를 바탕으로 질의 유형을 판단해서 중간언어를 생성하는 단계와, 상기 단계로부터 생성된 중간 언어를 사용하여 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체인 것을 특징으로 한다.

도 1은 본 발명에 따른 질의어 생성의 개념도.

도 2는 본 발명에 따른 질의어 해석기에 대한 흐름도.

도 3은 본 발명에 따른 질의어 생성기에 대한 흐름도.

〈도면의 주요 부분에 대한 부호 설명〉

1 : 사용자 인터페이스 2 : 질의어 해석기

3 : 질의어 생성기 4 : 데이터베이스

21 : 데이터 유형 분류 기능 22 : 질의 유형 판단 기능

23 : 중간언어(VQL) 변환 기능 31 : 구문 분석 기능

32 : 문맥 분석 기능 33 : 최적화 ＆ SQL 코드 생성 기능

이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.

도 1은 본 발명에 따른 질의어 생성의 개념도이고, 도2는 본 발명에 따른 질의어 해석기에 대한 흐름도이고, 도3은 본 발명에 따른 질의어 생성기에 대한 흐름도 이다.

도 1을 참조하면, 질의어 생성의 개념도는 내용 기반 검색이 가능한 사용자 인터페이스(1)를 통해 사용자가 직접 내용 기반 질의를 구성할 수 있도록 하였으며, 이에 따라 사용자가 질의한 내용을 질의어 해석기(2)를 통해 중간언어로 변환하고 이 중간언어를 질의어 생성기(3)를 사용하여 다시 표준 SQL(Structured Query Language)문으로 변환하는 과정을 거친다. 이 과정을 좀더 자세히 설명하기 위해 첨부된 도면 2와 도면 3을 이용하여 자세히 설명한다.

도 2를 참조하면, 본 발명에 따른 질의어 해석기(2)는 사용자가 인터페이스(1)를 통해 다양하게 입력된 질의의 형태를 분류하는 데이터 유형 분류 기능(21)과 이 입력된 질의를 분석하여 질의 유형을 판단하는 질의 유형 판단 기능(22)을 갖는다.

데이터 유형 분류 기능(21)은 입력으로 사용자가 인터페이스(1)를 통해 입력한 질의를 사용하며, 출력으로 사용자 질의에 따른 매개변수 리스트이다. 사용자는 사용자 인터페이스(1)를 통하여 키워드, 색(Color), 질감(Texture), 시간적 특성, 공간적 특성, 시간적/공간적 특성을 입력 한다. 여기서, 키워드는 사용자가 입력한 문자나 수치 등의 데이터이고, 색상이나 질감 등은 이미지 특성에 관한 데이터이고, 시공간 특성은 객체의 시간적, 공간적 특성을 표현하여 이를 통한 객체의 시간적, 공간적, 시공간적 관계로 구성된다.

질의 유형 판단 기능(22)은 사용자가 입력한 질의에 의해 생성된 이미지 특성 파라미터들을 입력으로 하여 중간언어 코드를 생성하는 기능을 갖는데, 사용자에 의해 입력된 데이터 유형은 이미지 특성 구조 정보에 의해 분석된다. 이는 사용자의 질의 요구를 정확히 이해하고 사용자 질의의 최적화를 위한 전단계로서, 분석되어진 질의 내용을 표준 SQL로 생성하기 위해 중간언어(24; VQL : Video Query Language)로 변환한다. 이 모듈의 기능은 사용자 인터페이스를 보다 효율적으로 확장하기 위해 필요하며, 중간언어를 생성하기 위한 사용자 질의 표현 형식은 다음과 같다.

〈User_Deined_Exp〉::=〈Video_Exp〉;〈DB_Exp〉;〈Keyword_Exp〉;〈Color_Exp〉;

〈Texture_Exp〉;〈Spatial_Temporal_Exp〉

〈Video_Exp〉 : 검색단위

〈DB_Exp〉 : 검색 대상

〈Keyword_Exp〉 : 검색 조건

〈Color_Exp〉, 〈Texture_Exp〉 : 이미지 검색 조건

〈Spatial_Temporal_Exp〉 : 시/공간 검색 조건

도 3를 참조하면, 본 발명에 따른 질의어 생성기(3)는 사용자 질의어 해석기 모듈(2)에서 생성된 중간언어(24)를 입력으로 하여 구문이 정확한지를 판단하는 구문 분석 단계(31)를 거쳐, 의미 있는 토큰들로 분류해 내고 이 토큰들을 사용한 문맥 분석(32)을 통해 질의 최적화 기능을 수행하고(33) 최적화된 질의를 SQL문(34)으로 변환한 후 데이터베이스(4)에 질의를 요청하는 기능을 수행한다. 사용자 질의최적화 및 질의 생성 모듈의 입력 값은 VQL 형태의 중간 코드이고, 출력 값은 SQL형태의 질의어를 생성하며, 분석되어진 사용자 질의는 빠른 검색을 보장하면서 질의어 생성 이전에 최적화를 위하여 재구성되므로서 구조 정보에 따른 변환 규칙에 의해 최적의 SQL이 생성될 수 있도록 재구성한다. 이를 세부 단계별로 정리하면 다음과 같다.

단계 1 : 중간 코드인 VQL 형태로 표현된 사용자 질의를 파싱.

단계 2 : 이미지 특성을 비교하기위한 유사도 함수로 변환.

단계 3 : 시공간 특성을 표현하는 함수를 변환 규칙에 따라 객체로 구성된 메타 데이터의 멤버 함수로 대치.

단계 4 : 질의의 조건을 변환 규칙에 따라 변환.

〈변환 규칙〉

(1) 조건이 많은 경우 부 질의어로 재구성.

(2) OR 연산이 있는 경우 UNION 문장으로 재구성.

단계 5 : 질의어 생성

이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상술한 바와 같이, 본 발명은 내용기반 동영상 데이터에서 이미지 기반의 데이터 검색은 물론, 동영상 내에서의 특정 오브젝트들에 관한 시/공간적인 특성을 반영한 검색도 가능케 함으로써 멀티미디어 데이터의 핵심이 되는 동영상을 내용에 기반해서 검색하는데 보다 효율적으로 사용 될 수 있다.

또한, 본 발명은 종래의 텍스트 위주의 검색 시스템에서 내용기반 검색으로의 확장을 용이하게 하며, 사용자는 자신의 인터페이스 환경을 통해 데이터베이스 검색에 필요한 SQL문을 직접 사용하지 않고도 내용기반 검색을 할 수 있다.

Claims (7)

1. 사용자 인터페이스로부터 내용 기반 검색이 가능한 각각의 내용 기반 검색 정보를 수집하고 이를 토대로 입력된 이미지 특성 파라미터들을 질의어 해석기를 통해 데이터 유형을 분류하는 단계와,

   상기 단계로부터 분류된 데이터를 바탕으로 질의 유형을 판단해서 중간언어를 생성하는 단계와,

   상기 단계로부터 생성된 중간 언어를 사용하여 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
2. 제 1 항에 있어서,

   상기 질의어 해석기를 통해 데이터 유형을 분류하는 단계는 사용자 인터페이스로부터 입력된 텍스트 데이터, 색상 및 질감의 이미지 특성 정보와 객체의 시간적/공간적 특성을 표현하여 이를 질의어 유형으로 분류하는 단계인 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
3. 제 1 항에 있어서,

   상기 질의 유형을 판단해서 중간언어를 생성하는 단계는

   질의 유형 분류를 거쳐 생성된 이미지 특성 파라미터들을 이미지 특성 구조 정보에 의해 분석하는 단계와,

   상기 단계로부터 사용자 질의 요구를 정확히 분석하여 표준 쿼리 문을 생성하기 위한 중간언어를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
4. 제 3 항에 있어서,

   상기 중간언어를 생성하기 위한 사용자 질의 표현 형식은 선택된 입력 항목들이 텍스트 및 이미지 특성을 갖는 파라미터가 미리 정의된 사용자 질의 표현 형식을 이용하여 검색의 단위, 대상, 조건, 이미지 조건 및 시공간 조건으로 분류하여 특정 형식에 매핑하는 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
5. 제 1 항에 있어서,

   상기 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계는

   생성된 중간 언어를 이용하여 이를 입력으로 하고 구문이 정확한지를 판단하는 구문 분석 단계와,

   상기 단계로부터 의미 있는 토큰들로 분류해 내고 이 토큰들을 사용하여 문맥 분석을 통해 최적화 된 쿼리 문을 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
6. 제 5 항에 있어서,

   상기 쿼리 문장을 생성하는 단계는 이미지 특성을 비교하기 위해 유사도 함수를 사용하며, 시공간 특성을 판독하기 위해 시공간 특성을 표현하는 함수를 변환 규칙에 따라 구성된 메타 데이터 멤버 함수로 대치하여 변환 규칙에 따라 변환하는 것을 특징으로 하는 중간언어를 이용한 내용기반 동영상 질의어 생성 방법.
7. 사용자 인터페이스로부터 내용 기반 검색이 가능한 각각의 내용 기반 검색 정보를 수집하고 이를 토대로 입력된 이미지 특성 파라미터들을 질의어 해석기를 통해 데이터 유형을 분류하는 단계와,

   상기 단계로부터 분류된 데이터를 바탕으로 질의 유형을 판단해서 중간언어를 생성하는 단계와,

   상기 단계로부터 생성된 중간 언어를 사용하여 구문분석 및 문맥분석을 경유하여 쿼리 문장을 생성하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.