KR100609022B1

KR100609022B1 - 공간관계와 주석을 이용한 이미지 검색 방법

Info

Publication number: KR100609022B1
Application number: KR1020040042098A
Authority: KR
Inventors: 황인준; 이수철
Original assignee: 학교법인 영남학원
Priority date: 2004-06-09
Filing date: 2004-06-09
Publication date: 2006-08-03
Also published as: KR20050116963A

Abstract

본 발명은 공간관계와 주석을 이용한 이미지 검색 방법에 관한 것으로, (a) 원본 이미지에 대하여 사용자가 선택한 적어도 하나 이상의 관심영역 지정정보를 수신하는 단계; (b) 상기 관심영역에 포함된 객체들의 3차원 좌표값을 분석하여 공간 위치 점으로 각각 단순화시키고, 해당 공간 위치 점들간의 3차원 공간관계를 분석하는 단계; (c) 원본 이미지에서 상기 객체들이 가지고 있는 3차원 공간관계를 3차원 위치 연산자들을 이용하여 각각 정의하고 해당 공간관계 정의 정보를 주석처리하는 단계; (d) 적어도 하나 이상의 상기 공간관계에 관한 원본 주석들 및 상응하는 원본 이미지들을 저장하여 데이터베이스를 구축하는 단계; 및 (e) 사용자로부터 작성된 질의 이미지를 통해 처리된 질의 주석과 기저장된 상기 원본 주석들을 비교하여, 질의에 상응하는 유사한 주석을 가진 적어도 하나 이상의 원본 이미지를 검색결과로 제공하는 단계; 를 포함하는 것을 특징으로 한다.

이미지 검색, 공간관계, 주석

Description

공간관계와 주석을 이용한 이미지 검색 방법{METHOD FOR IMAGE RETRIEVAL USING SPATIAL RELATIONSHIPS AND ANNOTATION}

도 1은 본 발명이 적용된 공간관계와 주석을 이용한 이미지 검색 시스템의 일예시도.

도 2는 본 발명이 적용된 공간관계와 주석을 이용한 이미지 작성 방법에 대한 흐름도.

도 3은 본 발명이 적용된 이미지 작성 화면을 나타내는 일예시도.

도 4는 본 발명이 적용된 위치 연산자 구성표를 나타내는 도면.

도 5는 본 발명이 적용된 공간 위치 좌표의 일예를 나타내는 도면.

도 6은 본 발명이 적용된 원본 이미지 및 공간 그래프의 일예를 나타내는 도면.

도 7은 본 발명이 적용된 이미지 객체의 주석처리 결과의 일예를 나타내는 도면.

도 8은 본 발명이 적용된 공간관계와 주석을 이용한 이미지 검색 방법에 대한 흐름도.

도 9는 본 발명이 적용된 이미지 검색 화면을 나타내는 일예시도.

<도면의 주요부분에 대한 부호의 설명>

10 : 질의 인터페이스 20 : 관심영역 표현부

30 : 공간 분석기 40 : 주석부

50 : 이미지 DB 60 : 주석 DB

100 : 이미지 작성화면 110 : 원본 이미지

111 : 기준점 112 : 관심 영역

121 : 공간 그래프창 131 : 색상 입력창

132 : 키워드 입력창 133 : 특징설명 입력창

134 : 공간관계 주석창 200 : 이미지 검색화면

210 : 질의 캔버스 220 : 색상 검색창

230 : 키워드 검색창 240 : 검색결과 출력창

본 발명은 공간관계와 주석을 이용한 이미지 검색 방법에 관한 것으로, 더욱 상세하게는 효율적인 이미지 검색을 위해서 이미지상의 객체들간의 공간관계를 이용하는 것으로 객체들간의 관계에 3차원 공간관계를 추가하고 해당 공간관계 및 이미지 특징 정보를 XML(eXtensible Markup Language) 형태로 주석처리함으로써 질의 이미지와 데이터베이스 내에 있는 이미지들 간의 유사성을 효율적으로 계산할 수 있어 구조화된 질의가 가능하고 이미지 객체들간의 3차원 관계의 배제로 인한 정확도의 저하를 제거하고 보완하여 검색 시스템의 성능을 최대화할 수 있는 공간관계 와 주석을 이용한 이미지 검색 방법에 관한 것이다.

최근 이미지 검색에서 내용기반 이미지 검색(Content-Based Image Retrieval)이 많이 사용되고 있다. 내용기반 이미지 검색은 이미지가 가지고 있는 정보를 시각적인 특성을 이용하여 데이터베이스에 저장되어 있는 이미지를 검색하는 기법이다. 이미지 검색은 검색 기법, 질의 형태 등에 따라 다양하게 분류할 수 있지만, 근본적으로는 영상의 어떠한 특성을 검색에 이용하는가에 따라 분류된다.

초기의 이미지 검색 기법은 이미지의 색채 히스토그램, 질감 등 이미지의 포괄적인 특성을 검색에 이용하였다. 이러한 포괄적인 특성을 이용하는 경우, 데이터의 양이 적고 일차원적인 벡터로 표현이 가능하므로 다양한 형태의 인덱싱 기법을 이용하여 검색의 효율성을 높일 수 있었다.

하지만 이미지의 포괄적인 특성을 표현하는 방식은 사용자가 영상을 인지하고 기억하는 형식과 다르므로 질의를 표현할 수 있는 방법이 제한되어 일반적인 질의 방식이 예제에 의한 질의(Query By Example)로 한정된다. 예제에 의한 질의 방식은 사용자가 질의 화면에 제시된 여러 샘플 이미지에서 검색하고자 하는 이미지와 가장 유사한 특성을 갖고 있다고 생각되는 이미지를 선택하면 시스템이 해당 예제 이미지를 데이터베이스에서 찾아 결과로서 보여주는 방식이다. 일반적으로 예제 이미지는 데이터베이스에 저장되어 있는 이미지들 중 무작위로 추출된 샘플 이미지 중에서 고르게 되므로 질의 이미지에 대한 별도의 특성 추출이 필요 없다는 장점이 있지만, 사용자 입장에서는 만족할 만한 예제 이미지를 찾기 위해 샘플 이미지를 일차 검색해야 하는 불편함이 있다.

최근 다양한 분야에서 디지털 이미지 사용이 확대됨에 따라 일반 사용자의 이미지 데이터베이스 접근 역시 늘어나게 되어 점차 질의의 효율성과 편리성에도 중점을 두는 시스템이 개발되었다. 사용자가 질의에 직접 표현하기 어려운 포괄적인 특성 외에 다양한 이미지의 특성을 검색에 이용하려는 시도가 있었고, 이에 따른 새로운 형태의 질의 방식인 스케치에 의한 질의(Query By Sketch)가 제안되었다.

이러한 스케치에 의한 질의 방식의 검색 시스템에서는 사용자가 직접 그리기 도구를 이용하여 검색하고자 하는 이미지의 전체 또는 일부분을 질의 이미지로 작성하므로 이미지 내의 각 물체의 색, 모양, 객체의 배치 등 다양한 특성들을 표현 할 수 있게 되었다. 시스템에 따라 검색의 효율성을 고려하여 이 특성들 중 일부를 채택하여 사용하게 되는데, 검색의 효율성에는 검색 속도와 거색의 성공률 등이 모두 포함된다.

하지만 이러한 스케치에 의한 질의 방식에서 사용자가 작성한 질의는 검색하고자 하는 목표 이미지와는 전혀 다른 검색 결과를 낼 수 있는 확률이 높다.

이러한 문제점을 해결하기 위해 이미지 객체간의 공간관계를 이용한 공간 유사도 기반 이미지 검색 기법을 사용하는데, 이것은 격자 상에서의 위치관계를 2D 스트링(string)을 사용하여 표현하고 질의와 유사한 공간관계를 가진 이미지를 검색하는 기법이다.

이러한 방식에서 가장 큰 문제점은 2D 스트링 표현기법을 이요한 이미지 객체간의 공간고나계가 정확하지 않기 때문에 3D 이미지를 검색할 때 정확도가 매우 저하되게 된다는 것이다.

즉, 이미지 객체간의 공간관계가 2차원으로 한정되었기 때문에 실제 이미지상의 객체간의 공간관계가 부정확하게 표현된다. 예를 들면, 사람이 자동차에 타고 있는 이미지에서 두 객체의 공간관계는 자동차 내부에 사람이 있는 것이지만 기존의 공간 유사도에서는 이것을 단순히 중복(overlap)되어 있다고 잘 못 표현할 수밖에 없고 그 결과 검색시에 정확도가 떨어지는 주요 원인이 되는 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 효율적인 이미지 검색을 위해서 이미지상의 객체들간의 공간관계를 이용하는 것으로 객체들간의 관계에 3차원 공간관계를 추가하고 해당 공간관계 및 이미지 특징 정보를 XML 형태로 주석처리함으로써 질의 이미지와 데이터베이스 내에 있는 이미지들 간의 유사성을 효율적으로 계산할 수 있어 구조화된 질의가 가능하고 이미지 객체들간의 3차원 관계의 배제로 인한 정확도의 저하를 제거하고 보완하여 검색 시스템의 성능을 최대화할 수 있는 공간관계와 주석을 이용한 이미지 검색 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 공간 관계와 주석을 이용한 이미지 검색 방법은, (a) 원본 이미지에 대하여 사용자가 선택한 적어도 하나 이상의 관심영역 지정정보를 수신하는 단계; (b) 상기 관심영역에 포함된 객체들의 3차원 좌표값을 분석하여 공간 위치 점으로 각각 단순화시키고, 해당 공간 위치 점 들간의 3차원 공간관계를 분석하는 단계; (c) 원본 이미지에서 상기 객체들이 가지고 있는 3차원 공간관계를 3차원 위치 연산자들을 이용하여 각각 정의하고 해당 공간관계 정의 정보를 주석처리하는 단계; (d) 적어도 하나 이상의 상기 공간관계에 관한 원본 주석들 및 상응하는 원본 이미지들을 저장하여 데이터베이스를 구축하는 단계; 및 (e) 사용자로부터 작성된 질의 이미지를 통해 처리된 질의 주석과 기저장된 상기 원본 주석들을 비교하여, 질의에 상응하는 유사한 주석을 가진 적어도 하나 이상의 원본 이미지를 검색결과로 제공하는 단계; 를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 (e) 단계는, (f) 질의 캔버스를 통하여 사용자로부터 작성된 질의 이미지를 통해 적어도 하나 이상의 3차원 객체 정보를 수신하는 단계; (g) 상기 질의 이미지에서 각 객체들에 대한 공간 위치 관계를 분석하고 3차원 위치 연산자들을 이용하여 주석처리하는 단계; (h) 상기 질의 이미지에 의해 작성된 공간관계에 관한 질의 주석과 기저장된 데이터베이스상의 원본 주석과의 유사도를 비교하는 단계; 및 (i) 상기 비교 결과, 검색된 유사 원본 주석들을 추출하고 해당 추출된 원본주석에 상응하는 기저장된 원본 이미지를 사용자에게 제공하는 단계; 를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 공간 관계와 주석을 이용한 이미지 검색 방법은, (a) 사용자가 원본 이미지에서 선택한 관심영역내 객체들의 3차원 공간관계를 분석해 주석처리함으로써 해당 원본 이미지들 및 이를 표현하는 원본 주석들로 데이터베이스를 구축하는 단계; (b) 질의 캔버스를 통하여 사용자로부터 작성된 질의 이미지를 통해 적어도 하나 이상의 3차원 객체 정보를 수신하는 단계; (c) 상기 질의 이미지에서 각 객체들에 대한 공간 위치 관계를 분석하고 3차원 위치 연산자들을 이용하여 주석처리하는 단계; (d) 상기 질의 이미지에 의해 작성된 공간관계에 관한 질의 주석과 기저장된 데이터베이스상의 원본 주석과의 유사도를 비교하는 단계; 및 (e) 상기 비교 결과, 검색된 유사 원본 주석들을 추출하고 해당 추출된 원본 주석에 상응하는 기저장된 원본 이미지를 사용자에게 제공하는 단계; 를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 (a) 단계는, (f) 원본 이미지에 대하여 사용자가 선택한 적어도 하나 이상의 관심영역 지정정보를 수신하는 단계; (g) 상기 관심영역에 포함된 객체들의 3차원 좌표값을 분석하여 공간 위치 점으로 각각 단순화시키고, 해당 공간 위치 점들간의 3차원 공간관계를 분석하는 단계; (h) 원본 이미지에서 상기 객체들이 가지고 있는 3차원 공간관계를 3차원 위치 연산자들을 이용하여 각각 정의하고 해당 공간관계 정의 정보를 주석처리하는 단계; 및 (i) 적어도 하나 이상의 상기 공간관계에 관한 원본 주석들 및 상응하는 원본 이미지들을 저장하여 데이터베이스를 구축하는 단계; 를 포함하는 것을 특징으로 한다.

더욱 바람직하게는, 상기 원본 또는 질의 이미지에 포함된 객체의 공간관계 또는 특징에 관한 주석은 XML(eXtensible Markup Language)로 표현되어 처리되고, 상기 3차원 위치 연산자들은 3차원 공간 그래프 상에 위치한 하나의 객체에 대한 다른 객체의 2차원 및 3차원적 공간관계를 표현할 수 있게 되며, 위치 연산자간의 유사 정도는 유사도로서 수치화되어 비교가능하게 되는 것을 특징으로 한다.

더욱 바람직하게는, 상기 원본 주석이 상기 원본 이미지에서 객체들이 가지고 있는 특징인 색상 또는 키워드에 관해 주석처리된 특징 주석을 포함하는 경우에, 해당 사용자로부터 작성된 상기 질의 이미지에서 각각의 객체에 대한 특징인 색상 또는 키워드 정보를 수신하고 주석처리하여, 기저장된 원본 이미지들의 색상 및 키워드에 관한 특징 주석들과 비교해 유사한 특징 주석을 가진 원본 이미지를 사용자에게 제공하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

이하에서 본 발명은 효율적인 이미지 검색을 위해서 이미지상의 객체들간의 공간관계를 이용하는 것으로 객체들간의 관계에 3차원 공간관계를 추가하고 해당 공간관계 및 이미지 특징 정보를 XML 형태로 주석처리함으로써 질의 이미지와 데이터베이스 내에 있는 이미지들 간의 유사성을 효율적으로 계산할 수 있어 구조화된 질의가 가능하고 이미지 객체들간의 3차원 관계의 배제로 인한 정확도의 저하를 제거하고 보완하여 검색 시스템의 성능을 최대화할 수 있는 공간관계와 주석을 이용한 이미지 검색 방법을 바람직한 실시예로 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명이 적용된 공간관계와 주석을 이용한 이미지 검색 시스템의 일예시도이고, 도 2는 본 발명이 적용된 공간관계와 주석을 이용한 이미지 작성 방법에 대한 흐름도이고, 도 3은 본 발명이 적용된 이미지 작성 화면을 나타내는 일 예시도이고, 도 4는 본 발명이 적용된 위치 연산자 구성표를 나타내는 도면이고, 도 5는 본 발명이 적용된 공간 위치 좌표의 일예를 나타내는 도면이고, 도 6은 본 발명이 적용된 원본 이미지 및 공간 그래프의 일예를 나타내는 도면이고, 도 7은 본 발명이 적용된 이미지 객체의 주석처리 결과의 일예를 나타내는 도면이고, 도 8은 본 발명이 적용된 공간관계와 주석을 이용한 이미지 검색 방법에 대한 흐름도이고, 도 9는 본 발명이 적용된 이미지 검색 화면을 나타내는 일예시도이다.

우선, 도 1을 참조하면, 본 발명이 적용되는 이미지 검색 시스템의 구조는 크게 이미지 객체간의 공간관계를 분석하는 모듈과 질의와 브라우징을 제공하는 모듈로 나누어져 있고, 각 모듈의 컴포넌트에는 도면에 도시된 바와 같이 사용자로부터 이미지 검색을 위한 질의 정보를 수신하는 질의 인터페이스(10), 원본 이미지의 저장시 사용자가 관심 있어 하는 객체를 마우스의 드래그를 통해 선택하는 컴포넌트인 관심영역 표현부(20), 상기 선택된 객체들간의 3차원 공간관계를 분석하는 공간 분석기(30), 상기 선택된 객체들이 가지고 있는 특성들을 주석처리 하기 위한 주석부(40), 이미지 내의 객체들의 공간관계가 분석되고 그 특성이 주석처리된 원본 이미지가 저장되는 이미지 DB(50), 상기 원본 이미지내의 객체들의 특성에 관한 주석정보가 저장되는 주석 DB(60)와 같은 여러 컴포넌트를 포함하여 구성된다.

이하에서는 사용자가 질의 캔버스를 사용하여 작성한 질의로부터 각 이미지 객체의 색, 키워드와 위치관계를 XML 문서 형태로 추출하여 이미지를 검색하는 방법에 대하여 상세히 기술하게 되는데, 이러한 본 발명의 공간관계와 주석을 이용한 이미지 검색 방법은 질의의 형태가 단순하여 작성이 간편하며 각 이미지 객체의 색 과 키워드를 이용하여 유사성을 비교하고 객체간의 위치 관계의 일관성을 검사하므로, 질의 이미지가 부분 정보만을 담고 있거나, 구체적인 위치 정보가 정확히 입력되어 있지 않더라도 성공적인 검색이 가능하게 되는 특징을 갖게 된다.

본 발명은 멀티미디어 분야의 이미지 검색에서 내용이나 색상과 같은 이미지의 내용에 국한된 것이 아나라 이미지상의 객체간의 공간관계를 이용하는 것으로, 우선 도 2를 참조하여 우선 본 발명의 실시예에 따른 이미지 작성 방법을 설명한다.

우선, 사용자의 관심영역 지정정보 수신 단계(S10)로서, 데이터화를 위해 입력받는 원본 이미지들은 우선 상기 관심영역 표현부(20)를 통과하게 된다.

상기 관심영역 표현부(20)는 시스템으로 불러들인 원본 이미지를 사용자가 직접 보고 자신이 관심 있는 객체를 마우스의 드래그를 통해서 선택할 수 있도록 지원하게 되는데, 사용자가 관심 있어 하는 부분인 관심영역(ROI : Region of Interest)에는 원본 이미지의 객체가 포함되게 된다.

즉, 도 3을 참조하면, 이미지 작성화면(100)에서 사용자는 원본 이미지(110)에 대하여 사용자가 기준점(111) R 을 중심으로 관심있어 하는 적어도 하나 이상의 관심영역(112)을 직접 마우스의 드래그로 각각 지정하게 되고 상기 관심영역 표현부(20)는 해당 관심영역 지정정보를 수신한다.

다음으로, 관심영역 내 객체들의 3차원 공간관계 분석 단계(S20)로서, 사용자가 선택한 관심영역(112)에는 원본 이미지의 객체가 포함되어 있는데 상기 공간 분석기(30)에서는 각 객체들의 x, y, z 축의 3차원 좌표값을 분석하게 되고 분석된 좌표값을 이용해서 각각의 객체들간의 공간 위치 관계를 분석할 수 있게 된다.

이때, 본 발명에서 각각의 객체들간의 위치 관계 분석을 위해 사용되는 공간관계는 도 4에 도시된 바와 같이 총 13가지의 공간관계를 가진다.

이러한 13가지 공간관계에서 Lupper, Llower, Rupper, Rlower, Upper, Below, Right, Left, Center, Overlap 의 앞에서 10 번째 까지의 연산자들은 각 관심영역(23)들에 있어서 서로간의 2차원적인 공간관계를 객관적으로 나타내기 위한 것이고, Inside, Outside, In front of 의 나머지 마지막 세 가지 연산자들은 각 관심영역(23)들간의 3차원적인 공간관계를 나타내기 위한 것이다.

이와 같은 3차원 공간관계는 상대좌표와 절대좌표로 표현할 수 있고, 3차원 공간에서의 경우 객체의 공간 위치 좌표는 x, y, z 좌표값으로 나타낼 수 있다. 이와 같은 위치 좌표를 공간 위치 점(Spatial location point)이라고 하는데 단순화를 위해서 각각의 이미지 객체는 하나의 공간 위치 좌표로 표현된다.

이미지 공간 위치 점들 간의 공간관계를 표현하기 위해서 본 발명에서는 이미지를 도 5에 도시된 바와 같이 같은 크기의 사분원으로 분할한다. 도 5를 참조하면 공간 위치 점(L1, L2, L3)이 서로 다른 사분원에 위치한 공간 위치 좌표를 나타낸다.

n 개의 객체들로 구성된 이미지가 있다고 가정할 때, 그래프를 이용해서 객체간의 공간관계를 정의할 수 있는데 이것을 공간 그래프(Spatial graph)라고 한다. 도 6에서 좌측 도면은 집, 차량, 나무 및 도로상의 차량의 객체를 나타내는 원본 이미지이고, 우측 도면은 집, 차량, 나무 및 도로상의 차량의 객체를 각각 L1, L2, L3, L4로 나타내는 공간 그래프이다.

다음으로, 관심영역의 3차원 공간 그래프 출력 단계(S30)로서, 상술한 공간관계 분석 단계에서 분석된 각 객체들의 공간 그래프를 도 3에 도시된 바와 같이 사용자가 인식 가능하도록 공간 그래프창(121)으로 출력한다.

다음으로, 객체들의 3차원 공간관계의 주석처리 단계(S40)로서, 해당 이미지 객체들이 가지고 있는 3차원적인 공간관계를 도 4에 도시된 13가지의 연산자를 이용하여 정의하고 이를 주석부(40)를 통해 주석 처리하여 도 3의 공간관계 주석창(134)으로 출력한다.

이때, 이러한 공간관계에 관한 주석은 현재 표준이 된 웹 상의 표현 방식인 XML(eXtensible Markup Language)를 사용한다. XML을 이용하여 주석처리를 하게 되면 구조화된 질의가 가능하기 때문에 기존의 내용기반 검색 보다 더 높은 효율성을 얻을 수 있게 된다.

다음으로, 객체들의 특징정보 주석처리 단계(S50)로서, 각각의 객체에 대하여 상기 도 3의 색상 입력창(131) 및 키워드 입력창(132)을 통해 사용자로부터 색상 및 키워드 정보를 입력받고 이를 주석부(40)를 통해 주석처리한다.

상기 S40 단계 및 S50 단계를 통하여 각 객체별로 공간관계, 색상, 키워드에 대하여 XML을 통해 주석처리된 결과가 도 7에 도시되어 있다.

이때, 도 7의 좌측에 도시된 공간관계 주석에서는 각 객체별로 다른 객체와의 공간관계를 여러 연산자를 통하여 나타내어 각 객제가 다른 객체와의 관계에서 3차원적으로 정의된 공간관계를 확인할 수 있으며, 우측에 도시된 색상 및 키워드 주석에서는 각 객체별로 그 색상 특성이 RGB 값으로 직접 나타나게 되고 사용자로부터 입력되는 특정 키워드가 포함되어 해당 객체의 의미적 특징을 직접적으로 표현할 수 있게 된다.

이때, 도 3의 특징설명 입력창(133)을 통해 해당 객체의 특징을 간략하게 기술하여 보다 상세한 이미지 작성 및 보다 효율적인 이미지 검색이 이루어질 수 있도록 할 수도 있다.

다음으로, 원본 이미지 및 주석정보 저장 단계(S60)로서, 해당 원본 이미지는 상기 이미지 DB(50)에, 그리고 해당 원본 이미지에 대한 공간관계 및 특징(색상, 키워드)에 관한 주석은 상기 주석 DB(60)에 각각 저장시킨다.

한편, 도 8을 참조하여 본 발명의 실시예에 따른 이미지 검색 방법을 설명한다.

우선, 질의 객체 이미지 작성 단계(S110)로서, 사용자는 도 9에 도시된 바와 같은 이미지 검색화면(200)의 질의 캔버스(210)에 자신이 찾고자 하는 타겟 이미지내의 객체들의 위치관계를 작성한다.

다음으로, 질의 객체 특징 작성 단계(S120)로서, 사용자는 상기 이미지 검색화면에서 색상 검색창(220) 및 키워드 검색창(230)에 찾고자 하는 타겟 이미지내의 객체들의 특징인 색상 및 키워드를 각각 입력한다.

다음으로, 사용자 질의에 대한 주석 처리 단계(S130)로서, 사용자로부터 입력된 질의 이미지의 각 객체들에 대한 공간 위치 관계 분석을 수행하여 해당 질의 이미지에 대한 공간관계 주석을 XML로 작성하는 한편, 사용자로부터 입력된 질의 이미지의 각 객체들에 대한 색상 및 키워드에 관한 주석을 XML로 작성한다.

다음으로, 질의 주석과 원본 주석 비교 단계(S140)로서, 사용자의 질의에 의해 작성된 공간관계, 색상, 키워드에 관한 주석정보를 이용하여 상기 주석정보 DB 에 기저장된 주석정보들 중 해당 질의 이미지에 의한 주석정보와 일치 또는 유사한 주석정보가 존재하는지 여부를 검색한다.

다음으로, 주석 유사도 순으로 검색 이미지 출력 단계(S150)로서, 상기 제 S140 단계의 검색결과 검색된 유사 주석정보들을 상기 주석정보 DB로부터 추출하고 해당 주석정보에 상응하는 기저장된 이미지를 상기 이미지 DB로부터 추출하여 상기 이미지 검색창의 검색결과 출력창(240)에 검색결과 이미지의 유사도 순으로 출력한다.

이때, 이러한 질의 이미지의 주석과 검색 이미지 주석간 유사도를 판단하기 위하여, 각 객체간의 공간관계를 표시하는 연산자들에는 각각 유사도값을 설정하게 된다.

즉, 질의 이미지의 공간관계 분석이 끝나게 되면, 이것과 유사한 공간관계를 가진 이미지를 데이터베이스에서 검색하게 된다. 이때 질의 이미지와 저장된 이미지간의 공간관계를 비교하게 되는데, 본 발명에서는 연산자간의 유사 정도를 측정하기 위해서 위치 연산자간의 유사 정도를 수치화한 유사도(degree of similarity)를 사용하게 되는 것이다.

예를 들어, 위치 연산자 A Lupper B 와 A Left B 에서 공통적으로 알 수 있는 것은 A 객체는 B 객체의 왼쪽에 있음을 알 수 있다. 왼쪽 아래를 나타내는 연산 자 Llower 와 오른쪽 위츨 나타내는 Rupper 는 유사관계가 전혀 없음을 알 수 있다.

따라서, 상기 13 가지의 위치 연산자들간의 유사 정도를 각각 수치화한 유사도를 통해 질의 이미지와 저장된 이미지간의 공간관계를 공간관계 주석의 비교로서 직접 비교할 수 있게 된다.

또한, 이러한 공간관계 외에 색상 주석의 경우, 해당 색상 주석이 RGB 값으로 표현되기 때문에 질의 이미지의 주석과 저장된 이미지의 주석간 객체 색상에 대한 직접적인 수치 비교가 이루어질 수 있게 된다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.

이상에서 살펴본 바와 같이, 기존의 공간 유사도를 이용한 이미지 검색 기법의 문제점이 이미지 객체간의 2차원 관계만 인식할 수 있기 때문에 검색 정확도면에서 좋지 못한 성능을 나타내고 객체에 대한 정보가 일반적인 텍스트로 되어 있기 때문에 다른 시스템에 적용을 한다든가 구조화된 질의가 불가능하였지만 본 발명에 나타난 공간관계와 주석을 이용한 이미지 검색 방법은 2차원 뿐만 아니라 3차원 관계도 인식할 수 있기 때문에 검색 정확도가 높고 객체에 대한 정보가 XML 로 되어 있기 때문에 질의 이미지와 데이터베이스 내에 있는 이미지들 간의 유사성을 효율 적이고 신속하게 계산할 수 있게 되는 효과가 있다.

또한, 주석기반 질의나 내용기반 질의 뿐만 아니라 사용자의 성향에 따라 이를 규합한 다양한 형태의 복합질의가 가능하게 되는 효과도 있다.

또한, 위치 연산자간의 유사도 값을 미리 정의함으로써 질의와 데이터베이스 내의 이미지간의 유사도를 수치화함으로써 보다 정확한 검색결과를 얻을 수 있게 되는 효과도 있다.

Claims

(a) 원본 이미지에 대하여 사용자가 선택한 적어도 하나 이상의 관심영역 지정정보를 수신하는 단계;

(b) 상기 관심영역에 포함된 객체들의 3차원 좌표값을 분석하여 공간 위치 점으로 각각 단순화시키고, 해당 공간 위치 점들간의 3차원 공간관계를 분석하는 단계;

(c) 원본 이미지에서 상기 객체들이 가지고 있는 3차원 공간관계에 대하여 객체간 2차원적 공간관계와 객체간 3차원적 공간관계를 표현하는 3차원 위치 연산자들을 이용하여 각각 정의하고 해당 공간관계 정의 정보를 주석처리하는 단계;

(d) 적어도 하나 이상의 상기 공간관계에 관한 원본 주석들 및 상응하는 원본 이미지들을 저장하여 데이터베이스를 구축하는 단계;

(f) 질의 캔버스를 통하여 사용자로부터 작성된 질의 이미지를 통해 적어도 하나 이상의 3차원 객체 정보를 수신하는 단계;

(g) 상기 질의 이미지에서 사용자에 의해 작성된 각 객체들에 대한 3차원 공간 위치 관계를 분석하고, 객체간 2차원적 공간관계와 객체간 3차원적 공간관계를 표현하는 3차원 위치 연산자들을 이용하여 주석처리하는 단계;

(h) 상기 질의 이미지에 의해 작성된 질의 이미지내 각 객체들의 공간관계에 관한 3차원 위치 연산자 기반 질의 주석과 기저장된 데이터베이스상의 검색대상 원본 이미지내 각 객체들의 공간관계에 관한 3차원 위치 연산자 기반 주석들과의 유사도를 비교하는 단계; 및

(i) 상기 비교 결과, 검색된 유사 원본 주석들을 추출하고 해당 추출된 원본주석에 상응하는 기저장된 원본 이미지를 사용자에게 제공하는 단계; 를 포함하되,

상기 (c) 및 (g) 단계에서,

상기 객체들간의 2차원적 공간관계를 표현하기 위해,

일객체의 비교객체에 대한 8방위 점유위치를 나타내는 각 방위별 위치속성정보와, 일객체 또는 비교객체의 이미지 중심위치 점유여부정보와, 일객체와 비교객체의 중첩여부정보를 표현하는 2차원적 위치 연산자를 사용하고,

상기 객체들간의 3차원적 공간관계를 표현하기 위해,

일객체가 비교객체의 내부에 존재하는지 여부에 관한 정보와, 일객체가 비교객체의 외부에 존재하는지 여부에 관한 정보와, 일객체가 비교객체의 앞에 존재하는지 여부에 관한 정보를 표현하는 3차원적 위치 연산자를 사용하여,

각각의 객체들간의 3차원적인 공간관계를 주석처리하는 것을 특징으로 하는 공간 관계와 주석을 이용한 이미지 검색 방법.
삭제
삭제
삭제
제 1항에 있어서,

상기 원본 또는 질의 이미지에 포함된 객체의 공간관계 또는 특징에 관한 주석은 XML(eXtensible Markup Language)로 표현되어 처리되고,

상기 3차원 위치 연산자들은 3차원 공간 그래프 상에 위치한 하나의 객체에 대한 다른 객체의 2차원 및 3차원적 공간관계를 표현할 수 있게 되며, 위치 연산자간의 유사 정도는 유사도로서 수치화되어 유사 정도가 비교가능하게 되는 것을 특징으로 하는 공간 관계와 주석을 이용한 이미지 검색 방법.
제 1항에 있어서,

상기 원본 주석이 상기 원본 이미지에서 객체들이 가지고 있는 특징인 색상 또는 키워드에 관해 주석처리된 특징 주석을 포함하는 경우에,

해당 사용자로부터 작성된 상기 질의 이미지에서 각각의 객체에 대한 특징인 색상 또는 키워드 정보를 수신하고 주석처리하여, 기저장된 원본 이미지들의 색상 및 키워드에 관한 특징 주석들과 비교해 유사한 특징 주석을 가진 원본 이미지를 사용자에게 제공하는 것을 특징으로 하는 공간관계와 주석을 이용한 이미지 검색 방법.
삭제