KR20100034153A - 크기 변화, 회전, 절삭에 강인한 내용기반 영상 검색 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 자료를 데이터베이스에 입력할 때 영상자료를 분석하여 그 특징을 추출하고, 이를 이용하여 데이터베이스에 인덱스로 사용함으로써 영상 자료 자체를 검색어로 사용할 수 있도록 한 내용기반 영상 검색 방법 장치에 관한 것이다.

이러한 본 발명에 따른 영상 검색은 영역별로 핑거프린트를 추출하여 데이터베이스에 인덱스로 사용함으로써 각 영상의 내용을 기반으로 한 이미지 검색이 가능하고, 특히, 영역 탐색을 통해 추출되는 특정 영역이 영상의 크기 변화나 회전, 절삭에도 왜곡되지 않으므로 검색의 정확도가 높다.

내용기반, 영상 검색, 회전, 절삭, 핑거프린트

Description

크기 변화, 회전, 절삭에 강인한 내용기반 영상 검색 방법 및 장치{METHOD AND APPARATUS FOR CONTENT-BASED IMAGE RETRIEVAL WHICH IS ROBUST AGAINST RESIZING, ROTATION, AND CROPPING}

본 발명은 내용기반 영상 검색에 관한 것으로, 더욱 상세하게는 영상 자료를 데이터베이스에 입력할 때 영상자료를 분석하여 그 특징을 추출하고, 이를 이용하여 데이터베이스에 인덱스로 사용함으로써 영상 자료 자체를 검색어로 사용할 수 있도록 한 내용기반 영상 검색 방법 장치에 관한 것이다.

지난 몇 년간 정보시스템 분야에서 가장 변화한 것 중의 하나는, 처리하고자 하는 정보의 형태가 단순한 텍스트 정보가 아닌 영상, 비디오, 오디오 등이 결합된 디지털 멀티미디어 정보라는 것이다.

최근, 이런 멀티미디어 정보들의 매일 엄청난 양으로 나오고 있으며 데이터의 양 또한 과거의 텍스트 정보와 비교할 수 없을 정도로 방대하다.

따라서, 멀티미디어를 효율적으로 표현하고 저장하고 원하는 정보를 쉽게 검색하는 방법의 필요성이 점점 증대하고 있어서, 이에 관련된 여러 가지 다양한 방법들이 활발히 연구되고 있다.

특히, 영상 데이터베이스나 여러 순차 영상들로부터 원하는 것을 찾고자 하는 영상 검색 방법은 영상 처리의 새로운 분야로 각광을 받고 있다.

영상 검색 기법은 전자도서관, 실시간 거래, 트레이드마크 검색 등으로 그 응용 범위가 점점 확대되고 있으며, 특히 앞으로 다가오는 정보화 사회에 필수적인 기술이라고 할 수 있다.

이러한 영상 검색 기법에는 텍스트 주석에 기반한 검색 방법과 내용 기반에 의한 검색 방법이 있다.

텍스트에 기반한 검색 방법은, 데이터베이스에 영상자료(정지영상, 동영상, 그림 등)을 입력할 경우 검색도구로서 기 입력된 키워드(KEYWORD) 혹은 계산할 수 있는 입력된 값에 의해서만 검색이 가능하다. 따라서, 이러한 데이터베이스를 사용하여 영상을 저장하기 위해서는 저장되는 영상과는 별도로 설명(주석)을 같이 입력시켜 주어야 하는 불편함이 있다.

내용 기반에 의한 검색 방법은 영상의 내용요소들인 색상, 질감, 물체의 모양 및 공간적 관계 등과 같은 영상의 특징과 속성을 이용하여 영상자료간의 유사성을 계산하고, 계산된 유사도(similarity distance)를 바탕으로 영상을 검색하는 방법이다. 이러한 내용 기반에 의한 검색 방법은 텍스트 기반 검색 방법보다 객관적이고 유사성이 높은 영상의 통계적, 기하학적 특징을 사용하므로 멀티미디어 영상 검색에 효율적이라 할 수 있다.

내용 기반에 의한 검색을 위해서는 컬러, 질감, 모양 등 다양한 영상의 특징을 검색 요소로 이용하여야 하는데, 종래에는 일 예로 컬러 히스토그램을 이용하여 검색하는 방법이 있다. 이 방법은 영상을 색상 분포 그래프로 표시한 후 각각의 영상에서 얻은 그래프들을 비교하여 그래프들간 차이로 영상의 비슷한 정도를 판단하는 방법이다.

또, 다른 예로는 영상의 전체 평균 색상만으로 비교하는 방법이 있는데, 이 방법은 영상 전체에 분포되어 있는 색상의 산술 평균값으로 그 영상을 대표하여 비교하는 방법이다.

또 다른 예로, 레이아웃의 유사성 판별법이 있다. 영상을 몇 개의 블록(예컨대, 5*5)으로 나눈 후 각 블록의 평균 색상으로 두 영상간의 레이아웃 유사성을 판별하는 방법이다.

그러나, 상술한 종래의 컬러 히스토그램 및 전체 평균 색상을 이용한 방법들은 영상 검색시 영상의 전체에 대하여 검색이 이루어지므로, 영상의 크기가 변화하거나 회전 또는 절삭된 경우 유사한 영상을 찾아내지 못하는 문제점이 있다.

본 발명은 이러한 문제점을 해결하기 위해서 도출된 것으로서, 영상의 내용에 기반하여 영상의 특정 영역을 탐색하고, 탐색된 특정 영역에서 특징 벡터를 추출함으로써 영상 검색시 영상의 크기 변화나 회전, 절삭에 구애받지 않고 영상 자체를 검색어로 사용할 수 있는 내용기반의 영상 검색 방법 및 장치를 제공한다.

상기 기술적 과제를 달성하기 위한 본 발명의 내용기반 영상 검색 장치는, 각종 영상의 핑거프린트 벡터를 포함한 디렉토리 정보가 저장된 영상 정보 DB; 사용자가 검색하고자 원하는 검색 영상이 입력되면 상기 검색 영상을 복호화하여 압축 해제하는 영상 복호화 모듈; 상기 복호화된 검색 영상의 크기를 일정 크기로 정규화시키는 영상크기 변환모듈; 상기 정규화된 검색 영상을 극대 또는 극소 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출하는 영역 탐색 모듈; 상기 특정 영역의 핑거프린트 벡터를 추출하는 핑거프린트 추출 모듈; 및 상기 핑거프린트 추출 모듈을 통해 추출된 특정 영역별 핑거프린트 벡터를 상기 영상 정보 DB에 저장된 다른 영상의 핑거프린트 벡터와 영역별 비교하여 서로 가까운 핑거프린트 벡터끼리 매칭시키고, 이때 매칭되는 영역들이 일정 비율 이상이 되면 유사한 영상임을 판별하는 유사도 계산 모듈을 포함하여 구성될 수 있다.

한편, 상기 기술적 과제를 달성하기 위한 본 발명의 내용기반 영상 검색 방법은, (A) 각종 영상을 분석하여 영상 정보 DB에 데이터베이스화하는 단계; (B) 사 용자가 검색하고자 원하는 검색 영상이 입력되면 상기 검색 영상을 복호화하여 압축 해제하는 단계; (C) 상기 복호화된 검색 영상의 크기를 일정 크기로 정규화하는 단계; (D) 상기 정규화된 검색 영상을 극대 또는 극소 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출하는 단계; (E) 상기 특정 영역의 핑거프린트 벡터를 추출하는 단계; (F) 상기 검색 영상에서 추출된 특정 영역별 핑거프린트 벡터를 상기 영상 정보 DB에 저장된 다른 영상의 핑거프린트 벡터와 영역별 비교하여 서로 가까운 핑거프린트 벡터끼리 매칭시키고, 이때 매칭되는 영역들이 일정 비율 이상이 되는지 유사도를 판별하는 단계; 및 (G) 상기 판별 결과를 결과표시장치로 출력하여 표시하는 단계를 포함하여 구성될 수 있다.

상기한 본 발명에 따르면, 영역 기반으로 영상을 검색하기 때문에 크기 변화뿐만 아니라, 회전, 절삭에 대해서도 강인한 효과가 있다. 예를 들면, 영상이 일부분 잘려 나갔다고 하더라도 영역별로 검색되기 때문에 남은 부분에서 같은 영역이 탐색된다면 원하는 영상을 검색할 수 있다. 따라서, 전체 영상을 기준으로 하여 검색하는 방법에 비해 검색 정확도가 높은 효과가 있다.

또한, 영역의 특징 벡터를 컬러 히스토그램이나 그 외 회전에 가능한 방법을 적용하여 추출하기 때문에 영상이 회전된 경우라도 특징 벡터(핑거프린트 벡터)에 변화가 없어 영상 검색이 보다 효율적이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 내용기반의 영상 검색 방법 및 장치에 대하여 상세히 설명한다.

본 실시예에서는, 영상자료를 분석하여 영상내 특정 영역을 추출하고, 추출한 특정 영역의 색상 정보를 인덱스로 사용하여, 검색시 한 영상의 특징 영역을 기반으로 검색할 수 있는 시스템을 구현함으로써 보다 효과적인 영상을 검색할 수 있도록 한다.

여기서, 언급하는 특정 영역이라 함은 영상 내에서 극대(밝은 부분) 또는 극소(어두운 부분)를 중심으로 하여 구분되는 영역을 의미한다.

예를 들면, 검은 빌딩 앞에 썬그라스 쓴 사람이 서 있는 영상 이미지의 경우, 극소를 중심으로 하여 구분되는 특정 영역은 썬그라스, 검은 빌딩, 사람의 머리(검은색 계통의 경우) 등과 같이 명암이 어두운 영역이 될 수 있으며, 극대를 중심으로 구분되는 특정 영역은 사람의 옷(밝은색 계통의 경우에 해당됨) 등과 같이 명암이 밝은 영역이 될 수 있다.

이러한 특정 영역은 영상의 밝기 정보에 의해 결정되기 때문에 일정한 패턴이나 규칙이 없이 영상마다 다르게 탐색될 수 있다.

이하에서 자세히 설명한다.

도 1은 본 발명의 실시예에 따른 내용기반의 영상 검색 장치를 나타낸 구성도이다.

본 발명의 실시예에 따른 내용기반의 영상 검색 장치는 운용자로부터 영상을 입력받아 저장하고, 저장된 영상의 특징을 추출하여 저장하며, 검색 대상인 영상(이하, 검색 영상)과의 유사도를 계산하여 저장하기 위한 영상입력장치(100)와, 영 상 및 특징 벡터(핑거프린트 벡터) 등이 저장되는 저장장치(200), 및 유사도에 따른 영상을 출력하는 결과표시장치(300)를 포함한다.

구체적으로, 저장장치(200)는 각종 영상의 핑거프린트 벡터를 포함한 영상 정보를 저장하는 영상 정보 DB(220), 영상의 핑거프린트 벡터 정보를 특정 영역별로 저장하는 영역별 핑거프린트 벡터 DB(240)를 포함할 수 있다.

영상입력장치(100)는 입력 제어 모듈(110)과 영상 복호화 모듈(120), 영상크기 변환모듈(130), 영역 탐색 모듈(140), 핑거프린트 추출 모듈(150), 유사도 계산 모듈(160)을 포함할 수 있다.

이의 각 구성요소를 도 6 내지 도 13에 도시된 영상 이미지를 예로 들어 설명하기로 한다.

입력 제어 모듈(110)은 운용자로부터 영상을 입력받아 영상 정보 DB(220)에 저장하는데, 입력시 영상이 영상 정보 DB(220)에 이미 입력되어 있는지를 판단한 후 입력되어 있지 않으면 영상 복호화 모듈(120) 및 영상크기 변환 모듈(130)을 통해 정규화시킨 다음, 영역 탐색 모듈(140)과 핑거프린트 추출 모듈(150)을 통해 영상의 특징을 추출하여 핑거프린트 벡터(특징 벡터)를 만들고, 그 각각의 특징별로 추출된 핑거프린트 벡터를 영역별 핑거프린트 벡터 DB(240)에 저장시키도록 제어한다.

그리고, 입력 제어 모듈(110)은 기존에 동일한 영상이 이미 영상 정보 DB(220)에 입력되어 있으면, 그 영상에 대해서는 더 이상 처리하지 않고 후속 영상을 선택하여 상기의 동작을 반복하도록 제어한다.

영상 복호화 모듈(120)은 입력 제어 모듈(110)로부터 입력되는 영상을 처리하기에 용이한 형식으로 복호화하여 압축 해제한다.

영상크기 변환모듈(130)은 복호화된 영상의 크기를 처리하기에 용이한 크기로 정규화한다. 도 6을 참조하여 예를 들면, 영상의 크기가 250*250 또는 480*360 정도인 원래의 영상을 가로, 세로 비율에 맞추어 100*100 정도의 정규 크기로 줄여 리사이즈(resize)화할 수 있다.

영역 탐색 모듈(140)은 정규화된 영상을 극대(밝은 부분) 또는 극소(어두운 부분)를 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출한다.

즉, 영역 탐색 모듈(140)은 영상의 밝기 정보에 근거하여 특정 영역을 추출한다.

예컨대, 도 7을 참조하면, 뒷 배경에 다수의 빌딩이 존재하고, 한 남자가 검은 썬글라스를 쓰고 휴대폰을 사용하는 영상 이미지가 도시되어 있다.

이러한 영상 이미지에서, 극대를 중심으로 추출된 특정 영역은 도 7의 (A)에 표시한 영역과 같이 하늘 구름(a1)과, 옷 소매(a2), 옷 어깨부분(a3), 옷 깃(a4), 흰 빌딩(a5) 등으로 구분될 수 있다. 또한, 극소를 중심으로 추출된 특정 영역은 도 7의 (B)에 표시한 영역과 같이 검은 빌딩(b1, b2, b3)과, 남자의 머리(b4), 검은 썬글라스(b5), 휴대폰(b6), 턱수염(b9), 팔 또는 옷 깃에 그늘진 부분(b7, b8) 등으로 구분될 수 있다.

도 8을 참조하면, 극대를 중심으로 추출한 특정 영역은 영상 이미지를 흑백 으로 표현하고 점점 더 밝게 했을 때 주변보다 밝은 영역이 된다.

반면, 극소를 중심으로 추출한 특정 영역은 도 9에 도시된 바와 같이 영상 이미지를 흑백으로 표현하고 점점 더 밝게 했을 때 주변보다 어두운 영역이 된다.

이때, 극대 또는 극소를 중심으로 추출한 특정 영역은 영상의 밝기 정보에 의해 결정되며 그 수에 제한적이지 않기 때문에, 이를 통한 영역 탐색 모듈(140)은 영상의 내용을 기반으로 한 추출 방식이라 할 수 있다.

이러한 영역 탐색 방식에 따르면, 영상의 이미지가 회전이나 절삭 등에 의해 변화하더라도 특정 영역에 대한 특성은 동일하게 나타난다. 따라서, 동일한 영상 이미지라면 동일한 특정 영역을 탐색해 낼 수 있으므로 영상의 크기 변화나 회전, 절삭 등에도 정확한 영상 검색이 가능하다.

핑거프린트 추출 모듈(150)은 영역 탐색 모듈(140)을 통해 구분된 특정 영역에 대하여 핑거프린트 벡터(특징 벡터)를 추출한다.

예를 들면, 설명한 영상 이미지에서 극소를 중심으로 탐색한 특정 영역의 핑거프린트 벡터는 도 10에 도시된 바와 같이 추출될 수 있다.

여기서, 핑거프린트(finger print)는 사전적 의미로 손가락 끝마디의 바닥면에 있는 융선(隆線)이 만드는 무늬를 일컫는 말인데, 지두(指頭)를 물체상에 눌러 찍음으로써 물체 표면에 남는 이 무늬에 의한 영상을 말한다. 한편, 내용상 의미로 살펴보면, 핑거프린트는 텍스트, 이미지, 비디오, 오디오 등의 콘텐츠를 구별할 수 있는 고유 식별 정보를 의미할 수 있다.

본 실시예에서의 핑거프린트는 사전적 의미보다는 내용적 의미에 더 가깝다. 따라서, 이하에서 언급하는 핑거프린트 벡터는 다수의 특정 영역을 식별할 수 있는 특징 벡터를 의미한다.

다수의 특정 영역에 대하여 핑거프린트 벡터를 추출하는 과정은 각 특정 영역의 컬러 히스토그램에 기인할 수 있으며, 이 외 회전에 강인한 다른 방법을 이용하는 것도 가능하다. 컬러 히스토그램 이외에도 질감 정보, 주파수 정보 등을 이용하여 핑거프린트를 구성할 수 있다.

컬러 히스토그램은 색상에 따른 분포도로서, 각 특정 영역에 존재하는 픽셀(pixel)의 RGB 색상값에 근거한다.

일반적으로, 특정 영역을 이루는 픽셀(pixel)들은 R(적색), G(녹색), B(청색)의 색상값을 가지는데, 각 픽셀마다 서로 다른 RGB 색상값을 가진다.

도 11a을 참조하면, 하나의 눈을 표현하기 위해 수많은 픽셀들이 배열된 것을 볼 수 있다.

이 중 제1 픽셀(pixel 1)의 RGB값(이하, 제1 픽셀값)은 (98, 74, 47)이고, 제2 픽셀(pixel 2)의 RGB값(이하, 제2 픽셀값)은 (194, 133, 112)이며, 제3 픽셀(pixel 3)의 RGB값(이하, 제3 픽셀값)은 (216, 175, 164)임을 보여주고 있다.

이러한 픽셀값을 도 11b에 도시된 바와 같이 64개의 3차원 색 공간으로 구분된 영역에 각각 매핑하여 도수를 구한 다음 그 합이 1이 되도록 정규화하여 컬러 히스토그램을 생성한다. 그리고, 이것을 도 11c에 도시된 바와 같이 64개의 색 공간의 정규화된 도수 값을 하나의 벡터로 표현하면 64차원의 벡터를 추출할 수 있는데, 이때의 벡터가 핑거프린트 벡터가 된다.

따라서, 상기한 과정을 통한 핑거프린트 추출 모듈(150)은 각 특정 영역별 핑거프린트 벡터를 추출하여 영역별 핑거프린트 벡터 DB(240)에 특정 영역별로 저장할 수 있다.

이때, 핑거프린트 벡터는 한 영상에서 탐색되는 특정 영역의 수가 제한되지 않기 때문에 특정 영역의 수에 따라 많이 추출될 수 있고 또는 적게 추출될 수 있다.

유사도 계산 모듈(160)은 핑거프린트 추출 모듈(150)에서 추출된 핑거프린트 벡터들을 이용하여 영상 정보 DB(220)내 저장된 다른 영상의 핑거프린트 벡터와의 상호 유사도를 계산하고, 유사도에 따른 결과를 결과표시장치(300)에 표시한다.

이때, 두 영상의 핑거프린트 벡터간 유사도 판별은 입력한 영상의 핑거프린트 벡터와 영상 정보 DB(220)내 저장된 다른 영상의 핑거프린트 벡터간 오차를 계산하여, 입력한 영상의 핑거프린트 벡터와 가까운 핑거프린트 벡터들끼리 매칭시키고, 이때 매칭되는 영역들이 일정 비율 이상이 되는지 전체 유사도 비율을 계산함으로써 결정된다.

즉, 영상의 전체 유사도 비율은 수집한 영상과 입력한 영상의 핑거프린트 전체를 비교하여 서로 매칭되는 영역의 비율이다.

이에 따라, 유사도 계산 모듈(160)에서는 서로 매칭되는 비율이 일정 문턱값 이상이면 입력한 영상과 유사한 영상으로 판단하고, 서로 매칭되는 비율이 일정 문턱값 미만이면 입력한 영상과 다른 영상으로 판단할 수 있다.

도 12에는 원본 영상에 대하여 소정 각도로 회전된 영상을 검색어로 입력하 여 특정 영역별 핑거프린트 벡터를 원본 영상의 핑거프린트 벡터와 비교하는 도면이 도시되어 있으며, 도 13은 유사한 핑거프린트 벡터를 갖는 영상을 영상 전체에 대하여 서로 매칭되는 비율을 체크함으로써 유사도를 계산하는 도면이 도시되어 있다.

도 12에 도시된 바와 같이 원본 영상에 대하여 소정 각도로 회전된 영상이라 하더라도 회전된 영상에서 탐색된 특정 영역은 원본 영상에서 탐색된 특정 영역들에 일부 포함되어 있으므로, 특정 영역별 검색을 통해서 회전된 영상과 유사한 영상을 원본 영상에서 검색할 수 있다.

상기한 바와 같이 구성되는 본 발명의 실시예에 따른 내용기반의 영상 검색 시스템의 동작을 상세히 살펴보면 다음과 같다.

도 2는 본 발명의 실시예에 따른 내용기반의 영상 검색 방법을 설명하기 위한 순서도로, 도 1의 영상 검색 장치와 연계하여 설명한다.

먼저, 관리자로부터 데이터베이스를 구축하기 위한 소정 영상이 입력되면 입력 제어 모듈(110)은 영상 정보 DB(220)에 이미 저장되어 있는지를 판단한다.

영상 정보 DB(220)에 저장되어 있지 않으면, 영상 복호화 모듈(120), 영상크기 변환모듈(130), 영역 탐색 모듈(140), 핑거프린트 추출 모듈(150)을 통해 각 영상의 특정 영역별 핑거프린트 벡터를 추출한 다음, 영역별 핑거프린트 벡터 DB(240)에 저장해 둔다.

이와 반대로, 영상 정보 DB(220)에 입력된 소정 영상이 이미 저장되어 있으면, 그 영상에 대해서는 더 이상 처리하지 않고 후속 영상을 선택하여 상기의 동작 을 반복함으로써, 다양한 영상에 대한 데이터베이스를 구축한다.

이러한 과정을 거친 후, 사용자로부터 검색할 소정 영상(이하, 검색 영상)이 입력되면, 입력 제어 모듈(110)은 입력된 검색 영상을 영상 복호화 모듈(120)로 전달하여 복호화한다(S1, S2).

그리고, 영상크기 변환 모듈(130)에서, 복호화된 검색 영상의 크기를 일정 크기로 정규화(리사이즈화)한다(S3).

본 실시예에서, 사용자로부터 입력되는 검색 영상은 결과표시장치(300)가 임의로 선택해서 보여준 샘플 영상일 수도 있고, 사용자가 그린 영상(그림), 혹은 스캐너 등의 외부 영상 입력장치로부터 입력받은 영상데이터 또는 사용자가 지정한 색상과 그 비율 등이 될 수 있다.

이러한 검색 영상은 크기가 제각기 다르기 때문에 영상 처리하기에 용이한 일정 크기로 정규화하는 과정이 필요하다.

이후, 정규화된 검색 영상을 영역 탐색 모듈(140)에서 극대(밝은 부분) 또는 극소(어두운 부분)를 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출한다(S4).

여기서, 극대 및 극소는 영상의 밝기에 따라 결정된다. 즉, 정규화된 검색 영상을 흑백 처리하고 영상의 밝기를 점점 밝게 함으로써 주변 밝기와 구별되는 영역이 극대 또는 극소 중심의 영역이 된다.

구체적으로, 극대를 중심으로 추출된 특정 영역은 주변보다 밝은 영역에 해당되며, 극소를 중심으로 추출된 특정 영역은 주변보다 어두운 영역에 해당된다.

이와 같이 추출된 특정 영역은 영상 이미지에 따라 복수 개 추출될 수 있으므로 영상의 내용에 기반을 둔 방식이라 할 수 있다.

이후, 검색 영상에서 탐색된 특정 영역에 대하여 핑거프린트 벡터를 추출한다(S5). 그리고, 추출된 핑거프린트 벡터를 영역별 핑거프린트 벡터 DB(240)에 저장하여 데이터베이스화한다.

이러한 단계에서, 본 실시예에서는 일 예로, 컬러 히스토그램을 이용하여 핑거프린트 벡터를 추출할 수 있다.

즉, 핑거프린트 추출 모듈(150)에서 다수의 특정 영역에 포함되는 각 픽셀값을 64개의 3차원 색 공간으로 구분된 영역에 각각 매핑하여 도수를 구한 다음 그 합이 1이 되도록 정규화하여 컬러 히스토그램을 생성한다. 그리고, 컬러 히스토그램의 값을 하나의 벡터로 표현하면 64차원의 벡터를 추출할 수 있는데, 이때 추출된 벡터가 핑거프린트 벡터가 된다. 핑거프린트 벡터는 한 영상에서 탐색되는 특정 영역의 수에 따라 많이 추출될 수도 있고 또는 적게 추출될 수도 있다.

이 외, 다른 예로, 회전에 강인한 추출 방법이나 질감 정보, 주파 정보 등을 이용한 추출 방법을 이용하여 핑거프린트 벡터를 구성할 수도 있음은 물론이다.

이후, 추출된 핑거프린트 벡터에 대하여 영역별로 유사도를 계산하여 영상을 검색한다(S6). 이 유사도 계산 및 검색 단계는 이하의 도 3 내지 도 5에서 구체적으로 설명한다.

이후, 유사도 계산을 통해 나온 결과를 결과표시장치(300)에 표시한다(S7).

예를 들면, 유사도 계산을 통해 가장 유사한 영상이 검색되면 결과표시장 치(300)에 이를 표시하고, 가장 유사한 영상이 검색되지 않으면 결과표시장치(300)에 검색 오류 메시지 등을 표시할 수 있다.

도 3은 도 2의 유사도 계산 및 검색 단계를 세부적으로 설명하기 위한 순서도이고, 도 4 및 도 5는 도 3의 세부 순서도이다.

먼저 도 1의 구성요소와 연계하여 도 3을 참조하면, 본 발명의 실시예에 따른 유사도 계산 및 검색 단계(도 2의 S6)는, 검색 영상에서 추출된 일정 개수의 핑거프린트 벡터를 영역별 핑거프린트 벡터 DB(240)내 저장된 다른 영상의 핑거프린트 벡터와 비교 및 매칭하여 전체 유사도 비율이 일정 문턱값 이상이 되면 검색 영상과 유사한 영상 이미지로 판단하는 과정을 거친다.

즉, 처음 단계인 S61단계에서, 유사도 계산 모듈(160)은 검색 영상에서 추출된 핑거프린트 벡터를 영역별 핑거프린트 벡터 DB(240)에 저장된 영상 정보에 근거하여 특정 영역별로 검색한다.

영역별 핑거프린트 벡터 DB(240)에는 검색 영상 외 운용자로부터 입력된 다른 영상의 핑거프린트 벡터가 특정 영역별로 저장되어 있다.

따라서, 검색 영상에 대한 검색시 특정 영역별로 영상 검색이 가능하다.

다음 S63단계에서, 유사도 계산 모듈(160)은 검색 영상의 특정 영역별 핑거프린트 벡터와 가까운 핑거프린트를 매칭하고, 매칭된 핑거프린트를 갖는 영상 정보를 영상 정보 DB(220)에서 모두 수집한다.

여기서 언급하는 검색 영상의 특정 영역별 핑거프린트 벡터와 가깝다라는 것은 검색 영상의 핑거프린트 벡터와 비교할 대상인 비교 영상의 핑거프린트 벡터간 차이가 거의 없어 거리가 가까운 것처럼 유사한 것을 의미할 수 있다.

이러한 S63 단계는, 도 4에 도시된 바와 같은 과정을 통해 구현될 수 있다.

도 4를 참조하면, S63 단계는 검색 영상의 특정 영역별 핑거프린트 벡터와 영역별 핑거프린트 벡터 DB(240)에 저장된 비교 영상의 핑거프린트 벡터간 차이를 계산하고, 계산된 차이값이 허용오차 범위에 해당되는지를 판단하는 과정을 포함한다(S631, S632).

이때, 검색 영상의 특정 영역이 적어도 하나 이상인 N개라 하면, N개의 특정 영역에 대한 비교 검색은 하나의 비교 영상에 대하여 한꺼번에 이루어지거나 또는 순차적으로 하여 N번 이루어질 수 있다.

이후, 상기 차이값이 허용 오차 범위에 해당되면, 검색 영상의 특정 영역별 핑거프린트 벡터에 가까운 비교 영상을 매칭시키고(S633), 상기 차이값이 허용오차 범위에 해당되지 않으면 검색 영상의 모든 특정 영역에 대하여 비교가 이루어졌는지를 판단한다(S634). 이 판단 결과, 모든 특정 영역에 대하여 비교가 이루어지지 않았으면 나머지 특정 영역에 대한 비교 과정을 거치기 위해 상기 S631 단계로 리턴하고, 모든 특정 영역에 대하여 비교가 이루어졌으면 다른 비교 영상을 선택하거나 종료한다(S635).

다른 비교 영상을 선택한 경우는, 상기한 비교 과정을 거치기 위해 처음 S631단계로부터 순차적으로 반복 과정을 거친다.

그리고, 상기 S633 단계에서 해당 비교 영상과 매칭시킨 후에는 상기 S634 단계를 순차적으로 거친다.

다음 도 3의 S65단계에서, 유사도 계산 모듈(160)은 매칭되는 비교 영상과 검색 영상의 핑거프린트 벡터를 전체적으로 비교하여 매칭 영역에 대한 유사도 비율을 판단한다.

즉, 도 5에 도시된 바와 같이, S651단계에서, 검색 영상의 핑거프린트 벡터과 비교 영상의 핑거프린트 벡터간 매칭 여부를 전체 영역에 대하여 체크한다.

이를 테면, 검색 영상에서 추출되는 특정 영역이 전체 N개라면, 비교 영상 1번은 검색 영상의 1개의 특정 영역과 매칭되고, 비교 영상 2번은 검색 영상의 (N-3)개의 특정 영역과 매칭될 수 있다.

따라서, 다음 S652 단계에서, 이러한 매칭 여부를 체크하여 비율을 계산한다.

비율은 다양한 형태로 산출될 수 있으나, 상기한 일 예에 따르면, 비교 영상 1번은 검색 영상의 1개의 특정 영역과 매칭되므로 비율이 1/N로 산출될 수 있고, 비교 영상 2번은 검색 영상의 (N-3)개의 특정 영역과 매칭되므로 비율이 (N-3)/N로 산출될 수 있다.

다음 S653 단계에서, 산출된 비율값(m)이 정해진 일정 문턱값보다 큰 지를 판단한다.

판단 결과 계산한 비율값(m)이 정해진 문턱값보다 크면, S654 및 S655 단계에서, 비교 영상이 검색 영상과 유사한 영상임을 판단하고, 해당 비교 영상을 결과표시장치(300)로 출력한다.

이와 반대로, 판단 결과 계산한 비율값(m)이 정해진 문턱값보다 작으면, S656 단계에서, 비교 영상이 검색 영상과 다른 영상으로 판단하고 검색 오류 메시지를 결과표시장치(300)로 출력한다.

이상에서 설명한 바와 같이, 상기한 과정들을 통한 영상 검색은 영역별로 핑거프린트를 추출하여 데이터베이스에 인덱스로 사용함으로써 각 영상의 내용을 기반으로 한 이미지 검색이 가능하다. 특히, 본 발명의 실시예에 따른 영상 검색은 영역 탐색을 통해 추출되는 특정 영역이 영상의 크기 변화나 회전, 절삭에도 왜곡되지 않으므로 그 정확도가 높다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

도 1은 본 발명의 실시예에 따른 내용기반의 영상 검색 장치를 나타낸 구성도이다.

도 2는 본 발명의 실시예에 따른 내용기반의 영상 검색 방법을 설명하기 위한 순서도이다.

도 3은 도 2의 유사도 계산 및 검색 단계를 세부적으로 설명하기 위한 순서도이다.

도 4 및 도 5는 도 3의 세부 순서도이다.

도 6은 도 1의 영상크기 변환 모듈을 설명하기 위한 영상 이미지의 일 예이다.

도 7은 도 1의 영역 탐색 모듈을 설명하기 위한 영상 이미지의 일 예이다.

도 8 및 도 9는 도 1의 영역 탐색 모듈에서 극대 또는 극소 중심으로 영역을 탐색하는 과정을 상세히 보여주는 도면이다.

도 10은 도 1의 핑거프린트 추출 모듈을 설명하기 위한 영상 이미지의 일 예이다.

도 11a 내지 도 11c는 각 픽셀값을 핑거프린트 벡터로 추출하는 방법을 설명하기 위한 도면이다.

도 12 및 도 13은 도 1의 유사도 계산 모듈을 설명하기 위한 영상 이미지의 일 예이다.

<도면의 주요부분에 대한 부호의 설명>

100: 영상 입력 장치 110: 입력 제어 모듈

120: 영상 복호화 모듈 130: 영상크기 변환 모듈

140: 영역 탐색 모듈 150: 핑거프린트 추출 모듈

160: 유사도 계산 모듈 200: 저장 장치

220: 영상 정보 DB 240: 영역별 핑거프린트 벡터 DB

300: 결과 표시 장치

Claims (12)

1. 각종 영상의 핑거프린트 벡터를 포함한 디렉토리 정보가 저장된 영상 정보 DB;

   사용자가 검색하고자 원하는 검색 영상이 입력되면 상기 검색 영상을 복호화하여 압축 해제하는 영상 복호화 모듈;

   상기 복호화된 검색 영상의 크기를 일정 크기로 정규화시키는 영상크기 변환모듈;

   상기 정규화된 검색 영상을 극대 또는 극소 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출하는 영역 탐색 모듈;

   상기 특정 영역의 핑거프린트 벡터를 추출하는 핑거프린트 추출 모듈; 및

   상기 핑거프린트 추출 모듈을 통해 추출된 특정 영역별 핑거프린트 벡터를 상기 영상 정보 DB에 저장된 다른 영상의 핑거프린트 벡터와 영역별 비교하여 서로 가까운 핑거프린트 벡터끼리 매칭시키고, 이때 매칭되는 영역들이 일정 비율 이상이 되면 유사한 영상임을 판별하는 유사도 계산 모듈

   을 포함하는 내용기반 영상 검색 장치.
2. 제1항에 있어서,

   상기 특정 영역은 상기 검색 영상의 밝기 정보에 따라 복수 개 탐색되는 것을 특징으로 하는 내용기반 영상 검색 장치.
3. 제1항에 있어서,

   상기 핑거프린트 추출 모듈은 상기 특정 영역에 포함되는 각 픽셀의 색상값을 이용하여 생성된 컬러 히스토그램을 통해 추출 가능한 것을 특징으로 하는 내용기반 영상 검색 장치.
4. 제1항에 있어서,

   상기 유사도 계산 모듈은,

   상기 검색 영상에서 추출된 특정 영역별 핑거프린트 벡터와 상기 영상 디렉토리에 저장된 다른 영상의 핑거프린트 벡터간 오차가 정해진 허용 오차 범위에 해당되는지를 판단하여 가까운 정도에 따라 매칭시키는 것을 특징으로 하는 내용기반 영상 검색 장치.
5. 제1항에 있어서,

   상기 핑거프린트 추출 모듈에서 추출된 핑거프린트 벡터를 상기 특정 영역별로 저장하는 영역별 핑거프린트 벡터 DB

   를 추가로 포함하는 내용기반 영상 검색 장치.
6. 제1항에 있어서,

   상기 유사도 계산 모듈을 통해 검색된 결과를 표시하는 결과표시장치를 추가 로 포함하는 내용기반 영상 검색 장치.
7. 제1항에 있어서,

   상기 사용자로부터 데이터베이스화 요구가 입력됨에 따라 각종 영상을 분석하여 데이터베이스화하는 입력 제어 모듈을 추가로 포함하는 내용기반 영상 검색 장치.
8. (A) 각종 영상을 분석하여 영상 정보 DB에 데이터베이스화하는 단계;

   (B) 사용자가 검색하고자 원하는 검색 영상이 입력되면 상기 검색 영상을 복호화하여 압축 해제하는 단계;

   (C) 상기 복호화된 검색 영상의 크기를 일정 크기로 정규화하는 단계;

   (D) 상기 정규화된 검색 영상을 극대 또는 극소 중심으로 탐색하여 주변보다 밝은 또는 어두운 영역의 특정 영역을 추출하는 단계;

   (E) 상기 특정 영역의 핑거프린트 벡터를 추출하는 단계;

   (F) 상기 검색 영상에서 추출된 특정 영역별 핑거프린트 벡터를 상기 영상 정보 DB에 저장된 다른 영상의 핑거프린트 벡터와 영역별 비교하여 서로 가까운 핑거프린트 벡터끼리 매칭시키고, 이때 매칭되는 영역들이 일정 비율 이상이 되는지 유사도를 판별하는 단계; 및

   (G) 상기 판별 결과를 결과표시장치로 출력하여 표시하는 단계

   를 포함하는 내용기반 영상 검색 방법.
9. 제8항에 있어서,

   상기 (D) 단계에서,

   상기 특정 영역은 상기 검색 영상의 밝기 정보에 따라 복수 개 탐색되는 것을 특징으로 하는 내용기반 영상 검색 방법.
10. 제8항에 있어서,

    상기 (E)단계는,

    상기 추출된 핑거프린트 벡터를 상기 특정 영역별로 저장하는 단계를 추가로 포함하는 내용기반 영상 검색 방법.
11. 제8항에 있어서,

    상기 (F)단계에서의 매칭 방법은,

    (F-1) 상기 검색 영상에서 추출된 특정 영역별 핑거프린트 벡터와 상기 영상 디렉토리에 저장된 다른 영상의 핑거프린트 벡터간 차이를 계산하는 단계;

    (F-2) 상기 단계를 통해 계산된 차이가 정해진 허용 오차 범위에 해당되는지를 판단하는 단계; 및

    (F-3) 상기 판단 결과, 상기 계산된 차이가 상기 정해진 허용 오차 범위에 해당되면 상기 영상 정보 DB에 저장된 다른 영상과 매칭시키고, 상기 정해진 허용 오차 범위에 해당되지 않으면 상기 다른 영상과 매칭시키지 않고 상기 영상 정보 DB로부터 또 다른 영상을 검색하는 단계를 수행하는 단계

    를 포함하는 내용기반 영상 검색 방법.
12. 제8항 또는 제11항에 있어서,

    상기 (F)단계에서의 유사도 판별 방법은,

    (F-4) 상기 매칭된 영상과 상기 검색 영상을 전체 영역에 대하여 비교하여 매칭 여부를 체크하는 단계;

    (F-5) 상기 매칭에 따른 비율을 계산하는 단계;

    (F-6) 상기 비율이 정해진 일정 문턱값보다 큰지를 판단하는 단계;

    (F-7) 상기 비율이 정해진 일정 문턱값보다 크면 상기 매칭된 영상을 유사한 영상으로 판별하고, 상기 비율이 정해진 일정 문턱값보다 작으면 상기 매칭된 영상을 상기 검색 영상과 다른 영상으로 판별하는 단계; 및

    (F-8) 상기 판별 결과, 상기 유사한 영상을 출력하거나 또는 상기 검색 오류 메시지를 출력하는 단계

    를 포함하는 내용기반 영상 검색 방법.

Images