KR19990071354A - 레이아웃 기반 영상검색장치 및 방법 - Google Patents

Abstract

본 발명은 레이아웃 기반 영상검색장치 및 방법에 관한 것으로, 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화한 후 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하게 되는데, 상기 영상 입력과정은 영상 디렉토리내에 저장된 영상의 레이아웃 특징을 추출하여 특징벡터를 만들고, 상기 추출된 영상의 특징벡터를 이용하여 영상 디렉토리내의 모든 영상의 특징벡터와의 유사도를 계산하는 수순에 의해 행해지고, 상기 질의과정은 사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아 상기 특징벡터 추출동작에 의해 특징을 추출하여 특징벡터를 만들고 상기 추출된 특징벡터를 이용하여 영상 디렉토리내에 미리 계산되어 입력되어 있는 다른 영상의 레이아웃 특징벡터와의 유사도를 추출하고, 상기 추출된 유사도를 기초로 하여 순서대로 사용자에게 내보내는 수순에 의해 행해짐으로써, 영상 자료를 데이터베이스에 입력할 때 자료의 특징을 추출하여 데이터베이스에 인덱스로 사용하여 영상자료 자체를 검색어로 사용할 수 있고 레이아웃 특징의 경우 웨이브릿 변환을 이용하여 영상의 레이아웃 유사성을 판별하는데 사용하므로, 영상을 블럭으로 나눈 후 각 블럭의 평균 색상으로 비교하는 종래의 방식보다 우수한 결과를 나타낸다.

Description

레이아웃 기반 영상검색장치 및 방법

본 발명은 레이아웃 기반 영상검색장치 및 방법에 관한 것으로, 보다 상세하게는 영상 데이터베이스에 영상을 입력할 때 자동으로 인덱싱해 주고 검색할 때 영상 자체의 내용을 이용하여 검색할 수 있도록 한 레이아웃 기반 영상검색장치 및 방법에 관한 것이다.

종래의 데이터베이스는 모든 자료를 기입력된 키워드(Keyword) 혹은 계산할 수 있는 입력된 값에 의해서만 검색이 가능했다. 따라서 이러한 데이터베이스를 사용하여 영상을 저장하기 위해서는 저장되는 영상과는 별도로 설명(주석)을 같이 입력시켜 주어야만 되는 불편함이 있었다.

이러한 단점을 보완하기 위해 종래에는 색상의 히스토그램을 비교하는 방법을 사용하고 있는데, 이 방법은 영상을 색상분포 그래프로 표시한 후 각각의 영상에서 얻은 그래프들을 비교하여 이 그래프들의 차이로 영상의 비슷한 정도를 판단하는 방법이다.

또, 다른 방법으로는 영상의 전체 평균 색상만으로 비교하는 방법이 있는데, 이 방법은 영상전체에 분포되어 있는 색상의 산술 평균값으로 그 영상을 대표하여 비교하는 방법이다.

레이아웃의 경우 영상을 몇개의 블럭(예컨대, 5×5)으로 나눈 후 각 블럭의 평균 색상으로 두 영상간의 레이아웃 유사성을 판단하였다.

그러나, 상술한 종래의 방법은 색상분포가 전체적으로 약간씩 밝거나 어두우면 전혀 비슷하지 않다는 결과가 나오는 단점이 있고, 한가지 색으로 영상전체의 색을 대표한다는 논리의 비약이 있다. 또한 종래의 레이아웃 유사성 판별법의 경우도 각 블럭의 평균색상으로 그 블럭 전체를 대표시키기에는 무리가 뒤따르게 된다.

따라서 본 발명은 상기한 종래 사정을 감안하여 이루어진 것으로, 영상을 웨이브릿 변환을 통하여 소정 크기의 작은 영상으로 변환하고 이 과정에서 발생하는 차영상 정보를 이용하여 소정개수의 레이아웃-질감 특징벡터를 추출하며 이들을 비교하여 비슷한 정도를 판단하는 레이아웃 유사도 측정방식을 채용하여 영상을 자동으로 인덱싱하고 이를 이용하여 검색시 영상 자체를 검색어로 사용할 수 있도록 한 레이아웃 기반 영상검색장치를 제공함에 그 목적이 있다.

본 발명의 다른 목적은, 영상을 웨이브릿 변환을 통하여 소정 크기의 작은 영상으로 변환하고 이 과정에서 발생하는 차영상 정보를 이용하여 소정개수의 레이아웃-질감 특징벡터를 추출하며 이들을 비교하여 비슷한 정도를 판단하는 레이아웃 유사도 측정방식을 채용하여 영상을 자동으로 인덱싱하고 이를 이용하여 검색시 영상 자체를 검색어로 사용할 수 있도록 한 레이아웃 기반 영상검색방법을 제공함에 있다.

상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따른 레이아웃 기반 영상검색장치는, 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상 디렉토리내의 영상을 분석하여 데이터베이스화하는 데이터베이스 입력수단과; 이 데이터베이스 입력수단의 제어에 따라 현재 입력되는 영상을 소형 영상으로 나누어 소형 영상 디렉토리에 저장하는 소형 영상 생성수단과; 상기 데이터베이스 입력수단의 제어에 따라 현재 입력되는 영상에 대한 특징벡터를 추출하여 특징벡터 디렉토리에 저장하는 특징 추출수단과; 상기 영상 디렉토리내의 영상에 대한 특징추출이 완료됨에 따라 모든 영상에 대한 상호 유사도를 계산하여 인덱스를 생성하는 유사도 계산수단과; 사용자의 검색요구에 맞게 질의어를 분석하여 상기 유사도 계산수단에 의한 인덱스로부터 검색된 영상을 출력시키는 질의수단 및; 상기 질의수단에 의해 출력되는 검색된 영상에 해당하는 소형 영상을 상기 소형 영상 디렉토리에서 독취하여 검색 사용자에게 보여주는 결과 뷰어로 구성된다.

그리고, 본 발명의 실시예에 따른 레이아웃 기반 영상검색방법은 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 영상 입력과정과, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 질의과정으로 구성되고; 상기 영상 입력과정은 영상 디렉토리내에 저장된 영상의 레이아웃 특징을 추출하여 특징벡터를 만드는 단계와, 상기 추출된 영상의 특징벡터를 이용하여 영상 디렉토리내의 다른 영상의 특징벡터와의 유사도를 계산하는 단계 및, 상기 계산된 유사도를 기초로 하여 상기 영상 디렉토리내의 모든 영상에 대해 유사도를 계산하는 단계로 구성되며; 상기 질의과정은 사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아 특징벡터를 추출하는 단계와, 상기 추출된 특징벡터를 이용하여 영상 디렉토리내에 미리 계산되어 입력되어 있는 다른 영상의 레이아웃 특징벡터와의 유사도를 추출하는 단계와, 상기 추출된 유사도를 기초로 하여 순서대로 사용자에게 내보내는 단계로 구성된다.

도 1은 본 발명의 실시예에 따른 레이아웃 기반 영상검색장치의 블럭구성도,

도 2는 도 1에 도시된 데이터베이스 입력기의 동작을 설명하는 플로우차트,

도 3은 도 2에 도시된 레이아웃 특징벡터 추출동작을 상세히 설명하는 플로우차트,

도 4는 도 3에 도시된 웨이브릿 변환동작에 대한 결과를 설명하는 도면이다.

< 도면의 주요부분에 대한 부호의 설명>

10 : 데이터베이스 입력기 20 : 특징 추출기

25 : 특징벡터 디렉토리 30 : 유사도 계산기

40 : 영상 디렉토리 50 : 소형 영상 생성기

60 : 소형 영상 디렉토리 70 : 인덱스

80 : 질의도구 90 : 결과 뷰어

이하, 본 발명의 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 레이아웃 기반 영상검색장치의 블럭구성도로서, 참조부호 10은 영상을 데이터베이스화하기 위한 모든 과정을 자동화해 주는 데이터베이스 입력기(DB 입력기)를 나타내는데, 이 데이터베이스 입력기(10)는 처리해야 할 영상이 영상 디렉토리(40)에 이미 입력되어 있는지를 자동으로 판단한 후 입력되어 있지 않으면 소형 영상 생성기(50)를 구동시켜 새로운 소형 영상(thumbnail; 화면표시를 용이하게 하기 위해 큰 영상을 100×100정도의 작은 영상으로 만든 것)을 만들어 소형 영상 디렉토리(60)에 저장시킨다. 아울러, 새로운 영상에 대한 특징벡터가 없으므로 특징 추출기(20)를 구동시켜 새로운 영상에 대한 특징벡터 추출동작을 수행시키고, 추출된 특징벡터를 특징벡터 디렉토리(25)에 저장시킨다.

여기서, 상기 특징 추출기(20)는 웨이브릿 변환(Wavelet Transform)을 이용하여 영상에 대한 특징벡터를 추출하게 되는데, 본 발명의 실시예에서 웨이브릿 변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파대역 영상의 크기가 일정크기(즉, 8×8크기)로 될 때까지 반복해서 변환하게 된다.

한편, 상기 특징 추출기(20)는 처리해야 할 원래의 영상을 영상 디렉토리(40)에서 가져와서 압축해제시킨 후 그 크기를 정규화시키는 동작을 선행한 후 특징벡터를 추출하게 되는데, 상기 압축해제된 영상은 RGB색상 좌표계로서 사람의 인지체계와는 동떨어졌기 때문에 CIE-Lab색상 좌표계로 변환된 후 웨이브릿 변환이 행해지게 된다.

그에 따라, 상기 특징 추출기(20)에 의해 추출되는 특징벡터는 상기 웨이브릿 변환 결과 저주파 대역으로부터 추출한 색상 레이아웃 특징벡터와, 고주파 대역으로부터 추출한 질감 레이아웃 특징벡터의 결합으로 이루어지고, 상기 색상 레이아웃 특징벡터는 웨이브릿 변환결과에 따른 저주파대역 영상의 값이며, 상기 질감 레이아웃 특징벡터는 L색상 좌표에 대해 다시 웨이브릿 변환을 통하여 얻어진 각 방향성분별 저주파대역 영상의 점들의 값을 스케일에 무관하게 프로젝션한 값이다.

본 발명의 실시예에서, 상기 질감 레이아웃 특징벡터는 192개의 값으로 구성된다.

그리고, 상기 데이터베이스 입력기(10)는 기존에 동일한 영상이 상기 영상 디렉토리(40)에 존재한다면 그 영상에 대해서는 더 이상 처리하지 않고 후속 영상을 선택하여 상기의 동작을 반복시킨다.

참조부호 30은 모든 영상에 대한 상호 유사도를 계산하여 테이블로 만들어 인덱스(70)를 생성하는 유사도 계산기를 나타내는데, 이 유사도 계산기(30)는 사용자가 입력한 모든 새로운 영상에 대해 상기 특징 추출기(20)에 의한 특징추출동작이 완료되면 상기 데이터베이스 입력기(10)의 제어에 의해 구동된다.

이와 같이 상기 유사도 계산기(30)에 의해 모든 영상에 대한 상호 유사도가 계산되어 테이블로 만들어진 후 인덱스(70)를 생성하게 되면 영상의 데이터베이스화작업은 종료된다.

참조부호 80은 일반 사용자가 기입력된 영상 디렉토리(40)에서 영상을 검색하고자 할 때 사용하는 질의도구를 나타내는데, 이 질의도구(80)는 사용자의 검색요구에 맞게 질의어를 분석한 후 상기 특징 추출기(20)와 유사도 계산기(30)를 이용하여 인덱스(70)로부터 검색된 영상을 결과 뷰어(90)로 보내준다.

여기서, 상기 질의도구(80)는 결과 뷰어(90)가 임의로 선택해서 보여준 샘플 영상일 수도 있고, 사용자가 그린 그림, 혹은 스캐너 등의 영상 입력장치로부터 입력받은 또 다른 영상 데이터일 수도 있다.

상기 결과 뷰어(90)는 상기 인덱스(70)로부터 검색되어 입력되는 영상을 받아 상기 소형 영상 디렉토리(60)에서 소형 영상을 가져와 검색 사용자에게 보여준다.

상술한 데이터베이스 입력기(10)에서 행해지는 동작에 대해 도 2의 플로우차트를 참조하여 보다 상세히 설명하면 다음과 같다.

데이터베이스 입력기(10)는 영상 디렉토리(40)로부터 사용자가 입력한 영상을 추출하여 우선적으로 소형 영상이 존재하는지를 판단하게 된다(단계 101). 그 판단결과 상기 소형 영상이 존재하지 않을 경우(단계 101에서 "NO")에는 소형 영상 생성기(50)를 구동시켜 소형 영상을 만들고 나서 소형 영상 디렉토리(60)에 저장시키는 반면(단계 102), 상기 소형 영상이 존재하는 경우(단계 101에서 "YES")에는 다시 소형 영상을 만들 필요가 없으므로 본래의 영상에 대한 특징벡터가 특징벡터 디렉토리(25)에 존재하는지를 판단하게 된다(단계 103).

여기서, 상기 소형 영상은 크기가 큰 원래의 영상을 100×100정도 크기의 작은 영상으로 다시 만들어 사용자에게 보여주기 편하게 하기 위한 것으로, 원래의 영상의 가로, 세로 비율에 맞추어 크기를 줄여주고 100×100의 정사각형 영역에서 남는 부분은 흰색으로 채워준다.

그리고, 처리된 모든 영상에 대해서는 특징벡터 디렉토리(25)에 임의의 공간을 할당하여 특징벡터를 저장함으로써 재차 데이터베이스 입력과정을 수행할 때 동일한 처리를 반복하지 않게 된다.

상기 단계 103에서 특징벡터가 존재하는 것으로 판단된 경우에는 영상 디렉토리(25)내의 모든 영상에 대해 처리가 완료되었는지를 판단하는 단계 105로 바로 진행되는 반면, 특징벡터가 존재하지 않게 되면 단계 104로 진행하여 특징벡터를 추출하여 특징벡터 디렉토리(25)에 저장하고 나서 상기의 단계 105로 진행된다.

이와 같이 하여 특징벡터가 존재한다거나 특징벡터의 추출이 완료되면 단계 105에서 영상 디렉토리(40)에 있는 모든 영상에 대해 처리가 다 되었는지를 판단하여 아직 처리되지 않고 남아 있는 영상이 있으면 상기한 단계 101로 귀환하여 그 단계 및 그 이후의 동작을 계속 처리하는 반면에, 상기 단계 105에서 모든 영상에 대해 처리가 완료되었을 경우에는 유사도 계산기(30)를 구동시켜 유사도 테이블을 작성시킨다(단계 106).

상기 유사도 테이블은 모든 영상에 대해 상호 유사도를 미리 계산해 놓은 테이블로서, 검색시 유사도를 계산하지 않고도 모든 영상에 대한 유사도를 얻을 수 있게 함으로써 검색시간을 단축시킬 수 있도록 해준다.

이와 같이 하여 작성된 유사도 테이블은 결과 뷰어(90)에서 사용되는 인덱스(70) 즉, 사용자의 검색요구에 맞는 소형 영상을 찾을 수 있는 인덱스(70)로써 사용된다.

한편, 본 발명의 실시예에서는 상기 단계 104에서의 레이아웃 특징벡터 추출동작을 수행할 때 웨이브릿 변환을 이용하게 되므로 그 웨이브릿 변환에 대해 설명하면 다음과 같다.

웨이브릿 변환이란 어떠한 신호를 서로 다른 주파수 성분으로 분리해 놓고, 각각의 주파수 성분에 대해 분석할 수 있게 해 주는 도구로써 다음의 수학식 1과 같이 정의된다.

여기서, ψ : 분석 웨이브릿(analyzing wavelet), a : 스케일(scale), b : 위치(position)를 의미한다.

상기 수학식 1에서 ψ(t)는 웨이브릿 함수로서 그 특성에 따라 Haar, Daubechies 등의 여러 종류가 존재하는데, 본 발명에서는 Daubechies 웨이브릿 함수를 사용한다.

영상에 대해 웨이브릿 변환을 하게 되면 그 영상은 1/4크기의 작은 영상으로 변환되고, 나머지 1/4은 가로 성분의 차영상(difference image), 또 다른 1/4은 세로 성분의 차영상, 나머지 1/4은 대각선 성분의 차영상으로 재구성된다. 보통 1/4크기로 축소된 영상을 저주파 대역(low band)이라고 부르고, 나머지 차영상 부분을 고주파 대역(sub band)이라고 부른다.

1/4크기로 줄어든 영상에 대해 다시 웨이브릿 변환을 하게 되면 다시 1/4크기로 줄어든 저주파 대역 영상이 얻어지고, 나머지 영역은 고주파 대역 영상이 구해진다.

결국 연속적인 두 번의 웨이브릿 변환에 의해 1/16크기의 저주파 대역 영상 한개와 1/16크기의 고주파 대역 영상 세개, 1/4크기의 고주파 대역 영상 세개가 구해진다. 이러한 변환 과정은 저주파 대역의 영상의 크기가 변환가능한 크기이면 계속 반복하여 수행되어질 수 있다.

이와 같은 웨이브릿 변환을 이용하는 레이아웃 특징벡터 추출동작(즉, 단계 104)에 대해 보다 상세히 설명하면 다음과 같다.

도 3의 플로우차트를 참조하면, 우선 처리해야 할 원래의 영상을 영상 디렉토리(40)로부터 가져와 사용하기 편리한 형태로 압축해제한다(단계 201). 압축해제하는 이유는 일반적으로 영상 자료는 그 크기가 매우 크므로 저장하기 위해서는 보통 압축저장하고, 이렇게 압축저장된 영상 자료는 그대로 사용하지 못하므로 압축된 정보를 다시 원래의 상태로 풀어놓고 사용한다.

이어, 압축해제된 영상에 대해 그 크기를 정규화시키는데(단계 202), 웨이브릿 변환(Wavelet Transform)을 하기 위해 가로 세로 비율이 서로 다른 영상을 가로 세로 비율이 같고, 또한 처리하기 용이한 256×256 크기의 영상으로 변환시킨다.

상기 압축해제된 영상은 빨강, 녹색, 파랑의 세가지 색성분으로 구성되어 있고, 이러한 색좌표(RGB좌표계)는 물리적인 화면표시방식에는 적합하지만 사람의 인지체계와는 동떨어졌기 때문에, 상기 크기가 정규화된 영상에 대한 RGB좌표계의 색상정보를 CIE-Lab색상 좌표계로 변환시킨다(단계 203).

여기서, 상기 CIE-Lab색상 좌표계는 사람의 인지체계와 비슷하며, 두 색상간의 유클리디안 거리(euclidean distance)도 그 숫자적 의미가 인간의 인지체계와 비슷한 차이를 보인다.

CIE-Lab색상 좌표계로의 변환이 완료되면, 앞서 처리된 영상에 대해 웨이브릿 변환을 하게 되는데(단계 204), 웨이브릿 변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파 대역 영상의 크기가 8×8크기가 될 때까지 반복해서 변환동작을 수행하게 된다.

이 웨이브릿 변환 결과, 저주파 대역 영상에서 얻어지는 색상 좌표별로 64개, 총 192개의 값을 각각의 색상 좌표별로 벡터로 구성하여 64개의 특징벡터를 구성시킨다(단계 205).

그 후, 고주파 대역의 영상에 대해 영상의 밝기(intensity)를 나타내는 L색상 성분에 대해서 질감 특징벡터를 구성하게 된다(단계 206).

도 4를 참조하면, 영역 1은 저주파성분 영상이 나타나는 영역이고, 영역 2와 영역 3 및 영역 4는 모두 가로 성분의 차영상 정보를 포함하고 있는 영역이며, 영역 5와 영역 6 및 영역 7은 대각선 성분의 차영상 정보를 포함하고 있는 영역이며, 영역 8과 영역 9 및 영역 10은 세로 성분의 차영상 정보를 포함하고 있는 영역이다.

본 발명의 실시예에서는 이러한 고주파 대역의 차영상 정보에 대해 다시 웨이브릿 변환을 적용하여 각 영역의 저주파 대역 영상의 크기가 8×8이 될 때까지 웨이브릿 변환을 수행한다.

상기의 결과 각 영역에 대해 8×8크기의 고주파 영역에 대한 저주파 성분의 값을 각 방향 성분으로 프로젝션하여 각 방향 성분별로 64개의 값을 구한다. 즉, 도 4에서 영역 2와 영역 3 및 영역 4의 검게 칠한 점들의 값을 모두 더해 하나의 값으로 구하여 영역 2에 대치시킨다. 이러한 방법으로 64개의 값을 구한다.

마찬가지로, 영역 5와 영역 6 및 영역 7에서도 같은 방법으로 64개의 값을 구하고, 영역 8과 영역 9 및 영역 10에서도 같은 방법으로 64개의 값을 구한다.

본 발명에서는, 이렇게 하여 구한 192개의 값을 질감 레이아웃 특징벡터로 사용하고, 상기한 바에 따라 구해진 저주파 대역의 특징벡터 64개와 고주파 대역의 특징벡터 192개를 영상의 레이아웃 특징벡터로 사용한다.

이어, 상기의 동작에 의해 구해진 영상의 레이아웃 특징벡터를 이용하여 두 영상간의 유사도를 계산하게 되는데(단계 207), 두 영상간의 유사도는 다음의 수학식 2로 계산된다.

S(A, B) = D(A, B) + α·T(A, B)

여기서, 상기 D(A, B)는 두 영상의 색상 레이아웃의 유사도를 나타내는데, 이 두 영상의 색상 레이아웃의 유사도는 다음의 수학식 3과 같은 유클리디안 거리(Euclidean Distance)로 계산되어지고, 이 거리가 작을수록 비슷한 영상이라고 할 수 있다.

그리고, 상기 수학식 2에서의 T(A, B)는 질감 레이아웃의 유사도를 나타내는데, 이 질감 레이아웃의 유사도는 다음의 수학식 4와 같이 계산되어지고, 이 값이 작으면 비슷한 영상이라고 할 수 있다.

이와 같이, 본 발명에서의 두 영상간의 유사도는 한 쌍의 비교 영상에 대해 상기 수학식 3과 수학식 4의 유사도가 적용된다.

그리고, 상기 수학식 2에서의 α는 D(A, B)와 T(A, B) 사이의 선형적 관계가 없기 때문에 실험적으로 구한 가중치이고, 이를 이용하여 두 유사도를 합하여 하나의 유사도로 표현한다. 또한, 이 가중치(α)는 사용자가 질의 과정에서 임의로 조정할 수 있도록 함으로써, 사용자의 요구에 더욱 가까운 결과를 도출시킬 수 있도록 한다.

이상 설명한 바와 같은 본 발명에 의하면, 영상 자료를 데이터베이스에 입력할 때 자료의 특징을 추출하여 데이터베이스에 인덱스로 사용함으로써 영상자료 자체를 검색어로 사용할 수 있고, 레이아웃 특징의 경우 웨이브릿 변환을 이용하여 영상의 레이아웃 유사성을 판별하는데 사용함으로써, 종래의 방식 즉 영상을 블럭으로 나눈 후 각 블럭의 평균 색상으로 비교하는 방식보다 우수한 결과를 나타낸다.

아울러, 웨이브릿 변환 후 저주파 대역 영상이 원래의 영상의 색상 레이아웃을 잘 표현해 주는 특성을 갖고 있으며, 레이아웃 유사성을 판단하기 위해 고주파 대역의 차영상으로부터 또다시 웨이브릿 변환을 통한 질감특성을 추출함으로써, 색상만을 비교하는 종래의 방식에 비해 월등히 우수하다.

그리고, 웨이브릿 변환으로 데이터양을 줄여 처리시간의 감축도 가져오게 된다.

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정, 변형 및 추가하여 실시할 수 있다. 이러한 수정, 변형 및 추가에 의해 형성되는 기술사상들은 이하의 특허청구범위에 속하는 기술사상으로 보아야 한다.

Claims (21)

1. 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상 디렉토리(40)내의 영상을 분석하여 데이터베이스화하는 데이터베이스 입력수단(10)과;

   상기 데이터베이스 입력수단(10)의 제어에 따라 현재 입력되는 영상을 소형 영상으로 나누어 소형 영상 디렉토리(60)에 저장하는 소형 영상 생성수단(50)과;

   상기 데이터베이스 입력수단(10)의 제어에 따라 현재 입력되는 영상에 대한 특징벡터를 추출하여 특징벡터 디렉토리(25)에 저장하는 특징 추출수단(20)과;

   상기 영상 디렉토리(40)내의 영상에 대한 특징추출이 완료됨에 따라 모든 영상에 대한 상호 유사도를 계산하여 인덱스를 생성하는 유사도 계산수단(30)과;

   사용자의 검색요구에 맞게 질의어를 분석하여 상기 유사도 계산수단(30)에 의한 인덱스로부터 검색된 영상을 출력시키는 질의수단(80) 및;

   상기 질의수단(80)에 의해 출력되는 검색된 영상에 해당하는 소형 영상을 상기 소형 영상 디렉토리(60)에서 독취하여 검색 사용자에게 보여주는 결과 뷰어(90)를 구비하는 것을 특징으로 하는 레이아웃 기반 영상검색장치.
2. 제 1항에 있어서, 상기 특징 추출수단(20)은 웨이브릿 변환을 이용하여 상기 영상에 대한 특징벡터를 추출하는 것을 특징으로 하는 레이아웃 기반 영상검색장치.
3. 제 2항에 있어서, 상기 웨이브릿변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파대역 영상의 크기가 일정크기로 될 때까지 반복해서 변환하는 것을 특징으로 하는 레이아웃 기반 영상검색장치.
4. 제 3항에 있어서, 상기 일정크기는 8×8크기인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
5. 제 4항에 있어서, 상기 추출되는 특징벡터는 상기 웨이브릿 변환 결과 저주파 대역으로부터 추출한 색상 레이아웃 특징벡터와, 고주파 대역으로부터 추출한 질감 레이아웃 특징벡터의 결합으로 이루어지는 것을 특징으로 하는 레이아웃 기반 영상검색장치.
6. 제 5항에 있어서, 상기 저주파대역으로부터 추출한 색상 레이아웃 특징벡터는 웨이브릿 변환결과에 따른 저주파대역 영상의 값인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
7. 제 5항에 있어서, 상기 고주파대역으로부터 추출한 질감 레이아웃 특징벡터는 L색상 좌표에 대해 다시 웨이브릿 변환을 통하여 얻어진 각 방향성분별 저주파대역 영상의 점들의 값을 스케일에 무관하게 프로젝션한 값인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
8. 제 7항에 있어서, 상기 질감 레이아웃 특징벡터는 192개의 값으로 구성되는 것을 특징으로 하는 레이아웃 기반 영상검색장치.
9. 제 1항에 있어서, 상기 질의수단(80)은 상기 결과 뷰어(90)가 임의로 선택해서 보여주는 샘플 영상인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
10. 제 1항에 있어서, 상기 질의수단(80)은 사용자가 그린 그림인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
11. 제 1항에 있어서, 상기 질의수단(80)은 영상 입력수단으로부터 입력받은 영상 데이터인 것을 특징으로 하는 레이아웃 기반 영상검색장치.
12. 제 1항에 있어서, 상기 유사도 계산수단(30)에 의한 두 영상간의 유사도는 하기의 식에 의해 계산되는 것을 특징으로 하는 레이아웃 기반 영상검색장치.

    S(A, B) = D(A, B) + α·T(A, B)

    여기서,

    α는 가중치.
13. 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 영상 입력과정과,

    사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 질의과정으로 구성되고,

    상기 영상 입력과정은 영상 디렉토리내에 저장된 영상의 레이아웃 특징을 추출하여 특징벡터를 만드는 단계와, 상기 추출된 영상의 특징벡터를 이용하여 영상 디렉토리내의 다른 영상의 특징벡터와의 유사도를 계산하는 단계 및, 상기 계산된 유사도를 기초로 하여 상기 영상 디렉토리내의 모든 영상에 대해 유사도를 계산하는 단계로 구성되며,

    상기 질의과정은 사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아 특징벡터를 추출하는 단계와, 상기 추출된 특징벡터를 이용하여 영상 디렉토리내에 미리 계산되어 입력되어 있는 다른 영상의 레이아웃 특징벡터와의 유사도를 추출하는 단계 및, 상기 추출된 유사도를 기초로 하여 순서대로 사용자에게 내보내는 단계로 구성되는 것을 특징으로 하는 레이아웃 기반 영상검색방법.
14. 제 13항에 있어서, 상기 레이아웃 특징을 추출하여 특징벡터를 만드는 단계는 압축되어 있는 영상자료를 해제하는 단계와, 상기 압축해제된 영상자료를 일정한 크기의 영상으로 정규화하는 단계와, 상기 정규화된 영상자료에 대한 RGB색상좌표계를 소정의 색상좌표계로 변환시키는 단계와, 상기 변환된 결과의 영상자료를 웨이브릿 변환하는 단계 및, 상기 웨이브릿 변환결과에 따라 저주파대역으로부터 추출한 색상 레이아웃 특징벡터와 고주파대역으로부터 추출한 질감 레이아웃 특징벡터의 결합으로 된 특징벡터를 구성하는 단계로 이루어진 것을 특징으로 하는 레이아웃 기반 영상검색방법.
15. 제 14항에 있어서, 상기 RGB색상좌표계는 CIE-Lab색상좌표계로 변환되는 것을 특징으로 하는 레이아웃 기반 영상검색방법.
16. 제 15항에 있어서, 상기 웨이브릿변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파대역 영상의 크기가 일정크기로 될 때까지 반복해서 변환하는 것을 특징으로 하는 레이아웃 기반 영상검색방법.
17. 제 16항에 있어서, 상기 일정크기는 8×8크기인 것을 특징으로 하는 레이아웃 기반 영상검색방법.
18. 제 16항에 있어서, 상기 저주파대역으로부터 추출한 색상 레이아웃 특징벡터는 웨이브릿 변환결과에 따른 저주파대역 영상의 값인 것을 특징으로 하는 레이아웃 기반 영상검색방법.
19. 제 16항에 있어서, 상기 고주파대역으로부터 추출한 질감 레이아웃 특징벡터는 L색상 좌표에 대해 다시 웨이브릿 변환을 통하여 얻어진 각 방향성분별 저주파대역 영상의 점들의 값을 스케일에 무관하게 프로젝션한 값인 것을 특징으로 하는 레이아웃 기반 영상검색방법.
20. 제 19항에 있어서, 상기 질감 레이아웃 특징벡터는 192개의 값으로 구성되는 것을 특징으로 하는 레이아웃 기반 영상검색방법.
21. 제 13항에 있어서, 상기 레이아웃 특징의 유사도는 하기의 식에 의해 계산되는 것을 특징으로 하는 레이아웃 기반 영상검색방법.

    S(A, B) = D(A, B) + α·T(A, B)

    여기서,

    α는 가중치.