KR100671098B1

KR100671098B1 - 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치

Info

Publication number: KR100671098B1
Application number: KR1019990003189A
Authority: KR
Inventors: 김종득; 김남규
Original assignee: 주식회사 팬택앤큐리텔
Priority date: 1999-02-01
Filing date: 1999-02-01
Publication date: 2007-01-17
Also published as: KR20000054864A; EP1026601A2; EP1026601A3; JP2000222581A; US6807303B1

Abstract

본 발명은 멀티미디어 데이터의 검색 방법 및 장치, 특히, 모양정보를 이용하여 영상 데이터들을 표현할 수 있는 특징들을 추출하여 멀티미디어 데이터 베이스를 구축함과 동시에 질의 영상(query image)의 특징을 같은 방법으로 추출한다음, 질의 영상의 특징과 멀티미디어 데이터 베이스 내의 영상들의 특징을 비교하여 유사도를 계산하고 그 결과를 출력함으로써 원하는 데이터를 검색하는 것을 특징으로 하는 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치에 관한 것이다. 본 발명의 멀티미디어의 검색방법 및 장치는 모양정보의 회전, 크기 변화, 이동 등에 대해서 일관된 성질을 갖는 효율적인 모양정보 기술자를 정의하여 모양정보의 특징을 추출하고 그의 유사도를 비교함으로써 정확하고 신속한 멀티미디어 데이터 검색을 가능하게 하는 효과를 제공한다.

영상 검색, 모양정보, 공분산 행렬, 고유벡터의 크기, 각도, 모멘트, 무게중심, 밀집도

Description

모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치{Multimedia data retrieval method and appratus using shape information}

도 1은 공분산 행렬의 고유벡터(CMEV)를 도시한 그래프도이다.

도 2는 본 발명의 멀티미디어 데이터 검색장치의 개략도이다.

도 3은 본 발명의 멀티미디어 데이터 검색방법중 계층적 CMEV를 통한 모양 정보 특징 추출 과정을 도시한 순서도이다.

도 4a-b는 고유벡터에 의한 영역 분할의 예를 도시한 도면이다.

도 5는 고유벡터 각도를 이용한 모양 정보 특징 추출상의 차이를 도시한 도면이다.

도 6a 및 6b는 영역의 무게중심의 위치를 이용한 모양 정보 특징 추출상의 차이를 도시한 도면이다.

도 7은 밀집도를 이용한 모양 정보 특징 추출의 실시예를 도시한 도면이다.

도 8은 밀집도를 이용한 모양 정보 특징 추출상의 차이를 도시한 도면이다.

도 9는 본 발명의 멀티미디어 데이터 검색 장치중 다계층 CMEV를 이용한 모양정보 특징 추출부의 블록도이다.

도 10은 도 9의 모양정보 특징 추출부 중 특징추출 수단의 상세 블럭도이다.

도 11은 본 발명의 멀티미디어 데이터의 검색 장치중 질의영상과 멀티미디어 데이터 베이스내 영상의 유사도 비교부의 블럭도이다.

본 발명은 모양정보 공분산 행렬의 고유벡터를 이용하여 영상의 모양정보의 특징을 추출하여 유사도를 계산함으로써 멀티미디어 데이터를 검색하는 방법 및 장치에 관한 것으로, 복잡한 모양 정보를 상세하게 표현할 수 있고 영상의 회전, 크기 변화, 이동 등에 대해서도 일관성을 갖는 다계층 고유벡터를 이용함으로써 신속하고 정확한 멀티미디어 데이터의 검색을 가능하게 하는 멀티미디어 데이터의 검색 방법 및 장치에 관한 것이다.

현재까지 자료의 검색은 주로 문자와 이미지에 기초한 문자기반검색(language-based search)이었다. 그러나, 근래에 들어서 멀티미디어의 발전과 인터넷의 발전으로 방대한 양의 멀티미디어 데이터가 인터넷 상이나 멀티미디어 데이터 베이스 (Multimedia database) 상에 존재하게 됨에 따라 문자 뿐만 아니라 영화, 합성영상, 정지영상, 음성, 동영상, 음악 등으로 구성된 멀티미디어 데이타 검색의 필요성이 대두되게 되었다. 따라서, 인터넷이나 멀티미디어 데이터 베이스 등의 방대한 자료중에서 사용자가 원하는 멀티미디어 데이터를 용이하 게 검색할 수 있는 효과적인 검색 방법이 절실히 요구되고 있다.

멀티미디어 데이터는 기존의 문자만으로 구성된 데이터와 달리 데이터 자체의 크기가 문자 데이터에 비해서 월등히 크고 영상, 음향, 문자 등 다양한 형태의 정보가 혼합되어 있기 때문에, 멀티미디어 데이터 자체를 이용하여 원하는 멀티미디어 데이터를 검색하는 것은 거의 불가능하다. 따라서 멀티미디어 데이터의 검색을 위해서는 멀티미디어 데이터 베이스를 구축할 때 사전에 전처리 과정을 거쳐서 각각의 멀티미디어 데이터를 표현할 수 있는 특징을 추출하고 추출된 특징들을 서로 비교함으로써 검색을 수행해야만 한다. 예를 들어 비디오의 경우에는 영상, 음성, 오디오 등의 정보가 혼합되어 있으므로 영상에 대한 특징, 음성에 대한 특징, 오디오에 대한 특징 등을 추출하고 각각의 추출된 특징을 검색 대상 멀티미디어 데이터 베이스내의 정보와 유사도를 계산함으로써 원하는 정보를 검색할 수 있다. 따라서, 멀티미디어 데이터 검색에서 멀티미디어 데이터의 특징으로 어떤 성질을 이용할 것인지 그리고 그 특징을 어떤 방법으로 표현할 것인가 그리고 어떻게 비교할 것인지가 중요하게 고려된다. 여기서 특징을 표현하는 데이터 모델을 기술자 (Descriptor)라고 한다.

현재 멀티미디어 데이터 검색 방법 중에서 가장 많이 연구되고 있는 정지영상 또는 동영상 검색에서는, 영상의 색상, 질감, 모양 등의 특징을 추출하고 유사도를 측정하여 검색을 수행한다. 이들 가운데, 예를 들어 색상이라는 특징을 표현하기 위한 기술자(Descriptor)로는 컬러 히스토그램(Color Histogram), 코릴로그램(Correlogram) [J. Huang, S. R. Kumar, M.Mitra, W. J. Zhu, and R. Zabih. Image indexing using color correlation, Proc, 16th IEEE Conf. on computer Vision and Pattern Recognition, pp. 762-768, 1997. 참조] 등을 이용할 수 있고, 질감을 표현하기 위한 기술자로는 웨이블릿 계수(Wavelet Coefficient), DFT 계수(DFT Coefficient) 등을 이용할 수 있다. 이렇게 하나의 특징을 표현하기 위한 기술자는 여러 가지가 있을 수 있고 각 기술자 마다 장단점이 있기 때문에 채택사용하는 기술자에 따라 검색기의 성능이 크게 좌우될 수 있다.

모양정보 검색은 영상 검색에서 유용하게 사용되는 방법 중 하나이다. 본원에서 이용될 때 물체의 모양 정보(shape information)란 임의의 영상에서 어떤 화소가 물체에 속하는 화소이고, 어떤 화소가 배경에 속하는 화소인가에 대한 정보를 의미한다. 효율적인 모양정보 검색을 위해서는 물체의 모양정보를 적절히 표현할 수 있는 기술자를 정의하고 정의된 기술자를 통해서 모양정보의 유사도를 비교하여야 한다. 모양 정보 검색에 사용되는 기존의 기술자(descriptor)로는 기하학적 특성(Geometric Feature)을 이용한 매개변수, 영역(Area), 최대-최소 반경(Max-min radii), 모서리(Corner), 곡률(Roundness) 등과 모멘트 기반 특성을 이용한 무게중심(Center of mass), 방향성(Orientation), 바운딩 렉텡글(Bounding Rectangle), 베스트-피트 일립스(Best-fit ellipse), 고유벡터 등을 사용한다. 정확하고 신속한 영상 데이터의 검색을 위해서 이와 같은 모양정보 기술자들은 물체의 회전(Rotation), 크기 변화(Scaling), 이동(Translation) 등의 변화에 불구하고 변화되지 않고 일정해야 한다.

현재 멀티미디어 데이터 검색은 아직 초기 단계에 머무르고 있는데, 현재 사 용되고 있는 모양정보의 특징 추출방법중 하나는 모양 정보의 공분산 행렬(covariance matrix)의 고유벡터(eigen vector)를 이용하는 방법이다. 공분산 행렬의 고유벡터는 도 1에서와 같이 모양 정보의 분포를 표현할 수 있는 두 개의 벡터로 구성되는데 각각의 방향은 모양 정보의 분포 방향을 나타내는 두 축 (장축, 단축)을 의미하고, 벡터의 크기는 모양 정보의 분포 정도를 나타낸다. 여기서 장축(A₁)은 모양 정보의 주 분포 방향을 나타내고, 단축(A₂)은 모양정보의 최소 분포 방향을 나타낸다.

공분산 행렬 C를 하기 수학식 1과 같이 정의할 경우, 공분산 행렬의 고유벡터는 다음과 같은 방법으로 계산된다.

모양 정보의 무게중심 (m _x , m _y )은 하기 수학식 2와 같이 계산된다.

상기 식에서, N은 모양 정보의 전체 화소수를 나타내고, x _i 및 y _i 는 i 번째 화소의 위치를 나타낸다. 무게중심이 상기 수학식 2와 같이 계산될 때 공분산 행렬의 각 성분 C _xx , C _yy , C _xy 및 C _yx 는 하기 수학식 3에 의해 계산될 수 있다.

상기 수학식 3에서, C _xx 및 C _yy 는 각각 x축 방향 및 y 축 방향으로의 분산 정도를 나타내고, C _xy 및 C _yx 는 x, y 좌표간의 상관 관계를 나타내는 값이다.

위와 같이 구해진 공분산 행렬 C의 고유벡터(eigen vector)를 A ₁ , A ₂ 라 하고 고유값(eigen value)을 r ₁ , r ₂ 라 할 때, 이들 사이에는 하기 수학식 4의 방정식이 성립된다.

따라서, 이러한 수학식 4의 방정식의 해를 구함으로써 공분산 행렬 C의 고유 벡터 A ₁ , A ₂ 와 고유값 r ₁ , r ₂ 를 구할 수 있다. 상술한 바와 같이, A ₁ , 및 A ₂ 는 모양 정보 분포의 주 분포 방향과 최소 분포 방향을 나타내고 r ₁ 및 r ₂ 는 각 방향으로의 모양정보의 분포 정도를 나타낸다.

이상에서 설명한 공분산 행렬의 고유벡터를 이용한 모양정보의 특징 추출방법은 적은 데이터로 모양 정보의 대략적인 분포를 나타낼 수 있는 방법으로, 계산량이 적고 간단하며, 모양정보의 이동에 대해서 일관된 성질을 갖는 장점을 갖는다. 그러나, 단일층내의 단지 2개의 고유벡터로 전체 모양 정보를 표현해야 하기 때문에 자세한 모양 정보를 표현하지 못하는 한계를 갖는다. 즉, 서로 다른 모양 정보에 대해서 같은 값의 고유벡터가 계산될 우려가 있고, 또 모양정보의 크기의 변화 또는 회전에 대해 일관성을 갖지 못한다. 따라서 모양 정보를 표현하기 위한 기술자로 사용하기에는 불충분하는 결정이 있어 이를 이용한 멀티미디어 데이터의 검색 방법 역시 정확성이 떨어지는 문제점이 있다.

본 발명의 하나의 목적은 상술한 종래 기술의 문제점을 극복하는 것으로, 공분산 행렬의 고유벡터를 모양 정보에 대한 기술자로 사용하되, 다계층 고유벡터(multi-layer eigen vector)를 이용함으로써 복잡한 모양 정보에 대한 자세한 표현이 가능한 모양정보의 특징 추출 방법 및 장치를 이용하는 정확하고 신속한 멀티미디어 데이터 검색 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 물체의 회전, 크기 변화, 이동 등에 대해서 일관된 성질을 갖는 효율적인 모양정보 기술자를 정의하여 사용함으로써 정확하고 신속한 멀티미디어 데이터 검색을 가능하게 하는 멀티미디어 데이터 검색 방법 및 장치를 제공하는 것이다.

즉, 본 발명의 하나의 양상은 질의영상의 모양정보를 입력받아 다계층 공분산 행렬의 고유벡터를 이용한 모양기술자(descriptor)를 이용하여 모양정보의 특징을 추출하는 모양정보 특징추출 단계; 상기 모양정보 특징 추출단계와 동일한 과정에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하는 특징 추출 단계; 상기 특징 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축하는 멀티미디어 데이터 베이스 구축 단계: 출력된 질의영상의 특징과 멀티미디어 데이터 베이스내의 영상들의 특징을 비교하는 유사도 비교 단계; 및 전 단계의 상기 유사도 비교 결과를 출력하는 비교 결과 출력 단계로 구성되는 것을 특징으로 하는 모양정보를 이용한 멀티미디어 데이터베이스의 검색방법을 제공하는 것이다.

본 발명의 다른 양상은 전기 방법을 구현하기 위한 모양정보를 이용한 멀티미디어 데이터베이스 검색장치이다.

이하에서 본 발명을 첨부 도면을 참고하여 더욱 상세히 설명한다.

도 2에 도시된 본 발명의 멀티미디어 데이터 베이스 검색 장치에 의해 멀티미디어 데이터를 검색하는 경우에는 질의영상의 모양정보를 입력받아 다계층 공분 산 행렬의 고유벡터를 이용한 모양기술자(descriptor)를 이용하여 모양정보의 특징을 추출하고, 이 단계와 동일한 과정에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하여 특징 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축한다음 출력된 질의영상의 특징과 멀티미디어 데이터 베이스내의 영상들의 특징을 대비하여 유사도를 계산한 후 그 결과를 출력함으로써 검색한다. 따라서, 본 발명의 멀티미디어 검색 방법 중에서 특징적인 부분은 적절하게 정의된 모양정보기술자에 의해 모양정보의 특징을 추출하는 단계와 이를 이용하여 두 영상의 유사도를 비교하는 단계이다.

본 발명에서 이용되는 모양정보의 특징 추출 단계는 모양 정보의 특징 기술자로 공분산 행렬(covariance matrix)의 고유벡터(eigen vector) (이하 CMEV로 표기한다)를 계층적으로 사용하는 것을 특징으로 한다.

단지 두 개의 고유벡터만을 이용해서 모양 정보를 표현하는 종래 기술과 달리, 본 발명에서는 모양 정보의 영역을 계층적으로 분할하고 분할된 각 영역에 대해서 CMEV를 구한다. 구해진 각 영역의 고유벡터는 분할된 영역의 모양 정보를 표현하므로, 분할된 영역의 수만큼 고유벡터의 수가 많아지고 그 만큼 더 자세한 모양 정보의 표현이 가능하게 된다. 따라서 본 발명에서는 CMEV를 계층적으로 이용함으로써 복잡한 모양 정보에 대해서 좀 더 자세한 표현이 가능하게 한다.

도 3을 참고하면, 본 발명의 멀티미디어 데이터 검색방법 중 계층적 CMEV를 이용한 모양 정보의 특징 추출단계에서는 첫 단계로 모양 정보의 전체 영역으로부터 CMEV를 구하고(S1) 구해진 고유벡터를 이용하여 특징을 추출한다음(S2) 구해진 고유벡터의 두 축에 의해 모양 정보를 분할한다(S3). 그리고 이렇게 분할된 영역이 최종층인가를 판단하여(S4) 최종층이 아닐 경우 그 분할된 영역에서 CMEV를 계산하여 모양정보의 특징을 추출하는 단계를 반복한다. 여기서 최종층인지의 여부는 사용자가 원하는 정도의 자세한 정보를 얻기 위해 임의로 설정하는 계층의 수에 의해 결정된다.

본 발명에서는 이진모양정보로 이진 마스크에 대해서 주로 설명을 하고 있으나, 물체를 표현하는 다른 방법으로 배경과 물체의 경계를 나타내는 윤곽선(contour)에 대해서도 본 발명을 적용할 수 있다.

도 4는 본 발명에서 계층적으로 CMEV를 구하기 위해서 영역을 분할하는 실시예를 도시한 것이다. 도 4a는 첫 번째 영역의 분할을 나타내는 것으로, 입력된 모양 정보의 전체 영역에 대해서 CMEV를 구하고 모양정보의 분포를 나타내는 두 축(장축 및 단축)을 구하면 두 축의 교차에 의해 해당 영역은 4개의 영역 R1, R2, R3, R4 로 분할된다. 다음 단계로 첫번째 단계에서 분할된 영역 R1, R2, R3, R4 각각을 첫번째 단계와 같은 방법에 의해 분할하면, 첫번째 단계의 영역 R1 은 도 4 b와 같이 영역 R5, R6, R7, R8 로 분할되고, 니머지 영역 R2, R3, R4 도 각각 영역 R9 ~ R20 으로 분할된다. 분할 계층의 수가 적을 경우에는 분할하는 영역의 수가 적게 되고, 계층의 수가 많아질수록 많은 수의 영역으로 분할되어 더 자세한 모양 정보의 표현이 가능하게 되므로, 본 발명에서 계층의 수는 사용자가 표현하고자 하는 모양정보의 상세 정도에 따라 임의로 결정될 수 있다.

분할된 영역에 대하여 모양정보의 특징을 추출하기 위해서는 모양정보 기술 자를 적절히 정의하여야 하는데, 본 발명에서는 CMEV의 고유벡터에 대해서 구해진 두 개의 고유벡터의 크기(eigen vlaue)의 비와 고유벡터의 방향(angle), 무게중심(center_ point)의 위치, 또는 밀집도(compactness)를 이용한다.

이하에서 각각의 모양정보 기술자에 대하여 상술한다.

(1) 두 고유벡터 크기의 비( eigen_ratio)

본 발명에서 모양정보의 특징은 공분산 행렬의 고유벡터의 두 축을 이루는 벡터들의 크기(고유값)의 비로 표현할 수 있다. 이 때 두 고유벡터의 크기의 비는 장축의 고유벡터 크기에 대한 단축의 고유벡터 크기의 비로 표현하거나 반대로 단축의 고유벡터 크기에 대한 장축의 고유벡터 크기의 비로 표현할 수 있다.

본 발명에서 고유값 자체를 사용하지 않고 장축과 단축의 고유값의 비를 사용하는 이유는 크기의 변화에 일관된 성질을 갖도록 하기 위해서이다. 즉, 같은 모양을 가지고 크기가 다른 모양 정보로부터 고유값를 구하면 크기 변화 만큼 고유값 역시 차이나게 된다. 그러나 고유벡터의 비를 구하는 경우에는 장축과 단축에서 모두 같은 비율로 크기의 변화가 발생하므로 크기 변화에 영향을 받지 않고 일정한 값을 구할 수 있다.

(2) 고유벡터 각도 ( angle)

모양정보의 특징 표현에 있어서, 분할된 영역에서의 고유벡터의 방향을 모양 정보의 특징으로 사용하면 분할된 영역의 윤곽선 방향 성질을 나타낼 수 있다. 도 5에 그 예를 나타내었다.

도 5a는 타원형의 모양 정보를 본 발명에 따라서 두 계층으로 분할한 예이고, 도 5b는 직사각형의 모양 정보에 대해서 본 발명에 따라서 두 계층으로 분할한 적용한 예이다. 양자의 경우에 첫번째 계층에서 구해진 고유벡터의 비와 각도는 거의 일치한다. 따라서 한 개의 계층에서 고유벡터의 크기의 비로만 표현한다면 양자의 모양정보는 동일하게 특징지워질 것이다. 그러나 도 5b의 두 번째 계층에서 구해진 4개의 고유벡터의 비는 비슷한 값을 가지나 두 각도는 다르게 나타난다. 즉, 도 4a의 두 번째 계층의 고유벡터의 방향이 윤곽선의 방향과 유사하게 기울어져 있는 것을 알 수 있다. 따라서, 이와 같이 고유벡터의 크기 이외에 고유벡터의 각도를 모양정보기술자로 이용하면 도 5a 및 도 5b와 같은 형태의 차이를 식별하여 정확하게 특징을 추출할 수 있다.

본 발명에서 고유벡터의 각도로는 고유벡터의 장축을 나타내는 고유벡터의 각도를 이용하거나 고유벡터의 단축을 나타내는 고유벡터의 각도를 이용할 수 있다.

또한, 고유벡터의 방향으로 모양정보를 기술하는 경우에 고유벡터의 각도를 첫번째 계층에서 구해진 고유벡터의 각도와 현재 계층의 고유벡터의 각도의 차의 절대값으로 정의할 수 있는데, 이와 같이 하면 모양정보의 회전에 대해 일관된 값을 갖게 할 수 있다.

(3) 무게중심의 위치 ( center_point )

본 발명 방법에 의해 모양정보의 특징을 추출하는 경우에는 상술한 고유벡터의 비와 각도 이외에 영역의 무게중심의 위치를 모양정보 기술자로 이용할 수 있다. 고유벡터의 비와 각도만을 특징으로 사용할 경우에는 도 6a 및 도 6b와 같이 다른 형태의 모양 정보가 동일한 고유벡터의 비와 각도 값을 가질 수 있다. 따라서 본 발명에서는 도 6a 및 도 6b를 구분할 수 있는 특징으로 분할된 각 영역에서의 무게중심의 위치를 사용한다. 도 6a에서 각 분할된 영역에서의 무게중심 위치는 첫번째 계층의 무게중심에서 멀리 떨어져 있는 반면에, 도 6b의 두 번째 계층에서의 무게중심은 첫번째 계층의 무게중심에 가까이 위치하므로 무게중심의 위치에 의해 도 6a와 도 6b는 서로 다르게 표현될 수 있다.

본 발명에서 무게중심의 위치는 다음의 4가지 방법 중의 하나의 방법에 의해 표현될 수 있다.

(1) 무게중심의 위치는 첫 번째 계층에서 구해진 무게중심으로부터의 상대 좌표 값 (X 좌표 값, Y 좌표 값)으로 정의될 수 있다.

(2) 회전에 대해 일관된 성질을 갖기 위해서 첫번째 계층에서 구해진 두 고유벡터를 두 축으로 했을 때의 상대 좌표 값 (X 좌표 값, Y 좌표 값)을 무게중심의 위치로 할 수 있다.

(3) 회전과 크기 변화에 일관된 성질을 갖게 하기 위해서 첫번째 계층에서 구해진 두 고유벡터를 두 축으로 했을 때의 좌표 값을 첫번째 계층의 장축 또는 단축의 고유값, 또는 기타의 크기 변화에 일관된 특성을 갖는 값으로 나눈 값으로 무게중심의 위치를 표현할 수 있다 (X 좌표 값, Y 좌표 값).

(4) 회전과 크기 변화에 일관된 성질을 가지고, 계산을 간단하게 하기 위해서 첫번째 계층에서 구해진 무게중심에서 각 영역의 무게중심까지의 거리를 첫번째 계층에서 구해진 장축 또는 단축의 고유값 또는 기타 기준값으로 나눈 값을 무게중심의 위치로 정의할 수도 있다. 이 경우 위의 (1) 내지 (3)의 경우와 같이 X, Y 좌표에 대한 두 개의 값을 갖는 대신 거리에 대한 하나의 값으로 표현할 수 있으므로 유리하다.

(4) 밀집도( compactness )

본 발명에서는 다계층의 각 영역에 대해서 밀집도를 구하여 모양 정보의 특징으로 사용하는데, 밀집도는 전체 영역의 화소수에 대한 물체 내부의 영역의 화소수의 비를 나타낸다.

도 7a 및 b는 밀집도를 적용한 실시예를 도시한 것이다. 도 7a 및 도7b는 첫번째 계층에서의 밀집도를 구하는 실시예이다. 본 실시예에서 밀집도는 전체 영역에 대한 실제 물체 내부의 화소수의 비를 사용하는 대신 각 영역의 참조 영역(reference region)에 대한 해당 영역의 물체 내부 영역(object region)의 화소수의 비로 나타낸다. 이 때, 참조 영역의 결정 방법에 따라서 밀집도가 달라질 수 있는데, 본 발명에서 첫번째 계층에서의 참조 영역은 첫번째 계층에서 구해지는 고유벡터의 두 축과 평행하고 물체를 완전히 포함하는 최소의 직사각형 영역을 참조영역으로 정의한다. 도 6b의 T0가 첫번째 계층에서의 참조 영역이다. 그리고 두 번째 계층에서의 참조 영역은 도 7d와 같이 T0에 포함되면서 두 고유벡터로 분할된 각각의 영역 (T1, T2, T3, T4)이 참조 영역이 된다. 같은 방법으로 세 번째 계층에서는 도 7f에 나타난 것과 같이 T5~T20으로 정의한다. 이와 같이 참조영역을 정의할 때 각 영역에서의 밀집도는 아래와 같은 식에 의해 계산된다.

밀집도(i) = R_i / T_i

(상기 식에서 R은 물체 영역의 화소수를 의미하고, T는 참조영역의 화소수를 의미하며, i는 영역의 수를 나타낸다.)

본 발명에서 밀집도를 특징으로 사용하는 이유는 도 8a-b에 도시된 바와 같이, 유사한 고유벡터의 비를 가지고 있지만 서로 다른 모양 정보를 가지는 경우 이를 구별하여 표현할 수 있기 때문이다. 이와 같은 경우의 밀집도를 구할 경우, 도 8a에서는 큰 값의 밀집도가 나타나고, 도 8b에서는 도 8a에 비해서 적은 값을 가지므로 두 영상을 서로 구별할 수 있다.

본 발명의 멀티미디어 데이터 검색방법에서 질의 영상의 특징과 멀티미디어 데이터 베이스 내의 영상들의 특징을 비교하여 유사도를 계산하는 단계는 각 영역의 고유벡터 비의 차 (eigen_ratio_diff), 고유벡터의 각도의 차 (angle_diff), 무게중심 위치의 차 (center_diff), 밀집도의 차 (compact_diff)를 비교하여 유사도를 계산하는 과정으로 이루어진다.

모양정보의 특징 추출 단계에서 고유벡터의 각도를 회전에 대해서 일관된 특성을 갖도록 하기 위해 이전 계층의 고유벡터의 방향과 현재 계층의 고유벡터 방향 사이의 차의 절대값으로 정의한 경우에는 유사도 비교 단계에서 최초 계층에서의 유사도 비교방법과 두 번째 이후의 계층에서의 유사도 비교 과정이 달라진다.

즉, 첫 번째 계층에서는 각도와 무게중심을 사용하지 않고 두 번째 계층 이상에서만 각도와 무게중심을 이용한다.

두 모양정보의 유사도(similarity)는 두 모양정보의 상관도(match_rate)를 하기 수학식 5에 의하여 계산함으로써 비교될 수 있다. 본 발명에서 상관도 값이 작을수록 두 영상이 비슷함을 나타내고 상관도 값이 클수록 서로 다른 영상임을 나타낸다.

상기 수학식 5에서 N은 전체 영역의 수, 즉 각 계층에서의 영역의 수의 합을 의미하고, L은 계층의 갯수를 나타낸다. f _i , s _i 는 각각 비교할 두 입력 영상의 i 번째 영역에서의 특징을 나타낸다. w _1~4 는 유사도를 계산하는 과정에서 각각의 특징에 대한 차(eigen_ratio_diff, angle_diff, center_diff, compact_diff) 에 적용되는 가중치를 의미한다.

유사도의 비교시에는 고유벡터의 비의 차 (eigen_ratio_diff), 각도의 차 (angle_diff), 무게중심의 위치의 차 (center_diff), 밀집도의 차 (compact_diff)를 계산하여 그 자체의 값을 합산하여 계산하거나, 그렇지 않으면 입력되는 모양 정보의 특징에 따라서 가중치를 다르게 설정하여 유사도를 측정할 수 있다. 예컨대, 고유벡터의 각도를 이용하는 경우 고유벡터의 크기의 비가 1에 근접하면 고유벡터의 각도가 이진영상의 모양정보와 무관하게 다른 값을 가질 확률이 높기 때문에 가중치를 적용하는 것이 필요하다.

본 발명에서 고유벡터의 크기의 비의 차(eigen_ratio_diff)는 첫번째 모양 정보의 고유벡터의 비와 두 번째 모양 정보의 고유벡터의 비의 차의 절대값으로 정의한다.

본 발명의 일실시예에서 모양 정보의 특징으로 각도를 현재 고유벡터의 각도로 정의할 경우, 각도의 차는 첫번째 모양 정보에서의 이전 계층에서의 각도와 현재 계층에서의 각도의 차의 절대값과 두 번째 모양 정보에서의 이전 계층에서의 각도와 현재 계층에서의 각도의 차의 절대값의 차의 절대값으로 나타낸다. 다른 실시예에서 각도의 정의를 이전 계층의 고유벡터의 각도와 현재 계층의 고유벡터의 각도와의 차의 절대값으로 정의할 경우에는 하기 수학식 6과 같이 두 고유벡터 각도의 차의 절대값으로 정의한다.

각도의 차 (n) = ｜각(f_n)-각(s_n)｜

또 다른 실시예에서 각도의 차(angle_diff)는 하기 수학식 7에 의해 구할 수도 있다.

각도의 차(n)=∥각(f₀)-각(f_n)｜-｜각(s_o)-각(s_n)∥×(1-고유벡터의 크기의 비(f_n))

고유벡터의 크기의 비(eigen_ratio)가 1에 가까울 경우에는 모양 정보의 변형에 따라 고유벡터의 각도가 민감하게 변할 수 있으므로 고유벡터의 크기의 비가 1에 가까울 경우는 각도의 차(angle_diff)에 대한 가중치를 적게 두고, 고유벡터의 크기의 비가 0에 가까울수록 각도의 차(angle_diff)에 대한 가중치를 크게 둔다. 이 때 가중치를 제어하는 인자로 상기 수학식 7에서는 고유벡터의 비(f_n)를 사용하였는데, 경우에 따라서는 고유벡터의 비(s_n)를 사용하거나 고유벡터의 비(f_n)와 고유벡터의 비(s_n)의 조합을 사용할 수 있다.

그리고 무게중심의 위치의 차(center_diff)는 두 무게중심의 위치의 차의 절대값으로 나타내며, 밀집도의 차는 두 밀집도의 차의 절대값으로 나타낸다.

이제 본 발명의 멀티미디어 데이터 검색장치에 대하여 상세히 설명한다. 도 2를 참조하면, 본 발명의 멀티미디어 데이터 검색 장치는 질의영상의 모양정보를 입력받아 다계층 공분산 행렬의 고유벡터를 이용한 모양기술자(descriptor)를 이용하여 모양정보의 특징을 추출하는 모양정보 특징추출부(11); 상기 모양정보 특징 추출부(11)와 동일한 동작에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하는 영상 특징 추출부(22); 상기 특징 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축하는 멀티미디어 데이터 베이스 구축부(33): 질의영상의 특징추출부(11)에 의해 출력된 질의영상의 특징과 특징추출부(22)에 의해 출력된 멀티미디어 데이터 베이스내의 영상들의 특징을 비교하는 유사도 비교부(44); 및 전단의 상기 유사도 비교부의 결과를 입력받아 출력하는 비교 결과 출력부(55)로 구성된다. 본 발명의 장치에 의한 멀티미디어 데이터 검색시에는질의영상의 특징추출부(11)는 질의영상의 모양정보를 입력받아 다계층 공분산 행렬의 고유벡터를 이용한 모양정보기술자(descriptor)를 이용하여 모양정보의 특징을 추출하고, 멀티미디어 데이터 베이스 구축을 위한 영상의 특징추출부(22)는 상기 특징추출부 11과 동일한 과정에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하고 멀티미디어 데이터 베이스 구축부(33)는 이와 같이 하여 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축한다. 상기 유사도 비교부(44)는 상기 두 특징 추출부(11 및 22)로부터 출력된 질의영상의 특징과 멀티미디어 데이터 베이스내의 영상들의 특징을 대비하여 유사도를 계산하고 이러한 계산 결과는 비교 결과 출력부(55)에 의해 출력된다

본 발명의 멀티미디어 데이터 검색장치에서 질의영상 및 멀티미디어 데이터 베이스의 구축을 위한 모양 정보 특징 추출부(11 및 22)는 동일한 구성을 갖는데, 이 부분을 도 8을 참조하여 설명한다. 상기 모양 정보 특징 추출부(11, 22)는 최 초 입력 영상과 영역분할 수단에 의해 분할된 영상을 구별하여 최초층인 경우 최초 입력 영상을, 최초층이 아닌 경우 영역분할기에 의해 분할된 영역을 공분산 행렬 계산 수단에 입력시키는 스위치 S_w1(10), 상기 스위치 S_w1(10)에 의해 입력된 영상의 모양정보에 대하여 공분산 행렬을 계산하는 수단(20), 상기 공분산 행렬 계산 수단에 의해 구해진 공분산 행렬의 고유벡터를 계산하는 수단(30), 상기 고유벡터 계산 수단에 의해 구해진 고유벡터로부터 모양정보의 특징을 추출하는 수단(40), 모양정보의 특징을 추출하고자 하는 영역이 최종층이 아닌 경우 구해진 고유벡터의 두 축에 의해 분할되는 4개의 영역으로 모양정보를 분할하는 영역 분할 수단(60) 및 추출된 특징이 최종층의 특징인 경우 그 특징을 출력단에 출력시키고, 추출된 특징이 최종층의 특징이 아닌 경우 그 결과를 영역 분할 수단에 입력시키는 스위치 S_w2(50)를 포함한다.

도 10은 도9의 모양정보 특징 추출부중 특징 추출 수단(40)의 상세 구성도이다. 본 발명의 상기 장치에서 상기 특징 추출 수단(40)은 두 고유벡터의 크기의 비(eigen_ratio) 계산기(41), 두 고유벡터의 각도(angel) 계산기(42), 영역의 무게중심의 위치(center_point) 계산기(43), 영역의 밀집도(compact) 계산기(44) 중 하나로 구현되거나 이들을 임의로 조합하여 구현될 수 있다. 가장 바람직하게 상기 특징 추출 수단(40)은 두 고유벡터의 크기의 비 계산기(41), 각 축을 나타내는 고유벡터의 각도 계산기(42), 영역의 무게중심 위치 계산기(43), 영역의 밀집도 계산기(44)를 모두 포함하여 구성된다. 이 경우 특징 추출 수단(40)은 각 영역으로부 터 구해진 고유벡터를 입력으로 받아들여 고유벡터의 크기의 비, 각도, 무게중심의 위치, 밀집도의 특징을 각각 추출하고, 구해진 특징을 특징 조합기(400)에 의해서 일정한 형식에 맞도록 저장한 후 S_W2로 조합된 특징을 입력시킨다.

상기 각 계산기의 구성은 위에서 설명한 본 발명의 멀티미디어 검색 방법중 모양정보 특징 추출 단계에서의 각 실시예들을 구현하기 위한 수단으로 구현될 수 있다.

본 발명의 멀티미디어 데이터의 검색장치 중 모양정보 특징추출부(11)의 동작을 살펴보면, 첫번째 계층에서 입력 영상으로 모양 정보가 들어오면 첫번째 스위치 S_w1(10)에서 입력 영상으로 연결시켜 공분산 행렬 계산 수단(20)으로 입력된다. 여기서 모양 정보에 대한 공분산 행렬이 계산되고 그 결과가 고유벡터 계산 수단(30)으로 입력되어 고유벡터를 계산한다. 계산된 고유벡터는 특징 추출 수단(40)에서 필요한 특징이 추출된다. 두 번째 스위치 S_w2(60)에서는 현재 계층(layer)이 최종층(last layer)인지 판단하여 최종층이 아닌 경우는 추출된 고유벡터에 의해서 입력 영상을 분할하는 영역 분할 수단(60)으로 연결시킨다. 다음 계층은 스위치 S_w1(10)에서 공분산 행렬 계산 수단(20)의 입력으로 영역 분할 수단(60)과 연결함으로써 분할된 입력 영상이 공분산 행렬 계산 수단(20)으로 들어가고 분할된 각각의 영역에 대해서 공분산 행렬을 계산하고 고유벡터를 구하고 구해진 고유벡터로부터 특징을 추출하는 단계를 최종층이 될 때까지 반복한다. 최종층일 경우는 스위치 S_w2(50)에 의해서 추출된 특징을 출력하게 된다.

본 발명의 멀티미디어 데이터 검색 장치에서 상기 유사도 비교부(44)는 비교대상이 되는 두 개의 영상으로부터 각각의 특징을 고유벡터 크기의 비, 고유벡터의 각도, 무게중심의 위치, 및 영역의 밀집도로 분해하는 수단(101 및 102), 분해된 각각의 특징별로 유사도를 비교하는 고유벡터의 비의 차 (eigen_ratio_diff) 계산 수단(201), 고유벡터의 각도의 차 (angle_diff) 계산 수단(202), 무게중심의 위치의 차 (center_diff) 계산 수단(203), 밀집도(compact_diff)의 차 계산 수단(204), 구해진 각각의 유사도 값에 가중치를 계산하는 수단(301 내지 304), 가중치가 적용된 차의 합을 구하는 가산 수단(500), 구해진 합으로 유사도를 계산하는 수단(600)을 포함하여 구성된다. 본 발명에서 상기 특징 계산 수단들(201 내지 204)은 모양정보 특징추출부(11, 22)에서 사용하는 계산기에 맞게 단독으로 또는 필요에 따라 임의의 조합으로 구성될 수 있고, 매우 정밀한 표현이 요구되는 경우에는 모두 포함될 수 있다.

상기 유사도 계산부(44)는 동작시 도 11에 나타낸 것과 같이 두 영상으로부터 추출된 특징을 입력으로 받아들인다. 이어서 입력된 두 영상의 특징들은 특징 분해기(100)에서 고유벡터의 비, 각도, 무게중심의 위치, 밀집도의 특징으로 분해되어, ratio_diff 계산기(201), angle_diff 계산기(202), center_diff 계산기(203) 그리고 compact_diff 계산기(204)로 입력된다. 각 계산기는 고유벡터의 두 축의 길이의 비(eige_ratio)에 대한 차, 고유벡터의 방향에 대한 차, 무게중심의 위치의 차 및 밀집도의 차를 계산한다. 각 계산기들의 출력은 각각 가중치 계산기(300 내지 304)로 입력되어 적절한 가중치를 적용하여 가산기(500)에 의 해 각각의 합을 구하고 유사도 계산기(600)는 그 합으로 유사도를 계산한다. 이렇게 하여 계산된 유사도 비교 결과는 비교결과 출력부(44)로 출력된다.

현재 모양 정보 기술자로는 제르나이크 모멘트 (Zernike moments) [CHO_HUAK TEN, ROLAND T.CHIN. On Image Analysis by the Methods of Moments, IEEE Trans. PAMI, vol 10, NO. 4, JULY 1998. 참조]와 같은 다차수의 모멘트를 사용한다. n차 모멘트의 계산은 기본적으로 하기 수학식 8과 같이 거듭제곱의 합의 형태로 이루어진다.

(상기 식에서, p+q=n이다)

따라서, 차수가 높아질수록 거듭제곱 계산이 많아짐으로써 계산이 복잡하게 된다. 이와 반대로 본 발명에서 고안한 모양 정보 기술자는 무게중심을 계산하기 위해서 수학식 2와 같이 1차의 모멘트를 계산하게 되고, 공분산 행렬을 계산하는 과정에서도 수학식 4와 같이 곱셈과 덧셈, 뺄셈의 계산으로만 이루어지기 때문에 모멘트를 사용하는 기존의 방법에 비하여 계산량이 적다. 그리고 본 발명은 계층 수를 조절함으로써 모양 정보의 표현 정도를 조절할 수 있으며 회전, 크기 변화, 이동에 관하여 일관된 특성을 가지는 장점이 있다. 그리고 본 발명을 하드웨어로 구현할 경우에는 공분산 행렬 계산 수단, 고유벡터 계산 수단, 특징 추출 수단, 영역 분할 수단과 같은 단순한 계산을 수행하는 장치를 계속해서 반복 사용함으로써 하드웨어의 구성을 단순화할 수 있는 이점을 수득할 수 있다. 따라서 본 발명의 멀티미디어 검색 방법 및 장치는 적은 계산량과 적은 데이터량으로 모양 정보를 정확하게 표현하여 정확하고 신속하게 원하는 멀티디미어 데이터를 검색할 수 있는 특유의 효과를 제공한다.

Claims

질의영상의 모양정보를 입력받아 다계층 공분산 행렬의 고유벡터를 이용한 모양기술자(descriptor)를 이용하여 모양정보의 특징을 추출하는 모양정보 특징추출 단계; 상기 모양정보 특징 추출단계와 동일한 과정에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하는 특징 추출 단계; 상기 특징 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축하는 멀티미디어 데이터 베이스 구축 단계: 출력된 질의영상의 특징과 멀티미디어 데이터 베이스내의 영상들의 특징을 비교하는 유사도 비교 단계; 및 전 단계의 상기 유사도 비교 결과를 출력하는 비교 결과 출력 단계로 구성되는 것을 특징으로 하는 모양정보를 이용한 멀티미디어 데이터베이스의 검색방법.
제 1항에 있어서, 상기 모양정보 특징추출 단계가 입력 모양 정보에 대해서 모양 정보의 기술자로 공분산 행렬을 구하는 단계, 구해진 공분산 행렬의 고유벡터를 구하는 단계, 구해진 고유벡터로부터 모양정보기술자에 의해 특징을 추출하는 단계, 구해진 고유벡터의 두 축에 의해 모양 정보를 분할하는 단계 및 최종층에 도달할 때까지 계층적으로 분할된 각각의 영역에 대해서 처음의 공분산 행렬을 구하는 단계에서 고유벡터의 두 축을 이용하여 영역을 분할하여 특징을 추출하는 과정을 반복하는 단계로 구성되는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 입력되는 모양 정보로 이진 영상의 윤곽선 정보를 이용하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 상기 모양정보 기술자로 두 고유벡터의 크기(고유값)의 비를 사용하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 상기 모양정보 기술자로 고유벡터의 각도를 이용하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 상기 모양정보 기술자로 해당 영역의 무게중심의 위치를 이용하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 상기 모양정보 기술자로 참조 영역에 대한 물체 내부 영역의 비인 밀집도(compactness)를 이용하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 구해진 고유벡터로부터 모양 정보의 특징을 추출하기 위한 모양정보 기술자로 두 고유벡터의 크기의 비, 고유벡터의 각도, 영역의 무게중심의 위치 및 영역의 밀집도를 이용하는 것을 특징으로 하는 방법.
제 4항에 있어서, 상기 두 고유벡터의 크기의 비로 장축의 고유벡터의 크기 에 대한 단축의 고유벡터의 크기의 비를 사용하는 것을 특징으로 하는 방법.
제 4항에 있어서, 상기 두 고유벡터의 크기의 비로 단축의 고유벡터의 크기에 대한 장축의 고유벡터의 크기의 비를 사용하는 것을 특징으로 하는 방법.
제 5항에 있어서, 상기 고유벡터의 각도로 장축의 고유벡터의 각도를 이용하는 것을 특징으로 하는 방법.
제 5항에 있어서, 상기 고유벡터의 각도로 단축의 고유벡터의 각도를 이용하는 것을 특징으로 하는 방법.
제 5항에 있어서, 상기 고유벡터의 각도로 이전 계층에서 구해진 고유벡터의 각도와 해당 계층의 고유벡터의 각도의 차의 절대값을 사용하는 것을 특징으로 하는 방법.
제 6항에 있어서, 상기 무게중심의 위치를 첫번째 계층의 무게중심으로부터의 상대 좌표로 결정하는 것을 특징으로 하는 방법.
제 6항에 있어서, 상기 무게중심의 위치로 첫번째 계층의 무게중심을 원점으로 하고 구해진 두 고유벡터를 두 축으로 했을 때의 상대 좌표를 이용하는 것을 특 징으로 하는 방법.
제 6항에 있어서, 상기 무게중심의 위치로 첫번째 계층의 무게중심을 원점으로 하고 구해진 두 고유벡터를 두 축으로 했을 때의 상대 좌표 값을 첫번째 계층의 장축 또는 단축의 고유값 또는 기준값으로 나눈 값을 이용하는 것을 특징으로 하는 방법.
제 7항에 있어서, 상기 영역의 밀집도의 계산시 첫번째 계층에서는 첫번째 계층에서 구해진 두 고유벡터와 평행하고 물체를 모두 포함하는 최소의 직사각형 영역을 참조 영역으로 정의하고, 두 번째 이상의 계층에서는 첫번째 계층의 참조 영역에 포함되면서 각각의 고유벡터에 의해서 분할된 영역으로 정의하는 것을 특징으로 하는 방법.
제 1항 또는 제 2항에 있어서, 상기 두 영상의 유사도는 각 영상의 고유벡터 비의 차 (eigen_ratio_diff), 고유벡터의 각도의 차 (angle_diff), 무게중심 위치의 차 (center_diff), 또는 밀집도의 차 (compact_diff)를 이용하여 비교하는 것을 특징으로 하는 방법.
제 18항에 있어서, 상기 두 이진 영상의 고유벡터의 각도의 차로(angle_diff) 이전 계층의 고유벡터의 각도와 해당 계층의 각도 사이의 차의 절대값을 이용하는 것을 특징으로 하는 방법.
제 18항에 있어서, 상기 두 영상의 고유벡터 비의 차 (eigen_ratio_diff)로 두 고유벡터 비의 차의 절대값을 이용하는 것을 특징으로 하는 방법.
제 18항에 있어서, 상기 고유벡터의 비가 1에 가까울 경우 고유벡터의 각도산정시 고유벡터의 비를 이용하여 가중치를 적용하는 것을 특징으로 하는 방법.
제 18항에 있어서, 상기 무게중심 위치의 차(center_diff)로 두 무게중심 위치의 차의 절대값을 이용하는 것을 특징으로 하는 방법.
제 18항에 있어서, 상기 밀집도의 차(compact_diff)로 두 밀집도의 차의 절대값을 이용하는 것을 특징으로 하는 방법.
질의영상의 모양정보를 입력받아 다계층 공분산 행렬의 모양정보기술자(descriptor)를 이용하여 모양정보의 특징을 추출하는 모양정보 특징추출부; 상기 모양정보 특징 추출부와 동일한 동작에 의해 멀티미디어 데이타 베이스내의 각 영상 데이터들의 특징을 추출하는 특징 추출부; 상기 특징 추출된 멀티미디어 데이터로 멀티미디어 데이타 베이스를 구축하는 멀티미디어 데이터 베이스 구축부: 질의영상의 특징추출부에 의해 출력된 질의영상의 특징과 멀티미디어 데이터 베이스내의 영상들의 특징을 비교하는 유사도 비교부; 및 전단의 상기 유사도 비교부의 결과를 입력받아 출력하는 비교 결과 출력부로 구성되는 것을 특징으로 하는 모양정보를 이용한 멀티미디어 데이터 검색장치.
제 24항에 있어서, 상기 모양정보 특징추출부가 입력 영상과 영역분할 수단에 의해 분할된 영상을 구별하여 최초층인 경우 모양정보를 영역분할기에 입력시키고 분할된 영역인 경우 공분산 행렬 계산 수단에 입력시키는 스위치 S_w1, 상기 스위치 S_w1에 의해 입력된 영상의 모양정보에 대하여 공분산 행렬을 계산하는 수단, 상기 공분산 행렬 계산 수단에 의해 구해진 공분산 행렬의 고유벡터를 계산하는 수단, 상기 고유벡터 계산 수단에 의해 구해진 고유벡터로부터 모양정보의 특징을 추출하는 수단, 모양정보의 특징을 추출하고자 하는 영역이 최종층이 아닌 경우 구해진 고유벡터의 두 축에 의해 모양정보를 분할하는 영역 분할 수단, 추출된 특징이 최종층의 특징인 경우 그 특징을 출력단에 출력시키고, 추출된 특징이 최종층의 특징이 아닌 경우 그 결과를 영역 분할 수단에 입력시키는 스위치 S_w2로 구성되는 것을 특징으로 하는 장치.
제 24항 또는 제 25항에 있어서, 상기 입력 영상의 모양 정보로 윤곽선 정보를 이용하는 장치.
제 24항 또는 제 25항에 있어서, 상기 특징 추출 수단이 두 고유벡터의 크기의 비 계산기인 것을 특징으로 하는 장치.
제 24항 또는 제 25항에 있어서, 상기 특징 추출 수단이 두 고유벡터의 각도 계산기인 것을 특징으로 하는 장치.
제 24항 또는 제 25항에 있어서, 상기 특징 추출 수단이 영역의 무게중심의 위치 계산기인 것을 특징으로 하는 장치.
제 24항 또는 제 25항에 있어서, 상기 특징 추출 수단이 참조 영역에 대한 물체 내부 영역의 비인 영역의 밀집도를 계산하는 계산기인 것을 특징으로 하는 장치.
제 24항 또는 제 25항에 있어서, 상기 특징 추출 수단이 두 고유벡터의 크기의 비 계산기, 각 축을 나타내는 고유벡터의 각도 계산기, 영역의 무게중심 위치 계산기, 영역의 밀집도 계산기를 모두 포함하여 구성된 것임을 특징으로 하는 장치.
제 27항에 있어서, 상기 두 고유벡터 크기의 비 계산기가 장축의 고유벡터 크기에 대한 단축의 고유벡터 크기의 비를 계산하는 계산기인 것을 특징으로 하는 장치.
제 27항에 있어서, 상기 고유벡터 크기의 비 계산기가 단축의 고유벡터 크기에 대한 장축의 고유벡터 크기의 비를 계산하는 계산기인 것을 특징으로 하는 장치.
제 28항에 있어서, 상기 고유벡터의 각도 계산기가 장축 고유벡터의 각도를 계산하는 계산기인 것을 특징으로 하는 장치.
제 28항에 있어서, 상기 고유벡터의 각도 계산기가 단축의 고유벡터의 각도를 계산하는 계산기인 것을 특징으로 하는 장치.
제 28항에 있어서, 상기 고유벡터 각도 계산기가 이전 계층의 고유벡터의 각도와 현재 계층의 고유벡터의 각도의 차의 절대값을 계산하는 계산기인 것을 특징으로 하는 장치.
제 29항에 있어서, 상기 무게중심의 위치 계산기가 이전 계층의 무게중심 위치로부터의 상대 좌표 값을 구하는 계산기인 것을 특징으로 하는 장치.
제 29항에 있어서, 상기 무게중심의 위치 계산기가 첫번째 계층의 무게중심 위치를 중심으로 하고 첫번째 계층의 두 고유벡터를 두 축으로 하는 좌표계상에서의 중심점의 좌표 값을 구하는 계산기인 것을 특징으로 하는 장치.
제 29항에 있어서, 상기 무게중심의 위치 계산기가 첫번째 계층의 무게중심 위치를 중심으로 하고 첫번째 계층의 두 고유벡터를 두 축으로 하는 좌표계상에서의 중심점의 좌표 값을 첫번째 계층의 장축 또는 단축의 고유값으로 나눈 값을 구하는 계산기인 것을 특징으로 하는 장치.
제 29항에 있어서, 상기 무게중심의 위치 계산기가 첫번째 계층에서 구해진 무게중심에서 각 영역의 무게중심까지의 거리를 첫번째 계층에서 구해진 장축 또는 단축의 고유값 또는 기타 기준값으로 나눈 값을 구하는 계산기인 것을 특징으로 하는 장치.
제 30항에 있어서, 상기 밀집도 계산기가 첫번째 계층에서는 첫번째 계층에서 구해진 두 고유벡터와 평행하고 물체를 모두 포함하는 최소의 직사각형 영역을 참조 영역으로 정의하고, 두 번째 이상의 계층에서는 이전 계층의 참조 영역에 포함되면서 각각의 고유벡터에 의해서 분할된 영역으로 참조 영역을 정의하여 밀집도를 계산하는 것을 특징으로 하는 장치.
제 24항에 있어서, 상기 유사도 비교부가 비교대상이 되는 두 개의 영상으로 부터 각각의 특징을 고유벡터 크기의 비, 고유벡터의 각도, 무게중심의 위치, 및 영역의 밀집도로 분해하는 수단, 분해된 각각의 특징별로 유사도를 비교하는 고유벡터의 비의 차 (eigen_ratio_diff) 계산 수단, 고유벡터의 각도의 차 (angle_diff) 계산 수단, 무게중심의 위치의 차 (center_diff) 계산 수단, 밀집도(compact_diff)의 차 계산 수단, 구해진 각각의 유사도 값에 가중치를 계산하는 수단, 가중치가 적용된 차의 합을 구하는 수단, 구해진 합으로 유사도를 계산하는 수단으로 구성된 것을 특징으로 하는 장치.
제 42항에 있어서, 상기 고유벡터의 각도의 차를 계산하는 수단이 각각의 영상에 대해서 첫번째 계층에서의 각도와의 차의 절대값을 구하고 그 두 값의 차의 절대값을 계산하는 수단인 것을 특징으로 하는 장치.
제 42항에 있어서, 상기 고유벡터의 비의 차 계산 수단이 두 고유벡터의 비의 차의 절대값을 계산하는 수단인 것을 특징으로 하는 장치.
제 42항에 있어서, 상기 무게중심의 위치의 차 계산 수단이 두 무게중심의 위치의 차의 절대값을 계산하는 수단인 것을 특징으로 하는 장치.
제 42항에 있어서, 상기 밀집도의 차 계산 수단이 두 밀집도의 차의 절대값을 계산하는 수단인 것을 특징으로 하는 장치.