KR20030088465A

KR20030088465A - 화상 중의 오브젝트를 검색하는 방법, 시스템 및 기계판독가능한 매체

Info

Publication number: KR20030088465A
Application number: KR10-2003-7012365A
Authority: KR
Inventors: 미로슬로우지. 보버
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 1999-07-15
Filing date: 2000-07-12
Publication date: 2003-11-19
Also published as: CN1317126A; KR20030086321A; GB2352076A; CN100520825C; CN101609469A; BR0006938B1; US7574049B2; CN101609468A; DE60037497D1; EP1115088B1; KR100626261B1; EP1901204B1; EP1115088A1; JP4727879B2; KR20060054492A; DE60037497T2; JP2011100465A; US20080063312A1; BR0006938A; US20080065613A1

Abstract

정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써 화상 중에 나타나는 오브젝트를 나타내는 방법에 있어서, 오브젝트의 윤곽을 평활화함으로써 오브젝트 윤곽의 곡률 스케일 공간(CSS) 표시를 도출하는 단계과, 원래의 곡선을 평활화한 버젼의 형상 또는 크기의 분포를 반영하는 적어도 1개의 추가 파라미터를 도출하는 단계과, 그 CSS 표시와 오브젝트의 형상 기술자로서의 그 추가 파라미터를 관련시키는 단계를 갖는다.

Description

화상 중의 오브젝트를 검색하는 방법, 시스템 및 기계 판독가능한 매체{METHOD AND SYSTEM FOR SEARCHING FOR OBJECT IN IMAGE AND MACHINE-READABLE MEDIUM}

본 발명은 검색을 목적으로 하는 멀티미디어·데이터 베이스에 보존된 화상과 같은 정지 화상 또는 비디오 화상 중에 나타나는 오브젝트의 표시에 관한 것으로, 특히 그와 같은 표시를 이용하여 오브젝트를 검색하는 방법 및 장치에 관한 것이다.

비디오 라이브러리의 화상과 같은 어플리케이션에서는, 비디오 화상 혹은 정지 화상 중에 나타나는 오브젝트의 윤곽이나 형상 또는 오브젝트 일부의 효율적인 표시 및 보존을 행하는 것이 바람직하다. 형상 베이스의 인덱싱과 검색을 행하기 위한 공지된 수법에서는 곡률 스케일 공간(CSS) 표시가 이용된다. CSS의 상세에 대해서는, 논문「곡률 스케일 공간에 의한 강력하고 효율적인 형상 인덱싱」(영국 머신 비젼 공보 pp.53∼62, 에딘버러, 영국, 1996년) 및 「곡률 스케일 공간을 이용하는 형상 내용에 의한 화상 데이터 베이스의 인덱싱」(인텔리젼트 데이터베이스에 관한 IEE 전문가 회의 공보, 런던, 1996년) 중에서 입수할 수 있다. 양논문 모두 Mokhtarian, S.Abbasi 및 J.Kittler에 의한 것으로, 그 내용은 본 명세서 중에 참고 문헌으로서 소개되어 있다.

CSS 표시에서는 오브젝트의 윤곽을 구하기 위해서 곡률 함수가 사용되고, 윤곽상의 임의의 점에서 표시가 개시된다. 형상을 평활화하는 일련의 변형을 행함으로써 윤곽의 형상을 전개하면서, 곡률 함수가 검토된다. 더욱 구체적으로는, 가우스 필터의 족(族, family)과 콘벌루션(convlove)된 곡률 함수의 도함수의 제로 크로스가 계산된다. 곡률 스케일 공간으로서 주지된 바와 같이, 제로 크로스는 그래프상에 플롯된다. 단, x축은 곡선의 정규화된 호 길이이고, y축은 전개 파라미터, 특히 적용 필터의 파라미터이다. 그래프상의 플롯은 윤곽의 특징을 나타내는 루프를 형성한다. 오브젝트의 윤곽의 각 볼록형 또는 오목형을 이루는 부분은 CSS 화상에 있어서의 루프에 대응한다. CSS 화상에 있어서 가장 돌기된 루프의 피크의 세로 좌표는 윤곽의 표시로서 이용된다.

입력 오브젝트의 형상에 일치하는 데이터 베이스 중의 보존 화상의 오브젝트를 검색하기 위해서, 입력 형상의 CSS 표시가 계산된다. 매칭 알고리즘을 이용하여, 각각의 CSS 화상의 피크의 위치 및 높이를 비교함으로써, 입력 형상과 보존 형상과의 사이의 유사도가 판정된다.

상술한 최초의 논문에 따르면, 2개의 추가 파라미터(원래 형상의 진원도(circularity)와 이심률(eccentricity))를 이용하여, 이것과 현저히 다른 진원도와 이심률 파라미터를 갖는 형상은 매칭 처리로부터 제외되는 것으로 알려져 있다.

상술한 바와 같은 표시에 관한 문제점으로서, 서서히 검색 정밀도가 낮아지는 경우가 있고, 특히 소수의 오목형 또는 볼록형 곡선에 관해서 검색 정밀도가 낮아진다고 하는 점을 들 수 있다. 특히, 이 표시는 여러가지 볼록형의 곡선을 구별할 수 없다.

본 발명의 한 형태는 "원형 윤곽의 형상(prototype contour shape)"의 형상에 관하여 기술하는 추가 수단을 도입하는 것이다. 적합하게는 원형 윤곽의 형상은 이하와 같이 정의하는 것이 바람직하다:

1) 윤곽 중에 요철이 존재하지 않는(즉 CSS 화상에 피크가 존재하지 않는) 경우에는 원래의 형상.

2) CSS 화상 중의 가장 높은 피크와 동일한 평활화를 행한 후의 형상의 윤곽.

원형 윤곽의 형상은 항상 볼록형인 것에 유의하기 바란다.

예를 들면, MK.HU의 논문 "모멘트 불변량에 의한 시각 패턴 인식" (정보 이론에 관한 IEEE 처리, Vo1.IT-8, 179∼181, 1962년)에 기재되어 있는 것과 같은 영역 모멘트에 기초하는 불변량에 의해서 원형 윤곽의 형상을 기술해도 좋다. 상기 논문의 내용은 본 명세서에 참고 문헌으로서 소개되고 있다. 혹은, Cho-Huak The의 논문 "모멘트법에 의한 화상 분석에 관해서" (패턴 분석 및 머신 인텔리젼스에 관한 IEEE 처리, Vol.10.No.4, 1988년 7월)에 기재되어 있는 것과 같은 푸리에 기술자(記述子) 또는 이심률, 진원도 등과 같은 파라미터를 이용하여 원형 윤곽의 형상을 기술해도 좋다. 이 논문의 내용도 본 명세서에 참고 문헌으로서 도입되어 있다. 상술한 공지된 방법에서는 이심률과 진원도는 원래의 형상에 대해서밖에 사용되지 않는다. 본 발명에서는 곡선에 관해서 다른 이심률과 진원도가 "원형 형상"에 대하여 이용된다. 이 형상은 적어도 1개의 CSS 피크를 갖는다. 또 하나의 차이는 공지 방법에 의한 이심률과 진원도를 이용하여, 유사도 매칭으로부터 어느 일정한 형상이 제외된다고 하는 점이다. 본 발명에서는 (CSS 피크 외에) 이심률과 진원도를 이용하여 유사도 측정치가 유도된다. 마지막으로, 매칭 처리에 이용하는 추가 파라미터를 모멘트 불변량, 푸리에 기술자 및 제르니크(Zernicke) 모멘트에 대하여 확장한다.

본 발명의 결과로서 검색 정밀도의 개선을 행할 수 있다.

도 1은 비디오 데이터 베이스 시스템을 나타내는 블록도.

도 2는 어떤 오브젝트의 윤곽을 나타내는 도면.

도 3은 도 2의 윤곽을 도시하는 CSS 표시의 도면.

〈도면의 주요 부분에 따른 부호의 설명〉

2 : 제어 장치

4 : 표시 장치

6 : 포인팅 디바이스

8 : 화상 데이터 베이스

10 : 기술자 데이터 베이스

본 발명의 제1 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 화상 중에 나타나는 오브젝트를 나타내는 방법에 있어서, 오브젝트의 윤곽을 평활화함으로써 오브젝트 윤곽의 곡률 스케일 공간(CSS) 표시를 도출하는 단계와, 원래 곡선의 평활화된 버젼의 형상 또는 크기의 분포를 반영하는 적어도 1개의 추가 파라미터를 도출하는 단계와, CSS 표시와 오브젝트의 형상 기술자로서 추가 파라미터를 관련시키는 단계를 갖는다.

본 발명의 제2 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 CSS 화상의 피크에 대응하는 평활화된 윤곽에 관한 것이다.

본 발명의 제3 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 CSS 화상의 가장 높은 피크에 대응하는 평활화된 윤곽에 관한 것이다.

본 발명의 제4 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 윤곽의 이심률에 대응한다.

본 발명의 제5 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 윤곽의 진원도에 대응한다.

본 발명의 제6 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 적어도 1개의 추가 파라미터가 영역 베이스의 표시를 이용한다.

본 발명의 제7 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 영역 모멘트 불변량이다.

본 발명의 제8 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 푸리에 기술자에 기초한다.

본 발명의 제9 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 추가 파라미터가 윤곽에 의해서 둘러싸인 영역의 제르니크 모멘트에 기초한다.

본 발명의 제10 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써 화상중에 나타나는 복수의 오브젝트를 나타내는 방법에 있어서, 각 오브젝트의 윤곽에 관해서, 오브젝트 윤곽의 곡률에 현저한 변화가 존재하는 경우, 제1 측면 내지 제9 측면 중 어느 측면의방법을 이용하여 형상 기술자를 도출하는 단계과, 오브젝트 윤곽의 곡률에 현저한 변화가 존재하지 않는 경우, 오브젝트 윤곽의 형상을 반영하는 추가 파라미터를 적어도 포함하는 형상 기술자를 도출하는 단계를 갖는다.

본 발명의 제11 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 곡률에 현저한 변화가 없는 오브젝트의 윤곽을 나타내는 추가 파라미터가 윤곽의 영역 모멘트 불변량, 윤곽의 푸리에 기술자 또는 윤곽의 제르니크 모멘트에 기초한다.

본 발명의 제12 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써 화상중의 오브젝트를 검색하는 방법에 있어서, 2차원 윤곽의 형태로 쿼리(query)를 입력하는 단계과, 제1 측면 내지 제11 측면 중 어느 한 측면의 방법을 이용하여 윤곽의 기술자를 도출하는 단계과, CSS 값과 추가 파라미터를 이용하는 매칭 처리를 이용하여 보존된 오브젝트를 나타내는 각 기술자와 쿼리 기술자를 비교하여 유사도 측정치를 도출하고, 비교에 의해서 쿼리와 오브젝트 사이의 유사도 정도가 표시되는 대상 오브젝트를 포함하는 화상에 대응하는 적어도 1개의 결과를 선택하여 표시하는 단계를 갖는다.

본 발명의 제13 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 GP*S가, 비교된 오브젝트의 윤곽의 추가 파라미터 사이의 유사도 측정치이고, CSS-S가, 비교된 오브젝트의 윤곽을 나타내는 CSS의 값 사이의 유사도 측정치이며, a가 상수일 때, 유사도 측정치가 M=a*GP*S+CSS-S인 M에 기초한다.

본 발명의 제14 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 a가 CSS 피크의 수와 높이에 의존한다.

본 발명의 제15 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 어느 하나의 윤곽과 관련된 CSS 피크가 존재하지 않을 때 a=1이고, 적어도 1개의 윤곽이 CSS 피크를 가지고 있을 때 a=0이다.

본 발명의 제16 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써 화상중의 오브젝트를 검색하는 방법에 있어서, 윤곽의 CSS 표시를 이용하는 2개의 오브젝트의 윤곽 사이의 유사도 측정치와, 윤곽의 형상 또는 원래의 윤곽의 범위 내의 윤곽의 크기 분포 또는 윤곽의 평활화된 버젼을 반영하는 추가 파라미터를 계산하는 단계를 갖는다.

본 발명의 제17 측면에 따른 화상 중의 오브젝트를 표시하고 또는 검색하는 장치는 제1 측면 내지 제16 측면 중 어느 한 측면의 방법을 실행하기에 적합하게 된다.

본 발명의 제18 측면에 따른 화상 중의 오브젝트를 표시하는 또는 검색하는컴퓨터 프로그램은 제1 측면 내지 제16 측면 중 어느 한 측면의 방법을 실현한다.

본 발명의 제19 측면에 따른 화상 중의 오브젝트를 표시하는 또는 검색하는 컴퓨터 시스템 프로그램은 제1 측면 내지 제16 측면 중 어느 한 측면의 방법에 따라서 작동한다.

본 발명의 제20 측면에 따른 컴퓨터 판독가능한 기억 매체는 제1 측면 내지 제16 측면의 방법을 실행하기 위한 컴퓨터에 의해서 실행 가능한 처리를 보존한다.

본 발명의 제21 측면에 따른 화상 중의 오브젝트를 표시하는 방법은 첨부도면을 참조하여 본 명세서에서 상기 설명한 것과 실질적으로 동일하게 정지 화상 또는 비디오 화상 중의 오브젝트를 나타낸다.

본 발명의 제22 측면에 따른 화상 중의 오브젝트를 검색하는 방법은 첨부도면을 참조하여 본 명세서에서 상기 설명한 것과 실질적으로 동일하게 정지 화상 또는 비디오 화상 중의 오브젝트를 검색한다.

본 발명의 제23 측면에 따른 화상 중의 오브젝트를 표시하는 또는 검색하는 컴퓨터 시스템은 첨부도면을 참조하여 본 명세서에서 상기 설명한 것과 실질적으로 동일하다.

첨부 도면을 참조하여 본 발명의 실시예에 관해서 설명한다.

<실시예 1>

도 1은 본 발명의 실시예에 따른 컴퓨터 처리가 행해진 비디오 데이터 베이스 시스템을 도시한 것이다. 이 시스템에는, 컴퓨터형의 제어 장치(2), 모니터형의 표시 장치(4), 마우스형의 포인팅 디바이스(6), 보존된 정지 화상과 비디오 화상을 포함하는 화상 데이터 베이스(8) 및 화상 데이터 베이스(8)에 보존된 화상 중에 나타나는 오브젝트 또는 오브젝트의 몇개의 부분의 기술자를 보존하는 기술자 데이터 베이스(10)가 포함된다.

화상 데이터 베이스의 화상 중에 나타나는 흥미가 있는 각 오브젝트의 형상을 나타내는 기술자는 제어 장치(2)에 의해서 도출되어, 기술자 데이터 베이스(10)에 보존된다. 제어 장치(2)는 이하에 설명하는 것 같은 방법을 실행하는 적절한 프로그램의 제어에 의해서 동작하여 기술자를 도출한다.

첫째로, 소정의 오브젝트의 윤곽에 관해서, 이 윤곽의 CSS 표시가 유도된다. 상술한 논문의 하나에 기재되어 있는 것과 같은 주지된 방법을 이용하여 이 CSS 표시가 행해진다.

더욱 구체적으로는, 이 윤곽은 Ψ={(x(u), y(u), u∈[0,1]}에 의해서 표시된다(다만, u는 정규화된 호 길이 파라미터이다).

이 윤곽은 ID 가우스 커넬 g(u, ρ)를 이용하여 컨발브함으로써 평활화되어, ρ의 변화로서 전개(evolving) 곡선의 곡률 제로 크로스가 조사된다. 제로 크로스는 곡률을 나타내는 하기의 식을 이용하여 특정된다.

단,

X(u,σ)=x(u)*g(u,σ) Y(u,σ)=y(u)*g(u,σ)

또,

X_u(u,σ)=x(u)*g_u(u,σ) X_uu(u,σ)=x(u)*g_uu(u,σ)

상기에서, *는 컨볼루션을 나타내고, 첨자는 도함수를 나타낸다.

곡률 제로 크로스의 수는 ρ의 변화에 따라서 변화하고, ρ가 충분히 높을 때 Ψ는 제로 크로스의 볼록형의 곡선이 된다.

제로 크로스 포인트(u, ρ)는 CSS 화상 공간으로서 알려지는 그래프상에 플롯된다. 이 결과 원래 윤곽의 특징을 나타내는 곡선이 생긴다. 이 특징을 나타내는 곡선의 피크가 특정되고, 대응하는 세로좌표가 추출되어 보존된다. 일반적으로 상기한 결과, n개의 좌표 쌍 ((x1, y1),(x2, y2), ... (xn, yn)의 세트(단, n은 피크 수, xi는 i번째의 피크의 호 길이의 위치, yi는 피크의 높이임))가 주어진다. 이들의 피크의 세로좌표에 의해서 CSS 표시 피크가 구성된다.

CSS 표시 외에, 다른 파라미터가 형상과 관련되게 만들어져서, 형상기술자가 생성된다. 본 실시예에서는, 추가 파라미터는 형상의 "원형 영역"의 이심률과 진원도이고, 이 경우 이 형상의 "원형 영역"은 최종 평활화 단계 후의, 즉 가장 높은 피크치 ρ와 같은 점에서의 형상의 윤곽이다. 원형 영역에 관해서 다른 ρ값을 선택해도 좋다. 이 결과, 형(form)의 안에 S자형을 나타내는 형상기술자{EPR, CPR, 피크}가 생긴다(단지, EPR은 원형 영역의 이심률, CPR은 원형 영역의 진원도, PEAKS는 CSS 표시를 나타낸다).

본 발명의 일 실시예에 따른 화상 중의 오브젝트의 검색 방법에 관해서 설명한다.

본 명세서에서, 도 1의 시스템의 기술자 데이터 베이스(10) 중에 상술한 방법에 따라서 도출된 형상 기술자가 보존된다.

포인팅 디바이스를 이용하여 디스플레이에 오브젝트의 윤곽을 그림으로써 사용자는 검색을 개시한다. 계속해서, 제어 장치(2)는 상술한 방법으로 입력 윤곽을 나타내는 형상 기술자를 도출한다. 계속해서, 제어 장치는 데이터 베이스에 보존되어 있는 각 형상 기술자를 이용하여 매칭 비교를 행한다.

입력 윤곽의 형상 S1을 보존 형상 S2와 비교한다고 가정하면, S1과 S2는 각각의 기술자가 하기와 같이 된다:

S1 : (EPR1, CPR1, PEAKS1)

S2 : (EPR2, CPR2, PEAKS2)

단, EPR은 원형 영역의 이심률을 의미하고, CPR은 원형 영역의 진원도를 의미하며, PEAKS는 CSS 화상 중의 피크 좌표의 설정치를 의미한다(이 설정치는 비어 있어도 좋다). 2개의 형상 사이의 유사도 측정치는 이하와 같이 계산된다.

M=a*abs((EPR2-EPRl)/(EPR2+EPRl))+b*abs((CPR2-CPRl)/((CPR2+ CPRl))+SM(PEAKS1, PEAKS2)

단, a와 b는 2개의 계수이고, SM은 2조의 피크[1] 값에 관하고 정의된 표준적 유사도 측정치이고, abs는 절대치를 나타낸다. SM은 상술한 논문에 기재되어 있는 것과 같은 공지된 매칭 알고리즘을 이용하여 계산된다. 이 매칭 처리에 관해서 이하 간략히 설명한다.

2개의 폐쇄된 윤곽의 형상, 화상 곡선 Ψi와 모델 곡선 Ψm 및 이들 곡선의 피크의 각각의 설정치{(xi1, yi1),(xi2, yi2), ..., (xin, yin)}와 {(xml, yml),(xm2, ym2), ..., (xmn, ymn)}이 제공되면, 유사도 측정치가 계산된다. 유사도 측정치는 화상 중의 피크와 모델 중의 피크의 매칭의 총 코스트로서 정의된다. 총 코스트를 최소화하는 매칭은 다이내믹 프로그래밍을 이용하여 계산된다. 알고리즘에 의해서, 모델로부터 얻은 피크가 화상으로부터 얻은 피크에 재귀적으로 매치되고, 이러한 매치의 각각의 비용 계산이 행해진다. 각 모델의 피크를 유일한 화상 피크와 매치시킬 수 있고, 각 화상 피크를 유일한 모델 피크와 매치시킬 수 있다. 모델 및/또는 화상 피크의 안에는 매치하지 않은 채로의 것이 있는 경우도 있고, 각 매치하지 않은 피크에 대해서는 추가의 페널티 코스트가 존재한다. 2개의 피크의 수평 거리가 0.2 미만인 경우, 2개의 피크를 매치할 수 있다. 매치의 코스트는 2개의 매치한 피크 사이의 직선의 길이이다. 매치하지 않은 피크의 코스트는 그 높이이다.

더욱 상술하면, 알고리즘은 노드가 매치한 피크에 대응하는 트리형의 구조를 작성하여 확장함으로써 기능한다.

1. 화상(xik, yik)의 최대치와 모델(xir, yir)의 최대치로 이루어지는 개시 노드를 작성한다.

2. 화상 피크의 최대치의 80% 이내의 각 남은 모델 피크에 관해서 추가의 개시 노드를 작성한다.

3. 1 및 2에서 작성한 각 개시 노드의 비용을, 이 개시 노드와 링크한 화상피크 및 모델 피크의 y 좌표의 차의 절대치로 초기화한다.

4. 3의 각 개시 노드에 관해서, 이 개시 노드에서 매치한 모델 피크와 화상 피크의 x(수평) 좌표의 차로서 정의하는 CSS 시프트 파라미터 알파를 계산한다. 시프트 파라미터는 각 노드에 관해서 다른 것으로 된다.

5. 각 개시 노드에 관해서, 모델 피크의 리스트 및 화상 피크의 리스트를 작성한다. 이 리스트에는 어떤 피크가 아직 매치하지 않은 가에 관한 정보가 포함된다. 각 개시 노드에 관해서, "매치한 것"으로서 이 노드에서 매치한 피크에 마크를 붙이고, 다른 모든 피크에는 "매치하지 않은 것"으로서 마크를 붙인다.

6. 포인트 8의 조건이 만족될 때까지, 최저 코스트의 노드를 재귀적으로 확대한다(단계 1∼6에서 작성한 각 노드로부터 시작하여, 각 노드의 자(子) 노드가 뒤에 계속된다). 노드를 확대하기 위해서 이하의 수순을 이용한다.

7. 노드의 확대:

매치하지 않은 상태로 되어 있는 적어도 1개의 화상과 1개의 모델 피크가 존재하는 경우, 매치하지 않은 가장 큰 스케일 화상 곡선 CSS의 최대치(xip, yip)를 선택한다. (단계 4에서 계산한) 개시 노드 시프트 파라미터를 적용하여 선택한 최대치를 모델 CSS 화상에 사상하고, 선택된 피크는 좌표(xip-alpha, yip)를 갖는 것으로 된다. 매치하지 않은 가장 가까운 모델 곡선 피크(xms, yms)를 결정한다. 2개의 피크 사이의 수평 거리가 0.2 미만(즉 │xip-alpha-xms│<0.2)인 경우, 2개의 피크를 매치시켜, 2개의 피크 사이의 직선 길이로서 매치의 코스트를 정의한다. 그 노드의 총 코스트에 매치의 비용을 가한다. 매치한 피크에 "매치한" 것으로서마크를 붙이는 것에 의해 각각의 리스트로부터 매치한 피크를 제거한다. 2개의 피크 사이의 수평 거리가 0.2보다 큰 경우, 화상 피크(xip, yip)는 매치하는 것은 불가능하다. 그 경우, 총 코스트에 화상 피크의 높이 yip를 더하여, "매치한" 것으로서 그 피크에 마크를 붙이는 것에 의해 화상 피크 리스트로부터 피크(xip, yip)만을 제거한다.

상기 조건이 적합하지 않은(매치하지 않은 화상 피크밖에 존재하지 않거나, 또는 매치하지 않은 모델 피크밖에 존재하지 않은) 경우, 매치하지 않은 채로의 상태로 방치한다.

매치하지 않은 화상 피크 또는 모델 피크의 가장 높은 높이로서 매치의 코스트를 정의하여 리스트로부터 피크를 제거한다.

8. 7에서 노드를 확대한 후, 화상 리스트 및 모델 리스트의 쌍방에 매치하지 않은 피크가 존재하지 않은 경우 매칭 처리는 종료된다. 이 노드의 코스트는 화상과 모델 곡선 사이의 유사도 측정치이다. 피크가 존재하는 경우에는, 포인트 7로 돌아가 최저 코스트의 노드를 확대한다.

화상 곡선 피크치와 모델 곡선 피크치를 교환하여 상기 수순을 반복한다. 최종 매칭값은 이들 2개의 피크치 중 낮은 쪽의 값이다.

데이터 베이스의 각 모델에 관해서 상기 단계를 반복한다.

매칭 비교로부터 결과로서 생기는 유사도 측정치는 소트되고, 계속해서 가장 접근한 매치를 나타내는 유사도 측정치를 갖는 기술자에 대응하는 오브젝트(즉 본 발명에서 최저의 유사도 측정치)가 사용자에 대하여 표시 장치(4) 상에 표시된다.표시 대상의 오브젝트 수는 사용자가 미리 설정하거나 선택할 수 있다.

대체 실시예에서는, 여러가지 파라미터를 이용하여 "원형 영역"의 형상에 관하여 기술할 수 있다. 예를 들면 곡선의 3개의 푸리에 계수를 사용할 수 있다. 유사도 측정치는 이하와 같이 정의할 수 있다. 즉:

M=a*EUC(Fl, F2)+SM(PEAKS1, PEAKS2)

단, EUC는 모델과 화상의 형상을 나타내는 3개의 주요한 푸리에 계수로부터 형성되는 벡터 F1과 F2 사이의 유클리드 거리이고, SM은 CSS 피크의 유사도 측정치를 나타내며, 거의 상술한 것과 같은 방법을 이용하여 계산된다.

본 발명에 따른 시스템은 예를 들면 화상 라이브러리 중에 설치할 수 있다. 혹은, 데이터 베이스는 인터넷과 같은 네트워크에 의해 전화선과 같은 일시적 링크에 의해서 제어 장치와 접속하고, 시스템의 제어 장치로부터 원격지에 배치할 수 있다. 예를 들면, 화상 데이터 베이스 및 기술자 데이터 베이스는 영구 기억 장치 또는 ROM이나 DVD와 같은 휴대용 기억 매체중에 설치할 수 있다.

이상 설명한 것과 같은 시스템의 구성 요소는 소프트웨어 또는 하드웨어의 형으로 설치할 수 있다. 컴퓨터 시스템의 형태로 본 발명에 관해서 설명하였지만, 본 발명은 전용 칩 등을 이용하여 다른 형태로 실현할 수도 있다.

오브젝트의 2D 형상을 나타내는 방법 및 2개의 형상 사이의 유사도를 나타내는 값을 계산하는 방법을 나타내는 특정한 예를 나타냈지만, 마찬가지의 임의의 적절한 방법을 이용할 수 있다.

예를 들면, 확인 목적을 위하여 오브젝트 화상의 매칭을 행하기 위해서, 또는 필터링을 행하기 위해서 본 발명을 이용할 수 있다.

Claims

화상 중에 나타나는 오브젝트를 검색하는 방법에 있어서,

윤곽을 갖는 적어도 하나의 오브젝트를 포함하는 입력을 수신하는 단계;

상기 입력 윤곽에 대한 곡률 스케일 공간(Curvature Scale Space: CSS) 표시를 결정하여 상기 입력 윤곽을 나타내는 복수의 곡선들을 생성하는 단계;

상기 윤곽의 평활화된 부분의 이심률(eccentricity)과 진원도(circularity) 중 하나와 상기 복수의 곡선들에 대한 피크들 및 연관된 피크 좌표들을 포함하는 상기 윤곽과 관련된 특성을 결정하여 상기 윤곽에 대한 형상 기술자를 생성하는 단계;

상기 입력 윤곽에 대한 상기 형상 기술자를 메모리에 저장된 화상에 대한 형상 기술자와 비교하여 적어도 하나의 실질적으로 매칭하는 화상을 찾는 단계; 및

상기 적어도 하나의 실질적으로 매칭하는 화상을 표시하는 단계

를 포함하는 방법.
화상 중에 나타나는 오브젝트를 검색하는 시스템에 있어서,

윤곽을 갖는 적어도 하나의 오브젝트를 입력하는 입력 수단;

윤곽을 갖는 상기 입력 오브젝트를 수신하고 상기 입력 윤곽에 대한 곡률 스케일 공간(CSS) 표시를 결정하여 상기 입력 윤곽을 나타내는 복수의 곡선들을 생성하는 제어기 및 검지기 - 상기 제어기는 상기 윤곽의 평활화된 부분의 이심률과 진원도 중 하나와 상기 복수의 곡선들에 대한 피크들 및 연관된 피크 좌표들을 포함하는 상기 윤곽과 관련된 특성을 결정하여 상기 윤곽에 대한 형상 기술자를 생성함 - ;

상기 입력 윤곽에 대한 상기 형상 기술자를 메모리에 저장된 화상에 대한 형상 기술자와 비교하여 적어도 하나의 실질적으로 매칭하는 화상을 찾는 비교기; 및

상기 적어도 하나의 실질적으로 매칭하는 화상을 표시하는 표시 장치

를 포함하는 시스템.
복수의 실행가능한 명령이 저장된 기계 판독가능한 매체에 있어서,

상기 복수의 명령은,

윤곽을 갖는 적어도 하나의 오브젝트를 포함하는 입력을 수신하는 명령;

상기 입력 윤곽에 대한 곡률 스케일 공간(CSS) 표시를 결정하여 상기 입력 윤곽을 나타내는 복수의 곡선들을 생성하는 명령;

상기 윤곽의 평활화된 부분의 이심률과 진원도 중 하나와 상기 복수의 곡선들에 대한 피크들 및 연관된 피크 좌표들을 포함하는 상기 윤곽과 관련된 특성을 결정하여 상기 윤곽에 대한 형상 기술자를 생성하는 명령;

상기 입력 윤곽에 대한 상기 형상 기술자를 메모리에 저장된 화상에 대한 형상 기술자와 비교하여 적어도 하나의 실질적으로 매칭하는 화상을 찾는 명령; 및

상기 적어도 하나의 실질적으로 매칭하는 화상을 표시하는 명령

을 포함하는 매체.
제2항에 기재된 검색 시스템의 비교기에 적용되는 화상을 검색하는 방법에 있어서,

제1 화상의 오브젝트에 대한 제1 형상 기술자를 수신하는 단계 - 상기 형상 기술자는 곡률 스케일 공간(CSS) 표시에 대한 복수의 피크 좌표 및 추가 파라미터를 포함하고, 상기 CSS 표시의 상기 피크 좌표는 복수의 단계로 상기 윤곽을 평활화함으로써 생성되며, 상기 추가 파라미터는 상기 평활화된 윤곽의 이심율과 진원도 중 적어도 하나를 나타냄 - ; 및

상기 오브젝트에 대한 상기 제1 형상 기술자를 메모리에 저장된 제2 형상 기술자와 비교하여 적어도 하나의 실질적으로 매칭하는 화상을 찾는 단계 - 상기 제2 형상 기술자는 제2 화상에 나타난 형상의 CSS 표시의 피크 좌표 및 상기 제2 화상에 나타난 상기 형상의 평활화된 버전의 추가 파라미터를 포함하고, 상기 제1 형상 기술자의 상기 피크 좌표 및 추가 파라미터는 각각 상기 제2 형상 기술자의 대응하는 파라미터와 비교됨 -

를 포함하는 방법.
제2항에 기재된 검색 시스템의 제어기에 적용되는 화상을 검색하는 방법에 있어서,

복수의 단계로 윤곽을 평활화함으로써 화상 중의 오브젝트의 윤곽의 곡률 스케일 공간(CSS) 표시에 대한 피크 좌표를 생성하는 단계;

상기 평활화된 윤곽의 이심률과 진원도 중 적어도 하나를 나타내는 추가 파라미터를 생성하는 단계;

상기 피크 좌표와 상기 추가 파라미터를 관련지어 상기 화상에 대한 형상 기술자를 생성하는 단계;

적어도 하나의 실질적으로 매칭하는 화상을 검색하기 위하여 상기 피크 좌표와 상기 추가 파라미터를 포함하는 상기 형상 기술자를 비교기에 전송하는 단계; 및

상기 하나의 실질적으로 매칭하는 화상을 상기 비교기로부터 수신하고 표시하는 단계

를 포함하는 방법.