KR20010073126A - 화상 중의 오브젝트를 표시 또는 검색하는 방법, 장치 및컴퓨터 판독 가능 기억 매체 - Google Patents

Abstract

화상에 대응하는 신호를 처리함으로써 정지 비디오 화상 중에 나타나는 오브젝트를 나타내는 방법에 있어서, 화상에 대응하는 신호를 처리함으로써 정지 화상 또는 비디오 화상 중에 나타나는 오브젝트를 나타내는 방법이 윤곽 상의 임의의 점부터 시작하여, 오브젝트의 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와, 상기 값에 소정의 소트를 적용하여 윤곽의 표시를 얻도록 하는 단계를 갖는다.

Description

화상 중의 오브젝트를 표시 또는 검색하는 방법, 장치 및 컴퓨터 판독 가능 기억 매체{METHOD AND DEVICE FOR DISPLAYING OR SEARCHING FOR OBJECT IN IMAGE AND COMPUTER-READABLE STORAGE MEDIUM}

비디오 라이브러리의 화상과 같은 어플리케이션에서는 비디오 화상 혹은 정지 화상 중에 나타나는 오브젝트의 윤곽이나 형상 또는 오브젝트의 일부의 효율적인 표시 및 보존을 행하는 것이 바람직하다. 형상 기반의 인덱싱(indexing)과 검색을 행하기 위한 공지의 수법에서는 곡률 스케일 공간(Curvature Scale Space, CSS) 표시가 이용된다. CSS의 상세한 설명에 대해서는 논문 「곡률 스케일 공간에 의한 확실하고 효율적인 형상 인덱싱(Robust and Efficient Shape Indexing through Curvature Scale Space)」(영국 머신 비젼 회보(Proc. British Machine Vision Conference) pp. 53∼62, 에딘버러, 영국, 1996년) 및 「곡률 스케일 공간을 이용하는 형상 내용에 의한 화상 데이터 베이스의 인덱싱(Indexing an ImageDatabase by Shape Content using Curvature Scale Space)」(지능 데이터 베이스에 관한 IEE 전문가 회의 회보(Proc. IEE Colloquium on Intelligent Database), 런던, 1996년) 중에서 입수할 수 있다. 양 논문 모두 Mokhtarian, S.Abbasi 및 J.Kittler에 의한 것으로, 그 내용은 본 명세서 중에 참고 문헌으로서 포함되어 있다.

CSS 표시에서는 오브젝트의 윤곽을 구하기 위해 곡률 함수가 사용되고, 윤곽 상의 임의의 점부터 표시가 개시된다. 형상을 평활화하는 일련의 변형을 행함으로써 윤곽의 형상을 전개하면서 곡률 함수가 검토된다. 더 구체적으로는, 가우스 필터의 군(family)으로 컨벌루션된 곡률 함수의 도함수의 제로 크로스가 계산된다. 곡률 스케일 공간으로서 주지와 같이, 제로 크로스는 그래프 상에 플롯된다. 단, x축은 곡선의 정규화된 호 길이이고, y축은 전개 파라미터, 특히, 적용 필터의 파라미터이다. 그래프 상의 플롯은 윤곽의 특징을 나타내는 루프를 형성한다. 오브젝트의 윤곽의 각 볼록형 또는 오목형을 이루는 부분은 CSS 화상에 있어서의 루프에 대응한다. CSS 화상에 있어서 가장 돌기한 루프의 피크의 세로 좌표는 윤곽의 표시로서 이용된다.

입력 오브젝트의 형상에 일치하는 데이터 베이스 중의 보존 화상의 오브젝트를 검색하기 위해, 입력 형상의 CSS 표시가 계산된다. 매칭 알고리즘을 이용하여 각각의 CSS 화상의 피크의 위치 및 높이를 비교함으로써, 입력 형상과 보존 형상 사이의 유사도가 판정된다.

공지의 CSS 표시에 관한 문제점으로서, 소정의 윤곽의 피크가 윤곽 상의 임의의 점에서 개시되어 계산되는 곡률 함수에 기초하는 것을 예로 들 수 있다. 이 개시점이 변경되면, CSS 화상의 피크의 x축을 따라 주기적 시프트가 생긴다. 따라서, 유사도 측정치를 계산할 때, 모든 가능한 시프트 혹은 적어도 가장 생길 수 있는 시프트에 관해 검토할 필요가 있다. 이 결과, 검색 순서 및 매칭 순서의 복잡함이 증가하게 된다.

따라서 본 발명은 화상에 대응하는 신호를 처리함으로써 정지 화상 또는 비디오 화상 중에 나타나는 오브젝트를 나타내는 방법을 제공하는 것으로, 상기 방법은 윤곽 상의 임의의 점부터 시작하여, 오브젝트의 윤곽 상에 나타나 있는 특징과 관련되는 복수의 수치를 도출하는 단계와, 상기 값에 대해 소정의 소트를 적용하여 윤곽의 표시를 얻는 단계를 갖는다. 양호하게는 상기 윤곽의 CSS 표시로부터 상기 값을 도출하는 것이 바람직하고, 또한, 상기 값이 CSS 피크치에 대응하는 것이 바람직하다.

본 발명의 결과로서, 검색 정밀도의 현저한 저하를 동반하지 않고 매칭 순서에 관한 계산을 대폭 저감하는 것이 가능해진다.

본 발명은 검색을 목적으로 하는 멀티미디어 데이터 베이스에 보존된 화상과 같은 정지 화상 또는 비디오 화상 중에 나타나는 오브젝트의 표시에 관한 것으로, 특히, 그와 같은 표시를 이용하여 오브젝트를 검색하는 방법 및 장치에 관한 것이다.

도 1은 비디오 데이터 베이스 시스템 블록도.

도 2는 오브젝트의 윤곽의 도면.

도 3은 도 2의 윤곽을 나타내는 CSS 표시의 도면.

도 4는 검색 방법을 예시하는 블록도.

본 발명에 따른 청구항 1에 기재된 화상 중의 오브젝트를 표시하는 방법은, 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 화상 중에 나타나는 오브젝트를 나타내는 방법으로서, 오브젝트의 윤곽 상의 임의의 점부터 시작하여 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와, 값에 대해 소정의 소트를 적용하여 윤곽의 표시를 얻는 단계를 갖는다.

본 발명에 따른 청구항 2에 기재된 화상 중의 오브젝트를 표시하는 방법은, 결과로서 얻어진 표시가 윤곽 상의 개시점에 의존하지 않도록 소정의 소트가 이루어진다.

본 발명에 따른 청구항 3에 기재된 화상 중의 오브젝트를 표시하는 방법은 수치가 곡선 상의 굴곡점을 반영한다.

본 발명에 따른 청구항 4에 기재된 화상 중의 오브젝트를 표시하는 방법은 평활화 파라미터 시그마를 이용하여 복수의 단계에서 윤곽을 평활화하고, 그 결과 복수의 윤곽 곡선을 발생시킴으로써, 또한, 각 윤곽 곡선의 곡률의 최대치와 최소치를 나타내는 값을 이용하여 원래의 윤곽의 특징을 나타내는 곡선을 도출함으로써, 또한, 수치로서 특징을 나타내는 곡선의 피크의 세로 좌표를 선택함으로써, 윤곽의 곡률 스케일 공간의 표시를 얻는다.

본 발명에 따른 청구항 5에 기재된 화상 중의 오브젝트를 표시하는 방법은 특징을 나타내는 곡선의 세로 좌표가 윤곽의 호 길이 파라미터와 평활화 파라미터에 대응한다.

본 발명에 따른 청구항 6에 기재된 화상 중의 오브젝트를 표시하는 방법은 평활화 파라미터에 대응하는 피크의 높이의 값에 기초하여 피크의 세로 좌표값이 소트된다.

본 발명에 따른 청구항 7에 기재된 화상 중의 오브젝트를 표시하는 방법은 값이 최대치로부터 소트된다.

본 발명에 따른 청구항 8에 기재된 화상 중의 오브젝트를 표시하는 방법은값이 크기의 내림차순으로 소트된다.

본 발명에 따른 청구항 9에 기재된 화상 중의 오브젝트를 표시하는 방법은 값이 최소치로부터 소트된다.

본 발명에 따른 청구항 10에 기재된 화상 중의 오브젝트를 표시하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 화상 중에 나타나는 오브젝트를 나타내는 방법으로서, 오브젝트의 윤곽을 나타내기 위해 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와, 값 중 적어도 2개 값 사이의 관계를 이용하여 표시의 신뢰성을 나타내는 계수를 도출하는 단계를 갖는다.

본 발명에 따른 청구항 11에 기재된 화상 중의 오브젝트를 표시하는 방법은 계수의 값 중 2개의 값 사이의 비에 기초한다.

본 발명에 따른 청구항 12에 기재된 화상 중의 오브젝트를 표시하는 방법은 비가 2개의 최대치의 비이다.

본 발명에 따른 청구항 13에 기재된 화상 중의 오브젝트를 표시하는 방법은 평활화 파라미터 시그마를 이용하여 복수의 단계에서 윤곽을 평활화하고, 그 결과 복수의 윤곽 곡선을 발생시킴으로써, 또한, 원래의 윤곽의 특징을 나타내는 곡선을 도출하기 위한 각 윤곽 곡선의 곡률의 최대치와 최소치를 나타내는 값을 이용함으로써, 또한, 수치로서 특징을 나타내는 곡선의 피크의 세로 좌표를 선택함으로써, 윤곽의 곡률 스케일 공간 표시가 얻어진다.

본 발명에 따른 청구항 14에 기재된 화상 중의 오브젝트를 표시하는 방법은 청구항 1 내지 청구항 9 중 어느 한항에 기재된 방법을 이용하여 값을 도출한다.

본 발명에 따른 청구항 15에 기재된 화상 중의 오브젝트를 검색하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 화상 중의 오프젝트를 검색하는 방법에 있어서, 2차원의 윤곽의 형으로 쿼리를 입력하는 단계와, 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 방법을 이용하여 윤곽의 기술자(記述子)를 도출하는 단계와, 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 방법을 이용하여 도출되어 보존된 화상 중의 오브젝트의 기술자를 취득하고, 보존된 오브젝트의 각 기술자와 쿼리 기술자를 비교하는 단계와, 비교에 의해 쿼리와 오브젝트 사이의 유사도의 정도가 나타나는 대상 오브젝트를 포함하는 화상에 대응하는 적어도 1개의 결과를 선택하여 표시하는 단계를 갖는다.

본 발명에 따른 청구항 16에 기재된 화상 중의 오브젝트를 검색하는 방법은 청구항 10 내지 청구항 12 중 어느 한 항에 기재된 방법을 이용하여, 쿼리의 윤곽에 관해, 및, 각 보존된 윤곽에 관해 계수가 도출되고, 소정의 소트만을 이용하여, 또는, 소정의 소트와 계수에 의존하는 어떠한 다른 소트를 이용하여 비교를 행한다.

본 발명에 따른 청구항 17에 기재된 화상 중의 오브젝트를 표시하는 방법은 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 화상 중에 나타나는 복수의 오브젝트를 나타내는 방법으로서, 각 오브젝트의 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와, 각 윤곽을 나타내는 값에 동일 소정의 소트를 적용하여 각 윤곽의 표시를 얻는 단계를 갖는다.

본 발명에 따른 청구항 18에 기재된 화상 중의 오브젝트를 표시하는 또는 검색하는 장치는 청구항 1 내지 청구항 17 중 어느 한 항에 기재된 방법을 실행하기에 적합하다.

본 발명에 따른 청구항 19에 기재된 화상 중의 오브젝트를 표시하는 또는 검색하는 컴퓨터 프로그램은 청구항 1 내지 청구항 17 중 어느 한 항에 기재된 방법을 실행하기에 적합하다.

본 발명에 따른 청구항 20에 기재된 화상 중의 오브젝트를 표시하는 또는 검색하는 컴퓨터 시스템은 청구항 1 내지 청구항 17 중 어느 한 항에 기재된 방법에 따라 작동하도록 프로그램되어 있다.

본 발명에 따른 청구항 21에 기재된 컴퓨터 판독 가능 기억 매체는 청구항 1 내지 청구항 17 중 어느 한 항에 기재된 방법을 실현하기 위한 컴퓨터로 실행 가능한 처리를 보존한다.

본 발명에 따른 청구항 22에 기재된 화상 중의 오브젝트를 표시하는 방법은 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일하도록, 정지 화상 또는 비디오 화상 중의 오브젝트를 나타낸다.

본 발명에 따른 청구항 23에 기재된 화상 중의 오브젝트를 검색하는 방법은 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일하도록, 정지 화상 또는 비디오 화상 중의 오브젝트를 검색한다.

본 발명에 따른 청구항 24에 기재된 화상 중의 오브젝트를 표시하는 또는 검색하는 컴퓨터 시스템은 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일하다.

첨부 도면을 참조하면서 본 발명의 실시예에 관해 설명한다.

<제1 실시예>

도 1은 본 발명의 실시예에 의한 컴퓨터 처리가 행해지는 비디오 데이터 베이스 시스템을 나타낸다. 이 시스템에는 컴퓨터 형태의 제어 장치(2), 모니터 형태의 표시 장치(4), 마우스 형태의 포인팅 디바이스(6), 보존된 정지 화상과 비디오 화상을 포함하는 화상 데이터 베이스(8) 및 화상 데이터 베이스(8)에 보존된 화상 중에 나타나는 오브젝트 또는 오브젝트의 몇 개의 부분의 기술자를 보존하는 기술자 데이터 베이스(10)가 포함된다.

화상 데이터 베이스의 화상 중에 나타나는 흥미가 있는 각 오브젝트의 형상을 나타내는 기술자는 제어 장치(2)에 의해 도출되고, 기술자 데이터 베이스(10)에 보존된다. 제어 장치(2)는 이하에 설명하는 방법을 실행하는 적절한 프로그램의 제어에 의해 동작하여 기술자를 도출한다.

첫째로, 소정의 오브젝트의 윤곽에 관해, 이 윤곽의 CSS 표시가 도출된다. 상술한 논문 중 1개에 기재되어 있는 주지의 방법을 이용하여 이 CSS 표시가 행해진다.

또한 구체적으로는, 이 윤곽은 사상 표현 Ψ={(x(u), y(u), u∈[0, 1]}에 의해 표시된다(단, u는 정규화된 호 길이 파라미터임).

이 윤곽은 ID 가우스 커넬 g(u, ρ)를 이용하여 컨볼루션을 행함으로써 (convolve) 평활화되고, ρ의 변화로서 전개(evolving) 곡선의 곡률 제로 크로스가 조사된다. 제로 크로스는 곡률을 나타내는 하기의 수학식 1을 이용하여 특정된다.

단,

또한,

상기에서, *는 컨볼루션을 나타내고, 첨자는 도함수를 나타낸다.

곡률 제로 크로스의 수는 σ의 변화에 따라 변화되고, σ가 충분히 높을 때 Ψ는 제로 크로스의 볼록형의 곡선이 된다.

제로 크로스 포인트 (u, σ)는 CSS 화상 공간으로서 알려진 그래프 상에 플롯된다. 이 결과 원래의 윤곽의 특징을 나타내는 곡선이 생긴다. 이 특징을 나타내는 곡선의 피크가 특정되고, 대응하는 세로 좌표가 추출되어 보존된다. 일반적으로 상기한 결과, n개의 좌표쌍((x1, y1), (x2, y2), …, (xn, yn)의 집합(단, n은 피크의 수, xi는 i번째의 피크의 호 길이의 위치, yi는 피크의 높이임)이 주어진다.

이 특징을 나타내는 곡선의 소트 및 위치 및 대응하는 피크는 CSS 화상 공간에 나타날 때, 상술한 곡률 함수의 개시점에 의존한다. 본 발명에서는 피크의 세로 좌표는 전용의 소트 함수를 이용하여 재소트된다.

소트는 새로운 집합의 인덱스{1...n}에 대한 피크 인덱스{1...n}의 일대일 사상 T에 의해 행해진다.

본 실시예에서는, 세로 좌표쌍은 y세로 좌표의 사이즈를 고려함으로써 소트된다. 첫째로 최대 피크가 선택된다. k번째의 피크가 가장 돌기되어 있다고 가정한다. 그 경우, 값이 소트된 집합 중에서 (xk, yk)가 첫번째의 좌표가 된다. 바꿔 말하면 T(k)=1이다. 마찬가지로, 그 밖의 피크의 세로 좌표는 피크의 높이의 내림차순으로 재소트된다. 2개의 피크가 동일 높이를 갖고 있는 경우, 상기 세로 좌표쌍의 x좌표에 가장 가까운 x좌표를 갖고 있는 피크가 첫번째로 배치된다. 바꿔 말하면, 원래의 인덱스 i를 갖고 있는 각 세로 좌표쌍이 새로운 인덱스 j에 할당된다. 단, T(i)=j 또한 yj=y(j+1)이다. 또한, 각 값 xi는 -xk의 주기적 시프트에 따른다.

특정한 예로서, 도 2에 도시한 윤곽으로부터 도 3에 도시한 바와 같은 CSS 화상의 결과가 얻어진다. CSS 화상 곡선의 피크의 세로 좌표의 상세한 설명을 이하의 표 1에 나타낸다.

피크 인덱스	X	Y
1	0.124	123
2	0.68	548
3	0.22	2120
4	0.773	1001
5	0.901	678

이들 피크는 상술한 소트를 이용하여 소트된다. 즉, 세로 좌표는 피크의 높이의 내림차순으로 소트된다. 또한, x세로 좌표는 전부 최대 피크의 원래의 x세로 좌표와 같은 양만큼 제로쪽으로 시프트된다. 이 결과 이하의 표 2에 나타낸 바와 같은 재소트된 피크 좌표가 생긴다.

피크 인덱스	X	Y
1	0	2120
2	0.553	1001
3	0.681	678
4	0.46	548
5	0.904	123

이들 재소트된 피크의 세로 좌표에 의해, 데이터 베이스(10)에 보존되는 오브젝트의 윤곽에 관한 기술자의 베이스가 형성된다. 본 실시예에서는, 표 2에 나타낸 소트순으로 피크의 세로 좌표가 보존된다. 혹은 새로운 소트순을 나타내는 것에 관련되는 인덱스와 같이 세로 좌표를 보존하여도 좋다.

<제2 실시예>

제2 실시예에 따른 오브젝트의 윤곽을 나타내는 대체 방법에 관해 설명한다. 윤곽을 나타내는 CSS 표시는 상술한 바와 같이 도출된다. 그러나, 피크의 세로 좌표의 소트는 상술한 실시예 1의 소트와는 다르다. 또한 구체적으로는, 첫째로 최대 피크가 선택된다. 피크 k를 가장 돌기된 피크로 가정한다. 그 경우, (xk, yk)가 피크의 소트된 집합 중에서 제1 피크가 된다. 다음에 계속되는 피크는 원래의 인덱스 i의 피크의 세로 좌표에 관해, T(i)=j 또한 xj<=x(j+1)가 되도록 소트된다. 또한, 원래의 피크 k의 원래의 x세로 좌표와 같은 양 xk만큼 하측으로 모든 값 xi가 시프트된다.

바꾸어 말하면, 실시예 2에 따른 소트 방법에서는, 최대 피크가 선택되어 첫번째로 배치되고, 계속해서, 남은 피크가 최대 피크로부터 시작되는 원래의 시퀀스로 계속된다.

이하의 표 3은 제2 실시예에 따른 소트된 표 1의 피크치를 나타내는 표이다.

피크 인덱스	X	Y
1	0	2120
2	0.46	548
3	0.553	1001
4	0.681	678
5	0.904	123

상술한 실시예 1과 실시예 2의 전개에서는 신뢰 계수(CF)가 형상의 각 표시와 관련된다. CF는 소정의 형상의 제2 최대 피크치와 최대 피크치와의 비로부터 계산된다.

도 2에 도시한 윤곽에 대해서는 CF치는 CF=1001/2120이다. 이 예에서는, CF는 가장 가까운 0.1로 라운딩(rounding)됨으로써 양자화되어 기억 요건이 적어진다. 따라서, 본 예에서는 CF=0.5이다.

본 예의 CF치는 표시의 정확함 즉 일의성의 반영이다. 본 예에서는 1에 가까운 CF치는 낮은 신뢰성을 의미하고, 제로에 가까운 CF치는 높은 신뢰성을 의미한다. 바꿔 말하면 2개의 최대 피크치가 가까우면 가까울수록 표시는 정확해질 가능성이 적어진다.

이하의 설명에 도시된 바와 같은 매칭 순서를 행할 때, CF치는 유익한 것이 될 수 있다.

<실시예 3>

본 발명의 일실시예에 준거하는 화상 중의 오브젝트를 검색하는 방법에 관해, 검색 방법을 나타내는 블록도인 도 4를 참조하면서 설명한다.

본 예에서는, 도 1의 시스템의 기술자 데이터 베이스(10) 중에는 관련된 CF치와 함께, 상술한 제1 소트 방법에 따라 도출된 기술자가 보존되어 있다.

사용자는 포인팅 디바이스를 이용하여 디스플레이 상에 오브젝트의 윤곽을 나타냄으로써 검색을 개시한다(단계 410). 계속해서, 제어 장치(2)가 입력 윤곽의 CSS 표시를 도출하고, 데이터 베이스 중의 화상에 대해 사용하는 함수와 동일 소트 함수에 따라 피크의 세로 좌표의 소트가 행해져 입력 윤곽을 나타내는 기술자가 얻어진다(단계 420). 계속해서, 제어 장치(2)는 최대 피크치에 대한 제2 최대 피크치의 비율을 계산함으로써 입력 윤곽의 CF치도 계산하고, 그 결과의 양자화를 행한다(단계 430).

계속해서, 제어 장치(2)는 입력 윤곽의 CF치를 소정의 임계치와 비교한다(단계 440). 본 예에서는 그 임계치는 0.75이다. 입력 기술자의 정밀도에 대해 상대적으로 높은 신뢰성을 나타내고, CF치가 이 임계치보다 낮은 경우에는, 다음 단계는 고려 중인 모델(즉 데이터 베이스에 보존된 화상)의 CF치에 관해 고려하는 단계이다. 모델의 CF가 역시 임계치보다 낮은 경우(단계 450), 소정의 소트순의 각각의 기술자만을 이용하여 입력 기술자와 모델과의 비교가 행해진다(단계 460). 입력 기술자 또는 모델 중 어느 하나의 CF가 임계치보다 큰 경우, 입력 기술자 중의 세로 좌표값의 모든 가능한 다른 소트순을 데이터 베이스 중의 모델 기술자와 비교함으로써 매칭이 행해진다(단계 470).

데이터 베이스 중에 각 기술자의 유사도 측정치가 결과로서 얻어지는 적절한 알고리즘을 이용하여 매칭 비교가 행해진다. 상술한 논문에서 설명한 공지의 매칭 알고리즘을 이용하여도 좋다. 이 매칭 순서에 관해 간단하게 설명한다.

+2개의 폐쇄된 윤곽의 형상, 화상 곡선 Ψi와 모델 곡선 Ψm 및 이들 곡선의 피크의 각각의 설정치 {(xi1, yi1), (xi2, yi2),.., (xin, yin)}과 {(xm1, ym1), (xm2, ym2),.., (xmn, ymn)}이 주어지면, 유사도 측정치는 계산된다. 유사도 측정치는 화상 중의 피크와 모델 중의 피크의 매칭의 총 비용으로서 정의된다. 총 비용을 최소화하는 매칭은 다이내믹 프로그래밍을 이용하여 계산된다. 알고리즘에 의해, 모델로부터 얻은 피크가 화상으로부터 얻은 피크에 재귀적으로 매치되고, 이러한 매치의 각각의 비용 계산이 행해진다. 각 모델의 피크를 유일한 화상 피크와 매치시킬 수 있고, 각 화상 피크를 유일한 모델 피크와 매치시킬 수 있다. 모델 및/또는 화상 피크 내에는 매치하지 않은 채로 있는 경우도 있고, 각 매치하지 않은 피크에 대해서는 추가의 페널티 비용이 존재한다. 2개의 피크의 수평 거리가 0.2 미만인 경우, 2개의 피크를 매치할 수 있다. 매치의 비용은 2개의 매치한 피크 사이의 직선 길이이다. 매치하지 않은 피크의 비용은 그 높이이다.

더 상술하면, 알고리즘은 노드가 매치한 피크에 대응하는 트리형의 구조를 작성하여 확장함으로써 기능한다.

1. 화상(xik, yik)의 최대치와 모델(xir, yir)의 최대치로 이루어지는 개시 노드를 작성한다.

2. 화상 피크의 최대치의 80% 이내의 각 남은 모델 피크에 관해 추가의 개시 노드를 작성한다.

3. 1 및 2에서 작성한 각 개시 노드의 비용을 이 개시 노드와 링크한 화상 피크 및 모델 피크의 y좌표의 차의 절대치로 초기화한다.

4. 3의 각 개시 노드에 관해, 이 개시 노드로 매치한 모델 피크와 화상 피크의 x(수평)좌표의 차로서 정의하는 CSS 시프트 파라미터 알파를 계산한다. 시프트 파라미터는 각 노드에 관해 다른 것이 된다.

5. 각 개시 노드에 관해, 모델 피크의 리스트 및 화상 피크의 리스트를 작성한다. 이 리스트에는 어떤 피크가 아직 매치되어 있지 않은지에 관한 정보가 포함된다. 각 개시 노드에 관해, “매치한 것”으로서 이 노드에서 매치한 피크에 마크하고, 다른 모든 피크에는 “매치하지 않은 것”으로서 마크한다.

6. 포인트 8의 조건이 만족될 때까지, 최저 비용의 노드를 재귀적으로 확대한다(단계 1∼단계 6에서 작성한 각 노드로부터 시작하여, 각 노드의 자식 노드가 후에 계속된다). 노드를 확대하기 위해 이하의 순서를 이용한다.

7. 노드의 확대:

매치하지 않은 채로 되어 있는 적어도 1개의 화상과 1개의 모델 피크가 존재하는 경우,

매치하지 않은 가장 큰 스케일 화상 곡선 CSS의 최대치(xip, yip)를 선택한다. (단계 4에서 계산한)개시 노드 시프트 파라미터를 적용하여 선택한 최대치를 모델 CSS 화상에 사상하고, 선택된 피크는 좌표(xip alpha, yip)를 갖게 된다. 매치하지 않은 가장 가까운 모델 곡선 피크(xms, yms)를 결정한다. 2개의 피크 사이의 수평 거리가 0.2 미만(즉 ｜xip-alpha-xms｜<0.2)인 경우, 2개의 피크를 매치시켜 2개의 피크 사이의 직선 길이로서 매치의 비용을 정의한다. 그 노드의 총 비용에 매치의 비용을 가한다. 매치한 피크에 “매치한” 것으로서 마킹함으로써 각각의 리스트로부터 매치한 피크를 제거한다. 2개의 피크 사이의 수평 거리가 0.2보다 큰 경우, 화상 피크(xip, yip)는 매치할 수 없다. 그 경우 총 비용에 화상 피크의 높이를 가하고, “매치한” 것의 피크에 마킹함으로써 화상 피크 리스트로부터 피크(xip, yip)만을 제거한다.

상기 조건이 적합하지 않은(매치하지 않은 화상 피크밖에 존재하지 않는, 또는 매치하지 않은 모델 피크밖에 존재하지 않는) 경우, 매치하지 않은 그대로의 상태로 방치한다.

매치하지 않은 화상 피크 또는 모델 피크의 가장 높은 높이로서 매치의 비용을 정의하고 리스트로부터 피크를 제거한다.

8. 7로 노드를 확대한 후, 화상 리스트 및 모델 리스트의 쌍방에 매치하지 않는 피크가 존재하지 않는 경우 매칭 처리는 종료된다. 이 노드의 비용은 화상과모델 곡선 사이의 유사도 측정치이다. 피크가 존재하는 경우에는 포인트 7로 되돌아가 최저 비용의 노드를 확대한다.

화상 곡선 피크치와 모델 곡선 피크치를 교환하여 상기 순서를 반복한다. 최종 매칭치는 이들 2개의 피크치 중 낮은 쪽의 값이다.

또 다른 1개의 예로서, 소트된 순서의 각 위치에 관해, 입력된 x치와 그것에 대응하는 모델의 x치 사이의 거리 및 입력된 y치와 그것에 대응하는 모델의 y치 사이의 거리가 계산된다. 모든 위치에 관한 합계 거리가 계산되고, 합계 거리가 작으면 작을수록 매치의 정도는 가까워진다. 입력 윤곽과 모델의 피크의 수가 다른 경우, 합계 거리 내에 남은 매치하지 않았던 피크의 높이가 포함된다.

상기 단계가 데이터 베이스의 각 모델에 관해 반복된다(단계 480).

매칭 비교 결과 생기는 유사도치가 소트되고(단계 490), 계속해서, 가장 가까운 매칭치(즉 본 예에서는 가장 낮은 유사도치)를 나타내는 유사도치를 갖는 기술자에 대응하는 오브젝트가 사용자에 대해 표시 장치(4)로 표시된다(단계 500). 표시 대상의 오브젝트수는 사용자가 미리 설정하거나 선택할 수 있다.

상기 실시예에서는 CF치 쪽이 임계치보다 큰 경우, 매칭시에 입력 기술자치의 모든 가능한 순서가 고려된다. 그러나, 모든 가능한 순서를 고려할 필요는 없고, 대신에, 원래의 CSS 표시의 몇 개 또는 모든 주기적 시프트와 같은 몇 개의 가능한 순서만을 고려할 수 있다. 또한, 상기 실시예에서는 임계치는 0.75로 설정되지만, 이 임계치는 다른 레벨로 설정할 수도 있다. 예를 들면, 임계치가 제로로 설정된 경우, 몇 개 또는 모든 가능한 순서의 분석에 의해 모든 매칭이 행해진다.이 때문에, 임계치가 제로 이상인 경우와 비교하여 필요한 계산량이 증가하지만 피크치가 이미 소트되어 있고, 피크치의 x좌표가 특정한 개시점 또는 오브젝트 회전에 관해 조정되어 있기 때문에, 그와 같은 조정이 행해지고 있지 않은 원래의 시스템과 비교하면 필요한 계산량은 저감된다. 따라서 제로로 임계치를 설정함으로써 시스템은 계산 비용의 약간의 감소를 행하고, 검색 퍼포먼스는 원래의 시스템의 경우와 정말로 동일하게 된다.

혹은, 임계치가 1로 설정된 경우, 보존된 순서만을 이용하여 매칭이 행해진다. 그 경우, 검색 정밀도에는 아주 약간의 저하만이 있을 뿐이고 필요한 계산량을 현저하게 줄일 수 있다.

상술한 실시예에 대해 여러 가지 변경이 가능하다. 예를 들면, 실시예 1 및 실시예 2에서 설명한 바와 같은 CSS 피크의 세로 좌표값의 소트 대신에, 다른 소트를 이용할 수도 있다. 예를 들면, 피크의 높이의 내림차순으로 배치하는 대신에 올림차순으로 세로 좌표값을 배치하여도 좋다. 데이터 베이스에 소트된 값을 보존하는 대신에 매칭 순서 중에 소트를 행하여도 좋다.

본 발명에 의한 시스템은 예를 들면 화상 라이브러리 중에 설치할 수 있다. 혹은, 데이터 베이스는 인터넷과 같은 네트워크에 의해 전화선과 같은 일시적 링크에 의해 제어 장치와 접속하고, 시스템의 제어 장치로부터 원격지에 배치할 수 있다. 예를 들면, 화상 데이터 베이스 및 기술자 데이터 베이스는 영구 기억 장치 또는 ROM이나 DVD와 같은 휴대용 기억 매체 중에 설치할 수 있다.

이상 설명한 바와 같은 시스템의 구성 요소는 소프트웨어 또는 하드웨어의 형으로 설치할 수 있다. 컴퓨터 시스템의 형으로 본 발명에 관해 설명하였지만, 본 발명은 전용 칩 등을 이용하여 다른 형으로 실현할 수도 있다.

오브젝트의 2D 형상을 나타내는 방법 및 2개의 형상 사이의 유사도를 나타내는 값을 계산하는 방법을 나타내는 특정한 예를 나타냈지만, 마찬가지의 임의의 적절한 방법을 이용할 수도 있다.

예를 들면, 확인 목적을 위해, 오브젝트 화상의 매칭을 행하기 위해, 또는 필터링을 행하기 위해 본 발명을 이용할 수 있다.

Claims (24)

1. 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 상기 화상 중에 나타나는 오브젝트를 표시하는 방법에 있어서,

   오브젝트의 윤곽 상의 임의의 점부터 시작하여, 상기 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와,

   상기 값에 대해 소정의 소트를 적용하여 상기 윤곽의 표시를 얻는 단계

   를 포함하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
2. 제1항에 있어서,

   결과로서 얻어진 상기 표시가 상기 윤곽 상의 개시점에 의존하지 않도록 상기 소정의 소트가 이루어지는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
3. 제1항에 있어서,

   상기 수치가 상기 곡선 상의 굴곡점을 반영하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
4. 제1항에 있어서,

   평활화 파라미터 시그마를 이용하여 복수의 단계에서 상기 윤곽을 평활화하여, 그 결과 복수의 윤곽 곡선을 생성시키고,

   또한, 각 윤곽 곡선의 곡률의 최대치와 최소치를 나타내는 값을 이용하여 원래의 윤곽의 특징을 나타내는 곡선을 도출하며,

   또한, 상기 수치로서 상기 특징을 나타내는 곡선의 피크의 세로 좌표를 선택함으로써,

   상기 윤곽의 곡률 스케일 공간의 표시를 얻는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
5. 제4항에 있어서,

   상기 특징을 나타내는 곡선의 세로 좌표가 상기 윤곽의 호 길이 파라미터와 상기 평활화 파라미터에 대응하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
6. 제5항에 있어서,

   상기 평활화 파라미터에 대응하는 피크의 높이의 값에 기초하여 상기 피크의 세로 좌표값이 소트되는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,

   상기 값이 최대치부터 소트되는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
8. 제7항에 있어서,

   상기 값이 크기의 내림차순으로 소트되는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
9. 제1항 내지 제6항 중 어느 한 항에 있어서,

   상기 값이 최소치부터 소트되는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
10. 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 상기 화상 중에 나타나는 오브젝트를 표시하는 방법에 있어서,

    오브젝트의 윤곽을 표시하기 위해, 상기 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와,

    상기 값 중 적어도 2개 값 사이의 관계를 이용하여 상기 표시의 신뢰성을 나타내는 계수를 도출하는 단계

    를 포함하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
11. 제10항에 있어서,

    상기 계수가 상기 값 중 2개의 값의 사이의 비에 기초하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
12. 제11항에 있어서,

    상기 비가 2개의 최대치의 비인 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
13. 제10항 내지 제12항 중 어느 한 항에 있어서,

    평활화 파라미터 시그마를 이용하여 복수의 단계에서 상기 윤곽을 평활화하여, 그 결과 복수의 윤곽 곡선을 생성시키고,

    또한, 원래의 윤곽의 특징을 나타내는 곡선을 도출하기 위한 각 윤곽 곡선의 곡률의 최대치와 최소치를 나타내는 값을 이용하고,

    또한, 상기 수치로서 상기 특징을 나타내는 곡선의 피크의 세로 좌표를 선택함으로써,

    상기 윤곽의 곡률 스케일 공간 표시가 얻어지는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
14. 제10항에 있어서,

    제1항 내지 제9항 중 어느 한 항에 기재된 방법을 이용하여 상기 값을 도출하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
15. 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 상기 화상 중의 오브젝트를 검색하는 방법에 있어서,

    2차원 윤곽의 형태로 쿼리를 입력하는 단계와,

    제1항 내지 제9항 중 어느 한 항에 기재된 방법을 이용하여 상기 윤곽의 기술자를 도출하는 단계와,

    제1항 내지 제9항 중 어느 한 항에 기재된 방법을 이용하여 도출되어 보존된 화상 중의 오브젝트의 기술자를 취득하고, 보존된 오브젝트의 각 기술자와 상기 쿼리 기술자를 비교하는 단계와,

    상기 비교에 의해 상기 쿼리와 상기 오브젝트 사이의 유사도의 정도가 나타나는 대상 오브젝트를 포함하는 화상에 대응하는 적어도 1개의 결과를 선택하여 표시하는 단계

    를 포함하는 것을 특징으로 하는 화상 중의 오브젝트를 검색하는 방법.
16. 제15항에 있어서,

    제10항 내지 제12항 중 어느 한 항에 기재된 방법을 이용하여 상기 쿼리의 윤곽 및 각 보존된 윤곽에 대하여 계수가 도출되고,

    소정의 소트만을 이용하거나, 또는, 상기 소정의 소트와 상기 계수에 의존하는 어떠한 다른 소트를 이용하여 비교를 행하는 것을 특징으로 하는 화상 중의 오브젝트를 검색하는 방법.
17. 정지 화상 또는 비디오 화상에 대응하는 신호를 처리함으로써, 상기 화상 중에 나타나는 복수의 오브젝트를 표시하는 방법에 있어서,

    각 오브젝트의 윤곽 상에 나타나는 특징과 관련되는 복수의 수치를 도출하는 단계와,

    각 윤곽을 표시하는 상기 값에 동일한 소정의 소트를 적용하여 각 윤곽의 표시를 얻는 단계

    를 포함하는 것을 특징으로 하는 화상 중의 오브젝트를 표시하는 방법.
18. 제1항 내지 제17항 중 어느 한 항에 기재된 방법을 실행하도록 되어 있는 화상 중의 오브젝트를 표시 또는 검색하는 장치.
19. 제1항 내지 제17항 중 어느 한 항에 기재된 방법을 실행하도록 되어 있는 화상 중의 오브젝트를 표시 또는 검색하는 컴퓨터 프로그램.
20. 제1항 내지 제17항 중 어느 한 항에 기재된 방법에 따라 작동하도록 프로그램된 화상 중의 오브젝트를 표시 또는 검색하는 컴퓨터 시스템.
21. 제1항 내지 제17항 중 어느 한 항에 기재된 방법을 실현하기 위한 컴퓨터에서 실행 가능한 처리를 보존하는 컴퓨터 판독 가능 기억 매체.
22. 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일하도록,정지 화상 또는 비디오 화상 중의 오브젝트를 나타내는 화상 중의 오브젝트를 표시하는 방법.
23. 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일하도록, 정지 화상 또는 비디오 화상 중의 오브젝트를 검색하는 화상 중의 오브젝트를 검색하는 방법.
24. 첨부 도면을 참조하여 본 명세서에서 설명한 것과 실질적으로 동일한 화상 중의 오브젝트를 표시 또는 검색하는 컴퓨터 시스템.