KR100914359B1 - 형상 기술자 파라미터의 효과적인 부호화 방법 - Google Patents

Abstract

정지 혹은 비디오 이미지에 나타나는 물체를, 상기 이미지에 대응하는 신호를 처리함으로써 표현하는 방법에 있어서, 상기 물체의 형상을 표현하는 좌표값의 복수의 세트를 유도하는 단계와 상기 형상의 부호화된 표현을 유도하기 위해 좌표값을 양자화하는 단계를 포함하고, 제1 양자화 범위에서 제1 좌표값을 양자화하고 더 작은 범위에서 더 작은 좌표값을 양자화하는 단계를 더 포함하는 표현 방법.

화상 부호화, 형상 기술자, 이미지의 특징 추출, 이미지 데이터베이스

Description

형상 기술자 파라미터의 효과적인 부호화 방법{A METHOD FOR EFFICIENT CODING OF SHAPE DESCRIPTOR PARAMETERS}

본 발명은 예컨대, 멀티미티어 데이터베이스에 저장된 이미지와 같은 정지 혹은 비디오 이미지에 나타나는 물체의 표현 및, 특히 그러한 표현의 부호화와 관련된 것이다.

이미지 혹은 비디오 라이브러리와 같은 애플리케이션에 있어서는, 정지 혹은 비디오 이미지에 나타나는 물체의 윤곽이나 형상 혹은 물체의 부분을 효과적으로 표현하고 저장하는 것이 요구된다. 형상에 기초한 인덱싱(indexing)과 검색(retrieval)에 대한 공지 기술은 CSS(Curvature Scale Space) 표현을 사용한다. CSS 표현에 관한 상세한 내용은 F. Mokhtarian, S. Abbasi와 J. Kittler의 논문인, 1996년, 영국, 에든버러, 영국 기계 비젼 학회지(Proc. British Machine Vision conference), p.53~62의 "CSS를 통한 강력하고 효과적인 형상 인덱싱"과 1996년, 런던, 지능 데이터베이스에 관한 IEE 세미나 학술지(Proc. IEE Colloquium on Intelligent Databases)의 "CSS를 이용한 형상 콘텐트에 의한 이미지 데이터베이스의 인덱싱" 에 나와 있으며, 이들의 내용은 참조로서 본원에 포함된다.

CSS 표현은 윤곽상의 임의의 점으로부터 시작하여 물체의 윤곽에 대한 곡률 함수(curvature function)를 이용한다. 윤곽 형상으로서 연구되고 있는 곡률 함수는 형상을 평활화하는 일련의 변형에 의해 도출된다. 특히, 가우스(Gaussian) 필터 그룹과 컨볼루션된(convolved) 곡률 함수의 도함수의 제로 크로싱(zero crossing)이 계산된다. 곡률 스케일 공간(Curvature Scale Space)이라는 그래프에 제로 크로싱이 찍히게 되는데, 여기서 x축은 정규화된(normalized) 곡선의 호의 길이(arc-length)이며, y축은 에볼루션(evolution) 파라미터로, 특히, 필터의 파라미터가 적용된다. 그래프 상의 점들은 루프(loop)의 특성을 가지는 윤곽선을 형성한다. 물체의 윤곽의 위로 볼록하거나 아래로 볼록한 각 부분은 CSS 이미지의 루프에 대응한다. CSS 이미지에서 가장 두드러진 루프의 피크의 좌표들이 윤곽의 표현에 사용된다.

데이터베이스에 저장된 이미지에서 입력 물체의 형상과 일치하는 물체를 검색하기 위하여, 입력 형상의 CSS 표현이 계산된다. 매칭(matching) 알고리즘을 사용하여 개별 CSS 이미지 내의 피크의 위치와 높이를 비교함으로써 입력된 형상과 저장된 형상 사이의 유사성을 판정한다.

기술자(descriptor)에서 윤곽 형상의 특징을 표현하는데 필요한 비트의 수는 효과적인 저장과 전송을 촉진하려면 가능한 작아야 한다.

본 발명의 양상들이 첨부된 청구항에 정리되어 있다.

본 발명은 검색 성능의 중대한 퇴행없이 매우 밀도 있는 표현(저장에 사용되는 비트의 수의 관점에서)을 제공할 수 있다.

본 발명의 실시예를 첨부 도면을 참조하여 기술한다.

도 1은 비디오 데이터베이스 시스템의 블럭도.

도 2는 윤곽의 CSS 표현.

도 3은 CSS 표현의 좌표값의 부호화를 도시하는 도면.

도 1은 본 발명의 일 실시예에 따른 전산화된 비디오 데이터베이스 시스템을 도시한다. 시스템은 컴퓨터 형태의 제어 유닛(2), 모니터 형태의 표시 유닛(4), 마우스 형태의 위치 지정 장치(6), 저장된 정지 및 비디오 이미지를 포함하는 이미지 데이터베이스(8), 및 이미지 데이터베이스(8)에 저장된 이미지에 나타나는 물체 혹은 물체의 부분들의 기술자 데이터베이스(10)를 포함한다.

이미지 데이터베이스의 이미지에 나타나는 각 대상 물체의 형상에 대한 기술자는 제어 유닛(2)에 의해 유도되어 기술자 데이터베이스(10)에 저장된다. 제어 유닛(2)은 이하에 기술된 방법을 수행하는 적합한 프로그램의 제어하에서 작동하는 기술자를 유도해 낸다.

먼저, 소정의 물체의 윤곽에 대해, 윤곽의 CSS 표현이 유도된다. 이는 위에서 언급한 논문 중 하나에 기술된 것과 같은 공지의 방법을 사용하여 행해진다.

더 구체적으로, 윤곽은 표현 Ψ= {x(u),y(u),u∈[0,1]}에 의해 표현되는데, 여기서 u는 정규화된 호의 길이 파라미터미이며, (x,y)는 물체의 윤곽선 상에 있는 점들의 좌표이다.

윤곽은 가우스 커넬(Gaussian kernel) g(u,σ) 혹은 유사한 커넬과 컨볼루션함으로써 평활화되며, σ의 변화에 따른 선회 곡선의 곡률 제로 크로싱이 조사된다. 제로 크로싱은 곡률에 대한 이하의 표현을 사용하여 식별된다.

, 여기서 X(u,σ)=x(u)*g(u,σ) Y(u,σ)=y(u)*g(u,σ)

, 그리고 X_u(u,σ)=x(u)*g_u(u,σ) X_uu(u,σ)=x(u)*g_uu(u,σ)

위의 *는 콘볼루션을 나타내고 아래첨자는 도함수를 나타낸다.

σ가 변함에 따라 곡률 제로 크로싱의 수가 변하며, σ가 충분히 높으면 Ψ는 제로 크로싱 없이 위로 볼록한 곡선이 된다.

제로 크로싱 점(u,σ)이 CSS 이미지 공간이라는 그래프상에 찍힌다. 이로 인하여 원래 윤곽의 특성을 갖는 복수개의 곡선이 만들어진다. 특성 곡선의 피크가 식별되고 대응 좌표가 추출되고 저장된다. 일반적으로, 이는 좌표쌍 [(x1,y1), (x2, y2), ...,(xn,yn)]의 세트를 만드는데, 여기서 n은 피크의 수이며, xi는 i번째 피크의 호길이의 위치를, yi는 피크 높이를 나타낸다.

CSS 이미지 공간에 나타나는 특성 곡선과 대응 피크의 순서와 위치는 상기의 곡률 함수에 대한 시작점에 의존한다. 이하에 기술하는 바와 같이, 피크의 좌표는 재정렬된다.

파라미터가 추출되는 윤곽은 n개의 피크를 가지고, 도 2에 도시된 바와 같이 피크 파라미터는 [(x¹,y¹), (x², y²), ...,(xⁿ,yⁿ)]의 세트를 형성한다고 가정해 보자. 피크는 이제 높이(즉, y 좌표값)에 기초하여 올림차순 또는 내림차순{(x₁,y₁), (x₂, y₂), ....(x_n,y_n)}(아래첨자는 정렬 후 피크 순서의 수를 나타낸다)으로 정렬된다. 피크들이 감소하는 순서로 정렬된다고 가정하여, 제일 높은 피크가 제일 첫번째 것 (x₁,y₁)이 되고, 후속 피크들의 각각은 세트에서 앞의 것과 같거나 낮은 것이 된다고 가정하자(도 3).

이렇게 재정렬된 피크 좌표는 물체의 윤곽에 대한 기술자의 기초를 형성한다. 진원도(circularity) C, 이심률(eccentricity), 밀집도(compactness) D, 몇가지 소위 "원형 윤곽 형상(prototype contour shape)"에서 추출된 것들과 같은 형상의 부가적인 파라미터가 또한 본 명세서에 참고로 그 내용을 삽입한 동시 계속 출원인 출원번호 GB 9916684.5에 기술된 매칭 과정에 사용될 수 있도록 계산되고 저장될 수 있다.

다음으로, 피크 높이의 대략의 양자화(quantisation)가 행해진다. 양자화가 행해지는 영역은 각 피크에 따라 다르며, 높은 피크의 값(예컨대, 정렬된 세트에서 앞의 것의 피크의 높이)에 달려 있다.

도 3을 참조하면, 제1 피크는 I1=[0,Y_max]의 범위에서 양자화되는데, 여기서 Y_max는 일정 형상의 클래스에서 기대되는 피크의 최대값이다. 나머지 피크 각각은 하나 또는 여러개의 이전 피크의 값에 의존하는 범위로 양자화된다. 예를 들면, 피크 y₂는 간격 I2=[0,y₁],(도 3) 피크 y₃는 간격 [0,y₂] 등에서 양자화된다.

이 실시예에서, 이상 기술한 바와 같이, 제1 피크는 7 비트를 사용하여 간격 [0,1024]에서 양자화되고, 나머지 피크은 적절한 개별 범위에서 3 비트로 양자화된다. 이를테면, 만일 제1 피크의 높이가 893이라면, y₂는 3 비트를 사용하여 [0,893] 범위에서 양자화되는 등이다. 따라서, 피크 y₂ 내지 y₅에 대해, 양자화 간격이 줄어들어, 더 적은 비트를 사용하고도 더 큰 정확도를 얻게 된다. 각 피크의 x 좌표는 [0,1)간격에 일정하게 분배된 6 비트로 양자화된다. x 값은 예를 들어 도 2에 도시된 바와 같이, 원래 x 값일 수 있고, 혹은 x 축을 따라 최고 피크에 대한 x값이 0이 되는 양만큼 이동시킨 뒤의 값일 수 있다.

본 발명으로부터 얻어지는 이점을 조사해 보자. 종래의 해결책에서는, 각 피크는 두개의 부동 소수점 수(floating point numbers), 각 4 바이트를 요구한다. 따라서, 9개의 피크를 갖는 일반적인 형상에 대해, 저장 조건은 9*2*4=72 바이트 (576 비트)가 된다. 제시된 실시예의 애플리케이션 이후에, 제1 피크는 7 비트를 필요로 하는데, x 값이 0으로, 각 연속 피크가 6+3 비트로 처리되는 것으로 가정하여, 총 79 비트가 된다.

범위 [0,y_i] 대신에, 범위 [0,R(y_i))가 사용될 수 있는데, 여기서 R(y_i)는 역양자화 후의 y_i값을 복원(reconstruction)한 것이다.

유사한 효과를 가질 대체 실시예는 각 피크 {y2, y3, ..., yn}(최고 높이를 갖는 것 제외)의 높이를 각각 이전 피크의 값으로 나누는 것이다. 이 동작 후에, 모든 yi의 범위는 (0,1] 세트로부터 나온다. 이것은 모든 yi에 대해 더욱 대략적인 양자화를 사용할 수 있게 해준다.

두 예에서, 최고 높이의 피크에 대해 7 혹은 6 비트 양자화를, 그리고 나머지 모든 피크에 대해 4 혹은 3 비트 양자화를 사용함으로써 좋은 결과를 얻을 수 있다. 다른 비트 수를 사용할 수도 있다.

상기 동작은 또한 본 명세서에 참고로 그 내용이 기술된 동시 계속 출원인 출원번호 GB9915699.4에 기술된 바와 같이 좌표값을 종법선(binormal) 필터링과 비선형 변환한 후에 수행될 수 있다. x 좌표는 y 값과 동시에, 혹은 그것을 대신하여 상기 과정을 따라서 부호화될 수 있다.

예컨대, 동시 계속 출원 GB9915699.4, GB9915698.6과 GB9916684.5에 기술된 바와 같이, 적절히 변형하여, 예컨대, 매칭을 행하기 전에 저장된 기술자에 역양자화를 수행함으로써, 적당한 매칭 과정에 사용되도록 결과값을 저장할 수 있다.

Claims (20)

1. 이미지 또는 이미지들의 시퀀스에 나타나는 물체를, 상기 이미지에 대응하는 신호들을 처리함으로써 표현하는 방법으로서,

   상기 방법은 상기 물체의 형상의 CSS(curvature scale space) 표현을 유도하는 단계를 포함하고,

   상기 방법은 상기 CSS 표현의 피크들의 좌표값들을 양자화하여 상기 형상의 부호화된 표현을 유도하는 단계를 더 포함하며,

   상기 CSS 표현의 피크들은 피크 높이 성분 값들의 내림차순으로 정렬되고, 피크 높이 성분 값의 양자화 범위는 이전 피크 높이 성분 값에 기초하고,

   피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수는 이전 피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수와 동일하거나, 상기 이전 피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수보다 작은 방법.
2. 삭제
3. 삭제
4. 이미지 또는 이미지들의 시퀀스에 나타나는 물체를, 상기 이미지에 대응하는 신호들을 처리함으로써 표현하는 장치로서,

   상기 물체의 형상의 CSS(curvature scale space) 표현을 유도하는 수단, 및

   상기 CSS 표현의 피크들의 좌표값들을 양자화하여 상기 형상의 부호화된 표현을 유도하는 수단을 포함하며,

   상기 CSS 표현의 피크들은 피크 높이 성분 값들의 내림차순으로 정렬되고, 피크 높이 성분 값의 양자화 범위는 이전 피크 높이 성분 값에 기초하고,

   피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수는 이전 피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수와 동일하거나, 상기 이전 피크 높이 성분 값의 양자화된 표현에 할당되는 비트들의 수보다 작은 장치.
5. 제1항에 기재된 방법을 수행하도록 프로그램되어 있는, 이미지 내의 물체의 표현을 유도하는 제어 디바이스.
6. 이미지 내의 물체의 표현을 유도하는 장치로서,

   제5항에 기재된 제어 디바이스; 및

   이미지들 또는 이미지들의 표현들을 저장하는 저장 수단

   을 포함하는 장치.
7. 제6항에 있어서,

   상기 저장 수단은 이미지 데이터베이스 또는 기술자 데이터베이스인 장치.
8. 제6항 또는 제7항에 있어서,

   표시 수단을 더 포함하는 장치.
9. 제6항 또는 제7항에 있어서,

   위치 지정 장치를 더 포함하는 장치.
10. 제1항에 기재된 방법의 모든 단계들을 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 기록한 컴퓨터-판독가능한 기록 매체.
11. 제1항에 기재된 방법의 모든 단계들을 수행하도록 프로그램된 컴퓨터 시스템.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images