KR20030005211A - 형상 기술자 파라미터의 효과적인 부호화 방법 - Google Patents

Abstract

정지 혹은 비디오 이미지에 나타나는 물체를, 상기 이미지에 대응하는 신호를 처리함으로써 표현하는 방법에 있어서, 상기 물체의 형상을 표현하는 좌표값의 복수의 세트를 유도하는 단계와 상기 형상의 부호화된 표현을 유도하기 위한 좌표값을 양자화하는 단계를 포함하고, 제1 양자화 범위에서 제1 좌표값을 양자화하고 더 작은 범위에서 더 작은 좌표값을 양자화하는 단계를 더 포함하는 표현 방법.

Description

형상 기술자 파라미터의 효과적인 부호화 방법{A METHOD FOR EFFICIENT CODING OF SHAPE DESCRIPTOR PARAMETERS}

본 발명은 예컨대, 멀티미티어 데이터베이스에 저장된 이미지와 같은 스틸 혹은 비디오 이미지에 나타나는 물체의 표현 및, 특히 그러한 표현의 부호화와 관련된 것이다.

이미지 혹은 비디오 라이브러리와 같은 애플리케이션에 있어서는, 스틸 혹은 비디오 이미지에 나타나는 물체의 윤곽이나 형상 혹은 물체의 부분을 효과적으로 표현하고 저장하는 것이 요구된다. 형상에 기초한 인덱싱(indexing)과 검색(retrieval)에 대한 공지 기술은 CSS(Curvature Scale Space) 표현을 사용한다. CSS 표현에 관한 상세한 내용은 F. Mokhtarian, S. Abbasi와 J. Kittler의 논문인, 1996년, 영국, 에든버러, 영국 기계 비젼 학회지(Proc. British Machine Vision conference), p.53~62의 "CSS를 통한 강력하고 효과적인 형상 인덱싱"과 1996년, 런던, 지능 데이터베이스에 관한 IEE 세미나 학술지(Proc. IEE Colloquium on Intelligent Databases)의 "CSS를 이용한 형상 콘텐트에 의한 이미지 데이터베이스의 인덱싱" 에 나와 있다.

CSS 표현은 윤곽상의 임의의 점으로부터 시작하여 물체의 윤곽에 대한 곡률 함수(curvature function)를 이용한다. 윤곽 형상으로서 연구되고 있는 곡률 함수는 형상을 매끄럽게 하기 위한 일련의 변형에 의해 도출된다. 특히, 가우스(Gaussian) 필터 그룹과 콘볼브된(convolved) 곡률 함수의 도함수가 0과 교차하는 점이 계산된다. 곡률 스케일 공간(Curvature Scale Space)이라는 그래프에 0 교차점이 찍히게 되는데, 여기서 x축은 정규화된(normalized) 곡선의 호의 길이(arc-length)이며, y축은 에볼루션(evolution) 파라미터로, 특히, 필터의 파라미터가 적용된다. 그래프 상의 점들은 루프(loop)의 특성을 가지는 윤곽선을 형성한다. 물체의 윤곽의 위로 볼록하거나 아래로 볼목한 각 부분은 CSS 이미지의 루프에 대응한다. CSS 이미지에서 가장 두드러진 루프의 피크의 좌표값들이 윤곽의 표현에 사용된다.

데이터베이스에 저장된 이미지에서 입력 물체의 형상과 일치하는 물체를 검색하기 위하여, 입력 형상의 CSS 표현이 계산된다. 매칭(matching) 알고리즘을 사용하여 개별 CSS 이미지에 피크의 위치와 높이를 비교함으로써 입력된 형상과 저장된 형상 사이의 유사성을 판정한다.

기술자(descriptor)에서 윤곽 형상의 특징을 표현하는데 필요한 비트의 수는 효과적인 저장과 전송을 촉진하려면 가능한 적어야 한다.

본 발명의 양상들이 첨부된 청구항에 정리되어 있다.

본 발명은 검색 성능의 중대한 퇴행없이 매우 밀도 있는 표현(저장에 사용되는 비트의 수의 관점에서)을 제공한다.

본 발명의 실시예를 첨부 도면을 참조하여 기술한다.

도 1은 비디오 데이터베이스 시스템의 블럭도,

도 2는 윤곽의 CSS 표현,

도 3은 CSS 표현의 좌표값의 부호화를 도시하는 도면이다.

도 1은 본 발명의 일 실시예에 따른 전산화된 비디오 데이터베이스 시스템을 도시한다. 시스템은 컴퓨터의 형태로 제어 유닛(2), 모니터의 형태로 표시 유닛(4), 마우스의 형태로 위치 지정 장치(6), 저장된 정지 및 비디오 이미지를 포함하는 이미지 데이터베이스(8)와 이미지 데이터베이스(8)에 저장된 이미지에 나타나는 물체 혹은 물체의 부분들의 기술자 데이터베이스(10)를 포함한다.

이미지 데이터베이스의 이미지에 나타나는 각 대상 물체의 형상에 대한 기술자는 조절 유닛(2)에 의해 유도되어 기술자 데이터베이스(10)에 저장된다. 조절 유닛(2)은 이하에 기술된 방법을 수행하는 적당한 프로그램의 조절하에서 작동하는 기술자를 유도해 낸다.

먼저, 주어진 물체의 윤곽에 대해, 윤곽의 CSS 표현이 유도된다. 이는 위에서 언급한 논문 중 하나에 기술된 것과 같은 공지의 방법을 사용하여 행한다.

더 구체적으로, 윤곽은 표현 Ψ= {x(u),y(u),u∈[0,1]}에 의해 표현되는데, 여기서 u는 정규화된 호의 길이 파라미터미이며, (x,y)는 물체의 윤곽선 상에 있는 점들의 좌표이다.

윤곽은 가우스 커넬(Gaussian kernel) g(u,σ) 혹은 유사한 커넬과 콘볼브함으로써 매끄럽게 되며, σ의 변화에 따른 선회 곡선의 곡률 0 교차점이 조사된다. 0 교차점은 곡률에 대한 이하의 표현을 사용하여 표시된다.

, 여기서 X(u,σ)=x(u)*g(u,σ)Y(u,σ)=y(u)*g(u,σ)

, 그리고 X_u(u,σ)=x(u)*g_u(u,σ)X_uu(u,σ)=x(u)*g_uu(u,σ)

위의 *는 콘볼루션을 나타내고 아래첨자는 도함수를 나타낸다.

σ가 변함에 따라 곡률 0 교차점의 수가 변하며, σ가 충분히 높으면 Ψ는 0 교차첨이 없이 위로 볼록한 곡선이 된다.

0 교차점(u,σ)이 CSS 이미지 공간이라는 그래프상에 찍힌다. 이로 인하여 원래 윤곽의 특성을 갖는 복수개의 곡선이 만들어진다. 특성 곡선의 피크가 식별되고 해당 좌표가 추출되고 저장된다. 일반적으로, 이는 좌표쌍 [(x1,y1), (x2, y2), ...,(xn,yn)]의 세트를 만드는데, 여기서 n은 피크의 수이며, xi는 i번째 피크의 호길이의 위치를, yi는 피크 높이를 나타낸다.

CSS 이미지 공간에 나타나는 특성 곡선과 대응 피크의 순서와 위치는 상기의 곡률 함수에 대한 시작점에 의존한다. 이하에 기술하는 바와 같이, 피크의 좌표는 재정렬된다.

파라미터가 추출되는 윤곽은 n개의 피크를 가지고, 도 2에 도시된 바와 같이 피크 파라미터는 [(x¹,y¹), (x², y²), ...,(xⁿ,yⁿ)]의 세트를 형성한다고 가정해 보자. 피크는 이제 높이(즉, y 좌표값)에 따라 증가하거나 감소하는 순서{(x₁,y₁),(x₂, y₂), ....(x_n,y_n)}(아래첨자는 정렬 후 피크 순서의 수를 나타낸다)로 정렬된다. 피크들이 감소하는 순서로 정렬된다고 가정하면, 제일 높은 피크가 제일 첫번째 것 (x₁,y₁)이 될 것이고, 뒤이은 각각의 피크들은 세트에서 앞의 것과 같거나 낮은 것이 될 것이다(도 3).

이렇게 재정렬된 피크 좌표는 물체의 윤곽에 대한 기술자의 기초를 형성한다. 진원도(circularity) C, 이심률(eccentricity), 밀집도(compactness) D, 몇가지 소위 "원형 윤곽 형상(prototype contour shape)"에서 추출된 것들과 같은 형상의 부가적인 파라미터가 또한 본 명세서에 참고로 그 내용을 삽입한 동시 계속 출원인 출원번호 GB 9916684.5에 기술된 매칭 과정에 사용될 수 있도록 전산화되고 저장될 수 있다.

다음으로, 피크 높이의 대략의 양자화(quantisation)가 행해진다. 양자화가 행해지는 영역은 각 피크에 따라 다르며, 높은 피크의 값(예컨대, 정렬된 세트에서 앞의 것의 피크의 높이)에 달려 있다.

도 3을 참조하면, 제1 피크은 I1=[0,Y_max]의 범위에서 양자화되는데, 여기서 Y_max는 일정 형태의 클래스에서 기대되는 피크의 최대값이다. 나머지 피크 각각은 하나 또는 여러개의 이전 피크의 값에 의존하는 범위에서 양자화된다. 예를 들면, 피크 y₂는 간격 I2=[0,y₁],(도 3) 피크 y₃는 간격 [0,y₂] 등에서 양자화된다.

이 실시예에서, 이상 기술한 바와 같이, 제1 피크은 7 비트를 사용하여 간격[0,1024]에서 양자화되고, 나머지 피크은 적절한 개별 범위에서 3 비트로 양자화된다. 이를테면, 만일 제1 피크의 높이가 893이라면, y₂는 3 비트를 사용하여 [0,893] 범위에서 양자화되는 등이다. 따라서, 피크 y₂에서 y₅에 대해, 양자화 간격이 줄어들어, 더 적은 비트를 사용하고도 더 큰 정확도를 얻게 된다. 각 피크의 x 좌표는 [0,1)간격에 일정하게 분배된 6 비트로 양자화된다. x 값은 원래 x 값, 예를 들어 보인 바와 같이, 도 2에서, 혹은 x 축을 따라 최고 피크에 대한 x값이 0이 되는 양만큼 이동시킨 뒤의 값일 것이다.

본 발명으로부터 얻어지는 이점을 조사해 보자. 종래의 경우, 각 피크는 두개의 부동 소수점 수(floating point numbers), 각 4 바이트를 요구한다. 따라서, 9개의 피크를 갖는 일반적인 형상에 대해, 저장 조건은 9*2*4=72 바이트 (576 비트)가 된다. 제시된 실시예의 애플리케이션 이후에, 제1 피크는 7 비트를 필요로 하는데, x 값이 0이고, 각 연속 피크가 6+3 비트로 처리되는 것으로 가정하여, 총 79 비트가 된다.

범위 [0,y_i] 대신에, 범위 [0,R(y_i))가 사용될 수 있는데, 여기서 R(y_i)는 역양자화 후의 y_i값을 복원(reconstruction)한 것이다.

유사한 효과를 가질 대체 실시예는 각 피크 {y2, y3, ..., yn}(최고 높이를 갖는 것 제외)의 높이를 각각 이전 피크의 값으로 나누는 것이다. 이 동작 후에, 모든 yi의 범위는 (0,1] 세트로부터 나온다. 이것은 모든 yi에 대해 더욱 대략적인 양자화를 할 수 있게 해준다.

두 예에서, 최고 높이의 피크에 대해 7 혹은 6 비트 양자화를, 그리고 나머지 모든 피크에 대해 4 혹은 3 비트 양자화를 사용함으로써 좋은 결과를 얻을 수 있다. 다른 비트 수를 사용할 수도 있다.

상기 작동은 또한 좌표값을 종법선(binormal) 필터링과 비선형 변환한 후에, 본 명세서에 참고로 그 내용이 기술된 동시 계속 출원인 출원번호 GB9915699.4에 기술된 바와 같이 수행될 수 있다. x 좌표는 y 값과 함께, 혹은 그것을 대신하여 상기 과정을 따라서 부호화될 수 있다.

예컨대, 동시 계속 출원 GB9915699.4, GB9915698.6과 GB9916684.5에 기술된 바와 같이, 적절히 변형하여, 예컨대, 매칭을 행하기 전에 저장된 기술자에 역양자화를 수행함으로써, 적당한 매칭 과정에 사용되도록 결과값을 저장할 수 있다.

Claims (20)

1. 정지 혹은 비디오 이미지에 나타나는 물체를, 상기 이미지에 대응하는 신호를 처리함으로써 표현하는 방법에 있어서,

   상기 물체의 형상을 표현하는 좌표값의 복수의 세트를 유도하는 단계와

   상기 형상의 부호화된 표현을 유도하기 위해 좌표값을 양자화하는 단계

   를 포함하며,

   주어진 좌표에 대해 제2 좌표값 세트의 대응 좌표값보다 작은 좌표값을 가지는 제1 좌표값 세트에 대해, 상기 주어진 좌표값이 양자화되는 범위가 제2 좌표값 세트에 대한 것보다 제1 좌표값 세트에 대한 것이 작은 표현 방법.
2. 제1항에 있어서, 상기 제1 좌표값 세트의 상기 주어진 좌표값에 대한 양자화 범위는 적어도 제2 좌표값 세트의 대응 좌표값을 기초로 하는 표현 방법.
3. 제2항에 있어서, 좌표값이 감소하는 시퀀스에 대해, 각 좌표값에 대한 양자화 범위는, 존재한다면, 하나 혹은 그 이상의 선행하는, 더 높은, 좌표값을 기초로 하는 표현 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 세트의 값에 대한 상기 주어진 좌표값의 상기 양자화된 표현에 할당된 비트의 수는 상기 제2 세트의 값에 대한 상기 대응하는 좌표값의 상기 양자화된 표현에 할당된 비트의 수보다 적은 표현 방법.
5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 세트의 값에 대한 상기 주어진 좌표값의 상기 양자화된 표현에 할당된 상기 비트의 수는 상기 제2 세트의 값에 대한 상기 대응하는 좌표값의 상기 양자화된 표현에 할당된 비트의 수와 같은 표현 방법.
6. 제1항 내지 제5항 중 어느 항에 있어서, 상기 좌표값 세트는 좌표값 쌍이고, 각 좌표값 쌍의 적어도 하나의 좌표값에 대해 양자화 범위가 변하는 표현 방법.
7. 제6항에 있어서, 상기 좌표 쌍은 형상의 CSS 표현에서 피크의 위치에 대응하는 표현 방법.
8. 제7항에 있어서, 상기 변화하는 양자화 범위는 피크 높이에 대응하는 좌표값에 이용되는 표현 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 양자화 범위는 복수의 좌표값에 대해 동일한 표현 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 좌표값을 감소하거나 증가하는 크기로 정렬하는 단계를 포함하는 표현 방법.
11. 정지 혹은 비디오 이미지에 나타나는 물체를, 상기 이미지에 대응하는 신호를 처리함으로써 표현하는 방법에 있어서,

    상기 물체의 형상을 표현하는 좌표값의 복수의 세트를 유도하는 단계와

    상기 형상의 부호화된 표현을 유도하기 위한 좌표값을 양자화하는 단계

    를 포함하고, 상기 방법은,

    제1 양자화 범위에서 제1 좌표값을 양자화하는 단계와

    더 작은 범위에서 더 작은 좌표값을 양자화하는 단계

    를 더 포함하는 표현 방법.
12. 제11항에 있어서, 적어도 하나의 좌표값은 더 높은 좌표값보다 더 적은 비트를 사용하여 양자화하는 표현 방법.
13. 제11항 또는 제12항에 있어서, 적어도 하나의 좌표값은 더 높은 좌표값과 같은 수의 비트를 사용하여 양자화되는 표현 방법.
14. 제11항 내지 제13항 중 어느 한 항에 있어서, 어느 좌표값에 대한 상기 양자화 범위는 적어도 하나의 더 높은 좌표값에 의존하는 표현 방법.
15. 이미지에 대응하는 신호를 처리함으로써 정지 혹은 비디오 이미지 내의 물체를 검색하는 방법에 있어서,

    질의(query) 물체를 입력하는 단계,

    상기 질의 물체의 표현을 유도하는 단계,

    상기 표현과 제1항 내지 제14항 중 어느 한 항에 기재된 방법을 사용하여 유도된 표현들을 비교하는 단계, 및

    상기 질의에 유사한 정도를 나타내는 상기 표현들에 대한 물체들을 선택하고 표시하는 단계

    를 포함하는 검색 방법.
16. 제1항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하도록 적응된 장치.
17. 제1항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램.
18. 제1항 내지 제15항 중 어느 한 항에 기재된 방법에 따라 작동하도록 프로그램된 컴퓨터 시스템.
19. 제1항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터로실행가능한 처리 단계들을 저장하는 컴퓨터로 판독가능한 저장 매체.
20. 실질적으로 첨부 도면과 관련된 실시예로서 전술한 바와 같은 윤곽의 물체를 표현하는 방법.