KR20040015002A - 세그먼트 매칭의 우선 순위 결정 - Google Patents

Abstract

디지털 영상들을 매칭하는 방법은 픽셀들로 구성된 제 1 디지털 영상의 영상 피처들을 조정하는 단계, 픽셀들로 구성된 제 2 디지털 영상을 제공하는 단계, 후보 값들의 한정 세트를 규정하는 단계로서, 후보 값은 상기 제 1 영상의 영상 피처들과 상기 제 2 영상의 영상 피처들 사이의 가능한 매칭에 대한 후보를 나타내는, 상기 후보 값들의 한정 세트를 규정하는 단계, 상기 후보 값들을 평가하기 위해 매칭 패널티 함수를 확립하는 단계, 매 후보 값에 대해 상기 매칭 패널티 함수를 평가하는 단계, 및 상기 매칭 패널티 함수의 상기 평가 결과에 기초하여 후보 값을 선택하는 단계를 포함하며, 상기 영상의 픽셀들의 적어도 일부를 각각의 세그먼트들에 할당하는 것을 포함하는, 상기 제 1 영상의 분할에 의해 상기 제 1 영상을 조정하고, 상기 세그먼트의 픽셀들의 적어도 일부에 대한 픽셀 중요도 파라미터를 결정하고, 상기 픽셀 중요도 파라미터는 각각의 상기 픽셀들의 상대적인 중요도를 나타내며, 적어도 부분적으로 상기 픽셀 중요도 파라미터에 기초하게 될 상기 매칭 패널티 함수를 확립한다.

Description

세그먼트 매칭의 우선 순위 결정{Prioritizing in segment matching}

두개 또는 그 이상의 영상들의 매칭은 영상 처리에서 이용되며, 본래 후속 영상들에서 매칭 섹션들을 결정하는 것으로 이루어진다. 영상들의 매칭은 깊이 재구성(depth reconstruction), 영상 데이터 압축 및 모션 분석과 같은 여러 영상 처리 분야들에 있어서 필수 단계이다.

매칭 처리는 제 1 영상의 제 1 위치에서의 영상 피처들(image features)의 결정하는 단계와, 제 2 영상의 이들 영상 피처들의 위치를 결정하는 단계를 포함한다. 트랜슬레이션(translation) 또는 회전과 같은 제 1 및 제 2 영상내의 피처들 간의 위치의 차이 정보는 다른 처리에서 이용될 수 있다. 예를 들어, 두 개의 후속 영상들 간의 영상 피처의 트랜슬레이션은 영상 피처와 연관된 오브젝트 속도의 측정을 얻는데 이용될 수 있다.

영상 매칭은 예를 들어 MPEG 코딩/디코딩 및 텔레비전 주사 속도 변환(television scan rate conversion)에 이용하기 위한 전세계 영상 처리 하드웨어 또는 소프트웨어에서 구현되는 컨텍스트 독립 처리(context independent processing)에 의해 실행될 수 있다. 이들 응용들에서는 비디오 스트림의 후속 디지털 영상들이 매칭된다. 그러한 처리에서 이용되는 일반적인 방법은 다음과 같다.

비디오 스트림에서 두 개의 후속 영상들이 매칭되는데, 이들 영상들을 2차원 디지털 영상들 I₁(x,y) 및 I₂(x,y)로 한다. 이들 두 개의 영상들의 매칭은,

I₁(x,y)=I₂(x+M_x(x,y),y+M_y(x,y))

에 따라, 영상 I₁내의 모든 픽셀들을 영상 I₂내의 픽셀에 이상적으로 매핑하는 한 쌍의 함수들 M=M_x(x,y) 및 M=M_y(x,y)의 계산을 포함한다.

이들 함수들 M은, 픽셀들 또는 피처들이 두 개의 영상들 간에 어떻게 움직이는지에 대한 정보를 포함한다. 상기 함수들 M은, 예를 들어 비디오 스트림내의 픽셀들의 명백한 모션으로서 해석될 수 있고, 각 픽셀에 모션 벡터(motion vector)를 준다. 이러한 모션 벡터는, 예를 들어 2차원 영상들로부터의 깊이 재구성, 텔레비전에서의 주사 속도 업변환을 위한 자연스런 모션(natural motion) 및 MPEG 압축에서 이용될 수 있다. 따라서, 영상들의 매칭은 함수들 M을 구하는 것으로 이루어진다.

모든 픽셀들에 대해 독립적으로 규정되는 함수로서의 M을 규정하는 것은 M을 구하는 문제가 바람직하지 않게 제기되게 한다. 함수 M이 모두 결정될 수 있다면, M의 구성은 매우 문제성이 있고, 시간과 계산력 양자 모두에서 상당한 비용을 초래한다. M을 구하는 문제를 간단히 하기 위하여, 함수 M을 조정하는 것이 제안되었다. 미국 5 072 293에는 영상 프레임들에 대하여 고정된, 영상들 내부의 미리 정해진 블록들에 걸쳐 함수 M이 일정하도록 설정된 방법이 공지되어 있다. 이러한 접근법은 M을 구하는 문제를 간단히 하여, 함수 M을 구하는데 필요시 되는 비용들을 감소시킨다. 이러한 방법은 고가이며 시간 소모적인 단점을 가지며, 반면에 M에 대하여 얻은 해결의 정확도는 어떤 응용들에서는 충분하지 않은 계산들이라는 것이다.

본 발명은 청구항1의 서론부에 따른 방법에 관한 것이다.

도 1은 세그먼트 매칭 처리의 예를 개략적으로 예시하는 도면.

도 2는 매칭 디지털 영상들을 위한 장치를 개략적으로 도시하는 도면.

본 발명의 목적은 공지된 방법보다 더 효율적이고 빠른 후속 영상들의 섹션들을 매칭하는 방법을 제공한다.

이러한 목적을 달성하기 위해, 청구항 1의 특징부에 규정되는 상기 언급된 유형의 방법을 제안한다.

본 발명의 제 1 양상에 따르면, 각 영상의 픽셀들이 각각의 세그먼트들에 할당되는, 제 1 영상을 분할한 후, 세그먼트의 픽셀들의 적어도 일부에 대한 픽셀 중요도 파라미터(pixel importance parameter)의 값이 결정된다. 상기 픽셀 중요도 파라미터는 각각의 픽셀들의 목적들을 매칭하기 위해 상대적인 중요도를 나타낸다. 다음으로, 패널티 함수의 평가에서 더 많은 가중이 중요한 픽셀들에 주어지는 방식으로, 매칭 패널티 함수(matching penalty function)는 픽셀 중요도 파라미터에 기초한다.

실시예에서, 픽셀 중요도 파라미터는 세그먼트의 하드 경계 섹션(hard border section)에 대한 픽셀의 거리와 가시도 파라미터(visibility parameter)에 기초한다. 바람직하게, 관련 경계 섹션에 대한 경계만이 이용된다. 경계 섹션들의 관련성은 그 경계 섹션에 의해 발생된 섹션들의 세그먼트 깊이 값들의 평가에 의해 결정될 수 있다. 경계 섹션이 깊이에 있어서의 변화와 일치하지 않는다면, 그 섹션이 목적들을 매칭하기 위해 중요한 정보를 나타내지 않을 것 같다.

게다가, 가시도 함수는 제 1 영상내의 픽셀이 제 2 영상내의 대응하는 픽셀을 갖는지를 취급한다. 패널티 함수에 포함되면, 가시도 함수는 후속 영상에서 모호해지는 처리로부터 픽셀들을 제거한다. 불명료한 픽셀들은 제 1 및 제 2 영상들의 세그먼트들에 대한 깊이 값들에 의해 구해질 수 있고, 더 높게 위치된 세그먼트들이 그 밖의 더 낮게 위치된 세그먼트들을 모호하게 하는 깊이 값들에 기초하여 결정한다.

매칭 처리의 패널티 함수에서 픽셀 중요도 파라미터를 이용함으로써, 매칭의 정확도가 증가되고, 이에 반해 필시로 되는 계산 리소스들이 감소된다. 본 발명은 또한 디지털 영상들을 매칭하는 장치에 관한 것이다.

본 발명의 특히 유리한 구상들(elaborations)은 종속항들에 기술된다. 본 발명의 다른 목적들, 구상들, 변경들, 효과들 및 세부사항들은 도면들을 참조하여 다음과 같은 설명으로부터 명백해진다.

본 발명의 실시예에 대한 다음 예에서, 두 개의 영상들의 매칭을 설명할 것이다. 이들 영상들은 비디오 스트림에서의 후속 영상들일 수 있지만, 본 발명은 그에 제한하지 않는다. 상기 영상들은 영상 픽셀들로 구성되고, 두 개의 2차원 디지털 영상들 I₁(x,y) 및 I₂(x,y)로서 규정되는 디지털 영상들이며, 여기서 x 및 y는 영상들의 개개의 픽셀들을 나타내는 공통 세로좌표들(co-ordinates)이다.

이들 두 개의 영상들의 매칭은 한 쌍의 함수들 M=M_x(x,y) 및 M=M_y(x,y)의 계산을 포함한다. M은 공식,

I₁(x,y)=I₂(x+M_x(x,y),y+M_y(x,y))

에 따라, 영상 I₁내의 모든 픽셀을 영상 I₂내의 픽셀에 매핑하기 전에 규정된다.

본 발명에 따르면, M의 구성은 공식,

I₁(x,y)=I₂(x+M_x(G(x,y)),y+M_y(G(x,y)))

에 의한 M의 사전 규정을 변경함으로써 유사한 모션을 갖는 픽셀들의 그룹들에 대하여 일정한 함수로서 M을 다시 규정함으로써 변경된다.

유사한 모션들을 갖는 픽셀들의 콜렉션(collection)에 대하여 일정한 M을 유지하도록 함수 G가 도입된다. 함수 G의 도입은 매칭 문제를 조정하며, 그 변경은 M을 구하는데 필요시 되는 노력을 상당히 감소시킨다.

M이 일정해질 거라고 말한 픽셀들의 콜렉션은 유사한 모션을 가질 거라고 짐작되는 픽셀들로 구성된다. 그러한 콜렉션들을 찾기 위하여, 상기 영상들은 분할에 의해 세그먼트들로 나뉘어진다. 영상의 분할은 영상내의 모든 픽셀에 대해 결정하는 것 즉, 세그먼트들의 한정 세트의 각각에 대한 고유 멤버쉽(unique membership)과 같으며, 세그먼트는 픽셀들의 연속된 콜렉션이다. 분할의 유리한 방법으로는 유사 분할(quasi segmentation)이 있으며, 세그먼트에 대한 픽셀의 멤버쉽은 컬러, 휘도 및 텍스처와 같은 픽셀들의 영상 관련 속성들을 기초하여 결정되고, 세그먼트 경계들은 확정성 값(certainty value)으로 구별된다. 유사 분할에서 생긴 세그먼트들은 영상 오브젝트들에 반드시 직접 대응되지 않지만, 어떤 세그먼트내의 픽셀들은 여전히 유사한 모션을 갖는 매우 높은 확률을 가진다. 유사 분할을 위한 방법은 출원인에 의해 "디지털 영상들의 분할(Segmentation of digital images)" 제목의 출원인들이 공동 계류중인 특허출원에 기술되어 있으며, 원본이 참조로서 본원에 합체되는 것으로 간주한다.

영상 I₁은 유사 분할의 상술한 방법에 의해 세그먼트들로 나뉘어져, 결과적으로 각각의 세그먼트를 규정하는 경계들에 의해 경계 지워지는 픽셀들로 구성된 세그먼트들이 된다. 유사 분할의 결과로서, 세그먼트들은 하드 경계 섹션들(hard border sections) 및 소프트 경계 섹션들(soft border sections)에 의해 규정된다. 하드 경계 섹션들은 영상 피처들의 분석에서 생기며, 관련 세그먼트 경계가 될 거라는 높은 확정성을 갖는다. 소프트 경계 섹션들은 검출된 하드 경계 섹션들에 대한 거리들의 계산에 의해 결정되며, 따라서 관련 세그먼트 경계가 될 거라는 낮은 확정성을 갖는다. 더 양호한 경계 섹션은 영상 콘텐트(image content)에 대응하고, 그 경계 섹션에 더 관련된다. 본 발명에 따르면, 세그먼트들을 매칭하는 형태에서의 영상들의 매칭은 각각의 세그먼트들의 그의 예상 정보 콘텐트에 기초하여 높은 중요도를 갖는 픽셀들의 매칭에 대하여 우선적으로 행한다.

도 1에서, 유사 분할에 의해 결정되고 하드 경계 섹션(11)(실선으로 표시) 및 소프트 경계 섹션(12)(파선으로 표시)에 의해 경계 지워진 영상 I₁의 세그먼트(10)가 도시된다. 영상 I₁및 영상 I₂간의 세그먼트(10)에 대한 치환 함수(displacement function)를 결정하기 위하여, 영상 I₂내의 세그먼트(10)의 투영은 세그먼트(10) 매칭을 구하는 것을 필요로 하여, 치환 함수 M을 초래한다. 이것은 세그먼트(10)와의 매칭을 위해 영상 I₂의 가능한 매칭 후보들의 수를 선택하고, 각 후보에 대한 매칭 기준을 계산하고, 최선의 매칭 결과를 갖는 후보를 선택함으로써 이루어진다. 이 매칭 기준은 제 1 영상의 세그먼트가 제 2 영상내의 투영과 매칭한다는 확정성의 척도이다. 상술한 바와 같이, 세그먼트들의 하드 경계 섹션은 소프트 경계 섹션들보다 더 높은 확정성 요인을 갖는다.

세그먼트(10)와의 매칭을 위한 영상 I₂의 후보들은 하드 경계 섹션들(21,31,41)과 소프트 경계 섹션(22,32,42)에 의해 각각 경계 지워진, 영상 I₂의 투영들(20,30,40)로서 도1에 도시된다. 각각의 투영들(20,30,40)에 대해, 함수 M은 각각의 화살표(M1,M2,M3)로 표시된다. 따라서, M1, M2 및 M3은 함수 M을 대한 후보 값들로 간주될 수 있다. 후보 투영들(20,30,40)중 어느 것이 세그먼트(10)와 최대 매칭하는 지를 결정하기 위해, 매칭 기준은 각각의 투영(20,30,40)에 대해 계산되어야 한다. 본 발명에 따르면, 매칭 기준은 M에 대한 후보 값들 및 후보 투영들의 평가에서 세그먼트들의 어떤 픽셀들에 더 많은 가중을 준다. 더 많은 가중은실재 오브젝트 경계들을 규정하는 높은 중요도를 갖는 픽셀들에 주어진다.

매칭 기준은 디지털 영상 처리에서 이용되고 매칭 에러 또는 매칭 패널티 함수를 최소화하는 이것의 구현에 공지되어 있다. 매칭 함수 자체를 최소화하는 것에 의한 매칭 방법들 및 그러한 함수들은, 예를 들어 "신호 처리:영상 통신 6" (1994)229-239로 출판된 De Haan 및 Biezen에 의한 "3-D 재귀적인 검색 블록 매칭을 갖는 서브 픽셀 모션 추정(Sub-pixel motion estimation with 3-D recursive search block-matching)"에서 기술적으로 공지되어 있다.

x 및 y 공통 세로좌표들 양자 모두에서 함수 M인 i 후보들 M_x및 M_y의 한정 세트는 공식,

{(M_x;i,M_y;i｜i=1,2,3,...}

에 의해 규정된다.

후보들 M_x및 M_y의 한정 세트 자체의 선택은, 예를 들어 De Haan 및 Biezen의 상술된 출판물에서 본 기술에 공지되어 있다. 바람직하게, 후보들의 세트는 각 후보를 평가하는데 필요시 되는 계산들의 수를 감소시키도록 작게 유지된다. 각 후보에 대해, 후보 투영이 연관된다.

세그먼트내의 픽셀들의 콜렉션은 Ω로 표시된다. i번째 후보에 대한 매칭 패널티 MP_i는 수학식 1,

의해 규정된다.

이러한 매칭 패널티 함수는 세그먼트내의 모든 픽셀에 동일한 가중을 준다. 상술한 바와 같이, 세그먼트의 픽셀들은 매칭 처리에서 같은 중요도를 갖지 않는데, 그 이유는 어떤 픽셀들은 그들이 실재 오브젝트 경계들을 나타내는 것처럼 매우 중요하고, 어떤 다른 픽셀들은 단지 텍스처들과 연관될 뿐이어서 매칭 목적들을 위해 중요하지 않기 때문이다. 세그먼트내의 여러 픽셀들의 중요도은, 예를 들어 세그먼트의 최근접 에지들에 대한 그들의 위치 또는 거리, 텍스처 및/또는 피처의 양 및 잡음으로 인해 변경할 수 있다. 게다가, 세그먼트들이 부분적으로 그 밖의 세그먼트들을 차단하는 폐색(occlusion)이 생길 수 있으며, 이로 인해 픽셀들이 제 1 피처에서 보일 수 있고, 결과의 영상에서 안 보일 수 있거나 그 반대일 수 있는 결과를 가진다. 후속 영상에서 가려진 픽셀들은 매칭에 이용되지 않아야 하는데, 그 이유는 그러한 픽셀들을 위한 후속 영상에서의 대응부가 없고, 따라서 매칭될 수 없기 때문이다. 평가에서 매칭할 수 없는 픽셀들을 얻는 것은 매칭 처리의 계산 비용들을 증가시키게 되어 덜 정확한 결과들을 야기할 수 있었다.

따라서, 본 발명에 따르면, 픽셀들의 중요도 및 보이지 않는 픽셀들의 평가를 계산한 매칭 처리가 제공된다.

상기 발명된 도구들을 이용하여 개개의 픽셀들의 중요도를 고려하기 위해, 매칭 패널티 함수는 수학식 2

로 나타내어지도록 교정된다.

가중 함수 PIM(x,y)는 각 픽셀에 팩터를 할당하는 픽셀 중요도 함수(pixel importance function)이고, 이는 예상 정보 콘텐트에 대한 픽셀의 중요도를 나타낸다. 이러한 예에서, 가중 함수 PIM(x,y)는 수학식 3,

으로 나타내어지며, w(x,y)는 가중 함수이고, v(x,y)는 가시도 함수이다. 픽셀의 중요도은, 본 실시예에서 가시도 맵(visibility map)(예 v(x,y))과 가중 함수 및 에지 또는 경계 소유(border ownership)(예,w(x,y))를 의존하는 PIM(x,y) 함수에 의해 제어된다. 결과로서, 보이지 않는 픽셀들은 0 중요도를 얻고, 경계가 관련되어 있는 경우만 이라면, 그 밖의 픽셀들은 픽셀이 속하는 경계에 대한 거리에 기초하는 중요도 파라미터를 얻는다.

세그먼트의 깊이 값으로 표시되는 중요도에서의 상술된 차이를 계산하기 위해, 가중 함수 w(x,y)는 등식,

w(x,y)=dist(x,y)own(x,y)

에 의해 규정된다.

따라서, 가중 함수는 두 개의 팩터들, 즉 함수들 dist(x,y) 및 own(x,y)을 포함한다. dist(x,y)는 가중 함수 w(x,y)에 기여하고, 경계에 대한 픽셀의 거리에 의존하며, own(x,y)는 그 경계의 중요도에 관한 것이다.

함수 dist(x,y)는 경계에 대한 거리에 기초하는 픽셀에 가중 팩터를 할당하여, 그 결과 높은 확정성을 갖는 픽셀들이 패널티 함수의 평가에 많이 기여하게 된다. 함수 dist(x,y)에서, 가중 함수 w(x,y)의 값이 하드 경계 섹션으로부터의 거리에 대해 감소하도록, 세그먼트의 하드 경계 섹션에 대한 픽셀의 거리 d(x,y)가 이용된다. 이는 하드 경계 섹션들이 영상의 최대의 어떤 피처들이라는 것과, 더구나 픽셀이 최근접 하드 경계에서 위치한다는 가정을 나타내고, 그것은 보다 작은 중요도를 가진다. dist(x,y)에 대해, 함수의 값이 세그먼트 경계로부터의 거리에 대해 감소하는 한, 어떤 적당한 함수가 선택될 수 있다.

함수들의 수는 제한하지 않는 예들로, 즉

Ⅰ. dist(x,y)=1/d(x,y),

Ⅱ. dist(x,y)=1/d(x,y)²,

Ⅲ. d(x,y)<15이면 dist(x,y)=1; d(x,y)≥1.5이면 dist(x,y)=0,

Ⅳ. d(x,y),5이면 dist(x,y)=(5-d(x,y))/4;

d(x,y)≥5이면 dist(x,y)=0.

모든 함수들이 하드 경계 섹션에 대한 거리를 증가시킴으로써 감소된 값에 이른다는 것에 주목한다. 함수 Ⅲ의 경우에, 미리 결정된 거리에 대한 값이 일정하고, 값이 0인 거리를 넘으므로, 또한 거리를 증가시킴으로써 감소된 값에 이른다. 함수 Ⅲ 및 Ⅳ는 최근접 픽셀들의 고정된 수에 대에만 계산들을 제한하는데, 이것은 필요시 되는 계산들의 수를 더 감소시킨다. 영상들의 분할이 유사 분할의 바람직한 방법을 이용하는 것으로 실행되면, 픽셀이 속하는 세그먼트의 최근접 하드 경계 섹션에 대한 거리는 거리 배열(distance array)에서 정보의 형태로 분할 처리에 이미 공지된다. 이는 매칭 처리에 있어서 계산들이 상당히 감소된다는 장점을 가져온다.

그러한 거리 파라미터를 이용하면서 어떤 픽셀의 중요도에 대해 양호한 표시를 한다. 하드 경계 세션들이 실재 오브젝트 경계와 연관될 높은 확율을 갖더라도, 다른 섹션은 세그먼트 내의 픽셀의 중요도에 대한 더 양호한 표시를 얻는 것이 바람직하다. 특히, 모든 하드 경계 섹션들이 목적들을 매칭하기 위해 똑같이 관련되지는 않는다. 가장 관련된 하드 경계 세그먼트들을 선택하기 위하여, 하드 경계에 의해 경계 지워진 인접 세그먼트들의 깊이 값들이 이용될 수 있다. 하드 경계가 결정될 때 다음과 같은 두 가지 상태들이 있을 것 같다.

1. 동일한 깊이 값을 가진 이웃 세그먼트들에 의해 특징 지워지는, 하드 경계가 텍스처 피처에 대응한다. 이러한 유형의 하드 경계는 실재 오브젝트 경계에 대응하는 경계인 매우 낮은 확률을 갖고, 전혀 관련되지 않은 목적들을 매칭한다. 따라서, 이들 하드 경계 섹션들은 거리 함수에 따라 소정의 값도 발생시키지 않아야 한다.

2. 하드 경계는 하드 경계의 각 측면들이 서로 다른 깊이 값을 가진다는 사실에 의해 표시되는, 깊이의 불연속(discontinuity)에 대응한다. 그러한 하드 경계들은 실재 오브젝트 경계에 연관된 경계가 될 매우 높은 확률을 갖고, 매칭하기 위해 크게 관련된다. 이들 경계들에 애해, 거리 함수는 사전 규정의 것으로 유지되어야 한다. 이를 위하여, 소유 함수 own(x,y)는 다음과 같이 규정된다.

pixel(x,y)가 타입 2의 경계에 관련되면, own(x,y)=1,

pixel(x,y)가 타입 1의 경계에 관련되면, own(x,y)=0.

상술된 평가에 대하여, 세그먼트의 깊이 값의 평가가 요구된다. 영상에서 세그먼트들의 깊이들을 결정하는 방법들은 본 기술에 자체 공지되어 있다. 본 발명을 이용하기 위해, 영상들에서 세그먼트들의 값들의 깊이 값들을 결정하는 어떤 적당한 방법이 이용될 수도 있다. 통상, 그러한 방법들은 후속 영상들을 비교하고, 영상의 각 세그먼트에 대해 깊이 값을 야기한다.

이러한 가중 w(x,y) 함수는 오직 깊이에서 불연속을 의미하는 하드 경계들의 제 2 그룹에 대응하는 하드 경계 섹션들의 시드 포인트들(seed points)을 고려한다. 함수의 평가에서, 각각 하드 경계 섹션은 그것이 상기 언급된 형태 1 또는 2인지 여부를 결정한다. 타입 1의 경계 섹션들, 예를 들어 관련되지 않은 텍스처 경계들은 낮은 또는 0 거리 값이 주어진다. 타입 2의 경계 섹션들, 예를 들어 관련된 오브젝트 경계 섹션들은 높은 또는 최대 거리 값이 주어진다. 가중 함수 w(x,y)를 이용하여 관련된 하드 경계 세그먼트에 연관된 픽셀들만이 매칭동안 고려되는 결과가 된다.

더욱이, 보이지 않는 픽셀들은 상기 언급한 바와 같이 매칭 평가에서 제외되어야 한다. 이를 위하여, 가시도 함수 v(x,y)가 도입된다. 이 가시도 함수는, 픽셀이 다음 영상에서 보이지 않게 되면 0의 값을 가지고, 픽셀이 다음 영상에서 보이면 픽셀은 1의 값을 가진다. 가시도 함수를 결정하기 위하여, 후속 영상들이 고려되어야 한다. 가시도 함수는 어떤 적당한 방법으로 구현될 수 있다. 통상, 가시도함수의 결정은 후속 영상들의 세그먼트들에 대한 깊이 값들의 결정과, 더 높이 위치된 세그먼트들이 그 밖의 더 낮게 위치된 세그먼트들을 모호하게 하는 깊이 값들에 기초하여 결정하는 것을 필요로 한다. 또한 세그먼트들의 깊이 값들이 상기 언급된 가중 함수 w(x,y)의 결정에 이용되기 때문에, 필요시 되는 계산 리소스들은 w(x,y) 및 v(x,y)의 결정에 대한 처리들 사이에 분배될 수 있다. 따라서, 보이지 않는 픽셀이 뽑힐 수 있으므로, 이들 픽셀들은 매칭 계산들 동안 이용되지 않는다.

상술한 바와 같이. 가시도 함수 v(x,y)는 단일 영상을 기초하여 계산될 수 없어, 바람직하게 본 발명에 따른 평가를 시작하기 위하여, 하기 절차가 이어진다. 매칭의 제 1 반복 동안, 깊이 값들의 제 1 세트는 v(x,y)로 계산된다. 이들 계산된 깊이 값들은 세그먼트들이 가장 가까운 것에서 가장 먼 것으로 정렬되게 한다. 상술한 바와 같이, 깊이 값들의 결정을 위한 어떤 적당한 방법이 채용될 수 있다.

이용에 대해, 본 발명에 따른 방법은 수학식 3을 이용하기 위해 깊이 값들을 추정하는 제 1 반복 단계에서 필요시 된다. 처리 시작을 하기 위하여, 어떤 적당한 값이 이용될 수 있는 깊이 값들은 추정되어야 한다. 깊이 값들의 처음 추정 후, 이전에 계산된 결과에서 깊이 값들이 이용될 수 있다. 그 다음, 본 발명에 따른 방법은 수학식 3에 따르면, 픽셀 기본에 관한 가중 함수 PIM(x,y)의 계산 및 다음 수학식 2에 의해 규정되는 패널티 함수의 결정에 존재한다.

도시된 실시예에서, PIM(x,y) 함수는 하드 경계 섹션에 대한 픽셀의 거리뿐만 아니라 가시도 함수에 관한 것이다. 그러나, 본 발명은, 각 픽셀에 중요한 값을 할당하는 다른 방법들이 또한 이용될 수 있다는 예에 제한되지 않는다. 그 경우에,상기 언급된 거리 배열에 대응하는 확정성 배열(x,y)은, 각각의 픽셀들이 속하는 세그먼트에 관련되는, 각 픽셀에 대한 가중 팩터들로 충전되어야 한다. 특히, 본 발명은 가시도 함수를 고려하지 않고, 가중 팩터 w(x,y)로만 이용될 수 있다. 어떤 효율성을 잃었을 수 있지만, 보다 적은 계산 노력을 필요로 한다.

본 발명은 또한 단일 영상 내의 영상 섹션들을 매칭하기 위해, 예를 들어 패턴 또는 영상 인식에서 이용하기 위해 이용될 수 있다.

본 발명은 또한 컴퓨터 상에서 실행될 때 본 발명의 방법에 대한 단계들을 실행하는 컴퓨터 프로그램 코드 섹션들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 본 발명의 컴퓨터 프로그램 제품은 하드 또는 플로피 디스크 또는 CD-ROM과 같은 적당한 정보 캐리어 상에 저장되거나 컴퓨터의 메모리 섹션에 저장될 수 있다.

본 발명은 또한 디지털 영사들을 매칭하기 위한 도 2에 도시된 장치(100)에 관한 것이다. 장치(100)는 상술한 바와 같은 방법에 따라 디지털 영상들을 매칭하는 처리 유닛(110)을 구비한다. 처리 유닛(110)은 적어도 부분적으로 프로그램가능 장치로서 설계될 수 있거나, 하드웨어에서 하나 또는 그 이상의 상술된 알고리즘들을 구현하도록 설계될 수 있다. 처리 유닛(110)은, 디지털 영상들이 수신되고 유닛(110)을 연결할 수 있는 입력 섹션(120)에 접속된다. 유닛(110)은 또한 영상들 사이의 결과로서 생긴 발견된 매칭들이 출력될 수 있기 때문에 출력 섹션(130)에 접속된다.

장치(100)는 텔레비전 장치 특히, 3-D 영상들 또는 비디오를 디스플레이하는3차원(3-D) 텔레비전과 같은 디스플레이 장치에 포함될 수도 있다. 장치(100)는 또한 장치를 인코딩하는 모션 추정기에 포함될 수도 있다. 다른 유리한 응용으로는 3-D 스캐너이다.

상술한 실시예들이 본 발명을 제한하기 보다 오히려 설명하는 것이고, 본 기술의 숙련된 자들이 첨부된 청구항의 범위를 벗어나지 않는 다수의 다른 실시예들을 설계할 수 있다는 것에 주목해야 한다. 청구범위에서, 괄호 사이에 배치된 어떤 참조 부호들은 청구항을 제한하는 것으로 해석되지 않는다. 단어 "포함"은 청구항에 기술된 것들 이외에 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 여러 상이한 요소들을 포함하는 하드웨어에 의해, 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단들을 열거하는 장치 청구항에서, 이들 여러 수단들은 하드웨어의 동일한 아이템에 의해 구현될 수 있다. 어떤 방법들이 상호간에 다른 종속항들에서 다시 인용된다는 단순한 사실은 이들 방법들의 조합이 유리하게 이용될 수 없는 것을 나타내는 것은 않는다.

Claims (10)

1. 픽셀들로 구성된 제 1 디지털 영상(I₁)의 영상 피처들을 조정하는 단계,

   픽셀들로 구성된 제 2 디지털 영상(I₂)을 제공하는 단계,

   후보 값들(M_x;i,M_y;i)의 한정 세트를 규정하는 단계로서, 후보 값은 상기 제 1 영상의 영상 피처들과 상기 제 2 영상의 영상 피처들 사이의 가능한 매칭에 대한 후보를 나타내는, 상기 후보 값들(M_x;i,M_y;i)의 한정 세트를 규정하는 단계,

   상기 후보 값들(M_x;i,M_y;i)을 평가하기 위해 매칭 패널티 함수(MP'_i)를 확립하는 단계,

   매 후보 값(M_x;i,M_y;i)에 대해 상기 매칭 패널티 함수(MP'_i)를 평가하는 단계, 및

   상기 매칭 패널티 함수의 상기 평가 결과에 기초하여 후보 값(M_x;i,M_y;i)을 선택하는 단계를 포함하는, 디지털 영상들 매칭 방법에 있어서,

   상기 영상(I₁)의 픽셀들의 적어도 일부를 각각의 세그먼트들(10)에 할당하는 것을 포함하는, 상기 제 1 영상(I1)의 분할에 의해 상기 제 1 영상을 조정하고,

   상기 세그먼트(10)의 픽셀들의 적어도 일부에 대한 픽셀 중요도 파라미터(PIM(x,y))를 결정하고, 상기 픽셀 중요도 파라미터(PIM(x,y))는 각각의 상기 픽셀들의 상대적인 중요도를 나타내며,

   적어도 부분적으로 상기 픽셀 중요도 파라미터(PIM(x,y))에 기초하게 될 상기 매칭 패널티 함수(MP'_i)를 확립하는 것을 특징으로 하는, 디지털 영상들 매칭 방법.
2. 제1항에 있어서,

   상기 픽셀 중요도 파라미터(PIM(x,y))는 세그먼트(10,20,30,40)의 하드 경계 섹션(11)에 대한 픽셀의 거리(d(x,y))와 가시도 파라미터(v(x,y))에 기초하는 가중 파라미터(w(x,y))를 포함하는, 디지털 영상들 매칭 방법.
3. 제1항 또는 제2항에 있어서,

   경계 섹션들(11)의 관련성을 결정하는 단계를 더 포함하며, 상기 가중 파라미터(w(x,y))는 관련 경계 섹션(11)에 대한 상기 거리에 기초하는, 디지털 영상들 매칭 방법.
4. 제3항에 있어서,

   경계 섹션(11)의 상기 관련성은 그 경계 섹션(11)에 의해 발생된 세그먼트들(10,20,30,40)의 세그먼트(10,20,30,40) 깊이 값들의 평가에 의해 결정되는, 디지털 영상 매칭 방법.
5. 제2항에 있어서,

   상기 가시도 파라미터(V(i,j))는, 상기 제 1 영상(I₁)내의 픽셀이 상기 제 2 영상(I₂)내의 대응하는 픽셀을 갖는지를 나타내는, 디지털 영상 매칭 방법.
6. 제5항에 있어서,

   상기 가시도 파라미터(V(i,j))의 결정은 상기 제 1 및 제 2 영상들(I1,I2)의 상기 세그먼트들에 대한 깊이 값들의 결정과, 더 가깝게 위치한 세그먼트들이 그 밖의 멀리 위치한 세그먼트들을 모호하게 하는 상기 깊이 값들에 기초하는 결정을 포함하는, 디지털 영상 매칭 방법.
7. 제1항 또는 제2항에 있어서,

   상기 분할은 유사 분할(quasi segmentation)에 의해 달성되는, 디지털 영상 매칭 방법.
8. 컴퓨터 상에서 실행될 때 제1항 또는 제2항의 단계들을 실행하는 프로그램 코드 섹션들을 포함하는 컴퓨터 프로그램 제품.
9. 디지털 영상들 매칭 장치에 있어서,

   제1항 또는 제2항에 따른 방법에 따라 디지털 영상들을 매칭하고, 디지털 영상들(I₁,I₂)을 수신하는 입력 섹션(120)과 매칭 결과들을 출력하는 출력 섹션(130)이 제공되는 처리 유닛(110)을 갖는, 디지털 영상들 매칭 장치.
10. 제9항에 따른 장치를 포함하는 기기.