KR101428627B1

KR101428627B1 - 개선된 이미지 매칭을 위한 방법 및 장치

Info

Publication number: KR101428627B1
Application number: KR1020127017918A
Authority: KR
Inventors: 도니 티트가트; 장-프랑소와 맥큐; 새미 라이벤스; 마르텐 에르츠
Original assignee: 알까뗄 루슨트
Priority date: 2009-12-11
Filing date: 2010-12-07
Publication date: 2014-08-13
Also published as: JP2013513842A; CN102652319B; EP2333692A1; JP5559349B2; WO2011070023A1; US9589369B2; US20120299911A1; CN102652319A; KR20130004249A

Abstract

복수의 이미지(이미지1, 이미지2) 사이에서 매칭 속성(픽셀, 객체)의 적어도 하나의 세트를 결정하는 방법은 상기 복수의 이미지의 적어도 일부를 3차원 공간에 투사해서 복수의 3-D 투사된 이미지(이미지1_3D, 이미지2_3D)가 되는 단계, 상기 복수의 3D 투사된 이미지의 3D 투사된 이미지 내에서 적어도 하나의 대응 세트의 요소를 탐색하는 단계, 상기 복수의 원래의 이미지 내에서 상기 대응 요소를 역계산하는 단계, 및 상기 대응 요소를 상기 원래의 이미지 내에 매칭된 속성의 상기 적어도 하나의 세트로서 제공하는 단계를 포함한다.

Description

개선된 이미지 매칭을 위한 방법 및 장치{METHOD AND ARRANGEMENT FOR IMPROVED IMAGE MATCHING}

본 발명은 복수의 이미지들 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하는 방법에 관한 것이다.

예를 들어 매칭된 픽셀 또는 매칭된 객체와 같은 그러한 매칭된 속성 세트를 결정하는 현재의 기술은 2개 이상의 이미지들 사이에서 그러한 매칭된 속성을 발견하기 위해 이하 2D로 간략화되는 2차원 이미지 처리 기술을 이용한다. 이것은 이미지에서 대응 픽셀 또는 픽셀 그룹을 발견하기 위해 2D 도메인에서 탐색을 수행하는 것을 포함한다. 알려진 기술은 이미지 중 하나에서 픽셀 주위에 가상 블록을 위치시키는 것, 및 이미지에서 픽셀 주위의 블록에 기초한 대응 또는 매칭 스코어를 계산하는 메트릭을 사용하여 첫번째 것과 가장 좋은 대응성을 갖는 다른 이미지에서의 블록을 탐색하는 것을 포함하는 블록 매칭 기술에 대부분에 기초한다. 이 해결방안은 계산적 집약적이며, 이미지가 예를 들어 긴 기준선을 갖는 2개의 카메라에 의해 생성될 때 견고하지 않다.(이는 카메라들 사이에서 긴 거리가 존재하는 것을 의미함.) 그러한 이미지 또는 뷰는 상당한 차이를 나타낼 것이다. 더욱이, 알려진 방법의 대부분은 대응 또는 매칭이 탐색되는 이미지에서 객체의 어떤 오버랩을 필요로 한다. 게다가, 픽셀 레벨 그 자체에서보다는 오히려 객체 레벨에서 대응성이 탐색될 때, 최신 방법은 객체 그 자체가 모든 이미지에서 동일하다는 사실에도 불구하고 관점이 매우 달라서 이 객체의 픽셀 내용이 전체적으로 다른 경우에 실패한다. 이것은 예컨대 이미지가 사람의 정면에서 카메라로 촬영됨에 따라 한쪽 이미지가 사람의 얼굴의 세부를 나타내는 예를 들어 인간 머리를 표시하지만, 이 이미지가 동일 사람의 뒷면에서 카메라로 촬영됨에 따라 다른 쪽 이미지가 동일 인간 머리를 표시하지만 헤어와 같은 머리의 뒷면의 세부를 표시할 때의 경우일 수 있다.

따라서, 본 발명의 목적은 복수의 이미지들 사이에서 매칭된 속성을 결정하는 개선된 방법을 제시하는 것이며, 그것은 상술한 종래 기술의 문제를 해결할 수 있다.

본 발명에 따르면, 이 목적은 복수의 이미지의 적어도 일부를 3차원 공간에 투사해서 복수의 3차원 투사된 이미지가 되는 단계, 상기 복수의 3차원 투사된 이미지의 3차원 투사된 이미지 내에서 대응 3차원 요소의 적어도 하나의 세트를 탐색하는 단계, 상기 대응 3차원 요소의 상기 적어도 하나의 세트를 상기 복수의 이미지 내의 대응 2차원 속성으로 역계산하는 단계, 및 상기 대응 2차원 속성을 상기 이미지 내에 상기 매칭된 속성의 상기 적어도 하나의 세트로서 제공하는 단계를 포함하는 방법에 의해 해결된다

예를 들어 깊이 정보가 이미지에 이용가능한 경우에 가능한 이하 3D로 간략화되는 3차원 공간에 2차원 이미지를 투사하는 것은 이 3D 공간에서 대응 또는 매칭 요소를 탐색하는 것을 가능하게 할 것이다. 대응 요소에 대한 이러한 탐색은 더 설명되는 다른 실시예로부터 분명해지는 바와 같이 2D 공간에서의 탐색에 비해서 3D 공간에서 훨씬 더 쉽고 계산적으로 덜 집약적이다. 3D 대응 요소를 3D로부터 2D 공간으로 역계산함으로써, 매칭 속성은 간단하고, 게다가 매우 정확한 방식으로 제공될 것이다. 더욱이, 3D 공간 내에서 대응 요소에 대한 이러한 탐색은 동일 사람의 정면측 및 뒷면측에서 촬영된 이미지로부터 식별된 그리고 인식된 인간 머리의 이전 언급된 예와 같은 2D에서 매칭 속성을 발견하는 것이 가능할 것이다. 이것은 지금까지 최신 2D 기술을 사용함으로써 가능하지 않았다.

속성은 픽셀을 포함할 수 있으므로, 다른 이미지들 사이에서 매칭 픽셀을 결정하는 것이 가능하다. 또한, 속성은 픽셀 그룹을 구비한 객체를 포함할 수 있으므로, 다른 이미지들 사이에서 매칭 객체를 결정하는 것이 가능하다.

변형 실시예는 상기 복수 중 하나의 이미지를 참조 이미지로서 선택하는 단계, 속성을 상기 참조 이미지 상에서 식별하는 단계, 및 상기 속성의 3차원 투사를 상기 대응 3차원 요소의 상기 적어도 하나의 세트의 3차원 요소로서 식별하는 단계를 더 포함함으로써 적어도 하나의 대응 3차원 요소는 상기 복수의 다른 이미지의 상기 3차원 투사된 이미지에서 탐색된다.

이것은 특히 복수의 이미지가 2개 이상의 이미지를 포함하는 경우에 간단한 방법을 제공한다. 하나의 이미지를 참조 이미지로서 선택함으로써, 이 참조 이미지와 다른 이미지 사이에서 매칭 속성을 발견하는 계산은 수 개의 예에 의해 도시되는 바와 같이 매우 간단할 수 있다.

다른 실시예에 있어서, 상기 속성은 픽셀을 포함하며, 상기 적어도 하나의 대응 3차원 요소는 상기 픽셀의 상기 3차원 투사 주위에 볼륨체를 형성함으로써 탐색되어 상기 볼륨체의 윤곽 내에 있는 상기 복수의 다른 이미지의 상기 3차원 투사된 이미지의 투사된 픽셀은 상기 픽셀의 상기 3차원 투사에 대한 대응 3차원 요소로서 고려된다.

이것은 고려 중의 픽셀을 포함하는 매칭된 픽셀 및 이 볼륨체의 윤곽 내에 있는 역투사된 3차원 픽셀을 식별하는 간단한 방법을 제공한다.

대응 픽셀을 결정하기 위한 3D 공간에 사용되는 임의 볼륨체는 상기 픽셀의 상기 3차원 투사 주위에 센터링된 타원체일 수 있다.

이것은 3D 투사된 픽셀 주위에 센터링된 3D 볼륨체를 형성하는 매우 간단한 실시예로 판명된다.

다른 변형 방법에 있어서, 상기 대응 3차원 요소의 상기 적어도 하나의 세트의 요소는 상기 복수로부터 선택된 각 참조 이미지의 하나 이상의 3차원 투사로부터 획득되는 적어도 하나의 투사된 3차원 객체를 포함하며, 대응 3차원 요소는 픽셀의 3차원 투사가 상기 적어도 하나의 투사된 3차원 객체에 근사시키는 볼륨체의 윤곽 내에 있는 상기 복수의 다른 투사된 이미지로부터 픽셀의 3차원 투사 그룹으로서 결정되어, 매칭된 속성의 상기 적어도 하나의 세트는 2차원 도메인에서 상기 적어도 하나의 투사된 3차원 객체 및 원래의 이미지에 대한 상기 그룹의 역계산에 의해 획득된다.

이것은 매칭 객체를 식별하는 것을 허가한다.

변형 방법은 상기 각 참조 이미지에 관한 2차원 이미지 인식의 단계를 더 포함해서 상기 적어도 하나의 투사된 3차원 객체에 상기 각 참조 이미지에 관한 적어도 하나의 인식된 객체가 관련된다.

이것은 복수의 다른 이미지 상의 초기에 수행된 객체 인식에 기초해서 하나의 이미지에서 매칭된 객체를 식별하는 것을 허가한다. 이와 같이 이미지 상의 패턴 또는 이미지 인식을 위한 간단한 방법은 인식 기술이 2D 도메인에서 이미 수행되고, 인식된 객체 또는 패턴이 이와 같이 이미 식별된 이미지와 참조 이미지 사이에서 매칭된 객체를 식별함으로써 얻어진다. 이전에 언급된 기술을 통해 이미지와 참조 이미지의 이미 식별된 객체 사이에서 매칭된 속성을 결정함으로써, 패턴 또는 객체 인식을 이 이미지의 세그먼트화의 응용으로 수행하는 매우 간단한 방법이 얻어진다.

다른 변형 방법은 상기 각 참조 이미지의 하나 이상의 3D 투사에 관한 3차원 이미지 인식의 단계를 더 포함해서, 상기 적어도 하나의 투사된 3차원 객체에 상기 3차원 이미지 인식에서 기인되는 적어도 하나의 인식된 객체가 관련된다.

이것은 2차원 객체 인식이 매우 어려운 이미지를 위한 대안을 제공한다. 3차원 객체 인식 기술에 기초해서, 객체는 2차원 공간에서 백 식별될 수 있다.

다른 변형에서, 상기 볼륨체는 상기 적어도 하나의 투사된 3차원 객체에 관련된 볼륨 모델 세트로부터 선택된다.

이것은 예를 들어 인간 머리와 같은 전형적인 모폴로지 형상을 갖는 매칭된 객체가 식별될 수 있는 경우에 매우 흥미 있는 것으로 판명된다. 볼륨 모델 세트로부터 예를 들어 그러한 인간 머리의 형태를 갖는 볼륨 모델을 선택함으로써, 이 머리의 윤곽 내에 있는 다른 이미지의 3D 투사된 픽셀은 이 때 3D에서 3D 투사된 헤드에 속하는 대응 픽셀로 간주될 수 있으며, 2D에 대한 역투사는 이 때 2D에서 인간 머리의 식별 또는 인식이 될 것이다.

또 다른 실시예에 있어서, 상기 볼륨체는 이 볼륨체를 상기 적어도 하나의 투사된 3차원 객체에 일치시킴으로써 적응될 수 있다.

이것은 예를 들어 2D에서 인식된 헤드의 실제 3D 투사된 픽셀 데이터와 인간 머리의 선택된 형상을 모핑함으로써 매칭 프로세스의 정확도를 더 개선하는 것을 허가한다. 그것에 의해 인식의 견고성이 더 개선된다.

또한, 방법의 실시예는 복수의 이미지로부터 이미지의 이미지 인식 방법에 사용될 수 있어, 상기 이미지에 속하는 매칭된 속성의 상기 적어도 하나의 세트의 상기 매칭된 속성은 상기 각 참조 이미지에 관한 상기 적어도 하나의 인식된 객체에 관련된다.

또한, 매칭된 픽셀을 결정하는 방법의 실시예는 다른 시간 인스턴스에서 촬영된 비디오 시퀀스의 2개의 이미지들 사이에서 모션 벡터를 결정하는 방법에 사용될 수 있다.

제 1 변형에 있어서, 상기 방법은 제 1 항 내지 제 4 항 중 어느 한 항에 따른 제 1 비디오 시퀀스의 상기 다른 시간 인스턴스에서 촬영된 2개의 이미지들 사이에서 결정된 2차원 모션 벡터의 시작 픽셀에 대해서는 가장 빠른 시간 인스턴스에서 상기 2개의 이미지의 제 1 내에 매칭된 픽셀을 결정하는 단계를 포함하며, 상기 방법은 3차원 모션 벡터를 얻기 위해 상기 제 1 비디오 시퀀스의 상기 2차원 모션 벡터를 상기 3차원 공간에 투사하는 단계를 더 포함하며, 상기 3차원 모션 벡터는 상기 매칭된 픽셀의 3차원 투사에 적용됨으로써 상기 2개의 이미지의 제 2 이미지의 종료 픽셀에 더 역투사되는 대응 종점을 획득해서 상기 매칭된 픽셀 및 상기 종료 픽셀은 상기 비디오 시퀀스의 상기 2개의 이미지들 사이에서 상기 모션 벡터를 규정한다.

대안으로, 다른 시간 인스턴스에서 촬영된 비디오 시퀀스(비디오 2)의 2개의 이미지들 사이에서 모션 벡터를 결정하는 방법은 제 1 항 내지 제 4 항 중 어느 한 항에 따른 제 1 비디오 시퀀스의 상기 다른 시간 인스턴스에서 촬영된 2개의 이미지들 사이에서 결정된 2차원 모션 벡터의 시작 및 종료 픽셀에 대한 상기 2개의 이미지 내에 각 매칭된 픽셀을 결정하는 단계를 포함할 수 있음으로써, 상기 2개의 이미지들의 상기 각 매칭된 픽셀의 쌍은 상기 비디오 시퀀스의 상기 모션 벡터의 시작 및 종료 픽셀을 규정한다.

모션 벡터를 결정하며 수 개의 이미지들 사이에서 매칭된 픽셀을 결정하는 방법의 실시예를 포함하는 양쪽 대안은 종래의 2차원 블록 매칭 기술에 기초해서 모션 벡터를 계산하는 종래의 방식에 매우 유용한 대안을 제공할 수 있다.

특히 비디오 코딩 응용에 대해서는 이것은 모션 벡터 계산을 위한 처리 노력을 상당히 감소시키는 것을 허가한다.

또한, 본 발명은 본 방법의 실시예를 수행하는 장치, 방법의 실시예 중 어느 하나를 수행하도록 된 컴퓨터 프로그램 및 그러한 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능 저장 매체에 관한 것이다.

또한, 본 발명은 그러한 장치를 통합하기 위한 비디오 인코더 및 이미지 분석기에 관한 것이다.

청구범위에 사용되는 용어 '연결된'은 직접 연결에만 제한되는 것으로 해석되지 않아야 하는 것이 인지될 수 있다. 따라서, 표현 '장치 B에 연결된 장치 A'의 범위는 장치 A의 출력이 장치 B의 입력에 직접 연결되는 장치 또는 시스템에 제한되지 않아야 한다. 그것은 다른 장치 또는 수단을 포함하는 경로일 수 있는 A의 출력과 B의 입력 사이에 경로가 존재하는 것을 의미한다.

청구범위에 사용되는 용어 '포함하는'은 후에 리스트되는 수단에 제한되는 것으로 해석되지 않아야 하는 것이 인지되어야 한다. 따라서, 표현 '수단 A 및 B를 포함하는 장치'의 범위는 구성요소 A 및 B만으로 구성되는 장치에 제한되지 않아야 한다. 그것은 본 발명에 대하여 장치의 적절한 구성요소만이 A 및 B인 것을 의미한다.

본 발명의 상술한 그리고 다른 목적 및 특징은 더 명백해질 것이며 본 발명 그 자체는 첨부 도면과 병용되는 실시예의 이하의 설명을 참조함으로써 가장 좋게 이해될 것이다.
도 1은 본 발명의 하이 레벨 개략도를 도시한다.
도 2는 매칭된 픽셀 세트를 결정하기 위한 도 1의 방법의 실시예를 도시한다.
도 3a는 매칭된 객체 세트를 결정하기 위한 도 1의 방법의 실시예를 도시한다.
도 3b는 인간 객체를 식별하는데 특히 접합한 도 3a의 방법의 바람직한 실시예를 도시한다.
도 3c는 매칭된 객체 세트를 결정하기 위한 방법의 다른 변형 실시예를 도시한다.
도 4a는 이미지 2의 세그먼트화에 사용되는 도 3a의 방법의 응용을 도시한다.
도 4b는 인간 인식에 관한 이미지 2의 세그먼트화에 사용되는 도 3b에 도시된 방법의 응용을 도시한다.
도 5는 도 4b의 방법이 다른 측면으로부터 본 인간 얼굴을 나타내는 이미지에 어떻게 적용될 수 있는지를 개략적으로 도시한다.
도 6a는 모션 벡터를 결정하기 위한 도 2의 방법의 다른 응용을 도시한다.
도 6b는 모션 벡터를 결정하기 위한 도 6a에 도시된 실시예의 대안을 도시한다.
도 7a는 도 6a에 제시된 모션 벡터를 결정하기 위한 방법을 개략적으로 설명한다.
도 7b는 도 6b에 제시된 모션 벡터를 결정하기 위한 방법을 개략적으로 설명한다.

설명 및 도면은 본 발명의 원리만을 예시한다. 따라서, 당업자는 여기에 명시적으로 설명되거나 도시되지 않을지라도 본 발명의 원리를 구체화하며 그 정신 및 범위 내에 포함되는 각종 장치를 고안할 수 있는 것이 인식될 것이다. 게다가, 여기에 인용된 모든 예는 주로 독자가 본 발명의 원리 및 발명자에 의해 기술 촉진에 기여되는 개념을 이해하는 것을 원조하는 교육 목적만이 되도록 명백히 의도되며, 그렇게 구체적으로 인용된 예 및 조건에 대한 제한이 없도록 해석되어야 한다. 더욱이, 본 발명의 원리, 양상, 및 실시예뿐만 아니라, 그 특정 예를 여기서 인용하는 진술은 그 균등물을 포함하도록 의도된다.

여기서 어떤 블록도는 본 발명의 원리를 구체화하는 예시적 회로의 개념적인 관점을 나타내는 것이 당업자에 의해 인식되어야 한다. 유사하게도, 어떤 플로우차트, 흐름도, 상태 전이도, 의사 코드 등은 컴퓨터 판독가능 매체에 실질적으로 표현되며 따라서 컴퓨터 또는 프로세서에 의해 실행될 수 있는 각종 프로세스, 그러한 컴퓨터 또는 프로세서가 명시적으로 도시되는지의 여부를 나타내는 것이 인식될 것이다.

도 1은 복수의 이미지들 사이에서 매칭된 속성 세트를 결정하기 위한 방법의 하이 레벨 실시예를 도시한다. 도 1에서는 단지 2개의 이미지들(이미지 1 및 이미지 2)이 도시되지만, 2개 이상의 이미지 사이에서 매칭된 속성을 결정하기 위한 다른 실시예도 가능하다.

이 이미지들 또는 그들 중 일부는 이 문헌 도처에 3D로 간략화되며, 이미지1_3D 및 이미지2_3D 각각을 나타낸 3차원 이미지로 더 변환한다. 이것은 2차원으로 픽셀 정보, 및 또한 깊이 정보를 포함하는 이미지 표현에 대해 가능하다. 깊이는 예를 들어 한 쌍의 스테레오 이미지로 추출될 수 있는 파라미터이다. 이것은 이미지가 단일 카메라에 의해서만 캡처되는 경우에 어떤 알려진 전처리 기술을 포함한다. 또한, 이 깊이 정보는 비행 시간 카메라와 같은 소위 2D+Z 카메라를 사용함으로써 직접 획득될 수 있다. 2D 컬러 픽셀 데이터와 함께 이 깊이 정보를 사용함으로써 이미지 둘 다의 3D 표현은 2D 이미지 데이터를 3D 공간에 투사함으로써 생성될 수 있다.

통상, 단지 3D 투사 또는 표현은 다른 이미지의 매칭된 속성이 탐색될 수 있는 속성의 일부를 형성하거나 속성에 관련된 픽셀을 위해 요구된다. 예컨대, 자동차와 같은 객체를 나타내는 픽셀의 하나의 특정 그룹에 대한 하나의 매칭된 대응부만이 탐색되어야 한다면, 이 자동차에 속하는 픽셀만이 3D 공간에 투사될 필요가 있다. 또한, 매칭된 속성이 탐색될 수 있는 다른 이미지는 부분적으로 투사될 수 있으며, 예를 들어 제 1 이미지에서 이 자동차의 픽셀의 위치에 대응하거나 위치를 둘러싸는 부분만이 투사를 필요로 할 수 있다. 그러나, 다른 실시예에서 완성된 3D 이미지가 복수의 모든 2D 이미지로부터 재구성되는 것이 또한 가능하다. 모든 경우에 i가 각각의 이미지를 지시하는 이미지i_3D는 완성된 이미지 또는 이미지의 일부만의 3D 투사 둘 다를 지칭한다.

그러한 3D 표현이 획득되면, 대응 요소는 이 3D 공간 내에서 탐색될 수 있다. 하나의 가능성은 3D 투사들 사이의 대응 픽셀이 결정될 수 있는 경우에 예를 들어 투사된 픽셀 주위의 심플 볼륨의 볼륨 매칭에 대한 블록 매칭을 위해 2D에 사용되는 방법을 외삽하는 것이다. 이것은 3D 공간 내에서 대응 또는 매칭 픽셀을 탐색하기 위한 하나의 가능성을 나타낼지라도, 더 간단한 방법은 하나의 3D 이미지만, 예를 들어 이미지1_3D의 픽셀 주위에 심플 볼륨만을 사용한 다음, 이미지2_3D의 투사된 픽셀이 이 볼륨 내에 포함되는지를 단순히 검사하는 것을 포함한다.

이 실시예는 도 2를 참조하여 상세히 더 설명될 것이다.

3D 공간에서 결정될 대응 요소는 픽셀일 수 있지만, 예를 들어 이전에 언급된 예에서 자동차와 같은 픽셀 세트를 구비한 인식된 객체 또는 구조를 또한 포함할 수 있거나, 인식된 사람의 성명 또는 인식된 자동차의 타입과 같은 그러한 픽셀 세트에 관련된 일부 다른 메타데이터를 포함할 수 있다. 2D 이미지에서 그러한 매칭된 객체를 탐색하는 것은 이 때 2D 이미지들 또는 그들 중 일부를 3D 공간에 투사함으로써 그리고 이 3D 공간에서 대응 투사된 객체 볼륨을 탐색함으로써 다시 수행될 수 있다. 이것은 투사된 볼륨의 제 1 추측으로부터 시작되는 어떤 반복 프로세스에 의해 그리고 어떤 메트릭을 사용하여 그들 사이에서 가장 좋은 매치를 탐색함으로써 행해질 수 있다. 대안의 간단한 방법은 도 3a 내지 3c에 관하여 상세히 더 설명될 것이다.

그러한 대응 요소 세트가 3D에서 결정되면, 2D 공간에 대한 대응 3D 요소의 대응 픽셀의 재계산이 수행될 것이다. 이것은 이 때 2D에서 2개의 이미지들 사이의 매칭된 속성 세트를 제공할 것이다. 이전에 언급된 바와 같이, 그러한 매칭된 속성 세트는 매칭된 픽셀 세트, 또는 픽셀 그룹 세트인 매칭된 구조 세트, 또는 매칭된 객체 세트일 수 있으며, 각각의 매칭된 객체는 양쪽 이미지의 픽셀 그룹에 의해 다시 표현된다.

매칭된 픽셀이 탐색되는 경우에, 매우 간단한 방법은 도 2에 도시되어 있다. 통상의 경우에서와 같이 양쪽 이미지의 일부가 3D 공간에 투사되어, 이미지1_3D 및 이미지2_3D에 의해 표시되는 3D 표현이 될 수 있다. 하나의 이미지의 하나의 특정 픽셀에 대한 다른 이미지의 매칭된 픽셀이 탐색되는 경우에, 이러한 단지 하나의 특정 픽셀은 이미지1_3D가 이러한 단일 투사된 픽셀만을 포함하도록 3D 공간에 투사될 수 있다. 이것은 도 2에 도시된 실시예에 나타내어져 있다. 양쪽 이미지가 유사한 것으로 알려져 있으면, 그 특정 픽셀 주위 또는 근처의 위치에 놓여진 다른 이미지의 소수의 픽셀만이 투사될 필요가 있다. 이 지식이 이용가능하지 않은 경우에, 모든 다른 이미지의 모든 픽셀은 이미지2_3D를 생성하기 위해 3D에 투사될 필요가 있을 수 있다.

다른 이미지의 어떤 매칭된 픽셀이 결정될 수 있는 특정 픽셀에 대해서는, 임의 심플 볼륨이 그 3D 투사 주위에 구성되거나 생성될 것이다. 다른 이미지의 다른 픽셀의 3D 표현이 이 볼륨의 일부를 형성하는지를 검사함으로써, 다른 이미지의 다른 픽셀이 매치되는지의 여부가 결정될 수 있다.

이것은 참조의 각 투사된 픽셀 주위의 이 볼륨의 사이즈 및 형상에 따라 수 개의 3D 대응 픽셀 세트를 발생시킬 수 있을지라도, 그 이상의 정제는 예컨대 참조 픽셀의 투사에 대한 거리를 고려함으로써 가장 적절한 대응 3D 픽셀을 식별하기 위해 수행될 수 있다. 이 정제는 도 2에 도시되어 있지 않다.

대응 3D 픽셀을 식별하기 위해, 매칭 후보가 탐색될 수 있는 3D 투사된 픽셀의 심플 볼륨은 타원체, 또는 구체, 또는 입방체, 또는 빔, 또는 어떤 다른 볼륨체일 수 있다. 구체 또는 입방체가 매우 심플한 볼륨을 나타내서, 계산 자원을 제한할지라도, 다른 축 치수를 갖는 볼륨의 사용은 매치 정확도 그 자체에 관한 장점을 가질 수 있다. 이것은 예를 들어 2D의 스테레오스코픽 이미지 쌍에 흥미가 있을 수 있다. 이 이미지에 대해서는, 3D 투사에 요구되는 깊이 파라미터는 통상 종래의 방법을 통해 계산된다. 그러나, 계산된 깊이의 정확도는 깊이 값 그 자체에 역 비례하므로, 이미지에 걸쳐 깊이 값을 변경하기 위해, 변하는 치수를 갖는 타원체를 사용하는 것은 3D 공간에서 대응 픽셀 또는 요소의 결정을 위한 정확도를 더 증가시키는데 조력할 수 있다.

그러한 대응 픽셀이 다른 이미지의 3D 투사에서, 이 경우에 이미지2_3D에서만 발견되면, 이 대응 3D 투사된 픽셀은 원래의 2D 이미지에서 픽셀의 위치를 나타내기 위해 다시 계산되어, 원래의 이미지에 대한 2D의 매칭된 픽셀 세트가 될 것이다. 수 개의 매칭 픽셀이 다른 이미지 중 하나 이상 내에서 발견되는 경우에, 그것은 물론 3D 투사된 픽셀 주위의 볼륨체의 치수가 매우 큰 경우에 가능하며, 어떤 다른 반복 또는 정제 계산은 선택된 볼륨체의 치수를 적합하게 함으로써 수행될 수 있거나, 대안으로 3D 투사된 이미지 내의 대응 3D 픽셀 중 하나는 매치가 발견될 수 있는 참조 이미지의 3D 픽셀과 3D 투사된 픽셀 사이에서 3D 공간의 계산된 거리와 같은 어떤 메트릭에 기초해서 선택될 수 있다. 참조 이미지의 3D 투사된 픽셀에 대하여 가장 작은 3D 거리를 갖는 3D 투사된 이미지의 3D 픽셀은 이 때 3D에서 가장 좋은 매치로서 선택되어, 이것은 3D에서 대응 요소로서 선택될 것이다. 그 다음, 이것은 2D에서 원래의 이미지에 대해 다시 계산될 것이다.

도 3a는 2개의 이미지들 사이에서 매칭된 객체를 식별하기 위한 방법의 실시예를 도시한다. 객체는 자동화된 객체 인식 기술을 사용함으로써, 또는 인간 인식에 의해 2D 이미지 상에서 식별될 수 있다. 일반적으로, 하나의 이미지, 통상 객체 인식을 수행하기 위한 복수가 가장 쉬워지도록 초기 단계에 결정된 것이 선택된다. 그러나, 나중의 단락에 상세히 더 설명되는 바와 같이, 이미지 인식이 수행될 더 많은 참조 이미지를 선택하는 것도 가능하다. 이미지 인식을 수행하기 위한 참조 이미지의 결정 또는 선택은 인간 사용자에 의해 다시 수행되었거나, 제 1 결과의 분석 전에 그러한 종래의 이미지 인식 기술을 사용하여 모든 이미지의 제 1 스캔에 의해 다시 자동적으로 수행될 수 있었다. 어떤 종래의 인식 기술은 제한된 수의 특징만을 포함함으로써, 또는 데이터 상에 분석을 제한함으로써 코어스(coarse) 인식을 허용한다. 그러한 빠른 초기 코어스 인식을 객체의 인식의 질을 나타내는 메트릭이 되는 복수의 이미지 상에 수행함으로써, 완전한 인식 단계를 행하는 이미지의 선택이 이루어질 수 있다.

사전 선택은 도 3a에 도시되어 있지 않으며, 그 도면은 이미지 1이 2D에서 객체 인식 절차를 시행하기 위해 선택된 것을 더 나타낸다. 이 객체 인식 단계 후에, 인식된 객체들 중 하나는 다른 이미지에서 매칭된 객체를 더 탐색하기 위해 선택된다. 그러므로, 이미지 1 상에서 이 객체에 속하는 픽셀은 3D 공간에 투사되어, 이미지1_3D가 된다. 대안으로, 이미지 1의 모든 픽셀은 3D 공간에 투사될 수 있으며, 이 객체에 속하는 픽셀은 이 이미지1_3D에서 특히 식별될 것이다. 동시에, 또한 이미지2_3D는 이미지 2의 픽셀의 모두 또는 일부를 3D 공간에 투사함으로써 생성된다.

인식된 객체에 대한 매칭된 객체를 발견하기 위해, 제 1 가능성은 이 객체의 모든 픽셀에 대한 매칭된 픽셀을 탐색하는 것을 포함한다. 이런 취지로 나중의 단락에서 논의될 수 개의 선택이 이용가능하다. 이 매칭된 픽셀이 발견되면, 이 매칭된 픽셀을 포함하는 픽셀 그룹은 이 때 다른 이미지의 매칭된 객체로서 간주된다. 어떤 실시예에 있어서, 어떤 다른 후처리는 매칭된 객체 세트를 더 사용할 응용에 따라 획득되는 매칭된 객체 세트에 요구될 수 있다. 이 후처리는 예를 들어 노이즈를 더 제거하는데 흥미가 있을 수 있다.

이미지 2의 픽셀 그룹이 이미지 1의 선택된 또는 식별된 객체와 매칭된 객체를 형성하는지를 검사하기 위해, 픽셀 바이 픽셀 접근법은 객체를 구성하는 모든 픽셀에 대한 매칭 픽셀을 식별할 작정으로 이미지1_3D의 3D 투사된 객체의 모든 투사된 픽셀 주위에 임의 볼륨을 다시 형성함으로써 적용될 수 있다. 이것은 상술한 타원체 또는 구체 또는 입방체를 사용함으로써 다시 행해질 수 있다. 이어서, 그것이 이 볼륨의 윤곽 내에 포함되는지가 이미지2_3D의 각 픽셀에 대해 검사되며, 그렇게 하는 픽셀은 이 때 3D에서 대응 객체에 속하는 대응 픽셀로서 간주된다.

대안으로, 이미지1_3D의 3D 객체의 모든 투사된 픽셀을 둘러싸는 하나의 큰 볼륨(VO), 또는 각 픽셀 주위에 타원체와 같은 개별적인 작은 볼륨을 싸는 볼륨, 또는 둘 다의 혼합이 생성될 수 있다. 그러한 볼륨(VO)이 선택 또는 발생되면, 이미지2_3D의 투사된 픽셀이 이 임의 볼륨(VO)의 윤곽 내에 있거나 포함되는지가 판단된다. 그 다음, 이 볼륨(VO)의 윤곽 내에 포함되는 이미지2_3D의 모든 투사된 픽셀은 3D에서 대응 객체에 속하는 것으로서 식별되고, 그 이미지 2의 위치가 역계산될 것이며, 그것에 따라 이미지 2의 매칭된 객체는 2D 도메인에 대한 이 3D 픽셀 그룹의 역계산으로서 획득된다.

어떤 실시예에 있어서, 볼륨체는 단지 객체의 3D 투사 그 자체에 의해 형성되는 바디일 수 있다.

다른 실시예에 있어서, 3D 객체는 볼륨체에 의해 근사된다. 이것은 예를 들어 객체의 형태가 인식 프로세스로부터 알려져 있는 경우에 적당하며, 그 경우에 3D 투사된 객체에 근사시키는 일반적 볼륨이 사용될 수 있다. 예를 들어, 인식된 객체가 랩톱에 관계가 있는 것으로 알려져 있으면, 어떤 빔 형상 볼륨은 3D 공간에서 이 랩톱을 나타내기 위해 선택될 수 있다. 유사하게도, 객체가 볼에 관계가 있는 것으로 알려져 있으면, 구체는 이 볼을 나타내기 위해 사용될 수 있다. 그러므로, 이 볼륨 객체는 3D에서 인식된 객체의 형상과 닮은 알려진 볼륨의 라이브러리로부터 선택될 수도 있다. 이 기본적 볼륨 또는 형상은 예를 들어 투사된 볼에 근사시키기 위해 선택된 구체의 반경 및 중심점을 접합하게 함으로써 선택되며, 객체에 선택적으로 더 일치될 수 있다. 어떤 실시예는 볼륨의 어떤 치수의 적합화를 통해 약간 코어스한 근사 및 일치를 적용할지라도, 더 복잡한 실시예에 있어서, 이 볼륨의 모폴로지(morphology) 또는 형태는 가능한 한 유사한 3D 투사된 객체에 닮기 위해 심지어 더 일치될 수 있다. 이것은 예컨대 인식된 인간 머리에 대한 경우일 수 있다. 이 경우에, 인간 머리의 형상을 갖는 어떤 모폴로지 볼륨이 선택되며, 더 미세 동조되거나, 다른 실시예에 있어서 3D 공간에 심지어 생성됨으로써 이 머리의 3D 투사된 픽셀에 의해 생성되는 엔벨로프 볼륨을 일치시킬 수 있다. 이것은 도 3b에 도시되어 있다. 이미지2_3D로부터의 픽셀이 이 모폴로지 볼륨의 일부를 형성하는지를 검사하며, 따라서 그것이 이 볼륨의 윤곽 내에 포함되는지를 검사함으로써, 그리고 그것을 2D 공간에 역계산함으로써, 인간 얼굴 인식을 수행하는 매우 쉬운 방법은 이 머리의 뒤만을 도시한 이미지 상에 심지어 행해질 수 있다. 이것은 도 5를 논의할 때 더 예시될 것이다.

모폴로지 일치 볼륨의 생성은 인간 머리에 대해서뿐만 아니라 객체의 모든 타입에 대해서도 수행될 수 있다.

다른 실시예에 있어서, 수 개의 참조 이미지는 단지 하나 대신에 선택된다. 그 다음, 이미지 인식은 인식의 정확도를 증가시키기 위해 모든 이 참조 이미지 상에 수행된다. 이것은 예컨대 또한 좌측, 우측, 및 뒤측으로부터 취해진 인간 머리의 3개의 뷰 또는 이미지에 대한 경우이다. 사람의 식별을 수반하는 이미지 인식은 뒤측으로부터 취해진 뷰 상에 수행될 수 없으므로, 좌측 및 우측만이 사용될 수 있다. 이 뷰가 단독으로 좋은 인식에 다시 충분하지 않으므로, 좌 및 우 뷰 둘 다는 이 때 이미지 인식이 수행되는 참조 뷰로서 선택된다. 이어서, 그 중 둘 다는 3D 공간에 투사될 것이며 투사된 객체의 투사는 이 때 다른 3D 투사된 이미지의 대응 요소가 결정될 수 있는 하나의 3D 인식된 객체 또는 요소로 합병될 것이다. 이 대응 3D 객체를 탐색하기 위해, 다른 3D 투사된 이미지의 3D 투사의 픽셀이 3D 인식된 객체에 근사시키는 볼륨체의 윤곽 내에 있거나 포함되는지가 다시 검사될 수 있다. 이 픽셀이 발견되면, 그것은 대응 2D 이미지에 역계산되어, 뒤측으로부터 취해진 이미지 상에 인간 머리의 인식을 개시한다.

또 다른 실시예에 있어서, 객체 인식은 2차원 공간에서 수행되는 것이 아니라, 공간에 직접 수행된다. 그 다음, 하나 이상의 선택된 참조 이미지가 3D 공간에 다시 투사될 수 있으며, 그 단계에 따라 이미지 인식은 3D에서 수행된다. 이것을 행하기 위한 기술은 당업자에게 알려져 있으며 3D 특징점 또는 형상을 발견하는 것 및 그것이 인식되고 있는 객체의 실행 가능 모델로 결합되는지를 가정하는 것을 포함할 수 있다.

또한, 이 경우에 하나 이상의 참조 투사가 2D 경우에 대한 것과 동일한 이유로 사용될 수 있다. 3D 투사된 참조 이미지의 참조 객체가 식별되면, 다른 이미지의 3D 투사의 대응 객체는 예를 들어 바디 볼륨을 갖는 3D에서 단일 또는 식별된 객체 세트에 근사시킴으로써 탐색되므로, 그것은 이 객체의 3D 투사 그 자체만일 수 있으며, 그 단계에 따라 이 바디 볼륨의 윤곽 내에 있는 다른 이미지의 투사의 픽셀이 결정된다. 3D에서 기준에 따르는 픽셀에 대해서는, 참조 이미지를 포함하는 2D 원래의 이미지의 역계산은 예컨대 원래의 2D 이미지에서 매칭된 객체를 식별하기 위해 수행될 것이다. 도 3c는 이미지 인식이 이미지 1의 3D 투사에 대해 3D 공간에서 수행되는 이 변형의 실시예를 도시한다.

도 4a는 세그먼트된 이미지를 생성하기 위해 사용되는 방법의 실시예의 제 1 응용을 도시한다. 그것은 기본적으로 도 3a에 도시된 것과 동일한 단계를 도시하지만, 이 경우에 전체 이미지 1은 수 개의 객체로 세그먼트된다. 이미지 1의 인식된 객체 각각에 대해서는, 만약 있다면 이미지 2의 매칭된 객체가 결정되며, 그것은 이 때 인식된 객체에 관련된다. 이와 같이 이미지 2의 완성된 세그먼트화는 상술한 방법의 실시예를 사용하여 세그먼트된 이미지 및 객체 매칭에 기초해서만 획득될 것이다. 도 4b는 세그먼트된 이미지 1이 얼굴과 같은 인식된 인간 객체를 포함하는 경우에 대한 이 응용을 도시한다. 인간 객체를 매칭하는 것은 이미지 2에서 식별되어, 다시 이미지 2의 세그먼트화가 된다. 물론, 양 방법의 조합은 통상 화상이 인간 및 비인간 객체의 혼합을 포함하므로 또한 가능하다.

이 접근법을 사용함으로써, 전체 복수의 이미지의 세그먼트화는 예를 들면 하나의 단일 세그먼트된 이미지, 통상 패턴 인식을 수행하기 위해 이용가능한 가장 좋은 이미지로서 선택된 것으로부터 획득될 수 있다. 이 선택된 이미지에서 인식된 객체에 대한 3D 공간 내에서 대응 요소를 탐색함으로써, 상술한 3D 기술을 사용하여 원래의 2D 공간에서 다른 이미지의 대응 객체를 결정함으로써, 그리고 동일하게 인식된 객체를 다른 이미지의 매칭된 객체에 관련시킴으로써, 매우 간단하고, 게다가 매우 강력한 매칭 및 세그먼트화 기술이 획득된다.

도 5는 동일한 사람으로부터이지만, 180도 다른 각도에서 촬영된 2개의 이미지의 매우 간단한 예에 의해 이것을 더 도시한다. 원래의 2D 화상 둘 다는 각각 단계 (a) 및 (b)로 도시되어 있다. 얼굴 인식이 이미지 1 상에서 가능하여, 그것은 단계 (c)에서 세그먼트된 이미지 1이 된다. 이미지 2 상의 충분한 식별 특징의 결핍으로 인해, 이 동일한 사람은 최신 방법을 통해 제 2 이미지 2 상에 인식될 수 없다. 그러나, 방법의 실시예, 예를 들어 도 3b에 도시된 것을 사용함으로써, 인식된 사람의 머리와 닯은 모폴로지 볼륨은 인식된 "John Doe"의 3D 투사에서 생성될 수 있으며, 이 3D 볼륨 내에 있는 이미지2_3D의 픽셀은 이 때 3D에서 매칭 "John Doe" 객체에 속하는 것으로서 또한 식별될 것이다. 이미지2_3D의 대응 "John Doe"의 대응 3D 픽셀을 이미지 2로 역계산함으로써, 이미지 2의 "John Doe"의 인식 및 수반하는 세그먼트화가 획득될 수 있다. 이것은 단계 (d)에 나타낸다.

수 개의 이미지들 사이에서 매칭을 결정하기 위해 설명되는 방법은 모션 벡터를 하나의 비디오 시퀀스로부터 하나 또는 수 개의 다른 비디오 시퀀스로 결정하기 위한 응용에 더 사용될 수 있다.

모션 벡터는 비디오 코딩 응용에 대해 대부분 사용되며, 그 문맥에서 그것은 오프셋을 원래의 또는 디코드된 화상의 좌표로부터 참조 화상의 좌표로 제공하는 인터 예측에 사용되는 2차원 벡터를 나타낸다. 그러한 2차원 모션 벡터의 결정은 매칭 픽셀 또는 픽셀 블록을 참조 이미지를 위한 픽셀 또는 픽셀 블록에 제공하기 위해 이 이미지의 일부를 특정 시간 인스턴스에 트래버스(traverse)하는 블록 기반 상관 방법을 사용함으로써 행해질 수 있다. 그것에 의해 모션 벡터는 이미지의 픽셀의 현재 블록의 위치와 참조 이미지의 동일 사이즈 및 치수 및 방위의 가장 좋은 매칭 블록의 위치 사이의 픽셀 거리로서 계산된다.

그러나, 모션 벡터는 단순한 비디오 코딩 응용을 능가하는 목적에 사용될 수 있다. 이 응용 중 하나는 모션 벡터가 비디오 시퀀스의 도처에서 중요한 객체를 따르기 위해 사용될 수 있는 트래킹을 포함한다. 이 중요한 객체를 식별한 후 그것은 시간에 걸쳐 이 중요한 객체를 추적하기 위해 비디오 시퀀스에서 모션 벡터를 사용할 수 있다.

우리가 용어 "모션 벡터"를 그 가장 일반적인 방식으로 사용하는 이 특허 출원에서, 그 정의는 따라서 비디오 시퀀스의 특정 시간 인스턴스에 촬영된 하나의 프레임 또는 이미지의 특정 픽셀 또는 블록의 픽셀 위치와, 다른 특정 시간 인스턴스에서 촬영된 이 비디어 시퀀스의 다른 프레임 또는 이미지의 가장 좋은 매칭 픽셀 또는 블록 사이에서 시프트를 결정하는 2차원 벡터를 의미한다.

그러므로, 2개의 이미지들 사이의 그러한 모션 벡터의 종래의 결정은 각 이미지로부터의 한 쌍의 가장 좋은 매칭 픽셀들 또는 픽셀 블록들, 하나의 픽셀 또는 픽셀 블록의 식별을 의미한다.

그러한 모션 벡터를 새로운 대안 방식으로 결정하기 위한 제 1 실시예는 도 6a에 설명되어 있다. 이 도면은 2개의 비디오 시퀀스, 비디오 1 및 비디오 2를 도시하며, 그 중에서 2개의 특정 프레임만이 2개의 특정 시간 인스턴스(t 및 t-1)에 도시된다. 물론, 비디오 시퀀스 둘 다는 통상 2개보다 훨씬 더 많은 프레임을 포함하지만 그 대신에 시간 인스턴스의 시퀀스에서 촬영된 일련의 이미지 또는 프레임을 포함한다. 도면을 오버로드하지 않기 위해 그 중 2개만이 도시된다: 이미지11(t-1) 및 이미지12(t)는 각 시간 인스턴스(t-1 및 t)에서 비디오 1로부터의 프레임이며, 이미지21(t-1) 및 이미지22(t)는 동일한 각 시간 인스턴스(t-1 및 t)에서 비디오 2로부터의 프레임이다.

비디오 시퀀스 중 하나는 이미지 상에 모션 벡터의 종래의 2D 결정을 수행하기 위해 선택된다. 도 6a에서, 비디오 1은 종래의 2D 모션 벡터 계산을 위해 선택되며, 그것은 예를 들면 이미지11(t-1) 및 이미지12(t)에 기초한다. 이전 단락에 설명된 바와 같이, 이것은 이미지 11과 이미지 12 사이의 매칭된 픽셀 쌍의 계산을 의미한다. 이미지 둘 다의 모션 벡터 픽셀 쌍의 픽셀 둘 다에 대해서는, 3D 공간의 투사된 픽셀은 이 때 단계 (a) 및 (b)에 도시된 바와 같이 계산됨으로써, 단계 (e)에 도시된 바와 같이 픽셀 쌍에 대한 3D 모션 벡터를 야기한다.

동시에, 매칭된 픽셀은 t-1에서 둘 다 촬영된 이미지 쌍 이미지 11과 이미지 21 사이의 이전 실시예에 대해 설명된 바와 같이 이미지11(t-1) 및 이미지21(t-1)의 3D 투사에 의해 또한 결정된다. 이미지21(t-1)의 3D 투사는 단계 (c)에 도시되어 있다. 3D에서 대응 픽셀의 결정은 단계 (d)에서 수행된다. 이 결정은 예를 들어 투사된 이미지 중 하나에 대한 픽셀 주위에 위치된 타원체 또는 다른 볼륨을 이용하는 상술한 기술을 사용하여 행해질 수 있다. 이 계산은 t-1에서 2개의 투사된 이미지 이미지11_3D와 이미지2_3D1 사이의 대응 픽셀 세트를 야기한다.

한편, 비디오 1의 하나 이상의 3D 모션 벡터에 대한 시작 및 종료 픽셀 값이 또한 결정된다. 이제 두 세트를 조합하는 것에, 비디오 1을 결정된 3D 모션 벡터 변환을, 3D 모션 벡터의 이미지11_3D의 시작 픽셀에 대한 이미지21_3D의 대응 픽셀에 적용함으로써, 이미지22(t)의 3D 투사에 대한 대응 모션 벡터의 종점이 획득된다. 이것은 원래의 이미지22(t)에 역계산될 수 있다. 모든 이러한 것은 단계 (f)에 반영된다.

도 7a는 이것을 개략적으로 도시한다. 이 도면은 비디오 1의 이미지(이미지 11 및 이미지 12)의 투사를 좌측에 도시하며, 그 투사는 단계 (a) 및 (b)에서 이미지11_3D(t-1) 및 이미지12_3D(t)로 각각 표시된다. 3D 모션 벡터(mv1)가 또한 도시되며 초기에 결정된 2D 모션 벡터에 관한 픽셀 쌍의 3D 투사를 결합하고 있는 3D 벡터로서 획득된다. 이 2D 모션 벡터 픽셀은 이미지 11로부터의 p11(t-1) 및 이미지12로부터의 p12(t)로 표시되며, 그 3D 투사는 p11_3D(t-1) 및 p12_3D(t)로 각각 표시된다. 그것에 의해 mv1은 단계 (e)에서 투사된 픽셀 둘 다를 링크하는 3D 모션 벡터를 표시한다. 이 도면의 우측은 이미지21(t-1)의 3D 투사를 도시하며, 그 투사는 단계 (c)에서 이미지21_3D(t-1)로 표시된다. 이 3D 투사는 p21_3D(t-1)인 다른 3D 투사된 픽셀을 도시하며, 그것은 매칭 픽셀의 탐색에 대해 설명된 바와 같이 방법의 일부를 사용함으로써 픽셀 p12_3D(t-1)에 대한 3D 도메인에서 대응 픽셀로서 획득된다. 이 결정의 결과는 단계 (d)에 의해 도시된다.

또한, 이러한 도 7a는 이미지22(t)의 3D 투사를 도시한다. 이 3D 투사는 3D 투사가 본 실시예에서 3D 모션 벡터(mv2)의 계산에 요구되지 않으므로 설명의 이유만을 위해 도시된다. 실제로, 본 실시예에서 mv2가 mv1과 같은 것으로 가정된다. 이것은 단계 (f)에 의해 표시된다. 그러므로, 동일한 3D 모션 벡터(mv2 = mv1)는 시점으로서 p21_3D(t-1)에 적용되며, 그것은 3D 종점으로서 p22_3D(t)를 야기한다.

그 다음, 이미지(이미지21(t-1)_3D 및 이미지22(t)_3D)의 3D 투사에서의 3D 모션 벡터의 종점이 결정되면, 이것은 원래의 이미지(이미지21(t-1) 및 이미지22(t)) 각각에 역계산된다. 이것은 이 비디오 시퀀스 상에 완전한 모션 벡터 추정 단계를 하지 않고 비디오 2를 위해 계산되는 2D 모션 벡터가 된다. 따라서, 이 방법은 이미지 인식, 이미지 세그먼트화, 스테레오 매칭, 트래킹 등과 같은 다수의 이미지 처리 기술의 비디오 인코딩 및 최적화에 사용될 수 있는 모션 벡터를 갖는 염가의 방법을 제공한다. 모션 벡터의 3D 종점으로부터 원래의 2D 이미지22(t)로의 역계산 동안, 깊이 파라미터가 발생되는 것에 주목될 수 한다. 이 깊이 파라미터가 이미지22(t)로부터의 실제 측정되거나 입체적으로 획득된 깊이가 아닐지라도, 그것은 이미지11(t-1), 이미지12(t) 및 이미지21(t-1)의 깊이에 기초한 추정치이며, 그것은 이미지의 3D 투사를 계산하기 위해 사용된다. 어쨌든, 이 깊이 파라미터는 예를 들어 스테레오스코픽 이미지 분석에 기초해서 더 종래의 방법을 사용하여 이 깊이 파라미터의 값의 추가 미세 동조 동안 예를 들어 시점으로서 사용될 수 있는 이미 좋은 추정치이다.

도 6b 및 7b는 그러한 2D 모션 벡터를 결정하기 위한 다른 변형 방법을 도시한다. 단계 (a), (b), (c) 및 (d)는 도 6a 및 7a에 도시된 것과 유사하므로, 그 설명은 반복되지 않을 것이다. 그러나, 도 6a 및 7a의 변형과 대조적으로, 이 실시예는 이미지22(t)에 대한 깊이 파라미터를 사용하므로, 그것은 이미지22_3D(t)로 표시된 이 이미지의 3D 투사를 생성하는 것을 허가한다. 이것은 단계 (e)에서 행해진다.

그 다음, 이것은 이미지12_3D(t)의 3D 모션 벡터의 종점(p12_3D(t))에 대한 이미지22_3D(t)의 대응 픽셀을 결정하는 것을 허가한다. 이 대응 픽셀은 p22_3D(t)로 표시되며, 그 결정은 단계 (f)에 도시되어 있다. 이와 같이 비디오 2의 3D 모션 벡터(mv2)에 대한 시점 및 종점이 획득된 다음, 이것은 2D에서 원래의 이미지에 역계산될 수 있음으로써, 그것은 비디오 2의 대응 2D 모션 벡터를 야기한다.

제 2 변형 방법을 사용함으로써 획득되는 모션 벡터는 설명된 제 1 변형 방법에 의해 획득되는 것과 비교해서 더 정확할 수 있는 것에 주목될 수 있다. 그러나, 이 고정확도는 이미지22(t)의 3D 투사가 생성될 수 있으므로 더 많은 처리 노력의 대가로 획득되며, 그 자체는 깊이 값의 이용가능성에 의존한다. 이것이 이용가능하지 않은 경우에, 또는 처리 효율이 더 제한적인 경계 조건을 나타내는 경우에, 설명된 제 1 변형이 바람직할 수 있다.

본 발명의 원리가 특정 장치와 관련하여 앞서 설명되었을지라도, 이 설명은 첨부된 청구범위에 정의된 바와 같이 예로서만 이루어지며 본 발명의 범위에 대한 제한으로서 이루어지지 않는 것이 분명히 이해되어야 한다.

Claims

복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하는 방법으로서,
상기 복수의 이미지의 적어도 일부를 3차원 공간에 투사함으로써 복수의 3차원 투사 이미지를 생성하는 단계와,
상기 복수의 3차원 투사 이미지의 3차원으로 투사된 이미지 내에서 대응 3차원 요소의 적어도 하나의 세트를 탐색하는 단계와,
상기 적어도 하나의 세트 중의 상기 대응 3차원 요소를 상기 복수의 이미지 내의 대응 2차원 속성으로 역산하는(calculating back) 단계와,
상기 복수의 이미지 내의 상기 대응 2차원 속성을 상기 매칭된 속성의 적어도 하나의 세트로서 제공하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 복수의 이미지 중 하나의 이미지를 참조 이미지로서 선택하는 단계와,
상기 참조 이미지에 대한 속성을 식별하는 단계와,
상기 참조 이미지에 대한 속성의 3차원 투사를 상기 대응 3차원 요소의 적어도 하나의 세트의 3차원 요소로서 식별하는 단계를 더 포함하고,
상기 복수의 이미지 중 다른 이미지의 상기 3차원 투사 이미지에서 적어도 하나의 대응 3차원 요소가 탐색되는
방법.
제 2 항에 있어서,
상기 참조 이미지에 대한 속성은 픽셀을 포함하며, 상기 적어도 하나의 대응 3차원 요소는 상기 픽셀의 상기 3차원 투사의 주위에 볼륨체(volume body)를 형성함으로써 탐색되어 상기 볼륨체의 윤곽 내에 있는 상기 복수의 이미지 중 다른 이미지의 상기 3차원 투사 이미지의 투사 픽셀이 상기 픽셀의 상기 3차원 투사에 대한 대응 3차원 요소로서 식별되는
방법.
제 3 항에 있어서,
상기 볼륨체는 상기 픽셀의 상기 3차원 투사 주위에 중심을 둔 타원체인
방법.
제 1 항에 있어서,
상기 대응 3차원 요소의 적어도 하나의 세트의 요소는 상기 복수의 이미지로부터 선택된 각 참조 이미지의 하나 이상의 3차원 투사로부터 획득되는 적어도 하나의 투사된 3차원 객체를 포함하며,
대응 3차원 요소는 상기 복수의 이미지의 다른 투사 이미지로부터 픽셀의 3차원 투사의 그룹으로서 결정되고, 상기 픽셀의 3차원 투사는 상기 적어도 하나의 투사된 3차원 객체에 근사시키는 볼륨체의 윤곽 내에 있으며,
상기 매칭된 속성의 적어도 하나의 세트는 2차원 도메인에서 원래의 이미지에 대한 상기 그룹 및 상기 적어도 하나의 투사된 3차원 객체의 역산에 의해 획득되는
방법.
제 5 항에 있어서,
상기 적어도 하나의 투사된 3차원 객체에 상기 각 참조 이미지에 관한 적어도 하나의 인식된 객체가 관련되도록 상기 각 참조 이미지에 관한 2차원 이미지 인식의 단계를 더 포함하는
방법.
제 5 항에 있어서,
상기 적어도 하나의 투사된 3차원 객체에 3차원 이미지 인식에서 발생되는 적어도 하나의 인식된 객체가 관련되도록, 상기 각 참조 이미지의 하나 이상의 3D 투사에 관한 상기 3차원 이미지 인식의 단계를 더 포함하는
방법.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 볼륨체는 상기 적어도 하나의 투사된 3차원 객체에 관련된 볼륨 모델 세트로부터 선택되는
방법.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 볼륨체를 상기 적어도 하나의 투사된 3차원 객체에 맞춤(fitting)으로써 상기 볼륨체를 조정하는 단계를 더 포함하는
방법.
복수의 이미지로부터 하나의 이미지의 이미지 인식 방법으로서,
제 6 항 또는 제 7 항에 기재된 단계들을 포함하고,
상기 이미지에 관련되어 있으며 상기 매칭된 속성의 적어도 하나의 세트의 상기 매칭된 속성은 상기 각 참조 이미지에 관한 상기 적어도 하나의 인식된 객체에 관련되는
방법.
다른 시간 인스턴스에서 촬영된 비디오 시퀀스의 2개의 이미지들 사이에서 모션 벡터(motion vector)를 결정하는 방법으로서,
제 1 항 내지 제 4 항 중 어느 한 항에 따라 제 1 비디오 시퀀스의 상기 다른 시간 인스턴스에서 촬영된 2개의 이미지들 사이에서 결정된 2차원 모션 벡터의 시작 픽셀에 대해서는 가장 빠른 시간 인스턴스에서 상기 2개의 이미지들 중 제 1 이미지 내에 매칭된 픽셀을 결정하는 단계와,
3차원 모션 벡터를 얻기 위해 상기 제 1 비디오 시퀀스의 상기 2차원 모션 벡터를 상기 3차원 공간에 투사하는 단계를 포함하고,
상기 3차원 모션 벡터는 상기 매칭된 픽셀의 3차원 투사에 적용됨으로써 상기 2개의 이미지들 중 제 2 이미지 내의 종료 픽셀에 다시 반대로 투사되는 대응 종점(end point)을 획득해서 상기 매칭된 픽셀 및 상기 종료 픽셀은 상기 비디오 시퀀스의 상기 2개의 이미지들 사이에서 상기 모션 벡터를 정의하는
방법.
다른 시간 인스턴스에서 촬영된 비디오 시퀀스의 2개의 이미지들 사이에서 모션 벡터를 결정하는 방법으로서,
제 1 항 내지 제 4 항 중 어느 한 항에 따라 제 1 비디오 시퀀스의 상기 다른 시간 인스턴스에서 촬영된 2개의 이미지들 사이에서 결정된 2차원 모션 벡터의 시작 픽셀 및 종료 픽셀에 대해서 상기 2개의 이미지들 내에 각 매칭된 픽셀을 결정하는 단계를 포함하고,
상기 2개의 이미지들 내의 상기 각 매칭된 픽셀의 쌍은 상기 비디오 시퀀스의 상기 모션 벡터의 시작 픽셀 및 종료 픽셀을 정의하는
방법.
제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법을 수행하도록 구성된
복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하기 위한 장치.
삭제
제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
청구항 16은(는) 설정등록료 납부시 포기되었습니다.

제 10 항에 기재된 방법을 수행하도록 구성된
복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하기 위한 장치.
제 11 항에 기재된 방법을 수행하도록 구성된
다른 시간 인스턴스에서 촬영된 비디오 시퀀스의 2개의 이미지들 사이에서 모션 벡터를 결정하기 위한 장치.
제 12 항에 기재된 방법을 수행하도록 구성된
다른 시간 인스턴스에서 촬영된 비디오 시퀀스의 2개의 이미지들 사이에서 모션 벡터를 결정하기 위한 장치.
청구항 19은(는) 설정등록료 납부시 포기되었습니다.

제 10 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
제 11 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
제 12 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
청구항 22은(는) 설정등록료 납부시 포기되었습니다.

제 8 항에 있어서,
상기 볼륨체를 상기 적어도 하나의 투사된 3차원 객체에 맞춤으로써 상기 볼륨체를 조정하는 단계를 더 포함하는
방법.
복수의 이미지로부터 하나의 이미지의 이미지 인식 방법으로서,
제 8 항에 기재된 단계들을 포함하고,
상기 이미지에 관련되어 있으며 상기 매칭된 속성의 적어도 하나의 세트의 상기 매칭된 속성은 상기 각 참조 이미지에 관한 상기 적어도 하나의 인식된 객체에 관련되는
방법.
복수의 이미지로부터 하나의 이미지의 이미지 인식 방법으로서,
제 9 항에 기재된 단계들을 포함하고,
상기 이미지에 관련되어 있으며 상기 매칭된 속성의 적어도 하나의 세트의 상기 매칭된 속성은 상기 각 참조 이미지에 관한 상기 적어도 하나의 인식된 객체에 관련되는
방법.
청구항 25은(는) 설정등록료 납부시 포기되었습니다.

복수의 이미지로부터 하나의 이미지의 이미지 인식 방법으로서,
제 22 항에 기재된 단계들을 포함하고,
상기 이미지에 관련되어 있으며 상기 매칭된 속성의 적어도 하나의 세트의 상기 매칭된 속성은 상기 각 참조 이미지에 관한 상기 적어도 하나의 인식된 객체에 관련되는
방법.
제 8 항에 기재된 방법을 수행하도록 구성된
복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하기 위한 장치.
제 9 항에 기재된 방법을 수행하도록 구성된
복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하기 위한 장치.
청구항 28은(는) 설정등록료 납부시 포기되었습니다.

제 22 항에 기재된 방법을 수행하도록 구성된
복수의 이미지 사이에서 매칭된 속성의 적어도 하나의 세트를 결정하기 위한 장치.
청구항 29은(는) 설정등록료 납부시 포기되었습니다.

제 23 항에 기재된 방법을 수행하도록 구성된
복수의 이미지로부터 하나의 이미지의 이미지 인식을 위한 장치.
청구항 30은(는) 설정등록료 납부시 포기되었습니다.

제 24 항에 기재된 방법을 수행하도록 구성된
복수의 이미지로부터 하나의 이미지의 이미지 인식을 위한 장치.
청구항 31은(는) 설정등록료 납부시 포기되었습니다.

제 25 항에 기재된 방법을 수행하도록 구성된
복수의 이미지로부터 하나의 이미지의 이미지 인식을 위한 장치.
제 8 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
제 9 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
청구항 34은(는) 설정등록료 납부시 포기되었습니다.

제 22 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
제 23 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
제 24 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.
청구항 37은(는) 설정등록료 납부시 포기되었습니다.

제 25 항에 기재된 방법을 수행하도록 구성된 컴퓨터 프로그램을 포함하는
컴퓨터 판독가능 저장 매체.