KR20040053277A - 포인트 정합들로부터의 호모그래피 전이 - Google Patents

포인트 정합들로부터의 호모그래피 전이 Download PDF

Info

Publication number
KR20040053277A
KR20040053277A KR10-2004-7006774A KR20047006774A KR20040053277A KR 20040053277 A KR20040053277 A KR 20040053277A KR 20047006774 A KR20047006774 A KR 20047006774A KR 20040053277 A KR20040053277 A KR 20040053277A
Authority
KR
South Korea
Prior art keywords
image
homography
images
infinite
pair
Prior art date
Application number
KR10-2004-7006774A
Other languages
English (en)
Inventor
트라제코빅미로슬라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040053277A publication Critical patent/KR20040053277A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

주된 이미지 쌍들을 위한 포인트 정합들을 사용하여 이미지 시퀀스 내의 이미지 쌍에 대한 무한 호모그래피가 이미지 시퀀스 내의 다른 이미지 쌍들로 전이된다. 무한 호모그래피에 대한 이미지 쌍을 포함하는 이미지 세트가 알려지며 제 3 이미지가 선택된다. 이후 알려진 무한 호모그래피 이미지 쌍을 오버랩하는 하나의 이미지 쌍에 대한 호모그래피 전이를 위한 중간 파라메터들이 선택된 오버랩 이미지 쌍에 대한 무한 호모그래피를 유도하기 위해 오버랩 이미지 쌍들의 알려진 무한 호모그래피와 에피폴들 및 기본적인 매트릭스들로부터 계산된다. 프로세스는 이후 이미지 시퀀스 내의 중요한 모든 이미지 쌍들에 대한 무한 호모그래피들이 유도될 때까지 반복될 수 있다.

Description

포인트 정합들로부터의 호모그래피 전이{Homography transfer from point matches}
호모그래피는 두 가지 경우, 즉 (1)이미지 평면들이 임의의 카메라 움직임과 관련되는, 두개의 이미지들에 대한 이미지 평면들 상으로 투사된 평면 세계 오브젝트(planar world object); 또는 (2)오직 순수한 카메라 회전들에 대한 이미지 평면들로의 임의의 세계 이미지들의 투사 중 하나에 대한 두개의 이미지들에 관한 선형 투사 전환(linear projective transformation)이다. 도 4a에 도시된 핀홀 카메라 모델은 3차원 세계 포인트(W)와 이미지 평면(R)을 갖는 카메라의 광학 중심(C)을 포함하는 선의 교차를 나타내는 이미지 포인트(m)의 카메라 중심 프레임(x, y, 및 z에서 z는 광학 축이다) 내의 위치를 정의하기 위한 제 1 뷰에 대해 사용된다. 도 4b에 도시된, 제 1 카메라 또는 뷰의 이미지 평면(R) 상으로의 제 2 뷰를 표현하는 유사한 핀홀 카메라에 대한 광학 중심(C')의 투사는 에피폴(e)이고, 에피폴(e')는 제 2 카메라 또는 뷰의 이미지 평면(R')으로의 광학 중심(C)의 유사한 투사이다.
이미지 평면들(R 및 R')로의 각각의 이미지 픽셀(W)의 투사를 표현하는 이미지 포인트들 m(좌표들 x,y에 의해 정의됨) 및 m'(좌표들 x',y'에 의해 정의됨)은 공액 쌍(conjugate pair)을 구성하며, 이러한 공액 쌍들과 관련된 기본적인 매트릭스(F)가 계산될 수 있으며(예를 들어, 참조로 본 문서에 포함된, "Epipolar Geometry and the Fundamental Matrix" in R.Hartley & A. Zisserman,Multiple View Geometry in Computer Vision, pp. 219-242(Cambridge University Press 2000)를 참조한다), 제 1 카메라 또는 뷰 기준 프레임으로부터 선형 투사 식에 따른 제 2로 이미지 포인트들의 매핑을 투사하기 위해 3X3 호모그래피 매트릭스 H12를 개발하기 위해 사용되고:
이것은 다음과 같이 동일하게 표현될 수 있다:
호모그래피는 카메라에 의한 순수한 회전 또는 평면 내의 세계적인 이미지 포인트들에 대한 두개의 이미지들 사이의 일대일 포인트 매핑을 설명한다. 배니싱 포인트간에 매핑하는, 무한에서의 평면에 대한 호모그래피 매트릭스(H12∞)는 중요한 경우이고 강체 변위의 회전 성분에만 의존한다.
호모그래피의 계산은 매우 중요하고, 예를 들면 3차원(3D) 비디오 생성 및랜더링에서 어려운 작업이다. 이것은 특히 무한에서의 평면에 대한 호모그래피 매트릭스의 계산에 대해 진실이며, (1) 3개의 세트들 또는 수평 라인들, (2) 카메라로부터 매우 멀리 떨어진 포인트들에 대응하는 뷰들 사이의 포인트 정합들, 또는 (3) 완전한 카메라 보정 파라메터들의 지식을 요구한다. 이들 중 일반적인 경우에 대해 계산하기 쉬운 것은 없다.
따라서, 본 기술분야에서는, 무한에서의 평면에 대해 특히, 확장된 이미지 시퀀스들에서 호모그래피 매트릭스를 계산하는 간단한 방법이 필요하다.
본 발명은 일반적으로 3차원 비디오 이미지 생성을 위한 모핑(morphing)을 보기 위한 것으로, 특히 확장된 이미지 시퀀스들에서 호모그래피들을 계산하기 위한 호모그래피 전이 및 에피폴라(epipolar) 기하학의 사용에 관한 것이다.
도 1은 본 발명의 일실시예를 따른 포인트 정합들을 사용하는 호모그래피 전이의 방법을 사용하는 비디오 시스템의 블럭도를 도시하는 도면.
도 2는 본 발명의 일실시예를 따른 포인트 정합들을 사용하는 호모그래피 전이의 계산에 사용된 이미지 데이터를 도시하는 도면.
도 3은 본 발명의 일실시예에 따른 포인트 정합들을 사용하는 호모그래피 전이를 계산하는 프로세스에 대한 하이 레벨 흐름도.
도 4a 및 도 4b는 에피폴라 기하학 및 호모그래피를 계산하기 위한 모델들을 도시하는 도면.
종래 기술의 상술된 단점들을 해소하기 위하여, 본 발명의 제 1 목적은 비디오 시스템에서 사용하기 위해, 이미지 시퀀스 내의 이미지 쌍을 주된 이미지 쌍들을 위한 포인트 정합들을 이용하여 이미지 시퀀스 내의 다른 이미지 쌍들로의 무한 호모그래피의 전이를 제공하는 것이다. 무한 호모그래피가 알려진 이미지 쌍을 포함하는 이미지 세트 및 제 3 이미지가 선택된다. 이후, 알려진 무한 호모그래피 이미지 쌍을 오버랩하는 하나의 이미지 쌍을 위한 호모그래피 전이를 위한 중간 파라메터들이 선택된 오버랩 이미지 쌍을 위한 무한 호모그래피를 유도하기 위해 알려진 무한 호모그래피와 오버랩 이미지 쌍들의 에피폴들 및 기본적인 매트릭스들로부터 계산된다. 프로세스는 이미지 시퀀스 내의 흥미있는 모든 이미지 쌍들에 대한 무한 호모그래피들이 유도되었을 때까지 반복될 수 있다.
당업자가 다음의 본 발명의 상세한 설명을 보다 잘 이해할 수 있도록, 앞에서는 본 발명의 특성들 및 기술적인 장점들을 대략적으로 보다는 개괄적으로 논의하였다. 본 발명의 부가적인 특성들 및 장점들이 본 발명의 청구범위의 주제를 형성하며 이하에서 설명될 것이다. 당업자는 본 발명의 동일한 목적들을 수행하기 위한 다른 구조들을 변경하거나 설계하기 위한 기본으로서 설명된 개념 및 특정 실시예를 쉽게 이용할 수 있다는 것을 인식할 것이다. 당업자는 또한 이러한 동등한 구조들이 본 발명의 가장 넓은 형태로서 그 사상과 범위로부터 벗어나지 않는다는 것을 인식할 것이다.
이하에서 발명의 상세한 설명을 하기에 앞서, 본 특허명세서를 통해 앞으로 사용되는 몇몇 단어들 및 구들의 정의들을 규정하는 것이 도움이 될 것이다:"구비하다(include)" 및 "포함하다(comprise)"라는 단어들 및 그의 파생어들은 제한없는 포함을 의미하며; "또는(or)" 이라는 단어는 그리고/또한의 의미를 포함하며; "~과 연관된(associated with)" 및 "그와 연관된(associated therewith)" 이라는 구들 및 그들의 파생어들은 포함하다, ~안에 포함된다, 서로 연결하다, 함유하다, ~이 함유되다, 연결하다, 쌍을 이루다, 전달되다, 협력하다, 끼워넣다, 나란히 놓다, 가까운, 범위에, 갖다, 특징을 갖다 등등의 의미를 가지며; "제어기(controller)"라는 단어는 장치가 하드웨어, 펌웨어, 소프트웨어, 또는 적어도 두 개의 동일한 어떤 조합에서 실행되는 것 같은 적어도 그것의 한 동작을 제어하는 임의의 장치, 시스템 혹은 부분을 의미한다. 어떤 특별한 제어기와 연관된 기능은 근방에 혹은 떨어져서 집중되거나 분포될 수 있다는 것이 인지되어야 한다. 본 특허명세서를 통해 몇몇 단어들 및 구들에 대한 정의들이 제공되며, 당업자는 대부분이 아니라 많은 경우에, 이러한 정의들이 이렇게 정의된 단어들 및 구들의 앞으로의 사용뿐만 아니라 이전에도 적용된다는 것을 이해할 것이다.
본 발명과 그의 장점들의 보다 완전한 이해를 위해, 동일한 숫자들이 유사 오브젝트들을 나타내는 첨부 도면들을 참조로 다음 설명들이 참조로 생성된다.
이하에서 논의되는 도 1 내지 도 3, 및 본 특허 명세서에서 본 발명의 원리들을 설명하기 위해 사용된 다양한 실시예들은 단지 설명하기 위한 것이며, 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 당업자는 본 발명의 원리들이 임의의 적당하게 배열된 디바이스에서 실행될 수 있다는 것을 이해할 것이다.
도 1은 본 발명의 일실시예에 따른 포인트 정합들을 사용하는 호모그래피 전이의 방법을 사용하는 비디오 시스템의 블럭도를 도시한다. 비디오 시스템(100)은 컴퓨터 또는 다른 데이터 처리 시스템; 위성, 지상 또는 케이블 방송 텔레비전 수신기; 셋탑 박스; 또는 비디오 게임 유닛일 수 있는 비디오 수신기를 포함한다. 비디오 수신기(101)는 이미지의 시퀀스를 수신하기 위한 입력(103)과 처리된 이미지 데이터를 예를 들면 디스플레이 또는 기록 디바이스로 송신하기 위한 선택적인 출력(104)을 갖는다.
전형적인 실시예의 비디오 수신기(101)는 이하의 더욱 상세한 설명에서 설명되는 바와 같이 이미지들의 수신된 시퀀스에 대한 포인트 정합들을 사용하여 호모그래피 전이를 계산하는 이미지 프로세서(104)를 포함한다. 비디오 수신기(101)는 또한 이미지들의 수신된 시퀀스, 계산된 호모그래피 정보, 또는 다른 데이터를 저장하기 위한 메모리(105)와 계산된 호모그래피 정보를 사용하여 변경된 이미지들 또는 이미지 시퀀스들을 디스플레이하기 위한 디스플레이(106)를 선택적으로 포함할 수 있다. 예를 들어, 이미지 프로세서는 깊이 재건, 인체 모델링 또는 3차원(3D) 텔레비전을 위한 이미지 모핑에서 사용될 수 있으며, 상이한 원근으로부터 스크린을 디스플레이하기 위해 수신된 이미지 시퀀스들에 기초하여 변경된 이미지 시퀀스들을 생성할 수 있다.
기술분야의 당업자는 비디오 수신기의 완전한 구조 및 동작이 여기서 도시되거나 설명되지 않는다는 것을 인식할 것이다. 대신, 본 발명에 유일하거나 또는 본 발명의 이해를 위해 필요한 비디오 수신기의 구조 및 동작의 상당 부분만이 도면들에 도시되고 설명된다. 본 발명에서 비디오 수신기가 이하에서 더욱 상세하게 설명된 바와 같이 수신된 이미지 시퀀스에 대해 호모그래피 정보를 계산한다고 하여도, 적절한 비디오 수신기의 구조 및 동작의 나머지는 종래의 것일 수 있다.
도 2는 본 발명의 일실시예를 따른 포인트 정합들을 사용하는 호모그래피 전이의 계산에 사용된 이미지 데이터를 도시한다. 이미지들의 시퀀스(200) I1, I2, I3,...I4(n은 임의의 0이 아닌 양의 정수)가 이미지 프로세서(104)에 의해 수신된다. 이미지 시퀀스(200) 내의 이미지들의 임의의 주어진 쌍 사이의 포인트 정합들의 목록(201) 및 이미지 시퀀스(200) 내의 두개의 연속적인 이미지들에 대한 무한 평면의 호모그래피(202)(또는 "무한 호모그래피")가 이미지 프로세서(104)에 의해 또한 수신되거나, 또는 대안적으로 이미지 프로세서(104)에 의해 계산된다.
대부분의 손실 없이, 이미지 시퀀스(200) 내의 두개의 연속적인 이미지들(I1및 I2)에 대한 무한한 호모그래피(202)가 가정되며, 본 발명에 따른 호모그래피 전이는 제 1 의 세개의 이미지들:I1, I2및 I3에 대해 설명될 것이다. 모든 3개의 이미지들 사이의 포인트 정합들이 알려져 있기 때문에, 이미지들 I1, I2및 I3의 세트 내의 임의의 이미지 쌍 사이의 에피폴들(eij)과 기본적인 매트릭스들(Fij)의 계산이 간단하고, 종래의 알려진 적용가능한 방법들 중 임의의 것을 사용하여 수행될 수 있다.
종래에 알려진 바와 같이, 두 이미지들(i,j) 사이의 임의의 호모그래피들(임의의 평면 z에 대하여)은 다음의 표현에 의해 이러한 이미지들에 대한 에피폴들(eij)과 기본적인 매트릭스(Fij)에 관한 것이고:
여기서 Hij는 랭크 2의 호모그래피이며 [eij]x가 에피폴라 벡터(eij)로부터 유도된다:
호모그래피 Hji는 에피폴들(eji)과 기본적인 매트릭스(Fji)와 유사하게 관련된다. 에피폴들(eij및 eji), 기본적인 매트릭스들(Fij및 Fji), 및 호모그래피들(Hij및 Hji)은 스케일에 의해서만 정의되고, 이들 벡터들/매트릭스들의 각각이 1과 동일한 놈(norm)을 갖는 부가적인 강제가 도입된다.
두개의 이미지들 사이의 임의의 호모그래피(Hij)가 다음과 같이 표현될 수 있다는 것이 분야에서 또한 알려져 있으며:
여기서 c'ij는 알려져있지 않은 스칼라이고, Hij∞는 이미지 i로부터 이미지 j내의 대응하는 이미지 포인트들로 이미지 포인트들을 매핑하는 무한 호모그래피이며, z'ij T는 알려져있지 않은 벡터의 트랜스포스이다. 식(2)는 다음과 같이 표현될 수 있고:
여기서 cij는 알려져있지 않은 스칼라이고 z'ij는 알려져있지 않은 벡터이다.
마지막으로, 세개의 임의의 이미지들(i,j,k) 사이의 무한 호모그래피들이 다음과 같이 관련되는 것이 분야에서 알려져 있다:
위에서 언급된 바와 같이, 이미지 시퀀스(200) 내의 임의의 이미지 쌍 사이의 포인트 정합들이 알려져 있거나 또는 쉽게 계산될 수 있으며(예를 들면, 희박한 광학 흐름 계산에 의해), 따라서 에피폴들 및 기본적인 매트릭스들이 쉽게 결정될 수 있다. 또한, 이미지 시퀀스(200) 내의 이미지 쌍(전형적인 실시예의 제 1 의 두개의 연속적인 이미지들 사이의 H12∞)에 대한 적어도 하나의 무한 호모그래피가 알려져 있거나 또는 계산될 수 있다. 두개의 이미지들을 위한 무한 호모그래피들의 계산이 매우 어렵기 때문에, 종종 결정들 또는 판단들이 만들어져야 (임의의 중요한 크기의 이미지 시퀀스들에 대해 비실용적인) 하는 수동 개입이 필요하며, 본 발명은 포인트 정합들(201)로부터의 이미지 시퀀스(200) 내의 임의의 이미지 쌍 사이의 모든 무한 호모그래피와 알려진 무한 호모그래피(202)를 계산한다.
식들(1) 내지 (4)는 임의의 이미지 세트(i,j,k)에 대해 유지되고 따라서, 대부분의 손실 없이 이러한 변수들은 i=1, j=2 및 k=3(즉, 이미지들(I1, I2및 I3)을 사용하여)으로 설정될 수 있다. 식(4)로 식(3)을 대입하여 다음을 얻는다:
매트릭스 [e13]x로 식의 양측들을 곱하고 [e13]xe13=0으로,[e13]xH13=F13으로 다시쓰면 다음을 얻고:
이는 다음과 같이 동일하게 표현될 수 있다:
식(6)은 쉽게 풀릴 수 있는 c23과 z23의 선형식이다(이는 대응하는 매트릭스가 랭크 4를 갖는다고 도시될 수 있다). c23과 z23이 먼저 결정되면, 무한 호모그래피 H23∞이 식들(1) 및 (3)으로부터 계산될 수 있으며 무한 호모그래피(H13∞)이 식(4)로부터 원한다면 계산될 수 있다. 프로세스는 이후 이러한 이미지들과 무한 호모그래피(H23∞)에 대한 포인트 정합들을 사용하여 이미지들 I2, I3및 I4에 대해 반복될 수 있고, 이후 동일한 방법으로 이미지 시퀀스(200) 내의 모든 남아있는 이미지들에 대해 연속적으로 반복된다.
당업자는 식들(1), (3) 및 (4)가 무한 호모그래피 전이를 외삽할 뿐만 아니라 내삽하기 위해 사용될 수 있으며, 즉, 무한 호모그래피들(H13∞및 H23∞)가 포인트 정합들을 사용하여 결정될 수 있으며 무한 호모그래피(H13∞)는 c23과 z23에 대해
을 풀고, 위에서 설명된 바와 같이 식들(1),(3), 및 (4)를 사용하여 결정될 수 있다.
더욱이, 이미지 시퀀스(200) 내의 제 1 의 두개의 연속적인 이미지들(I1및 I2) 사이의 무한 호모그래피(H13∞)에 사용된 전형적인 실시예와 계싼된 무한 호모그래피가 이미지 시퀀스(200)를 통해 절차를 앞으로 전이하는 동안, 이미지 시퀀스(200) 내의 어디든 위치하는 임의의 연속적인 이미지 쌍에 대한 무한 호모그래피가 사용될 수 있고, 무한 호모그래피 전이들은 이미지 시퀀스(200)를 통해 앞으로 및/또는 뒤로 절차가 계산될 수 있다. 예를 들어, 무한 호모그래피(H23∞)가 무한 모호그래피 H13∞보다 상기 예에서 알려져 있다면, 무한 호모그래피들(H12∞및 H13∞)은 c12및 z12에 대해
을 풀거나 또는 c13및 z13에 대한
을 풀고, 이후 위에서 설명된 식들(1),(3) 및 (4)를 사용하여 결정될 수 있다.
본 발명에 따른 무한 호모그래피 전이의 이러한 유연성은 이미지 시퀀스가 수신되고, 이미지 쌍들 사이의 포인트 정합들이 계산되며, 선택된 임의의 이미지 쌍이 제 1 무한 호모그래피를 계산하도록 하고, 이후 위에서 설명된 바와 같이 남아있는 이미지 쌍들로 전이되도록 한다. 처음에 무한 호모그래피를 계산하기 위해 사용된 이미지 쌍은 따라서 상기 처음의 무한 호모그래피의 계산에서 쉽게 선택되도록 할 수 있다.
당업자는 본 발명에 따라 무한 호모그래피들을 전이하기 위해 포인트 정합들, 에피폴들 및 기본적인 매트릭스들이 이미지 시퀀스(200) 내의 모든 각각의 이미지 쌍들에 대해 계산될 필요가 없다는 것을 또한 인식할 것이다. 예를 들어, 이미지들 I1과 I7사이의 포인트 정합들은 이미지들 I1과 I7사이의 무한 호모그래피가 요구되지 않으면 필요하지 않다. 무한 호모그래피들이 일반적으로 연속적인 이미지들, 포인트 정합들 사이에서만 요구되기 때문에, 에피폴들 및 기본적인 매트릭스들이 이미지 시퀀스(200) 내의 세개의 연속적인 이미지들의 각 세트에 대한 모든 각각의 이미지 쌍들에 대해서만 계산되어야 할 필요가 있다(예를 들면, I1, I2및 I3; I2, I3및 I4; I3, I4및 I5;...; In-2, In-1및 In;). 유사하게, 연속적이지 않은 이미지들(예를 들면, H13∞)의 쌍들에 대한 무한 호모그래피들은 계산될 필요가 없다.
도 3은 본 발명의 일실시예에 따른 포인트 정합들을 사용하여 호모그래피 전이를 계산하는 프로세스에 대한 하이 레벨 흐름도이다. 프로세서(300)는 호모그래피 전이가 수행되도록 이미지 시퀀스의 수신으로 시작한다(단계 301). 수신된 이미지 시퀀스 내의 (적어도 선택된) 이미지 쌍들에 대한 포인트 정합들이 계산 또는 수신/검색에 의해 먼저 얻어지고, 에피폴들과 기본적인 매트릭스들이 포인트 정합들로부터 계산된다(단계 302).
이미지 시퀀스 내의 하나의 이미지 쌍에 대한 무한 호모그래피가 계산 또는 수신/검색에 의해 얻어지며(단계 303), 이후 무한 호모그래피에 대한 이미지 쌍 모두를 포함하는 이미지 세트가 알려지고 제 3의 이미지가 선택된다(단계 304). 선택된 이미지 세트는 3개의 이미지 쌍들을 포함할 것인데: 무한 호모그래피에 대한 이미지 쌍이 알려지며(즉, 상기 예의 I1및 I2); 두개의 "오버랩" 이미지 쌍들이다(무한 호모그래피에 대한 이미지 쌍들로부터의 이미지를 포함하는 이미지 쌍들이 알려지거나, 또는 상기 예의 이미지 쌍들 I2/I3및 I1/I3).
오버랩 쌍들의 하나에 대한 무한 호모그래피의 중간 전이 파라메터들이 이후 알려진 무한 호모그래피를 사용하여 계산된다(단계 305). 이러한 중간 파라메터들은 오버랩 쌍(eij)에 대한 에피폴들을 위한 오버랩 쌍(Hij∞)과 벡터(zij) 배수를 위한 무한 호모그래피를 위한 스칼라(cij) 배수를 포함한다. 중간 전이 파라메터들은이후 선택된 오버랩 이미지 쌍에 대한 무한 호모그래피를 계산하는데 사용되며(단계 306), 이는 원한다면 선택된 이미지 세트 내의 다른 오버랩 이미지 쌍에 대한 무한 호모그래피를 계산하는데 차례로 사용될 수 있다(단계 307).
호모그래피 전이 프로세서(단계들 304-307)는 이후 모든 이미지 쌍들--또는 무한 호모그래피들이 원하는 적어도 모든 이미지 쌍들--이 무한 호모그래피가 알려진 오버랩 이미지 쌍과 함께 선택되었을 때까지 반복된다(단계 308). 프로세스는 이후 본 발명에 따른 호모그래피 전이를 위해 다른 이미지 시퀀스가 수신될 때까지 쉬게(idle) 된다(단계 309).
본 발명은 주된 이미지 쌍들 사이의 단일의 알려진 무한 호모그래피 및 (충분한) 포인트 정합들로부터 계산되는 이미지 시퀀스 내의 적어도 모든 연속적인 이미지 쌍들에 대한 무한 호모그래피들을 허용한다. 본 발명의 알고리즘은 각각의 주된 이미지 쌍에 대하여 독립적으로 무한 호모그래피들을 계산하는 것과 비교하여 매우 간단하며, 따라서 임의의 3차원 비디오 어플리케이션에 대해 매우 유용하다.
본 발명은 전체적으로 기능하는 시스템의 문맥에서 설명되었다는 것을 인식하는 것이 중요하며, 당업자는 본 발명의 메카니즘의 적어도 부분들이 다양한 형태들로 명령들을 포함하는 매체를 사용할 수 있는 머신의 형태로 분포될 수 있다는 것과 본 발명은 실질적으로 분포를 수행하기 위해 사용된 단일의 인식 매체의 특정 형태에 상관없이 동일하게 적용한다는 것을 인정할 것이다. 매체들을 사용할 수 있는 머신의 예로는: 판독 전용 메모리들(ROMs) 또는 삭제가능한 전자적으로 프로그램되는 판독 전용 메모리들(EEPROMs)과 같은 비휘발성, 하드 코드 형 매체들 또는플로피 디스크들, 하드 디스크 드라이브들 및 컴팩트 디스크 판독 전용 메모리들(CD-ROMs) 또는 디지털 다용도 디스크들(DVDs)과 같은 기록가능한 형의 매체들과, 디지털 및 아날로그 통신 링크들과 같은 전이형 매체들을 포함한다.
본 발명이 상세하게 설명되었으나, 당업자는 여기서 설명된 본 발명의 다양한 변화들, 대체들, 변경들, 향상들, 뉘앙스들, 이행들, 더 못한 형태들, 대안들, 개정들, 개선들 및 중지들이 본 발명의 가장 넓은 형태에서 정신과 범위로부터 벗어나지 않고 만들어질 수 있다는 것을 이해할 것이다.

Claims (15)

  1. 알려진 무한 호모그래피(202)를 전이하기 위한 시스템(100)에 있어서:
    이미지 시퀀스(200)를 처리하는 이미지 프로세서(104)를 포함하고,
    상기 이미지 프로세서(104)는,
    상기 이미지 시퀀스(200)로부터 이미지 쌍을 선택하고, 상기 선택된 이미지 쌍은 상기 알려진 무한 호모그래피(202)가 적용하는 두개의 이미지들 중 하나 및 부가적인 이미지를 포함하고;
    상기 알려진 무한 호모그래피(202)로부터 상기 선택된 이미지 쌍에 대한 무한 호모그래피를 유도하는, 시스템.
  2. 제 1 항에 있어서, 상기 선택된 이미지 쌍에 대한 상기 무한 호모그래피를 유도하는데 있어, 상기 이미지 프로세서(104)는 상기 선택된 이미지 쌍에 대한 호모그래피를 위한 중간 전이 파라메터들(intermediate transfer parameters)을 결정하는, 시스템.
  3. 제 2 항에 있어서, 상기 이미지 프로세서(104)는 상기 선택된 이미지 쌍에 대한 상기 호모그래피를 위한 스칼라 배수와 상기 선택된 이미지 쌍에 대한 에피폴들(epipoles)의 벡터 배수를 결정하는, 시스템.
  4. 제 1 항에 있어서, 상기 부가적인 이미지는 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들 중 하나에 대해 상기 이미지 시퀀스(200) 내에서 연속적인, 시스템.
  5. 제 1 항에 있어서, 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들은 상기 이미지 시퀀스(200) 내의 연속하는 이미지들인, 시스템.
  6. 제 1 항에 있어서, 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들은 상기 이미지 시퀀스(200) 내의 연속하는 이미지들(i,j)이고, 상기 부가적인 이미지는 상기 이미지 시퀀스(200) 내의 이미지들(i,j)에 연속하는 이미지(k)이며, 상기 이미지 프로세서(104)는 다음의 수식을 풀며,
    여기서, Hjk는 이미지들 j,k에 대한 호모그래피이며, cjk는 상기 호모그래피 Hjk를 위한 스칼라 배수이고, ejk는 이미지들 j,k에 대한 에피폴들이며,는 에피폴들 ejk에 대한 알려지지 않은 벡터 배수의 트랜스포스(transpose)이고, [eik]x는 이미지들(i,k)에 대한 에피폴들(eik)로부터 유도되고, cik는 이미지들(i,k)에 대한 호모그래피(Hik)를 위한 스칼라 배수이고, Fik는 이미지들(i,k)에 대한 기본적인 매트릭스이고,은 알려진 무한 호모그래피의 역(inverse)인, 시스템.
  7. 제 1 항에 있어서, 상기 알려진 무한 호모그래피(202)는 상기 이미지 시퀀스(200) 내의 상기 제 2 이미지에 대한 이미지 포인트들을 상기 이미지 시퀀스(200) 내의 상기 제 1 이미지에 대한 이미지 포인트들에 관련시키는, 시스템.
  8. 이미지 시퀀스를 처리하기 위한 시스템(100)에 있어서:
    상기 이미지 시퀀스(200)를 수신하기 위한 입력(102)을 포함하는 비디오 시스템(101)과;
    상기 이미지 시퀀스(200)를 처리하는 상기 비디오 시스템(101) 내의 이미지 프로세서(104)를 포함하며,
    상기 이미지 프로세서(104)는,
    상기 이미지 시퀀스(200)로부터 이미지 쌍을 선택하고, 상기 선택된 이미지 쌍은 상기 알려진 무한 호모그래피(202)가 적용하는 두개의 이미지들 중 하나 및 부가적인 이미지를 포함하고;
    상기 알려진 무한 호모그래피(202)로부터 상기 선택된 이미지 쌍에 대한 무한 호모그래피를 유도하는, 시스템.
  9. 제 8 항에 있어서, 상기 선택된 이미지 쌍에 대한 상기 무한 호모그래피를 유도하는데 있어, 상기 이미지 프로세서(104)는 상기 선택된 이미지 쌍에 대한 호모그래피를 위한 중간 전이 파라메터들을 결정하는, 시스템.
  10. 제 8 항에 있어서, 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들은 상기 이미지 시퀀스(200) 내의 연속하는 이미지들(i,j)이고, 상기 부가적인 이미지는 상기 이미지 시퀀스(200) 내의 이미지들(i,j)에 연속하는 이미지(k)이며, 상기 이미지 프로세서(104)는 다음 수식을 풀며,
    여기서, Hjk는 이미지들(j,k)에 대한 호모그래피이며, cjk는 호모그래피 Hjk에 대한 스칼라 배수이고, ejk는 이미지들(j,k)에 대한 에피폴들이며,는 에피폴들 ejk에 대한 알려지지 않은 벡터 배수의 트랜스포스이고, [eik]k는 이미지들 i,k에 대한 에피폴들 eik로부터 유도되고, cik는 이미지들(i,k)에 대한 호모그래피 Hik를 위한 스칼라 배수이고, Fik는 이미지들(i,k)에 대한 기본적인 매트릭스이고,은 알려진 무한 호모그래피의 역인, 시스템.
  11. 이미지 시퀀스(200) 내의 두개의 이미지들에 대한 알려진 무한 호모그래피(202)를 상기 이미지 시퀀스(200) 내의 다른 이미지 쌍들에 전이하기 위한 방법(300)에 있어서,
    상기 이미지 시퀀스(200)로부터 이미지 쌍을 선택하는 단계로서, 상기 선택된 이미지 쌍은 상기 알려진 무한 호모그래피(202)가 적용하는 두개의 이미지들 중 하나 및 부가적인 이미지를 포함하는, 상기 선택 단계와;
    상기 알려진 무한 호모그래피(202)로부터 상기 선택된 이미지 쌍에 대한 무한 호모그래피를 유도하는 단계를 포함하는, 방법.
  12. 제 11 항에 있어서, 상기 알려진 무한 호모그래피(202)로부터 상기 선택된 이미지 쌍에 대한 무한 호모그래피를 유도하는 상기 단계는,
    상기 선택된 이미지 쌍에 대한 호모그래피를 위한 중간 전이 파라메터들을 결정하는 단계를 더 포함하는, 방법.
  13. 제 11 항에 있어서, 상기 이미지 시퀀스(200)로부터 이미지 쌍을 선택하는 상기 단계는,
    상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들 중 하나에 대해 상기 이미지 시퀀스(200) 내의 연속하는 이미지들로부터 상기 부가적인 이미지를 선택하는 단계를 더 포함하는, 방법.
  14. 제 11 항에 있어서, 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들은 상기 이미지 시퀀스(200) 내의 연속적인 이미지들인, 방법.
  15. 제 11 항에 있어서, 상기 알려진 무한 호모그래피(202)가 적용하는 상기 두개의 이미지들은 상기 이미지 시퀀스(200) 내의 연속하는 이미지들(i,j)이고, 상기 부가적인 이미지는 상기 이미지 시퀀스(200) 내의 이미지들(i,j)에 연속하는 이미지(k)이며, 상기 알려진 무한 호모그래피(202)로부터 상기 선택된 이미지 쌍에 대한 무한 호모그래피를 유도하는 상기 단계는 다음의 수식을 풀는 단계를 포함하며,
    여기서, Hjk는 이미지들(j,k)에 대한 호모그래피이며, cjk는 호모그래피 Hjk에 대한 스칼라 배수이고, ejk는 이미지들(j,k)에 대한 에피폴들이며,는 에피폴들 ejk에 대한 알려지지 않은 벡터 배수의 트랜스포스이고, [eik]k는 이미지들 i,k에 대한 에피폴들 eik로부터 유도되고, cik는 이미지들(i,k)에 대한 호모그래피 Hik를 위한 스칼라 배수이고, Fik는 이미지들(i,k)에 대한 기본적인 매트릭스이고,은 알려진 무한 호모그래피의 역인, 방법.
KR10-2004-7006774A 2001-11-05 2002-10-01 포인트 정합들로부터의 호모그래피 전이 KR20040053277A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/992,922 US7003150B2 (en) 2001-11-05 2001-11-05 Homography transfer from point matches
US09/992,922 2001-11-05
PCT/IB2002/004060 WO2003041423A2 (en) 2001-11-05 2002-10-01 Homography transfer from point matches

Publications (1)

Publication Number Publication Date
KR20040053277A true KR20040053277A (ko) 2004-06-23

Family

ID=25538888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7006774A KR20040053277A (ko) 2001-11-05 2002-10-01 포인트 정합들로부터의 호모그래피 전이

Country Status (5)

Country Link
US (1) US7003150B2 (ko)
EP (1) EP1444655A2 (ko)
KR (1) KR20040053277A (ko)
CN (1) CN1316432C (ko)
WO (1) WO2003041423A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7327374B2 (en) * 2003-04-30 2008-02-05 Byong Mok Oh Structure-preserving clone brush
FR2857132A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Dispositif, systeme et procede de codage d'images numeriques
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
ES2249131B1 (es) * 2004-05-13 2006-12-16 Universidad De Las Palmas De Gran Canaria Procedimiento para la ordenacion automatica de un conjunto de puntos en una imagen.
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7477784B2 (en) * 2005-03-01 2009-01-13 Microsoft Corporation Spatial transforms from displayed codes
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
US7403658B2 (en) * 2005-04-15 2008-07-22 Microsoft Corporation Direct homography computation by local linearization
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US8019180B2 (en) * 2006-10-31 2011-09-13 Hewlett-Packard Development Company, L.P. Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
ATE490519T1 (de) * 2007-07-05 2010-12-15 Siemens Industry Inc Anordnung und verfahren zur verarbeitung von bilddaten
CN101236653B (zh) * 2008-03-03 2010-09-29 华为技术有限公司 图像校正方法及系统
CN102096923B (zh) * 2011-01-20 2013-07-24 上海杰图软件技术有限公司 鱼眼标定方法和装置
CN102682467A (zh) * 2011-03-15 2012-09-19 云南大学 基于平面和直线的三维重建方法
US10417738B2 (en) 2017-01-05 2019-09-17 Perfect Corp. System and method for displaying graphical effects based on determined facial positions

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598515A (en) * 1994-01-10 1997-01-28 Gen Tech Corp. System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene
IL113496A (en) * 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
US6192145B1 (en) * 1996-02-12 2001-02-20 Sarnoff Corporation Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
US6097854A (en) 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6198852B1 (en) * 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
US6137491A (en) * 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6608923B1 (en) * 1999-06-19 2003-08-19 Microsoft Corporation System and method for rectifying images of three dimensional objects
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US6668080B1 (en) * 1999-09-21 2003-12-23 Microsoft Corporation Automated layer extraction and pixel assignment from image sequences
US6527395B1 (en) * 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
US6715888B1 (en) * 2003-03-21 2004-04-06 Mitsubishi Electric Research Labs, Inc Method and system for displaying images on curved surfaces

Also Published As

Publication number Publication date
CN1585962A (zh) 2005-02-23
WO2003041423A3 (en) 2003-10-23
WO2003041423A2 (en) 2003-05-15
CN1316432C (zh) 2007-05-16
EP1444655A2 (en) 2004-08-11
US7003150B2 (en) 2006-02-21
US20030086602A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
KR20040053277A (ko) 포인트 정합들로부터의 호모그래피 전이
US6868191B2 (en) System and method for median fusion of depth maps
El-Hakim et al. A multi-sensor approach to creating accurate virtual environments
US7760932B2 (en) Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
KR101168384B1 (ko) 깊이 맵을 생성하는 방법, 깊이 맵 생성 유닛, 이미지 처리 장치, 및 컴퓨터 프로그램 제품
Melen Geometrical modelling and calibration of video cameras for underwater navigation.
US20090256903A1 (en) System and method for processing video images
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
CN102841767B (zh) 多投影拼接几何校正方法及校正装置
US20110128286A1 (en) Image restoration apparatus and method thereof
CN109191554A (zh) 一种超分辨图像重建方法、装置、终端和存储介质
KR20080101998A (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
Marton et al. Natural exploration of 3D massive models on large-scale light field displays using the FOX proximal navigation technique
KR20040060970A (ko) 에피폴라 제약조건 하에서의 광흐름 계산방법
CN110648274A (zh) 鱼眼图像的生成方法及装置
EP1445736A2 (en) Method and system for providing a volumetric representation of a three-dimensional object
JP7082713B2 (ja) ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正
KR19990070445A (ko) 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법
CN102081796B (zh) 图像拼接方法和装置
Narayan et al. Optimized color models for high-quality 3d scanning
WO2020018134A1 (en) Rendering 360 depth content
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
Gurrieri et al. Efficient panoramic sampling of real-world environments for image-based stereoscopic telepresence

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid