KR101310589B1 - 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 - Google Patents

이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 Download PDF

Info

Publication number
KR101310589B1
KR101310589B1 KR1020117030654A KR20117030654A KR101310589B1 KR 101310589 B1 KR101310589 B1 KR 101310589B1 KR 1020117030654 A KR1020117030654 A KR 1020117030654A KR 20117030654 A KR20117030654 A KR 20117030654A KR 101310589 B1 KR101310589 B1 KR 101310589B1
Authority
KR
South Korea
Prior art keywords
pixel
image
translated
homography matrix
computer
Prior art date
Application number
KR1020117030654A
Other languages
English (en)
Other versions
KR20120093063A (ko
Inventor
지안구오 리
잉 젱
치앙 리
유롱 첸
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20120093063A publication Critical patent/KR20120093063A/ko
Application granted granted Critical
Publication of KR101310589B1 publication Critical patent/KR101310589B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 이미지 재구성 기술들이 설명된다. 근원 뷰포인트로부터의 이미지가 다른 뷰포인트로부터의 이미지로 트랜스레이트된다. 호모그래피 피팅을 이용하여, 뷰포인트들 사이에서 이미지를 트랜스레이트시킨다. 역 구성 이미지 정렬을 이용하여, 호모그래피 행렬을 결정하고, 트랜스레이트된 이미지 내의 픽셀을 결정한다.

Description

이미지들로부터의 빠른 스테레오 재구성을 위한 기술들{TECHNIQUES FOR RAPID STEREO RECONSTRUCTION FROM IMAGES}
본 명세서에서 개시되는 본 발명은 일반적으로 다수의 밴티지 포인트(vantage point)로부터의 이미지들에 의한 스테레오 재구성에 관한 것이다.
그래픽 및 비주얼 컴퓨팅의 응용이 삼차원(3D) 게임, 가상 세계, 미러 세계(예로서, 구글 어스(Google Earth)) 및 몰입형 사용자 인터페이스와 같은 분야들에서 성장하고 있다. 스테레오 재구성은 둘 이상의 이격 배치된 카메라에 의한 이미지들로부터 또는 등가로서 동일 카메라에 의해 그러나 상이한 뷰(view) 위치들에서 촬영된 이미지들로부터 고밀도 3D 장면들을 복구하는 것을 목표로 한다. 스테레오 재구성에서, (내부 및 외부) 카메라 파라미터들은 카메라 보정(camera calibration)으로 알려져 있다. 전통적인 스테레오 재구성 방법들은 정밀도 또는 처리 속도 중 어느 하나에 의해 크게 제한된다. 따라서, 빠르고 정밀한 스테레오 재구성에 대한 필요성이 증가하고 있다.
본 발명의 실시예들은 동일 참조 번호들이 유사한 요소들을 참조하는 도면들에서 한정이 아니라 예시적으로 도시된다.
도 1은 스테레오 이미지 쌍에 대한 패치 투영을 나타낸다.
도 2는 일 실시예에 따른, 스테레오 이미지 쌍의 스테레오 재구성을 위한 프로세스를 나타낸다.
도 3은 일 실시예에 따른, 역 구성 이미지 정렬(ICIA)을 나타낸다.
도 4는 일 실시예에 따른, 다중-뷰 스테레오 재구성에 이용될 수 있는 프로세스를 나타낸다.
도 5a 및 5b는 스테레오 재구성의 결과들의 비교를 나타낸다.
도 6은 일 실시예에 따른, 컴퓨터 시스템 실시예를 나타낸다.
본 명세서 전반에서의 "하나의 실시예" 또는 "일 실시예"의 참조는 그 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반의 다양한 곳에서의 "일 실시예에서" 또는 "일 실시예"라는 문구의 출현들은 모두가 반드시 동일 실시예를 지칭하지는 않는다. 더구나, 그러한 특정 특징들, 구조들 또는 특성들은 하나 이상의 실시예들에서 결합될 수 있다.
스테레오 재구성을 위한 두 가지의 공지된 기존 해법은 (1) 스테레오 매칭 스테레오 재구성(예로서, 정규화된 교차 상관(normalized cross correlation)(NCC)) 및 (2) 컬러 또는 사진 일관성 최적화 기반 스테레오 재구성을 포함한다. 해법 (2)의 일례가 Y. Furukawa and J. Ponce, "Accurate, Dense, and Robust Multi-View Stereopsis," CVPR (2007)(이하, "후루까와의 방법")에 설명되어 있다.
사진 일관성은 스테레오 이미지 쌍 내의 대응 포인트들의 유사도를 나타낸다. 사진 일관성은 다음과 같이 대응 포인트들 근처의 영역들에 대해 정의될 수 있다.
Figure 112011102037751-pct00001
여기서,
A는 대응 포인트에 중심을 갖는 영역이고,
IL 및 IR은 좌측(근원) 및 우측(트랜스레이트된(translated)) 이미지들을 나타내고,
f()는 f(x)=||x||2일 수 있는 메트릭 함수(metric function)이고,
x는 이미지 포인트 위치이고,
I(x)는 포인트 x에서의 계조 값을 나타낸다.
도 1은 스테레오 이미지 쌍에 대한 패치 투영을 나타낸다. 다음은 도 1 내의 용어들의 설명이다.
C1 및 C2: 카메라
01 및 02: 2개의 카메라의 카메라 중심(축들의 교점)
b: 2개의 카메라 사이의 기준선
I1 및 I2: C1 및 C2에 의해 각각 캡처된 이미지들
P: 3D 포인트
P1, P2: 이미지 평면에서의 3D 포인트 P의 투영들
E1, E2: P1 및 P2를 지나는 에피폴 라인(epipole line)
π: 포인트 P에서의 3D 모델 표면의 접평면(tangent plane)
n: 접평면의 P에서의 법선 벡터(방향)
H: 평면 π에 의해 유도된 호모그래피 변환(homography transform)
x = P1
T(x): 근원 이미지 내의 템플릿 윈도우
W(x, p): 트랜스레이트된 이미지 내의 호모그래피 워프(warp) 윈도우
후루까와의 방법은 3D 포인트(P) 주위의 패치를 스테레오 이미지 쌍 내로 투영하고, 대응하는 투영 포인트들(p1, p2)의 사진 일관성 메트릭을 계산한다. 그러나, 위치(P)는 정확하지 않으며, 후루까와의 방법은 위치가 하나의 방향을 따라 또는 위치(P) 근처의 입방체 내에서 변경될 수 있는 것으로 가정한다. 각각의 위치에 대해 사진 일관성 측정치가 존재하며, 가장 큰 사진 일관성 측정치를 갖는 위치가 최적화된 결과일 수 있다. 후루까와의 방법을 이용한 계산의 속도는 이미지 평면들 내로의 역투영 3D 패치들로부터 수용 불가할 수 있으며, 그의 정밀도는 오리지널 위치 근처에서의 샘플링 레이트로 인해 손상된다.
다양한 실시예들은 전통적인 NCC 기반 스테레오 매칭 방법 이후에 사진 일관성 최적화를 제공하여, 스테레오 매칭 및 스테레오 재구성의 정밀도를 향상시킨다. 호모그래피 피팅(fitting)을 이용하는 다양한 실시예들은 사진 일관성 측정치를 픽셀 좌표들의 암시적인 함수로 변환하고, 분석적인 기울기를 도출한다. 최적화는, 분석적인 기울기를 갖고 효율적으로 풀 수 있는 이미지 평면들 사이의 호모그래피 피팅에 기초한다.
NCC 매칭 기반 방법에 비해, 호모그래피 피팅을 이용하는 다양한 실시예들의 사진 일관성 최적화는 대응 최적화를 통해 훨씬 더 정밀한 스테레오 재구성 결과들을 제공할 수 있다.
다양한 컬러 또는 사진 일관성 최적화 방법들(예컨대, 후루까와의 방법)은 3D 패치들의 이미지 평면 내로의 역투영을 이용한다. 그러나, 3D 패치들의 이미지 평면 내로의 역투영은 계산 집약적이고 시간 소모적이다. 따라서, 다양한 실시예들은 적어도 후루까와의 방법에 비해 계산 시간의 감소를 제공한다.
도 2는 일 실시예에 따른, 스테레오 이미지 쌍의 스테레오 재구성을 위한 프로세스를 나타낸다. 블록 202는 입력 스테레오 이미지 쌍을 수신하는 단계를 포함한다. 스테레오 이미지 쌍은 하나 이상의 디지털 카메라 또는 스테레오 카메라에 의해 입출력 인터페이스를 통해 컴퓨터 시스템에 제공될 수 있다. 입력 스테레오 이미지 쌍은 일반 이미지와 동일한 포맷을 갖는다. 예컨대, 각각의 이미지는 픽셀 계조 값 또는 컬러를 인덱싱하기 위한 좌표들로서 (x,y)를 사용하는 2D 직사각형이다.
블록 204는 입력 스테레오 이미지 쌍을 조정(rectification)하여 그들의 에피폴 라인들이 수평 또는 수직이 되게 하는 단계를 포함한다.
블록 206은 조정된 입력 스테레오 이미지 쌍에 대해 스테레오 매칭 방법들을 적용하는 단계를 포함한다. 예컨대, 블록 206은 이 스테레오 이미지 쌍으로부터의 픽셀들 사이의 초기 대응을 설정하기 위해 정규화된 교차 상관(NCC)을 적용하는 단계를 포함할 수 있다. 컴퓨터 시스템의 그래픽 처리 유닛(GPU)이 이미지 쌍 조정 및 스테레오 매칭을 수행할 수 있다.
블록 208은 근원 이미지 내의 각각의 픽셀에 대해 호모그래피 피팅을 이용하여 근원 이미지 내의 픽셀과 트랜스레이트된 이미지 내의 대응 픽셀 사이의 사진 일관성을 최적화하는 단계를 포함한다. 예컨대, 근원 이미지는 도 1의 좌측 이미지인 반면, 트랜스레이트된 이미지는 도 1의 우측 이미지이다. 컴퓨터 시스템의 중앙 처리 유닛이 호모그래피 피팅을 수행할 수 있다.
블록 210은 최적화된 대응 포인트들을 삼각 측량하여 단일 뷰 포인트로부터 3D 장면을 취득하는 단계를 포함한다. 블록들(202, 204, 206, 210)을 수행하는 데 적합한 기술들이 예컨대 H. Hirschmfuller et. al., "Real-Time Correlation-Based Stereo Vision with Reduced Border Errors," pp 229-246, Vol. 47, IJCV 2002에 설명되어 있다. 컴퓨터 시스템의 GPU가 대응 포인트들의 삼각 측량을 수행하여 단일 뷰 포인트로부터 삼차원 뷰를 취득할 수 있다.
도 2의 프로세스에서의 스테레오 재구성의 컴퓨팅 절차는 중앙 처리 유닛(CPU) 또는 그래픽 처리 유닛(GPU) 상에서 실행될 수 있다. 일반적으로, 스테레오 매칭의 가장 컴퓨팅 복잡 부분은 GPU의 벡터 처리 또는 멀티-스레드 처리 능력을 이용함으로써 가속화될 수 있는 대량의 데이터 레벨 병렬 계산(data-level parallelism)을 갖는다. 호모그래피 피팅은 CPU 상에서 실행될 수 있는 순차적 갱신 절차이다.
아래는 블록 208에서 수행되는 예시적인 프로세스를 설명한다. 호모그래피는 동일 3D 포인트 세트들에 대응하지만 상이한 카메라들로부터 관찰된 2개의 포인트 세트 사이의 맵핑이다. 호모그래피는 2개의 이미지 평면 내의 2개의 대응하는 포인트 세트를 관련시키기 위한 변환으로서 사용된다. 도 1을 참조하면, 근원 이미지 평면 내의 포인트 P1이 주어지면, 접평면(π)에 의해 유도되는 호모그래피(H)(n은 접평면의 법선)는 트랜스레이트된 이미지 평면 내의 대응 포인트 P2를 찾는 데 사용된다. 즉, 호모그래피(H)는 접평면(π)을 통해 P1을 P2로 전사한다. 평면(π)은 대응 3D 포인트(P)에서의 피사체 표면의 접평면이다.
다양한 실시예들은 사진 일관성의 최적화에서 호모그래피 파라미터들에 대해 2개 영역의 호모그래피 피팅을 적용한다. 도 1을 참조하면, 근원 이미지 내의 각각의 픽셀(P1)에 대해, 픽셀(P1)에 중심을 갖는 m x m 윈도우 T(x)가 배치되며, 여기서 x는 근원 윈도우 T(x) 내의 픽셀들의 이미지 좌표들을 나타낸다. 트랜스레이트된 이미지 내의 x의 대응 픽셀은 W(x;p)=H(p)·x로서 표시되며, 여기서 H(p)는 호모그래피 변환이다. 다양한 실시예들에서, H(p)는 스테레오 카메라의 내부 및 외부 파라미터들에 의해 주어지는 3 x 3 행렬이고, p는 대응 3D 포인트의 심도 및 법선과 관련된 3-요소 파라미터이다. 다른 타입의 호모그래피 변환들도 이용될 수 있다.
호모그래피 변환은 다음과 같이 표현될 수 있다.
Figure 112011102037751-pct00002
여기서,
Kl 및 Kr은 각각의 좌측 및 우측 카메라들의 내부 행렬들이고,
R은 2개의 카메라 사이의 회전 행렬이고,
t는 2개의 카메라 사이의 트랜스레이션 벡터(translation vector)이고,
p=n/d이며, 여기서 n은 평면(π)의 법선 벡터이고, d는 좌측 카메라 중심에서 평면(π)까지의 거리이다.
근원 이미지 내의 픽셀 x와 트랜스레이트된 이미지(I)의 워프 윈도우 W(x;p) 사이의 사진 일관성은 다음과 같이 정의된다.
Figure 112011102037751-pct00003
여기서,
T(x)는 근원 이미지 내의 템플릿 윈도우이고,
I는 트랜스레이트된 이미지이고,
W(x;p)는 트랜스레이트된 이미지 내의 호모그래피 워프 윈도우이다.
사진 일관성은 호모그래피 파라미터(p)의 비선형 음함수이다. 다양한 실시예들에서는, 사진 일관성을 개선하기 위하여, 역 구성 이미지 정렬(ICIA) 프로세스가 이용된다. ICIA 프로세스는 트랜스레이트된 이미지에서 최적화된 호모그래피 행렬 H(p) 및 최적화된 대응 픽셀을 제공하도록 수정된다. 예를 들어, 적절한 ICIA 프로세스가 S. Baker, I. Mathews, Lucas-Kanade, "20 Years On: A Unifying Framework," IJCV (2004)에 설명되어 있다. 호모그래피 피팅을 위한 예시적인 ICIA 프로세스가 도 3의 프로세스(300)와 관련하여 설명된다.
블록 302는 픽셀 포인트 x=(u, v, 1)은 물론, 카메라 쌍들의 파라미터들 및 호모그래피 파라미터(p)의 초기 값을 수신하는 단계를 포함한다. 파라미터들은 카메라의 내부 행렬 K 및 외적인 것들(extrinsics)(예컨대, 회전 행렬 R 및 트랜스레이션 벡터 t) 및 (앞서 정의된) 호모그래피 벡터(p)의 초기 값을 포함할 수 있다. 파라미터 p는 그의 정의 p=n/d에 따라 전통적인 NCC 기반 방법에 의해 초기화될 수 있다.
블록 304는 트랜스레이트된 이미지에 대한 헤시안 행렬(Hessian matrix)을 결정하는 단계를 포함한다. 예를 들어, 블록 304는 (1) 근원 윈도우 T(x)의 기울기
Figure 112011102037751-pct00004
를 평가하는 단계; (2) (x; p0)에서 p와 관련된 우측 이미지(W)에 대한 야코비안(Jacobian)을 평가하는 단계 - 여기서, 야코비안은
Figure 112011102037751-pct00005
로서 표현됨 -; 및 (3) p와 관련된 W의 헤시안 행렬을 결정하는 단계를 포함할 수 있다. 헤시안 행렬은
Figure 112011102037751-pct00006
로서 표현될 수 있다. 헤시안 행렬은 개선된 호모그래피 행렬에 대응한다.
블록 306은 트랜스레이트된 이미지 W(x; p) 내의 픽셀을 결정하는 단계를 포함한다. 예컨대, 블록 306은 (1) 트랜스레이트된 이미지(I)를 W(x; p)로 워핑함으로써 I(W(x; p))를 결정하는 단계; (2) 에러 이미지 I(W(x; p)) - T(x)를 결정하는 단계; (3) 증가 스텝
Figure 112011102037751-pct00007
를 계산하는 단계; 및 (4)
Figure 112011102037751-pct00008
를 결정함으로써 워프 W(x; p)를 갱신하는 단계를 포함할 수 있다. 블록 306의 아이템 (1)-(4)는 증가 스텝의 절대값 |△p|가 한계 값보다 작을 때까지 반복된다. 예컨대, 한계 값은 대략 0.00001일 수 있다. 프로세스(300)는 최적화된 호모그래피 행렬
Figure 112011102037751-pct00009
를 결정하는 데 사용될 수 있는 최적화된 워프 윈도우 (W(x,p))를 결정한다. 최적화된 호모그래피 행렬 H(p)는 트랜스레이트된 이미지
Figure 112011102037751-pct00010
내의 대응 픽셀을 결정하는 데 사용될 수 있다.
도 2와 관련하여 설명된 스테레오 호모그래피 피팅 기술들은 다중-뷰 스테레오 재구성에 대한 응용으로 확장될 수 있다. 다중 뷰 스테레오는 다수의 스테레오 쌍으로부터의 결과들의 조합으로서 간주될 수 있다. 도 4는 일 실시예에 따른, 다중 뷰 스테레오 재구성에 사용될 수 있는 프로세스를 나타낸다. 블록 402는 상이한 스테레오 뷰들로부터 다수의 삼차원 장면을 수신한다. 일례에서는, 3개의 뷰, 즉 뷰 C1, C2 및 C3이 존재한다. 쌍안(binocular) 스테레오 쌍들이 뷰들 C1-C2, C2-C3 및 C1-C3로부터 형성될 수 있다.
블록 404는 각각의 스테레오 쌍에 대한 스테레오 호모그래피 및 다중 뷰 정렬 및 통합을 수행한다. 각각의 스테레오 쌍에 대해, 도 2 및 3과 관련하여 설명된 스테레오 호모그래피가 적용된다. 호모그래피 피팅에 의한 최적화된 대응은 (x1, x2=w(x1))로서 정의될 수 있다. 최적화된 쌍 (x1, x2=w(x1))이 얻어진 후, 이 쌍은 예를 들어 R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," Chapter 12, Cambridge Press, Second Version (2003)에 설명된 방법에 따라 공지 카메라 파라미터들을 이용하여 삼각 측량될 수 있다. 삼각 측량은 각각의 스테레오 쌍으로부터의 대응으로부터 삼차원 포인트 X12, 즉 X12=triangulrate(x1, x2)를 산출할 수 있다.
X12가 C1-C2에 의한 삼각 측량 결과이고, X23이 C2-C3에 의한 결과이고, X13이 C1-C3에 의한 결과이며, X12, X13 및 X23이 동일 3D 포인트에 대응하는 것으로 가정한다. 3D 포인트 X는 X12, X13 및 X23의 함수, 즉 X = f(X12, X13, X23)이며, 여기서 f()는 다중 뷰 정렬 및 통합 함수이고, X12, X13 및 X23은 모두 세계 좌표들 내의 삼차원 포인트들이다. 일부 실시예들에서, 다중 뷰 정렬 및 통합 기술은 평균 함수 또는 베스트 피트(best-fit) 함수일 수 있으나, 다른 함수들도 이용될 수 있다.
예컨대, f()가 평균 함수로서 정의되는 경우, 3D 포인트는 X = (X12+ X13 + X23)/3에 의해 주어진다.
f()가 베스트 피트 함수로서 정의되는 경우, (1) 정규화된 벡터(ni)가 카메라 평면에 거의 수직이거나 (2) nij가 방향 PO에 대해 가장 작은 각도를 갖는 3D 포인트가 선택된다. 따라서, f()는 선택 함수 X = Xi로서, 정의되며, 여기서
Figure 112011102037751-pct00011
이다.
블록 406은 다수의 뷰 포인트에 기초하여 삼차원 장면을 제공한다. 블록 404에서 X로서 결정된 3D 포인트들은 삼차원 장면을 형성한다.
도 5a는 예컨대 http://vision.middlebury.edu/에서 설명된 표준 미들베리 스테레오 평가 세트 상의 스테레오 재구성의 결과들을 나타낸다. 도 5b는 호모그래피 피팅 기반 사진 일관성 최적화를 이용하는 기술들로부터의 결과를 나타낸다. 호모그래피 피팅 기반 사진 일관성 최적화를 이용하는 기술들은 적어도 이미지 선명도 면에서 전통적인 NCC 매칭 기반 방법보다 상당히 우수하다는 것을 알 수 있다.
호모그래피 피팅 기반 사진 일관성 최적화를 이용하는 기술들은 후루까와의 방법과 유사한 결과들을 제공하지만, 더 빠르게 이행된다. 표 1은 스테레오 재구성 작업을 위한 이러한 두 가지 방법의 실행 시간을 나타낸다.
Figure 112011102037751-pct00012
도 6은 본 발명의 일 실시예에 따른 컴퓨터 시스템(600)의 블록도를 나타낸다. 컴퓨터 시스템(600)은 호스트 시스템(602), 버스(616) 및 네트워크 인터페이스(620)를 포함할 수 있다. 컴퓨터 시스템(600)은 핸드헬드 개인용 컴퓨터, 이동 전화, 셋톱 박스 또는 임의의 컴퓨팅 장치에서 구현될 수 있다. 호스트 시스템(602)은 칩셋(605), 프로세서(610), 호스트 메모리(612), 저장 장치(614) 및 그래픽 서브시스템(615)을 포함할 수 있다. 칩셋(605)은 프로세서(610), 호스트 메모리(612), 저장 장치(614), 그래픽 서브시스템(615) 및 버스(616) 사이의 상호 통신을 제공할 수 있다. 예컨대, 칩셋(605)은 저장 장치(614)와의 상호 통신을 제공할 수 있는 (도시되지 않은) 저장 장치 어댑터를 포함할 수 있다. 예컨대, 저장 장치 어댑터는 다음 프로토콜들, 즉 SCSI(Small Computer Systems Interface), FC(Fibre Channel) 및/또는 S-ATA(Serial Advanced Technology Attachment) 중 어느 하나에 따라 저장 장치(614)와 통신할 수 있다.
일부 실시예들에서, 칩셋(605)은 호스트 메모리(612) 내에서 또는 네트워크 인터페이스(620)와 호스트 메모리(612) 사이에서 또는 일반적으로 컴퓨터 시스템(600) 내의 컴포넌트들의 임의의 세트 사이에서 정보의 전송들을 수행할 수 있는 데이터 이동기 논리(data mover logic)를 포함할 수 있다.
프로세서(610)는 CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서들, 멀티-코어 또는 임의의 그외의 마이크로프로세서 또는 중앙 처리 유닛으로서 구현될 수 있다.
호스트 메모리(612)는 RAM(Random Access Memory), DRAM(Dynamic Random Access memory) 또는 SRAM(Static RAM)과 같은, 그러나 이에 한정되지 않는 휘발성 메모리 장치로서 구현될 수 있다. 저장 장치(614)는 자기 디스크 드라이브, 광 디스크 드라이브, 테이프 드라이브, 내부 저장 장치, 부착형 저장 장치, 플래시 메모리, 배터리 백업형 SDRAM(synchronous DRAM) 및/또는 네트워크 액세스 가능 저장 장치와 같은, 그러나 이에 한정되지 않는 비휘발성 저장 장치로서 구현될 수 있다.
그래픽 서브시스템(615)은 표시를 위해 스틸 또는 비디오와 같은 이미지들의 처리를 수행할 수 있다. 예컨대, 그래픽 서브시스템(615)은 비디오 인코딩 또는 디코딩을 수행할 수 있다. 예컨대, 그래픽 서브시스템(615)은 도 2 내지 도 4와 관련하여 설명된 임의의 활동들과 관련하여 설명된 그래픽 처리 유닛의 활동들을 수행할 수 있다. 아날로그 또는 디지털 인터페이스를 이용하여, 그래픽 서브시스템(615)과 디스플레이(622)를 통신적으로 결합할 수 있다. 예컨대, 인터페이스는 고화질 멀티미디어 인터페이스, 디스플레이 포트(DisplayPort), 무선 HDMI 및/또는 무선 HD 추종(compliant) 기술들 중 어느 하나일 수 있다. 그래픽 서브시스템(615)은 프로세서(610) 또는 칩셋(605) 내에 통합될 수 있다. 그래픽 서브시스템(615)은 칩셋(605)에 통신적으로 결합되는 독립형 카드일 수 있다.
버스(616)는 적어도 호스트 시스템(602) 및 네트워크 인터페이스(620)는 물론, 다른 주변 장치들(도시되지 않음) 사이의 상호 통신을 제공할 수 있다. 버스(616)는 직렬 또는 병렬 통신들을 지원할 수 있다. 버스(616)는 노드 대 노드 또는 노드 대 멀티 노드 통신들을 지원할 수 있다. 버스(616)는 예를 들어 PCI Special Interest Group, Portland, Oregon, U.S.A.로부터 입수 가능한 Peripheral Component Interconnect (PCI) Local Bus Specification, Revision 3.0, February 2, 2004에 설명된 PCI(는 물론, 그의 개정판들); The PCI Express Base Specification of the PCI Special Interest Group, Revision 1.0a에 설명된 PCI Express(는 물론, 그의 개정판들); 전술한 PCI Special Interest Group, Portland, Oregon, U.S.A.로부터 입수 가능한 PCI-X Specification Rev. 1.1, March 28, 2005에 설명된 PCI-x(는 물론, 그의 개정판들); 및/또는 USB(Universal Serial Bus)(및 관련 표준들)은 물론, 다른 상호 접속 표준들과 적어도 호환 가능할 수 있다.
네트워크 인터페이스(620)는 유선 또는 무선 기술들과 같은 임의의 적용 가능한 프로토콜들에 따라 호스트 시스템(602)과 네트워크 사이의 상호 통신을 제공할 수 있다. 예를 들어, 네트워크 인터페이스는 임의의 다양한 IEEE 802.3, 802.11 또는 802.16에 따를 수 있다. 네트워크 인터페이스(620)는 버스(616)를 이용하여 호스트 시스템(602)과 상호 통신할 수 있다. 일 실시예에서, 네트워크 인터페이스(620)는 칩셋(605) 내에 통합될 수 있다.
본 명세서에서 설명되는 그래픽 및/또는 비디오 처리 기술들은 다양한 하드웨어 아키텍처들에서 구현될 수 있다. 예컨대, 그래픽 및/또는 비디오 기능은 칩셋 내에 통합될 수 있다. 대안으로서, 개별 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 실시예로서, 그래픽 및/또는 비디오 기능들은 멀티 코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 추가의 실시예에서, 기능들은 소비자 전자 장치에서 구현될 수 있다.
본 발명의 실시예들은 예를 들어, 컴퓨터, 컴퓨터들의 네트워크 또는 다른 전자 장치들과 같은 하나 이상의 머신들에 의해 실행될 때, 하나 이상의 머신들이 본 발명의 실시예들에 따른 동작들을 수행하게 할 수 있는 머신 실행가능한 명령어들을 저장한 하나 이상의 머신 판독가능한 매체들을 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 머신 판독가능한 매체는 플로피 디스켓, 광 디스크, CD-ROM(Compact Disc-Read Only Memory) 및 광자기 디스크, ROM, RAM, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory), 자기 또는 광 카드, 플래시 메모리, 또는 머신 판독가능한 명령어들을 저장하는 데 적합한 다른 타입의 매체/머신 판독가능한 매체를 포함할 수 있지만, 이에 한정되지 않는다.
도면들 및 위의 설명은 본 발명의 예들을 제공하였다. 다수의 상이한 기능적 아이템들로서 설명되었지만, 이 분야의 기술자들은 그러한 요소들 중 하나 이상이 단일 기능 요소들 내에 결합될 수도 있다는 것을 알 것이다. 대안으로서, 소정의 요소들은 다수의 기능 요소로 분할될 수 있다. 일 실시예로부터의 요소들이 다른 실시예에 추가될 수 있다. 예컨대, 본 명세서에서 설명되는 프로세스들의 순서들은 변경될 수 있고, 본 명세서에서 설명되는 방식으로 한정되지 않는다. 더욱이, 임의의 흐름도의 액션들은 도시된 순서로 구현될 필요가 없으며, 모든 단계들이 반드시 수행될 필요도 없다. 또한, 다른 단계들에 의존하지 않는 그러한 단계들은 다른 단계들과 동시에 수행될 수도 있다. 그러나, 본 발명의 범위는 그러한 특정 예들로 한정되지 않는다. 본 명세서에 명시적으로 제공되는지의 여부에 관계없이, 구조, 치수 및 재료 사용에 있어서의 차이들과 같은 다양한 변형들이 가능하다. 본 발명의 범위는 적어도 아래의 청구항들에 의해 제공되는 것만큼 넓다.

Claims (22)

  1. 컴퓨터 구현 방법으로서,
    이미지 쌍을 수신하는 단계;
    상기 이미지 쌍을 조정(rectification)하여, 에피폴라 라인들(epipolar lines)이 수평 또는 수직 중 하나가 되도록 하는 단계;
    상기 조정된 이미지 쌍에 스테레오 매칭을 수행하는 단계;
    역 구성 이미지 정렬(ICIA)을 이용하여 호모그래피 행렬 변환(homography matrix transform)을 생성하는 단계;
    근원 픽셀(root pixel)로부터 트랜스레이트된 픽셀(translated pixel)을 생성하는 단계 - 상기 생성하는 단계는 상기 근원 픽셀에 상기 호모그래피 행렬 변환을 적용하는 단계를 포함함 -;
    대응 포인트들을 삼각 측량하여 삼차원 장면을 생성하는 단계; 및
    표시를 위해 상기 삼차원 장면을 제공하는 단계
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 스테레오 매칭을 수행하는 단계는 정규화된 교차 상관(normalized cross correlation)(NCC)을 적용하는 단계를 포함하는 컴퓨터 구현 방법.
  3. 삭제
  4. 제1항에 있어서,
    근원 이미지와 트랜스레이트된 이미지의 워프 윈도우(warp window) 사이의 사진 일관성(photo-consistency)을 상기 호모그래피 행렬 변환의 음함수(implicit function)로서 정의하는 단계; 및
    상기 워프 윈도우의 사진 일관성을 개선하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 근원 픽셀로부터 트랜스레이트된 픽셀을 생성하는 단계는, 호모그래프 피팅(homograph-fitting)을 이용하여 상기 근원 픽셀과 상기 트랜스레이트된 픽셀 사이의 사진 일관성을 개선하는 단계를 포함하는 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 호모그래피 행렬은
    Figure 112013009345740-pct00013
    이고,
    여기서,
    Kl 및 Kr은 각각의 좌측 및 우측 카메라들의 내부 행렬들이고,
    R은 2개의 카메라들 사이의 회전 행렬이고,
    t는 상기 2개의 카메라들 사이의 트랜스레이션 벡터(translation vector)이고,
    p=n/d이고, 여기서 n은 평면(π)의 법선 벡터이고, d는 상기 좌측 카메라 중심으로부터 상기 평면(π)까지의 거리이고, 상기 평면(π)은 접평면(tangent plane)인 컴퓨터 구현 방법.
  7. 제1항에 있어서, 다수의 스테레오 이미지 쌍으로부터 삼차원 장면을 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
  8. 컴퓨터에 의해 수행될 때 상기 컴퓨터로 하여금,
    이미지 쌍을 수신하고,
    상기 이미지 쌍을 조정하고,
    상기 조정된 이미지 쌍에 스테레오 매칭을 수행하고,
    역 구성 이미지 정렬(ICIA)을 이용하여 호모그래피 행렬 변환을 생성하고,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하고 - 생성하기 위해 상기 컴퓨터는 상기 근원 픽셀에 상기 호모그래피 행렬 변환을 적용함 -,
    대응 포인트들을 삼각 측량하여 삼차원 장면을 생성하고,
    표시를 위해 상기 삼차원 장면을 제공하게 하는
    명령어들을 저장한 컴퓨터 판독가능한 기록매체.
  9. 제8항에 있어서,
    상기 스테레오 매칭을 수행하기 위해, 상기 컴퓨터는 정규화된 교차 상관(NCC)을 적용하는 컴퓨터 판독가능한 기록매체.
  10. 삭제
  11. 제8항에 있어서,
    상기 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금,
    근원 이미지와 트랜스레이트된 이미지의 워프 윈도우 사이의 사진 일관성을 상기 호모그래피 행렬 변환의 음함수로서 정의하고,
    상기 워프 윈도우의 사진 일관성을 개선하게 하는
    명령어들을 더 포함하는 컴퓨터 판독가능한 기록매체.
  12. 제8항에 있어서,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하기 위해, 상기 컴퓨터는 상기 근원 픽셀과 상기 트랜스레이트된 픽셀 사이의 사진 일관성을 개선하는 컴퓨터 판독가능한 기록매체.
  13. 제8항에 있어서,
    상기 호모그래피 행렬은
    Figure 112013009345740-pct00014
    이고,
    여기서,
    Kl 및 Kr은 각각의 좌측 및 우측 카메라들의 내부 행렬들이고,
    R은 2개의 카메라들 사이의 회전 행렬이고,
    t는 상기 2개의 카메라들 사이의 트랜스레이션 벡터이고,
    p=n/d이고, 여기서 n은 평면(π)의 법선 벡터이고, d는 상기 좌측 카메라 중심으로부터 상기 평면(π)까지의 거리이고, 상기 평면(π)은 접평면인 컴퓨터 판독 가능한 기록매체.
  14. 역 구성 이미지 정렬(ICIA)을 이용하여 호모그래피 행렬 변환을 생성하고,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하고 - 생성하기 위해, 프로세서는 상기 근원 픽셀에 상기 호모그래피 행렬 변환을 적용함 -,
    대응 포인트들을 삼각 측량하여 삼차원 장면을 생성하고,
    표시를 위해 상기 삼차원 장면을 제공하도록
    구성되는 상기 프로세서
    를 포함하는 장치.
  15. 제14항에 있어서,
    상기 프로세서는 멀티 코어 프로세서 및 그래픽 처리 유닛 중 적어도 하나인 장치.
  16. 삭제
  17. 제14항에 있어서,
    상기 호모그래피 행렬을 적용하기 위해, 상기 프로세서는,
    근원 이미지와 트랜스레이트된 이미지의 워프 윈도우 사이의 사진 일관성을 상기 호모그래피 행렬 변환의 음함수로서 정의하고,
    상기 워프 윈도우의 사진 일관성을 개선하는 장치.
  18. 제14항에 있어서,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하기 위해, 상기 프로세서는 상기 근원 픽셀과 상기 트랜스레이트된 픽셀 사이의 사진 일관성을 개선하는 장치.
  19. 디스플레이 장치; 및
    컴퓨터 시스템
    을 포함하고,
    상기 컴퓨터 시스템은 상기 디스플레이 장치와 통신 결합되고,
    상기 컴퓨터 시스템은
    상기 컴퓨터 시스템은 역 구성 이미지 정렬(ICIA)을 이용하여 호모그래피 행렬 변환을 생성하고,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하고 - 생성하기 위해, 상기 컴퓨터 시스템은 상기 근원 픽셀에 상기 호모그래피 행렬 변환을 적용함 -,
    대응 포인트들을 삼각 측량하여 삼차원 장면을 생성하고,
    표시를 위해 상기 삼차원 장면을 제공하는 시스템.
  20. 삭제
  21. 제19항에 있어서,
    상기 호모그래피 행렬을 적용하기 위해, 상기 컴퓨터 시스템은,
    근원 이미지와 트랜스레이트된 이미지의 워프 윈도우 사이의 사진 일관성을 상기 호모그래피 행렬 변환의 음함수로서 정의하고,
    상기 워프 윈도우의 사진 일관성을 개선하는 시스템.
  22. 제19항에 있어서,
    근원 픽셀로부터 트랜스레이트된 픽셀을 생성하기 위해, 상기 컴퓨터 시스템은 상기 근원 픽셀과 상기 트랜스레이트된 픽셀 사이의 사진 일관성을 개선하는 시스템.
KR1020117030654A 2009-05-21 2009-05-21 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 KR101310589B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2009/000554 WO2010133007A1 (en) 2009-05-21 2009-05-21 Techniques for rapid stereo reconstruction from images

Publications (2)

Publication Number Publication Date
KR20120093063A KR20120093063A (ko) 2012-08-22
KR101310589B1 true KR101310589B1 (ko) 2013-09-23

Family

ID=43125706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030654A KR101310589B1 (ko) 2009-05-21 2009-05-21 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들

Country Status (8)

Country Link
US (2) US9053550B2 (ko)
JP (1) JP5442111B2 (ko)
KR (1) KR101310589B1 (ko)
DE (1) DE112009005074T8 (ko)
ES (1) ES2400277B1 (ko)
GB (1) GB2482447B (ko)
SG (1) SG175393A1 (ko)
WO (1) WO2010133007A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2400277B1 (es) 2009-05-21 2014-04-24 Intel Corporation Técnicas para reconstrucción estéreo rápida a partir de imágenes
CN103765479A (zh) * 2011-08-09 2014-04-30 英特尔公司 基于图像的多视点3d脸部生成
US8564608B2 (en) 2011-10-28 2013-10-22 Palm, Inc. Display of visual images by fractional color gradient increments
US8923558B2 (en) * 2012-05-15 2014-12-30 Raytheon Company Moving object detection using stereo rectified images acquired from a moving aircraft
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
WO2014035204A1 (ko) * 2012-08-30 2014-03-06 (주)지에스엠솔루션 뷰 포인트에 따른 입체화 방법
WO2015035566A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Integrated presentation of secondary content
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
CN104463949B (zh) * 2014-10-24 2018-02-06 郑州大学 一种基于光场数字重聚焦的快速三维重建方法及其系统
US10142613B2 (en) 2015-09-03 2018-11-27 Kabushiki Kaisha Toshiba Image processing apparatus, image processing system, and image processing method
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
JP7013144B2 (ja) * 2016-10-12 2022-01-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10438362B2 (en) * 2017-05-31 2019-10-08 Here Global B.V. Method and apparatus for homography estimation
CN108399630B (zh) * 2018-01-22 2022-07-08 北京理工雷科电子信息技术有限公司 一种复杂场景下感兴趣区域内目标快速测距方法
CN108470150A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征四维数据采集方法及装置
DE202018003266U1 (de) 2018-07-13 2018-08-22 Siemens Schweiz Ag Überwachungseinrichtung für einen Brandmelder sowie Brandmelder mit einer derartigen Überwachungseinrichtung
CN111294584B (zh) * 2020-02-21 2020-11-20 当家移动绿色互联网技术集团有限公司 三维场景模型的展示方法、装置、存储介质及电子设备
CN117455767A (zh) * 2023-12-26 2024-01-26 深圳金三立视频科技股份有限公司 全景图像拼接方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2009043221A (ja) * 2007-08-06 2009-02-26 Samsung Sdi Co Ltd ステレオマッチングシステム及びステレオマッチング方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635392A (ja) * 1992-07-20 1994-02-10 Fujitsu Ltd 立体表示装置
JPH06265322A (ja) * 1993-03-11 1994-09-20 Canon Inc 複数画像からの視差検出方法
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US7512261B2 (en) * 2004-07-27 2009-03-31 Microsoft Corp. System and method for calibrating multiple cameras without employing a pattern by inter-image homography
JP2006285609A (ja) * 2005-03-31 2006-10-19 Canon Inc 画像処理方法、画像処理装置
JP2008097444A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 画像処理装置
JP4392507B2 (ja) * 2006-11-08 2010-01-06 国立大学法人東京工業大学 ３次元サーフェス生成方法
DE102007013431B4 (de) * 2007-03-15 2018-07-05 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene mit korrigierter Sichtbarkeit
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
KR20100015456A (ko) * 2007-04-09 2010-02-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2009023044A2 (en) * 2007-04-24 2009-02-19 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
US20100220932A1 (en) * 2007-06-20 2010-09-02 Dong-Qing Zhang System and method for stereo matching of images
CN101354796B (zh) 2008-09-05 2010-08-11 浙江大学 基于泰勒级数模型的全向立体视觉三维重建方法
CN101383051B (zh) * 2008-09-27 2011-03-23 四川虹微技术有限公司 一种基于图像重投影的视图合成方法
ES2400277B1 (es) 2009-05-21 2014-04-24 Intel Corporation Técnicas para reconstrucción estéreo rápida a partir de imágenes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2009043221A (ja) * 2007-08-06 2009-02-26 Samsung Sdi Co Ltd ステレオマッチングシステム及びステレオマッチング方法

Also Published As

Publication number Publication date
GB201118808D0 (en) 2011-12-14
US9053550B2 (en) 2015-06-09
SG175393A1 (en) 2011-12-29
DE112009005074T5 (de) 2012-11-22
JP2012527787A (ja) 2012-11-08
US20120127171A1 (en) 2012-05-24
DE112009005074T8 (de) 2012-12-27
ES2400277A2 (es) 2013-04-08
ES2400277R1 (es) 2013-07-16
WO2010133007A1 (en) 2010-11-25
KR20120093063A (ko) 2012-08-22
GB2482447B (en) 2014-08-27
US20150348266A1 (en) 2015-12-03
US9652849B2 (en) 2017-05-16
JP5442111B2 (ja) 2014-03-12
GB2482447A (en) 2012-02-01
ES2400277B1 (es) 2014-04-24

Similar Documents

Publication Publication Date Title
KR101310589B1 (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
CN111986307B (zh) 使用光度网格表示的3d对象重建
US9013482B2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
KR100755450B1 (ko) 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
US9098930B2 (en) Stereo-aware image editing
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
US20190200041A1 (en) Apparatus and method to reduce an amount of coordinate data representing an object taken by an imaging device in a three dimensional space
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Zhang et al. Intermediate cubic-panorama synthesis based on triangular re-projection
Wu et al. Automatic image interpolation using homography
Chen Multi-view image-based rendering and modeling
Plath et al. Line-preserving hole-filling for 2d-to-3d conversion
CN117671159A (zh) 三维模型的生成方法及装置、设备、存储介质
Gong Modeling and Rendering MVS Point Clouds Reconstructed from Uncalibrated Images
Vento et al. FACULTY OF ENGINEERING
Civit Rovira Multiple-camera capture system implementation
NZ739813B2 (en) Methods and systems for detecting and combining structural features in 3d reconstruction
Kannala et al. Multi-View Surface Reconstruction by Quasi-Dense Wide Baseline Matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6