KR102516495B1 - 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 - Google Patents

스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 Download PDF

Info

Publication number
KR102516495B1
KR102516495B1 KR1020220014804A KR20220014804A KR102516495B1 KR 102516495 B1 KR102516495 B1 KR 102516495B1 KR 1020220014804 A KR1020220014804 A KR 1020220014804A KR 20220014804 A KR20220014804 A KR 20220014804A KR 102516495 B1 KR102516495 B1 KR 102516495B1
Authority
KR
South Korea
Prior art keywords
temporal
pixel
image
temporal pixel
images
Prior art date
Application number
KR1020220014804A
Other languages
English (en)
Other versions
KR20220024255A (ko
Inventor
마르쿠스 그로쎄
마틴 샤퍼
사이몬 빌레케
바스티안 하렌트
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20220024255A publication Critical patent/KR20220024255A/ko
Application granted granted Critical
Publication of KR102516495B1 publication Critical patent/KR102516495B1/ko

Links

Images

Classifications

    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

일부 양태들에서, 본 명세서에 설명된 기술들은 3-차원 데이터 재구성을 향상시키기 위해 스테레오-시간적 이미지 시퀀스들에 대한 데이터 전-처리를 하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체들에 관한 것이다. 일부 양태들에서, 본 명세서에 설명된 기술들은 과포화에 의해 영향을 받는 이미지 영역들에 대한 향상된 대응 정교화를 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체들에 관한 것이다. 일부 양태들에서, 본 명세서에 설명된 기술들은 3-차원(3-D) 재구성을 향상시키기 위해 누락 대응들을 채우도록 구성된 시스템들, 방법들, 및 컴퓨터 판독가능 매체들에 관한 것이다. 기술들은 대응들이 없는 이미지 포인트들을 식별하는 것, 기존의 대응들 및/또는 다른 정보를 사용하여 근사 대응들을 생성하는 것, 근사 대응들을 크로스 체킹하여 근사 대응들이 이미지 처리에 사용되어야 하는지를 결정하는 것을 포함한다.

Description

스테레오-시간적 이미지 시퀀스들로부터 향상된 3-D 데이터 재구성을 위한 방법들 및 장치{METHODS AND APPARATUS FOR IMPROVED 3-D DATA RECONSTRUCTION FROM STEREO-TEMPORAL IMAGE SEQUENCES}
<관련 출원들에 대한 상호 참조>
본 출원은 발명의 명칭이 "METHODS AND APPARATUS FOR DATA PRE-PROCESSING FOR STEREO-TEMPORAL IMAGE SEQUENCES TO IMPROVE 3-D DATA RECONSTRUCTION"이고 2018년 4월 23일자로 출원된 미국 가특허 출원 제62/661,540호(대리인 문서 번호 C1524.70018US00호); 발명의 명칭이 "METHODS AND APPARATUS FOR CORRESPONDENCE REFINEMENT"이고 2018년 4월 23일자로 출원된 미국 가특허 출원 제62/661,545호(대리인 문서 번호 C1524.70019US00); 및 발명의 명칭이 "METHODS AND APPARATUS FOR FILLING MISSING CORRESPONDENCE FOR THREE-DIMENSIONAL RECONSTRUCTION"이고 2018년 4월 23일자로 출원된 미국 가특허 출원 제62/661,549호(대리인 문서 번호 C1524.70020US00)에 대한 35 U.S.C. § 119(e) 하에서의 이익을 주장하며, 이들 각각은 본 명세서에 전체적으로 참조로 포함된다.
<기술 분야>
본 명세서에 설명된 기술들은 일반적으로 2-차원 이미지들로부터의 3-차원(3-D) 재구성에 관한 것이다.
첨단 머신 비전 시스템들 및 그들의 기본 소프트웨어의 사용은 다양한 제조 및 품질 제어 프로세스들에서 점점 더 많이 채택되고 있다. 머신 비전을 통해 양산 제품 및 맞춤형 제품 모두를 생산할 때 더 빠르고 더 정확하며 반복 가능한 결과들이 획득될 수 있다. 통상적인 머신 비전 시스템들은 관심 영역을 향한 하나 이상의 카메라, 이미지들을 캡처하고 송신하는 프레임 그래버/이미지 프로세싱 엘리먼트들, 컴퓨터 또는 온보드 프로세싱 디바이스, 및 머신 비전 소프트웨어 애플리케이션을 실행하고 캡처된 이미지들을 조작하기 위한 사용자 인터페이스, 및 관심 영역에 대한 적절한 조명을 포함한다.
3-D 비전 시스템의 한 형태는 적어도 2대의 카메라가 그 사이의 1인치 내지 수 인치의 베이스 라인과 나란한 관계로 배치되는 것을 채택하는 스테레오 카메라들에 기초한다. 스테레오-비전 기반 시스템들은 일반적으로 에피폴라 기하학(epipolar geometry) 및 이미지 교정(image rectification)에 기초한다. 이들은 2대 이상의 카메라로부터의 교정된 이미지들에서 대응을 찾기 위해 상관 기반 방법들을 사용하거나 또는 이완 기술들과 결합될 수 있다. 그러나, 종래의 스테레오 비전 시스템들은 객체들의 정확한 3-차원 데이터 재구성들을 생성하는 능력이 제한적이다.
일부 양태들에서, 3-차원 데이터 재구성을 향상시키기 위해 스테레오-시간적 이미지 시퀀스들에 대한 데이터 전-처리를 하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 본 발명자들은, 종래의 시스템들이 2-차원 이미지들에 노이즈 감소를 적용하는 것으로 알려져 있지만, 이들 시스템들 중 어느 것도 시간적 이미지 시퀀스들에 대해 독립적인 이미지 포인트-방식 노이즈 감소를 사용할 수 없다는 것을 인식하였다. 본 발명자들은 설명된 시스템들 및 방법들이 시간적 정보에 기초하여 국소적인 노이즈 감소 기준 및 노이즈 감소 강도를 도출하는 데 특히 신규하다는 것에 주목한다. 본 발명자들은, 본 명세서에서 추가로 논의되는 바와 같이, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리함으로써 3-차원 데이터 재구성을 향상시키는 기술들을 개발하였다.
일부 실시예들에서, 설명된 시스템들 및 방법들은 2개의 이미지 사이에서 스테레오 대응을 확립하기 위한 시스템을 제공한다. 시스템은 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 장면의 이미지를 캡처하도록 배치된 2대 이상의 카메라를 포함할 수 있다. 대안적으로, 시스템은 쌍 방식의 스테레오 이미지 대응들을 생성하기 위해 일관된 방식으로 장면의 이미지들을 캡처하도록 배치된 하나 이상의 인버스 카메라(또는 프로젝터)를 갖는 하나 이상의 카메라를 포함할 수 있다. 일련의 광 패턴들이 장면에 투영될 수 있다. 일련의 광 패턴들은 하나 이상의 프로젝터에 의해 생성될 수 있다. 이미지들의 세트가 각각의 카메라로부터 캡처될 수 있다. 각각의 이미지 캡처는 일련의 투영된 광 패턴들 중 하나에 대응할 수 있다. 카메라 또는 센서로부터 캡처된 이미지들의 정렬된 세트인 시간적 픽셀 이미지, 및 수정된 시간적 픽셀 이미지가 각각의 카메라에 대해 결정될 수 있다. 각각의 센서로부터 수정된 시간적 픽셀들 사이의 대응을 결정하기 위해 에피폴라 선 검색이 사용될 수 있다. 시간적 픽셀 이미지 내의 포지션 x, y에서의 시간적 픽셀은 각각의 센서로부터 캡처된 이미지들의 세트로부터 포지션 x, y에서 수집된 픽셀 값들의 정렬된 세트로 구성된다. 수정된 시간적 픽셀 이미지 내의 포지션 x, y에서의 수정된 시간적 픽셀은 포지션 x, y에서의 시간적 픽셀의 각각의 설정된 값을 하나 이상의 임계값과 비교하고, 하나 이상의 임계값에 기초하여, 설정된 값을 시간적 픽셀 세트 값들 및/또는 공간적으로 이웃하는 시간적 픽셀 세트 값들에 기초한 다른 값으로 대체함으로써 결정된다. 대응들은 수정된 시간적 이미지만을 사용하여, 또는 수정된 시간적 및 정상 시간적 이미지를 사용함으로써 검색될 수 있다.
일부 양태들에서, 과포화와 같은 이미징 아티팩트들에 의해 영향을 받는 이미지 영역들에 대한 향상된 대응 정교화를 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 본 발명자들은, 종래의 시스템들이 그레이-값의(예를 들어, 연속적인) 시간적 조명 시퀀스들을 채택하지 않고, 과포화된 이미지 포인트들에 대한 대응 품질을 향상시키기 위해 (예를 들어, 마스크) 정보의 서브세트를 취하려고 시도한다는 것을 인식하였다. 예를 들어, 위상-시프트 방식들에서는, 위상 값 계산이 연속적인 시간적 값들 사이에 고정-위상 단계를 필요로 할 수 있기 때문에, 이러한 접근법을 채택하는 것이 어렵다. 따라서, 특정 시간적 인스턴스들을 마스킹하는 것은 위상 값 계산을 깨뜨릴 수도 있고, 또는 선택된 위상 함수를 포인트 당 포인트 기준으로 적응시킬 것을 요구할 수도 있다. 본 발명자들은, 본 명세서에서 추가로 논의되는 바와 같이, 과포화에 의해 영향을 받는 이미지 영역들에 대한 대응 정교화를 향상시킴으로써 양호한 3-D 데이터 재구성을 제공하는 기술들을 개발하였다.
일부 양태들에서, 3-D 재구성을 위해 누락 대응들을 완료하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 본 발명자들은 종래의 시스템들이 하나 이상의 이미지 포인트에 대한 대응들을 결정할 수 없다는 것을 인식하였다. 본 발명자들은 하나 이상의 이미지 포인트에 대한 근사 대응들을 결정하기 위해 다른 대응들 및/또는 데이터를 활용할 수 있는 기술들을 개발했다. 본 기술들은 근사 대응들을 크로스-체크함으로써 견고성을 추가한다. 예를 들어, 시스템이 다른 대응 검색들을 사용하여 대응이 발견되지 않는 이유(들)(예를 들어, 대응 검색들이 초기 대응을 결정할 수 없게 할 수 있는 과포화, 저-변조, 객체 텍스처, 장면-간 반사 등으로 인함)를 결정할 수 있는 경우, 크로스-체크는 근사 대응들이 유효한 것으로 허용되는 것을 보장하기 위해 사용될 수 있다. 다른 예로서, 특정 또는 다수의-특정 크로스-체크(들)를 선택함으로써, 기술들은 특정 장면에 대해 의미있는 근사 대응의 유효성을 검증하도록 구성될 수 있다.
일부 실시예들에서, 설명된 시스템들 및 방법들은 2개의 이미지 사이에서 스테레오 대응을 확립하기 위한 시스템을 제공한다. 시스템은 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 장면의 이미지들을 캡처하도록 배치된 2대 이상의 카메라를 포함할 수 있다. 대안적으로, 시스템은 쌍 방식의 스테레오 이미지 대응들을 생성하기 위해 일관된 방식으로 장면의 이미지들을 캡처하도록 배치된 하나 이상의 인버스 카메라(또는 프로젝터)를 갖는 하나 이상의 카메라를 포함할 수 있다. 일련의 광 패턴들이 장면에 투영될 수 있다. 일련의 광 패턴들은 하나 이상의 프로젝터에 의해 생성될 수 있다. 이미지들의 세트가 각각의 카메라로부터 캡처될 수 있다. 각각의 이미지 캡처는 일련의 투영된 광 패턴들 중 하나에 대응할 수 있다. 대응들은 각각의 카메라에 의해 캡처된 이미지들의 세트들에서의 이미지 포인트들에 대해 검색될 수 있다. 대응들이 없는 이미지 포인트들에 대해 근사 대응들이 계산될 수 있다. 근사 대응들 각각은 근사 대응들을 유효한 대응들로서 저장할지 여부를 결정하기 위해 크로스-체크될 수 있다.
일부 양태들에서, 시간적 픽셀 이미지를 전-처리하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 시스템은 메모리와 통신하는 프로세서를 포함하고, 프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금, 장면의 이미지들의 세트를 획득하게 하고 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각(perspective)에 의한 것임 -, 이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -, 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀을 수정하는 것을 포함하여, 제1 시간적 픽셀 이미지에 기초하여, 제1 수정된 시간적 픽셀 이미지를 생성하게 하고, 제1 시간적 픽셀을 수정하는 것은, 제1 시간적 픽셀을 메트릭과 비교하는 것, 및 비교에 기초하여, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것을 포함한다.
일부 양태들에서, 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 시스템은 메모리와 통신하는 프로세서를 포함할 수 있고, 프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금, 장면의 이미지들의 세트를 획득하게 하고 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -, 이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -, 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 포화 값들의 세트를 포함하는 포화 데이터를 생성하게 하고, 포화 값들의 세트의 각각의 포화 값은 제1 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고, 각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교된다.
일부 양태들에서, 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체가 제공된다. 시스템은 메모리와 통신하는 프로세서를 포함할 수 있고, 프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금, 장면의 이미지들의 제1 세트를 획득하게 하고 - 이미지들의 제1 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -, 이미지들의 제1 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 제1 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -, 이미지들의 제1 세트의 이미지 포인트들과 장면의 이미지들의 제2 세트의 이미지 포인트들 사이의 대응들의 세트를 결정하게 하고 - 이미지들의 제2 세트는 이미지들의 제1 세트와 상이한 시각으로부터 캡처됨 -, 대응들의 세트를 결정하는 것은, 제1 시간적 픽셀 이미지의 제1 시간적 픽셀이 이미지들의 제2 세트에 기초하여 결정된 제2 시간적 픽셀 이미지의 시간적 픽셀에 대한 대응을 결여하고 있는 것으로 결정하는 것; 및 제1 시간적 픽셀에 대해, 하나 이상의 기존의 대응에 기초하여, 제2 시간적 픽셀 이미지의 제2 시간적 픽셀에 대한 근사 대응을 생성하는 것을 포함하고, 하나 이상의 기존의 대응의 각각의 기존의 대응은, 제1 시간적 픽셀 이미지의 시간적 픽셀과 제2 시간적 픽셀 이미지의 시간적 픽셀 사이에 있고, 제1 시간적 픽셀에 대한 관계 메트릭을 충족시킨다.
따라서, 이하의 상세한 설명이 더 잘 이해될 수 있고, 본 기술 분야에 대한 현재의 기여도가 더 잘 이해될 수 있도록, 개시된 주제의 특징들을 오히려 광범위하게 개략적으로 설명하였다. 물론, 이하에서 설명되고, 첨부된 청구범위의 주제를 형성할 개시된 주제의 추가적인 특징들도 있다. 본 명세서에서 채택된 문구 및 용어는 설명의 목적을 위한 것이며, 제한적인 것으로 간주되어서는 안된다는 것이 이해되어야 한다.
도면들에서, 다양한 도면들에 예시되는 각각의 동일하거나 거의 동일한 컴포넌트는 유사한 참조 문자로 표현된다. 명확성을 위해, 모든 컴포넌트가 모든 도면들에서 라벨링되지는 않을 수 있다. 도면들은 반드시 축적대로 도시되지는 않으며, 대신에 본 명세서에 설명된 기술들 및 디바이스들의 다양한 양태들을 예시하는 것에 주안점을 둔다.
도 1은, 일부 실시예들에 따라, 2대의 카메라의 존재 시에, 특정 이미지 포인트들이 객체의 광학적 특성들에 따라 다양한 품질을 나타내는 예시적인 실시예를 도시한다.
도 2는, 일부 실시예들에 따라, 특정 이미지 포인트들이 2대의 카메라의 비-중첩 시야에서의 그들의 존재로 인해 폐색되는 예시적인 실시예를 도시한다.
도 3은, 일부 실시예들에 따라, 프로젝터 및 2대의 카메라가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 장면의 이미지들을 캡처하도록 배치되는 예시적인 실시예를 도시한다.
도 4는, 일부 실시예들에 따라, 일련의 투영된 광 패턴들 중 하나에 대응하는 한 쌍의 스테레오 이미지를 포함하는 시간적 상관의 예시적인 실시예를 도시한다.
도 5는, 일부 실시예들에 따라, 장면의 스테레오 이미지들의 예시적인 쌍을 도시한다.
도 6은, 일부 실시예들에 따라, 장면 상에 투영된 일련의 광 패턴들에 대응하는 스테레오-시간적 이미지 시퀀스들의 예시적인 쌍을 도시한다.
도 7은, 일부 실시예들에 따라, 약하게 변조된 (어두운) 이미지 포인트들을 갖는 장면의 예시적인 재구성, 및 장면의 재구성에 대해서만 대응 정교화를 하기 위한 평활화를 적용한 후의 장면의 예시적인 재구성을 도시한다.
도 8은, 일부 실시예들에 따라, 약하게 변조된 (어두운) 이미지 포인트들을 갖는 다른 장면의 예시적인 재구성, 및 장면의 재구성에 대해서만 대응 정교화를 하기 위한 평활화를 적용한 후의 장면의 예시적인 재구성을 도시한다.
도 9는, 일부 실시예들에 따라, 시간적 픽셀 이미지를 전-처리하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
도 10은, 일부 실시예들에 따라, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
도 11은, 일부 실시예들에 따라, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리하기 위한 다른 예시적인 컴퓨터화된 방법을 도시한다.
도 12는, 일부 실시예들에 따라, 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
도 13은, 일부 실시예들에 따라, 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
도 14는, 일부 실시예들에 따라, 근사 대응들을 생성하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
도 15는, 일부 실시예들에 따라, 근사 대응을 크로스-체킹하기 위한 예시적인 컴퓨터화된 방법을 도시한다.
다음의 설명에서, 개시된 주제의 시스템들 및 방법들, 및 개시된 주제에 대한 완전한 이해를 제공하기 위해 이러한 시스템들 및 방법들이 동작할 수 있는 환경 등과 관련하여 많은 특정 세부 사항들이 설명된다. 또한, 이하에서 제공되는 예들은 예시적인 것이며, 개시된 주제의 범주 내에 있는 다른 시스템들 및 방법들도 있는 것으로 고려된다는 것이 이해될 것이다.
본 명세서에 설명된 기술들은 일반적으로 2-차원 이미지들로부터의 3-차원(3-D) 재구성에 관한 것이다. 3-D 재구성은 객체들의 3D 형상 표현들을 생성하기 위해 이미지들 간의 스테레오 대응들을 확립하기 위한 시스템을 사용하여 수행될 수 있다. 이러한 3D 형상 취득 동안에 취득되는 이미지들은 객체(들)의 광학 특성들에 따라 다양한 품질을 가질 수 있고, 따라서 3D 데이터 품질에 영향을 미칠 수 있다. 객체가 광을 어떻게 재지향시키는지에 따라, 여러 물리적 특성들이 시스템의 카메라들에 대한 시각적 모습에 영향을 미칠 수 있다. 예를 들어, 광 흡수 특성들이 강한 하나 이상의 객체는 이미지들에서 어두울 수 있다. 다른 예에서, 강한 램버트 산란 특성들을 갖는 하나 이상의 객체는 이미지들에서 밝게 나타날 수 있다. 또 다른 예에서, 램버트 산란 특성들은 낮지만 강한 지향성 산란(정반사 포함) 특성들을 갖는 하나 이상의 객체는 하나의 카메라로부터의 이미지들에서는 밝게 나타날 수 있고, 상이한 시각을 갖는 다른 카메라로부터의 이미지들에서는 어둡게 나타날 수 있다.
상이한 특성들을 갖는 여러 객체들이 장면에서 결합되는 경우, 이미지들의 일부 영역들은 밝게 나타날 수도 있고(예를 들어, 과다 노출), 어둡게 나타날 수도 있고(예를 들어, 노출 부족), 및/또는 시스템의 상이한 카메라들에 대해 상이한 강도들을 가질 수도 있기 때문에, 상황이 악화될 수 있다. 도 1은 과다 노출 영역들, 노출 부족 영역들, 및 2대의 카메라의 뷰들 사이의 상이한 영역들을 포함하여 이러한 특성들을 나타내는 한 쌍의 객체 이미지(100, 150)를 도시한다.
일부 실시예들에서, 시스템은, 이러한 영역들에 대한 특수 트리트먼트 없이, (1) 잠재적인 대응들의 대략적인 추정치들로 이어지는 초기 대응-검색 - 유사성을 체크하기 위해 잠재적인 대응들의 시간적 시퀀스들 사이의 정규화된-크로스-상관이 사용됨 -; (2) 제1 단계로부터의 잠재적인 대응들에 기초하여 대응들의 위치를 더 정확하게 찾기 위해, 서브-픽셀 보간된 그레이 값들을 사용하는 정교화 단계 - 유사성을 체크하기 위해 잠재적인 대응들의 시간적 시퀀스들 사이의 정규화된-크로스-상관이 사용됨 -; 및 (3) 대응 당 3D 포인트를 계산하기 위해 특정 메트릭, 예를 들어, 유사성 임계값을 초과한 모든 발견되고 확립된 스테레오 대응들이 삼각 측량되는 것 - 전체 포인트들의 세트가 3D 데이터로 지칭될 수 있음 - 에 의해 스테레오 대응들을 결정할 수 있다. 상관이 임계값 미만인 모든 이미지 포인트들의 경우, 3D 데이터가 누락될 수 있다. 이것은 위에서 언급된 해로운 상황들로 인해 야기될 수 있다.
일부 양태들에서, 설명된 시스템들 및 방법들은 다수의 카메라들을 사용하여 캡처된 객체의 이미지 시퀀스들을 시간적으로 코딩하기 위해 통계적 패턴 프로젝터를 채택한다. 도 3은 프로젝터(304) 및 2대의 카메라(306A, 306B)가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 객체 또는 장면(302)의 이미지들을 캡처하도록 배치되는 예시적인 실시예(300)를 도시한다. 예를 들어, 프로젝터는 객체 상에 병진 패턴을 투영할 수 있고, 각각의 카메라는 객체의 12-16개의 이미지(또는 일부 다른 수의 이미지)를 포함하는 이미지 시퀀스를 캡처할 수 있다. 각각의 이미지는 이미지를 구성하는 픽셀들의 세트를 포함한다. 일부 실시예들에서, 광 패턴은 (예를 들어, 패턴 자체가 시계 방향 또는 반시계 방향으로 회전하지 않고) 패턴이 객체 또는 장면 위에서 회전하도록 수평 및/또는 수직 방향으로 시프트될 수 있다. 카메라들(306A, 306B) 각각은 전하-결합 디바이스(charge-coupled device)(CCD) 이미지 센서, 상보형 금속-산화물 반도체(complementary metal-oxide semiconductor)(CMOS) 이미지 센서, 또는 다른 적절한 이미지 센서를 포함할 수 있다. 일부 실시예들에서, 카메라들(306A, 306B) 각각은 롤링 셔터, 글로벌 셔터 또는 다른 적절한 셔터 타입을 가질 수 있다. 일부 실시예들에서, 카메라들(306A, 306B) 각각은 GigE Vision 인터페이스, 범용 직렬 버스(Universal Serial Bus)(USB) 인터페이스, 동축(coaxial) 인터페이스, FIREWIRE 인터페이스 또는 다른 적절한 인터페이스를 가질 수 있다. 일부 실시예들에서, 카메라들(306A, 306B) 각각은 하나 이상의 스마트 기능을 가질 수 있다. 일부 실시예들에서, 카메라들(306A, 306B) 각각은 C-마운트 렌즈, F-마운트 렌즈, S-마운트 렌즈 또는 다른 적절한 렌즈 타입을 가질 수 있다. 일부 실시예들에서, 카메라들(306A, 306B) 각각은 프로젝터, 예를 들어, 프로젝터(304)에 적응된 스펙트럼 필터를 가져, 프로젝터의 스펙트럼 범위 외부의 환경 광을 차단할 수 있다.
일부 실시예들에서는, 2대의 카메라로부터의 스테레오 이미지 시퀀스들로부터 3-차원 데이터를 재구성하기 위해, 이미지 포인트들(또는 픽셀들)의 대응하는 쌍들이 각각의 카메라로부터의 이미지들 사이에서 발견될 필요가 있을 수 있다. 그러나, 일부 경우들에서는, 하나의 이미지에서의 이미지 포인트가 다른 이미지에서 대응하는 포인트를 갖지 않을 수 있다. 이는 2대의 카메라의 중첩되지 않는 시야에 상주하는 이미지 포인트들의 폐색, 하나 또는 두 이미지에서의 이미지 포인트들의 과포화, 또는 하나 또는 두 이미지에서의 이미지 포인트들의 폐색 또는 흐려짐으로 이어지는 다른 적절한 팩터로 인해 발생할 수 있다. 예를 들어, 도 2는 특정 이미지 포인트들이 객체(202)의 이미지들을 캡처하는 2대의 카메라의 중첩되지 않는 시야에서 그들의 존재로 인해 폐색되는 예시적인 실시예(200)를 도시한다. 이러한 경우, 시간적 이미지들 또는 시간적 이미지들의 서브세트만을 사용하는 정규화된 크로스-상관 알고리즘이 각각의 이미지로부터 (예를 들어, 유사한 시간적 그레이 값들을 갖는) 대응하는 픽셀들의 쌍들을 결정하기 위해 두 이미지 시퀀스에 적용될 수 있다.
도 4는 일련의 투영된 광 패턴들 중 하나에 대응하는 예시적인 스테레오 이미지들(400 및 450)의 쌍을 도시한다. 예를 들어, 프로젝터(304)는 객체에 광 패턴을 투영할 수 있고, 카메라들(306A, 306B)은 스테레오 이미지들(400 및 450)을 캡처할 수 있다. 일부 실시예들에서는, 2대의 카메라로부터의 스테레오 이미지 시퀀스들로부터 3-차원 데이터를 재구성하기 위해, 픽셀들(402 및 452)과 같은 대응하는 픽셀들의 쌍들이 각각의 카메라로부터의 이미지들 사이에서 발견될 필요가 있을 수 있다.
도 5는 대응하는 픽셀들(502 및 552)을 갖는 예시적인 스테레오 이미지들(500 및 550)(및 연관된 픽셀들)의 쌍을 도시하며, 이 픽셀들은 2개의 이미지(500 및 550)에 투영된 패턴의 동일한 부분을 나타낸다. 예를 들어, 위에서 논의된 바와 같이, 프로젝터(304)는 장면에 광 패턴을 투영할 수 있고, 카메라들(306A, 306B)은 스테레오 이미지들(500 및 550)을 캡처할 수 있다. 캡처된 스테레오 이미지들(500 및 550)은 2개의 픽셀에 걸친 대응들을 식별하는 데 사용될 수 있다. 일부 실시예들에서는, 시간에 따라 캡처된 스테레오 이미지들의 시퀀스들이 대응들을 식별하는 데 사용된다. 도 5에 도시된 단일 쌍의 스테레오 이미지들에 이어, 도 6은, 프로젝터(304)가 시간에 따라 장면에 상이한 광 패턴들을 연속적으로 투영할 때, 카메라들(306A, 306B)이 대응하는 시간적 픽셀들(602 및 652)에서 스테레오-시간적 이미지 시퀀스들(600 및 650)을 캡처할 수 있음을 도시한다. 카메라들(306A, 306B) 각각은 시간에 따라 이미지 1, 2, 3, 4, ... N의 시퀀스들을 캡처할 수 있다. 시간적 픽셀들(602 및 652)은 각각 스테레오-시간적 이미지 시퀀스들(600 및 650) 전역의 픽셀들 (i, j) 및 (i', j')에 기초한다. 시간에 따라, 각각의 시간적 픽셀은 그레이 값들: G_i_j_t의 정렬된 리스트를 포함하며, 여기서 t는 이산 시간적 인스턴스 1, 2, 3, 4, ... N을 나타낸다.
일부 실시예들에서는, 시간적 이미지들 또는 시간적 이미지들의 서브세트만을 사용하는 정규화된 크로스-상관 알고리즘이 각각의 이미지로부터 (예를 들어, 유사한 시간적 그레이 값들을 갖는) 대응하는 픽셀들의 쌍들을 결정하기 위해 두 이미지 시퀀스에 적용될 수 있다. 그러나, 이러한 프로세스는 필요한 계산들을 수행하기 위해 많은 계산 노력이 요구될 수 있다. 이 프로세스는 초기 대응 할당들의 데이터를 효율적으로 처리함으로써 향상될 수 있다. 일부 실시예들에서, 제1 카메라의 각각의 픽셀에 대해, 잠재적으로 대응하는 픽셀들은 카메라들의 캘리브레이션으로 인한 편차를 보상하기 위한 임계값, 예를 들어, +/- 1 픽셀 또는 다른 적절한 값을 갖는 제2 카메라의 에피폴라 선을 따라 모든 가능한 후보들과 정규화된 크로스-상관을 수행함으로써 리트리브된다. 일례에서, 이것은 3000개의 잠재적인 쌍에 대해 정규화된 크로스 상관을 계산하는 것으로 근사되며, 이는 차원 xres × yres의 N개의 이미지의 경우에 대략 xres × yres × N × 3000의 곱셈에 해당한다(예를 들어, N = 24의 경우, 대략 94 × 109).
일부 양태들에서, 설명된 시스템들 및 방법들은 스테레오 이미지 시퀀스들로부터 쌍을 이루는 이미지들의 서브세트 또는 전부에서의 이미지 포인트들 사이의 대응 할당을 두 단계로 수행한다. 먼저, 스테레오 이미지 시퀀스들로부터 쌍을 이루는 이미지들의 서브세트 또는 전부에서의 이미지 포인트들 사이의 잠재적인 대응들의 대략적인 추정치들을 도출하기 위해 초기 대응 검색이 수행된다. 초기 대응 검색은 시간적 픽셀 값들을 사용하여 수행되며, 따라서 픽셀 레벨까지 정확하다. 둘째, 제1 단계로부터 도출된 잠재적인 대응들에 기초하여, 스테레오 이미지 시퀀스들로부터 쌍을 이루는 이미지들의 서브세트 또는 전부에서의 이미지 포인트들 사이의 더 정확한 대응들의 위치를 찾기 위해 대응 정교화 단계가 수행된다. 대응 정교화는 초기 대응 검색에서 도출된 초기 이미지 포인트들 근처에 있는 스테레오 이미지 시퀀스들로부터 쌍을 이루는 이미지들의 서브세트 또는 전부에서의 그레이 값들을 보간함으로써 수행된다. 대응 정교화는 서브-픽셀 값들을 사용하여 수행되며, 따라서 제1 단계에서의 픽셀 레벨 분석보다 정확하다. 하나 또는 두 단계에서, 분석 중인 2개의 이미지에서의 이미지 포인트들 사이의 잠재적인 및/또는 정확한 대응들을 도출하기 위해 위에서 논의된 정규화된 크로스-상관 알고리즘이 적용될 수 있다. 추가적인 세부 사항들을 포함하는 관련 설명은 공동으로 소유하고 있는 PCT 공보 번호 WO2017220598A1에서 찾을 수 있으며, 그 전체가 본 명세서에 참조로 포함된다.
일부 실시예들에서는, 객체의 스테레오 이미지 시퀀스들을 캡처하는 데 2대의 카메라가 사용되며, 이미지 취득 후, 각각의 이미지 시퀀스는 객체의 12-16개의 이미지를 포함한다. 2대의 카메라로부터의 스테레오 이미지 시퀀스들에 대한 대응 할당을 수행하기 위해, 위에서 설명된 2개의 단계가 수행될 수 있다. 제1 단계의 경우, 제1 이미지 시퀀스의 각각의 이미지 포인트를 제2 이미지 시퀀스의 대응하는 이미지 포인트와 상관시켜 가장 높은 상관을 갖는 이미지 포인트들을 찾기 위해 초기 대응 검색이 수행될 수 있다. 각각의 이미지-시퀀스가 16개의 이미지를 포함하는 예에서, 상관은 상관-"윈도우"로서 각각의 이미지 포인트의 16개의 시간적 그레이 값을 사용하고 카메라 1과 카메라 2로부터의 적절한 이미지 포인트들의 쌍들을 상관시킴으로써 수행된다. 제1 단계의 끝부분에서는, 도출된 대략적인 추정치들이 잠재적인 대응들의 잠재적인 후보들을 제공하는데, 이들은 검색이 픽셀 값들을 사용하여 수행되었기 때문에, 픽셀-레벨까지 정확하다. 제2 단계의 경우, 서브-픽셀 정확도로 잠재적인 대응들로부터 더 정확한 대응들을 도출하기 위해 대응 정교화가 수행될 수 있다. 각각의 이미지 시퀀스가 16개의 이미지를 포함하는 예에서, 대응 정교화 프로세스는 제1 이미지 시퀀스의 이미지들 전역의 각각의 픽셀에 대한 그레이 값 시퀀스에 기초하여, 제1 단계에서 도출된 초기 이미지 포인트 근처에 있는 제2 이미지 시퀀스로부터의 쌍을 이루는 이미지들의 서브세트 또는 전부에서의 그레이 값들을 보간한다. 이 예에서, 대응 정교화를 수행하는 단계는 주어진 서브픽셀-포지션에서 제2 이미지 시퀀스로부터의 이미지들에서 그레이 값들을 16회 보간하는 단계를 포함할 수 있다. 상관은 카메라 1의 이미지 포인트의 시간적 윈도우 및 카메라 2의 서브픽셀-포지션에서의 보간된 시간적 윈도우에 대해 수행될 수 있다.
일부 실시예들에서, 과다 노출 영역들, 노출 부족 영역들, 및 2대의 카메라의 뷰들 사이의 상이한 영역들을 포함하여 상이한 특성들을 나타내는 것에 의해 영향을 받는 3D 데이터의 낮은 품질을 다루기 위해, 본 발명자들은, 예를 들어, 노출 부족 이미지 영역들, 과다 노출 이미지 영역들 및/또는 3D 데이터가 누락된 이미지 포인트들을 다루기 위해 이하에 설명된 기술들을 제안하였다.
일부 양태들에서, 본 명세서에서 논의된 기술들은 3-차원 데이터 재구성을 향상시키기 위해 스테레오-시간적 이미지 시퀀스들에 대한 데이터 전-처리를 위해 사용될 수 있다. 본 발명자들은, 종래의 시스템들이 2-차원 이미지들에 노이즈 감소를 적용하는 것으로 알려져 있지만, 이들 시스템들 중 어느 것도 시간적 이미지 시퀀스들에 대해 독립적인 이미지 포인트-방식 노이즈 감소를 사용할 수 없다는 것을 인식하였다. 본 발명자들은 설명된 시스템들 및 방법들이 시간적 정보에 기초하여 국소적인 노이즈 감소 기준 및 노이즈 감소 강도를 도출하는 데 특히 신규하다는 것에 주목한다. 본 발명자들은, 본 명세서에서 추가로 논의되는 바와 같이, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리함으로써 3-차원 데이터 재구성을 향상시키는 기술들을 개발하였다.
(예를 들어, 이미저들로부터 오는) 이미지 노이즈가 데이터에 상당히 영향을 미칠 수 있는 일부 양태들에서, 상관 레벨은 감소될 수 있고, 재구성된 3-차원 데이터에 계통 오차들이 나타날 수 있다. 이는 불완전하게 변조된 포인트들, 높은 이미저 노이즈(일부 실시예들에서는, 양호하게-변조된 이미지 포인트들의 경우에서도), 또는 그 결합으로 인한 것일 수 있다. 설명된 시스템들 및 방법들은 2가지 이슈, 즉, 대응들의 상관 레벨을 증가시키는 것, 및 3-차원 재구성에서 계통 오차들을 제거하는 것을 다룬다. 본 발명자들은 다수의 데이터 세트들에 대한 CPU 및 GPU 구현에 의해 이 접근법을 성공적으로 테스트하였다.
설명된 시스템들 및 방법들은 시간적 이미지 시퀀스들의 대응 할당 알고리즘에 의미 있는 방식으로 노이즈를 감소시킨다. 설명된 시스템들 및 방법들의 두 가지 별개의 응용이 아래에 설명되어 있다. 먼저, 설명된 시스템들 및 방법들은 스테레오 이미지 시퀀스들을 취득하고, 이어서 스테레오 이미지 시퀀스들이 처리된다.
일부 양태들에서, 설명된 시스템들 및 방법들은 초기 대응 검색을 강화시키기 위해 스테레오 이미지 시퀀스들을 전-처리하는 것을 제공한다. 일부 실시예들에서는, 원본 시퀀스들의 사본이 생성된다.
도 9는, 일부 실시예들에 따라, 시간적 픽셀 이미지를 전-처리하기 위한 예시적인 컴퓨터화된 방법(900)을 도시한다. 시간적 픽셀 이미지를 전-처리하기 위한 시스템은 메모리와 통신하는 프로세서를 포함할 수 있다. 프로세서는, 프로세서로 하여금, 컴퓨터화된 방법을 수행하게 하는, 메모리에 저장된 명령어들을 실행하도록 구성될 수 있다.
단계(902)에서, 시스템은 장면의 이미지들의 세트를 획득할 수 있다. 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것일 수 있다.
단계(904)에서, 시스템은, 이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성할 수 있다. 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함할 수 있다.
단계(906)에서, 시스템은, 제1 시간적 픽셀 이미지에 기초하여, 제1 수정된 시간적 픽셀 이미지를 생성할 수 있다. 시스템은 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀을 수정함으로써 제1 수정된 시간적 픽셀 이미지를 생성할 수 있다. 시스템은 제1 시간적 픽셀을 메트릭과 비교하고, 비교에 기초하여, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값, 예를 들어, 제1 시간적 픽셀 및/또는 제1 시간적 픽셀의 공간적 이웃의 하나 이상의 시간적 픽셀의 가우시안 평활화로부터 도출된 픽셀 값으로 대체함으로써 제1 시간적 픽셀을 수정할 수 있다. 예를 들어, 픽셀 값은 제1 시간적 픽셀 및 제1 시간적 픽셀의 공간적 이웃의 8개의 시간적 픽셀에 적용되는 커널 사이즈 3×3의 가우시안 필터(Gaussian filter)를 사용하여 도출될 수 있다.
일부 실시예들에서, 하나 이상의 메트릭이 사용될 수 있다. 예를 들어, 메트릭, 예를 들어, 임계값은 이미지들의 세트 내의 노출 부족의 정도와 관련될 수 있다. 일부 실시예들에서, 제1 시간적 픽셀을 메트릭과 비교하는 단계는 제1 시간적 픽셀의 픽셀 값들의 최대값이 메트릭, 예를 들어, 이하 도 10과 관련하여 설명되는 MAX_THRESHOLD와 같은 임계값 미만인지 여부를 비교하는 단계를 포함할 수 있다. 일부 실시예들에서, 제1 시간적 픽셀을 메트릭과 비교하는 단계는 제1 시간적 픽셀의 각각의 픽셀 값이 메트릭, 예를 들어, 이하 도 11과 관련하여 설명되는 INDIVIDUAL_THRESHOLD와 같은 임계값 미만인지 여부를 비교하는 단계를 포함할 수 있다. 일부 실시예들에서, 다른 적용 가능한 메트릭은 값들, 즉, 최대 픽셀 값과 최소 픽셀 값 사이의 차이, 또는 변조, 또는 다르게는 시간적 픽셀의 픽셀 값들의 세트의 평균 제곱근 편차의 범위일 수 있다.
일부 실시예들에서, 시스템은 이미지들의 세트와 이미지들의 세트의 시각과 상이한 시각으로부터 캡처된 이미지들의 제2 세트 사이의 스테레오 대응을 결정할 수 있다. 시스템은 제1 수정된 시간적 픽셀 이미지, 및 이미지들의 제2 세트에 기초하여 결정된 제2 수정된 시간적 픽셀 이미지에 기초하여 스테레오 대응을 결정할 수 있다.
일부 실시예들에서, 각각의 카메라의 주어진 이미지 포인트에 대해, 전체 시간적 시퀀스의 최대 그레이 값이 메트릭, 예를 들어, 임계값 미만인지 여부가 체크된다. 예시적인 목적들을 위해, 후속하는 예들은 이 임계값을 참조하는 데 MAX_THRESHOLD를 사용한다. MAX_THRESHOLD는 사용자-특정 임계값, 카메라-특정 임계값 또는 다른 적절한 임계값일 수 있다. 이 경우, 시퀀스 내의 이 이미지 포인트의 각각의 시간적 그레이 값의 인스턴스는 이 이미지 포인트의 개개의 공간적 이웃의 평활화로부터 도출된 그레이 값에 의해 대체된다. 평활화는, 예를 들어, 가우시안 평활화(Gaussian smoothing), 양방향 필터(bilateral filter) 및/또는 다른 필터링일 수 있다. 이들 수정된 이미지 시퀀스들에 대해 초기 대응 검색이 수행된다. 도 10 및 관련 설명이 이 프로세스에 대한 더 자세한 사항을 제공한다.
일부 실시예들에서는, 각각의 카메라의 주어진 이미지 포인트 및 각각의 시간적 그레이 값의 인스턴스에 대해, 이 시간적 인스턴스의 그레이 값이 메트릭, 예를 들어, 임계값 미만인지 여부가 체크된다. 예시적인 목적들을 위해, 후속하는 예들은 이 임계값을 참조하는 데 INDIVIDUAL_THRESHOLD를 사용한다. INDIVIDUAL_THRESHOLD은 사용자-특정 임계값, 카메라-특정 임계값 또는 다른 적절한 임계값일 수 있다. INDIVIDUAL_THRESHOLD는 MAX_THRESHOLD와 동일할 수도 있고, 또는 이와 상이할 수도 있다. 이 경우, 시퀀스 내의 이 이미지 포인트의 INDIVIDUAL_THRESHOLD 미만인 시간적 그레이 값의 인스턴스는 이 이미지 포인트의 시간적 인스턴스의 개개의 공간적 이웃의 평활화(예를 들어, 가우시안 평활화, 양방향 필터 등)로부터 도출된 그레이 값에 의해 대체된다. 이들 수정된 이미지 시퀀스들에 대해 초기 대응 검색이 수행된다. 수정된 이미지 시퀀스들에 대해 초기 대응 검색이 수행된다. 수정된 또는 원본 시퀀스에 대해 대응 정교화 단계가 수행될 수 있다. 도 11 및 관련 설명이 이 프로세스에 대한 더 자세한 사항을 제공한다.
초기 대응 검색만을 위해 평활화된 이미지 시퀀스를 사용하면 다음의 예시적인 이점들 중 하나 이상을 가질 수 있다. 상관-레벨이 증가하고 모아레-효과(moir
Figure 112022012774683-pat00001
-effect)들이 최소화됨에 따라, 더 많은 유효 포인트들이 할당될 수 있다. 원본 시퀀스들에 대해 서브픽셀-정교화가 수행될 수 있으므로, 횡방향 및 축방향 해상도는 영향을 받지 않을 수 있다. 인스턴스 당 임계값 옵션이 사용되는 경우, 원본 데이터는 최소한의 가능한 방식으로 수정되므로, 개별 이미지 포인트들의 약하게-변조된 시간적 인스턴스들에 대해서만 활성화될 수 있다.
일부 실시예들에서, 구현은 CUDA 병렬 컴퓨팅 플랫폼과 같은 특정 컴퓨팅 플랫폼들에서 효율적으로 작동하기 위해 특정 방식으로 수행될 수 있다. 대응 검색 알고리즘은 8-비트 정수 포맷으로만 스테레오 이미지 시퀀스들을 소비할 수 있다. 32-비트-부동-소수점 포맷을 갖는 별개의 스테레오 이미지 시퀀스 인스턴스가 할당될 수 있고, 모든 이미지 포인트들에 대한 평활화가 병렬로 수행될 수 있다. 실제 대응 검색 알고리즘이 실행되기 직전에, 원본 이미지 시퀀스들은 위에서 설명된 전-처리 방법에 따라 수정될 수 있다. 그러나, 평활화된 그레이 값들을 온-더-플라이(on-the-fly) 방식으로 계산하는 대신에, 평활화된 이미지 포인트들이 이전에 계산된 32-비트-부동 소수점 스테레오 이미지 시퀀스로부터 판독될 수 있다. 또한, 결과적인 그레이 값들이 업-스케일링될 수 있으므로, 매 시간적 그레이 값 시퀀스의 최대값은 정확히 255이다. 이것은 8-비트 정수들의 전체 동적 범위를 활용하고, 부동 소수점으로부터 정수로의 반올림 오차들을 최소화하기 위해 수행될 수 있다(이 시나리오에서는, 소수 부분이 매우 중요할 수 있다). 이것은, 예를 들어, 대응 검색 알고리즘이 모든 이전 스케일링을 제거하는 정규화 단계를 수행할 수 있기 때문에 사용될 수 있다.
일부 실시예들에서, 이미지 평활화는 초기 대응들의 견고성 및 양을 증가시킬 수 있기 때문에, 초기 대응 검색을 위한 것일 수 있다.
일부 양태들에서, 설명된 시스템들 및 방법들은 대응 정교화를 강화시키기 위해 스테레오 이미지 시퀀스들을 전-처리하는 것을 제공한다. 일부 실시예들에서는, 원본 시퀀스들의 사본이 생성된다.
일부 실시예들에서, 각각의 카메라의 주어진 이미지 포인트에 대해, 전체 시간적 시퀀스의 최대 그레이 값이 임계값 미만인지 여부가 체크된다. 예시적인 목적들을 위해, 후속하는 예들은 이 임계값을 참조하는 데 MAX_THRESHOLD를 사용한다. MAX_THRESHOLD는 사용자-특정 임계값, 카메라-특정 임계값 또는 다른 적절한 임계값일 수 있다. 이 경우, 시퀀스 내의 이 이미지 포인트의 각각의 시간적 그레이 값의 인스턴스는 이 이미지 포인트의 개개의 공간적 이웃의 평활화(예를 들어, 가우시안 평활화, 양방향 필터 등)로부터 도출된 그레이 값에 의해 대체된다. 이들 수정된 이미지 시퀀스들에 대해 대응 정교화가 수행된다. 도 10 및 관련 설명이 이 프로세스에 대한 더 자세한 사항을 제공한다.
일부 실시예들에서는, 각각의 카메라의 주어진 이미지 포인트 및 각각의 시간적 그레이 값의 인스턴스에 대해, 이 시간적 인스턴스의 그레이 값이 임계값 미만인지 여부가 체크된다. 예시적인 목적들을 위해, 후속하는 예들은 이 임계값을 참조하는 데 INDIVIDUAL_THRESHOLD를 사용한다. INDIVIDUAL_THRESHOLD은 사용자-특정 임계값, 카메라-특정 임계값 또는 다른 적절한 임계값일 수 있다. INDIVIDUAL_THRESHOLD는 MAX_THRESHOLD와 동일할 수도 있고, 또는 이와 상이할 수도 있다. 이 경우, 시퀀스 내의 이 이미지 포인트의 INDIVIDUAL_THRESHOLD 미만인 시간적 그레이 값의 인스턴스는 이 이미지 포인트의 시간적 인스턴스의 개개의 공간적 이웃의 평활화(예를 들어, 가우시안 평활화, 양방향 필터 등)로부터 도출된 그레이 값에 의해 대체된다. 이들 수정된 이미지 시퀀스들에 대해 대응 정교화가 수행된다. 도 11 및 관련 설명이 이 프로세스에 대한 더 자세한 사항을 제공한다.
대응 정교화만을 위해 평활화된 이미지-시퀀스를 사용하면 다음의 예시적인 이점들 중 하나 이상을 가질 수 있다. 위에서 설명된 시간적 시퀀스 당 또는 인스턴스 옵션 당 조건들을 수행한 이미지 포인트들에 대해 축방향 해상도는 향상될 수 있지만, 이들 조건들을 수행한 이미지 포인트들에 대해서는 횡방향 해상도가 감소될 수 있다. (예를 들어, 이미지에서 어두운) 어두운 표면들의 경우, 체계적인 계단형 효과들이 제거될 수 있다. 전반적인 상관 레벨은 증가될 수 있다.
일부 실시예들에서, 구현은 CUDA 병렬 컴퓨팅 플랫폼과 같은 특정 컴퓨팅 플랫폼들에서 효율적으로 작동하기 위해 특정 방식으로 수행될 수 있다. 대응 검색 알고리즘은 8-비트 정수 포맷으로만 스테레오 이미지 시퀀스들을 소비할 수 있다. 32-비트-부동-소수점 포맷을 갖는 별개의 스테레오 이미지 시퀀스 인스턴스가 할당될 수 있고, 모든 이미지 포인트들에 대한 평활화가 병렬로 수행될 수 있다. 실제 대응 정교화 알고리즘이 실행되기 직전에, 원본 이미지 시퀀스들은 위에서 설명된 전-처리 방법에 따라 수정될 수 있다. 그러나, 평활화된 그레이 값들을 온-더-플라이 방식으로 계산하는 대신에, 평활화된 이미지 포인트들이 이전에 계산된 32-비트-부동 소수점 스테레오 이미지 시퀀스로부터 판독될 수 있다. 또한, 결과적인 그레이 값들이 업-스케일링될 수 있으므로, 매 시간적 그레이 값 시퀀스의 최대값은 정확히 255이다. 이것은 8-비트 정수들의 전체 동적 범위를 활용하고, 부동 소수점으로부터 정수로의 반올림 오차들을 최소화하기 위해 수행될 수 있다(이 시나리오에서는, 소수 부분이 매우 중요할 수 있다). 대응 정교화 알고리즘은 모든 이전 스케일링을 제거하는 정규화 단계를 수행할 수 있기 때문에, 결점이 없을 수 있다.
일부 실시예들에서는, 이미지 평활화가 (예를 들어, 이미지에서 어두운) 어두운 표면들에 대한 대응 할당을 향상시키기 위해 서브픽셀-정교화에 사용될 수 있다. 이는 양호하게-포화된 이미지 영역들에 대한 성능 저하를 피하기 위해 특정 임계값 미만의 그레이 값을 갖는 이미지 포인트들 및 시간적 인스턴스들에 대해서만 적용될 수 있다. 일부 실시예들에서는, 더 큰 노이즈의 이미저를 갖는 인스턴스들에서 디폴트로 이미지 평활화를 사용하는 것이 유리할 수 있다.
도 7은 약하게 변조된 (예를 들어, 어두운) 이미지 포인트들을 갖는 장면의 재구성(700)을 도시한다. 대응 정교화에 대해서만 위에서 설명된 평활화를 적용하면, 동일한 데이터 세트로부터 도출된 장면의 다른 재구성(750)에 나타난 바와 같이 재구성으로부터 계통 오차들을 제거한다. 예를 들어, 재구성(700)의 일부(702)는 평활화가 적용된 후에 재구성(750)의 대응하는 일부(752)로부터 제거되는 계단형 아티팩트들을 나타낸다. 또한, 양호하게-변조되는 피처들에 대해서는 데이터가 영향을 받지 않고 남아있다는 것에 유의하도록 한다. 예를 들어, 재구성(700)의 일부(704)는 평활화가 적용된 후에도 재구성(750)의 대응하는 일부(754)에 존재하는 채로 남아있는 계단형 피처들을 나타낸다.
도 8은 약하게 변조된 (예를 들어, 어두운) 이미지 포인트들을 갖는 장면의 재구성(800)을 도시한다. 대응 정교화에 대해서만 위에서 설명된 평활화를 적용하면, 동일한 데이터 세트로부터 도출된 장면의 다른 재구성(850)에 나타난 바와 같이 재구성으로부터 계통 오차들을 제거한다. 예를 들어, 재구성(800)의 일부(802)는 평활화가 적용된 후에 재구성(850)의 대응하는 일부(852)로부터 제거되는 계단형 아티팩트들을 나타낸다.
일부 실시예들에서는, 위에서 설명된 평활화가 과포화된 이미지 포인트들을 포함하지 않는데, 왜냐하면 이들이 유효한 정보를 보유하지 않고, 이들 이미지 포인트들의 사용이 대응 할당 정확도를 감소시킬 수 있기 때문이다. 이는 양방향 필터링에 의해 달성될 수 있다.
일부 실시예들에서, 이미지 포인트들이 MAX_THRESHOLD 또는 INDIVIDUAL_THRESHOLD 미만으로 떨어지자마자의 3-차원 노이즈의 급강하는 모든 이미지 포인트들에 적용되는 평활화를 사용함으로써 보상될 수 있으며, 여기서 강도는 이미지 포인트의 최대 그레이 값에 따라 좌우된다. 따라서, 이미지 포인트가 더 어두워질수록, 유리한 효과들이 점점 더 나타나기 시작할 수 있다.
도 10은, 일부 실시예들에 따라, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리하기 위한 예시적인 컴퓨터화된 방법(1000)을 도시한다. 설명된 전-처리는 초기 대응 검색만을 위해, 대응 정교화만을 위해, 또는 이들의 조합을 위해 적용될 수 있다. 단계(1002)에서, 프로세스가 시작된다. 단계(1004)에서, 카메라들 중 하나로부터 시간적 이미지 시퀀스가 수신된다. 예를 들어, 2대의 카메라 중 하나로부터 객체의 12-16개의 이미지의 시간적 시퀀스가 수신된다. 단계(1006)에서, 시간적 이미지 시퀀스의 이미지 포인트가 선택된다. 단계(1008)에서, 이미지 포인트의 시간적 시퀀스의 최대 그레이 값이 MAX_THRESHOLD 미만인지 여부가 체크된다. 이미지 포인트의 시간적 시퀀스의 최대 그레이 값이 MAX_THRESHOLD 미만인 경우, 단계(1010)에서, 이미지 포인트의 시간적 시퀀스의 각각의 인스턴스는 이 이미지 포인트의 각각의 공간적 이웃의 평활화로부터 도출된 그레이 값으로 대체된다. 평활화는, 예를 들어, 가우시안 필터, 양방향 필터 등일 수 있다. 단계(1010)에 이어(또는, 이미지 포인트의 시간적 시퀀스의 최대 그레이 값이 MAX_THRESHOLD 미만이 아닌 경우에는, 단계(1008)에 이어), 단계(1012)에서, 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있는지 여부가 체크된다. 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있는 경우, 단계(1006)에서, 다른 이미지 포인트가 시간적 이미지 시퀀스로부터 선택된다. 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있지 않은 경우, 단계(1014)에서, 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있는지 여부가 체크된다. 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있는 경우, 단계(1004)에서, 다른 카메라로부터의 시간적 이미지 시퀀스가 수신된다. 예를 들어, 2대의 카메라 중 다른 카메라로부터 객체의 12-16개의 이미지의 시간적 시퀀스가 수신된다. 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있지 않은 경우, 단계(1016)에서, 프로세스는 종료된다.
도 11은, 일부 실시예들에 따라, 스테레오-시간적 이미지 시퀀스들에 대한 데이터를 전-처리하기 위한 다른 예시적인 컴퓨터화된 방법(1100)을 도시한다. 설명된 전-처리는 초기 대응 검색만을 위해, 대응 정교화만을 위해, 또는 이들의 조합을 위해 적용될 수 있다. 단계(1102)에서, 프로세스가 시작된다. 단계(1104)에서, 카메라들 중 하나로부터의 시간적 이미지 시퀀스가 수신된다. 예를 들어, 2대의 카메라 중 하나로부터 객체의 12-16개의 이미지의 시간적 시퀀스가 수신된다. 단계(1106)에서, 시간적 이미지 시퀀스의 이미지 포인트가 선택된다. 단계(1108)에서, 이미지 포인트의 시간적 시퀀스의 인스턴스가 선택된다. 단계(1110)에서, 이미지 포인트의 시간적 시퀀스에서 선택된 인스턴스의 그레이 값이 INDIVIDUAL_THRESHOLD 미만인지 여부가 체크된다. 선택된 인스턴스의 그레이 값이 INDIVIDUAL_THRESHOLD 미만인 경우, 단계(1112)에서, 이미지 포인트의 시간적 시퀀스에서 선택된 인스턴스는 이 이미지 포인트의 시간적 인스턴스의 각각의 공간적 이웃의 평활화로부터 도출된 그레이 값으로 대체된다. 단계(1112)에 이어(또는, 선택된 인스턴스의 그레이 값이 INDIVIDUAL_THRESHOLD 미만이 아닌 경우에는, 단계(1110)에 이어), 단계(1114)에서, 분석될 이미지 포인트의 시간적 시퀀스의 인스턴스가 남아 있는지 여부가 체크된다. 분석될 이미지 포인트의 시간적 시퀀스의 인스턴스가 남아 있는 경우, 단계(1108)에서, 이미지 포인트의 시간적 시퀀스의 다른 인스턴스가 선택된다. 분석될 이미지 포인트의 시간적 시퀀스의 인스턴스가 남아 있지 않은 경우, 단계(1116)에서, 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있는지 여부가 체크된다. 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있는 경우, 단계(1106)에서, 다른 이미지 포인트가 시간적 이미지 시퀀스로부터 선택된다. 분석될 시간적 이미지 시퀀스의 이미지 포인트가 남아 있지 않은 경우, 단계(1118)에서, 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있는지 여부가 체크된다. 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있는 경우, 단계(1104)에서, 다른 카메라로부터의 시간적 이미지 시퀀스가 수신된다. 예를 들어, 2대의 카메라 중 다른 카메라로부터 객체의 12-16개의 이미지의 시간적 시퀀스가 수신된다. 분석될 다른 카메라로부터의 시간적 이미지 시퀀스가 남아 있지 않은 경우, 단계(1120)에서, 프로세스가 종료된다.
일부 양태들에서, 본 명세서에서 논의된 기술들은 과포화와 같은 이미징 아티팩트들에 의해 영향을 받는 이미지 영역들에 대한 향상된 대응 정교화를 위해 사용될 수 있다. 예를 들어, 픽셀 값의 범위가 0-255인 경우, 255에 가까운 값은 과포화된 값으로 간주될 수 있다. 참값은 255보다 클 수 있지만(예를 들어, 280, 300 등), 픽셀을 사용하여 표현될 수 없으므로, 과포화된 픽셀들이 유용한 정보를 제공하지 못할 수 있다(예를 들어, 3-D 재구성에 사용되지 않게 된다). 위에서 언급된 바와 같이, 본 발명자들은 종래의 시스템들이 그레이-값의 시간적 조명 시퀀스들을 채택하지 않고, 과포화된 이미지 포인트들에 대한 대응 품질을 향상시키기 위해 정보의 서브세트를 취하려고 시도한다는 것을 인식하였다. 예를 들어, 위상-시프트 방식들에서는, 위상 값 계산이 연속적인 시간적 값들 사이에 고정-위상 단계를 필요로 할 수 있기 때문에, 이러한 접근법을 채택하는 것이 어려울 수 있다. 따라서, 특정 시간적 인스턴스들을 마스킹하는 것은 위상 값 계산을 깨뜨릴 수도 있고, 또는 선택된 위상 함수를 포인트 당 포인트 기준으로 적응시킬 것을 요구할 수도 있다. 본 발명자들은, 본 명세서에서 추가로 논의되는 바와 같이, 과포화에 의해 영향을 받는 이미지 영역들에 대한 대응 정교화를 향상시킴으로써 양호한 3-D 데이터 재구성을 제공하는 기술들을 개발하였다. 설명된 시스템들 및 방법들은 초기 포인트 검색으로부터의 대응들을 정교화하기 위해 취득된 이미지 시퀀스 정보의 유효한 시간적 인스턴스들(예를 들어, 과포화되지 않거나 과다 노출되지 않음)을 나타내기 위해 포화 값들의 세트와 같은 포화 데이터를 사용한다. 예를 들어, 각각의 포화 값은 이진 값일 수 있다. 예를 들어, 각각의 포화 값은 대응하는 픽셀 값이 유효한지 여부, 예를 들어, 픽셀 값이 과다 노출되었는지 여부를 나타낼 수 있다. 일부 실시예들에서, 포화 값들의 세트는 유효한 값(예를 들어, 과다 노출되지 않음)을 포함하는 각각의 시간적 인스턴스를 나타내는 상관 마스크의 형태를 취할 수 있다. 일부 실시예들에서, 초기 대응들이 이용 가능한 경우, 포화 데이터는 대응의 시간적 픽셀 값이 과포화되었는지 여부에 대한 지시를 저장할 수 있다. 이 데이터는, 대응의 시간적 인스턴스가 과포화되지 않은 경우, 예를 들어, 초기 대응의 과포화된 시간적 인스턴스들을 외삽함으로써 대응 정교화를 향상시키는 데 사용될 수 있다.
일부 실시예들에서, 기술들은 초기 대응 검색 단계에만, 대응 정교화 단계에만, 또는 이들의 조합에 동일하게 적용 가능할 수 있다. 과포화된 이미지 포인트들의 경우, 초기 대응 검색은 심각한 과포화 시나리오들에서도 유효한 후보들을 생성할 수 있다. 그러나, 과포화에 의해 영향을 받는 대응들의 정교화는 여전히 초기 대응 검색에 의해 제공되는 초기 후보 좌표들에 대한 양호한 향상으로 이어지지 않을 수 있다. 대응 좌표들을 정교화하기 위해 서브-픽셀 그레이 값들이 종종 보간될 필요가 있지만, 과포화된 지원 포인트들에 기초한 보간은 의미 있는 서브-픽셀 그레이 값들을 생성하지 않을 수 있기 때문에, 정교화 단계가 향상되지 않을 수 있다. 본 발명자들은 위에서 설명된 정교화 알고리즘과 비교하여 과포화에 의해 영향을 받는 해당 대응들에 대한 정교화 정확도를 향상시키는 것이 바람직하다는 것을 인식하였다. 이는 과포화가 불가피한 상황(예를 들어, 알려지지 않은 다양한 객체들을 선택 및/또는 배치) 및/또는 하이 다이내믹 범위(high dynamic range)(HDR) 모드가 요구되지 않거나(예를 들어, 짧은 측정 시간이 요구됨) 또는 도움이 되지 않는 상황(예를 들어, 정반사로부터 기인하는 과포화가 HDR을 사용할 때에도 대처하기 어려울 수 있음)들에 대한 설명된 시스템들 및 방법들의 적용 가능성을 증가시킬 수 있다.
대응 정교화를 위한 설명된 시스템들 및 방법들은, 과포화의 경우, 특히 더 긴 시퀀스 취득들 동안 정교화 결과들을 크게 향상시킬 수 있다. 기술들은 초기 포인트 검색으로부터의 대응들을 정교화하기 위해 취득된 정보의 유효한 시간적 인스턴스들(예를 들어, 과포화되지 않거나 과다 노출되지 않음)을 사용한다. 먼저, 기술들은 스테레오 이미지 시퀀스들을 취득하고, 이어서 스테레오 이미지 시퀀스들이 처리된다.
일부 실시예들에서, 스테레오 이미지 시퀀스들은 이미지 당 필터를 사용하여 평활화된다. 일부 실시예들에서는, 원본 스테레오 이미지 시퀀스들 또한 유지될 수 있다. 스테레오 이미지 시퀀스들은 픽셀(예를 들어, 시간 도메인) 당 정규화될 수 있다. 일부 실시예들에서는, 원본 스테레오 이미지 시퀀스들 또한 유지될 수 있다.
도 12는, 일부 실시예들에 따라, 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 예시적인 컴퓨터화된 방법(1200)을 도시한다. 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 시스템은 메모리와 통신하는 프로세서를 포함할 수 있다. 프로세서는, 프로세서로 하여금, 컴퓨터화된 방법을 수행하게 하는, 메모리에 저장된 명령어들을 실행하도록 구성될 수 있다.
단계(1202)에서, 시스템은 장면의 이미지들의 세트를 획득할 수 있다. 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것일 수 있다.
단계(1204)에서, 시스템은, 이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성할 수 있다. 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함할 수 있다.
단계(1206)에서, 시스템은, 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 포화 값들의 세트를 포함하는 포화 데이터를 생성할 수 있다. 포화 값들의 세트의 각각의 포화 값은 제1 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관될 수 있다. 또한, 각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교될 수 있다. 일부 실시예들에서, 포화 값들의 세트의 각각의 포화 값은 2진 값을 포함할 수 있다. 예를 들어, 각각의 포화 값은 대응하는 픽셀 값이 유효한지 여부, 예를 들어, 픽셀 값이 과다 노출되었는지 여부를 나타낼 수 있다. 일부 실시예들에서, 메트릭, 예를 들어, 임계값은 이미지들의 세트에서의 과다 노출 정도와 관련될 수 있다.
일부 실시예들에서, 시스템은 이미지들의 세트와 이미지들의 세트의 시각과 상이한 시각으로부터 캡처된 이미지들의 제2 세트 사이의 스테레오 대응을 결정할 수 있다. 시스템은 포화 데이터, 및 이미지들의 제2 세트에 기초하여 결정된 제2 포화 데이터에 기초하여 스테레오 대응을 결정할 수 있다. 시스템은 이미지들의 세트 및/또는 이미지들의 제2 세트로부터 시간적 픽셀의 픽셀 값들의 세트에 최소 개수의 유효한 픽셀 값을 포함하지 않는 시간적 픽셀을 제외시킬 수 있다.
일부 실시예들에서는, 이미지 포인트 당 상관 마스크의 형태의 포화 값들의 세트가 원본 스테레오 이미지 시퀀스들에 기초하여 생성된다. 상관 마스크는 유효한 그레이 값(예를 들어, 과다 노출되지 않음)을 포함하는 각각의 시간적 인스턴스를 1.0으로 마킹한다. 유효한 그레이 값은 임계값 미만의 값일 수 있다. 상관 마스크는 과다 노출된 각각의 시간적 인스턴스를 0.0으로 마킹한다. 상관 마스크에서 1.0으로 마킹된 시간적 인스턴스들의 수를 카운팅하는 것은 해당 이미지 포인트에 대한 유효한 인스턴스들의 수로 이어진다. 예시적인 목적들을 위해, 후속하는 예들은 이미지 포인트에 대한 유효한 인스턴스들을 참조하는 데 VALID_INSTANCES을 사용하고, 제1 카메라인 카메라 1에 대한 이미지 포인트에 대한 유효한 인스턴스들을 참조하는 데 VALID_INSTANCES_C1을 사용하고, 제2 카메라인 카메라 2에 대한 이미지 포인트에 대한 유효한 인스턴스들을 참조하는 데 VALID_INSTANCES_C2을 사용한다.
초기 대응들은 위에서 설명된 시퀀스들 중 하나 또는 이들의 조합을 사용하여 검색될 수 있다. 일부 실시예들에서, 발견된 초기 대응들은 나중의 정교화를 위해 저장될 수 있고, 및/또는 정교화는 쌍이 발견된 후에 바로 수행될 수 있다. 대안적으로 또는 추가적으로, 상관 마스크에 기초하여, 유효한(예를 들어, 과다 노출되지 않은) 그레이 값들을 포함하는 상관을 위해 해당 시간적 인스턴스들만이 사용되고, 잠재적 대응의 상호 유효한 시간적 인스턴스들의 수는 임계값(예시적인 목적들을 위해, MIN_VALID_INSTANCES로 참조됨)보다 크거나 같다. 발견된 초기 대응들은 나중의 정교화를 위해 저장될 수 있고, 및/또는 정교화는 쌍이 발견된 후에 바로 수행될 수 있다.
주어진 초기 대응에 대한 대응 정교화는 위에서 설명된 시퀀스들 중 하나 또는 이들의 조합을 사용하여 수행된다. 일부 실시예들에서, 서브-픽셀 보간은 전체 보간 영역(예를 들어, 3×3 또는 5×5 등과 같이 보간을 위해 사용되는 픽셀의 공간적 이웃의 그레이 값들)에 과포화가 존재하지 않는 시간적 인스턴스들에 제한될 수 있으며, 기준 시퀀스에는 과포화가 없다. 이는 상관 마스크 정보를 사용하여 결정될 수 있다. 따라서, 예를 들어, 이것은 과포화된 픽셀을 제외시킬 수 있고, 과포화가 있었기 때문에, 하나 적은 이미지가 사용될 수 있다. 대안적으로 또는 추가적으로, 서브-픽셀 보간은 전체 보간 영역에서의 과포화된 이미지 포인트들의 수가 임계값(예시적인 목적들을 위해, MAX_OVEREXPOSED_NEIGHBORHOOD로 참조됨)과 동일하거나 이보다 작은 시간적 인스턴스들에 제한될 수 있고, 기준 시퀀스에는 과포화가 없다. 이는 상관 마스크 정보를 사용하여 결정될 수 있다. 따라서, 예를 들어, 특정량의 과포화된 포인트들이 허용될 수 있다. 예를 들어, 25개의 포인트가 있는 경우, 5개 이하의 과포화된 포인트가 있으면, 허용 가능할 수 있다.
대안적으로 또는 추가적으로, 위에서 설명된 VALID_INSTANCES_C1 및 VALID_INSTANCES_C2에 기초하여, 2대의 카메라, 예를 들어, 카메라 1 또는 카메라 2 중 하나의 카메라의 이미지 시퀀스가 보간을 위해 사용되도록 선택될 수 있다. VALID_INSTANCES_C1이 VALID_INSTANCES_C2보다 큰 경우, 보간은 카메라 1의 시퀀스를 사용하여 수행될 수 있다. VALID_INSTANCES_C1이 VALID_INSTANCES_C2보다 작은 경우, 보간은 카메라 2의 시퀀스를 사용하여 수행될 수 있다. 보간 자체는 위에서 설명된 기술들에 따라 수행될 수 있다. 따라서, 예를 들어, 카메라 1과 카메라 2에서의 과포화 인스턴스들을 카운트함으로써, 기술들은 카메라 1에서 보간을 수행할지 카메라 2에서 보간을 수행할지를 결정할 수 있다.
일부 실시예들에서, 정교화가 완료된 후, 할당되지 않은 과다 노출 이미지 포인트들에 대한 대응들을 생성하기 위해 홀 충전 기술이 임의적으로 채택될 수 있다. 과포화를 나타낸 각각의 할당되지 않은 이미지 포인트에 대해, 이 이미지 포인트 주위에 대응들이 존재하는지 여부가 체크되고, 주위의 대응 정보에 기초하여 대응하는 이미지 포인트가 추정된다.
대응 정교화를 위한 설명된 시스템들 및 방법들은 다음의 예시적인 이점들 중 하나 이상을 가질 수 있다. 설명된 대응 정교화 접근법은 위상-시프팅 접근법들보다 유리할 수 있는데, 왜냐하면 위상-시프팅 접근법들은 그들의 위상 값 계산들에서 상관 마스킹을 수용할 수 없기 때문이다. 또한, 상관 마스크 사용을 정교화 프로세스에 제한하는 것으로 충분할 수 있다(따라서, 계산 속도 페널티가 제한될 수 있다). 과포화의 경우, 과다 노출되지 않은 충분한 시간적 인스턴스들이 존재하는 한, 과다 노출 이미지 포인트들의 재구성이 크게 향상될 수 있다.
일부 실시예들에서는, 더 많은 계산 시간이 걸릴 수 있지만, 최전방(full forward) 및 최후방(full backward) 검색이 수행될 수 있고, 그 후 대응들은 과다 노출 이미지 포인트들에 대한 더 완전한 재구성으로 이어지도록 결합될 수 있다. 이러한 예시적인 실시예들에서, 보간 카메라의 상관 마스크는 대응 자체에만 기초할 수 있고, 따라서 보간 영역에서의 과포화를 고려할 필요가 없다.
일부 실시예들에서는, 감소된 횡방향 및 축방향 해상도에서도 여전히 포인트를 재구성할 수 있도록 MIN_VALID_INSTANCES보다 작은 VALID_INSTANCES을 갖는 이미지 포인트에 공간적 정보를 사용하는 것이 유리할 수 있다. 이 접근법은 더 짧은 시퀀스 길이들과 홀 충전이 효과적이지 않을 수 있는 상황들에 특히 도움이 될 수 있다.
일부 양태들에서, 본 명세서에 논의된 기술들은 3-D 재구성을 향상시키기 위해 누락 대응들을 채우는 데 사용될 수 있다. 본 발명자들은 기존의 스테레오 이미지 기술들이 모든 이미지 포인트들에 대한 대응들을 적절하게 계산하지는 못한다는 것을 알게 되었다. 예를 들어, 기존의 이미지 처리 기술들은 많은 이미지 포인트들에 대한 대응들을 계산하지 않을 수 있기 때문에, 3-D 재구성들에 누락 및/또는 오류가 있는 3-D 데이터가 있을 수 있다. 본 발명자들은 근사 대응들을 계산하고, 계산된 대응들을 크로스-체크하는 기술들을 개발하였다. 하나 이상의 크로스-체크를 수행하는 것은 근사 대응들이 추가적인 이미지 처리에 사용되어야 하는지 여부를 결정하기 위해 근사 대응들의 유효성을 검증하는 데 중요하다. 대부분의 알려진 접근법들은 가능한 한 많은 홀들을 채운다는 목표를 가지고 있지만, 이들은 실제 장면이 근사된 깊이-데이터를 정당화하지 않는 깊이-데이터로 홀들을 채울 위험이 있다.
일부 실시예들에서, 스테레오 비전 시스템들은 이미징 헤드들에 부착된 추가적인 하드웨어(예를 들어 열-카메라, 컬러-카메라 등)를 포함할 수 있다. 이러한 추가적인 하드웨어는 스테레오 비전 시스템에 의해 이미징된 장면의 추가적인 정보를 제공할 수 있다. 또한, 일부 시스템들은 3개(또는 그 이상)의 카메라 시스템을 사용할 수 있으므로, 스테레오 쌍들과 관련하여 본 명세서에서 논의된 개념은 3개(또는 그 이상)의 이미지 전역에서 "대응-체인들"을 고려하도록 확장될 수 있다.
스테레오 이미지들은 궁극적으로 3-D 데이터를 생성하도록 처리되며, 이는 3-D 재구성으로 지칭된다. 이 프로세스의 일부가 위에서 논의된 픽셀 상관 프로세스이며, 이 프로세스는 각각의 스테레오 쌍의 이미지들 전역에서 객체 포인트들을 상관시키는 데 사용된다. (위에서 논의된 2-단계 대응 할당 프로세스와 같은) 픽셀 대응 프로세스를 수행한 후에는, 이상적인 경우, 스테레오-비전 시스템의 두 카메라들에서 볼 수 있는 각각의 객체 포인트에 대한 대응-쌍이 존재한다.
그러나, 두 카메라 모두에서 볼 수 있는 객체 포인트에 대한 대응들이 없는 상황들이 있을 수 있다. 예를 들어, 카메라 뷰들 중 하나 또는 모두에 과포화가 존재하는 경우, 대응 프로세스(예를 들어, 초기 및 정교화 단계 모두 포함)는 대응을 결정하는 데 실패할 수 있다. 다른 예로서, 카메라들 중 하나 또는 모두에 저 변조만이 존재하는 경우, 대응 프로세스는 대응을 산출하지 못할 수 있고, 및/또는 부정확한 대응을 할당할 수 있다(예를 들어, 이는 이상점 제거 스테이지에 의해 필터링될 수 있다). 추가적인 예로서, 조사되는 객체가 고주파수 텍스처(예를 들어, 알베도, 컬러 등의 텍스처)를 갖는 경우, 객체의 특정 영역들은 대응으로 이어지지 않을 수 있다. 다른 예로서, 이미징되는 장면에 장면-간 반사가 존재하는 경우, 대응 프로세스는 대응을 산출하지 못할 수도 있다.
본 발명자들은 다르게는 대응들을 산출할 수 없는 포인트들에 대한 대응들을 달성하기 위한 기술들을 개발하였다. 예를 들어, 초기 검색 및 그 후의 정교화 단계를 수행하는 2-단계 프로세스를 사용할 때, 기술들은 본 명세서에서 논의된 바와 같은 하나 또는 두 단계 모두에 사용될 수 있다. 기술들은 관련된 대응들(예를 들어, 인근 포인트들에 대한 대응들, 이웃하는 포인트들 등)에 대한 정보를 사용함으로써 다르게는 (예를 들어, 대응 프로세스가 임의의 대응들을 결정하지 못했기 때문에) 대응들을 갖지 않는 포인트들에 대한 대응들을 근사하는 데 사용될 수 있다. 예를 들어, 과포화 포인트들은 임의의 대응들로 이어지지 않을 수 있다. 개시된 홀-충전 기술들은 대응들을 갖지 않는 특정 포인트들 및/또는 픽셀들(예를 들어, 이 비제한적인 예의 경우에는, 과포화 이미지 포인트들)을 식별하고, 관련 대응들에 기초하여 근사 대응들을 생성하도록 구성될 수 있다. 근사 대응들은 (예를 들어, (예를 들어, 분산들, 과포화 등과 같은) 공간적 및/또는 시간적 특성들, 텍스처 정보, 컬러 정보, 열 정보, 멀티-모드 정보 등에 기초하여) 이용 가능한 정보를 사용하여 크로스-체크된다.
도 13은, 일부 실시예들에 따라, 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 예시적인 컴퓨터화된 방법(1300)을 도시한다. 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 시스템은 메모리와 통신하는 프로세서를 포함할 수 있다. 프로세서는, 프로세서로 하여금, 컴퓨터화된 방법을 수행하게 하는, 메모리에 저장된 명령어들을 실행하도록 구성될 수 있다.
단계(1302)에서, 시스템은 장면의 이미지들의 제1 세트를 획득할 수 있다. 이미지들의 제1 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것일 수 있다.
단계(1304)에서, 시스템은, 이미지들의 제1 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성할 수 있다. 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 제1 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함할 수 있다.
단계(1306)에서, 시스템은 이미지들의 제1 세트의 이미지 포인트들과 이미지들의 제1 세트와 상이한 시각으로부터 캡처된 장면의 이미지들의 제2 세트의 이미지 포인트들 사이의 대응들의 세트를 결정할 수 있다. 시스템은 제1 시간적 픽셀 이미지의 제1 시간적 픽셀이 이미지들의 제2 세트에 기초하여 결정된 제2 시간적 픽셀 이미지의 시간적 픽셀에 대한 대응을 결여하고 있는 것으로 결정함으로써 대응들의 세트를 결정할 수 있다. 예를 들어, 제1 시간적 픽셀에 대한 대응이 아직 결정되지 않았을 수도 있고, 제1 시간적 픽셀에 대한 대응 검색이 시도되었지만 실패했을 수도 있고, 또는 다르게는 제1 시간적 픽셀에 대한 대응이 다른 적절한 이유로 부족할 수도 있다. 시스템은, 제1 시간적 픽셀에 대해, 하나 이상의 기존의 대응에 기초하여, 제2 시간적 픽셀 이미지 내의 제2 시간적 픽셀에 대한 근사 대응을 추가로 생성할 수 있다. 각각의 기존의 대응은 제1 시간적 픽셀 이미지의 시간적 픽셀과 제2 시간적 픽셀 이미지의 시간적 픽셀 사이에 있을 수 있고, 제1 시간적 픽셀에 대한 관계 메트릭을 충족시킬 수 있다.
일부 실시예들에서, 기존의 대응들은 제1 시간적 픽셀에 공간적으로 근접한 제1 시간적 픽셀 이미지 내의 시간적 픽셀들과 관련될 수 있다. 관계 메트릭은 제1 시간적 픽셀에 대한 공간적 근접성의 정도와 관련될 수 있다.
일부 실시예들에서, 시스템은 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보, 시간적 정보 또는 둘 모두에 기초하여 근사 대응을 검증할 수 있다. 예를 들어, 시스템은 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두의 하나 이상의 픽셀 값이 과다 노출되었는지 여부를 결정할 수 있다. 다른 예에서, 시스템은 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀이 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀과 특성, 예를 들어, 컬러, 온도 및/또는 텍스처를 공유하는지 여부를 결정할 수 있다. 도 15 및 관련 설명이 이 프로세스에 대한 더 자세한 사항을 제공한다.
도 14는, 일부 실시예들에 따라, 근사 대응들을 생성하기 위한 예시적인 컴퓨터화된 방법(1400)을 도시한다. 위에서 언급된 바와 같이, 기술들은 다르게는 대응들을 갖지 않는 포인트들을 완료하는 데 사용될 수 있다. 단계(1402)에서, 이미지 쌍에 대한 대응 검색이 수행된다. 위에서 논의된 바와 같이, 대응 검색은 잠재적인 대응들의 대략적인 추정치들의 세트를 생성하기 위해 초기 대응 검색을 포함할 수 있다. 예를 들어, 제1 검색은 픽셀 레벨일 수 있다. 대응들의 위치를 정확하게 찾기 위해 대응들의 초기 세트를 사용하여 정교화 단계가 수행될 수 있다. 예를 들어, 제2 검색은 서브-픽셀 레벨에서 있을 수 있다. 임의적으로, 제1 및/또는 제2 단계 후의 대응들의 세트는 (예를 들어, 임계값들 등에 기초하여 부정확한 것으로 알려진) 이상점 대응들을 제거하기 위해 재검토될 수 있다.
단계(1404)에서, 이미지 포인트가 선택되어, 단계(1406)에서, 이미지 포인트들에 대한 대응이 발견되었는지 여부를 결정하기 위해 도 14의 다른 단계들에 의해 도시된 바와 같이 각각의 이미지 포인트가 체크된다. 발견되지 않은 경우, 방법(1400)은 단계(1408)로 진행하고, 시스템은, 다른 이용 가능한 대응들 및/또는 정보에 기초하여, 근사 대응을 계산할 수 있는지 여부를 결정한다. 일부 실시예들에서, 기술들은 이웃하는 이미지 포인트들이 대응들을 갖는지 여부를 결정하기 위해 이웃하는 이미지 포인트들을 분석하는 것을 포함할 수 있다. 예시적인 목적들을 위해, 이미지 포인트 (x, y)에 대한 대응이 발견되지 않는다고 가정하도록 한다. 시스템은 이미지 포인트 (x, y) 주변의 이웃 내에서 (예를 들어, 대응 검색에서 계산된) 대응들을 갖는 이미지 포인트들 (x'_k, y'_k)이 존재하는지 여부를 결정할 수 있으며, 여기서 k는 이웃하는 포인트들을 검색하는 양 또는 음의 오프셋 값이다. 예를 들어, k는 1, 2, 3 등일 수 있다. 대응을 갖는 이미지 포인트들(일반적으로, (x'_k, y'_k)로 참조됨)이 존재하는 경우, 시스템은 카메라 1에 의해 취득된 이미지의 포인트 (x, y)인 (x_1, y_1)과 카메라 2에 의해 취득된 이미지의 포인트 (x, y)인 (x_2, y_2) 사이의 근사 대응을 계산할 수 있다. 이러한 이미지 포인트들이 존재하지 않는 경우, 시스템은 특정 이미지 포인트에 대한 근사 대응을 결정하지 않도록 구성될 수 있다.
단계(1410)에서, 시스템은 근사 대응들을 크로스-체크한다. 도 15는, 일부 실시예들에 따라, 근사 대응을 크로스-체킹하기 위한 예시적인 컴퓨터화된 방법(1500)을 도시한다. 단계(1502)에서, 방법(1500)은, 만일 있다면, 크로스-체크를 수행하는 데 필요한 데이터를 결정한다. 크로스-체크는 누락된 초기 대응의 속성(예를 들어, 과포화된 시간적 인스턴스들, 저변조, 객체 텍스처, 장면-간 반사 등)과 같은 다양한 데이터를 고려할 수 있다. 일부 실시예들에서, 근사 대응을 크로스-체크하는 것은 공간적 정보(예를 들어, 공간 강도 분산), 시간적 정보(예를 들어, 시간적 강도 분산), 텍스처 정보, 컬러 정보, 열 및/또는 멀티-모드-정보(예를 들어, 이러한 정보를 생성할 수 있는 추가적인 하드웨어가 사용되는 경우) 등에 기초하여 수행될 수 있다.
단계(1504)에서, 시스템은 단계(1502)에서 획득된 임의의 필요한 데이터를 사용하여 근사 대응을 크로스-체크한다. 크로스-체크들은 이미지 쌍 포인트들 중 어느 것 또는 둘 다에 기초할 수 있다. 일부 실시예들에서, 근사 대응 쌍들의 이미지 포인트들 중 단지 하나만이 크로스-체크 기준을 충족시킬 필요가 있다. 예를 들어, (x_1, y_1) 또는 (x_2, y_2)가 과포화 시간적 인스턴스들(예를 들어, 픽셀이 포화될 수 있음을 나타내는 임계값을 초과하는 값들을 갖는 픽셀들)을 포함하는 경우, 근사 대응-쌍은 유효한 대응으로서 허용되고, 대응들에 추가될 수 있다. 예를 들어, 이는 (예를 들어, 다른 이유들과 반대로) 기술들이 과포화로 인한 대응들을 갖지 않는 포인트들에 대한 근사 대응을 발견한 것을 확인하기 위해 수행될 수 있다. 일부 실시예들에서, 두 이미지 포인트는 기준들을 충족시키도록 테스트될 수 있다. 예를 들어, 근사 대응의 컬러 특성을 체크할 때에는, 근사 대응 쌍의 두 이미지 포인트가 기준들을 충족시키도록 강제하는 것이 바람직할 수 있다. 다른 예로서, 컬러가 rgb-이미지에 대해 3개의 8-비트 정수로 주어지는 경우, 기술들은 하나 이상의 채널에서 임계값을 수행하도록 구성될 수 있다(예를 들어, 특정 적색 채널 값을 찾기; 청색-채널 < BLUE_THRESHOLD 찾기; 녹색-채널 < GREEN_THRESHOLD 찾기; abs(Camera1_x1_y1의 RED-CHANNEL - Camera2_x2_y2의 RED-CHANNEL) < RED_THRESHOLD 등). 추가적인 예로서, 열 카메라가 사용되는 경우, 시스템은 대응들이 유사한 온도를 갖는지 여부를 결정하도록 구성될 수 있다(예를 들어, (TEMP_Camera1_x1_y1 - TEMP_Camera2_x2_y2) < TEMP_THRESHOLD). 다른 예로서, 근사 대응을 검증하기 위해 컬러가 사용될 수 있다. 예를 들어, 이미지 포인트 및 이웃하는 포인트들이 모두 동일한 컬러(예를 들어, 적색)를 공유하는 경우, 시스템은 포인트들이 동일한 객체의 일부일 가능성이 있기 때문에 근사 대응의 유효성을 검증할 수 있다.
단계(1506)에서, 근사 대응이 하나 이상의 크로스-체크를 충족시키는 경우, 방법(1500)은 단계(1508)로 진행하고, 시스템은 근사 대응을 유효한 대응으로서 추가할 수 있다. 그렇지 않으면, 방법은 단계(1510)로 진행하고, 시스템은 근사 대응을 폐기할 수 있다. 도 15는 단일 크로스-체크를 수행하기 위한 프로세스를도시하지만, (예를 들어, 특정 구현 예에 대해) 필요에 따라 복수의 크로스-체크들이 구성될 수 있다.
다시 도 14를 참조하면, 단계(1410) 이후에, 방법(1400)은 단계(1412)로 진행한다. 단계(1412)에서, 방법은 체크할 이미지 포인트들이 더 있는지를 결정한다. 더 있는 경우, 방법은 다시 단계(1404)로 진행한다. 더 있지 않은 경우, 본 방법은 종료된다.
일부 실시예들에서, 근사 대응 프로세스는 반복적인 방식으로 반복될 수 있다. 예를 들어, 반복 프로세스는 추가적인 근사 대응들을 계산할 수 있는데, 왜냐하면 근사 대응들 자체가 아직 근사 대응을 할당받지 않은 이미지 포인트들에 대한 지원 데이터 포인트로서 사용될 수 있기 때문이다.
도 14의 예시적인 방법(1400)과 관련하여 논의된 바와 같이, 대응 근사 기술들은 대응 검색을 수행한 후에 적용될 수 있다. 일부 실시예들에서, 기술들은 대응 검색의 일부로서 적용될 수 있다. 예를 들어, 다단계 대응 검색의 경우, 근사 기술들은 초기-포인트 검색(예를 들어, 픽셀-레벨 검색) 후에 적용될 수 있다. 대응 검색의 일부로서 근사 기술들을 수행하는 것은 (예를 들어, 서브-픽셀 정확도를 달성하는 정교화 단계에 대한) 대응 검색에서 후속 단계들에 의해 사용되는 대응들을 근사시킬 수 있다. 일부 실시예들에서는, (예를 들어, 특정 근사 대응들은 정교화 프로세스에 실패할 수 있기 때문에) 근사 대응들이 이러한 정교화에 의해 폐기되어야 하는지 여부를 결정하기 위해 정교화 단계 이전에 근사 기술들이 적용될 수 있다.
일단 대응들의 세트 및 근사 대응들이 결정되면, 본 기술분야의 통상의 기술자에게 공지된 스테레오 비전 기술들을 사용하여 3-D 정보가 삼각 측량될 수 있다. 그렇지 않은 경우에는 크로스-체크된 근사 대응들로 누락 대응들을 채움으로써, 단지 대응들의 초기 세트만을 사용하여 가능한 경우보다 더 견고한 3-D 데이터가 획득될 수 있다. 예를 들어, 이미지/프로세스가 과포화, 저변조, 객체 텍스처, 장면-간 반사 및/또는 다른 이미징 아티팩트들에 의해 영향을 받을 때에도, 더 견고한 3-D 데이터가 달성될 수 있다. 재구성된 3-D 데이터의 완전성 증가로 인해, 후-처리 알고리즘들(예를 들어, 상자들의 빈-피킹)이 더 견고하게 작동할 수 있다. 다른 예로서, 재구성된 3-D 데이터에서 가상 포인트들의 생성을 최소화하기 위해 근사 대응 프로세스가 선택적으로 동작하도록 크로스-체크들이 구성될 수 있다. 추가적인 예로서, 기술들은 충분한 속도(예를 들어, 대략 1ms 미만(테스트에 기반함))로 근사 프로세스를 수행할 수 있는 방식으로 GPU를 통해 구현될 수 있는 방식으로 구현될 수 있다.
본 명세서에서 논의된 기술들은 스테레오 접근법들(예를 들어, 시퀀스 취득과 같은 시간적 스테레오 접근법들)과 관련하여 논의되었지만, 기술들은 그렇게 제한되지 않는다. 예를 들어, 기술들은 단일-이미지 접근법들(예를 들어, 능동 및 수동 기술들)에 사용될 수 있다.
본 명세서에 설명된 원리들에 따라 동작하는 기술들은 임의의 적절한 방식으로 구현될 수 있다. 상기 흐름도들의 처리 및 결정 블록들은 이러한 다양한 프로세스들을 수행하는 알고리즘들에 포함될 수 있는 단계들 및 동작들을 나타낸다. 이러한 프로세스들로부터 도출된 알고리즘들은 하나 이상의 단일 또는 다중 목적 프로세서와 통합된 소프트웨어로서 구현되고 그 동작을 지시할 수도 있고, 디지털 신호 프로세싱(Digital Signal Processing)(DSP) 회로 또는 응용-특정 집적 회로(Application-Specific Integrated Circuit)(ASIC)와 같은 기능적으로-등가의 회로들로서 구현될 수도 있고, 또는 임의의 다른 적절한 방식으로 구현될 수도 있다. 본 명세서에 포함된 흐름도들은 임의의 특정 회로 또는 임의의 특정 프로그래밍 언어 또는 프로그래밍 언어 타입의 구문 또는 동작을 나타내지 않는다는 것이 이해되어야 한다. 오히려, 흐름도들은 본 명세서에 설명된 기술들의 타입들을 수행하는 특정 장치의 처리를 수행하기 위해 회로들을 제조하거나 컴퓨터 소프트웨어 알고리즘들을 구현하기 위해 본 기술분야의 통상의 기술자가 사용할 수 있는 기능 정보를 예시한다. 본 명세서에서 달리 지시되지 않는 한, 각각의 흐름도에 설명된 단계들 및/또는 동작들의 특정 시퀀스는 단지 구현될 수 있는 알고리즘들의 예시일 뿐이고, 본 명세서에 설명된 원리들의 구현들 및 실시예들에서 변경될 수 있다는 것 또한 이해되어야 한다.
따라서, 일부 실시예들에서, 본 명세서에 설명된 기술들은 애플리케이션 소프트웨어, 시스템 소프트웨어, 펌웨어, 미들웨어, 임베디드 코드, 또는 임의의 다른 적절한 타입의 컴퓨터 코드를 포함하여 소프트웨어로서 구현되는 컴퓨터 실행가능 명령어들로 구현될 수 있다. 이러한 컴퓨터 실행가능 명령어들은 다수의 적절한 프로그래밍 언어들 및/또는 프로그래밍 또는 스크립팅 툴들 중 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행되는 실행가능 머신 언어 코드 또는 중간 코드로서 컴파일링될 수 있다.
본 명세서에 설명된 기술들이 컴퓨터 실행가능 명령어들로서 구체화될 때, 이들 컴퓨터 실행가능 명령어들은 임의의 적절한 방식으로 구현될 수 있으며, 각각이 이들 기술들에 따라 동작하는 알고리즘들의 실행을 완료하기 위한 하나 이상의 동작을 제공하는 다수의 기능적 설비(functional facility)들로서 포함된다. 그러나, "기능적 설비"는, 하나의 컴퓨터로 통합되어 실행될 때, 하나 이상의 컴퓨터로 하여금, 특정 동작 역할을 수행하게 하는 컴퓨터 시스템의 구조적 컴포넌트로 인스턴스화된다. 기능적 설비는 소프트웨어 엘리먼트의 일부일 수 있다. 예를 들어, 기능적 설비는 프로세스의 함수로서 또는 개별 프로세스로서 또는 임의의 다른 적절한 처리 유닛으로서 구현될 수 있다. 본 명세서에 설명된 기술들이 다수의 기능적 설비들로 구현되는 경우, 각각의 기능적 설비는 그 자신의 방식으로 구현될 수 있고, 모두 동일한 방식으로 구현될 필요는 없다. 또한, 이러한 기능적 설비들은 적절하게 병렬 및/또는 직렬로 실행될 수 있으며, 이들이 실행 중인 컴퓨터(들)상의 공유 메모리를 사용하여, 메시지 전달 프로토콜을 사용하여, 또는 임의의 다른 적절한 방법을 사용하여 서로 간에 정보를 전달할 수 있다.
일반적으로, 기능적 설비들은 특정 태스크들을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 통상적으로, 기능적 설비들의 기능성은 그들이 기능하는 시스템들에서 원하는 대로 결합될 수도 있고 분산될 수도 있다. 일부 구현들에서, 본 명세서의 기술들을 수행하는 하나 이상의 기능적 설비는 함께 완전한 소프트웨어 패키지를 형성할 수 있다. 대안적인 실시예들에서, 이러한 기능적 설비들은 소프트웨어 프로그램 애플리케이션을 구현하기 위해 다른 관련 없는 기능적 설비들 및/또는 프로세스들과 상호 작용하도록 적응될 수 있다.
하나 이상의 태스크를 수행하기 위한 일부 예시적인 기능적 설비들이 본 명세서에서 설명되었다. 그러나, 설명된 기능적 설비들 및 태스크들의 분할은 단지 본 명세서에 설명된 예시적인 기술들을 구현할 수 있는 기능적 설비들의 타입을 예시할 뿐이며, 실시예들은 기능적 설비들의 임의의 특정 개수, 분할 또는 타입으로 구현되는 것으로 제한되지 않는다는 것이 이해되어야 한다. 일부 구현들에서는, 모든 기능이 단일 기능적 설비에서 구현될 수 있다. 또한, 일부 구현들에서, 본 명세서에 설명된 기능적 설비들 중 일부는 다른 것들과 함께 또는 이와 별개로(즉, 단일 유닛 또는 별개의 유닛들로서) 구현될 수도 있고, 이들 기능적 설비들 중 일부는 구현되지 않을 수도 있다는 것이 이해되어야 한다.
일부 실시예들에서, (하나 이상의 기능적 설비로서 또는 임의의 다른 방식으로 구현될 때) 본 명세서에 설명된 기술들을 구현하는 컴퓨터 실행가능 명령어들은 하나 이상의 컴퓨터 판독가능 매체 상에 인코딩되어, 매체에 기능을 제공할 수 있다. 컴퓨터 판독가능 매체는 하드 디스크 드라이브와 같은 자기 매체, 콤팩트 디스크(Compact Disk)(CD) 또는 디지털 버서타일 디스크(Digital Versatile Disk)(DVD)와 같은 광 매체, 영구적 또는 비영구적 고상 메모리(예를 들어, 플래시 메모리, 자기 RAM 등), 또는 임의의 다른 적절한 저장 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는 임의의 적절한 방식으로 구현될 수 있다. 본 명세서에 사용된 바와 같이, "컴퓨터 판독가능 매체"("컴퓨터 판독가능 저장 매체"라고도 함)는 유형의 저장 매체를 지칭한다. 유형의 저장 매체는 비일시적이며, 적어도 하나의 물리적, 구조적 컴포넌트를 갖는다. 본 명세서에서 사용된 "컴퓨터-판독가능 매체"에서, 적어도 하나의 물리적, 구조적 컴포넌트는 임베딩된 정보를 갖는 매체를 생성하는 프로세스, 그에 정보를 기록하는 프로세스, 또는 매체를 정보로 인코딩하는 임의의 다른 프로세스 동안 일부 방식으로 변경될 수 있는 적어도 하나의 물리적 특성을 갖는다. 예를 들어, 컴퓨터 판독가능 매체의 물리적 구조의 일부분의 자화 상태가 기록 프로세스 동안 변경될 수 있다.
또한, 위에서 설명된 일부 기술들은 이들 기술들에 의한 사용을 위해 특정 방식으로 정보(예를 들어, 데이터 및/또는 명령어들)를 저장하는 동작들을 포함한다. 기술들이 컴퓨터 실행가능 명령어들로 구현되는 구현들과 같은 이들 기술들의 일부 구현들에서, 정보는 컴퓨터 판독가능 저장 매체 상에 인코딩될 수 있다. 특정 구조들이 본 명세서에서 이 정보를 저장하는 유리한 포맷들로 설명되는 경우, 이러한 구조들은, 저장 매체 상에 인코딩될 때, 정보의 물리적 구성을 부여하는 데 사용될 수 있다. 그 후, 이러한 유리한 구조들은 정보와 상호 작용하는 하나 이상의 프로세서의 동작에 영향을 미침으로써, 예를 들어, 프로세서(들)에 의해 수행되는 컴퓨터 동작들의 효율을 증가시킴으로써 저장 매체에 기능을 제공할 수 있다.
기술들이 컴퓨터 실행가능 명령어들로서 구현될 수 있는 일부 구현들(전부는 아님)에서, 이들 명령어들은 임의의 적절한 컴퓨터 시스템에서 동작하는 하나 이상의 적절한 컴퓨팅 디바이스(들)에서 실행될 수 있고, 하나 이상의 컴퓨팅 디바이스(또는 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서)는 컴퓨터 실행가능 명령어들을 실행하도록 프로그래밍될 수 있다. 컴퓨팅 디바이스 또는 프로세서는, 명령어들이 데이터 저장소(예를 들어, 온-칩 캐시 또는 명령어 레지스터, 버스를 통해 액세스 가능한 컴퓨터 판독가능 저장 매체, 하나 이상의 네트워크를 통해 액세스 가능하고 디바이스/프로세서에 의해 액세스 가능한 컴퓨터 판독가능 저장 매체 등)에서와 같이 컴퓨팅 디바이스 또는 프로세서에 액세스 가능한 방식으로 저장될 때, 명령어들을 실행하도록 프로그래밍될 수 있다. 이들 컴퓨터 실행가능 명령어들을 포함하는 기능적 설비들은 단일 다목적 프로그램가능 디지털 컴퓨팅 디바이스, 처리 능력을 공유하고 본 명세서에 설명된 기술들을 함께 수행하는 2개 이상의 다목적 컴퓨팅 디바이스의 조정형 시스템, 본 명세서에 설명된 기술들을 실행하는 데 전용되는 단일 컴퓨팅 디바이스 또는 (함께 위치되거나 지리적으로 분산된) 컴퓨팅 디바이스의 조정형 시스템, 본 명세서에 설명된 기술들을 수행하기 위한 하나 이상의 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array)(FPGA), 또는 임의의 다른 적절한 시스템과 통합되어, 그 동작을 지시할 수 있다.
컴퓨팅 디바이스는 적어도 하나의 프로세서, 네트워크 어댑터 및 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 데스크탑 또는 랩탑 개인용 컴퓨터, 개인 휴대 정보 단말(personal digital assistant)(PDA), 스마트 모바일폰, 서버, 또는 임의의 다른 적절한 컴퓨팅 디바이스일 수 있다. 네트워크 어댑터는 컴퓨팅 디바이스가 임의의 적절한 컴퓨팅 네트워크를 통해 임의의 다른 적절한 컴퓨팅 디바이스와 유선 및/또는 무선으로 통신할 수 있게 하는 임의의 적절한 하드웨어 및/또는 소프트웨어일 수 있다. 컴퓨팅 네트워크는 무선 액세스 포인트들, 스위치들, 라우터들, 게이트웨이들 및/또는 다른 네트워킹 장비뿐만 아니라, 인터넷을 포함하여 둘 이상의 컴퓨터 간에 데이터를 교환하기 위한 임의의 적절한 유선 및/또는 무선 통신 매체 또는 매체들을 포함할 수 있다. 컴퓨터 판독가능 매체는 프로세서에 의해 처리될 데이터 및/또는 실행될 명령어들을 저장하도록 적응될 수 있다. 프로세서는 데이터의 처리 및 명령어들의 실행을 가능하게 한다. 데이터 및 명령어들은 컴퓨터 판독가능 저장 매체에 저장될 수 있다.
컴퓨팅 디바이스는 입력 및 출력 디바이스들을 포함하여 하나 이상의 컴포넌트 및 주변 장치를 추가로 가질 수 있다. 이러한 디바이스들은 무엇보다도 사용자 인터페이스를 제공하는 데 사용될 수 있다. 사용자 인터페이스를 제공하는 데 사용될 수 있는 출력 디바이스들의 예들은 출력의 시각적 프리젠테이션을 위한 프린터들 또는 디스플레이 스크린들, 및 출력의 청각적 프리젠테이션을 위한 스피커들 또는 다른 사운드 발생 디바이스들을 포함한다. 사용자 인터페이스에 사용될 수 있는 입력 디바이스들의 예들은 키보드들, 및 마우스들, 터치 패드들 및 디지타이징 태블릿들과 같은 포인팅 디바이스들을 포함한다. 다른 예로서, 컴퓨팅 디바이스는 음성 인식을 통해 또는 다른 청각적 포맷으로 입력 정보를 수신할 수 있다.
기술들이 회로 및/또는 컴퓨터 실행가능 명령어들로 구현되는 실시예들이 설명되었다. 일부 실시예들은 적어도 하나의 예가 제공된 방법 형태일 수 있다는 것이 이해되어야 한다. 방법의 일부로서 수행되는 동작들은 임의의 적절한 방식으로 정렬될 수 있다. 따라서, 예시적인 실시예들에서는 순차적인 동작들로서 도시되었지만, 실시예들은 동작들이 예시된 것과 상이한 순서로 수행되도록 구성될 수 있고, 이는 일부 동작들을 동시에 수행하는 것을 포함할 수 있다.
위에서 설명된 실시예들의 다양한 양태들은 단독으로, 조합되어, 또는 상기에서 설명된 실시예들에서 구체적으로 논의되지 않은 다양한 구성들로 사용될 수 있고, 따라서 상기 설명에서 설명되거나 도면들에서 예시된 세부 사항들 및 컴포넌트들의 구성에 그 응용이 제한되지 않는다. 예를 들어, 일 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 조합될 수 있다.
다양한 양태들이 본 개시내용에 설명되어 있으며, 이는 이하의 양태들을 포함하지만, 이에 제한되지 않는다.
(1) 시간적 픽셀 이미지를 전-처리하기 위한 시스템으로서 - 시스템은 메모리와 통신하는 프로세서를 포함함 -,
프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금,
장면의 이미지들의 세트를 획득하게 하고 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -,
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -,
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀을 수정하는 것을 포함하여, 제1 시간적 픽셀 이미지에 기초하여, 제1 수정된 시간적 픽셀 이미지를 생성하게 하고,
제1 시간적 픽셀을 수정하는 것은,
제1 시간적 픽셀을 메트릭과 비교하는 것, 및
비교에 기초하여, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것
을 포함하는 시스템.
(2) (1)에 있어서, 명령어들은 추가로, 프로세서로 하여금,
이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을, 제1 수정된 시간적 픽셀 이미지, 및 이미지들의 제2 세트에 기초하여 결정된 제2 수정된 시간적 픽셀 이미지에 기초하여 결정하게 하고, 이미지들의 제2 세트는 이미지들의 세트의 시각과 상이한 시각으로부터 캡처되는 시스템.
(3) (1) 또는 (2)에 있어서, 메트릭은 이미지들의 세트에서의 노출 부족 정도와 관련되는 시스템.
(4) (1) 내지 (3) 중 어느 하나에 있어서, 제1 시간적 픽셀을 메트릭과 비교하는 것은 제1 시간적 픽셀의 픽셀 값들의 최대값이 메트릭 미만인지 여부를 비교하는 것을 포함하는 시스템.
(5) (4)에 있어서, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것은 제1 시간적 픽셀의 각각의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀의 공간적 이웃의 하나 이상의 시간적 픽셀의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는 시스템.
(6) (1) 내지 (5) 중 어느 하나에 있어서, 제1 시간적 픽셀을 메트릭과 비교하는 것은 제1 시간적 픽셀의 각각의 픽셀 값이 메트릭 미만인지 여부를 비교하는 것을 포함하는 시스템.
(7) (6)에 있어서, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것은 메트릭 미만인 제1 시간적 픽셀의 각각의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀의 공간적 이웃의 하나 이상의 시간적 픽셀의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는 시스템.
(8) (1) 내지 (7) 중 어느 하나에 있어서, 명령어들은 추가로, 프로세서로 하여금,
장면의 이미지들의 제2 세트를 획득하게 하고 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -,
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 제2 세트 내의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -,
시간적 픽셀들의 제2 세트로부터 제2 시간적 픽셀을 수정하는 것을 포함하여, 제2 시간적 픽셀 이미지에 기초하여, 제2 수정된 시간적 픽셀 이미지를 생성하게 하고,
제2 시간적 픽셀을 수정하는 것은,
제2 시간적 픽셀을 메트릭과 비교하는 것, 및
비교에 기초하여, 제2 시간적 픽셀의 하나 이상의 픽셀 값을 제2 시간적 픽셀 및/또는 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것
을 포함하는 시스템.
(9) 시간적 픽셀 이미지를 전-처리하기 위한 컴퓨터화된 방법으로서,
장면의 이미지들의 세트를 획득하는 단계 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -;
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀을 수정하는 것을 포함하여, 제1 시간적 픽셀 이미지에 기초하여, 제1 수정된 시간적 픽셀 이미지를 생성하는 단계
를 포함하고,
제1 시간적 픽셀을 수정하는 것은,
제1 시간적 픽셀을 메트릭과 비교하는 것, 및
비교에 기초하여, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것
을 포함하는 방법.
(10) (9)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을, 제1 수정된 시간적 픽셀 이미지, 및 이미지들의 제2 세트에 기초하여 결정된 제2 수정된 시간적 픽셀 이미지에 기초하여 결정하는 단계를 추가로 포함하고, 이미지들의 제2 세트는 이미지들의 세트의 시각과 상이한 시각으로부터 캡처되는 방법.
(11) (9) 또는 (10)에 있어서, 메트릭은 이미지들의 세트에서의 노출 부족 정도와 관련되는 방법.
(12) (9) 내지 (11) 중 어느 하나에 있어서, 제1 시간적 픽셀을 메트릭과 비교하는 것은 제1 시간적 픽셀의 픽셀 값들의 최대값이 메트릭 미만인지 여부를 비교하는 것을 포함하는 방법.
(13) (12)에 있어서, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것은 제1 시간적 픽셀의 각각의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀의 공간적 이웃의 하나 이상의 시간적 픽셀의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는 방법.
(14) (9) 내지 (13) 중 어느 하나에 있어서, 제1 시간적 픽셀을 메트릭과 비교하는 것은 제1 시간적 픽셀의 각각의 픽셀 값이 메트릭 미만인지 여부를 비교하는 것을 포함하는 방법.
(15) (14)에 있어서, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것은 메트릭 미만인 제1 시간적 픽셀의 각각의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀의 공간적 이웃의 하나 이상의 시간적 픽셀의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는 방법.
(16) (9) 내지 (15) 중 어느 하나에 있어서,
장면의 이미지들의 제2 세트를 획득하는 단계 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -,
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 제2 세트 내의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -,
시간적 픽셀들의 제2 세트로부터 제2 시간적 픽셀을 수정하는 것을 포함하여, 제2 시간적 픽셀 이미지에 기초하여, 제2 수정된 시간적 픽셀 이미지를 생성하는 단계
를 포함하고,
제2 시간적 픽셀을 수정하는 것은,
제2 시간적 픽셀을 메트릭과 비교하는 것, 및
비교에 기초하여, 제2 시간적 픽셀의 하나 이상의 픽셀 값을 제2 시간적 픽셀 및/또는 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것
을 포함하는 방법.
(17) 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서,
프로세서 실행가능 명령어들은, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
장면의 이미지들의 세트를 획득하게 하는 동작 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하는 동작 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -; 및
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀을 수정하는 것을 포함하여, 제1 시간적 픽셀 이미지에 기초하여, 제1 수정된 시간적 픽셀 이미지를 생성하게 하는 동작
을 수행하게 하고,
제1 시간적 픽셀을 수정하는 것은,
제1 시간적 픽셀을 메트릭과 비교하는 것, 및
비교에 기초하여, 제1 시간적 픽셀의 하나 이상의 픽셀 값을 제1 시간적 픽셀 및/또는 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀에 기초하여 결정된 다른 값으로 대체하는 것
을 포함하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체.
(18) 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 시스템으로서 - 시스템은 메모리와 통신하는 프로세서를 포함함 -,
프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금,
장면의 이미지들의 세트를 획득하게 하고 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -,
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -,
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 포화 값들의 세트를 포함하는 포화 데이터를 생성하게 하고,
포화 값들의 세트의 각각의 포화 값은 제1 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고,
각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교되는 시스템.
(19) (18)에 있어서, 명령어들은 추가로, 프로세서로 하여금,
이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을, 적어도 포화 데이터, 및 이미지들의 제2 세트에 기초하여 결정된 제2 포화 데이터에 기초하여 결정하게 하고, 이미지들의 제2 세트는 이미지들의 세트의 시각과 상이한 시각으로부터 캡처되는 시스템.
(20) (19)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응은 포화 데이터, 제2 포화 데이터, 이미지들의 세트 및 이미지들의 제2 세트에 기초하여 결정되는 시스템.
(21) (18) 내지 (20) 중 어느 하나에 있어서, 포화 값들의 세트의 각각의 포화 값은 2진 값을 포함하는 시스템.
(22) (18) 내지 (21) 중 어느 하나에 있어서, 포화 값들의 세트의 각각의 포화 값은 관련된 픽셀 값이 유효한지 여부를 나타내는 시스템.
(23) (22)에 있어서, 유효한 픽셀 값은 과다 노출되지 않은 대응하는 픽셀을 포함하는 시스템.
(24) (18) 내지 (23) 중 어느 하나에 있어서, 메트릭은 이미지들의 세트에서의 과다 노출 정도와 관련되는 시스템.
(25) (19)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하는 것은 이미지들의 세트 및/또는 이미지들의 제2 세트로부터 시간적 픽셀의 픽셀 값들의 세트에 최소 개수의 유효한 픽셀 값을 포함하지 않는 시간적 픽셀을 제외시키는 것을 포함하는 시스템.
(26) (19)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하는 것은 이미지들의 세트 및/또는 이미지들의 제2 세트로부터 시간적 픽셀에 공간적으로 근접한 임계값을 초과하는 개수의 시간적 픽셀을 갖는 시간적 픽셀을 제외시키는 것을 포함하고, 임계값을 초과하는 개수의 시간적 픽셀 각각은 공간적으로 근접한 시간적 픽셀의 픽셀 값들의 세트에 최소 개수의 유효한 픽셀 값들을 포함하지 않는 시스템.
(27) (18) 내지 (26) 중 어느 하나에 있어서, 프로세서는,
장면의 이미지들의 제2 세트를 획득하는 동작 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -;
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하는 동작 - 시간적 픽셀들의 제2 세트 내의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -; 및
시간적 픽셀들의 제2 세트로부터의 제2 시간적 픽셀에 대해, 포화 값들의 제2 세트를 포함하는 제2 포화 데이터를 생성하게 하는 동작
을 수행하도록 추가로 구성되고,
포화 값들의 제2 세트의 각각의 포화 값은 제2 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고,
각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교되는 시스템.
(28) 시간적 픽셀 이미지에 대한 포화 데이터를 결정하기 위한 컴퓨터화된 방법으로서,
장면의 이미지들의 세트를 획득하는 단계 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -; 및
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 포화 값들의 세트를 포함하는 포화 데이터를 생성하는 단계
를 포함하고,
포화 값들의 세트의 각각의 포화 값은 제1 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고,
각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교되는 방법.
(29) (28)에 있어서,
이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을, 적어도 포화 데이터, 및 이미지들의 제2 세트에 기초하여 결정된 제2 포화 데이터에 기초하여 결정하는 단계를 추가로 포함하고, 이미지들의 제2 세트는 이미지들의 세트의 시각과 상이한 시각으로부터 캡처되는 방법.
(30) (29)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응은 포화 데이터, 제2 포화 데이터, 이미지들의 세트 및 이미지들의 제2 세트에 기초하여 결정되는 방법.
(31) (28) 내지 (30) 중 어느 하나에 있어서, 포화 값들의 세트의 각각의 포화 값은 2진 값을 포함하는 방법.
(32) (28) 내지 (31) 중 어느 하나에 있어서, 포화 값들의 세트의 각각의 포화 값은 관련된 픽셀 값이 유효한지 여부를 나타내는 방법.
(33) (32)에 있어서, 유효한 픽셀 값은 과다 노출되지 않은 대응하는 픽셀을 포함하는 방법.
(34) (28) 내지 (33) 중 어느 하나에 있어서, 메트릭은 이미지들의 세트에서의 과다 노출 정도와 관련되는 방법.
(35) (29)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하는 단계는 이미지들의 세트 및/또는 이미지들의 제2 세트로부터 시간적 픽셀의 픽셀 값들의 세트에 최소 개수의 유효한 픽셀 값을 포함하지 않는 시간적 픽셀을 제외시키는 단계를 포함하는 방법.
(36) (29)에 있어서, 이미지들의 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하는 단계는 이미지들의 세트 및/또는 이미지들의 제2 세트로부터 시간적 픽셀에 공간적으로 근접한 임계값을 초과하는 개수의 시간적 픽셀을 갖는 시간적 픽셀을 제외시키는 단계를 포함하고, 임계값을 초과하는 개수의 시간적 픽셀 각각은 공간적으로 근접한 시간적 픽셀의 픽셀 값들의 세트에 최소 개수의 유효한 픽셀 값들을 포함하지 않는 방법.
(37) (28) 내지 (36) 중 어느 하나에 있어서,
장면의 이미지들의 제2 세트를 획득하는 단계 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -;
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 제2 세트 내의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -; 및
시간적 픽셀들의 제2 세트로부터의 제2 시간적 픽셀에 대해, 포화 값들의 제2 세트를 포함하는 제2 포화 데이터를 생성하게 하는 단계
를 추가로 포함하고,
포화 값들의 제2 세트의 각각의 포화 값은 제2 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고,
각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교되는 방법.
(38) 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서,
프로세서 실행가능 명령어들은, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
장면의 이미지들의 세트를 획득하는 동작 - 이미지들의 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하는 동작 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -; 및
시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 포화 값들의 세트를 포함하는 포화 데이터를 생성하는 동작
을 수행하게 하고,
포화 값들의 세트의 각각의 포화 값은 제1 시간적 픽셀의 픽셀 값들의 세트의 픽셀 값과 연관되고,
각각의 픽셀 값은 대응하는 포화 값을 결정하기 위해 메트릭과 비교되는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체.
(39) 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 시스템으로서 - 시스템은 메모리와 통신하는 프로세서를 포함함 -,
프로세서는 메모리에 저장된 명령어들을 실행하도록 구성되고, 명령어들은, 프로세서로 하여금,
장면의 이미지들의 제1 세트를 획득하게 하고 - 이미지들의 제1 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -,
이미지들의 제1 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하게 하고 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 제1 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -,
이미지들의 제1 세트의 이미지 포인트들과 장면의 이미지들의 제2 세트의 이미지 포인트들 사이의 대응들의 세트를 결정하게 하고 - 이미지들의 제2 세트는 이미지들의 제1 세트와 상이한 시각으로부터 캡처됨 -,
대응들의 세트를 결정하는 것은,
제1 시간적 픽셀 이미지의 제1 시간적 픽셀이 이미지들의 제2 세트에 기초하여 결정된 제2 시간적 픽셀 이미지의 시간적 픽셀에 대한 대응을 결여하고 있는 것으로 결정하는 것; 및
제1 시간적 픽셀에 대해, 하나 이상의 기존의 대응에 기초하여, 제2 시간적 픽셀 이미지의 제2 시간적 픽셀에 대한 근사 대응을 생성하는 것
을 포함하고,
하나 이상의 기존의 대응의 각각의 기존의 대응은,
제1 시간적 픽셀 이미지의 시간적 픽셀과 제2 시간적 픽셀 이미지의 시간적 픽셀 사이에 있고,
제1 시간적 픽셀에 대한 관계 메트릭을 충족시키는 시스템.
(40) (39)에 있어서, 하나 이상의 기존의 대응은 제1 시간적 픽셀에 공간적으로 근접한 제1 시간적 픽셀 이미지의 시간적 픽셀들과 관련되고, 관계 메트릭은 제1 시간적 픽셀에 대한 공간적 근접성의 정도와 관련되는 시스템.
(41) (39) 또는 (40)에 있어서, 명령어들은 추가로, 프로세서로 하여금,
제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보, 시간적 정보 또는 둘 모두에 기초하여 근사 대응을 검증하게 하는 시스템.
(42) (41)에 있어서, 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 시간적 정보에 기초하여 근사 대응을 검증하는 것은 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두의 하나 이상의 픽셀 값이 과다 노출되었는지 여부를 결정하는 것을 포함하는 시스템.
(43) (41)에 있어서, 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보에 기초하여 근사 대응을 검증하는 것은 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀이 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀과 특성을 공유하는지 여부를 결정하는 것을 포함하는 시스템.
(44) (43)에 있어서, 공유된 특성은 컬러, 온도 및/또는 텍스처를 포함하는 시스템.
(45) (39) 내지 (44) 중 어느 하나에 있어서, 프로세서는,
장면의 이미지들의 제2 세트를 획득하게 하는 동작 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -; 및
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하게 하는 동작 - 시간적 픽셀들의 제2 세트의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -
을 수행하도록 추가로 구성되는 시스템.
(46) 이미지들의 제1 세트와 이미지들의 제2 세트 사이의 스테레오 대응을 결정하기 위한 컴퓨터화된 방법으로서,
장면의 이미지들의 제1 세트를 획득하는 단계 - 이미지들의 제1 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 제1 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 제1 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -; 및
이미지들의 제1 세트의 이미지 포인트들과 장면의 이미지들의 제2 세트의 이미지 포인트들 사이의 대응들의 세트를 결정하는 단계 - 이미지들의 제2 세트는 이미지들의 제1 세트와 상이한 시각으로부터 캡처됨 -
를 포함하고,
대응들의 세트를 결정하는 단계는,
제1 시간적 픽셀 이미지의 제1 시간적 픽셀이 이미지들의 제2 세트에 기초하여 결정된 제2 시간적 픽셀 이미지의 시간적 픽셀에 대한 대응을 결여하고 있는 것으로 결정하는 단계; 및
제1 시간적 픽셀에 대해, 하나 이상의 기존의 대응에 기초하여, 제2 시간적 픽셀 이미지의 제2 시간적 픽셀에 대한 근사 대응을 생성하는 단계
를 포함하고,
하나 이상의 기존의 대응의 각각의 기존의 대응은,
제1 시간적 픽셀 이미지의 시간적 픽셀과 제2 시간적 픽셀 이미지의 시간적 픽셀 사이에 있고,
제1 시간적 픽셀에 대한 관계 메트릭을 충족시키는 방법.
(47) (46)에 있어서, 하나 이상의 기존의 대응은 제1 시간적 픽셀에 공간적으로 근접한 제1 시간적 픽셀 이미지의 시간적 픽셀들과 관련되고, 관계 메트릭은 제1 시간적 픽셀에 대한 공간적 근접성의 정도와 관련되는 방법.
(48) (46) 또는 (47)에 있어서, 명령어들은 추가로, 프로세서로 하여금,
제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보, 시간적 정보 또는 둘 모두에 기초하여 근사 대응을 검증하게 하는 방법.
(49) (48)에 있어서, 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 시간적 정보에 기초하여 근사 대응을 검증하는 것은 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두의 하나 이상의 픽셀 값이 과다 노출되었는지 여부를 결정하는 것을 포함하는 방법.
(50) (48)에 있어서, 제1 시간적 픽셀, 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보에 기초하여 근사 대응을 검증하는 것은 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀이 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀과 특성을 공유하는지 여부를 결정하는 것을 포함하는 방법.
(51) (50)에 있어서, 공유된 특성은 컬러, 온도 및/또는 텍스처를 포함하는 방법.
(52) (46) 내지 (51) 중 어느 하나에 있어서,
장면의 이미지들의 제2 세트를 획득하는 단계 - 이미지들의 제2 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 이미지들의 세트의 시각과 상이한 장면의 시각에 의한 것임 -; 및
이미지들의 제2 세트에 기초하여, 시간적 픽셀들의 제2 세트를 포함하는 제2 시간적 픽셀 이미지를 생성하는 단계 - 시간적 픽셀들의 제2 세트의 각각의 시간적 픽셀은 이미지들의 제2 세트의 각각의 이미지로부터의 연관된 제2 포지션에서 수집된 픽셀 값들의 세트를 포함함 -
를 추가로 포함하는 방법.
(53) 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서,
프로세서 실행가능 명령어들은, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
장면의 이미지들의 제1 세트를 획득하는 동작 - 이미지들의 제1 세트 내의 각각의 이미지는 (a) 장면 상에 투영된 광 패턴의 일부를 캡처하고, (b) 장면의 시각에 의한 것임 -;
이미지들의 제1 세트에 기초하여, 시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 생성하는 동작 - 시간적 픽셀들의 세트 내의 각각의 시간적 픽셀은 이미지들의 제1 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -; 및
이미지들의 제1 세트의 이미지 포인트들과 장면의 이미지들의 제2 세트의 이미지 포인트들 사이의 대응들의 세트를 결정하는 동작 - 이미지들의 제2 세트는 이미지들의 제1 세트와 상이한 시각으로부터 캡처됨 -
을 포함하고,
대응들의 세트를 결정하는 동작은,
제1 시간적 픽셀 이미지의 제1 시간적 픽셀이 이미지들의 제2 세트에 기초하여 결정된 제2 시간적 픽셀 이미지의 시간적 픽셀에 대한 대응을 결여하고 있는 것으로 결정하는 동작; 및
제1 시간적 픽셀에 대해, 하나 이상의 기존의 대응에 기초하여, 제2 시간적 픽셀 이미지의 제2 시간적 픽셀에 대한 근사 대응을 생성하는 동작
을 포함하고,
하나 이상의 기존의 대응의 각각의 기존의 대응은,
제1 시간적 픽셀 이미지의 시간적 픽셀과 제2 시간적 픽셀 이미지의 시간적 픽셀 사이에 있고,
제1 시간적 픽셀에 대한 관계 메트릭을 충족시키는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체.
청구항의 엘리먼트를 수정하기 위해 청구 범위에서 "제1", "제2", "제3" 등과 같은 서수 용어들을 사용하는 것은 그 자체로 하나의 청구항 엘리먼트의 다른 청구항 엘리먼트에 대한 임의의 우선 순위, 선행 또는 순서, 또는 방법의 동작들이 수행되는 시간적 순서를 나타내는 것은 아니며, 단지 청구항 엘리먼트들을 구별하기 위해 특정 이름을 갖는 하나의 청구항 엘리먼트를 동일한 이름(그렇지만, 서수 용어를 사용함)을 갖는 다른 엘리먼트와 구별하기 위한 라벨들로서 사용된다.
또한, 본 명세서에서 사용된 어구 및 용어는 설명의 목적을 위한 것이며, 제한적인 것으로 간주되어서는 안된다. 본 명세서의 "포함하는(including)", "포함하는(comprising)", "갖는(having)", "포함하는(containing)", "포함하는(involving)" 및 그 변형들은 이후에 열거된 항목들 및 그 등가물들뿐만 아니라, 추가적인 항목들을 포함하는 것을 의미한다.
"예시적인"이라는 단어는 본 명세서에서 예, 인스턴스 또는 예시로서 역할하는 것을 의미하도록 사용된다. 따라서, 예시적인 것으로 본 명세서에 설명된 임의의 실시예, 구현, 프로세스, 특징 등은 예시적인 예인 것으로 이해되어야 하며, 달리 지시되지 않는 한, 바람직한 또는 유리한 예로서 이해되어서는 안된다.
따라서, 적어도 하나의 실시예의 여러 양태들을 설명하였으므로, 다양한 변경들, 수정들 및 개선들이 본 기술분야의 통상의 기술자에게 용이하게 일어날 수 있다는 것이 이해되어야 한다. 이러한 변경들, 수정들 및 개선들은 본 개시내용의 일부인 것으로 의도되고, 본 명세서에 설명된 원리들의 사상 및 범주 내에 있는 것으로 의도된다. 따라서, 상기 설명 및 도면들은 단지 예일 뿐이다.

Claims (20)

  1. 메모리와 통신하는 프로세서를 포함하는 시스템으로서,
    상기 프로세서는 상기 메모리에 저장된 명령어들을 실행하도록 구성되고, 상기 명령어들은 상기 프로세서로 하여금,
    시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 수신하게 하고 - 시간적 픽셀들의 상기 세트 내의 각각의 시간적 픽셀은 장면의 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -;
    상기 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 상기 제1 시간적 픽셀을 제1 메트릭에 비교하는 것에 기초하여 제1 수정된 시간적 픽셀을 생성하게 하고;
    상기 제1 수정된 시간적 픽셀에 대해, 상기 제1 수정된 시간적 픽셀을 제2 메트릭에 비교하는 것에 기초하여 포화 값들의 세트를 포함하는 포화 데이터를 생성하게 하고;
    상기 제1 수정된 시간적 픽셀에 대해, 제2 시간적 픽셀 이미지 내의 제2 시간적 픽셀에 대한 근사 대응을, 상기 제1 수정된 시간적 픽셀에 대한 관계 메트릭을 충족시키는 상기 제1 시간적 픽셀 이미지 내의 시간적 픽셀과 상기 제2 시간적 픽셀 이미지 내의 시간적 픽셀 사이의 적어도 하나의 기존의 대응에 기초하여, 생성하게 하는, 시스템.
  2. 제1항에 있어서, 상기 제1 메트릭은 이미지들의 상기 세트에서의 노출 부족의 정도와 관련되는, 시스템.
  3. 제1항에 있어서, 상기 제1 수정된 시간적 픽셀을 생성하는 것은, 상기 제1 시간적 픽셀의 하나 이상의 픽셀 값을
    상기 제1 시간적 픽셀, 상기 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀, 또는 상기 제1 시간적 픽셀과 상기 제1 시간적 픽셀에 공간적으로 근접한 상기 하나 이상의 시간적 픽셀 둘 모두
    에 기초하여 결정된 다른 값으로 대체하는 것을 포함하는, 시스템.
  4. 제3항에 있어서, 상기 제1 시간적 픽셀을 상기 제1 메트릭에 비교하는 것은, 상기 제1 시간적 픽셀의 픽셀 값들의 최대값이 상기 제1 메트릭 미만인지 여부를 비교하는 것을 포함하는, 시스템.
  5. 제4항에 있어서, 상기 제1 시간적 픽셀의 하나 이상의 픽셀 값을
    상기 제1 시간적 픽셀, 상기 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀, 또는 상기 제1 시간적 픽셀과 상기 제1 시간적 픽셀에 공간적으로 근접한 상기 하나 이상의 시간적 픽셀 둘 모두
    에 기초하여 결정된 다른 값으로 대체하는 것은, 상기 제1 시간적 픽셀의 각각의 픽셀 값을
    상기 제1 시간적 픽셀, 상기 제1 시간적 픽셀의 공간적 이웃인 상기 하나 이상의 시간적 픽셀, 또는 상기 제1 시간적 픽셀과 상기 제1 시간적 픽셀의 공간적 이웃인 상기 하나 이상의 시간적 픽셀 둘 모두
    의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는, 시스템.
  6. 제3항에 있어서, 상기 제1 시간적 픽셀을 상기 제1 메트릭에 비교하는 것은, 상기 제1 시간적 픽셀의 각각의 픽셀 값이 상기 제1 메트릭 미만인지 여부를 비교하는 것을 포함하는, 시스템.
  7. 제6항에 있어서, 상기 제1 시간적 픽셀의 하나 이상의 픽셀 값을
    상기 제1 시간적 픽셀, 상기 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀, 또는 상기 제1 시간적 픽셀과 상기 제1 시간적 픽셀에 공간적으로 근접한 상기 하나 이상의 시간적 픽셀 둘 모두
    에 기초하여 결정된 다른 값으로 대체하는 것은, 상기 제1 메트릭 미만인 상기 제1 시간적 픽셀의 각각의 픽셀 값을
    상기 제1 시간적 픽셀, 상기 제1 시간적 픽셀의 공간적 이웃인 상기 하나 이상의 시간적 픽셀, 또는 상기 제1 시간적 픽셀과 상기 제1 시간적 픽셀의 공간적 이웃인 상기 하나 이상의 시간적 픽셀 둘 모두
    의 가우시안 평활화로부터 도출된 픽셀 값으로 대체하는 것을 포함하는, 시스템.
  8. 제1항에 있어서, 포화 값들의 상기 세트의 각각의 포화 값은 2진 값을 포함하는, 시스템.
  9. 제1항에 있어서, 포화 값들의 상기 세트의 각각의 포화 값은 관련된 픽셀 값이 유효한지 여부를 나타내는, 시스템.
  10. 제9항에 있어서, 유효한 상기 픽셀 값은 과다 노출되지 않은 대응하는 픽셀을 포함하는, 시스템.
  11. 제1항에 있어서, 상기 제2 메트릭은 이미지들의 상기 세트에서의 과다 노출의 정도와 관련되는, 시스템.
  12. 제1항에 있어서, 상기 적어도 하나의 기존의 대응은 상기 제1 시간적 픽셀에 공간적으로 근접한 상기 제1 시간적 픽셀 이미지 내의 적어도 하나의 시간적 픽셀과 관련되고, 상기 관계 메트릭은 상기 제1 시간적 픽셀에 대한 공간적 근접성의 정도와 관련되는, 시스템.
  13. 제1항에 있어서, 상기 명령어들은 추가로, 상기 프로세서로 하여금,
    상기 제1 시간적 픽셀, 상기 제2 시간적 픽셀 또는 둘 모두와 관련된 공간적 정보, 시간적 정보 또는 둘 모두에 기초하여 상기 근사 대응을 검증하게 하는, 시스템.
  14. 제13항에 있어서, 상기 제1 시간적 픽셀, 상기 제2 시간적 픽셀 또는 둘 모두와 관련된 상기 시간적 정보에 기초하여 상기 근사 대응을 검증하는 것은 상기 제1 시간적 픽셀, 상기 제2 시간적 픽셀 또는 둘 모두의 하나 이상의 픽셀 값이 과다 노출되었는지 여부를 결정하는 것을 포함하는, 시스템.
  15. 제13항에 있어서, 상기 제1 시간적 픽셀, 상기 제2 시간적 픽셀 또는 둘 모두와 관련된 상기 공간적 정보에 기초하여 상기 근사 대응을 검증하는 것은 상기 제1 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀이 상기 제2 시간적 픽셀에 공간적으로 근접한 하나 이상의 시간적 픽셀과 특성을 공유하는지 여부를 결정하는 것을 포함하는, 시스템.
  16. 제15항에 있어서, 상기 공유된 특성은
    컬러, 온도, 및 텍스처
    중 적어도 하나를 포함하는, 시스템.
  17. 컴퓨터화된 방법으로서,
    시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 수신하는 단계 - 시간적 픽셀들의 상기 세트 내의 각각의 시간적 픽셀은 장면의 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -;
    상기 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 상기 제1 시간적 픽셀을 제1 메트릭에 비교하는 것에 기초하여 제1 수정된 시간적 픽셀을 생성하는 단계;
    상기 제1 수정된 시간적 픽셀에 대해, 상기 제1 수정된 시간적 픽셀을 제2 메트릭에 비교하는 것에 기초하여 포화 값들의 세트를 포함하는 포화 데이터를 생성하는 단계; 및
    상기 제1 수정된 시간적 픽셀에 대해, 제2 시간적 픽셀 이미지 내의 제2 시간적 픽셀에 대한 근사 대응을, 상기 제1 수정된 시간적 픽셀에 대한 관계 메트릭을 충족시키는 상기 제1 시간적 픽셀 이미지 내의 시간적 픽셀과 상기 제2 시간적 픽셀 이미지 내의 시간적 픽셀 사이의 적어도 하나의 기존의 대응에 기초하여, 생성하는 단계를 포함하는, 방법.
  18. 제17항에 있어서,
    상기 제1 메트릭이 이미지들의 상기 세트에서의 노출 부족의 정도와 관련되거나,
    상기 제2 메트릭이 이미지들의 상기 세트에서의 과다 노출의 정도와 관련되거나,
    상기 제1 메트릭이 이미지들의 상기 세트에서의 상기 노출 부족의 정도와 관련되고 상기 제2 메트릭이 이미지들의 상기 세트에서의 상기 과다 노출의 정도와 관련되는, 방법.
  19. 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 프로세서 실행가능 명령어들은, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
    시간적 픽셀들의 세트를 포함하는 제1 시간적 픽셀 이미지를 수신하는 동작 - 시간적 픽셀들의 상기 세트 내의 각각의 시간적 픽셀은 장면의 이미지들의 세트의 각각의 이미지로부터의 연관된 포지션에서의 픽셀 값들의 세트를 포함함 -;
    상기 시간적 픽셀들의 세트로부터의 제1 시간적 픽셀에 대해, 상기 제1 시간적 픽셀을 제1 메트릭에 비교하는 것에 기초하여 제1 수정된 시간적 픽셀을 생성하는 동작;
    상기 제1 수정된 시간적 픽셀에 대해, 상기 제1 수정된 시간적 픽셀을 제2 메트릭에 비교하는 것에 기초하여 포화 값들의 세트를 포함하는 포화 데이터를 생성하는 동작; 및
    상기 제1 수정된 시간적 픽셀에 대해, 제2 시간적 픽셀 이미지 내의 제2 시간적 픽셀에 대한 근사 대응을, 상기 제1 수정된 시간적 픽셀에 대한 관계 메트릭을 충족시키는 상기 제1 시간적 픽셀 이미지 내의 시간적 픽셀과 상기 제2 시간적 픽셀 이미지 내의 시간적 픽셀 사이의 적어도 하나의 기존의 대응에 기초하여, 생성하는 동작을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제19항에 있어서,
    상기 제1 메트릭이 이미지들의 상기 세트에서의 노출 부족의 정도와 관련되거나,
    상기 제2 메트릭이 이미지들의 상기 세트에서의 과다 노출의 정도와 관련되거나,
    상기 제1 메트릭이 이미지들의 상기 세트에서의 상기 노출 부족의 정도와 관련되고 상기 제2 메트릭이 이미지들의 상기 세트에서의 상기 과다 노출의 정도와 관련되는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020220014804A 2018-04-23 2022-02-04 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 KR102516495B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862661545P 2018-04-23 2018-04-23
US201862661549P 2018-04-23 2018-04-23
US201862661540P 2018-04-23 2018-04-23
US62/661,549 2018-04-23
US62/661,545 2018-04-23
US62/661,540 2018-04-23
KR1020210034715A KR102360773B1 (ko) 2018-04-23 2021-03-17 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034715A Division KR102360773B1 (ko) 2018-04-23 2021-03-17 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치

Publications (2)

Publication Number Publication Date
KR20220024255A KR20220024255A (ko) 2022-03-03
KR102516495B1 true KR102516495B1 (ko) 2023-04-03

Family

ID=68105323

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020190047365A KR102187211B1 (ko) 2018-04-23 2019-04-23 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR1020200164643A KR102231496B1 (ko) 2018-04-23 2020-11-30 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR1020210034715A KR102360773B1 (ko) 2018-04-23 2021-03-17 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR1020220014804A KR102516495B1 (ko) 2018-04-23 2022-02-04 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020190047365A KR102187211B1 (ko) 2018-04-23 2019-04-23 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR1020200164643A KR102231496B1 (ko) 2018-04-23 2020-11-30 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR1020210034715A KR102360773B1 (ko) 2018-04-23 2021-03-17 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치

Country Status (4)

Country Link
US (4) US11074700B2 (ko)
KR (4) KR102187211B1 (ko)
CN (1) CN110390645B (ko)
DE (1) DE102019205783A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187211B1 (ko) 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11288819B2 (en) * 2019-06-28 2022-03-29 Cognex Corporation Systems and methods for detecting motion during 3D data reconstruction
CN111311731B (zh) * 2020-01-23 2023-04-07 深圳市易尚展示股份有限公司 基于数字投影的随机灰度图生成方法、装置和计算机设备
WO2022147670A1 (en) * 2021-01-06 2022-07-14 Jiangsu Jitri Micro-Nano Automation Institute Co., Ltd Automatic exposure selection method for high dynamic range 3d optical measurements

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017220598A1 (de) 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US5661525A (en) 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
WO1997000498A1 (en) 1995-06-16 1997-01-03 The Trustees Of The University Of Pennsylvania Apparatus and method for dynamic modeling of an object
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
DE10016074B4 (de) 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
WO2002045003A1 (en) 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
US6718055B1 (en) 2000-12-05 2004-04-06 Koninklijke Philips Electronics, N.V. Temporal and spatial correction for perfusion quantification system
KR20020086937A (ko) 2001-01-26 2002-11-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치
DE10163215B4 (de) 2001-12-21 2020-02-20 Philips Gmbh System und Verfahren mit automatisch optimierter Bilderzeugung
EP1326209B1 (en) * 2001-12-24 2007-09-26 STMicroelectronics S.r.l. Method for contrast enhancement in colour digital image
US6937776B2 (en) * 2003-01-31 2005-08-30 University Of Chicago Method, system, and computer program product for computer-aided detection of nodules with three dimensional shape enhancement filters
JP2004234423A (ja) 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
US7146036B2 (en) 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
KR100984150B1 (ko) 2003-03-21 2010-09-29 록히드 마틴 코포레이션 시간적 통합 및 공간적 통합을 이용한 타겟 검출 개선법
JP2007504700A (ja) 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
DE10351778A1 (de) * 2003-11-06 2005-06-09 Daimlerchrysler Ag Verfahren zur Korrespondenzanalyse in Bilddatensätzen
US7680297B2 (en) * 2004-05-18 2010-03-16 Axonx Fike Corporation Fire detection method and apparatus
US7975000B2 (en) 2005-01-27 2011-07-05 Fmr Llc A/B testing of a webpage
KR100728009B1 (ko) 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US20070046924A1 (en) 2005-08-30 2007-03-01 Chang Nelson L A Projecting light patterns encoding correspondence information
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8179440B2 (en) 2005-12-05 2012-05-15 University Of Maryland Method and system for object surveillance and real time activity recognition
EP1997070B1 (de) * 2006-03-22 2018-01-03 Pilz GmbH & Co. KG Raum-zeitliches verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene
US7623683B2 (en) 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US8172407B2 (en) 2007-05-16 2012-05-08 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3D reconstruction
US20090010507A1 (en) 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US7965866B2 (en) 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8417037B2 (en) 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
GB0807953D0 (en) * 2008-05-01 2008-06-11 Ying Ind Ltd Improvements in motion pictures
NZ567986A (en) * 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
US8384714B2 (en) 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
US8774559B2 (en) 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
CN102106150A (zh) 2009-02-05 2011-06-22 松下电器产业株式会社 摄像处理装置
US8422795B2 (en) * 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
WO2010093351A1 (en) 2009-02-13 2010-08-19 Thomson Licensing Depth map coding to reduce rendered distortion
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8259198B2 (en) * 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
EP2339534A1 (en) 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
US8290248B2 (en) * 2009-12-31 2012-10-16 Mitsubishi Electric Research Laboratories, Inc. Determining disparity search range in stereo videos
WO2011083555A1 (ja) 2010-01-07 2011-07-14 パナソニック株式会社 画像処理装置、画像生成システム、方法、およびプログラム
US8781253B2 (en) * 2010-01-22 2014-07-15 Thomson Licensing Method and apparatus for video object segmentation
ES2575869T3 (es) 2010-07-30 2016-07-01 Deutsche Telekom Ag Método y aparato para sincronizar temporalmente el flujo de bits de entrada de un descodificador de vídeo con la secuencia de vídeo procesada descodificada por el descodificador de vídeo
US20120242864A1 (en) 2010-09-20 2012-09-27 Pauli Myron R Flash detection and clutter rejection processor
US8928813B2 (en) 2010-10-28 2015-01-06 Microsoft Corporation Methods and apparatus for reducing structured noise in video
US8786598B2 (en) * 2010-11-19 2014-07-22 Ati Technologies, Ulc Pixel-intensity modulation technique for frame-sequential stereo-3D displays
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns
GB2490872B (en) 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US8744169B2 (en) 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
US8744123B2 (en) * 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
US9041819B2 (en) * 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
KR101918057B1 (ko) 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
EP2795907A4 (en) 2011-12-22 2015-07-15 Ericsson Telefon Ab L M METHOD AND PROCESSOR FOR 3D SCENE REPRESENTATION
FR2988504B1 (fr) 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US10091483B2 (en) * 2012-06-25 2018-10-02 Thomson Licensing Method and device for temporal filtering of disparity maps
US20140002617A1 (en) 2012-06-27 2014-01-02 The Board Of Trustees Of The University Of Illinois Particle tracking system and method
US20140002441A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science and Technology Research Institute Company Limited Temporally consistent depth estimation from binocular videos
US8805057B2 (en) 2012-07-31 2014-08-12 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
LU92074B1 (en) 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
WO2014047465A2 (en) 2012-09-21 2014-03-27 The Schepens Eye Research Institute, Inc. Collision prediction
AU2013248207A1 (en) * 2012-11-15 2014-05-29 Thomson Licensing Method for superpixel life cycle management
KR101956353B1 (ko) 2012-12-05 2019-03-08 삼성전자주식회사 영상 처리 장치 및 3d 영상 생성 방법
US10249052B2 (en) * 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US20140192158A1 (en) 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US9393686B1 (en) 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
JP6378323B2 (ja) 2013-05-28 2018-08-22 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 密な動き場を介する下位のビデオシーケンスへの画像編集伝達
US10089739B2 (en) 2013-06-28 2018-10-02 Texas Instruments Incorporated Structured light depth imaging under various lighting conditions
JP6270361B2 (ja) 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
US9503706B2 (en) * 2013-09-10 2016-11-22 Xerox Corporation Determining source lane of moving item merging into destination lane
WO2015050795A1 (en) * 2013-10-04 2015-04-09 Reald Inc. Image mastering systems and methods
US9525860B2 (en) 2013-12-16 2016-12-20 Xerox Corporation Enhancing a spatio-temporal resolution of a depth data stream
US9286707B1 (en) * 2014-01-27 2016-03-15 Google Inc. Removing transient objects to synthesize an unobstructed image
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
US9704232B2 (en) 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
US9819925B2 (en) 2014-04-18 2017-11-14 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
US9754377B2 (en) * 2014-08-15 2017-09-05 Illinois Institute Of Technology Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
US9635332B2 (en) * 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US20160094830A1 (en) * 2014-09-26 2016-03-31 Brown University System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
US9832375B2 (en) * 2014-10-21 2017-11-28 Bae Systems Information And Electronic Systems Integration Inc. Video image recovery from transient blockage or corruption artifacts
US9691140B2 (en) 2014-10-31 2017-06-27 Intel Corporation Global matching of multiple images
CN107211100B (zh) * 2014-12-29 2020-05-19 诺基亚技术有限公司 用于图像的运动去模糊的方法及装置
US9704254B2 (en) * 2015-03-27 2017-07-11 Intel Corporation Stereo image matching by shape preserving filtering of a cost volume in a phase domain
US10043282B2 (en) * 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
KR101740124B1 (ko) * 2015-05-20 2017-06-08 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
CN108141887B (zh) * 2015-09-28 2021-07-02 阿特拉斯全球技术有限责任公司 用于phy报头中的txop持续时间字段的装置和方法
US9952036B2 (en) * 2015-11-06 2018-04-24 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
US20170171525A1 (en) * 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
US10229481B2 (en) * 2015-12-22 2019-03-12 Mti Film, Llc Automatic defective digital motion picture pixel detection
WO2017212720A1 (ja) 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10609359B2 (en) * 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10607069B2 (en) 2016-09-12 2020-03-31 Intel Corporation Determining a pointing vector for gestures performed before a depth camera
US10165257B2 (en) 2016-09-28 2018-12-25 Intel Corporation Robust disparity estimation in the presence of significant intensity variations for camera arrays
US11423562B2 (en) 2016-10-18 2022-08-23 Photonic Sensors & Algorithms, S.L. Device and method for obtaining distance information from views
US10712561B2 (en) * 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
US10430685B2 (en) 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system
US10360693B2 (en) 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
US10943207B2 (en) * 2017-03-02 2021-03-09 Walmart Apollo, Llc Shipment receiving systems and methods including notification and reconciliation features
US10516876B2 (en) 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
US11113790B2 (en) 2018-04-12 2021-09-07 Nvidia Corporation Adding greater realism to a computer-generated image by smoothing jagged edges
KR102187211B1 (ko) 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US10867430B2 (en) 2018-11-19 2020-12-15 Intel Corporation Method and system of 3D reconstruction with volume-based filtering for image processing
US10861172B2 (en) * 2018-11-28 2020-12-08 Battelle Memorial Institute Sensors and methods for monitoring flying objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017220598A1 (de) 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung

Also Published As

Publication number Publication date
CN110390645B (zh) 2024-04-16
US11017540B2 (en) 2021-05-25
CN110390645A (zh) 2019-10-29
US20190325590A1 (en) 2019-10-24
US11593954B2 (en) 2023-02-28
US11069074B2 (en) 2021-07-20
DE102019205783A1 (de) 2019-10-24
KR20210032367A (ko) 2021-03-24
KR20200136873A (ko) 2020-12-08
US20210407110A1 (en) 2021-12-30
KR102187211B1 (ko) 2020-12-04
KR20220024255A (ko) 2022-03-03
US20190325598A1 (en) 2019-10-24
KR102360773B1 (ko) 2022-02-14
US20190325594A1 (en) 2019-10-24
KR102231496B1 (ko) 2021-03-24
US11074700B2 (en) 2021-07-27
KR20200067719A (ko) 2020-06-12

Similar Documents

Publication Publication Date Title
KR102516495B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
Jeon et al. Accurate depth map estimation from a lenslet light field camera
US20200374461A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
TW201432621A (zh) 用於使用至少一額外影像之影像增強及邊緣驗證之方法及設備
CN113077459B (zh) 图像清晰度检测方法、装置、电子设备及存储介质
US11776137B2 (en) Systems and methods for detecting motion during 3D data reconstruction
JP2023169357A (ja) 物体の３次元再構成のための初期対応割り当ての効率的なデータ処理のための方法及び装置
JP2017537396A (ja) 非集束型プレノプティックデータの深度を推定する方法および装置
KR101526465B1 (ko) 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
Gao et al. Depth error elimination for RGB-D cameras
TWI576789B (zh) 影像處理方法、非暫態電腦可讀取記錄媒體及電子裝置
Wu et al. Dual-camera HDR synthesis guided by long-exposure image
Qiao et al. Robust HDR reconstruction using 3D patch based on two-scale decomposition
Akyüz et al. Ghosting in HDR Video
Mahmoudpour et al. A Fast 2D-to-3D Image Conversion System based on Depth from Defocus.

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant