KR20130061636A - 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법 - Google Patents

멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR20130061636A
KR20130061636A KR1020120136272A KR20120136272A KR20130061636A KR 20130061636 A KR20130061636 A KR 20130061636A KR 1020120136272 A KR1020120136272 A KR 1020120136272A KR 20120136272 A KR20120136272 A KR 20120136272A KR 20130061636 A KR20130061636 A KR 20130061636A
Authority
KR
South Korea
Prior art keywords
depth
depth map
scale
map
value
Prior art date
Application number
KR1020120136272A
Other languages
English (en)
Other versions
KR101364421B1 (ko
Inventor
가지 알리
핑샨 리
아키라 마츠이
다카미 미즈쿠라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130061636A publication Critical patent/KR20130061636A/ko
Application granted granted Critical
Publication of KR101364421B1 publication Critical patent/KR101364421B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

강건한 깊이 맵을 생성하는 시스템 및 방법은, 서로 다른 레졸류션 특성을 각각 갖는 복수의 깊이 맵 레벨을 포함하는 깊이 맵 피라미드 구조를 생성하는 깊이 평가기를 포함한다. 한 실시 형태에서, 깊이 맵 레벨은 미세 스케일 깊이 맵, 중간 스케일 깊이 맵, 및 대략 스케일 깊이 맵을 포함한다. 깊이 평가기는 미세 스케일 신뢰 특징을 이용하여 미세 스케일 깊이 맵으로부터 깊이 값을 평가하고, 대략 스케일 신뢰 특징을 이용하여 중간 스케일 깊이 맵 및 대략 스케일 깊이 맵으로부터 깊이 값을 평가한다. 이어서, 깊이 평가기는 다른 깊이 맵 레벨로부터의 최적 깊이 값을 최적 깊이 맵으로 융합한다.

Description

멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING ROBUST DEPTH MAPS UTILIZING A MULTI-RESOLUTION PROCEDURE}
본 출원은 2011년 12월 1일자 출원된 "Method And Apparatus To Generate Robust Depth Map Using Multi-Resolution Approach"라고 하는 미국 가특허 출원 61/565,839호에 관한 것이고 그 우선권을 주장한다. 상기 관련 출원은 통상 양도되고, 본 명세서에 참고로 원용된다.
본 발명은 일반적으로 화상 데이터를 해석하기 위한 기술에 관한 것으로, 보다 구체적으로는 깊이 평가 절차에서 장면 검출을 이용하는 시스템 및 방법에 관한 것이다.
화상 데이터를 해석하는 효율적인 방법을 구현하는 것은 최근의 전자 장치의 설계자 및 제조자에게 상당히 고려되는 사항이다. 그러나, 전자 장치로 화상 데이터를 효율적으로 해석하는 것은 시스템 설계자에게 상당한 시험대이기도 하다. 예를 들어, 증가된 장치 기능과 성능을 위한 향상된 요구는 보다 많은 시스템 처리 능력을 요구하고 부가적인 하드웨어 리소스를 요구할 수 있다. 처리 또는 하드웨어 요건의 증가는 또한 증가된 제조 비용 및 동작 비효율로 인해 그에 상응하는 불리한 경제적 영향을 줄 수 있다.
또한, 다양한 진보된 동작을 수행하기 위한 향상된 장치 능력은 시스템 사용자에게 부가적인 이점을 제공할 수 있지만, 다양한 장치 부품의 제어 및 관리에 대한 요구를 증가시키기도 한다. 예를 들어, 디지털 화상 데이터를 효과적으로 해석하는 향상된 전자 장치는 대량의 복잡한 디지털 데이터와 관련되기 때문에 효과적인 구현을 할 수 있다는 이점이 있다.
시스템 리소스에 대한 요구가 늘어나고 실질적으로 데이터 크기가 증가함으로 인해, 화상 데이터를 해석하기 위한 새로운 기술을 개발하는 것은 관련된 전자 기술의 관심사라는 것은 분명하다. 그러므로, 상기의 모든 이유로 인해, 화상 데이터를 해석하기 위한 효과적인 시스템을 개발하는 것은 최근의 전자 장치의 설계자, 제조자, 및 사용자에게는 중요한 고려 사항이다.
본 발명에 따르면, 멀티-레졸류션 절차를 이용하여 강건한(robust) 깊이 맵을 생성하는 시스템 및 방법이 개시된다. 한 실시 형태에서, 깊이 평가기는 초기에 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵을 생성한다. 예를 들어, 레벨 2 깊이 맵은 비교적 미세한 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있다. 깊이 평가기는 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵으로부터 각각의 깊이 값에 대응하는 강건한 신뢰 값을 계산한다. 이어서, 깊이 평가기는 깊이 값을 각각의 신뢰 값에 따라 고 신뢰 깊이 값, 중간 신뢰 깊이 값, 및 저 신뢰 깊이 값으로 분류한다.
깊이 평가기는 또한 임의의 효과적인 기술을 이용하여 레벨 1 깊이 맵 및 레젤 0 깊이 맵을 생성한다. 예를 들어, 레벨 1 깊이 맵은 중간 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있고, 레벨 0 깊이 맵은 비교적 대략적인 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있다. 깊이 평가기는 임의의 효과적인 기술을 이용하여 레벨 1 깊이 맵 및 레벨 0 깊이 맵으로부터 각각의 깊이 값에 대응하는 강건한 신뢰 값을 계산한다. 이어서, 깊이 평가기는 계산된 신뢰 값을 이용하여 선정된 신뢰성 기준에 따라 레벨 0 깊이 맵 및 레벨 1 깊이 맵으로부터 임의의 신뢰성있는 깊이 값 후보를 식별한다.
이어서, 깊이 평가기는 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵의 블록 크기를 매칭하기 위해 레벨 1 깊이 맵 및 레벨 0 깊이 맵으로부터의 블록에 대한 리사이징(resizing) 절차를 수행한다. 깊이 평가기는 또한 임의의 효과적인 기술을 이용하여 레벨 2의 깊이 값 범위를 매칭하기 위해 레벨 1 깊이 맵 및 레벨 0 깊이 맵으로부터의 깊이 맵을 스케일하기 위한 크기 스케일링 절차를 수행한다.
깊이 평가기는 다음에 추가의 신뢰성있는 깊이 값 후보가 레벨 1 깊이 맵 또는 레벨 0 깊이 맵으로부터 식별되는지를 판정한다. 깊이 평가기는 최종의 최적화된 깊이 맵을 채우는(populate) 데 적합하지 않은 가외치(outlier)로서 임의의 신뢰성없는 깊이 값을 마크한다. 깊이 평가기는 또한 임의의 신뢰성있는 값 후보를 이용하여 임의의 효과적인 기술에 따라 최종의 최적화된 깊이 맵에 대한 최적 깊이 값을 업데이트한다. 예를 들어, 최적 신뢰 측정값을 갖는 깊이 값이 선택되거나, 또는 가중 또는 비가중 평균 방법이 여러 다른 신뢰성있는 깊이 값을 조합하기 위해 이용될 수 있다.
깊이 평가기는 최종의 최적화된 깊이 맵을 생성하기 위해 다른 레벨 깊이 맵으로부터의 최적 깊이 값을 유리하게 융합한다. 마지막으로, 깊이 평가기는 최종의 최적화된 깊이 맵의 최적 깊이 값에 대응하는 신뢰 값에 기초하여 신뢰 맵을 생성할 수 있다. 다음에 이 과정은 종료할 수 있다. 따라서 본 발명은 멀티-레졸류션 절차를 이용하여 깊이 맵을 생성하는 개선된 시스템 및 방법을 제공한다.
도 1은 본 발명에 따른, 카메라 장치의 한 실시 형태의 블록도.
도 2는 본 발명에 따른, 도 1의 캡쳐 서브시스템의 한 실시 형태의 블록도.
도 3은 본 발명에 따른, 도 1의 제어 모듈의 한 실시 형태의 블록도.
도 4는 본 발명에 따른, 도 3의 메모리의 한 실시 형태의 블록도.
도 5a는 본 발명에 따른, 단순화된 깊이 맵의 한 실시 형태의 도면.
도 5b는 초점이 흐려진 블러 화상(defocused blur image)을 갭쳐하는 한 예시적인 실시 형태의 도면.
도 5c는 예시적인 매칭 곡선의 한 실시 형태의 그래프.
도 6은 본 발명의 한 실시 형태에 따른, 멀티-레졸류션 피라미드 구조의 도면.
도 7a 내지 7c는 본 발명의 한 실시 형태에 따른, 멀티-레졸류션 절차를 이용하여 깊이 맵을 생성하는 방법 단계들의 플로우 차트.
도 8a는 본 발명의 한 실시 형태에 따른, 미세 스케일 신뢰 특징의 도면.
도 8b는 본 발명의 한 실시 형태에 따른, 대략 스케일 신뢰 특징의 도면.
도 8c는 본 발명의 한 실시 형태에 따른, SAD 수렴 기술을 도시하는 그래프.
도 9는 본 발명의 한 실시 형태에 따른, 단순화된 신뢰 맵의 도면.
본 발명은 화상 데이터 해석 기술의 개선에 관한 것이다. 다음의 설명은 본 기술에 통상의 지식을 가진 자가 발명을 제작 및 사용가능하게 하도록 제시된 것이고 특허 출원의 맥락 및 그 요건에서 제공된다. 개시된 실시 형태들에 대한 다양한 변형이 본 기술에 통상의 지식을 가진 자에게는 명백하고, 여기서의 일반적인 원리는 다른 실시 형태들에 적용될 수 있다. 따라서, 본 발명은 도시된 실시 형태로 제한되는 것으로 의도되지 않고, 여기서 설명된 원리 및 특징에 부합되는 가장 넓은 범위에 따른다.
본 발명은 강건한 깊이 맵을 생성하는 시스템 및 방법을 포함하고, 서로 다른 레졸류션 특성을 각각 갖는 복수의 깊이 맵 레벨을 포함하는 깊이 맵 피라미드 구조를 생성하는 깊이 평가기를 포함한다. 한 실시 형태에서, 깊이 맵 레벨은 미세 스케일 깊이 맵, 중간 스케일 깊이 맵, 및 대략 스케일 깊이 맵을 포함한다. 깊이 평가기는 미세 스케일 신뢰 특징을 이용하여 미세 스케일 깊이 맵으로부터 깊이 값을 평가하고, 대략 스케일 신뢰 특징을 이용하여 중간 스케일 깊이 맵 및 대략 스케일 깊이 맵으로부터 깊이 값을 평가한다. 이어서, 깊이 평가기는 서로 다른 깊이 맵 레벨로부터의 최적 깊이 값들을 최적 깊이 맵으로 융합한다.
이제 도 1을 참조하면, 본 발명에 따른, 카메라 장치(110)의 한 실시 형태의 블록도가 도시된다. 도 1의 실시 형태에서, 카메라 장치(110)는 캡쳐 서브시스템(114), 시스템 버스(116), 및 제어 모듈(118)을 포함할 수 있지만, 이러한 예들로 제한되지 않는다. 도 1의 실시 형태에서, 캡쳐 서브시스템(114)은 사진 타겟(112)에 광학적으로 결합될 수 있고, 또한 시스템 버스(116)를 통해 제어 모듈(118)에 전기적으로 결합될 수 있다.
대안적 실시 형태에서, 카메라 장치(110)는 도 1과 관련하여 기술된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다. 또한, 소정의 실시 형태들에서, 본 발명은 도 1의 카메라 장치(110) 이외의 임의의 적절한 타입의 전자 장치로 대안적으로 실시될 수 있다. 예를 들어, 카메라 장치(110)는 대안적으로 촬상 장치, 컴퓨터 장치, 또는 가전 장치로서 구현될 수 있다.
도 1의 실시 형태에서, 일단 카메라(110)의 캡쳐 서브시스템(114)이 타겟(112)에 자동적으로 초점이 맞추어지면, 카메라 사용자는 타겟(112)에 대응하는 화상 데이터를 캡쳐하라고 카메라 장치(110)에 요구할 수 있다. 이어서, 제어 모듈(118)은 시스템 버스(116)를 통해 캡쳐 서브시스템(114)에 타겟(112)을 나타내는 화상 데이터를 갭쳐하라고 지시하는 것이 바람직할 수 있다. 이어서, 캡쳐된 화상 데이터는 시스템 버스(116)를 통해 제어 모듈(118)에 전송되어, 제어 모듈은 그에 응답하여 화상 데이터를 이용하여 다양한 처리를 수행하고 기능할 수 있다. 시스템 버스(116)는 또한 다양한 상태 및 제어 신호를 캡쳐 서브시스템(114)과 제어 모듈(118) 사이에서 양방향으로 전송할 수 있다.
이제 도 2를 참조하면, 본 발명에 따른, 도 1의 캡쳐 서브시스템(114)의 한 실시 형태의 블록도가 도시된다. 도 2의 실시 형태에서, 캡쳐 서브시스템(114)은 바람직하게는 셔터(218), 렌즈(220), 화상 센서(224), 적색, 녹색, 및 청색(R/G/B) 증폭기(228), 아날로그-디지털(A/D) 변환기(230), 및 인터페이스(232)를 포함하지만, 이로 제한되지 않는다. 대안적 실시 형태들에서, 캡쳐 서브시스템(114)은 도 2의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.
도 2의 실시 형태에서, 캡쳐 서브시스템(114)은 광 경로(236)를 따라 반사되는 광이 충돌하는 화상 센서(224)를 통해 타겟(112)에 대응하는 화상 데이터를 캡쳐할 수 있다. 바람직하게는 전하 결합 소자(CCD)를 포함할 수 있는 화상 센서(224)는 타겟(112)을 나타내는 화상 데이터의 세트를 응답하여 발생할 수 있다. 이어서, 화상 데이터는 증폭기(228), A/D 변환기(230), 및 인터페이스(232)를 통해 보내질 수 있다. 인터페이스(232)로부터, 화상 데이터는 시스템 버스(116)를 통해 제어 모듈(118)로 전달되어 적절히 처리 및 기억된다. CMOS 또는 선형 어레이 등의, 다른 타입의 화상 캡쳐 센서가 또한 본 발명과 관련하여 화상 데이터를 캡쳐하기 위해 고려된다. 카메라(110)의 이용 및 기능이 도 3 내지 도 9와 관련하여 이후 더 논의된다.
이제 도 3을 참조하면, 본 발명에 따른, 도 1의 제어 모듈(118)의 한 실시 형태의 블록도가 도시된다. 도 3의 실시 형태에서, 제어 모듈(118)은 바람직하게는 뷰파인더(308), 중앙 처리 장치(CPU)(344), 메모리(346), 및 하나 이상의 입/출력 인터페이스(들)(I/O)(348)을 포함하지만, 이로 제한되지 않는다. 뷰파인더(308), CPU(344), 메모리(346), 및 I/O(348)는 바람직하게는 서로 결합되고, 캡쳐 서브시스템(114)과도 통신하는 공통 시스템 버스(116)를 통해 통신한다. 대안적 실시 형태들에서, 제어 모듈(118)은 도 3의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.
도 3의 실시 형태에서, CPU(344)는 임의의 적절한 마이크로프로세서를 포함하도록 구현될 수 있다. 대안적으로, CPU(344)는 임의의 다른 적절한 기술을 이용하여 구현될 수 있다. 예를 들어, CPU(344)는 소정의 주문형 집적 회로(ASIC) 또는 다른 적절한 전자 장치를 포함하도록 구현될 수 있다. 메모리(346)는 리드 온리 메모리, 랜덤 액세스 메모리, 및 플로피 디스크 장치, 하드 디스크 장치, 또는 플래시 메모리 등의 다양한 불휘발성 메모리를 포함하나 이로 제한되지 않는 하나 이상의 적절한 기억 장치로서 구현될 수 있다. I/O(348)는 카메라 장치(110)와 시스템 사용자 또는 다른 전자 장치를 포함하는, 외부 엔티티 사이의 양방향 통신을 가능하게 하는 하나 이상의 효과적인 인터페이스를 제공할 수 있다. I/O(348)는 임의의 적절한 입력 및/또는 출력 장치를 이용하여 구현될 수 있다. 제어 모듈(118)의 동작 및 이용은 도 4 내지 도 9와 관련하여 이후 더 논의된다.
이제 도 4를 참조하면, 본 발명에 따른, 도 3의 메모리(346)의 한 실시 형태의 블록도가 도시된다. 도 4의 실시 형태에서, 메모리(346)는 카메라 어플리케이션(412), 운영 체제(414), 깊이 평가기(416), 화상 데이터(418), 평가 데이터(420), 깊이 값(422), 및 신뢰 값(424)을 포함할 수 있지만, 이로 제한되지 않는다. 대안적 실시 형태들에서, 메모리(346)는 도 4의 실시 형태와 관련하여 논의된 구성 요소 외에, 또는 그 대신에 다양한 다른 구성 요소를 포함할 수 있다.
도 4의 실시 형태에서, 카메라 어플리케이션(412)은 카메라 장치(110)에 대한 다양한 기능 및 동작을 수행하기 위해 CPU(344)(도 3)에 의해 바람직하게 실행되는 프로그램 명령을 포함할 수 있다. 카메라 어플리케이션(412)의 특정 성질 및 기능성은 바람직하게는 대응하는 카메라 장치(110)의 타입 및 특정 용도 등의 팩터에 따라 변화한다.
도 4의 실시 형태에서, 동작 시스템(414)은 바람직하게는 카메라 장치(110)의 저 레벨 기능성을 제어하고 조정한다. 본 발명에 따르면, 깊이 평가기(416)는 카메라(110)에서의 깊이 맵을 생성하는 깊이 평가 절차를 제어하고 조정할 수 있다. 도 4의 실시 형태에서, 화상 데이터(418)는 카메라 장치(110)에 의해 캡쳐된 사진 타겟(112)의 하나 이상의 화상을 포함할 수 있다. 평가 데이터(420)는 깊이 맵 생성 절차를 수행하기 위한 임의 타입의 정보 또는 데이터를 포함할 수 있다.
도 4의 실시 형태에서, 깊이 값(422)은 카메라(110)와 사진 타겟 또는 장면의 여러 부분 사이의 거리를 나타낼 수 있다. 깊이 값(422)은 도 5a와 관련하여 이후 논의되는 바와 같이, 깊이 맵을 채우는 데 이용될 수 있다. 신뢰 값(424)은 각각의 깊이 값(422)이 올바른 것인지의 상대적 가능성을 나타낸다. 깊이 평가기(416)의 동작에 관한 추가적인 상세가 도 5a 내지 도 5c 내지 도 9와 관련하여 더 논의된다.
도 5a를 참조하면, 본 발명에 따른, 단순화된 깊이 맵(522)의 한 실시 형태의 도면이 도시된다. 도 5a의 깊이 맵(522)은 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 깊이 맵은 도 5a의 실시 형태와 관련하여 논의된 그런 구성 요소 및 구성 이외에, 또는 그 대신에 다양한 다른 구성 요소 및 구성을 포함할 수 있다. 예를 들어, 간단히 하기 위해, 도 5a의 깊이 맵(522)은 단지 4개의 깊이 값을 갖는 것으로 도시된다. 그러나, 임의의 개수의 깊이 값을 갖는 깊이 맵이 본 발명에서 동등하게 고려된다.
도 5a의 실시 형태에서, 깊이 맵(522)은 개개의 깊이 값이 카메라(110)(도 1)와 사진 타겟 또는 장면의 여러 부분 사이의 거리를 나타내는 특정 세트의 화상 데이터에 대응한다. 소정의 실시 형태들에서, 초기의 깊이 맵을 위한 초기의 깊이 값이 임의의 효과적인 방식으로 원 화상 데이터로부터 직접 결정될 수 있다. 도 5a의 예에서, 깊이 맵(522)은 깊이 값 A(526(a)), 깊이 값 B(526(b)), 깊이 값 C(526(c)), 및 깊이 값 D(526(d))를 포함한다. 깊이 맵의 생성에 관한 추가적인 상세가 도 6 내지 도 9와 관련하여 이후 더 논의된다.
이제 도 5b를 참조하면, 본 발명에 따른, 초점이 흐려진 화상(518)을 캡쳐하기 위한 하나의 예시적인 실시 형태의 도면이 도시된다. 도 5b의 실시 형태는 예시를 위해 제공된 것이고, 대안적 실시 형태들에서, 본 발명은 다양한 다른 구성 및 소자들을 이용하여 초점이 흐려진 블러 화상(518)을 캡쳐할 수 있다.
도 5b의 실시 형태에서, 카메라(110)의 센서(224)(도 2 참조)는 깊이 평가 절차를 수행하기 위해 사진 타겟 또는 장면(112)의 초점이 흐려진 블러 화상(518)을 캡쳐할 수 있다. 초점이 흐려진 화상(518)은, 렌즈(220)를 타겟(112), 렌즈(220), 및 센서(224)의 상대적 위치들에 따른 정확한 인 포커스(in-focus) 렌즈 위치 이외의 위치로 조정함으로써 생성될 수 있다.
한 실시 형태에서, 2개의 다른, 초점이 흐려진 블러 화상(518)은 깊이 평가를 유도하기 위해 비교될 수 있다. 블러 차는, 예를 들어, 서로로부터 1 피사계 깊이만큼 떨어진 2개의 블러 화상(518)에 대해 계산될 수 있다. 알려진 매칭 곡선의 기울기 및 블러 차는 주어진 타겟(112)의 깊이를 결정하는 데 이용될 수 있다.
이제 도 5c를 참조하면, 본 발명의 한 실시 형태에 따른, 예시적인 매칭 곡선(714)의 그래프가 도시된다. 도 5c의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 5c의 실시 형태와 관련하여 논의된 소정의 구성 및 파라미터 외에, 또는 그 대신에 다른 구성 및 파라미터를 갖는 매칭 곡선을 이용하도록 구현될 수 있다.
소정의 실시 형태들에서, 블러 화상1 및 더 초점이 흐려진 블러 화상2가 캡쳐될 수 있고, 콘볼브된 화상1을 생성하기 위해 더 선명한 화상1이 가우스 커널(예를 들어, 작은 분산을 갖는 3×3 가우스 행렬)로 콘볼브될 수 있다. 콘볼브된 화상1은 블러 화상2와 비교된다. 이 과정은 2개의 블러 화상이 매칭할 때까지 반복된다. 다음에 임의의 아웃 오브 포커스 위치로부터 인 포커스 위치까지의 거리를 평가하는데 이용될 수 있는 블러 매칭 곡선을 생성하기 위해 반복 횟수가 깊이(또는 1 DOF(depth-of-field)로 증분되는 화상 수)에 대해 그래프로 표시될 수 있다. 상기 초점 평가 기술에 관한 추가적인 상세가 본 명세서에 참고로 원용된, Li 등에게 허여된 미국 특허 제8,045,046호에서 더 논의되어 있다.
이제 도 6을 참조하면, 본 발명의 한 실시 형태에 따른, 멀티-레졸류션 피라미드 구조(614)의 도면이 도시된다. 도 6의 피라미드(614)는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 멀티-레졸류션 피라미드(614)는 도 6의 실시 형태와 관련하여 논의된 그런 구성 요소 및 구성 이외에, 또는 그 대신에 다양한 다른 구성 요소 및 구성을 포함할 수 있다.
도 6의 실시 형태에서, 멀티-레졸류션 피라미드(614)는 각각 다른 레졸류션 레벨을 갖는, 레벨 2 깊이 맵(618), 레벨 1 깊이 맵(622), 및 레벨 0 깊이 맵(628)을 포함한다. 다른 실시 형태들에서, 임의의 다른 유효 개수 또는 구성의 레졸류션 레벨이 유사하게 이용될 수 있다. 도 6의 실시 형태에서, 모든 레졸류션 레벨(618, 622, 및 628)이 동일 세트의 화상 데이터로부터 압축되지만, 각각의 레벨은 다른 압축 비율을 갖는다. 예를 들어, 소정의 실시 형태들에서, 레벨 0은 1/16의 압축 비율을 가질 수 있고, 레벨 1은 1/8의 압축 비율을 가질 수 있고, 레벨 2는 1/4의 압축 비율을 가질 수 있다. 압축 비율은 임의의 효과적인 방식으로 달성될 수 있다. 예를 들어, 서브-샘플링 압축 기술이 이용될 수 있다.
도 6의 실시 형태에서, 각각의 레벨(618, 622, 및 628)은 하나 이상의 블록을 포함한다. 예를 들어, 레벨 0은 단일 블록(632)을 갖고, 레벨 1은 2×2 행렬로 배열된 4개의 블록을 갖고, 레벨 2는 4×4 행렬로 배열된 16개의 블록을 갖는다. 각각의 블록은 선정된 수의 화소를 나타낼 수 있다. 예를 들어, 소정의 실시 형태들에서, 각각의 블록은 16×16 깊이 값을 나타낼 수 있다. 다른 압축 비율로 인해, 3개의 다른 레벨(628, 622, 및 618)은 각각 원래의 화상 데이터로부터 동일한 영역을 나타낸다. 예를 들어, 레벨 0의 단일 블록(632)은 레벨 1의 블록(636, 640, 644, 및 648)에 대응한다. 유사하게, 레벨 1의 각각의 블록은 레벨 2로부터의 4개의 블록에 대응한다. 예를 들어, 레벨 1의 블록(636)은 레벨 2로부터의 블록(652, 656, 660, 및 664)에 대응한다.
도 6의 실시 형태에서, 모든 3개의 레벨의 각각의 블록은 연관된 깊이 값을 갖는다. 그러므로, 레벨 0은 하나의 깊이 값을 갖고, 레벨 1은 4개의 깊이 값을 갖고, 레벨 2는 16개의 깊이 값을 갖는다. 소정의 다른 실시 형태들에서, 3개의 레벨이 도 6의 실시 형태에 도시된 특정 구성과 양에 있어서 다른 깊이 값/블록을 포함하도록 구현될 수 있다. 본 발명은 유리하게 이들 여러 깊이 값을 강건한 신뢰 측정 기술로 평가한 후, 최적 깊이 값들을 융합하여 최종 깊이 맵을 생성한다. 멀티-레졸류션 피라미드의 이용에 관한 추가적인 상세가 도 7a 내지 도 7c 내지 도 9와 관련하여 이후 더 논의된다.
도 7a 내지 7c를 참조하면, 본 발명의 한 실시 형태에 따른, 멀티-레졸류션 절차를 이용하여 깊이 맵을 생성하는 방법 단계들의 플로우 차트가 도시된다. 도 7a 내지 도 7c의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 7a 내지 도 7c의 실시 형태와 관련하여 논의된 그런 단계 및 순차 이외의 다양한 단계 및 순차를 용이하게 이용할 수 있다.
도 7a의 실시 형태에서, 단계 714에서, 깊이 평가기(416)(도 4) 또는 다른 엔티티는 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵(618)을 생성한다. 예를 들어, 레벨 2 깊이 맵(618)은 비교적 미세한 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있다. 단계 718에서, 깊이 평가기(416)는 다음에 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵(618)으로부터 각각의 깊이 값들에 대응하는 강건한 신뢰 값을 계산할 수 있다. 단계 722에서, 깊이 평가기(416)는 각각의 신뢰 값에 따른 깊이 값을 고 신뢰 깊이 값(734), 중간 신뢰 깊이 값(730), 및 저 신뢰 깊이 값(726)으로 분류한다. 도 7a의 과정은 다음에 연결 문자 "A" 및 "B"를 통해 도 7c로 진행한다.
도 7b의 실시 형태에서, 단계 738에서, 깊이 평가기(416) 또는 다른 적절한 엔티티는 임의의 효과적인 기술을 이용하여 레벨 1 깊이 맵(622) 및 레벨 0 깊이 맵(628)을 생성한다. 예를 들어, 레벨 1 깊이 맵(622)은 중간 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있고, 레벨 0 깊이 맵(628)은 비교적 대략적인 스케일 레졸류션을 발생하는 압축 비율로 구현될 수 있다.
단계 742에서, 깊이 평가기(416)는 다음에 임의의 효과적인 기술을 이용하여 레벨 1 깊이 맵(622) 및 레벨 0 깊이 맵(628)으로부터 각각의 깊이 값들에 대응하는 강건한 신뢰 값들을 계산할 수 있다. 단계 750에서, 깊이 평가기(416)는 계산된 신뢰 값을 이용하여 선정된 신뢰성 기준에 따라 레벨 0 깊이 맵(626) 및 레벨 1 깊이 맵(622)로부터 임의의 신뢰성있는 깊이 값 후보를 식별한다.
단계 750에서, 깊이 평가기(416)는 임의의 효과적인 기술을 이용하여 레벨 2깊이 맵(618)의 블록 크기를 매칭하기 위해 레벨 1 깊이 맵(622) 및 레벨 0 깊이 맵(628)으로부터의 블록에 대한 리사이징 절차를 수행한다. 예를 들어, 비큐빅(bicubic) 또는 스플라인(spline) 방법 등의 다양한 공간 보간 기술이 이용될 수 있다. 소정의 실시 형태들에서, 마스크 기초 2X 보간 커널이 필터 행렬과 관련하여 사용된 리사이징을 수행하는 데 에지-보존 보간 알고리즘이 이용될 수 있다. 에지-보존 알고리즘을 위한 식의 한 예를 아래에 나타낸다.
Figure pat00001
단계 754에서, 깊이 평가기(416)는 임의의 효과적인 기술을 이용하여 레벨 2 깊이 맵(618)의 깊이 값 범위를 매칭하기 위해 레벨 1 깊이 맵(622) 및 레벨 0 깊이 맵(628)으로부터의 깊이 값을 스케일하기 위한 크기 스케일링 절차를 수행한다. 예를 들어, 스케일링 절차는 이론적 방법 또는 데이터 구동 방법을 이용할 수 있다. 도 7b의 과정은 다음에 연결 문자 "A"를 통하여 도 7c의 단계 758로 진행할 수 있다.
단계 758에서, 깊이 평가기(416)는 임의의 추가적인 신뢰성있는 깊이 값 후보가 레벨 1 깊이 맵(622) 또는 레벨 0 깊이 맵(628)으로부터 식별되는지를 판정한다. 단계 762에서, 깊이 평가기(416)는 최종의 최적화된 깊이 맵을 채우는 데 적합하지 않은 가외치로서 임의의 신뢰성없는 깊이 값을 마크한다. 단계 766에서, 깊이 평가기(416)는 임의의 신뢰성있는 깊이 값 후보를 이용하여 임의의 효과적인 기술에 따라 최종의 최적화된 깊이 맵에 대한 최적 깊이 값을 업데이트한다. 예를 들어, 최적 신뢰 측정값을 갖는 깊이 값이 선택될 수 있거나, 또는 가중 또는 비가중 평균 방법이 여러 다른 신뢰성있는 깊이 값을 조합하기 위해 이용될 수 있다. 깊이 평가기(416)는 또한 이 점에서 신뢰 값의 신뢰 맵을 업데이트할 수 있다.
단계 770에서, 깊이 평가기(416)는 최종의 최적화된 깊이 맵을 생성하기 위해 다른 레벨 깊이 맵(618, 622, 및 628)으로부터의 최적 깊이 값을 유리하게 융합한다. 마지막으로, 단계 774에서, 깊이 평가기(416)는 최종의 최적화된 깊이 맵의 최적 깊이 값에 대응하는 신뢰 값에 기초하여 신뢰 맵을 생성할 수 있다. 이어서, 도 7a 내지 도 7c의 과정이 종료할 수 있다. 그러므로 본 발명은 멀티-레졸류션 절차를 이용하는 깊이 맵을 생성하는 개선된 시스템 및 방법을 제공한다.
이제 도 8a를 참조하면, 본 발명의 한 실시 형태에 따른, 미세 스케일 신뢰 특징의 도면이 도시된다. 도 8a의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 8a의 실시 형태와 관련하여 논의된 것들 이외의 신뢰 특징을 이용할 수 있다.
도 8a의 실시 형태에서, 신뢰 특징(812)은 특정 카메라(110)(도 1)의 임의의 동작 특성 또는 제한을 포함할 수 있는 카메라 모델/렌즈 위치 특징(818)을 포함한다. 예를 들어, 카메라 모델/렌즈 위치 특징(818)은 광학 특성, 렌즈 위치, 줌 위치, 카메라 캘리브레이션 등을 포함할 수 있지만, 이로 제한되지 않는다. 한 실시 형태에서, 카메라 모델/렌즈 위치 특징(818)은 주어진 카메라(110)에 의해 지원되는 줌 범위를 포함할 수 있다.
도 8a의 실시 형태에서, 신뢰 특징(812)은 깊이 맵을 생성하는 데 이용되는 특정 알고리즘의 임의의 파라미터 또는 특성을 포함할 수 있는 구현 특징(822)을 더 포함한다. 예를 들어, 구현 특징(822)은 이용되는 블록 크기 및 이용되는 매칭 커널을 포함할 수 있지만, 이로 제한되지 않는다. 도 8a의 실시 형태에서, 깊이 평가기(416)는 대응하는 깊이 값이 레벨 2 깊이 맵(618)(도 6) 등의 미세 스케일 깊이 맵용으로 정확한지의 가능성을 나타내는 신뢰 값을 생성하기 위해 가중 또는 비가중 방식으로 신뢰 특징들(812)을 선택적으로 조합할 수 있다.
도 8b를 참조하면, 본 발명의 한 실시 형태에 따른, 대략 스케일 신뢰 특징(814)의 도면이 도시된다. 도 8b의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 8b의 실시 형태와 관련하여 논의된 것들 이외의 신뢰 특징을 이용할 수 있다.
도 8b의 실시 형태에서, 대략 스케일 신뢰 특징(814)은 도 8a와 관련하여 위에 논의된 동일하게 명명된 특징과 유사한 카메라 모델/렌즈 위치 특징(818) 및 구현 특징(822)을 포함한다. 또한, 대략 스케일 신뢰 특징(814)은 통계적 특징(826) 및 측정 특징(830)을 포함할 수 있다. 도 8b의 실시 형태에서, 측정 특징(830)은 적절한 측정 데이터에 기초한 임의의 특징을 포함할 수 있다. 예를 들어, 측정 특징(830)은 모션 벡터 측정 및 화소 세기 측정을 포함할 수 있지만, 이로 제한되지 않는다.
도 8b의 실시 형태에서, 통계적 특징(826)은 적절한 통계적 해석 절차로부터 유도된 임의의 효과적인 특징을 포함할 수 있다. 예를 들어, 통계적 특징(826)은 도 8c와 관련하여 이후 더 논의되는 최적화 레이트 통계 또는 절대차 합(Sum of Absolute Differences: SAD) 수렴 기술을 포함할 수 있지만, 이로 제한되지 않는다. 도 8b의 실시 형태에서, 깊이 평가기(416)는, 대응하는 깊이 값이 레벨 0 깊이 맵(626) 및 레벨 1 깊이 맵(622)(도 6 참조) 등의 비교적 대략적인 스케일 깊이 맵용으로 정확한지의 가능성을 나타내는 신뢰 값을 생성하기 위해 가중 또는 비가중 방식으로 신뢰 특징들(814)을 선택적으로 조합할 수 있다.
도 8c를 참조하면, 본 발명의 한 실시 형태에 따른, 절대차 합(SAD) 수렴 기술을 도시한 그래프가 도시된다. 도 8c의 실시 형태는 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 본 발명은 도 8c의 실시 형태와 관련하여 논의된 그런 구성 및 파라미터 외에, 또는 그 대신에 다른 구성 및 파라미터를 갖는 SAD 수렴 기술을 수행할 수 있다.
도 8c의 그래프는 도 5b와 도 5c와 관련하여 위에 논의된 블러 화상을 이용한 깊이 평가 절차로부터 유도된 통계적 정보에 관한 것이다. 도 8c의 그래프에서, 초점이 흐려진 블러 화상의 쌍에 대한 SAD 값은 수평 축 위에 표시되고, 깊이 평가 절차(도 5b와 도 5c 참조)에 대한 수렴 속도는 수직 축 위에 표시된다. 도 8c의 그래프는 어느 깊이 값이 신뢰성 있는지와 어느 깊이 값이 신뢰성 없는지를 표시하기 위해 임의의 효과적인 방식으로 유도될 수 있는 분류 곡선(834)을 더 포함한다. 소정의 실시 형태들에서, 분류 곡선(834)은 다음의 식에 따라 유도될 수 있다.
Figure pat00002
소정의 실시 형태들에서, 분류 곡선(834)은 관찰된 깊이 값 데이터의 실험적 통계에 기초하여 생성될 수 있다. 도 8c의 실시 형태에서, 분류 곡선(834) 위에 놓인 깊이 값은 신뢰성있는 것으로 간주될 수 있고, 분류 곡선(834) 아래에 놓인 깊이 값은 신뢰성이 없는 것으로 간주될 수 있다.
이제 도 9를 참조하면, 본 발명에 따른, 간단화된 신뢰 맵(922)의 한 실시 형태의 도면이 도시된다. 도 9의 신뢰 맵(922)은 예시를 위해 제시된 것이고, 대안적 실시 형태들에서, 신뢰 맵은 도 9의 실시 형태와 관련하여 논의된 그런 구성 요소 및 구성 외에, 또는 그 대신에 다양한 다른 구성 요소 및 구성을 포함할 수 있다. 예를 들어, 간단히 하기 위해, 도 9의 신뢰 맵(922)은 단지 4개의 신뢰 값을 갖는 것으로 도시된다. 도 9의 신뢰 맵(922)의 이들 4개의 신뢰 값은 상술한 도 5a의 깊이 맵(522)의 4개의 깊이 값에 대응할 수 있다. 그러나, 임의의 개수의 신뢰 값을 갖는 신뢰 맵이 본 발명에서 동등하게 고려된다.
도 9의 실시 형태에서, 신뢰 맵(922)은 임의의 효과적인 방식으로 생성될 수 있다. 예를 들어, 신뢰 맵(922)은 위에 논의된 바와 같이, 도 7c의 단계 774 동안 생성될 수 있다. 도 9의 예에서, 신뢰 맵(922)은 신뢰 값 A(926(a)), 신뢰 값 B(926(b)), 신뢰 값 C(926(c)), 및 신뢰 값 D(926(d))를 포함한다. 소정의 실시 형태들에서, 신뢰 맵(922)은 선정된 임계값 아래의 신뢰 값을 갖는 깊이 값을 노이즈로서 취급하도록 선택할 수 있는 다양한 노이즈 감소 모듈에 제공될 수 있다.
본 발명이 소정의 실시 형태들을 참조하여 위에 설명되었다. 본 개시에 비추어서 본 기술 분야에 통상의 지식을 가진 자에게는 다른 실시 형태들이 분명하게 될 것이다. 예들 들어, 본 발명은 상기 실시 형태들에서 설명된 것들 이외의 구성 및 기술을 이용하여 용이하게 구현될 수 있다. 부가적으로, 본 발명은 상술한 것들 이외의 시스템과 함께 효과적으로 이용될 수 있다. 따라서, 설명된 실시 형태들에 대한 이들 및 다른 변화는 첨부된 청구 범위에 의해서만 제한되는, 본 발명에 의해 커버되는 것으로 의도된다.
110: 카메라 장치, 114: 캡쳐 서브시스템, 118: 제어 모듈, 220: 렌즈, 218: 셔터, 224: 화상 센서, 232: 인터페이스, 308: 뷰파인더, 344: CPU, 346: 메모리, 348: I/O, 518: 초점이 흐려진 블러 화상

Claims (20)

  1. 강건한 깊이 맵(robust depth map)을 생성하는 시스템으로서,
    각각 서로 다른 레졸류션 특성을 갖는 복수의 깊이 맵 레벨을 포함하는 깊이 맵 구조; 및
    최적 깊이 맵을 채우는(populate) 최적 깊이 값을 식별하기 위해 상기 깊이 맵 레벨로부터 깊이 값을 평가하는 깊이 평가기를 포함하는, 강건한 깊이 맵의 생성 시스템.
  2. 제1항에 있어서,
    상기 깊이 맵 레벨은 미세 스케일 깊이 맵, 중간 스케일 깊이 맵, 및 대략 스케일 깊이 맵을 포함하는, 강건한 깊이 맵의 생성 시스템.
  3. 제2항에 있어서,
    상기 깊이 평가기는 미세 스케일 신뢰 특징을 이용하여 상기 미세 스케일 깊이 맵으로부터 상기 깊이 값을 평가하는, 강건한 깊이 맵의 생성 시스템.
  4. 제3항에 있어서,
    상기 미세 스케일 신뢰 특징은 카메라 모델/렌즈 위치 특징 및 구현 특징을 포함하고, 상기 카메라 모델/렌즈 위치 특징은 광학 특성, 렌즈 위치, 줌 위치, 및 카메라 캘리브레이션 파라미터를 포함하고, 상기 구현 특징은 블록 크기 및 매칭 커널 타입을 포함하는, 강건한 깊이 맵의 생성 시스템.
  5. 제4항에 있어서,
    상기 깊이 평가기는 상기 카메라 모델/렌즈 위치 특징, 상기 구현 특징, 및 대략 스케일 신뢰 특징을 이용하여 상기 중간 스케일 깊이 맵 및 상기 대략 스케일 깊이 맵으로부터 상기 깊이 값을 평가하는, 강건한 깊이 맵의 생성 시스템.
  6. 제5항에 있어서,
    상기 대략 스케일 신뢰 특징은 통계적 특징 및 측정 특징을 포함하고, 상기 측정 특징은 모션 벡터 측정 및 화소 세기 측정을 포함하고, 상기 통계적 특징은 최적화 레이트 통계 및 절대차 합(Sum-of-Absolute-Differences) 수렴 기술을 포함하는, 강건한 깊이 맵의 생성 시스템.
  7. 제6항에 있어서,
    상기 절대차 합 수렴 기술은 분류 곡선을 이용하여 상기 깊이 값 중 어느 것이 신뢰성 있고 어느 것이 신뢰성 없는 것인지를 표시하고, 상기 분류 곡선은 관찰된 깊이 값 데이터의 실험적 통계에 기초하여 생성되는, 강건한 깊이 맵의 생성 시스템.
  8. 제2항에 있어서,
    상기 깊이 평가기는 제1 압축 비율을 초기 화상 데이터에 적용함으로써 상기 미세 스케일 깊이 맵을 생성하는, 강건한 깊이 맵의 생성 시스템.
  9. 제8항에 있어서,
    상기 제1 압축 비율은 1/4이고, 상기 미세 스케일 깊이 맵은 4×4 블록의 구성을 갖는, 강건한 깊이 맵의 생성 시스템.
  10. 제8항에 있어서,
    상기 깊이 평가기는 선택된 미세 스케일 신뢰 특징으로 상기 미세 스케일 깊이 맵을 평가하는, 강건한 깊이 맵의 생성 시스템.
  11. 제10항에 있어서,
    상기 깊이 평가기는 상기 미세 스케일 깊이 맵으로부터의 깊이 값들을 저 신뢰 깊이 값, 중간 신뢰 깊이 값, 및 고 신뢰 깊이 값 중 하나로서 분류하는, 강건한 깊이 맵의 생성 시스템.
  12. 제11항에 있어서,
    상기 깊이 평가기는 제2 압축 비율을 상기 초기 화상 데이터에 적용함으로써 상기 중간 스케일 깊이 맵을 생성하고, 상기 깊이 평가기는 또한 제3 압축 비율을 상기 초기 화상 데이터에 적용함으로써 상기 대략 스케일 깊이 맵을 생성하는, 강건한 깊이 맵의 생성 시스템.
  13. 제12항에 있어서,
    상기 제2 압축 비율은 1/8이고, 상기 중간 스케일 깊이 맵은 2×2 블록의 구성을 갖고, 상기 제3 압축 비율은 1/16이고, 상기 대략 스케일 깊이 맵은 단일 블록의 구성을 갖는, 강건한 깊이 맵의 생성 시스템.
  14. 제12항에 있어서,
    상기 깊이 평가기는 임의의 신뢰성있는 깊이 값 후보를 결정하기 위해 선택된 대략 스케일 신뢰 특징을 이용하여 상기 중간 스케일 깊이 맵 및 상기 대략 스케일 깊이 맵을 평가하는, 강건한 깊이 맵의 생성 시스템.
  15. 제14항에 있어서,
    상기 깊이 평가기는 상기 미세 스케일 깊이 맵에 상기 대략 스케일 깊이 맵 및 상기 중간 스케일 깊이 맵의 블록 크기를 매칭하기 위한 공간 리사이징 절차를 수행하는, 강건한 깊이 맵의 생성 시스템.
  16. 제15항에 있어서,
    상기 깊이 평가기는 상기 미세 스케일 깊이 맵에 상기 대략 스케일 깊이 맵 및 상기 중간 스케일 깊이 맵의 깊이 값 범위를 매칭하기 위한 크기 스케일링 절차를 수행하는, 강건한 깊이 맵의 생성 시스템.
  17. 제16항에 있어서,
    상기 깊이 평가기는 선택 기술 및 평균 기술 중 하나를 이용하여 상기 신뢰성있는 깊이 값 후보로 업데이트 절차를 수행하는, 강건한 깊이 맵의 생성 시스템.
  18. 제17항에 있어서,
    상기 깊이 평가기는 상기 미세 스케일 깊이 맵, 상기 중간 스케일 깊이 맵, 및 상기 대략 스케일 깊이 맵의 상기 최적 깊이 값으로부터 최적화된 깊이 맵을 생성하는 융합 절차를 수행하는, 강건한 깊이 맵의 생성 시스템.
  19. 제18항에 있어서,
    상기 깊이 평가기는 상기 최적화된 깊이 맵에 대응하는 최종 신뢰 맵을 생성하는, 강건한 깊이 맵의 생성 시스템.
  20. 강건한 깊이 맵을 생성하는 방법으로서,
    각각 서로 다른 레졸류션 특성을 갖는 복수의 깊이 맵을 포함하는 깊이 맵 구조를 생성하는 단계; 및
    깊이 평가기를 이용하여, 최적 깊이 맵을 채우는 최적 깊이 값을 식별하기 위해 상기 깊이 맵으로부터의 깊이 값을 평가하는 단계
    를 포함하는, 강건한 깊이 맵의 생성 방법.
KR1020120136272A 2011-12-01 2012-11-28 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법 KR101364421B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161565839P 2011-12-01 2011-12-01
US61/565,839 2011-12-01
US13/430,915 US9161010B2 (en) 2011-12-01 2012-03-27 System and method for generating robust depth maps utilizing a multi-resolution procedure
US13/430,915 2012-03-27

Publications (2)

Publication Number Publication Date
KR20130061636A true KR20130061636A (ko) 2013-06-11
KR101364421B1 KR101364421B1 (ko) 2014-02-17

Family

ID=47500912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136272A KR101364421B1 (ko) 2011-12-01 2012-11-28 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법

Country Status (7)

Country Link
US (1) US9161010B2 (ko)
EP (1) EP2600618A3 (ko)
JP (1) JP5454821B2 (ko)
KR (1) KR101364421B1 (ko)
CN (1) CN103139469B (ko)
BR (1) BR102012030034B1 (ko)
TW (1) TWI519128B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272163B2 (en) 2017-02-07 2022-03-08 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9214025B2 (en) 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
US9240048B2 (en) * 2012-11-30 2016-01-19 Adobe Systems Incorporated Depth estimation using three-dimensional epipolar data structures
WO2015046183A1 (ja) 2013-09-24 2015-04-02 味の素株式会社 糖アミノ酸およびその用途
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
KR101882931B1 (ko) * 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
CN105721852B (zh) * 2014-11-24 2018-12-14 奥多比公司 用于确定深度细化图像捕获指令的方法、存储设备和系统
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
EP3391647B1 (en) * 2015-12-18 2023-11-01 BOE Technology Group Co., Ltd. Method, apparatus, and non-transitory computer readable medium for generating depth maps
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
CN108810317B (zh) * 2017-05-05 2021-03-09 展讯通信（上海）有限公司 真实运动估计方法及装置、计算机可读存储介质、终端
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN109410261B (zh) * 2018-10-08 2021-12-10 浙江科技学院 基于金字塔池化模块的单目图像深度估计方法
CN109767467B (zh) * 2019-01-22 2020-11-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111524075B (zh) * 2020-03-26 2023-08-22 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176107A (ja) 1992-12-04 1994-06-24 Canon Inc 距離画像処理方法及び装置
JPH1051675A (ja) * 1996-07-29 1998-02-20 Ikegami Tsushinki Co Ltd フォーカス制御装置およびその方法および記憶媒体
JP4517449B2 (ja) 2000-05-10 2010-08-04 株式会社豊田中央研究所 画像における相関演算方法
US20030235338A1 (en) 2002-06-19 2003-12-25 Meetrix Corporation Transmission of independently compressed video objects over internet protocol
JP4069468B2 (ja) * 2004-01-15 2008-04-02 充夫 松田 映像形成装置
JP4792929B2 (ja) * 2005-11-14 2011-10-12 株式会社ニコン デジタルカメラ
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
DE102006055641B4 (de) 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
IL191615A (en) * 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
JP5062531B2 (ja) * 2008-06-03 2012-10-31 コニカミノルタホールディングス株式会社 画像処理装置および画像処理方法
EP2184713A1 (en) 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8164617B2 (en) 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8045046B1 (en) 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US20130286017A1 (en) 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272163B2 (en) 2017-02-07 2022-03-08 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
EP2600618A3 (en) 2015-04-01
JP5454821B2 (ja) 2014-03-26
KR101364421B1 (ko) 2014-02-17
BR102012030034B1 (pt) 2021-05-25
US20130142415A1 (en) 2013-06-06
US9161010B2 (en) 2015-10-13
TW201338500A (zh) 2013-09-16
EP2600618A2 (en) 2013-06-05
BR102012030034A2 (pt) 2013-11-12
TWI519128B (zh) 2016-01-21
JP2013117969A (ja) 2013-06-13
CN103139469A (zh) 2013-06-05
CN103139469B (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
KR101364421B1 (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US8553091B2 (en) Imaging device and method, and image processing method for imaging device
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN105814875A (zh) 选择用于立体成像的相机对
US9576370B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method and program
CN103843033A (zh) 图像处理设备和方法以及程序
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
JP2013531268A (ja) 符号化開口を使用した距離の測定
KR101437234B1 (ko) 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법
JP6555990B2 (ja) 距離計測装置、撮像装置、および距離計測方法
CN114945943A (zh) 基于虹膜大小估计深度
JP2017103756A (ja) 画像データ処理装置及び方法
US20220319026A1 (en) Imaging system and method
WO2022011657A1 (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
JP6501732B2 (ja) データ処理装置、撮像装置、およびデータ処理装置の制御方法
JP2019106215A (ja) データ処理装置、撮像装置、およびデータ処理方法
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP2015133532A (ja) 撮像装置及び画像処理方法
JP2019191681A (ja) 画像処理装置、その制御方法およびプログラム
JP2018050231A (ja) 撮像装置、撮像方法および撮像制御プログラム
JP2017161571A (ja) 焦点検出装置、撮像装置、焦点検出方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 7