KR20190072549A - 모바일 디바이스들을 위한 강화된 심도 맵 이미지들 - Google Patents
모바일 디바이스들을 위한 강화된 심도 맵 이미지들 Download PDFInfo
- Publication number
- KR20190072549A KR20190072549A KR1020197012286A KR20197012286A KR20190072549A KR 20190072549 A KR20190072549 A KR 20190072549A KR 1020197012286 A KR1020197012286 A KR 1020197012286A KR 20197012286 A KR20197012286 A KR 20197012286A KR 20190072549 A KR20190072549 A KR 20190072549A
- Authority
- KR
- South Korea
- Prior art keywords
- linearly polarized
- sequence
- depth map
- polarized images
- map image
- Prior art date
Links
- 230000010287 polarization Effects 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 26
- 230000015654 memory Effects 0.000 description 42
- 238000010295 mobile communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 1
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000002019 doping agent Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910052733 gallium Inorganic materials 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052976 metal sulfide Inorganic materials 0.000 description 1
- 239000002159 nanocrystal Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 150000003568 thioethers Chemical class 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/005—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
일반적으로, 모바일 디바이스들에서 심도 맵 이미지의 프로세싱을 용이하게 하는 기법들이 설명된다. 심도 카메라, 카메라 및 프로세서를 포함하는 모바일 디바이스는 그 기법들의 다양한 양태들을 수행하도록 구성될 수도 있다. 심도 카메라는 장면의 심도 맵 이미지를 캡처하도록 구성될 수도 있다. 카메라는 카메라로 진입하는 광을 선형적으로 편광시키도록 구성된 선형 편광 유닛을 포함할 수도 있다. 카메라는, 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 장면의 캡처 동안 선형 편광 유닛을 회전시키도록 구성될 수도 있다. 프로세서는 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하고, 심도 맵 이미지 및 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하도록 구성될 수도 있다.
Description
본 개시는 이미지 생성에 관한 것으로서, 더 상세하게는, 심도 맵 이미지 생성에 관한 것이다.
스마트 폰들 또는 카메라 폰들과 같은 모바일 통신 디바이스들은 점점더 소비자들이 선호하는 카메라가 되고 있다. 그러한 모바일 통신 디바이스들에 포함된 카메라들의 광학이 더 양호한 사진 및 비디오 캡처를 허용하도록 계속 개선됨에 따라, 소비자는 디지털 일안 반사식 (DSLR) 카메라들과 같은 더 종래의 카메라들을 사용하는 것으로부터 멀어질 수도 있다. 소비자들이 선호하는 카메라로서 스마트폰들의 채택을 계속 촉진하기 위해, 카메라들이 3차원 프린팅, 가상 현실에 대한 오브젝트들의 렌더링, 컴퓨터 비전 등과 같은 다양한 용도들을 위한 오브젝트들의 3차원 모델들을 생성하기 위해 사용되는 새로운 어플리케이션들이 개발되고 있다.
본 설명에서 기술된 기법들은, 모바일 컴퓨팅 디바이스들의 현재 카메라들에 대한 밀리미터 범위에서의 정확도보다는, 모바일 컴퓨팅 디바이스들의 카메라들을 사용하여 서브-밀리미터 정확도를 갖는 강화된 심도 맵들을 제공할 수도 있다. 서브-밀리미터 정확도를 가능하게 함으로써, 그 기법들은 예리한 코너, 평평한 표면, 좁은 오브젝트, 융기, 홈 등과 같은 더 정밀한 모델 지오메트리의 캡처를 허용할 수도 있다. 더 높은 해상도는 가상 현실 (VR), 증강 현실 (AR), 3차원 (3D) 모델링, 강화된 3차원 (3D) 이미지 캡처 등과 같은 어플리케이션들을 위한 모바일 컴퓨팅 디바이스들에서의 카메라들의 채택을 촉진하는 결과들을 허용할 수도 있다.
일 예에 있어서, 기법들의 다양한 양태들은 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스에 관한 것이고, 모바일 디바이스는 장면의 심도 맵 이미지를 캡처하도록 구성된 심도 카메라, 카메라로 진입하는 광을 선형적으로 편광시키도록 구성된 선형 편광 유닛을 포함하는 카메라로서, 카메라는 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 장면의 캡처 동안 선형 편광 유닛을 회전시키도록 구성되는, 상기 카메라, 및 프로세서를 포함한다. 프로세서는 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하고, 심도 맵 이미지 및 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하도록 구성될 수도 있다.
다른 예에 있어서, 기법들의 다양한 양태들은 심도 맵 이미지를 프로세싱하는 방법에 관한 것이고, 그 방법은, 심도 카메라에 의해, 장면의 심도 맵 이미지를 캡처하는 단계, 및 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 컬러 카메라에 의해 장면의 캡처 동안 선형 편광 유닛을 회전시키는 단계를 포함한다. 그 방법은 또한, 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하는 단계, 및 심도 맵 이미지 및 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하는 단계를 포함한다.
다른 예에 있어서, 기법들의 다양한 양태들은 심도 맵 이미지를 프로세싱하도록 구성된 디바이스에 관한 것이고, 그 디바이스는 장면의 심도 맵 이미지를 캡처하는 수단, 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 캡처하는 수단, 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하는 수단, 및 심도 맵 이미지 및 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하는 수단을 포함한다.
다른 예에 있어서, 기법들의 다양한 양태들은 명령들이 저장된 비일시적인 컴퓨터 판독가능 저장 매체에 관한 것이고, 그 명령들은, 실행될 경우, 모바일 디바이스의 하나 이상의 프로세서들로 하여금 장면의 심도 맵 이미지의 캡처를 위해 심도 카메라와 인터페이스하게 하고, 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 캡처하기 위해 컬러 카메라와 인터페이스하게 하고, 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하게 하고, 그리고 심도 맵 이미지 및 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하게 한다.
그 기법들의 하나 이상의 예들의 상세들이 첨부 도면들 및 하기의 설명에 기재된다. 그 기법들의 다른 특징들, 목적들, 및 이점들은 그 설명, 도면들, 및 청구항들로부터 명백할 것이다.
도 1 은 본 개시에서 설명된 하나 이상의 예시적인 기법들을 수행하도록 구성된 이미지 프로세싱을 위한 디바이스의 블록 다이어그램이다.
도 2 는 도 1 의 모바일 컴퓨팅 디바이스의 컬러 카메라의 일 예를 더 상세히 예시한 블록 다이어그램이다.
도 3a 내지도 3d 는 본 개시에서 설명된 기법들의 다양한 양태들에 따라 상이한 편광 배향들을 갖는 선형적으로 편광된 이미지들의 시퀀스를 캡처하도록 도 1 에 도시된 선형 편광 유닛의 예시적인 회전을 예시한 다이어그램들이다.
도 4 는 이미지들을 캡처하기 위해 도 1 에 도시된 모바일 컴퓨팅 디바이스의 컬러 카메라를 채용할 때 발생하는 다양한 오프셋들을 설명하기 위해 서로에 대해 오버레이된 컬러 이미지 데이터의 2개의 선형적으로 편광된 이미지들의 시퀀스의 합성을 예시한 다이어그램이다.
도 5 는, 실행될 경우, 도 1 의 모바일 컴퓨팅 디바이스로 하여금 본 개시에서 설명된 기법들의 다양한 양태들을 수행하도록 구성되게 하는 예시적인 알고리즘을 예시한 다이어그램이다.
도 6 은 본 개시에서 설명된 기법들의 다양한 양태들을 수행함에 있어서 도 1 의 모바일 컴퓨팅 디바이스의 예시적인 동작을 예시한 플로우차트이다.
도 2 는 도 1 의 모바일 컴퓨팅 디바이스의 컬러 카메라의 일 예를 더 상세히 예시한 블록 다이어그램이다.
도 3a 내지도 3d 는 본 개시에서 설명된 기법들의 다양한 양태들에 따라 상이한 편광 배향들을 갖는 선형적으로 편광된 이미지들의 시퀀스를 캡처하도록 도 1 에 도시된 선형 편광 유닛의 예시적인 회전을 예시한 다이어그램들이다.
도 4 는 이미지들을 캡처하기 위해 도 1 에 도시된 모바일 컴퓨팅 디바이스의 컬러 카메라를 채용할 때 발생하는 다양한 오프셋들을 설명하기 위해 서로에 대해 오버레이된 컬러 이미지 데이터의 2개의 선형적으로 편광된 이미지들의 시퀀스의 합성을 예시한 다이어그램이다.
도 5 는, 실행될 경우, 도 1 의 모바일 컴퓨팅 디바이스로 하여금 본 개시에서 설명된 기법들의 다양한 양태들을 수행하도록 구성되게 하는 예시적인 알고리즘을 예시한 다이어그램이다.
도 6 은 본 개시에서 설명된 기법들의 다양한 양태들을 수행함에 있어서 도 1 의 모바일 컴퓨팅 디바이스의 예시적인 동작을 예시한 플로우차트이다.
본 설명에서 기술된 기법들은, 모바일 컴퓨팅 디바이스들의 현재 카메라들에 대한 밀리미터 범위에서의 정확도보다는, 모바일 컴퓨팅 디바이스들의 카메라들을 사용하여 서브-밀리미터 정확도를 갖는 강화된 심도 맵들을 제공할 수도 있다. 서브-밀리미터 정확도를 가능하게 함으로써, 그 기법들은 예리한 코너, 평평한 표면, 좁은 오브젝트, 융기, 홈 등과 같은 더 정밀한 모델 지오메트리의 캡처를 허용할 수도 있다. 더 높은 해상도는 가상 현실, 증강 현실, 3차원 모델링, 강화된 3차원 (3D) 이미지 캡처 등과 같은 어플리케이션들을 위한 모바일 컴퓨팅 디바이스들에서의 카메라들의 채택을 촉진하는 결과들을 허용할 수도 있다.
동작에 있어서, 모바일 통신 디바이스는 회전가능한 선형 편광 필터 또는 회전가능한 선형적으로 편광된 렌즈를 포함하는 카메라를 구비할 수도 있다. 선형 편광 필터는 필터의 편광과 정렬하지 않는 편광을 갖는 광파들을 제거하거나 또는 환언하면 차단하는 필터를 지칭할 수도 있다. 즉, 선형 편광 필터는, 정의되지 않거나 또는 혼합된 편광의 광의 빔을 잘 정의된 편광의 빔으로 변환할 수도 있으며, 이는 어떤 라인을 따라 배향된 편광을 갖는 선형 편광 필터의 경우에 그러하다. 모바일 통신 디바이스는 또한, 회전가능한 선형 편광 필터 또는 렌즈를 회전시키기 위한 회전 모터를 포함할 수도 있다. 모바일 통신 디바이스는, 회전가능한 선형 편광 필터 또는 회전가능한 선형 편광 렌즈의 회전이 카메라의 프레임 캡처 레이트와 동기화되도록 회전 모터를 동작시킬 수도 있다. 일부 경우들에 있어서, 회전가능한 선형 편광 필터 또는 렌즈의 회전을 프레임 캡처 레이트에 동기화하기 보다는, 모바일 통신 디바이스는 프레임 캡처 시의 회전 각도를 결정할 수도 있다.
선형 편광된 이미지들의 시퀀스를 캡처한 이후 (각각이 상이한 회전 각도에서 포지셔닝된 선형 편광 필터 또는 렌즈로 캡처됨), 모바일 통신 디바이스는, 이미지들의 시퀀스를 캡처할 때 모바일 통신 디바이스 또는 카메라의 약간의 움직임들을 보상하기 위해 이미지 정렬을 수행할 수도 있다. 일부 예들에 있어서, 모바일 통신 디바이스는 모션 정보를 출력하는 자이로스코프 및/또는 가속도계와 같은 하나 이상의 모션 센서들을 포함할 수도 있다. 모바일 통신 디바이스는 모션 센서들에 의해 생성된 모션 정보에 기초하여 이미지 정렬을 수행할 수도 있다.
모바일 통신 디바이스는 또한, 선형 편광된 이미지들의 세트의 캡처와 동시에, 하나 이상의 이미지들을 캡처하여 조악한 심도 이미지를 생성하는 심도 카메라를 포함할 수도 있다. 모바일 통신 디바이스는 선형 편광된 이미지들의 시퀀스와 조악한 심도 이미지 사이의 이미지 정렬을 수행할 수도 있으며, 이는 일부 예들에 있어서 모션 정보에 기초할 수도 있다. 이미지 정렬은 또한, "등록 (registration)" 또는 "이미지 등록" 으로서 지칭될 수도 있다.
이미지 정렬을 수행한 이후, 모바일 통신 디바이스는, 예를 들어, "Polarized 3D: High-Quality Depth Sensing with Polarization Cues" 의 명칭으로 Kadambi 등에 의한 연구 논문에 기술되고 2015년 12월 13-16일, 칠레 산티아고에서의 ICCV (the International Conference on Computer Vision) 동안 제시된 바와 같은 편광 유래 형상 (shape-from-polarization) 심도 맵 증강 프로세스를 수행하여 강화된 심도 맵 이미지를 생성할 수도 있다.
도 1 은 본 개시에서 설명된 하나 이상의 예시적인 기법들을 수행하도록 구성된 이미지 프로세싱을 위한 모바일 컴퓨팅 디바이스의 블록 다이어그램이다. 모바일 컴퓨팅 디바이스 (10) 의 예들은 랩탑 컴퓨터, (예를 들어, 모바일 전화, 셀룰러 전화, 소위 "스마트 폰", 위성 전화, 및/또는 모바일 전화 핸드셋과 같은) 무선 통신 디바이스 또는 핸드셋, 휴대용 비디오 게임 디바이스 또는 개인용 디지털 보조기 (PDA) 와 같은 핸드헬드 디바이스, 개인용 뮤직 플레이어, 태블릿 컴퓨터, 휴대용 비디오 플레이어, 휴대용 디스플레이 디바이스, 자립형 카메라, 또는 사진들 또는 다른 타입들의 이미지 데이터를 캡처하기 위한 카메라를 포함하는 임의의 다른 타입의 모바일 디바이스를 포함한다. 모바일 컴퓨팅 디바이스 (10) 에 대하여 설명되지만, 그 기법들은, 몇몇 예들을 제공하기 위해 예컨대 데스크톱 컴퓨터, 워크스테이션, 셋탑 박스, 또는 텔레비전에 의해 모바일로 간주되든지 아니든지, 임의의 디바이스에 의해 구현될 수도 있다.
도 1 의 예에 예시된 바와 같이, 디바이스 (10) 는 컬러 카메라 (8), 심도 카메라 (12), 카메라 프로세서 (14), 중앙 프로세싱 유닛 (CPU) (16), 그래픽 프로세싱 유닛 (GPU) (18) 및 GPU (18) 의 로컬 메모리 (20), 사용자 인터페이스 (22), 시스템 메모리 (30) 로의 액세스를 제공하는 메모리 제어기 (24), 및 그래픽 데이터가 디스플레이 (28) 상에 디스플레이되게 하는 신호들을 출력하는 디스플레이 인터페이스 (26) 를 포함한다.
또한, 다양한 컴포넌트들이 별도의 컴포넌트들로서 예시되지만, 일부 예들에 있어서, 컴포넌트들은 시스템 온 칩 (SoC) 을 형성하도록 결합될 수도 있다. 일 예로서, 카메라 프로세서 (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 는 공통 칩 상에 형성될 수도 있다. 일부 예들에 있어서, 카메라 프로세서 (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 중 하나 이상은 별도의 칩들에 있을 수도 있다.
도 1 에 예시된 다양한 컴포넌트들은 하나 이상의 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 디지털 신호 프로세서들 (DSP들), 또는 기타 등가의 집적 또는 이산 논리 회로부에서 형성될 수도 있다. 다양한 컴포넌트들은 물론, 기능 로직, 프로그래밍가능 로직 또는 이들의 조합을 포함하여 전술한 것들의 임의의 조합일 수도 있다. 로컬 메모리 (20) 의 예들은, 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함한다.
도 1 에 예시된 다양한 유닛들은 버스 (22) 를 사용하여 서로 통신한다. 버스 (22) 는 제 3 세대 버스 (예를 들어, HyperTransport 버스 또는 InfiniBand 버스), 제 2 세대 버스 (예를 들어, 어드밴스드 그래픽스 포트 버스, PCI (Peripheral Component Interconnect) 익스프레스 버스, 또는 AXI (Advanced eXtensible Interface) 버스) 또는 다른 타입의 버스 또는 디바이스 인터커넥트와 같은 다양한 버스 구조들 중 임의의 것일 수도 있다. 도 1 에 도시된 상이한 유닛들 사이의 버스들 및 통신 인터페이스들의 특정 구성은 단지 예시적일 뿐이고, 동일하거나 상이한 컴포넌트들을 갖는 다른 이미지 프로세싱 시스템들 및/또는 컴퓨팅 디바이스들의 다른 구성들이 본 개시의 기법들을 구현하기 위해 사용될 수도 있음을 유의해야 한다.
예시된 바와 같이, 디바이스 (10) 는 컬러 카메라 (8) 및 심도 카메라 (12) 를 포함한다. 카메라들 (8 및 12) 은 반드시 디바이스 (10) 의 부분일 필요는 없고 디바이스 (10) 의 외부에 있을 수도 있다. 그러한 예들에 있어서, 카메라 프로세서 (14) 는 유사하게 디바이스 (10) 의 외부에 있을 수 있지만, 일부 예들에 있어서, 카메라 프로세서 (14) 는 디바이스 (10) 내부에 있는 것이 가능할 수도 있다. 설명을 용이를 위해, 예들은 (디바이스 (10) 가 스마트폰, 태블릿 컴퓨터, 핸드셋, 모바일 통신 핸드셋 등과 같은 모바일 통신 디바이스인 예에서와 같이) 디바이스 (10) 의 부분인 카메라들 (8 및 12) 및 카메라 프로세서 (14) 에 대해 설명된다.
본 명세서에서 사용된 바와 같은 컬러 카메라 (8) 는 픽셀들의 세트들을 참조한다. 일부 예들에 있어서, 컬러 카메라 (8) 는 복수의 센서들을 포함하는 것으로서 고려될 수도 있고, 각각의 센서는 복수의 픽셀들을 포함한다. 예를 들어, 각각의 센서는 3개의 픽셀들 (예를 들어 적색용 픽셀, 녹색용 픽셀, 및 청색용 픽셀) 을 포함한다. 다른 예로서, 각각의 센서는 4개의 픽셀들 (예를 들어, 적색용 픽셀, 녹색 강도 및 전체 루미넌스를 결정하기 위해 사용된 녹색용 2개의 픽셀, 베이어 필터로 배열된 바와 같은 청색용 픽셀) 을 포함한다. 컬러 카메라 (8) 는 하나의 이미지를 생성하기 위해 이미지 컨텐츠를 캡처할 수도 있다.
단일 컬러 카메라 (8) 에 대해 설명되지만, 그 기법들은 다중의 컬러 카메라들을 갖는 디바이스들, 다중의 상이한 센서들을 갖는 단일 컬러 카메라를 갖는 디바이스, 또는 컬러 카메라 및 모노크롬 카메라를 갖는 장치에 의해 수행될 수도 있다. 본 개시의 기법들을 수행하도록 구성된 디바이스가 다중의 컬러 및/또는 모노크롬 카메라들을 포함하는 경우들에 있어서, 각각의 카메라는, 카메라 프로세서 (14) 가 잠재적으로 더 높은 해상도를 갖는 장면의 단일 이미지를 생성하기 위해 이미지 등록을 수행할 수도 있는 이미지를 캡처할 수도 있다. 더욱이, 컬러 카메라 (8) 에 대해서 기술되지만, 그 기법들은 또한, 컬러 카메라 (8) 대신 하나 이상의 모노크롬 카메라들을 갖는 디바이스에 의해 수행될 수도 있다.
컬러 카메라 (8) 의 픽셀들은 이미지 픽셀들과 혼동되지 않아야 한다. 이미지 픽셀은, 컬러 카메라 (8) 에 의해 캡처된 컨텐츠로부터 생성된 이미지 상의 단일 "도트" 를 정의하는데 사용되는 용어이다. 예를 들어, 임의의 컬러 카메라 (8) 에 의해 캡처된 컨텐츠에 기초하여 생성된 이미지는 결정된 수의 픽셀들 (예를 들어, 메가 픽셀들) 을 포함한다. 하지만, 컬러 카메라 (8) 의 픽셀들은 광전도성을 갖는 실제 광센서 엘리먼트들 (예를 들어, 뷰잉 스펙트럼 내에서 또는 뷰잉 스펙트럼 외부에서 광 입자들을 캡처하는 엘리먼트들) 이다. 컬러 카메라 (8) 의 픽셀들은 픽셀들의 표면에 부딪히는 광 에너지 (예를 들어, 적외선 또는 가시 광선) 의 강도에 기초하여 전기를 전도한다. 픽셀들은, 몇몇 비한정적인 예들로서, 게르마늄, 갈륨, 셀레늄, 도펀트들을 갖는 실리콘, 또는 특정 금속 산화물들 및 황화물들로 형성될 수도 있다.
일부 예들에 있어서, 컬러 카메라 (8) 의 픽셀들은 베이어 필터에 따른 적색-녹색-청색 (RGB) 컬러 필터로 커버될 수도 있다. 베이어 필터링으로 픽셀들의 각각은 특정 컬러 컴포넌트 (예를 들어, 적색, 녹색, 청색) 에 대한 광 에너지를 수신할 수도 있다. 이에 따라, 각각의 픽셀에 의해 생성된 전류는 캡처된 광의 적색, 녹색 또는 청색 컴포넌트들의 강도를 나타낸다.
심도 카메라 (12) 는 심도 맵을 생성하도록 구성된 카메라를 나타낸다. 심도 카메라 (12) 는 적외선 레이저 프로젝터 및 모노크롬 센서를 포함할 수도 있다. 적외선 레이저 프로젝터는 장면 상으로 적외선 광 포인트들의 그리드를 투영할 수도 있다. 모노크롬 센서 (또는 대안적으로, 컬러 센서) 는 장면 상으로 적외선 광 포인트들을 투영하는 것으로부터 반사들을 검출할 수도 있다. 모노크롬 센서는, 적외선 광 포인트 반사가 검출될 때를 표시하는 센서의 각각의 픽셀에 대한 전기 신호를 생성할 수도 있다.
카메라 프로세서 (14) 는 광속, 각각의 적외선 광 포인트가 투영되었던 시간, 및 각각의 적외선 광 포인트 반사가 검출되었던 시간에 기초하여 장면 상으로 투영된 적외선 광 포인트들의 각각의 대응하는 포인트에서의 심도를 결정할 수도 있다. 그 후, 카메라 프로세서 (14) 는 그리드에서의 각각의 적외선 광 포인트에서의 결정된 심도에 기초하여 심도 맵을 공식화한다. 광 포인트들의 적외선 투영에 대하여 설명되지만, 심도 카메라 (12) 는 심도 맵을 생성 가능한 임의의 타입의 카메라를 나타낼 수도 있으며, 적외선 광을 채용하는 그 카메라들로 엄격하게 제한되지는 않아야 한다.
카메라 프로세서 (14) 는 컬러 카메라 (8) 및 심도 카메라 (12) 의 개별 픽셀들로부터 전류들을 수신하고 그 전류들을 프로세싱하여, 컬러 이미지 데이터 (9) (CID) 및 심도 맵 데이터 (DMD) (13) 를 생성하도록 구성된다. 하나의 카메라 프로세서 (14) 가 예시되지만, 일부 예들에 있어서, 복수의 카메라 프로세서들 (예를 들어, 컬러 카메라 (8) 및 심도 카메라 (12) 당 하나) 가 존재할 수도 있다. 이에 따라, 일부 예들에 있어서, 디바이스 (10) 에서의 카메라 프로세서 (14) 와 같은 하나 이상의 카메라 프로세서들이 존재할 수도 있다.
일부 예들에 있어서, 카메라 프로세서 (14) 는 단일입력 다중데이터 (SIMD) 아키텍처로서 구성될 수도 있다. 카메라 프로세서 (14) 는 카메라들 (8 및 12) 의 각각 상의 픽셀들의 각각으로부터 수신된 전류에 대해 동일한 동작들을 수행할 수도 있다. SIMD 아키텍처의 각각의 레인은 이미지 파이프라인을 포함한다. 이미지 파이프라인은 픽셀들의 출력을 프로세싱하기 위해 고정된 기능 회로부 및/또는 프로그래밍가능 회로부를 포함한다.
예를 들어, 카메라 프로세서 (14) 의 각각의 이미지 파이프라인은 전류를 전압으로 변환하기 위한 개별 트랜스-임피던스 증폭기들 (TIA들) 및 아날로그 전압 출력을 디지털 값으로 변환하는 개별 아날로그-디지털 변환기들 (ADC들) 를 포함할 수도 있다. 가시 스펙트럼의 예에 있어서, 각각의 픽셀에 의해 출력된 전류가 적색, 녹색 또는 청색 컴포넌트의 강도를 표시하기 때문에, 카메라 (8) 의 3개의 픽셀로부터의 디지털 값들 (예를 들어, 3개 또는 4개의 픽셀들을 포함하는 하나의 센서로부터의 디지털 값들) 이 하나의 이미지 픽셀을 생성하는데 사용될 수 있다.
아날로그 전류 출력들을 디지털 값들로 변환하는 것에 부가하여, 카메라 프로세서 (14) 는 최종 이미지의 품질을 증가시키기 위해 일부 추가적인 후처리를 수행할 수도 있다. 예를 들어, 카메라 프로세서 (14) 는 이웃한 이미지 픽셀들의 컬러 및 밝기 데이터를 평가하고, 이미지 픽셀의 컬러 및 밝기를 업데이트하기 위해 디모자이킹을 수행할 수도 있다. 카메라 프로세서 (14) 는 또한, 추가적인 예들로서, 노이즈 감소 및 이미지 샤프닝을 수행할 수도 있다. 카메라 프로세서 (14) 는 결과적인 이미지들 (예를 들어, 이미지 픽셀들의 각각에 대한 픽셀 값들) 을 메모리 제어기 (24) 를 통해 시스템 메모리 (30) 에 출력한다.
CPU (16) 는 디바이스 (10) 의 동작을 제어하는 범용 또는 특수 목적 프로세서를 포함할 수도 있다. 사용자는 CPU (16) 로 하여금 하나 이상의 소프트웨어 애플리케이션들을 실행하게 하기 위해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다. CPU (16) 에 의해 제공된 실행 환경 내에서 실행하는 소프트웨어 어플리케이션들은, 예를 들어, 오퍼레이팅 시스템, 워드 프로세서 어플리케이션, 이메일 어플리케이션, 스프레드 시트 어플리케이션, 미디어 플레이어 어플리케이션, 비디오 게임 어플리케이션, 그래픽 사용자 인터페이스 어플리케이션 또는 다른 프로그램을 포함할 수도 있다. 사용자는, 사용자 인터페이스 (22) 를 통해 모바일 컴퓨팅 디바이스 (10) 에 커플링된 키보드, 마우스, 마이크로폰, 터치 패드, 터치 감응 스크린, 물리 입력 버튼들, 또는 다른 입력 디바이스와 같은 하나 이상의 입력 디바이스들 (도시 안됨) 을 통해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다.
일 예로서, 사용자는 이미지를 캡처하기 위해 어플리케이션을 실행할 수도 있다. 어플리케이션은, 사용자가 이미지를 취하기 전에 보기 위한 디스플레이 (28) 상에 실시간 이미지 컨텐츠를 제시할 수도 있다. 일부 예들에 있어서, 디스플레이 (28) 상에 디스플레이된 실시간 이미지 컨텐츠는 컬러 카메라 (8), 심도 카메라 (12) 로부터의 컨텐츠 또는 컬러 카메라 (8) 및 심도 카메라 (12) 로부터의 컨텐츠의 융합물일 수도 있다. 이미지를 캡처하는데 사용되는 어플리케이션에 대한 소프트웨어 코드는 시스템 메모리 (30) 상에 저장될 수도 있고, CPU (16) 는 어플리케이션을 위한 오브젝트 코드를 취출 및 실행하거나, CPU (16) 가 어플리케이션을 제시하도록 실행할 수도 있는 오브젝트 코드를 획득하기 위해 소스 코드를 취출 및 컴파일할 수도 있다.
사용자가 실시간 이미지 컨텐츠에 만족할 경우, 사용자는 이미지 컨텐츠를 캡처하기 위해 사용자 인터페이스 (22) (디스플레이 (28) 상에 디스플레이된 그래픽 버튼일 수도 있음) 와 상호작용할 수도 있다. 이에 응답하여, 하나 이상의 카메라들 (8 및 12) 은 이미지 콘텐츠를 캡처할 수도 있고, 카메라 프로세서 (14) 는 하나 이상의 이미지들을 생성하기 위해 수신된 이미지 콘텐츠를 프로세싱할 수도 있다.
메모리 제어기 (24) 는 시스템 메모리 (30) 로 들어가고 나오는 데이터의 전송을 용이하게 한다. 예를 들어, 메모리 제어기 (24) 는 메모리 판독 및 기입 커맨드들을 수신하고, 그러한 커맨드들을 메모리 (30) 에 관하여 서비스하여 모바일 컴퓨팅 디바이스 (10) 에서의 컴포넌트들에 대한 메모리 서비스들을 제공할 수도 있다. 메모리 제어기 (24) 는 시스템 메모리 (30) 에 통신가능하게 커플링된다. 비록 메모리 제어기 (34) 가 CPU (16) 및 시스템 메모리 (30) 양자로부터 분리된 프로세싱 모듈인 것으로서 도 1 의 예시적인 컴퓨팅 디바이스 (10) 에 예시되지만, 다른 예들에 있어서, 메모리 제어기 (24) 의 기능의 일부 또는 전부는 CPU (46) 및 시스템 메모리 (30) 중 하나 또는 그들 양자 상에서 구현될 수도 있다.
시스템 메모리 (30) 는 카메라 프로세서 (14), CPU (16), 및 GPU (18) 에 의해 액세스가능한 프로그램 모듈들 및/또는 명령들 및/또는 데이터를 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 사용자 어플리케이션들, 카메라 프로세서 (14) 로부터의 결과적인 이미지들, 중간 데이터 등을 저장할 수도 있다. 시스템 메모리 (30) 는 부가적으로, 모바일 컴퓨팅 디바이스 (10) 의 다른 컴포넌트들에 의해 사용하기 위한 및/또는 그 다른 컴포넌트들에 의해 생성된 정보를 저장할 수도 있다. 예를 들어, 시스템 메모리 (30) 는 카메라 프로세서 (14) 를 위한 디바이스 메모리로서 작동할 수도 있다. 시스템 메모리 (30) 는, 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광학 저장 매체들과 같은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함할 수도 있다.
일부 양태들에 있어서, 시스템 메모리 (30) 는 카메라 프로세서 (14), CPU (16), GPU (18) 및 디스플레이 인터페이스 (26) 로 하여금 본 개시에서 이들 컴포넌트들에 속하는 것을 간주되는 기능들을 수행하게 하는 명령들을 포함할 수도 있다. 이에 따라, 시스템 메모리 (30) 는, 실행될 경우, 하나 이상의 프로세서들 (예를 들어, 카메라 프로세서 (14), CPU (16), GPU (18), 및 디스플레이 인터페이스 (26)) 로 하여금 본 개시에서 설명된 기법들의 다양한 양태들을 수행하게 하는 명령들이 저장된 컴퓨터 판독가능 저장 매체를 나타낼 수도 있다.
일부 예들에 있어서, 시스템 메모리 (30) 는 비일시적인 컴퓨터 판독가능 저장 매체를 나타낼 수도 있다. 용어 "비일시적인" 은, 저장 매체가 캐리어 파 (carrier wave) 또는 전파된 신호로 구현되지 않는다는 것을 나타낸다. 하지만, 용어 "비일시적인" 은, 시스템 메모리 (30) 가 이동가능하지 않다는 것 또는 그 컨텐츠가 정적이라는 것을 의미하도록 해석되지 않아야 한다. 일 예로서, 시스템 메모리 (30) 는 디바이스 (10) 로부터 제거될 수도 있고, 다른 디바이스로 이동될 수도 있다. 다른 예로서, 시스템 메모리 (30) 와 실질적으로 유사한 메모리가 디바이스 (10) 에 삽입될 수도 있다. 특정 예들에 있어서, 비일시적인 저장 매체는, 시간 상으로, (예를 들어, RAM 에서) 변할 수 있는 데이터를 저장할 수도 있다.
카메라 프로세서 (14), CPU (16) 및 GPU (18) 는 시스템 메모리 (30) 내에 할당된 개별 버퍼들에 이미지 데이터 등을 저장할 수도 있다. 디스플레이 인터페이스 (26) 는 시스템 메모리 (30) 로부터 데이터를 취출하며, 렌더링된 이미지 데이터에 의해 표현된 이미지를 디스플레이하도록 디스플레이 (28) 를 구성할 수도 있다. 일부 예들에 있어서, 디스플레이 인터페이스 (26) 는, 시스템 메모리 (30) 로부터 취출된 디지털 값들을 디스플레이 (28) 에 의해 소비 가능한 아날로그 신호로 변환하도록 구성된 디지털-아날로그 변환기 (DAC) 를 포함할 수도 있다. 다른 예들에 있어서, 디스플레이 인터페이스 (26) 는 디지털 값들을, 프로세싱을 위해 디스플레이 (28) 로 직접 전달할 수도 있다.
디스플레이 (28) 는 모니터, 텔레비전, 프로젝션 디바이스, 액정 디스플레이 (LCD), 플라즈마 디스플레이 패널, 발광 다이오드 (LED) 어레이, 음극선관 (CRT) 디스플레이, 전자 페이퍼, 표면 전도 전자 방출형 디스플레이 (SED), 레이저 텔레비전 디스플레이, 나노크리스탈 디스플레이 또는 다른 타입의 디스플레이 유닛을 포함할 수도 있다. 디스플레이 (28) 는 컴퓨팅 디바이스 (10) 내에 통합될 수도 있다. 예를 들어, 디스플레이 (28) 는 모바일 전화 핸드셋 또는 태블릿 컴퓨터의 스크린일 수도 있다. 대안적으로, 디스플레이 (28) 는 유선 또는 무선 통신 링크를 통해 모바일 컴퓨터 디바이스 (10) 에 커플링된 자립형 디바이스일 수도 있다. 예를 들어, 디스플레이 (28) 는 케이블 또는 무선 링크를 통해 개인용 컴퓨터에 접속된 컴퓨터 모니터 또는 플랫 패널 디스플레이일 수도 있다.
본 개시에서 설명된 기법들에 따르면, 모바일 컴퓨팅 디바이스 (10) 는 카메라들 (8 및 12) 을 사용하여 서브-밀리미터 정확도를 갖는 강화된 심도 맵을 제공할 수 있다. 도 1 에 도시된 바와 같이, 컬러 카메라 (8) 는, 선형적으로 편광된 필터 및/또는 선형적으로 편광된 렌즈를 나타낼 수도 있는 회전가능한 선형 편광 유닛 (32) ("LPU (32)") 을 포함할 수도 있다. 컬러 카메라 (8) 는 또한, LPU (32) 를 회전시키도록 구성된 모터 (34) 를 포함할 수도 있다. 컬러 카메라 (8) 는, LPU (32) 의 회전이 카메라의 프레임 캡처 레이트와 동기화되도록 모터 (34) 를 동작시킬 수도 있다. 일부 경우들에 있어서, LPU (32) 의 회전을 프레임 캡처 레이트에 동기화하기 보다는, 카메라 프로세서 (14) 는 프레임 캡처 시의 회전 각도를 결정할 수도 있다.
선형 편광된 이미지들의 시퀀스를 CID (9) 로서 캡처한 이후 (각각이 상이한 회전 각도에서 포지셔닝된 선형 편광 필터 또는 렌즈로 캡처됨), 카메라 프로세서 (14) 는, CID (9) 를 캡처할 때 모바일 통신 디바이스 (10) 또는 카메라 (8) 의 약간의 움직임들을 보상하기 위해 이미지 정렬을 수행할 수도 있다. 일부 예들에 있어서, 모바일 통신 디바이스 (10) 는 모션 정보를 출력하는 자이로스코프 및/또는 가속도계와 같은 하나 이상의 모션 센서들 (36) 을 포함할 수도 있다. 카메라 프로세서 (14) 는, 프레임들의 캡처와 일치하는 모션 센서들 (36) 에 의해 생성된 모션 정보에 기초하여 이미지 정렬을 수행할 수도 있다.
(선형 편광된 이미지들의 세트를 지칭할 수도 있는) CID (9) 의 캡처와 동시에, 카메라 프로세서 (14) 는, 심도 맵 데이터 (13) ("DMD (13)") 로서 도 1 에 도시되는 조악한 심도 이미지를 생성하기 위해 하나 이상의 이미지들을 캡처하도록 심도 카메라 (12) 와 인터페이스할 수도 있다. 카메라 프로세서 (14) 는 또한, 일부 예들에 있어서 모션 센서 (36) 로부터의 모션 정보에 또한 기초할 수도 있는 CID (9) 와 DPD (13) 사이의 이미지 정렬을 수행할 수도 있다. 이미지 정렬은 또한, "등록" 또는 "이미지 등록" 으로서 본 개시에서 지칭될 수도 있다.
이미지 정렬 (또는 이미지 등록) 은 이미지 데이터의 상이한 세트들 (예를 들어, CID (9) 및/또는 DMD (13)) 을 하나의 좌표 시스템으로 변환하는 프로세스를 지칭할 수도 있다. 카메라 프로세서 (14) 는 강도 기반 이미지 정렬 또는 피처 (feature) 기반 이미지 정렬과 같은 이미지 정렬의 상이한 변형들을 수행할 수도 있다. 강도 기반 이미지 정렬은 상관 메트릭들을 사용하여 CID (9) 및/또는 DMD (13) 사이의 강도 패턴들의 비교를 포함할 수도 있다. 피처 기반 이미지 정렬은 CID (9) 및/또는 DMD (13) 로부터 추출된 이미지 피처들 사이의 대응성의 결정을 포함할 수도 있으며, 여기서, 그러한 피처들은 점, 선, 및 윤곽을 포함할 수도 있다. 강도 패턴 비교 또는 피처 대응성에 기초하여, 카메라 프로세서 (14) 는 CID (9) 및/또는 DMD (13) 를, 레퍼런스 이미지로서 선택된 CID (9) 및/또는 DMD (13) 중 하나에 매핑하기 위한 기하학적 변환을 결정할 수도 있다. 카메라 프로세서 (14) 는 비-레퍼런스 CID (9) 및/또는 DMD (13) 의 각각에 기하학적 변환을 적용하여, 비-레퍼런스 CID (9) 및/또는 DMD (13) 의 픽셀들을 레퍼런스 CID (9) 및/또는 DMD (13) 로 시프트시키거나 그렇지 않으면 정렬시킬 수도 있다.
이미지 정렬을 수행한 이후, 카메라 프로세서 (14) 는 강화된 심도 맵 데이터 (15) ("EDMD (15)") 를 생성하기 위해 상기의 Kadambi 연구 논문에서 기술된 편광 유래 형상 심도 맵 증강 프로세스를 수행할 수도 있다. 일반적으로, Kadambi 연구 논문은, DMD (13) 가 편광 큐로부터의 형상 정보를 사용하여 강화될 수 있는 프로세스를 기술한다. Kadambi 연구 논문에 의해 기재된 프레임워크는 표면 법선 형태 편광 (예컨대, 편광 후 법선) 을 정렬된 심도 맵과 결합한다. Kadambi 연구 논문은, 편광 법선들이 방위각 모호성, 굴절 왜곡 및 전방 평행 신호 열화와 같은 물리학 기반 아티팩트들로부터 어려움을 겪을 수도 있음을 인식하고, 이들 물리학 기반 아티팩트들을 잠재적으로 극복하여 EDMD (15) 의 생성을 허용한다.
EDMD (15) 에 기초하여, 카메라 프로세서 (14), CPU (16) 및 GPU (18) 중 하나 이상은 장면의 적어도 하나의 양태의 3차원 모델을 구축할 수도 있다. 예를 들어, 장면은, 모바일 컴퓨팅 디바이스 (10) 의 오퍼레이터가 (예컨대, 소매 웹사이트 상의 디스플레이를 통해 모델을 제시하거나 그래픽으로 생성된 가상 현실 장면에 배치하는 등의 목적들로) 모델링에 관심있는 아이템을 포함할 수도 있다. 모바일 컴퓨팅 디바이스 (10) 는 3차원 모델을 제시하기 위해 디스플레이 (예를 들어, 사용자 인터페이스 (22) 또는 디스플레이 인터페이스 (26)) 와 인터페이스하거나 그렇지 않으면 통합할 수도 있다.
이 점에 있어서, 모바일 컴퓨팅 디바이스 (10) 는 강화된 심도 맵 이미지 (예를 들어, EDMD (15)) 를 생성하기 위해 조악한 심도 맵 이미지 (예를 들어, DMD (13)) 를 프로세싱하도록 구성된 모바일 디바이스의 일 예를 나타낼 수도 있다. 컬러 카메라 (8) 는, EDMD (15) 의 생성을 용이하게 하기 위해, 카메라로 진입하는 광을 선형적으로 편광시키도록 구성된 LPU (32) 를 포함한다. 컬러 카메라 (8) 는, 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 장면의 캡처 동안 LPU (32) 를 회전시키도록 구성된 모터 (34) 를 더 포함한다. CID (9) 는 상이한 편광 배향들을 갖는 장면의 선형적으로 편광된 이미지들의 시퀀스를 나타낼 수도 있다.
카메라 프로세서 (14) 는 CID (9) 에 대해 상기 언급된 이미지 등록을 수행하도록 구성된 프로세서의 일 예를 나타낼 수도 있다. 이미지 등록 이후, CID (9) 는 또한, 정렬된 선형적으로 편광된 이미지들의 시퀀스를 나타낼 수도 있다. 이와 같이, 카메라 프로세서 (14) 는 CID (9) 를 생성하기 위해 등록을 수행할 수도 있다. 카메라 프로세서 (14) 는 다음으로, DMD (13) 및 정렬된 CID (9) 에 기초하여 EDMD (15) 를 생성하기 위해 Kadambi 편광 유래 형상 심도 맵 증강 프로세스들을 수행할 수도 있다.
이러한 방식으로, 본 설명에서 기술된 기법들은, 모바일 컴퓨팅 디바이스들의 현재 카메라들에 대한 밀리미터 범위에서의 정확도보다는, 모바일 컴퓨팅 디바이스들의 카메라들을 사용하여 서브-밀리미터 정확도를 갖는 강화된 심도 맵들을 제공할 수도 있다. 서브-밀리미터 정확도를 가능하게 함으로써, 그 기법들은 예리한 코너, 평평한 표면, 좁은 오브젝트, 융기, 홈 등과 같은 더 정밀한 모델 지오메트리의 캡처를 허용할 수도 있다. 더 높은 해상도는 가상 현실, 증강 현실, 3차원 모델링, 강화된 3차원 (3D) 이미지 캡처 등과 같은 어플리케이션들을 위한 모바일 컴퓨팅 디바이스들에서의 카메라들의 채택을 촉진하는 결과들을 허용할 수도 있다.
도 2 는 도 1 의 컬러 카메라 (8) 의 일 예를 더 상세히 예시한 블록 다이어그램이다. 컬러 카메라 (8) 는 전술된 바와 같은 LPU (32) 및 모터 (34) 를 포함한다. 모터 (34) 는 LPU (32) 의 기어링과 일치하는 기어 (40) 에 커플링된다. 모터 (34) 는 LPU (32) 를 회전시키도록 기어 (40) 를 구동할 수도 있다. 모터 (34) 는, CID (9) 가 상이한 공지된 편광 배향들을 갖는 선형적으로 편광된 이미지들의 시퀀스를 포함할 수 있도록, 컬러 카메라 (8) 의 센서 (42) 에 의한 이미지들의 캡처와 동기화하기에 충분한 속도로 그리고 미리결정된 설정된 증분들로 기어 (40) 를 구동할 수도 있다. 대안적으로, 카메라 프로세서 (14) 는 적어도 부분적으로, 모터 (34) 가 LPU (32) 를 회전시킬 수도 있는 속도 및 CID (9) 의 선형적으로 편광된 이미지들의 시퀀스에서의 각각의 연속적인 이미지의 캡처 사이의 시간의 함수로서 편광 배향을 도출할 수도 있다.
도 3a 내지 도 3d 는 본 개시에서 설명된 기법들의 다양한 양태들에 따라 상이한 편광 배향들을 갖는 선형적으로 편광된 이미지들의 시퀀스를 캡처하도록 모터 (34) 에 의한 LPU (32) 의 예시적인 회전을 예시한 다이어그램들이다. 도 3a 의 예에 있어서, 화살표 (50) 는 선형 편광 배향을 나타내는 한편, 점선 화살표들 (52A 및 52B) 은 각각 x축 및 y축을 나타낸다. 컬러 카메라 (8) 는, 도 3a 의 예에서 도시된 바와 같이, 0도 (0°) 의 편광 배향을 갖는 선형적으로 편광된 이미지들의 시퀀스에서의 제 1 선형적으로 편광된 이미지를 캡처할 수도 있다.
도 3b 의 예를 참조하면, 컬러 카메라 (8) 는, 제 1 선형적으로 편광된 이미지에 대해 45도 (45°) 의 편광 배향을 갖는 선형적으로 편광된 이미지들의 시퀀스에서의 제 2 선형적으로 편광된 이미지를 캡처할 수도 있다. 선형 편광이 비-지향성이기 때문에, 45도의 편광 배향은 225도의 편광 배향과 동일한 것으로 고려될 수도 있다.
도 3c 의 예에 있어서, 컬러 카메라 (8) 는, 제 1 선형적으로 편광된 이미지에 대해 90도 (90°) 의 편광 배향을 갖는 선형적으로 편광된 이미지들의 시퀀스에서의 제 3 선형적으로 편광된 이미지를 캡처할 수도 있다. 선형 편광이 비-지향성이기 때문에, 90도의 편광 배향은 270도의 편광 배향과 동일한 것으로 고려될 수도 있다.
도 3d 의 예를 참조하면, 컬러 카메라 (8) 는, 제 1 선형적으로 편광된 이미지에 대해 135도 (135°) 의 편광 배향을 갖는 선형적으로 편광된 이미지들의 시퀀스에서의 제 4 선형적으로 편광된 이미지를 캡처할 수도 있다. 선형 편광이 비-지향성이기 때문에, 135도의 편광 배향은 315도의 편광 배향과 동일한 것으로 고려될 수도 있다.
이 점에 있어서, 카메라 프로세서 (8) 는, 연속적인 선형적으로 편광된 이미지들 사이의 편광 배향들의 차이가 (예를 들어, 45도 증분으로) 고정되도록 CID (9) 에 의해 정의된 선형적으로 편광된 이미지들의 시퀀스의 캡처와 선형 편광 유닛의 회전을 동기화하도록 카메라 (8) 와 인터페이스할 수도 있다. 그 후, 카메라 프로세서 (8) 는, 이 예에 있어서, 45도 증분의 함수로서 편광 배향들을 결정할 수도 있다.
편광 배향의 45도 증분에 대해 기술되지만, 컬러 카메라 (8) 는 상이한 편광 배향 증분들, 또는 상기 언급된 바와 같이, 설정된 각도 증분들의 함수가 아닌 가변적 편광 배향들을 갖는 선형적으로 편광된 이미지들의 시퀀스를 캡처할 수도 있다. 이 점에 있어서, 카메라 프로세서 (14) 는, 예를 들어, 모터 (34) 가 LPU (32) 를 회전시킬 수도 있는 속도 및 CID (9) 의 선형적으로 편광된 이미지들의 시퀀스에서의 각각의 연속적인 이미지의 캡처 사이의 시간의 함수로서, CID (9) 에 의해 정의된 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하도록 구성될 수도 있다. 그 후, 고정된 편광 배향을 채용하든지 또는 가변적 편광 배향을 채용하든지, 카메라 프로세서 (14) 는 DMD (13), CID (9), 및 결정된 편광 배향들에 기초하여 EDMD (15) 를 결정할 수도 있다.
더욱이, 편광 배향은, LPU (32) 의 3차원 배향이 아닌, 컬러 카메라 (8) 의 렌즈에 평행한 2차원 평면 (예를 들어, x축 및 y 축 (52A 및 52B) 에 의해 정의된 X-Y 평면) 에서의 편광의 배향을 지칭할 수도 있다. 이와 같이, 편광 배향은, LPU (32) 에서의 공간에 고정된 2차원 좌표 시스템에서 정의된 LPU (32) 의 회전의 정도를 지칭한다 (이는 2차원 좌표 시스템이 LPU (32) 로 이동하고 LPU (32) 의 중심 또는 LPU (32) 의 기타 다른 위치에서 중심을 가짐을 의미함). 편광 배향은, 좌표 시스템이 LPU (32) 의 위치에 상대적인 것이고 공간에서 절대 위치가 아니라는 것을 고려하여, LPU (32) 의 움직임에도 불구하고 변하지 않을 수도 있다.
도 4 는 이미지들을 캡처하기 위해 모바일 컴퓨팅 디바이스 (10) 의 컬러 카메라 (8) 를 채용할 때 발생하는 다양한 오프셋들을 설명하기 위해 서로에 대해 오버레이된 CID (9) 의 2개의 선형적으로 편광된 이미지들의 시퀀스의 합성을 예시한 다이어그램이다. 도 4 의 예에서 도시된 바와 같이, 흐릿한 에지들 및 다른 시각적 아티팩트들을 초래한 2개의 오버레이된 이미지들 사이에 오프셋이 존재한다. 카메라 프로세서 (14) 는, 흐릿한 에지들 및 다른 시각적 아티팩트들을 제거하지 않으면 감소시키기 위해 CID (9) 의 2개의 선형적으로 편광된 이미지들에 대해 이미지 등록을 수행할 수도 있다. 이미지 등록에 관한 더 많은 정보는 싱가포르 국립 대학교 컴퓨터 과학과의 컴퓨터 비전 및 패턴 인식 클래스에서 "Image Registration" 의 명칭으로 Kheng 교수에 의해 제시된 슬라이드들에서 그리고 2000년 9월 발행된 "Robust Image Registration Using Log-Polar Transform" 의 명칭의 George Wolberg 등에 의한 논문에서 발견될 수 있다.
도 5 는, 실행될 경우, 모바일 컴퓨팅 디바이스 (10) 로 하여금 본 개시에서 설명된 기법들의 다양한 양태들을 수행하도록 구성되게 하는 예시적인 알고리즘을 예시한 다이어그램이다. 모바일 컴퓨팅 디바이스 (10) 의 컬러 카메라 (8) 는 LPU (32) 와 먼저 인터페이스하여 LPU (32) 를 공지된 상태 (예를 들어, 0도의 편광 배향) 로 초기화해, 모터 (34) ("회전 모터 (34)" 로서 또한 지칭될 수도 있음) 를 작동시켜 LPU (32) (필터 또는 렌즈) 를 공지된 상태로 회전시킬 수도 있다 (60, 62). LPU (32) 를 초기화한 이후, 컬러 카메라 (8) 는 CID (9) 에 의해 표현되는 선형적으로 편광된 이미지들의 시퀀스에서 (선형 원시 (RAW) 이미지와 같은) 제 1 이미지의 캡처를 개시할 수도 있다 (64). 컬러 카메라 (8) 는 모터를 회전시키고 이미지 캡처를 개시하는 전술한 단계들을 반복하여, CID (9) 에 의해 표현되는 선형적으로 편광된 이미지들의 시퀀스의 각각을 캡처하기 위해 일부 고정된 수의 각도 (예를 들어, 45도) 만큼 편광 배향을 증분시킬 수도 있다. CID (9) 는 또한, 편광된 이미지들의 관련 세트를 나타내는 것으로서 지칭될 수도 있다. 컬러 카메라 (8) 는 카메라 프로세서 (14) 에 CID (9) (편광된 이미지들의 관련 세트를 나타낼 수 있음) 를 출력할 수도 있다 (66).
CID (9) 의 캡처와 동시에, 모바일 컴퓨팅 디바이스 (10) 의 모션 센서들 (36) 은 위치 (예를 들어, 글로벌 포지셔닝 시스템 - GPS - 정보), (자이로스코프 - 자이로 - 정보와 같은) 배향, 및 모바일 컴퓨팅 디바이스 (10) 의 움직임 (예를 들어, 가속도계 정보) 중 하나 이상을 나타내는 센서 데이터를 카메라 프로세서 (14) 에 출력할 수도 있다 (68). 또한, CID (9) 의 캡처와 동시에, 카메라 프로세서 (14) 는 심도 카메라 (12) 에 의해 DPD (13) 의 캡처를 개시할 수도 있다 (70, 72). DPD (13) 는 조악한 심도 이미지를 나타낼 수도 있다 (72).
카메라 프로세서 (14) 는 CID (9), 센서 데이터, 및 DPD (13) 를 수신할 수도 있다. 카메라 프로세서 (14) 는 CID (9) 및 DPD (13) 에 대하여 및 센서 데이터에 잠재적으로 기초하여 (그러한 센서 데이터가 이용가능할 때 또는 일부 예들에 있어서 정확한 것으로 평가될 때) 이미지 정렬을 수행할 수도 있다 (74). 모션 정보를 사용하여 이미지 정렬을 수행할 때, 카메라 프로세서 (14) 는, 레퍼런스 이미지에 현재 정렬되는 각각의 이미지의 캡처 시에 또는 그 근처에서 센서 데이터를 선택할 수도 있다.
카메라 프로세서 (14) 는 또한, 레퍼런스 이미지의 캡처 시에 또는 그 근처에서 센서 데이터를 활용할 수도 있다. 일부 예들에 있어서, 카메라 프로세서 (14) 는 레퍼런스 이미지의 캡처 시에 또는 그 근처에서의 센서 데이터와, 현재 정렬되는 이미지의 캡처 시에 또는 그 근처에서의 센서 데이터에서의 차이를 결정할 수도 있다. 카메라 프로세서 (14) 는 이러한 차이에 기초하여 이미지 정렬을 수행할 수도 있다. 이미지 등록을 용이하게 하기 위한 센서 데이터의 사용에 관한 더 많은 정보는, 2014년 5월자로 "Utilizing Motion Sensor Data for Some Image Processing Applications" 의 명칭으로 S.R.V. Vishwanath 에 의한 프로젝트 보고서에서 발견될 수 있다.
이 점에 있어서, 카메라 프로세서 (14) 는 (CID (9) 에 의해 표현될 수도 있는) 정렬된 선형적으로 편광된 이미지들 및 (DMD (13) 에 의해 표현될 수도 있는) 정렬된 심도 맵 이미지의 시퀀스를 생성할 수도 있다. 카메라 프로세서 (14) 는 다음으로, 정렬된 DMD (13) 에 대하여 및 정렬된 CID (9) 에 기초하여, Kadambi 연구 논문에 기재된 편광 유래 형상 심도 맵 증강 프로세스를 수행하여 (76), EDMD (15) ("정밀한 심도 맵 이미지" 로서 또한 지칭될 수도 있음) 를 생성할 수도 있다 (78).
도 6 은 본 개시에서 설명된 기법들의 다양한 양태들을 수행함에 있어서 도 1 의 모바일 컴퓨팅 디바이스 (10) 의 예시적인 동작을 예시한 플로우차트이다. 처음에, 모바일 컴퓨팅 디바이스 (10) 의 컬러 카메라 (8) 는 LPU (32) 와 먼저 인터페이스하여 LPU (32) 를 공지된 상태 (예를 들어, 0도의 편광 배향) 로 초기화해, 모터 (34) ("회전 모터 (34)" 로서 또한 지칭될 수도 있음) 를 작동시켜 LPU (32) 를 공지된 상태로 회전시킬 수도 있다 (100).
LPU (32) 를 초기화한 이후, 컬러 카메라 (8) 는 CID (9) 에 의해 표현되는 선형적으로 편광된 이미지들의 시퀀스에서 제 1 이미지의 캡처를 개시할 수도 있다 (102). 컬러 카메라 (8) 는 전술한 단계들을 반복하여, 미리정의된 수의 이미지들이 캡처되거나 그렇지 않으면 캡처가 완료될 때까지, CID (9) 에 의해 표현되는 선형적으로 편광된 이미지들의 시퀀스의 각각을 캡처하기 위해 일부 고정된 수의 각도 (예를 들어, 45도) 만큼 편광 배향을 증분시킬 수도 있다 ("예"104, 106, 102).
일부 예들에 있어서, 카메라 프로세서 (14) 는, CID (9) 의 이미지들이 Kadambi 연구 논문에 기재된 편광 유래 형상 심도 맵 증강 프로세스에서의 사용을 위해 충분한 품질인지 여부를 결정하기 위해 이미지들의 각각을 분석할 수도 있다. 즉, 카메라 프로세서 (14) 는 선예도, 흐릿함, 포커스, 조명, 또는 이미지들에 대해 공통적인 임의의 다른 메트릭에 관한 메트릭을 결정하여, 메트릭들의 하나 이상을 메트릭 임계치들과 비교할 수도 있다. 메트릭들이 대응하는 임계치들 아래로 떨어지거나, 또는 일부 경우들에 있어서 그 임계치들 위로 상승할 경우, 카메라 프로세서 (14) 는 추가적인 이미지들을 계속 캡처하여, 부적당한 이미지들 (대응하는 메트릭 임계치들 아래로 떨어지거나, 또는 일부 경우들에 있어서 그 메트릭 임계치들 위인 메트릭들을 갖는 이미지들을 지칭할 수도 있음) 을 폐기할 수도 있다. 카메라 프로세서 (14) 는, 이미지들의 품질의 평가 동안, 메트릭들에 대하여 가중 평균화를 수행하여, Kadambi 연구 논문에 기재된 편광 유래 형상 심도 맵 증강 프로세스에 더 유리한 것으로 결정된 메트릭들에 더 많은 가중치를 적용할 수도 있다.
CID (9) 의 캡처와 동시에, 모바일 컴퓨팅 디바이스 (10) 의 모션 센서들 (36) 은 위치 (예를 들어, 글로벌 포지셔닝 시스템 - GPS - 정보), (자이로스코프 - 자이로 - 정보와 같은) 배향, 및 모바일 컴퓨팅 디바이스 (10) 의 움직임 (예를 들어, 가속도계 정보) 중 하나 이상을 나타내는 센서 데이터를 카메라 프로세서 (14) 에 출력할 수도 있다. 카메라 프로세서 (14) 는 모션 센서 (36) 에 의해 출력된 센서 데이터를 획득할 수도 있다 (108). 또한, CID (9) 의 캡처와 동시에, 카메라 프로세서 (14) 는 심도 카메라 (12) 에 의해 DPD (13) 의 캡처를 개시할 수도 있다 (70, 72) (110).
카메라 프로세서 (14) 는 CID (9), 센서 데이터, 및 DPD (13) 를 수신할 수도 있다. 카메라 프로세서 (14) 는 센서 데이터에 기초하여 (그러한 센서 데이터가 이용가능할 때 또는 일부 예들에 있어서 정확한 것으로 평가될 때) CID (9) 와 DPD (13) 를 정렬시킬 수도 있다 (112). 이 점에 있어서, 카메라 프로세서 (14) 는 (CID (9) 에 의해 표현될 수도 있는) 정렬된 선형적으로 편광된 이미지들 및 (DMD (13) 에 의해 표현될 수도 있는) 정렬된 심도 맵 이미지의 시퀀스를 생성할 수도 있다. 카메라 프로세서 (14) 는 다음으로, EDMD (15) 를 생성하기 위해 정렬된 DMD (13) 에 대하여 Kadambi 연구 논문에 기재된 편광 유래 형상 심도 맵 증강 프로세스를 수행할 수도 있다 (114).
이 점에 있어서, 본 설명에서 기술된 기법들은, 모바일 컴퓨팅 디바이스들의 현재 카메라들에 대한 밀리미터 범위에서의 정확도보다는, 모바일 컴퓨팅 디바이스들의 카메라들을 사용하여 서브-밀리미터 정확도를 갖는 강화된 심도 맵들을 제공할 수도 있다. 서브-밀리미터 정확도를 가능하게 함으로써, 그 기법들은 예리한 코너, 평평한 표면, 좁은 오브젝트, 융기, 홈 등과 같은 더 정밀한 모델 지오메트리의 캡처를 허용할 수도 있다. 더 높은 해상도는 가상 현실, 증강 현실, 3차원 모델링, 강화된 3차원 (3D) 이미지 캡처 등과 같은 어플리케이션들을 위한 모바일 컴퓨팅 디바이스들에서의 카메라들의 채택을 촉진하는 결과들을 허용할 수도 있다.
하나 이상의 예들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 비일시적인 유형의 컴퓨터 판독가능 저장 매체들에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터 판독가능 매체를 포함할 수도 있다.
한정이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은, 캐리어 파들, 신호들, 또는 다른 일시적 매체들을 포함하는 것이 아니라, 대신에 비일시적, 유형의 저장 매체들에 관한 것이라는 것이 이해되야 한다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적된 또는 별도의 로직 회로부와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 또는 결합된 코덱에서 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.
Claims (28)
- 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스로서,
장면의 심도 맵 이미지를 캡처하도록 구성된 심도 카메라;
카메라로 진입하는 광을 선형적으로 편광시키도록 구성된 선형 편광 유닛을 포함하는 상기 카메라로서, 상기 카메라는 상이한 편광 배향들을 갖는 상기 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 장면의 캡처 동안 상기 선형 편광 유닛을 회전시키도록 구성되는, 상기 카메라; 및
프로세서를 포함하고,
상기 프로세서는,
정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하고; 그리고
상기 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하도록
구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 프로세서는 추가로, 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하도록 구성되고,
상기 프로세서는 상기 심도 맵 이미지, 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스, 및 결정된 상기 편광 배향들에 기초하여 상기 강화된 심도 맵 이미지를 생성하도록 구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 2 항에 있어서,
상기 카메라는 추가로, 연속적인 선형적으로 편광된 이미지들 사이의 편광 배향들의 차이가 고정되도록 상기 선형적으로 편광된 이미지들의 시퀀스의 캡처와 상기 선형 편광 유닛의 회전을 동기화하도록 구성되고,
상기 프로세서는 상기 선형적으로 편광된 이미지들의 시퀀스의 각각에 대한 고정된 편광 배향으로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하도록 구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 2 항에 있어서,
상기 프로세서는 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 캡처 시에 상기 선형 편광 유닛의 회전의 정도의 함수로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하도록 구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 모바일 디바이스의 움직임, 배향, 및 위치 중 하나 이상을 나타내는 센서 데이터를 생성하도록 구성된 하나 이상의 센서들을 더 포함하고,
상기 프로세서는 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 센서 데이터에 기초하여 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 상기 이미지 등록을 수행하도록 구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 카메라는 상기 선형 편광 유닛을 회전시키도록 구성된 모터를 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 선형 편광 유닛은 선형적으로 편광된 렌즈 또는 선형적으로 편광된 필터 중 하나를 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 프로세서는,
정렬된 선형적으로 편광된 이미지들의 시퀀스 및 정렬된 심도 맵 이미지를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스 및 상기 심도 맵 이미지에 대해 상기 이미지 등록을 수행하고; 그리고
상기 정렬된 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 상기 강화된 심도 맵 이미지를 생성하도록
구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 제 1 항에 있어서,
상기 프로세서는 추가로, 상기 강화된 심도 맵 이미지에 기초하여 상기 장면의 적어도 하나의 양태의 3차원 모델을 구축하도록 구성되는, 심도 맵 이미지를 프로세싱하도록 구성된 모바일 디바이스. - 심도 맵 이미지를 프로세싱하는 방법으로서,
심도 카메라에 의해, 장면의 심도 맵 이미지를 캡처하는 단계;
상이한 편광 배향들을 갖는 상기 장면의 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 컬러 카메라에 의해 상기 장면의 캡처 동안 선형 편광 유닛을 회전시키는 단계;
정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하는 단계; 및
상기 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 단계를 더 포함하고,
상기 강화된 심도 맵 이미지를 생성하는 단계는 상기 심도 맵 이미지, 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스, 및 결정된 상기 편광 배향들에 기초하여 상기 강화된 심도 맵 이미지를 생성하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 11 항에 있어서,
연속적인 선형적으로 편광된 이미지들 사이의 편광 배향들의 차이가 고정되도록 상기 선형적으로 편광된 이미지들의 시퀀스의 캡처와 상기 선형 편광 유닛의 회전을 동기화하는 단계를 더 포함하고,
상기 편광 배향을 결정하는 단계는 상기 선형적으로 편광된 이미지들의 시퀀스의 각각에 대한 고정된 편광 배향으로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 11 항에 있어서,
상기 편광 배향을 결정하는 단계는 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 캡처 시에 상기 선형 편광 유닛의 회전의 정도의 함수로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
모바일 디바이스의 움직임, 배향, 및 위치 중 하나 이상을 나타내는 센서 데이터를 획득하는 단계를 더 포함하고,
상기 이미지 등록을 수행하는 단계는 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 센서 데이터에 기초하여 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 상기 이미지 등록을 수행하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
상기 선형 편광 유닛을 회전시키는 단계를 더 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
상기 선형 편광 유닛은 선형적으로 편광된 렌즈 또는 선형적으로 편광된 필터 중 하나를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
상기 이미지 등록을 수행하는 단계는 정렬된 선형적으로 편광된 이미지들의 시퀀스 및 정렬된 심도 맵 이미지를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스 및 상기 심도 맵 이미지에 대해 상기 이미지 등록을 수행하는 단계를 포함하고,
상기 강화된 심도 맵 이미지를 생성하는 단계는 상기 정렬된 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 상기 강화된 심도 맵 이미지를 생성하는 단계를 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 제 10 항에 있어서,
상기 강화된 심도 맵 이미지에 기초하여 상기 장면의 적어도 하나의 양태의 3차원 모델을 구축하는 단계를 더 포함하는, 심도 맵 이미지를 프로세싱하는 방법. - 심도 맵 이미지를 프로세싱하도록 구성된 디바이스로서,
장면의 심도 맵 이미지를 캡처하는 수단;
상이한 편광 배향들을 갖는 상기 장면의 선형적으로 편광된 이미지들의 시퀀스를 캡처하는 수단;
정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하는 수단; 및
상기 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 수단을 더 포함하고,
상기 강화된 심도 맵 이미지를 생성하는 수단은 상기 심도 맵 이미지, 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스, 및 결정된 상기 편광 배향들에 기초하여 상기 강화된 심도 맵 이미지를 생성하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 20 항에 있어서,
연속적인 선형적으로 편광된 이미지들 사이의 편광 배향들의 차이가 고정되도록 상기 선형적으로 편광된 이미지들의 시퀀스의 캡처와 선형 편광 유닛의 회전을 동기화하는 수단을 더 포함하고,
상기 편광 배향을 결정하는 수단은 상기 선형적으로 편광된 이미지들의 시퀀스의 각각에 대한 고정된 편광 배향으로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 20 항에 있어서,
상기 편광 배향을 결정하는 수단은 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 캡처 시에 선형 편광 유닛의 회전의 정도의 함수로서 상기 선형적으로 편광된 이미지들의 시퀀스의 각각의 편광 배향을 결정하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
모바일 디바이스의 움직임, 배향, 및 위치 중 하나 이상을 나타내는 센서 데이터를 획득하는 수단을 더 포함하고,
상기 이미지 등록을 수행하는 수단은 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 센서 데이터에 기초하여 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 상기 이미지 등록을 수행하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
선형 편광 유닛을 회전시키는 수단을 더 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
선형 편광 유닛은 선형적으로 편광된 렌즈 또는 선형적으로 편광된 필터 중 하나를 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
상기 이미지 등록을 수행하는 수단은 정렬된 선형적으로 편광된 이미지들의 시퀀스 및 정렬된 심도 맵 이미지를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스 및 상기 심도 맵 이미지에 대해 상기 이미지 등록을 수행하는 수단을 포함하고,
상기 강화된 심도 맵 이미지를 생성하는 수단은 상기 정렬된 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 상기 강화된 심도 맵 이미지를 생성하는 수단을 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 제 19 항에 있어서,
상기 강화된 심도 맵 이미지에 기초하여 상기 장면의 적어도 하나의 양태의 3차원 모델을 구축하는 수단을 더 포함하는, 심도 맵 이미지를 프로세싱하도록 구성된 디바이스. - 명령들이 저장된 비일시적인 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 경우, 모바일 디바이스의 하나 이상의 프로세서들로 하여금
장면의 심도 맵 이미지의 캡처를 위해 심도 카메라와 인터페이스하게 하고;
상이한 편광 배향들을 갖는 상기 장면의 선형적으로 편광된 이미지들의 시퀀스를 캡처하기 위해 컬러 카메라와 인터페이스하게 하고;
정렬된 선형적으로 편광된 이미지들의 시퀀스를 생성하기 위해 상기 선형적으로 편광된 이미지들의 시퀀스에 대해 이미지 등록을 수행하게 하고; 그리고
상기 심도 맵 이미지 및 상기 정렬된 선형적으로 편광된 이미지들의 시퀀스에 기초하여 강화된 심도 맵 이미지를 생성하게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/342,912 | 2016-11-03 | ||
| US15/342,912 US20180124378A1 (en) | 2016-11-03 | 2016-11-03 | Enhanced depth map images for mobile devices |
| PCT/US2017/048038 WO2018084915A1 (en) | 2016-11-03 | 2017-08-22 | Enhanced depth map images for mobile devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190072549A true KR20190072549A (ko) | 2019-06-25 |
Family
ID=59791152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197012286A KR20190072549A (ko) | 2016-11-03 | 2017-08-22 | 모바일 디바이스들을 위한 강화된 심도 맵 이미지들 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20180124378A1 (ko) |
| EP (1) | EP3535731A1 (ko) |
| JP (1) | JP2019534515A (ko) |
| KR (1) | KR20190072549A (ko) |
| CN (1) | CN109844812A (ko) |
| BR (1) | BR112019008251A2 (ko) |
| WO (1) | WO2018084915A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10586379B2 (en) * | 2017-03-08 | 2020-03-10 | Ebay Inc. | Integration of 3D models |
| US11727656B2 (en) | 2018-06-12 | 2023-08-15 | Ebay Inc. | Reconstruction of 3D model with immersive experience |
| RU2693327C1 (ru) * | 2018-09-14 | 2019-07-02 | Общество с ограниченной ответственностью "Научно-исследовательский центр информационных технологий СПбГУ" (ООО "ИТ центр СПбГУ") | Способ реконструкции 3D модели статичного объекта и устройство для его реализации |
| US20200292297A1 (en) | 2019-03-15 | 2020-09-17 | Faro Technologies, Inc. | Three-dimensional measurement device |
| US11195285B2 (en) * | 2020-04-01 | 2021-12-07 | Bae Systems Information And Electronic Systems Integration Inc. | Moving object detection using a digital read-out integrated circuit and degree of polarization and angle of polarization at the pixel level |
| EP3944192A1 (en) * | 2020-07-22 | 2022-01-26 | Dassault Systèmes | Method for 3d scanning of a real object |
| US11310464B1 (en) * | 2021-01-24 | 2022-04-19 | Dell Products, Lp | System and method for seviceability during execution of a video conferencing application using intelligent contextual session management |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008016918A (ja) * | 2006-07-03 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理システムおよび画像処理方法 |
| US8508646B2 (en) * | 2008-12-22 | 2013-08-13 | Apple Inc. | Camera with internal polarizing filter |
| US8639020B1 (en) * | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
| US8570320B2 (en) * | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
| JP2013141105A (ja) * | 2011-12-29 | 2013-07-18 | Nikon Corp | 画像処理装置および電子カメラ、並びに画像処理プログラム |
| JP2014182328A (ja) * | 2013-03-21 | 2014-09-29 | Nikon Corp | カメラ |
| JP2015114307A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
| CN104052967B (zh) * | 2014-06-04 | 2017-04-05 | 河海大学 | 智能水下偏振目标深度图获取系统及其方法 |
| WO2016088483A1 (ja) * | 2014-12-01 | 2016-06-09 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| US10260866B2 (en) * | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
| WO2016172125A1 (en) * | 2015-04-19 | 2016-10-27 | Pelican Imaging Corporation | Multi-baseline camera array system architectures for depth augmentation in vr/ar applications |
-
2016
- 2016-11-03 US US15/342,912 patent/US20180124378A1/en not_active Abandoned
-
2017
- 2017-08-22 BR BR112019008251A patent/BR112019008251A2/pt not_active Application Discontinuation
- 2017-08-22 KR KR1020197012286A patent/KR20190072549A/ko not_active Application Discontinuation
- 2017-08-22 JP JP2019522666A patent/JP2019534515A/ja active Pending
- 2017-08-22 CN CN201780064163.8A patent/CN109844812A/zh active Pending
- 2017-08-22 WO PCT/US2017/048038 patent/WO2018084915A1/en unknown
- 2017-08-22 EP EP17761977.2A patent/EP3535731A1/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP3535731A1 (en) | 2019-09-11 |
| WO2018084915A1 (en) | 2018-05-11 |
| US20180124378A1 (en) | 2018-05-03 |
| JP2019534515A (ja) | 2019-11-28 |
| CN109844812A (zh) | 2019-06-04 |
| BR112019008251A2 (pt) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190072549A (ko) | 모바일 디바이스들을 위한 강화된 심도 맵 이미지들 | |
| KR102474715B1 (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
| US10089750B2 (en) | Method and system of automatic object dimension measurement by using image processing | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| US9965861B2 (en) | Method and system of feature matching for multiple images | |
| CN110300292B (zh) | 投影畸变校正方法、装置、系统及存储介质 | |
| JP6711271B2 (ja) | 画像処理装置および方法 | |
| CN109565551B (zh) | 对齐于参考帧合成图像 | |
| US10540784B2 (en) | Calibrating texture cameras using features extracted from depth images | |
| CN111080687A (zh) | 用于主动深度感测的方法和装置及其校准方法 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| CN112005548B (zh) | 生成深度信息的方法和支持该方法的电子设备 | |
| US9807313B2 (en) | Method and system of increasing integer disparity accuracy for camera images with a diagonal layout | |
| CN115375827A (zh) | 光照估计方法及电子设备 | |
| US9319666B1 (en) | Detecting control points for camera calibration | |
| CN113706692A (zh) | 三维图像重构方法、装置、电子设备以及存储介质 | |
| CN114666558B (zh) | 投影画面清晰度的检测方法、装置、存储介质及投影设备 | |
| US20230095621A1 (en) | Keypoint detection and feature descriptor computation | |
| CN116433769A (zh) | 空间校准方法、装置、电子设备和存储介质 | |
| CN117769840A (zh) | 多相机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |