KR20170019359A - 국부적 적응형 히스토그램 등화 - Google Patents

Abstract

어떤 양태들은 국부적 강도 변이들을 나타내는 이미지들의 집합에서의 이미지들 상에 국부적 강도 등화를 수행하기 위한 시스템들 및 기법들에 관련된다. 예를 들어, 국부적 강도 등화는 이미지들의 정확한 영역 매칭 및 정렬을 수행하기 위해 사용될 수 있다. 이미지들은, 예를 들어 이미지들에서의 식별된 키포인트들의 위치, 형상, 및 사이즈에 기초하여, 픽셀 블록들의 영역들로 파티셔닝될 수 있다. 이미지들에서의 동일한 피처를 묘사하는 영역들은 강도에 관하여 등화될 수 있다. 강도-등화된 영역들에서의 키포인트들에 기초한 영역 매칭이, 비대칭적 센서들에 의해 캡쳐되거나 공간적으로 변하는 강도를 나타내는 이미지들에서 조차 정확하게 수행될 수 있다.

Description

국부적 적응형 히스토그램 등화 {LOCAL ADAPTIVE HISTOGRAM EQUALIZATION}

본원에서 개시된 시스템들 및 방법들은 이미지 프로세싱에 관한 것이고, 더욱 상세하게는 영역 매칭 기법들에서의 국부적 강도 등화 (local intensity equalization) 에 관한 것이다.

이미지 정합 (image registration) 또는 이미지 정렬은 상이한 집합들의 이미지 데이터를 하나의 좌표 시스템으로 변형하는 프로세스이다. 이미지 데이터는 다수의 이미지들, 예컨대 상이한 이미지 센서들, 시간들, 깊이 (depth) 들, 관점들, 또는 광 스펙트럼의 부분들로부터의 이미지들을 포함한다. 이미지 정렬은, 다른 애플리케이션들 중에서, 사진술, 컴퓨터 비전, 의료 이미징, 및 망원경들 및 위성들로부터의 이미지들 및 데이터를 컴파일 (compiling) 하고 분석하는 것에 이용된다. 이미지 정렬은 이들 상이한 광학 측정들로부터 획득된 이미지 데이터를 비교 또는 통합할 수 있기 위해서 이용된다. 통상적으로, 이미지 정렬은, 상관 지표들을 통해 이미지들에서의 강도 패턴들을 비교하는 것에 의한 강도-기반 방법들을 통해, 또는 포인트들, 라인들, 및 윤곽들과 같은 이미지 피처 (image feature) 들 사이의 대응 (correspondence) 을 찾는 것에 의한 피처-기반 방법들에 의해 발생한다. 이미지 정렬은 픽셀-대-픽셀 (pixel-by-pixel) 정렬, 영역-기반 정합 또는 전역 정합 (global registration) 의 레벨에서 달성될 수 있다.

이미지 정렬의 하나의 타입은 스테레오 매칭 (stereo matching) 이며, 이것은 2 개의 오프셋 (offset) 이미지들의 집합을 제시하는 경우에 깊이의 착시 (illusion of depth) 를 생성하기 위해 사용된다. 스테레오 매칭은 관련된 이미지들, 예를 들어 상이한 관점들로부터 캡쳐된 동일한 이미지 장면의 이미지들에서의 오브젝트 (object) 들 사이의 대응들을 결정하는 프로세스이다. 대응들은 스테레오 이미지들 양자 (both) 내 이미지 장면에서의 동일한 포지션을 나타내는 매칭 포인트들을 의미할 수 있다. 즉, 매칭 포인트들은 스테레오 이미지들 양자에서 묘사되는 오브젝트의 동일한 부분을 표시한다. 종종, 대응들을 결정하는 것은, 2 개의 상당히 독립적인 서브-프로세스들, 다시 말해, 세그먼트화 (segmentation), 그 후 이어지는 매칭으로서 처리된다. 이미지는 픽셀 값들, 예를 들어 컬러 값들 또는 강도 값들에 기초하여 영역들로 세그먼트화될 수 있다. 영역들은 대응하는 쌍 (pair) 의 이미지들 사이에서 매칭될 프리미티브 (primitive) 들로서 간주되며, 왜냐하면 포인트들 또는 라인들에 기초한 접근들에 내재된 단점들 중의 많은 것은 더 개발된 엔티티 (entity) 들을 매칭함으로써 극복될 수 있기 때문이다. 대응들은, 매칭 포인트들 사이에서의 불일치 (disparity) 를 이용하는 것에 의한 삼각측량 (triangulation) 의 원리에 따라 관심 오브젝트에 대한 깊이를 계산하기 위해 이용될 수 있다.

일반적으로, 이 개시물은 이미지 정렬 기법들 또는 프로세싱을 위해 국부적 강도 등화를 위한 시스템들 및 기법들에 관련된다. 예를 들어, 일 구현형태에서, 프로세스는 2 이상의 이미지들을 포함하는 이미지 데이터를 픽셀들의 블록들을 포함하는 영역들로 세그먼트화 할 수 있다. 몇몇 실시형태들에서, 영역들은 이미지 데이터에서의 식별된 피처들에 대응할 수 있다. 입체적 정렬 애플리케이션들과 같은 몇몇 실시형태들에서, 픽셀 블록들은 블록 사이즈가 최소 불일치 값 보다 크고 롤-오프 변이 (roll-off variation) 보다 작도록 사이징될 (sized) 수 있다. 국부적 히스토그램 매칭이 각각의 블록 상에서 수행될 수 있으며, 이어서 블록들 사이에서의 겹선형 보간 (bilinear interpolation) 이 이어지며, 이로 인해 이미지들에 대해 등화된 강도 변이가 발생한다. 등화된 강도 변이는 비-강도-매칭된 (non-intensity-matched) 이미지 집합들에 비해 더욱 정확한 영역 매칭 결과들을 생성할 수 있다.

몇몇 실시형태들에서, 국부적 강도 등화 프로세스는 비대칭적 센서들을 통한 정확한 영역 매칭을 가능하게 할 수 있으며, 예컨대 입체, 파노라마식, 또는 멀티스펙트럼 이미징 시스템들에서 구현될 수도 있다. 예를 들어, 많은 입체 이미징 시스템들은 입체 이미지 집합을 생성하기 위해 타겟 이미지 장면의 상이한 시야들을 캡쳐하는 상이한 위치들에서의 다수의 이미지 센서들을 구현한다. 이들 다수의 이미지 센서들은, 다른 것들 중에서, 이득들, 롤-오프 (roll-off) 들, 민감도 (sensitivity), 시야각 (field of view), 화이트 밸런스, 기하학적 왜곡 (geometric distortion), 및 노이즈 민감도들에 대하여 매칭되지 않을 수도 있으며, 이것은 캡쳐된 이미지들에서의 대응하는 피처들에서 강도에 있어서의 변이들을 생성한다. 광을 센서들 상으로 초점을 맞추기 위해 사용되는 렌즈들 또는 광학 엘리먼트들에서의 변이들은 또한 대응하는 피처들에서 강도에 있어서의 변이들을 생성할 수 있다. 또한, 온-보드 이미지 신호 컨디셔닝 (on-board image signal conditioning) 에 있어서의 불일치들은 또한 대응하는 피처들에서 강도에 있어서의 변이들의 원인이 된다. 그러한 센서들은, 이미지 장면의 피처들로부터 도래하는 광의 강도에 대한 그들의 변하는 응답들 때문에 본원에서 "비대칭적 센서들 (asymmetric sensors) "로서 지칭된다.

다른 예로서, 몇몇 멀티스펙트럼 이미징 시스템들은 전자기 스펙트럼의 상이한 부분들에서 이미지 데이터를 캡쳐하도록 다수의 센서들을 구현한다. 전자기 스펙트럼의 다양한 범위들에서 캡쳐된 이미지들은, 예를 들어 조도 (illumination) 에 대한 적외선 및 가시 컬러 센서들의 강도 응답들에서 차이가 나는 것에 기인하여, 대응하는 피처들에서의 강도가 변할 수 있으며, 이에 따라 멀티스펙트럼 시스템들은 또한 비대칭적 센서들을 포함할 수 있다. 본원에서 사용되는 바와 같이, "대응하는 피처"는 이미지 집합 중의 다수의 이미지들에서 묘사된 실제 이미지 장면에서의 동일한 피처를 의미한다. 피처들은, 피처에서의 그리고/또는 피처 주위의 픽셀들의 블록들을 포함하는 영역으로서 표현될 수 있으며, 대응하는 피처들을 묘사하는 영역들은 "대응하는 영역들"로서 본원에서 지칭된다. 대응하는 영역들에서의 픽셀들의 강도 값들 사이에서의 변이는 "국부적 강도 변이 (local intensity variation)" 로서 본원에서 지칭된다. 이미지 집합들은 이미지 집합에서의 다수의 대응하는 피처들 중의 몇몇 또는 모든 대응하는 피처들에서의 국부적 강도 변이를 나타낼 (exhibit) 수도 있다.

본원에서는 멀티-센서 시스템들의 문맥에서 일반적으로 논의되지만, 국부적 강도 등화는 또한 단일 센서에 의해 캡쳐된, 국부적 강도 변이들을 나타내는 이미지들 사이에서의 정확한 영역 매칭을 가능하게 할 수 있다. 예를 들어, RGBN 센서 (이미지 장면의 RGB 및 NIR 채널들을 캡쳐하도록 구성된 4-채널 센서) 에 의해 캡쳐된 단일 근적외선 (near-infrared; NIR) 이미지 및 가시 컬러 (예를 들어, RGB) 이미지는 국부적 강도 변이를 나타낼 수 있다. 다른 예로서, 동일한 센서에 의하지만 상이한 조명 상태에서 동일한 이미지 장면에 대해 획득된 2 이상의 이미지들은 국부적 강도 변이를 나타낼 수 있다. 단일 센서에 의해 캡쳐되고 국부적 강도 변이를 나타내는 다른 이미지들의 집합들이 가능하다. 국부적 강도 변이를 나타내는 임의의 이미지들의 집합의 정렬은 국부적 강도 등화를 이용하여 수행될 수 있다.

입체 깊이 맵의 정렬 및 생성을 위해, 다수의 이미지들에 대한 영역들을 매칭하는 것은 그 이미지들에 대한 동등한 국부적 강도 변이를 요구한다. 비대칭적 센서들에 의해 생성된 이미지 집합들은 종종, 위에서 논의된 바와 같이, 동등한 국부적 강도를 갖지 않으며, 이것은 영역 매칭 성능에서의 에러들 및 다운스트림 성능 저하를 초래한다. 몇몇 실시형태들에서, 영역 매칭을 위해 식별된 키 피처들 주위의 영역들에서의 픽셀 블록 강도 변이를 등화시키기 (equalize) 위해 본원에서 기술된 국부적 강도 등화 기법들에 의해, 이 문제 및 다른 문제들이 해결된다. 등화된 강도 변이는 비-강도-매칭된 이미지 집합들에 비해 더욱 정확한 영역 매칭 결과들을 생성할 수 있다. 입체적 애플리케이션들, 예를 들어, 깊이 센싱에 대해서는, 적응형 강도 매칭은, 동일한 깊이이지만 상이한 콘트라스트 (contrast) 에 의해 특성화된 구역들에서의 에러성 불일치들로서 명백히 되는 매칭 에러들을 감소시킬 수 있다. 깊이 맵에서의 그러한 에러들을 감소시키는 것은, 임의의 다운스트림 프로세싱에서의 에러들을 감소시킬 수도 있으며 비-강도-매칭된 이미지 집합들로부터 생성된 입체 이미지들에 비해 더 높은 품질 입체 이미지의 제시를 가능하게 한다.

이미지들 사이에서의 전역 히스토그램 매칭 (global histogram matching) 에 비해, 본원에서 기술된 국부적 강도 등화 기법들은, 예를 들어, 공간적으로 변하는 강도 (spatially varying intensity) 에 있어서의 국부적 변화들에 대한 적응 (adaptation) 을 통해, 더욱 정확한 영역 매칭을 가능하게 한다. 예를 들어, 필름 및 디지털 카메라들 양쪽 모두에 영향을 미치는 비네팅 (vignetting) 은, 렌즈 시야각 (field-of-view; FOV) 의 주변 근처에서 광학 시스템에 의해 송신되는 광량에서의 감소를 의미하고, 이것으로 인해 에지들에서의 이미지의 점진적인 어두워짐을 초래하는, 이미지 센서 상에 입사하는 광의 공간적으로 변하는 강도가 발생한다. 또한, 자연적인 이미지 장면들의 조도는 전체 장면에 걸쳐 일정하지 않으며, 이것으로 인해 장면 전반에서 예측불가능한 공간적으로 변하는 강도가 발생한다. 전역 히스토그램 조정이 국부적 변화들에 적응되지 않을 수도 있기 때문에, 공간적으로 변하는 강도는, 상이한 평균 강도 값들을 갖는 이미지들 사이에서의 피처 매칭을 위해 중대한 문제를 제기한다. 예를 들어, 전역 히스토그램 매칭 접근법들은 평균 픽셀 값들에 기초하며, 이에 따라 국부적 영역들은 입력 이미지에서의 그들의 대응하는 영역에 대해 부정확한 강도 값들 쪽으로 편향된다 (biased). 본원에서 기술되는 국부적 강도 등화 기법들은 국부적 영역들에서의 비편향된 강도 등화를 제공하며, 그리하여 공간적으로 변하는 조도에서 키포인트 구조들 주위의 매칭 정확성을 최적화한다. 입체 이미지들에서의 깊이 맵 구축을 위해 사용되는 키포인트 매칭을 위해, 국부적 히스토그램 적응은 정확한 깊이 맵 구축을 허용하는 키포인트 영역들 사이에서의 강도 대응을 제공한다.

이에 따라, 일 양태는, 제 1 강도 응답을 갖는 제 1 이미지 센서; 제 2 강도 응답을 갖는 제 2 이미지 센서; 이미지 프로세서를 포함하는 이미지 캡쳐 디바이스에 관한 것이며, 그 이미지 프로세서는, 제 1 이미지 센서로부터의 제 1 이미지 및 제 2 이미지 센서로부터의 제 2 이미지를 포함하는 이미지 데이터를 수신하도록 하고, 여기서 제 1 이미지 및 제 2 이미지는 단일 이미지 장면의 적어도 일부를 묘사하고 서로에 관하여 국부적 강도 변이를 나타내며, 제 1 이미지를 복수의 제 1 블록들로 파티셔닝하도록 하고, 제 2 이미지를 픽셀들의 복수의 제 2 블록들로 파티셔닝하도록 하고, 복수의 제 1 블록들 중의 식별된 제 1 블록 및 복수의 제 2 블록들 중의 식별된 제 2 블록을 포함하는 대응하는 블록들의 쌍을 결정하도록 하고, 그리고 식별된 제 1 블록 및 식별된 제 2 블록에 포함된 픽셀들에 대한 등화된 국부적 강도 값들을 생성하도록 구성된다.

다른 양태는 이미지들의 집합을 프로세싱하기 위한 방법에 관한 것이고, 그 방법은, 이미지 장면의 제 1 이미지를 표현하는 이미지 데이터를 수신하는 단계; 이미지 장면의 적어도 일부인 제 2 이미지를 표현하는 이미지 데이터를 수신하는 단계로서, 여기서 제 2 이미지는 제 1 이미지의 국부적 강도 값들에 관하여 국부적 강도 값들에서의 변이들을 나타내는, 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하는 단계; 제 1 이미지 및 제 2 이미지 각각을 픽셀들의 복수의 블록들로 파티셔닝하는 단계; 대응하는 블록들의 쌍을 결정하는 단계로서, 대응하는 블록들의 쌍은 픽셀들의 복수의 블록들 중의 제 1 블록 및 픽셀들의 복수의 블록들 중의 제 2 블록을 포함하고, 제 1 블록은 제 1 이미지를 표현하는 이미지 데이터에 포함되고 제 2 블록은 제 2 이미지를 표현하는 이미지 데이터에 포함되는, 상기 대응하는 블록들의 쌍을 결정하는 단계; 및 제 1 블록에 포함된 픽셀들 및 제 2 블록에 포함된 픽셀들에 대한 등화된 국부적 강도 값들을 생성하는 단계를 포함한다.

다른 양태는 명령들을 저장하는 비-일시적 컴퓨터-판독가능 매체에 관한 것이고, 명령들은, 실행되는 경우, 이미지 프로세서로 하여금, 비대칭적 이미지 센서들에 의해 캡쳐된 2 이상의 이미지들을 표현하는 이미지 데이터를 수신하는 것; 2 이상의 이미지들 각각을 픽셀들의 복수의 블록들로 파티셔닝하는 것; 대응하는 블록들의 쌍을 결정하는 것으로서, 대응하는 블록들의 쌍은 픽셀들의 복수의 블록들 중의 제 1 블록 및 픽셀들의 복수의 블록들 중의 제 2 블록을 포함하고, 제 1 블록은 2 이상의 이미지들 중의 제 1 이미지에 포함되고 제 2 블록은 2 이상의 이미지들 중의 제 2 이미지에 포함되는, 상기 대응하는 블록들의 쌍을 결정하는 것; 및 제 1 블록에 포함된 픽셀들 및 제 2 블록에 포함된 픽셀들에 대한 등화된 강도 값들을 생성하는 것을 포함하는 동작들을 수행하게 한다.

본 개시물의 양태들은 이하에서 첨부된 도면들과 함께 기술될 것이며, 첨부된 도면들은 도시하기 제공되었지 개시된 양태들을 제한하기 위한 것이 아니며, 유사한 지시들은 유사한 엘리먼트들을 나타낸다.
도 1은 국부적 강도 등화 성능들을 갖는 이미지 캡쳐 시스템의 일 실시형태의 블록도를 도시한다.
도 2는 국부적 강도 등화를 이용하여 스테레오 이미지를 생성하기 위한 스테이지들의 일 실시형태의 블록도를 도시한다.
도 3은 등화 모듈의 일 실시형태의 블록도를 도시한다.
도 4는 국부적 강도 등화 프로세스의 일 실시형태를 도시한다.
도 5A 및 도 5B는 종래의 영역 매칭 및 국부적 강도 등화 프로세스의 실시형태를 포함하는 영역 매칭의 평균 제곱 에러 (mean square error) 결과들의 비교를 묘사하는 블록도들을 도시한다.

도입

본 개시의 실시형태들은, 이미지 정렬을 위한 영역 매칭에서 국부적 강도 등화를 위한 시스템들 및 기법들에 관련된 것이다. 이미지들의 집합에서의 각각의 이미지는, 예를 들어 상이한 관점들로부터의, 상이한 조명에서의, 또는 전자기 스펙트럼의 상이한 부분들에서의 동일한 이미지 장면을 각각 실질적으로 묘사할 수 있다. 그 집합에서의 각각의 이미지들은 픽셀들의 블록들을 포함하는 다수의 영역들로 분할될 수 있다. 그 영역들은, 이미지들 사이에서의 대응하는 피처들을 묘사하는 영역들을 결정하기 위해, 즉, 이미지들에서의 어떤 영역들이 동일한 피처를 묘사하는지를 결정하기 위해 매칭될 수 있다. 대응하는 피처들을 묘사하는 영역들은 강도에 대하여 매칭될 수 있다. 대응하는 피처들을 묘사하는 영역들 사이에서의 강도 대응은 그 영역들을 이용한 정확한 매칭을 허용할 수 있어, 예를 들어, 정확한 다운스트림 이미지 정렬 및/또는 깊이 맵 구축에 이를 수 있다.

일 실시형태에서, 영역들은, 이미지들의 집합에서의 각각의 이미지에서, 키포인트들로서 지칭되는 특유의 피처들을 식별하는 것에 적어도 부분적으로 기초하여 결정될 수 있다. 키포인트들은, 그것들이 이미지 스케일 변화들 및/또는 회전에 대해 불변이며 왜곡들의 실질적인 범위, 관점에서의 변화들, 및/또는 노이즈에 대한 견고한 매칭을 제공하도록, 선택되고/되거나 프로세싱될 수도 있다. 영역 위치, 형상, 및 사이즈는, 예를 들어 추출된 피처들의 위치, 형상, 및 사이즈에 기초하여 결정될 수 있다. 대응하는 영역들 사이에서의 강도 등화는 키포인트들의 형상과 같은 국부적 구조 컨텐츠에 적응할 수 있다. 이에 따라 키포인트 매칭에 관해 공간적으로 변하는 강도의 효과들은, 키포인트 검출 후에 대응하는 영역들의 강도를 등화시킴으로써, 완화되거나 제거될 수 있다.

대응하는 영역들 사이에서의 강도 값들의 등화는 영역들에 포함된 키포인트들의 구조를 수용할 수 있다. 몇몇 예들에서, 각각의 대응하는 영역의 히스토그램은 공간적 강도 변이를 결정하도록 분석될 수 있으며, 특유의 피처들과 같은 국부적 구조 컨텐츠에 적응되는 등화된 강도를 제공하도록, 대응하는 영역들의 강도들 사이에서의 공간적 맵핑이 수행될 수 있다. 예를 들어, 이미지들의 쌍에서의 블록들의 히스토그램 분석에 기초하여 등화 함수를 결정한 후에, 제 1 이미지가 제 2 이미지의 히스토그램과 매우 밀접하게 유사하거나 제 2 이미지의 히스토그램에 매칭되는 히스토그램을 가지기 위해 변형되도록, 제 1 이미지에서의 강도 값들은 제 2 이미지에서의 강도 값들에 맵핑될 수 있다. 결정된 영역들 모두가, 강도 값들의 견지에서 매우 유사하게 보일 수도 있으며, 이에 따라 그것들이 상이한 센서들, 광학 (optics), 및/또는 파장들로 생성되었더라도, 후속적인 프로세싱에 의해 각각의 이미지에서의 대응하는 영역들로서 식별될 수 있다.

이 개시물에 기술된 실시형태들의 양태들이 스테레오 이미지 쌍들의 문맥 내에서의 영역 매칭에 초점을 둘 것이지만, 이것은 설명을 위한 것이고 본원에서 기술된 국부적 강도 등화 기법들의 사용을 제한하도록 의도되지는 않는다. 비-스테레오 (non-stereo) 이미지 쌍들에 대한 영역 매칭을 이용한 정렬은 또한, 본원에서 기술되는 국부적 강도 등화 기법들을 이용하여 더욱 정확하게 수행될 수 있다. 예를 들어, 국부적 강도 등화는, 더욱 정확한 멀티스펙트럼 이미지 정렬 - 광 스펙트럼의 상이한 부분들로부터의 이미지들을 매칭 - 예컨대, 동일한 이미지 장면에서 캡쳐된 근적외선 (NIR) 이미지 및 가시 컬러 (예를 들어, RGB) 이미지를 정렬하는 것과 같은 것을 가능하게 할 수 있다. 국부적 강도 등화는 또한, 예를 들어, 분광법을 수행하기 위한 회절 격자를 이용하여 광학 시스템들에 의해 상이한 파장들에서 획득된 이미지들의 집합들을 정렬하기 위한, 더욱 정확한 분광 이미지 정렬을 또한 제공할 수 있다. 본원에서 기술된 국부적 강도 등화 기법들은 각종 실시형태들에서 한 쌍의 이미지들 또는 3 개 이상의 이미지들의 집합을 정렬하기 위해 사용될 수 있다. 추가로, 본원에서 기술된 국부적 강도 등화 기법들은 영역 매칭에 의한 정렬에 제한되는 것은 아니고, 임의의 이미지 정렬 또는 보정 기법으로 병합될 수 있다.

본 개시물의 각종 양태들이, 이제 어떤 예들 및 실시형태들에 관하여 기술될 것이며, 그 예들 및 실시형태들은 개시물을 도시하도록 의도된 것이고 개시물을 제한하지 않는다.

예시적 시스템의 개요

도 1은 강도 등화 성능들을 갖는 이미지 캡쳐 디바이스 (또는 시스템) (100) 의 일 실시형태의 블록도를 도시한다. 디바이스 (100) 는, 이미지 센서 어셈블리들 (115A 및 115B), 작업 메모리 (105), 스토리지 (110), 디스플레이 (125), 및 메모리 (130) 에 링크된 이미지 프로세서 (또는 프로세서) (120) 를 포함한다.

디바이스 (100) 는 셀룰러 전화, 디지털 카메라, 태블릿 컴퓨터, 또는 개인용 정보 단말기 (personal digital assistant) 등일 수도 있다. 본원에서 기술되는 바와 같은 국부적 강도 등화 프로세스가 이점들을 제공할 비대칭적 이미지 센서들을 갖는 많은 이미징 디바이스들이 있다. 복수의 이미징 애플리케이션들은 디바이스 (100) 상에서 사용자들에게 이용가능할 수도 있다. 이들 애플리케이션들은 몇 개를 들자면, 종래의 사진 및 비디오 애플리케이션들, 고 동적 범위 이미징 (high dynamic range imaging), 파노라마식 사진 및 비디오, 3D 이미지들 또는 3D 비디오와 같은 입체 이미징, 또는 멀티스펙트럼 이미징을 포함할 수도 있다.

도시된 바와 같은 이미지 캡쳐 디바이스 (100) 는 외부 이미지들을 캡쳐하기 위한 이미지 센서 어셈블리들 (115A, 115B) 을 포함한다. 이미지 센서 어셈블리들 (115A, 115B) 은 각각 센서, 렌즈 어셈블리, 및 자동초점 모듈을 포함할 수도 있다. 어셈블리들 (115A 및 115B) 의 센서들은 몇몇 실시형태들에서 전하 결합 디바이스들 (charge coupled devices; CCD) 또는 상보성 금속 산화막 반도체들 (complementary metal oxide semiconductors; CMOS) 일 수도 있다. 어셈블리들 (115A 및 115B) 의 센서들은, 이미지 장면의 피처들로부터 도래하는 광의 강도에 대해 변하는 응답들을 갖도록 구성된 비대칭적 센서들일 수도 있다. 따라서, 타겟 이미지 장면은, 센서 어셈블리 (115A) 가 센서의 강도 응답에 따라 이미지 A를 캡쳐하고 센서 어셈블리 (115B) 가 센서의 강도 응답에 따라 이미지 B를 캡쳐하는이미지들의 일 집합으로서 캡쳐될 수도 있다. 2 개의 이미지 센서 어셈블리들 (115A, 115B) 이 나타나 있지만, 이것은 예시의 목적이고 본원에서 개시된 강도 등화 기법들을 구현할 수 있는 시스템의 타입을 한정하는 것으로 의도되지 않는다. 다른 실시형태들에서, 3 개 이상의 센서 어셈블리들이 타겟 장면의 이미지들의 집합, 적어도 몇몇 국부적 강도 변이를 나타내는 이미지들의 집합을 캡쳐할 수 있다. 또 다른 실시형태들에서, 단일 센서 어셈블리가 타겟 장면의 이미지들의 집합, 적어도 몇몇 국부적 강도 변이를 나타내는 이미지들의 집합을 캡쳐할 수 있다. 몇몇 실시형태들에서, 센서 어셈브리들 중의 하나 이상은 디바이스 (100) 의 일부가 아닐 수도 있으며, 대신에 하나 이상의 센서 어셈블리들로부터의 정보가 프로세싱을 위해 디바이스 (100) 에 제공된다. 예를 들어, 센서 어셈블리들은 다른 이미징 시스템의 일부 일 수도 있고, 그러한 시스템으로부터의 정보가 디바이스 (100) 에 대해 기술된 기능성을 이용하여 프로세싱되도록 제공될 수도 있다. 몇몇 실시형태들에서, 그러한 정보는 먼저 저장되고, 그 후 프로세싱을 위해 디바이스 (100) 에 제공된다. 센서 어셈블리들의 개수는 이미징 시스템 (100) 의 필요들에 따라 증가되거나 감소될 수도 있다. 이미지 센서 어셈블리들 (115A, 115B) 은, 캡쳐된 이미지들을 이미지 프로세서 (120) 에 송신하기 위해 이미지 프로세서 (120) 에 결합될 수도 있다.

이미지 프로세서 (120) 는, 이하에서 더욱 상세하게 기술되는 바와 같이, 정확하게 정렬된 이미지 집합을 출력하기 위해, 이미지 장면의 이미지들의 수를 포함하는 수신된 이미지 데이터에 관한 여러 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (120) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들용으로 특별하게 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 크롭핑 (cropping), (예를 들어, 상이한 해상도로의) 스케일링 (scaling), 이미지 스티칭 (stitching), 이미지 포맷 전환, 컬러 보간 (color interpolation), 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간적 이미지 필터링), 렌즈 아티팩트 (artifact) 또는 결함 정정 등을 포함한다. 프로세서 (120) 는 몇몇 실시형태들에서 복수의 프로세서들을 포함할 수도 있다. 어떤 실시형태들은 각각의 이미지 센서에 전용인 프로세서를 가질 수도 있다. 프로세서 (120) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들), 또는 프로세서의 소프트웨어 구현형태일 수도 있다.

이미지 프로세서 (120) 는 메모리 (130) 및 작업 메모리 (105) 에 접속된다. 도시된 실시형태에서, 메모리 (130) 는 캡쳐 제어 모듈 (135), 정렬 모듈 (140), 및 오퍼레이팅 시스템 (150) 을 저장한다. 이들 모듈들은, 각종 이미지 프로세싱 및 디바이스 관리 작업들을 수행하도록 이미지 프로세서 (120) 및/또는 디바이스 프로세서 (160) 를 구성하는 명령들을 포함한다. 작업 메모리 (105) 는 메모리 (130) 의 모듈들에 내포된 프로세서 명령들의 작업 집합 (working set) 을 저장하기 위해 이미지 프로세서 (120) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (105) 는, 디바이스 (100) 의 동작 동안에 생성된 동적 데이터를 저장하기 위해 이미지 프로세서 (120) 에 의해 또한 이용될 수도 있다.

위에서 기술된 바와 같이, 이미지 프로세서 (120) 는 메모리들 예를 들어 메모리 (130) 에 저장된 몇개의 모듈들에 의해 구성된다. 캡쳐 제어 모듈 (135) 은 이미징 센서 어셈블리들 (115A, 115B) 의 초점 포지션을 조정하도록 이미지 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 캡쳐 제어 모듈 (135) 은, 디바이스 (100) 의 전체 이미지 캡쳐 기능들을 제어하는 명령들을 추가적으로 포함할 수도 있다. 예를 들어, 캡쳐 제어 모듈 (135) 은, 이미징 센서 어셈블리들 (115A, 115B) 을 이용하여 타겟 이미지 장면의 원시 이미지 데이터를 캡쳐하도록 이미지 프로세서 (120) 를 구성하는 서브루틴 (subroutine) 들을 호출하는 명령들을 포함할 수도 있다. 캡쳐 제어 모듈 (135) 은 그 후, 센서 어셈블리들 (115A, 115B) 에 캡쳐된 이미지들에 관해 국부적 강도 등화 및 정렬을 수행하기 위해 그리고 이미징 프로세서 (120) 로 정렬된 이미지 데이터를 출력하기 위해, 정렬 모듈 (140) 을 호출할 수도 있다. 캡쳐 제어 모듈 (135) 은 또한, 원시 이미지 데이터 상에 강도 등화 및 정렬을 수행하여 몇몇 실시형태들에서 캡쳐될 장면의 디스플레이 (125) 상에 프리뷰 이미지를 출력하고, 그리고 어떤 시간 간격들에서 또는 원시 이미지 데이터에서의 장면이 변화할 때에 프리뷰 이미지를 업데이트 하도록 정렬 모듈 (140) 을 호출할 수도 있다.

정렬 모듈 (140) 은, 캡쳐된 이미지 데이터에 관해 국부적 강도 등화 기법들을 이용하여 이미지 정렬을 수행하도록 이미지 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 센서 어셈블리들 (115A, 115B) 각각은 각각의 센서의 강도 응답에 따라 타겟 이미지를 묘사하는 이미지를 캡쳐할 수도 있다. 위에서 논의된 바와 같이, 강도 응답들은, 다른 것들 중에서, 센서 이득들, 롤-오프들, 민감도, 시야각, 화이트 밸런스, 기하학적 왜곡, 및 노이즈 민감도들에서의 불일치 (discrepancy) 들, 센서 어셈블리들 (115A, 115B) 에서의 렌즈들 사이에서의 차이들, 및 온-보드 이미지 신호 컨디셔닝에 기인하여, 차이가 날 수도 있다. 이미지들 사이에서의 국부적 강도 변이들에도 불구하고 이미지들의 정확한 정렬을 수행하기 위해, 정렬 모듈 (140) 은, 이미지들을 다수의 영역들로 파티셔닝하고 대응하는 영역들의 국부적 강도 값들을 등화시키고 강도-등화된 영역들을 이용하여 영역 매칭을 수행하도록, 이미지 프로세서 (120) 를 구성할 수도 있다.

예를 들어, 정렬 모듈 (140) 은, 이미지 데이터에서 특유의 피처들, 또는 키포인트들을 검출하도록 이미지 프로세서 (120) 를 구성하는 명령들을 포함하는 피처 검출기 (142) 를 포함할 수 있다. 그러한 피처들은 고도의 정확성을 갖고서 매칭될 수 있는 이미지들에서의 포인트들에 대응할 수 있다. 예를 들어, 특유의 피처들은, 특성들 예를 들어 주위의 픽셀 영역들에 비교되는 사이즈, 형상, 디멘션 (dimension), 밝기 또는 컬러에서 차이가 나는, 에지들 또는 라인들, 코너들, 리지들 (ridges), 또는 블롭들 (blobs) 의 존재 또는 샤프니스 (sharpness) 에 의해 적어도 부분적으로 특성화될 수도 있다 (characterized). 일반적으로, 오브젝트 또는 피처 인식은, 이미지에서의 관심 포인트들 (또한 키포인트들로 불림) 및/또는 피처 식별을 목적으로 이들 키포인트들 주위의 국부화된 피처들을 식별하는 것을 포함할 수도 있다. 오브젝트 또는 피처는 하나 이상의 키포인트들을 식별하는 기술자 (descriptor) 들에 의해 특성화될 수도 있다. 키포인트들은, 임의의 알려진 피처 검출 기법, 예를 들어, 몇몇을 들자면, 제곱차의 합 (sum of squared differences), LoG (Laplacian of Gaussian), DoG (difference of Gaussian), 및 DoH (determinant of the Hessian) 에 의해 식별될 수 있다.

피처 검출기 (142) 는 또한, 식별된 키포인트들에 적어도 부분적으로 기초하여 이미지 데이터를 픽셀 블록들을 포함하는 영역들로 파티셔닝하도록 이미지 프로세서 (120) 를 구성하는 명령들을 포함할 수 있다. 픽셀 블록 위치, 형상, 및 사이즈는 예를 들어 식별된 키포인트들의 위치, 형상, 및 사이즈에 기초하여 결정될 수 있다. 몇몇 입체적 정렬 애플리케이션들과 같은 몇몇 실시형태들에서, 피처 검출기 (142) 는, 불일치 보다 더 큰 값 및/또는 롤-오프 변이 보다 더 작은 값으로 픽셀 블록 사이즈를 제한하도록 이미지 프로세서 (120) 를 구성하는 명령들을 포함할 수 있다.

정렬 모듈 (140) 은 또한, 영역들의 히스토그램 (histogram) 들을 생성하고 분석하며 그 히스토그램 분석에 적어도 부분적으로 기초하여 강도 등화 함수 (intensity equalization function) 를 생성하도록 프로세서 (120) 를 구성하는 명령들을 포함하는 히스토그램 모듈 (144) 을 포함할 수 있다. 히스토그램 모듈 (144) 은, 각각의 블록의 확률 질량 함수 (probability mass function; PMF) 를 결정하도록, 누적 질량 함수 (cumulative mass function; CMF) 를 연산 (compute) 하기 위해 PMF에서의 질량을 합산하도록, 그리고 센서 어셈블리 (115A) 에 의해 캡쳐된 이미지에서의 픽셀들로부터의 강도 값들을 센서 어셈블리 (115B) 에 의해 캡쳐된 이미지에서의 픽셀들에 맵핑하도록 (또는 그 반대의 경우도 마찬가지임) 프로세서 (120) 를 구성하는 명령들을 포함할 수 있다. 이에 따라, 대응하는 영역들 사이에서의 강도 등화는 키포인트들의 형상과 같은 국부적 구조 컨텐츠 (content) 에 적응할 수 있다.

정렬 모듈 (140) 은 또한 매칭 모듈 (146) 을 포함할 수 있으며, 이것은 히스토그램 모듈 (144) 에 의해 생성된 강도-등화된 이미지 데이터를 이용하여 영역 매칭을 수행하도록 프로세서 (120) 를 구성하는 명령들을 포함한다. 국부적 적응형 강도 등화에 기인하여, 대응하는 키포인트 영역들은 강도 값들의 견지에서 서로 간에 매우 유사하게 보일 수도 있으며, 이것은 공간적으로 변하는 강도를 나타내는 이미지들에서 조차 키포인트 구조들 주위에서 매우 정확한 매칭을 가능하게 한다.

오퍼레이팅 시스템 모듈 (150) 은 작업 메모리 (105) 및 디바이스 (100) 의 프로세싱 자원들을 관리하도록 이미지 프로세서 (120) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (145) 은 이미징 센서 어셈블리들 (115A, 115B) 와 같은 하드웨어 자원들을 관리하기 위해 디바이스 구동기들을 포함할 수도 있다. 따라서, 몇몇 실시형태들에서, 위에서 논의된 이미지 프로세싱 모듈들에 내포된 명령들은 이들 하드웨어 자원들과 직접적으로 상호작용하는 것이 아니라, 대신에 오퍼레이팅 시스템 컴포넌트 (150) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 그 후, 오퍼레이팅 시스템 (150) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (150) 은 추가적으로 디바이스 프로세서 (160) 와 정보를 공유하도록 이미지 프로세서 (120) 를 구성할 수도 있다.

디바이스 프로세서 (160) 는 캡쳐된 이미지 또는 캡쳐된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (125) 를 제어하도록 구성될 수도 있다. 디스플레이 (125) 는 이미징 디바이스 (100) 의 외부에 있을 수도 있고, 이미징 디바이스 (100) 의 일부일 수도 있다. 디스플레이 (125) 는 또한 이미지를 캡쳐하기 전에 사용을 위해 프리뷰 이미지를 디스플레이하는 뷰 파인더 (view finder) 를 제공하도록 구성될 수도 있거나, 메모리에 저장된 캡쳐된 이미지 또는 사용자에 의해 최근에 캡쳐된 이미지를 디스플레이 하도록 구성될 수도 있다. 디스플레이 (125) 는 LCD 또는 LED 스크린을 포함할 수도 있고, 터치 민감성 기술들을 구현할 수도 있다.

디바이스 프로세서 (160) 는 데이터, 예를 들어, 캡쳐된 이미지들을 표현하는 데이터, 이미지 정렬 데이터, 및 강도 값 데이터 등을 스토리지 모듈 (110) 에 기록할 수도 있다. 스토리지 모듈 (110) 은 종래의 디스크 디바이스로서 그래픽적으로 표현되어 있지만, 당해 기술분야의 기술자들은 스토리지 모듈 (110) 이 임의의 저장 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 스토리지 모듈 (110) 은, 디스크 드라이브, 예컨대 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 광자기 디스크 드라이브, 또는 플래시 메모리, RAM, ROM 및/또는 EEPROM과 같은 고체 상태 메모리를 포함할 수도 있다. 스토리지 모듈 (110) 은 또한 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중의 임의의 하나는 이미지 캡쳐 디바이스 (100) 내에 있도록 구성될 수도 있으며, 이미지 캡쳐 디바이스 (100) 의 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (110) 은 이미지 캡쳐 디바이스 (100) 내에 저장된 시스템 프로그램 명령들을 내포하는 ROM 메모리를 포함할 수도 있다. 스토리지 모듈 (110) 은 또한 카메라로부터 탈착가능할 수도 있는 캡쳐된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.

도 1은 프로세서, 이미지 센서, 및 메모리를 포함하기 위해 별개의 컴포넌트들을 갖는 디바이스를 묘사하지만, 당해 기술분야의 기술자는 이들 별개의 컴포넌트들이 특정 설계 목적들을 달성하기 위해 각종 방식들로 조합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안적 실시형태에서, 메모리 컴포넌트들은 비용을 절약하고 성능을 개선하기 위해 프로세서 컴포넌트들로 조합될 수도 있다. 추가적으로, 도 1은 몇개의 모듈들을 포함하는 메모리 컴포넌트 (130) 및 별개의 작업 메모리 (105) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 다른 실시형태들은 상이한 메모리 아키텍처들을 활용할 수도 있다. 예를 들어, 설계는 메모리 (130) 에 내포된 모듈들을 구현하는 프로세서 명령들의 스토리지를 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (120) 에 의한 실행을 촉진하도록 RAM에 로딩될 수도 있다. 예를 들어, 작업 메모리 (105) 는, 프로세서 (120) 에 의한 실행 전에 명령들이 작업 메모리 (105) 로 로딩되는, RAM 메모리를 포함할 수도 있다.

국부적 강도 등화를 이용한 예시적인 스테레오 이미지 생성의 개요

도 2는, 이미지 캡쳐 스테이지 (240), 이미지 프로세싱 스테이지 (245), 및 스테레오 매칭 스테이지 (250) 를 포함하는, 국부적 강도 등화를 이용한 스테레오 이미지를 생성하기 위한 스테이지들을 실행하기 위해 사용될 수 있는 모듈들의 실시형태의 블록도를 도시한다.

이미지 캡쳐 스테이지 (240) 에서, 이미지 데이터 A (205) 및 이미지 데이터 B (210) 는, 단일 이미지 장면 (예를 들어, 동일한 시간에 또는 상이한 시간에 획득된 단일 이미지 장면의 동일한 것 또는 그 일부) 의, 또는 (동일한 시간에 또는 상이한 시간에 획득된) 이미지 장면의 적어도 일부 중첩하는 부분들의, 캡쳐된 이미지 정보를 묘사할 수도 있다. 이미지 데이터 A (205) 및 이미지 데이터 B (210) 각각은, 이미지에 포함된 픽셀들과 연관된 정보, 예를 들어 이미징 시스템에 의해 센싱된 바와 같은 픽셀들의 강도 또는 밝기 값 (또는 측정된 신호) 을 포함한다. 몇몇 실시형태에서, 이미지 데이터 A 및/또는 B에서의 픽셀은 또한 그것과 연관된 픽셀에 관련된 다른 정보, 예를 들어 컬러 또는 다른 이미지 특성에 관련된 정보를 가질 수도 있다.

위에서 논의된 바와 같이, 이미지 데이터 A (205) 및 이미지 데이터 B (210) 는, 비대칭적 센서들을 이용하여, 또는 변하는 조도를 갖는 단일 센서에 의해 캡쳐될 수도 있으며, 이로 인해 그 이미지들 내의 키포인트 피처들에서의 국부적 강도 변이들이 발생한다. 이미지 데이터 A (205) 및 이미지 데이터 B (210) 는 약간 상이한 관점들로부터 획득될 수도 있으며 일 실시형태에서 입체 이미지를 구축 (construct) 하는데 사용될 수도 있다. 다른 실시형태에서, 이미지 데이터 A (205) 및 이미지 데이터 B (210) 는, 광 스펙트럼의 상이한 부분들로부터 일 수도 있고, 멀티스펙트럼 이미지를 구축하는데 또는 다른 멀티스펙트럼 이미징 애플리케이션들을 위해 사용될 수도 있다.

이미지 프로세싱 스테이지 (245) 에서, 캡쳐된 이미지 데이터 A (205) 및 이미지 데이터 B (210) 는, 이미지 데이터 내의 키포인트 피처들에서의 정확한 영역 매칭을 가능하게 하기 위해 국부적 강도 등화를 이용하여 프로세싱될 수 있다. 예를 들어, 이미지 프로세싱 스테이지 (245) 는, 키포인트들에 대한 특유의 피처들을 결정하도록 구성된 (또는 명령들을 포함하는) 피처 검출 모듈 (215) 을 구현할 수 있다. 특유의 피처들은 이미지 데이터 A (205) 및 이미지 데이터 B (210) 각각으로부터 추출될 수 있다. 그러한 피처들은 고도의 정확성을 갖고서 매칭될 수 있는 이미지들에서의 포인트들에 대응할 수 있다. 예를 들어, 특유의 피처들은, 주위의 픽셀 영역들에 비교되는 사이즈, 형상, 디멘션, 밝기 또는 컬러를 포함하나 이에 한정되지 않는 특성들에서 차이가 나는, 에지들 또는 라인들, 코너들, 리지들, 또는 블롭들의 존재에 의해 적어도 부분적으로 특성화될 수도 있다. 위에서 논의된 바와 같이, 그러한 키포인트 피처들은, 임의의 알려진 피처 검출 기법, 예를 들어, 몇몇을 들자면, 제곱차의 합 (sum of squared differences), LoG (Laplacian of Gaussian), DoG (difference of Gaussian), 및 DoH (determinant of the Hessian) 에 의해 식별될 수 있다.

이미지 프로세싱 스테이지 (245) 은 또한, 식별된 키포인트들에 기초하여 이미지 데이터 A (205) 및 이미지 데이터 B (210) 를 픽셀 블록들을 포함하는 영역들로 파티셔닝하도록 구성되는 (또는 명령들을 포함하는) 키 영역 결정 모듈 (220) 을 구현할 수 있다. 영역 사이즈는 개개의 이미지 캡쳐 시스템들의 광학적 그리고 이미징 파라미터들로부터 결정될 수도 있다. 블록 사이즈는, 국부적 변이들을 캡쳐하고 키포인트 피처들을 포함할 만큼 충분히 작을 수 있고, 국부적 강도 확률 밀도 함수들을 충분히 샘플링 (sample) 할 만큼 충분히 클 수 있다. 몇몇 실시형태들에서, 이미지를 4, 8, 및 16 블록들로 분할하는 것은 등화된 블록들을 이용한 영역 매칭의 양호한 성능으로 귀결될 수 있다. 몇몇 실시형태들은 키포인트 피처들에 기초하여 적응적으로 블록들을 사이징 할 수 있으며, 강도-등화된 그리고 적응적으로 사이징된 블록들을 이용하여 영역 매칭에서 수행 이득들을 달성할 수도 있다. 예를 들어, 픽셀 블록 위치, 형상, 및 사이즈는 식별된 키포인트들의 위치, 형상, 및 사이즈에 기초하여 결정될 수 있다. 몇몇 입체적 정렬 애플리케이션들과 같은 몇몇 실시형태들에서, 픽셀 블록 사이즈는 불일치 값 보다 크고 롤-오프 변이 값 보다 작은 범위 내 일 수 있다. 키 영역 결정 모듈 (220) 은 또한, 동일한 키포인트 피처를 묘사하는 픽셀 블록들의 쌍들을 식별하기 위해, 이미지 데이터 A (205) 및 이미지 데이터 B (210) 의 영역들 사이에서의 일반적 대응을 결정하는 사용될 수 있다.

이미지 프로세싱 스테이지 (245) 는 또한 각각의 영역들의 히스토그램들을 생성하고 분석하도록 구성된 (또는 명령들을 포함하는) 국부적 강도 등화 모듈 (225) 을 구현할 수 있다. 국부적 강도 등화 모듈 (225) 은, 예를 들어 히스토그램 분석에 적어도 부분적으로 기초하여, 이미지 데이터 A 및 이미지 데이터 B에서의 대응 영역들의 쌍에 대한 강도 등화 함수를 생성할 수 있다. 일 실시형태에서, 국부적 강도를 등화시키기 위해, 각 블록의 확률 질량 함수 (PMF) 가 결정될 수 있으며, PMF에서의 질량은 누적 질량 함수 (CMF) 를 연산하기 위해 합산될 수 있으며, CMF는 제 1 이미지에서의 픽셀들로부터의 강도 값을 제 2 이미지에서의 픽셀들에 맵핑하는데 사용될 수 있다. 이에 따라, 대응 영역들 사이에서의 강도 등화는 영역들 내에서의 키포인트들의 강도 구조로서 설명한다.

스테레오 매칭 스테이지 (250) 는, 영역 매칭을 이용하여 이미지들을 정렬하고 대응하는 키포인트들을 이용하여 깊이 맵을 구축하기 위해, 적응형 국부적 강도 등화에 의해 생성된 데이터를 이용한 입체 깊이 맵 구축의 일 실시형태를 도시한다. 영역 매칭 모듈 (230) 에서, 강도 등화된 이미지 데이터 A 및 이미지 데이터 B는, 이미지 데이터 A와 이미지 데이터 B 사이에서 키포인트들에서의 대응하는 픽셀들을 결정하는데 사용될 수 있다. 피처들은 상이한 위치들, 방위 (orientation) 들, 및 스케일로 나타날 수 있기 때문에, 강도-매칭된 영역 데이터는, 대응하는 키포인트들 사이에서의 정확한 기하학적 변환 (geometric translation) 을 결정하는데 사용된다. 깊이 맵 구축 모듈 (235) 은, 이미지들에서의 대응하는 키포인트들의 위치들 사이의 거리에 기초하여 결정된 불일치 값에 기초하여 각각의 픽셀의 깊이 레벨을 결정할 수 있다. 예를 들어, 이미지 데이터 A 에서의 키포인트와 이미지 데이터 B 에서의 대응하는 키포인트 사이의 기하학적 변환은, 매칭된 키포인트들을 이용하여 추정될 수 있으며, 키포인트를 표현하는 픽셀들에 대한 깊이 값들을 결정하기 위해 사용될 수 있다. 도시되지 않았지만, 입체 이미지 생성의 몇몇 실시형태들은, 구축된 깊이 맵을 이용하여 입체 이미지를 생성하기 위해 사용될 수도 있는 강도-등화된 이미지들을 사용할 수 있다. 다른 실시형태들에서, 원래 이미지들이, 구축된 깊이 맵을 이용하여 입체 이미지를 생성하기 위해 사용될 수도 있다.

예시적인 등화 모듈의 개요

도 3은, 2 이상의 이미지들을 포함하는 이미지 데이터에 관해 본원에서 논의되는 국부적 강도 등화 기법들을 수행하기 위해 사용될 수 있는 등화 모듈 (300) 의 일 실시형태의 블록도를 도시한다. 몇몇 실시형태들에서, 등화 모듈 (300) 은 위에서 논의된 디바이스 (100) 의 히스토그램 모듈 (144) 로 통합될 수 있다.

도시된 실시형태에서, 이미지 A (305) 를 표현하는 데이터가 제 1 이미지 센서로부터 수신될 수 있고, 이미지 B (310) 를 표현하는 데이터가 제 2 이미지 센서로부터 수신될 수 있으며, 여기서 제 1 이미지 센서 및 제 2 이미지 센서는 비대칭적이다. 이에 따라, 이미지 A (305) 및 이미지 B (310) 는, 국부적 강도 값들, 예를 들어 키포인트 피처들에서의 그리고 키포인트 피처들 주위에서의 픽셀 강도 값들에서 변이를 가질 수 있다. 묘사된 실시형태가 2 개의 이미지들의 국부적 강도 값들을 등화시키도록 구현되어 있지만, 다른 실시형태들에서는 3 개 이상의 이미지들이 등화 모듈 (300) 에 전송될 수 있다. 3 개 이상의 이미지들 사이에서의 강도를 등화시키는 몇몇 실시형태들에서, 하나의 이미지가, 다른 이미지들의 강도 값들을 기준 이미지의 강도 값들에 매칭시키기 위한 기준으로서 식별될 수 있다. 몇몇 실시형태들에서, 제 1 이미지 센서 및 제 2 이미지 센서는 비대칭적이 아니다.

이미지 A는, K 개의 픽셀 블록들의 영역들로 파티셔닝되기 위해 파티셔닝 모듈 A (315) 에서 수신될 수 있다. 이미지 B는, 동일한 개수인 K 개의 픽셀 블록들의 영역들로 파티셔닝되기 위해 파티셔닝 모듈 B (320) 에서 수신될 수 있다. 위에서 논의된 바와 같이, 몇몇 실시형태들에서 픽셀 블록들의 개수, 사이즈, 위치, 및 형상은 이미지 A 및 이미지 B 에서의 키포인트들의 식별에 기초할 수 있다. 몇몇 실시형태들에서, 이미지들은 미리결정된 블록 개수 및 구성에 따라 파티셔닝될 수 있다.

파티셔닝된 이미지 데이터 A는 히스토그램 분석 모듈 A (325) 에서 수신될 수 있으며, 파티셔닝된 이미지 데이터 B는 히스토그램 분석 모듈 B (330) 에서 수신될 수 있다. 별개의 모듈들로서 묘사되었지만, 몇몇 실시형태들에서는 히스토그램 분석 모듈 A 및 히스토그램 분석 모듈 B는 단일 모듈로서 구현될 수 있다. 각각의 이미지 A 및 이미지 B 에서의 K 개의 블록들 중의 각각의 블록에 대해, 히스토그램 분석 모듈 A 및 히스토그램 분석 모듈 B는, 1 부터 K까지의 i 값들에 대해 그리고 블록 당 엘리먼트들의 전체 수 N 에 의해 나누어지는 레벨 j 에 대한 값들에 대한 수인 j = 0,1..255에 대해,

를 연산할 수 있다. 이에 따라, h _i 는 블록의 확률 질량 함수 (PMF) 이다. 이것은, 영역 내의 공간적 구조 컨텐츠에 관한 정보를 주는 블록에서 발생하는 레벨 j의 가능성을 지시한다.

등화 함수 H ₁ 는, 히스토그램 분석 모듈 A (325) 에 의해 출력된 히스토그램에 대해 등화 모듈 A (335) 에 의해 결정될 수 있다. 예를 들어, 등화 모듈 A (335) 는, 누적 질량 함수 (CMF) 를 연산하기 위해,

에 따라 PMF에서의 질량을 합산할 수 있다. 등화 모듈 B (340) 는 히스토그램 분석 모듈 B (330) 에 의해 출력된 히스토그램에 대해 유사한 함수 H ₂ 를 연산할 수 있다. CMF는, 예를 들어 키포인트 피처 구조들에 기인하여, 블록 내에서의 공간적 강도 값들이 어떻게 변하는지를 지시할 수 있다.

강도 매칭 모듈 (345) 은, 등화 모듈들 A 및 B에 의해 결정된 누적 질량 함수들에 기초하여 이미지 A 및 이미지 B의 강도들 사이에서의 공간적 맵핑을 수행할 수 있다. 몇몇 실시형태들에서, 일단 모든 블록들 및 모든 센서들에 대한 CMF들이 결정되었으면, 등화 함수가,

에 따라 적용될 수 있다. 이것은, 이미지 B가 이미지 A의 히스토그램과 밀접하게 유사하거나 이미지 A의 히스토그램에 매칭되는 히스토그램을 갖기 위해 변형되도록, 이미지 B에서의 강도 값들을 이미지 A에서의 강도 값들에 맵핑할 수 있다. 결과적으로, 그 영역들은, 매우 유사하게 보일 수도 있으며, 그것들이 비대칭적 센서들에 의해 생성되었더라도 일련의 프로세싱에 의해 각각의 이미지에서의 대응하는 영역들로서 식별될 수 있다. 그로 인한 강도 매칭된 이미지들 A 및 B는,

에 따라 표현될 수 있다.

몇몇 실시형태들에서, 이미지 B의 픽셀들에 대한 새로운 강도 값들을 결정하기 위해, 매칭 모듈은 겹선형 히스토그램 보간을 수행할 수 있다. 예를 들어, 각각의 픽셀에 대해, 4 개의 새로운 루마 값 (luma value) 들이, 로딩된 히스토그램들로부터의 테이블 탐색 (lookup) 에 의해 결정될 수 있다. 그 후 타겟 픽셀에 대한 새로운 루마 값은, 이웃하는 히스토그램 정보로부터 등화된 픽셀 값을 생성하기 위해, 예를 들어 겹선형적으로 (bilinearly), 적합한 보간 기법에 의해 결정될 수도 있다.

예시적인 국부적 강도 등화 프로세스의 개요

도 4는 국부적 강도 등화 프로세스 (400) 의 일 실시형태를 도시한다. 몇몇 실시형태들에서, 프로세스 (400) 의 블록들 (405-425) 는 위에서 논의된 등화 모듈 (300) 또는 디바이스 (100) 의 히스토그램 모듈 (144) 에 의해 실행될 수 있다. 몇몇 실시형태들에서 매칭 모듈 (146) 이 프로세스 (400) 의 블록 (430) 을 수행하기 위해 사용될 수 있다.

블록 (405) 에서, 등화 모듈 (300) 은 비대칭적 센서들에 의해 캡쳐된 적어도 제 1 이미지 및 제 2 이미지의 이미지 데이터를 수신할 수 있다. 이에 따라, 제 1 이미지 및 제 2 이미지는, 다른 위치들 중에서, 키포인트 영역들에서 또는 키포인트 영역들 주위에서 국부적 강도 변이들을 나타낼 수 있다.

블록 (410) 에서, 파티셔닝 모듈들 A 및 B (그리고, 몇몇 실시형태들에서, 제 3, 제 4, 또는 그 이상의 이미지들에 대응하는 도시되지 않은 추가적인 파티셔닝 모듈들) 는, 정확하게 매칭될 수 있는 구조들에 대응하는 제 1 및 제 2 이미지들에서의 키포인트들을 식별할 수 있다. 키포인트들은, 주위의 픽셀 영역들에 비교되는 밝기 또는 컬러와 같은 특성들에서 차이가 나는, 에지들 또는 라인들, 코너들, 리지들, 또는 블롭들의 존재에 의해 적어도 부분적으로 특성화될 수도 있다. 그러나 국부적 강도 변이에 기인하여, 제 1 이미지 및 제 2 이미지 내의 대응하는 키포인트 피처들에서의 강도 값들은 상이할 수 있다.

블록 (415) 에서, 파티셔닝 모듈들 A 및 B는 제 1 이미지 및 제 2 이미지를, 픽셀 블록들을 포함하는 다수의 영역들로 파티셔닝할 수 있다. 몇몇 실시형태들에서, 제 1 이미지 및 제 2 이미지는 동등한 개수들의 블록들로 파티셔닝될 수 있다. 몇몇 실시형태들에서, 픽셀 블록 개수, 위치, 사이즈, 및 형상은 블록 (410) 에서 식별된 키포인트들에 적어도 부분적으로 기초할 수 있다.

블록 (420) 에서, 파티셔닝 모듈 A (315) 및 파티셔닝 모듈 B (320) (도 3) 는 제 1 이미지와 제 2 이미지 사이의 블록 대 블록 대응을 결정할 수 있다. 블록 대 블록 대응은, 제 1 이미지에 포함된 쌍에서의 하나의 블록과 제 2 이미지에 포함된 그 쌍에서의 하나의 블록을 갖는 블록들 쌍이 타겟 이미지 장면으로부터 동일한 키포인트 피처를 묘사한다고 일반적으로 지시할 수 있다. 블록 대 블록 대응은 키포인트 피처들 주위에서 국부적 강도 분석 및 등화를 가능하게 할 수 있다.

블록 (425) 에서, 등화 모듈 (300) 은, 제 1 이미지 및 제 2 이미지 내의 블록들의 일부 또는 전부에서의 픽셀들에 대한 국부적 강도 값들을 등화시킬 수 있다. 예를 들어, 위에서 논의된 바와 같이, 히스토그램 모듈 A (325) 및 히스토그램 모듈 B (330) 는 제 1 이미지 및 제 2 이미지 양자에서의 각각의 블록에 대해 PMF를 연산할 수 있다. 등화 모듈 A (335) 및 등화 모듈 B (340) 는 CMF를 계산하기 위해 PMF에서의 질량을 합산함으로써 등화 함수를 연산할 수 있다. 대응하는 블록들의 각각의 쌍에 대한 CMF 함수들을 이용하여, 강도 매칭 모듈 (345) 은, 키포인트 피처들의 구조를 보존하면서 제 1 이미지의 강도 값들을 매칭하거나 근사화 하도록 제 2 이미지의 강도 값들을 맵핑하기 위해 겹선형 보간을 수행할 수 있다.

블록 (430) 에서, 매칭 모듈 (146) 은, 이미지 데이터에 적용되는 적응형 국부적 강도 등화를 갖는 제 1 이미지 및 제 2 이미지의 데이터를 수신할 수 있다. 매칭 모듈 (146) 은 영역 매칭을 수행하기 위해 그리고 키포인트 피처들에서의 픽셀들 사이에서의 대응들 및 변환들을 결정하기 위해 이 데이터를 이용할 수 있다.

예시적인 결과 비교

도 5A 및 도 5B는 종래의 영역 매칭 및 국부적 강도 등화 프로세스의 실시형태를 포함하는 영역 매칭의 평균 제곱 에러 결과들의 비교를 도시한다.

도 5A는 국부적 강도 값들에 대해 매칭되지 않은, 제 1 이미지 (505) 와 제 2 이미지 (510) 사이의 영역 매칭에 대한 종래의 접근법을 표현한다. 그러한 접근법은 높은 평균 제곱 에러 (515) 를 생성할 수 있다. 예를 들어, 이미지들 (505, 510) 에서의 키포인트들 사이에서의 대응들은 강도 분포의 최소 평균 제곱 에러를 결정하는 것에 기초할 수 있다. 키포인트들 주위의 미스매칭된 (mismatched) 국부적 강도 값들에 기이하여, 최소 평균 제곱 에러는 매칭 에러들 때문에 이미지들 (505, 510) 사이에서의 부적절하거나 부정확한 정렬을 초래하기에 충분히 높을 수 있다. 이것은 부정확한 깊이 맵들, 낮은 시각적 품질 정렬 또는 입체 이미지들, 및 다른 바람직하지 않은 다운스트림 프로세싱 효과들에 이를 수 있다.

도 5B는 본원에서 기술된 영역 매칭에 대한 등화된 접근법을 표현하며, 여기서 제 1 이미지 (505) 및 제 2 이미지 (510) 는 블록 (520) 에서 국부적 강도 등화 프로세싱을 거친다. 결과적으로, 몇몇 실시형태들에서, 제 1 이미지 (505) 는, 히스토그램 매칭을 갖거나 제 2 이미지 (510) 의 히스토그램에 실질적으로 대응하는 강도-등화된 이미지 (525) 로 변형된다. 이것은 낮은 평균 제곱 에러 (530) 를 생성하여, 키포인트 피처들 사이에서의 적절한 정렬 및 입체 애플리케이션들에서의 정확한 깊이 맵의 구축에 이를 수 있다.

시스템들의 구현 및 용어

본원에서 개시된 구현형태들은 영역 매칭 기법들에서의 국부적 강도 등화를 위한 시스템들, 방법들 및 장치를 제공한다. 당해 기술분야의 기술자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.

몇몇 실시형태들에서, 위에서 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위해 사용되는 전자 디바이스의 일종 일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화들, 스마트폰들, 개인용 정보 단말기들 (PDA들), 이-리더 (e-reader) 들, 게임 시스템들, 음악 플레이어들, 네트북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.

무선 통신 디바이스는, 하나 이상의 이미지 센서들, 하나 이상의 이미지 신호 프로세서들, 및 위에서 논의된 국부적 강도 등화 기법들을 실시하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한, 데이터, 메모리로부터 명령들 및/또는 데이터를 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들, 및 전력 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 추가적으로 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버로서 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위한 하나 이상의 안테나들에 결합될 수도 있다.

무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말, 모바일 단말, 단말, 사용자 단말, 가입자 유닛 등으로서 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 전화들, 스마트폰들, 무선 모뎀들, 이-리더들, 태블릿 디바이스들, 게임 시스템들 등을 포함한다. 무선 통신 디바이스들은 3 세대 파트너십 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서 일반적 용어인 "무선 통신 디바이스"는 산업 표준들에 따라 각종 명명법으로 기술된 무선 통신 디바이스들 (예를 들어, 액세스 단말, 사용자 장비 (UE), 원격 단말 등) 을 포함할 수도 있다.

본원에서 기술된 기능들은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터-판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 의미한다. 비제한적인 예로서, 그러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 희밍하는 프로그램 코드를 저장하기 위해 사용될 수 있는 임의의 다른 매체를 포함할 수도 있다. 본원에서 이용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (compact disc; CD), 레이저 디스크 (laser disc), 광학 디스크 (optical disc), 디지털 다기능 디스크 (digital versatile disc; DVD), 플로피 디스크 (floppy disk) 및 블루레이® 디스크 (blu ray disc) 를 포함하고, 여기서, 디스크 (disk) 들은 통상 데이터를 자기적으로 재생하는 반면, 디스크 (disc) 들은 데이터를 레이저로 광학적으로 재생한다. 컴퓨터-판독가능 매체는 유형적 (tangible) 이고 비-일시적 (non-transitory) 일 수도 있다는 것이 유의되어야 한다. 용어 "컴퓨터-프로그램 제품"은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 연산 (compute) 될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 조합하는 컴퓨팅 디바이스 또는 프로세서를 의미한다. 본원에서 사용되는 바와 같이, 용어 "코드"는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 의미할 수도 있다.

소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 소프트웨어가, 웹사이트, 서버, 또는 동축 케이블, 광 섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 (digital subscriber line; DSL), 또는 적외선, 무선 (radio), 및 마이크로파와 같은 무선 기술들을 이용하는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광 섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의에 포함된다.

본원에서 개시된 방법들은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 행위들을 포함한다. 방법 단계들 및/또는 행위들은 본 청구항들의 범위를 이탈하지 않으면서 서로간에 교환될 수도 있다. 달리 말하면, 단계들 또는 행위들의 특정 순서가 기술되고 있는 방법의 적당한 동작을 위해 요구되지 않는다면, 특정 단계들 및/또는 행위들의 순서 및/또는 사용은 본 청구항들의 범위를 이탈하지 않으면서 변경될 수도 있다.

용어 "결합하다", "결합하는", "결합된" 또는 본원에서 사용되는 바와 같은 단어 결합의 다른 변이들은, 간접적인 접속 또는 직접적인 접속 중 어느 하나를 지시할 수도 있다는 것이 유의된다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "결합되는" 경우, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 제 2 컴포너트에 직접적으로 접속되는 것 중의 어느 하나 일 수도 있다. 본원에서 사용되는 바와 같이 용어 "복수"는 둘 이상을 표시한다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 지시한다.

용어 "결정하는" 은 폭넓은 각종 행위들을 포함하며, 따라서, "결정하는"은 계산하는, 연산하는, 프로세싱하는, 유도하는, 조사하는, 탐색하는 (looking up) (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 탐색하는), 및 확인하는 등을 포함할 수 있다. 또한, "결정하는" 은 수신하는 (예를 들어, 정보를 수신하는), 및 액세스하는 (예를 들어, 메모리에서 데이터를 액세스하는) 등을 포함할 수 있다. 또한, "결정하는" 은 해결하는, 선택하는, 고르는, 및 확립하는 등을 포함할 수 있다.

문구 "~에 기초하여"는 달리 명백하게 특정되지 않았다면 "~에 유일하게 기초하여"를 의미하지 않는다. 달리 말하면, 문구 "~에 기초하여"는 "~에 유일하게 기초하여" 및 "~에 적어도 기초하여" 양쪽 모두를 기술한다.

앞선 설명에서, 구체적인 세부사항들은 예들의 철저한 이해를 제공하기 위해 주어진다. 그러나, 그 예들이 이들 구체적 세부사항들 없이 실시될 수도 있다고 당해 기술분야의 통상의 기술자 중의 하나에 의해 이해될 것이다. 예를 들어, 전기 컴포넌트들/디바이스들은, 불필요한 세부사항에서 예들을 불명료하게 하지 않도록 블록도들로 나타날 수도 있다. 다른 예시들에서, 그러한 컴포넌트들, 다른 구조들 및 기법들이 예들을 추가적으로 설명하기 위해 상세히 나타날 수도 있다.

표제 (heading) 들이 참조를 위해 그리고 각종 섹션들의 위치를 나타내기 위해 본원에서 포함된다. 이들 표제들은 그것들에 관하여 설명된 개념들의 범위를 제한하려고 의도된 것은 아니다. 그러한 개념들은 전체 명세서 전반에 있어서 응용가능성을 가질 수도 있다.

예들은, 흐름도, 흐름 다이어그램, 유한 상태도, 구조도, 또는 블록도로서 묘사되는 프로세스로서 기술될 수도 있다는 것이 또한 유의된다. 흐름도가 순차적인 프로세스로서 동작들을 기술할 수도 있지만, 많은 동작들은 병행하여 또는 동시에 수행될 수 있고, 그 프로세스는 반복될 수 있다. 추가적으로, 동작들의 순서는 재-배열될 수도 있다. 프로세스는 그것의 동작들이 완료되는 경우 종결된다. 프로세스는 방법, 기능, 절차, 서브루틴 (subroutine), 서브프로그램 (subprogram) 등에 해당할 수도 있다. 프로세스가 소프트웨어 기능에 해당하는 경우, 그것의 종결은 그 기능을 호출 기능 또는 주 기능으로의 복귀에 해당한다.

개시된 구현형태들의 이전의 설명은 당해 기술분야의 임의의 기술자가 본 발명을 만들거나 사용하는 것을 가능하게 하도록 제공된다. 이들 구현형태들에 대한 여러 변경들이 당해 기술분야의 기술자들에게는 용이하게 분명할 것이며, 본원에서 정의된 일반 원리들은 본 발명의 사상 또는 범위로부터 일탈하지 않고 다른 구현형태들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 나타낸 구현형태들에 제한되도록 의도된 것이 아니라, 본원에서 개시된 원리들 및 신규한 특징들과 부합하는 가장 넓은 범위를 따르도록 하기 위한 것이다.

Claims (30)

1. 이미지 캡쳐 디바이스로서,
   제 1 이미지 센서;
   제 2 이미지 센서; 및
   이미지 프로세서를 포함하고,
   상기 이미지 프로세서는,
   상기 제 1 이미지 센서로부터의 제 1 이미지 및 상기 제 2 이미지 센서로부터의 제 2 이미지를 포함하는 이미지 데이터를 수신하는 것으로서, 상기 제 1 이미지 및 상기 제 2 이미지는 이미지 장면의 적어도 일부를 묘사하고 서로에 대한 국부적 강도 변이 (local intensity variation) 를 나타내는, 상기 이미지 데이터를 수신하고,
   상기 제 1 이미지를 복수의 제 1 블록들로 파티셔닝하고,
   상기 제 2 이미지를 픽셀들의 복수의 제 2 블록들로 파티셔닝하고,
   대응하는 블록들의 쌍을 결정하는 것으로서, 상기 대응하는 블록들의 쌍은 상기 복수의 제 1 블록들 중의 식별된 제 1 블록 및 상기 복수의 제 2 블록들 중의 식별된 제 2 블록을 포함하는, 상기 대응하는 블록들의 쌍을 결정하고, 그리고
   상기 식별된 제 1 블록 및 상기 식별된 제 2 블록에 포함된 픽셀들에 대한 등화된 국부적 강도 값들을 생성하도록
   구성되는, 이미지 캡쳐 디바이스.
2. 제 1 항에 있어서,
   상기 제 1 이미지 센서는 제 1 강도 응답을 가지며, 상기 제 2 이미지 센서는 제 2 강도 응답을 가지며, 상기 제 1 강도 응답은 상기 제 2 강도 응답과 상이한, 이미지 캡쳐 디바이스.
3. 제 1 항에 있어서,
   상기 국부적 강도 변이를 나타내는 상기 제 1 이미지 및 상기 제 2 이미지는, NIR 이미지를 포함하는 상기 제 1 이미지 및 RGB 이미지를 포함하는 상기 제 2 이미지에 적어도 부분적으로 기초하는, 이미지 캡쳐 디바이스.
4. 제 1 항에 있어서,
   상기 국부적 강도 변이를 나타내는 상기 제 1 이미지 및 상기 제 2 이미지는, 상기 제 1 이미지의 캡쳐 동안 상기 이미지 장면의 제 1 조명 상태가 상기 제 2 이미지의 캡쳐 동안 상기 이미지 장면의 제 2 조명 상태와 상이한 것에 적어도 부분적으로 기초하는, 이미지 캡쳐 디바이스.
5. 제 1 항에 있어서,
   상기 식별된 제 1 블록 및 상기 식별된 제 2 블록에 포함된 픽셀들에 대한 상기 등화된 국부적 강도 값들에 적어도 부분적으로 기초하여 영역 매칭을 수행하도록 상기 이미지 프로세서를 구성하는 명령들을 포함하는 매칭 모듈을 더 포함하는, 이미지 캡쳐 디바이스.
6. 제 5 항에 있어서,
   상기 영역 매칭의 결과에 적어도 부분적으로 기초하여 깊이 맵 (depth map) 을 생성하도록 상기 이미지 프로세서를 구성하는 명령들을 포함하는 깊이 맵 구축 모듈을 더 포함하는, 이미지 캡쳐 디바이스.
7. 제 1 항에 있어서,
   상기 제 1 이미지에서의 복수의 키포인트들을 식별하고 상기 제 2 이미지에서의 복수의 키포인트들을 식별하도록 상기 이미지 프로세서를 구성하는 명령들을 포함하는 피처 검출 모듈을 더 포함하는, 이미지 캡쳐 디바이스.
8. 제 7 항에 있어서,
   상기 제 1 이미지에서의 상기 복수의 키포인트들에 적어도 부분적으로 기초하여 상기 제 1 이미지를 파티셔닝하고 상기 제 2 이미지에서의 상기 복수의 키포인트들에 적어도 부분적으로 기초하여 상기 제 2 이미지를 파티셔닝하도록 상기 이미지 프로세서를 구성하는 명령들을 포함하는 키 영역 결정 모듈을 더 포함하는, 이미지 캡쳐 디바이스.
9. 제 1 항에 있어서,
   상기 제 1 이미지 센서 및 상기 제 2 이미지 센서는 입체 이미징 시스템 또는 멀티스펙트럼 이미징 시스템 중의 하나의 적어도 일부로서 구성되는, 이미지 캡쳐 디바이스.
10. 이미지들의 집합을 프로세싱하기 위한 방법으로서,
    이미지 장면의 제 1 이미지를 표현하는 이미지 데이터를 수신하는 단계;
    상기 이미지 장면의 적어도 일부인 제 2 이미지를 표현하는 이미지 데이터를 수신하는 단계로서, 상기 제 2 이미지는 상기 제 1 이미지의 국부적 강도 값들에 대하여 국부적 강도 값들에서의 변이들을 나타내는, 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하는 단계;
    상기 제 1 이미지 및 상기 제 2 이미지 각각을 픽셀들의 복수의 블록들로 파티셔닝하는 단계;
    대응하는 블록들의 쌍을 결정하는 단계로서, 상기 대응하는 블록들의 쌍은 상기 픽셀들의 복수의 블록들 중의 제 1 블록 및 상기 픽셀들의 복수의 블록들 중의 제 2 블록을 포함하고, 상기 제 1 블록은 상기 제 1 이미지를 표현하는 상기 이미지 데이터에 포함되고 상기 제 2 블록은 상기 제 2 이미지를 표현하는 상기 이미지 데이터에 포함되는, 상기 대응하는 블록들의 쌍을 결정하는 단계; 및
    상기 제 1 블록에 포함된 픽셀들 및 상기 제 2 블록에 포함된 픽셀들에 대한 등화된 국부적 강도 값들을 생성하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
11. 제 10 항에 있어서,
    비대칭적 센서들의 쌍으로부터 상기 제 1 이미지 및 상기 제 2 이미지를 수신하는 단계를 더 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
12. 제 10 항에 있어서,
    NIR 이미지 센서로부터 상기 제 1 이미지를 수신하고 RGB 이미지 센서로부터 상기 제 2 이미지를 수신하는 단계를 더 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
13. 제 10 항에 있어서,
    상기 등화된 국부적 강도 값들을 생성하는 단계는, 상기 제 1 블록 및 상기 제 2 블록 각각에 대한 확률 질량 함수 (probability mass function) 를 결정하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
14. 제 13 항에 있어서,
    상기 등화된 국부적 강도 값들을 생성하는 단계는, 상기 제 1 블록 및 상기 제 2 블록 각각에 대한 누적 질량 함수 (cumulative mass function) 를 연산하기 위해 상기 제 1 블록 및 상기 제 2 블록 각각에 대한 상기 확률 질량 함수에서의 질량 값들을 합산하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
15. 제 14 항에 있어서,
    상기 등화된 국부적 강도 값들을 생성하는 단계는, 상기 제 1 블록에서의 픽셀들의 강도 값들의 상기 제 2 블록에서의 픽셀들의 강도 값들로의 맵핑을 생성하기 위해 상기 제 1 블록 및 상기 제 2 블록 각각에 대한 연산된 상기 누적 질량 함수를 이용하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
16. 제 15 항에 있어서,
    상기 등화된 국부적 강도 값들을 생성하는 단계는, 상기 제 1 블록에서의 상기 픽셀들의 각각에 대하여 새로운 루마 값 (luma value) 을 생성하기 위해 상기 강도 값들의 맵핑에 관하여 겹선형 보간 (bilinear interpolation) 을 수행하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
17. 제 10 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지 각각에서의 복수의 키포인트들을 식별하는 단계를 더 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
18. 제 17 항에 있어서,
    상기 제 1 이미지 및 상기 제 2 이미지 각각을 픽셀의 복수의 블록들로 파티셔닝하는 단계는, 상기 복수의 키포인트들의 위치, 사이즈, 형상, 및 개수 중의 하나 이상에 적어도 부분적으로 기초하는, 이미지들의 집합을 프로세싱하기 위한 방법.
19. 제 18 항에 있어서,
    상기 대응하는 블록들의 쌍을 결정하는 단계는 상기 제 1 블록 및 상기 제 2 블록이 상기 복수의 키포인트들 중의 동일한 키포인트를 묘사한다고 결정하는 단계를 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
20. 제 10 항에 있어서,
    상기 등화된 국부적 강도 값들에 적어도 부분적으로 기초하여 영역 매칭을 수행하는 단계를 더 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
21. 제 20 항에 있어서,
    상기 영역 매칭의 결과에 적어도 부분적으로 기초하여 깊이 맵을 구축하는 단계를 더 포함하는, 이미지들의 집합을 프로세싱하기 위한 방법.
22. 명령들을 저장하는 비-일시적 컴퓨터-판독가능 매체로서,
    상기 명령들은, 실행되는 경우, 이미지 프로세서로 하여금,
    제 1 이미지 센서 및 제 2 이미지 센서에 의해 캡쳐된 2 이상의 이미지들을 표현하는 이미지 데이터를 수신하는 것;
    상기 2 이상의 이미지들 각각을 픽셀들의 복수의 블록들로 파티셔닝하는 것;
    대응하는 블록들의 쌍을 결정하는 것으로서, 상기 대응하는 블록들의 쌍은 상기 픽셀들의 복수의 블록들 중의 제 1 블록 및 상기 픽셀들의 복수의 블록들 중의 제 2 블록을 포함하고, 상기 제 1 블록은 상기 2 이상의 이미지들 중의 제 1 이미지에 포함되고 상기 제 2 블록은 상기 2 이상의 이미지들 중의 제 2 이미지에 포함되는, 상기 대응하는 블록들의 쌍을 결정하는 것; 및
    상기 제 1 블록에 포함된 픽셀들 및 상기 제 2 블록에 포함된 픽셀들에 대한 등화된 강도 값들을 생성하는 것
    을 포함하는 동작들을 수행하게 하는, 비-일시적 컴퓨터-판독가능 매체.
23. 제 22 항에 있어서,
    상기 동작들은, 상기 제 1 이미지 및 상기 제 2 이미지 각각에서 복수의 키포인트들을 식별하는 것을 더 포함하는, 비-일시적 컴퓨터-판독가능 매체.
24. 제 22 항에 있어서,
    상기 동작들은, 상기 등화된 강도 값들에 적어도 부분적으로 기초하여 영역 매칭을 수행하는 것을 더 포함하는, 비-일시적 컴퓨터-판독가능 매체.
25. 제 24 항에 있어서,
    상기 동작들은, 상기 영역 매칭의 결과에 적어도 부분적으로 기초하여 입체 깊이 맵을 구축하는 것을 더 포함하는, 비-일시적 컴퓨터-판독가능 매체.
26. 이미징 장치로서,
    이미지 장면의 제 1 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단;
    상기 이미지 장면의 적어도 일부의 제 2 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단으로서, 상기 제 2 이미지는 상기 제 1 이미지의 국부적 강도 값들에 대하여 국부적 강도 값들에서의 변이들을 나타내는, 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단;
    상기 제 1 이미지 및 상기 제 2 이미지 각각을 픽셀들의 복수의 블록들로 파티셔닝하기 위한 수단;
    대응하는 블록들의 쌍을 결정하기 위한 수단으로서, 상기 대응하는 블록들의 쌍은 상기 픽셀들의 복수의 블록들 중의 제 1 블록 및 상기 픽셀들의 복수의 블록들 중의 제 2 블록을 포함하고, 상기 제 1 블록은 상기 제 1 이미지를 표현하는 상기 이미지 데이터에 포함되고 상기 제 2 블록은 상기 제 2 이미지를 표현하는 상기 이미지 데이터에 포함되는, 상기 대응하는 블록들의 쌍을 결정하기 위한 수단; 및
    상기 제 1 블록에 포함된 픽셀들 및 상기 제 2 블록에 포함된 픽셀들에 대한 등화된 국부적 강도 값들을 생성하기 위한 수단을 포함하는, 이미징 장치.
27. 제 26 항에 있어서,
    상기 제 1 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단은 NIR 센서를 포함하고, 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단은 RGB 센서를 포함하는, 이미징 장치.
28. 제 26 항에 있어서,
    상기 제 1 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단 및 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단은 비대칭적 이미지 센서들의 쌍을 포함하는, 이미징 장치.
29. 제 26 항에 있어서,
    상기 제 1 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단 및 상기 제 2 이미지를 표현하는 이미지 데이터를 수신하기 위한 수단은 단일의 이미지 센서를 포함하는, 이미징 장치.
30. 제 29 항에 있어서,
    상기 단일의 이미지 센서는 상이한 조명 상태들 하에서 상기 제 1 이미지 및 상기 제 2 이미지를 캡쳐하는, 이미징 장치.

Images