KR20140088606A - 멀티스펙트럼 이미징 시스템 - Google Patents

멀티스펙트럼 이미징 시스템 Download PDF

Info

Publication number
KR20140088606A
KR20140088606A KR1020147015036A KR20147015036A KR20140088606A KR 20140088606 A KR20140088606 A KR 20140088606A KR 1020147015036 A KR1020147015036 A KR 1020147015036A KR 20147015036 A KR20147015036 A KR 20147015036A KR 20140088606 A KR20140088606 A KR 20140088606A
Authority
KR
South Korea
Prior art keywords
image
nir
visible
pixel
pixels
Prior art date
Application number
KR1020147015036A
Other languages
English (en)
Other versions
KR101604249B1 (ko
Inventor
샤오펑 장
강 추
지라이 왕
샤오밍 저우
량 선
밀리보제 알렉식
선딥 바다디
샤오제 저우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140088606A publication Critical patent/KR20140088606A/ko
Application granted granted Critical
Publication of KR101604249B1 publication Critical patent/KR101604249B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

멀티스펙트럼 이미징을 위한 시스템 및 방법이 개시된다. 멀티스펙트럼 이미징 시스템은, 근적외 (NIR) 이미징 센서 및 가시 이미징 센서를 포함할 수 있다. 개시된 시스템 및 방법은 NIR 과 가시 이미지들 사이에 정렬을 향상시키도록 구현될 수 있다. NIR 및 가시 이미지들이 정렬되고 나면, 다양한 타입들의 멀티스펙트럼 프로세싱 기법들이 정렬된 이미지들에 대해 수행될 수도 있다.

Description

멀티스펙트럼 이미징 시스템{MULTISPECTRAL IMAGING SYSTEM}
본 개시는 멀티스펙트럼 이미징을 위한 시스템 및 방법에 관한 관한 것이다. 특히, 본 개시는 근적외 (NIR) 이미지와 가시 이미지를 정렬하기 위한 시스템 및 방법에 관한 것이다.
스마트폰 또는 태블릿 컴퓨팅 디바이스와 같은 모바일 디바이스들은 갈수록 더, 사용자에게 광 범위한 애플리케이션들을 제공하기 위하여 다수의 디바이스 및 소프트웨어 모듈들을 포함하도록 설계된다. 예를 들면, 카메라들은 모바일 디바이스들 상의 중요한 특징이 되고 있고, 모바일 디바이스에 설치된 카메라들의 기능성 및 이미지 품질 양자 모두를 향상시키기 위한 요구가 증가하고 있다. 예를 들면, 카메라들은, 품질 향상 목적으로 또는 개발되고 있는 새로운 특징들, 이를테면 입체 이미징 애플리케이션들을 위하여, 더 풍부한 이미지 정보를 캡쳐가능한 것이 바람직하다.
종래, 모바일 디바이스들 상의 카메라들은 스틸 이미지 (still imag) 또는 비디오 (video) 들을 가시 이미징 센서를 사용하여 캡쳐 (capture) 하는데 사용되었다. 향상된 컬러 품질 및 더 높은 SNR (signal-to-noise ratio) 을 달성하기 위하여, 이미징 센서들은 정상적으로 가시광 스펙트럼만을 캡쳐하도록 설계된다. 기술이 진보됨에 따라, 일부 포터블 전자 디바이스들은 또한 입체 이미지들을 캡쳐할 수 있다. 디바이스 제조업자들은, 단일 또는 다수의 디지털 이미징 센서들을 이용하여, 이 능력을 지원하기 위한 디지털 이미지 프로세싱을 통합하는 디바이스들을 도입함으로써 응답했다. 이동 무선 통신 디바이스들, 태블릿 컴퓨팅 디바이스들, PDA (personal digital assistant), 퍼스널 뮤직 시스템들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 컨퍼런싱 시스템 등을 포함하는 광범위한 전자 디바이스들은 입체 이미징 능력들을 이용하여 다양한 능력 (capability) 들 및 특징 (feature) 들을 그들의 사용자들에게 제공한다. 이들은 입체 (3D) 이미징 애플리케이션 이를테면 3D 사진 및 비디오들을 포함한다.
요약
하나의 구현에서, 근적외 (NIR) 이미징 센서와 가시 이미징 센서를 포함하는 시스템에서 NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법이 개시된다. 그 방법은, NIR 이미징 센서로부터 NIR 이미지를 수신하는 단계, 및 가시 이미징 센서로부터 가시 이미지를 수신하는 단계를 포함할 수 있다. 그 방법은, 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 가시 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매칭시키는 단계를 더 포함할 수 있다. 또한, 그 방법은, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 단계를 포함할 수 있다. 그 방법은 또한, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치 (weight) 를 할당할 수 있다. 그 방법은, 할당된 가중치에 적어도 부분적으로 기초하여 가시 이미지와 NIR 이미지를 정렬할 수 있다.
다른 구현에서, 멀티스펙트럼 이미징 시스템 (multispectral imaging system) 이 개시된다. 이미징 시스템은, 근적외 (NIR) 이미지를 캡쳐하도록 구성된 NIR 이미징 센서, 및 가시광 이미지를 캡쳐하도록 구성된 가시광 이미징 센서를 포함할 수 있다. 또한, 그 시스템은, 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 가시 광 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매칭시키도록 프로그램된 조밀 매칭 모듈 (dense matching module) 을 포함할 수 있다. 그 시스템은 또한, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하도록 프로그램된 희소 매칭 모듈 (sparse matching module) 을 포함할 수 있다. 그 희소 매칭 모듈은 또한, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하도록 프로그램될 수 있다. 정렬된 이미지 형성 모듈은, 할당된 가중치에 적어도 부분적으로 기초하여 가시 이미지와 NIR 이미지를 정렬하도록 프로그램될 수 있다. 저장 모듈은, 시스템 상의 정렬 이미지를 저장하도록 프로그램될 수 있다.
다른 구현에서, 이미징 시스템이 개시된다. 이미징 시스템은, NIR 이미징 센서로부터 NIR 이미지를 수신하는 수단, 및 가시 이미징 센서로부터 가시 이미지를 수신하는 수단을 포함할 수 있다. 그 시스템은 또한, 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 가시 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매칭시키는 수단을 포함할 수 있다. 또한, 시스템은, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티 (pixel disparity) 들을 산출하는 수단을 포함할 수도 있다. 그 시스템은 또한, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하는 수단을 포함할 수 있다. 그 시스템은 또한, 할당된 가중치에 적어도 부분적으로 기초하여 가시 이미지와 NIR 이미지를 정렬하는 수단을 포함할 수 있다.
또 다른 구현에서, 비일시적 컴퓨터 판독가능 매체가 개시된다. 비일시적 컴퓨터 판독가능 매체는, 실행될 때 컴퓨터 구현 방법을 수행하는 코드를 저장했을 수도 있다. 그 컴퓨터 구현 방법은, NIR 이미징 센서로부터 NIR 이미지를 수신하는 단계, 및 가시 이미징 센서로부터 가시 이미지를 수신하는 단계를 포함할 수 있다. 그 비일시적 컴퓨터 판독가능 매체 상에 저장된 코드는, 실행될 때, 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 가시 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매칭시키는 단계를 더 포함하는 방법을 수행할 수도 있다. 또한, 그 컴퓨터 구현 방법은, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 단계를 포함할 수도 있다. 그 비일시적 컴퓨터 판독가능 매체 상에 저장된 코드는, 실행될 때, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하는 단계를 더 포함하는 방법을 수행할 수도 있다. 그 컴퓨터 구현 방법은 또한, 할당된 가중치에 적어도 부분적으로 기초하여 가시 이미지와 NIR 이미지를 정렬하는 단계를 더 포함할 수도 있다.
본 명세서에 설명된 요지의 하나 이상의 구현들의 상세는 첨부 도면 및 아래의 설명에 제시된다. 다른 특징, 양태 및 이점들은 상세한 설명, 도면, 그리고 청구항들로부터 분명해질 것이다. 다음 도면들의 상대적인 치수들은 스케일 (scale) 대로 그려지지 않을 수도 있다는 점에 유의한다.
본 발명의 상세 구현들이 이제 다음의 도면들을 참조하여 설명되고, 이들 도면들은 비제한적인 예로써 제공된다.
도 1은 관심 장면의 멀티스펙트럼 이미지 데이터를 캡쳐하도록 구성된 멀티스펙트럼 이미징 시스템을 갖는 이동 디바이스의 하나의 실시형태의 사시도이다.
도 2는 하나의 구현에 따른 멀티스펙트럼 이미징 시스템의 개략 블록도이다.
도 3은 하나의 구현에 따라, 특정 장면의 멀티스펙트럼 이미지 데이터를 캡쳐하는 방법의 플로우차트이다.
도 4는 도 3의 구현에 따라, NIR 이미지 및 가시광 이미지를 정렬하기 위한 방법의 플로우차트이다.
도 5는 도 4의 구현에 따라, NIR 이미지에 있는 픽셀들과 가시광 이미지에 있는 픽셀들을 매칭하기 위한 방법의 플로우차트이다.
도 6a의 (6a-1), (6a-2), 도 6b의 (6b-1) 및 (6b-2) 는 도 2의 멀티스펙트럼 이미징 시스템에 의해 캡쳐된 2개의 이미지들을 보여주는 개략도들이다.
도 7은 도 4의 구현에 따라, 각 매칭된 픽셀 쌍에 가중치를 할당하기 위한 방법의 플로우차트이다.
도 8은 도 3의 구현에 따라, 이미지 데이터를 프로세싱하기 위한 방법의 플로우차트이다.
도 9a 내지 도 9c는 하나의 구현에 따른 이미지 정렬 프로세스의 다양한 스테이지들에서의 예시적인 이미지들이다.
여기에 개시된 구현들은, 2개의 상이한 타입의 이미징 센서들, 예를 들면, NIR 센서 및 가시광 센서를 사용하여 이미지들을 취하기 위한 시스템, 방법 및 장치를 제공한다. 이러한 타입의 멀티스펙트럼 이미징은, 예를 들면, 가시광 센서로만 캡쳐된 이미지보다 더 나은 콘트라스트를 갖는 이미지들을 생성하는데 유용할 수 있다. 하나의 실시형태에서, 가시광 센서에서 수신된 광은 장면의 풍부한 상세 (detail) 들을 전할 수 있는 한편, NIR 센서에 의해 캡쳐된 광은 이미지의 콘트라스트를 증대시키거나 또는 이미지 헤이즈 제거 (de-hazing) 을 수행하는데 사용될 수 있다. 예를 들면, NIR 이미지들 및 가시 이미지들은 평균 및 상세 웨이블릿 서브밴드들로 분해될 수도 있다. 밝기 및 텍스처 상세들은, 캡쳐된 가시광 이미지의 품질을 향상시키기 위한 히스토그램 매칭 기법을 사용하여 NIR 이미지로부터 가시 이미지로 옮겨질 수도 있다.
다른 실시형태는, 이미지를 향상시키기 위해 NIR 센서 및 가시광 센서를 사용하는 시스템이다. 이 실시형태에서, NIR 이미지로부터의 콘트라스트 및 텍스처 데이터가 가시 이미지로 가중 영역 마스크를 사용하여 옮겨지고, 웨이블릿 변환 (wavelet transform) 이 수행된다. 다음으로, 히스토그램 매칭 기법은, 가시 및 NIR 이미지들의 저주파수 서브밴드들을 사용하여 콘트라스트 데이터를 산출하는데 사용될 수 있다. 가시 및 NIR 이미지들 양자 모두의 고 주파수 서브밴드들이 텍스처 데이터를 계산하는데 사용된다. 물론, 당업자가 인식하는 바처럼, 이들 콘트라스트 및 텍스처 증대 방법들은, 멀티스펙트럼 이미징 시스템들에서 콘트라스트를 증대시키는 소수의 방법들일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
다른 실시형태에서, NIR 센서는 저조도 조건 (low light condition) 들에서 캡쳐된 이미지들을 향상시키는데 사용된다. 예를 들면, 종래 저조도 시스템들에서, 가시 플래시 시스템은 종종, 이미징될 오브젝트 (object) 들을 조명하는데 사용된다. 하지만, 그러한 인공 광이 이미지의 분위기 (ambience) 를 망칠 수도 있고, 적목, 바람직하지 않은 반사들, 및 쉐도우 (shadow) 들과 같은 원하지 않은 아티팩트 (artifact) 들을 도입할 수도 있다. 이 방법에서, NIR 플래시 램프가 가시 플래시 대신 사용되고 종래 가시 이미징 센서 (이를테면 RGB 컬러 CCD) 는 이미지를 캡쳐한다. NIR 플래시 이미지는 가시 플래시에서 처럼 노이즈로 오염되지 않고, NIR 플래시 이미지는 저 조명 (lighting) 조건들에 의해 야기된 가시 (예를 들면, RGB) 이미지로부터 노이즈를 제거하기 위하여 디노이징 기법 (이를테면 가중 최소 자승 스무딩 (weighted least squares smoothing) 기법) 과 함께 사용될 수도 있다. 물론, 당업자가 인식하는 바처럼, 이 노이즈 감소 방법은 이미징 시스템들에서 노이즈를 감소시키는 하나의 방법일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
또 다른 실시형태들에서, 개시된 하이브리드 이미징 시스템은 스킨 스무딩 애플리케이션 (skin smoothing application) 들에서 사용될 수도 있다. 인물 사진 (portrait photography) 에서, 어떤 바람직하지 않은 스킨 특징들, 이를테면 주름 (wrinkle), 주근깨 (freckle), 그리고 점들이 이미지에 캡쳐될 수도 있다. 개시된 멀티스펙트럼 이미징 시스템은, 많은 상이한 방법들에서 이들 바람직하지 않은 특징들을 제거 또는 스무딩하는데 사용될 수도 있다.
다양한 구현들에서 가시 이미지들과 NIR 이미지들을 정렬시키기 위한 시스템 및 방법들이 개시된다. 예를 들면, 여기에 설명된 바처럼, 멀티스펙트럼 이미징 시스템들은 각각의 이미징 센서들의 파장들에서 캡쳐된 이미지 데이터를 이용할 수 있다. NIR-가시 멀티스펙트럼 이미징 시스템들에서, NIR 이미지 데이터 및 가시 이미지 데이터는, 예를 들면, 이미지 품질을 향상시키는데 그리고 하이브리드 및/또는 입체 이미징 애플리케이션들을 인에이블하는데 사용될 수 있다. NIR 가시 멀티스펙트럼 이미징 애플리케이션들의 혜택들을 이용하기 위하여, 이미지 프로세싱이 수행되기 전에 NIR 이미지 데이터가 가시 이미지 데이터와 정렬되도록 보장하는 것이 중요할 수 있다.
여기에 개시된 다양한 구현들은, NIR 및 가시 이미지들의 정렬을 향상시키는 시스템 및 방법들을 제공한다. 예를 들면, 하나의 구현에서, NIR 센서 및 가시광 센서는 프리-캘리브레이션 절차 (pre-calibration procedure) 에서 나란히 (side-by-side) 그리고 수직으로 정렬되게 위치된다. 입력된 이미지들은 NIR 센서 및 가시광 센서에 의해 캡쳐된다. 멀티스펙트럼 이미징 시스템은, NIR 이미지 및 가시 이미지를 본질적으로 픽셀 바이 픽셀 (pixel-by-pixel) 에 기초하여 매칭하기 위한 초기 조밀 매칭 절차를 수행할 수 있다. 시스템은 또한, 픽셀들의 더 큰 블록들에서 매치들을 검출하기 위한 후속 희소 매칭 절차를 수행할 수 있고 NIR 이미지와 가시 이미지의 퍼스펙티브 (perspective) 들 사이의 호모그래픽 제약 (homographic constraint) 을 확립할 수 있다. 그 시스템은, 희소 매칭 결과들을 조밀 매칭 결과들로 전파하여 정렬된 이미지들을 획득할 수 있다. 당업자는 개시된 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.
다음의 상세한 설명에서, 특정 상세들은 예들의 철저한 이해를 제공하기 위하여 주어진다. 하지만, 예들은 이들 특정 상세들 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들면, 전기 컴포넌트들/디바이스들은, 예들을 불필요한 상세들에서 불분명하게 하지 않기 위하여 블록도들로 보여질 수도 있다. 다른 경우들에서, 그러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 더 설명하기 위하여 상세히 보여질 수도 있다.
또한, 예들은 프로세스로서 설명될 수도 있고, 이는 플로우차트, 플로우 도, 유한 상태도, 구조도 또는 블록도로서 도시된다는 것에 유의한다. 플로우차트는 순차적 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병행적으로, 또는 동시에 수행될 수 있고 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그의 동작들이 완료될 때 종결된다. 프로세스는 방법, 함수 (function), 프로시저 (procedure), 서브루틴 (subroutine), 서브프로그램 (subprogram) 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 때, 그의 종결은 호출 함수 (calling function) 또는 메인 함수 (main function) 에 대한 함수의 리턴, 또는 서브루틴 또는 유사한 기능성의 유사한 완료에 대응할 수도 있다.
당업자는 정보 및 신호가 임의의 다양한 상이한 기술 및 기법을 이용하여 표현될 수도 있음을 이해할 것이다. 예를 들어, 위의 상세한 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령, 커맨드, 정보, 신호, 비트, 심볼, 및 칩은 전압, 전류, 전자기파, 자기장 또는 자기입자, 광학장 (optical field) 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
도 1은 장면의 멀티스펙트럼 이미지 데이터를 캡쳐하도록 구성된 멀티스펙트럼 이미징 시스템 (10) 의 3D 사시도이다. 도 1에 도시된 바처럼, 멀티스펙트럼 이미징 시스템 (10) 은, 나무 (2) 를 포함하는 장면의 멀티스펙트럼 이미지 데이터를 캡쳐하도록 사용자에 의해 동작될 수도 있다. 멀티스펙트럼 이미징 시스템 (10) 은 가시 광 및 NIR 광을 각각 캡쳐하도록 구성된 가시광 센서 (5) 및 NIR 센서 (7) 를 포함한다. 다양한 구현들에서, 예를 들면, 가시광 센서 (5) 는, 적, 녹 및 청 가시광을 감지하는 RGB 센서로서 구성된 이미징 센서이다.
유리하게는, 멀티스펙트럼 이미징 시스템 (10) 은 모바일 디바이스 (예를 들면, 이동 폰 또는 다른 이동 컴퓨팅 디바이스) 와 통합될 수 있어, 이미징 시스템 (10) 은 사용자에 의해 용이하게 조작될 수 있다. 멀티스펙트럼 이미징 시스템 (10) 은 가시 및 NIR 스펙트럼들 양자 모두로부터 광을 캡쳐할 수 있기 때문에, 사용자는 이미징되는 나무 (2) 의 풍부한 상세들을 보는 것이 가능할 수도 있다. 또한, 이미징 센서들이 스틸 및 비디오 이미지들 양자 모두를 캡쳐하도록 구성되면, 사용자는, 여기에 설명되는 바처럼, 실질적으로 디블러되는 비디오 이미지 데이터를 볼 수 있다. 게다가, 2개의 센서들이 사용되기 때문에, 가시광 센서 (5) 및 NIR 센서 (7) 에 의해 캡쳐되는 멀티스펙트럼 이미지 데이터는 다양한 입체 이미징 절차들을 채용함으로써 나무 (2) 의 3차원 (3D) 퍼스펙티브를 렌더링하는데 사용될 수 있다. 당업자는, 여전히 다른 애플리케이션들이 도 1에 개시된 멀티스펙트럼 이미징 시스템 (10) 에 대해 가능할 수도 있다는 것을 인식할 것이다.
도 2는 멀티스펙트럼 이미징 시스템 (10) 의 개략 블록도이다. 멀티스펙트럼 이미징 시스템 (10) 은 멀티스펙트럼 이미징 장치 (1) 를 포함할 수 있다. 멀티스펙트럼 이미징 장치 (1) 는, 적어도 가시광 파장들 및 근적외 (NIR) 광 파장들을 포함하는, 광대역 파장들을 감지할 수 있는 하나 이상의 멀티스펙트럼 이미징 센서들을 포함하도록 구성될 수 있다. 예를 들면, 멀티스펙트럼 이미징 장치 (1) 는, 약 390 nm 과 약 1400 nm 사이의 파장들의 광을 검출하도록 구성될 수 있다. 물론, 이미징 장치 (1) 는 또한, 훨씬 더 넓은 범위의 파장들도 검출하도록 구성될 수 있다. 일부 구현들에서, CCD (charge-coupled device) 가 멀티스펙트럼 이미징 센서(들) 로서 사용될 수 있다. 다른 구현들에서, CMOS 이미징 센서가 멀티스펙트럼 이미징 센서(들) 로서 사용될 수 있다. 또한, 플래시 모듈 (8) 및/또는 다른 액세서리들이 멀티스펙트럼 이미징 장치 (1) 에 포함되어 장면을 조명하는 것을 도울 수도 있다. 다양한 구현들에서, 플래시 모듈 (8) 은 가시 및/또는 NIR 플래시 디바이스들을 포함할 수 있다.
도 2에 도시된 구현에서, 멀티스펙트럼 이미징 장치 (1) 는 단일 멀티스펙트럼 이미징 센서 대신에 2개의 분리된 센서들을 포함한다. 이 구현에서, 멀티스펙트럼 이미징 장치 (1) 는 가시광 센서 (5) 및 분리된 NIR 센서 (7) 를 포함한다. 예를 들면, 멀티스펙트럼 이미징 장치 (1) 는, 제 1 가시 센서 (5), 이를테면 적어도 약 390 nm 와 약 800 nm 사이 범위의 가시광을 검출할 수 있는 CCD/CMOS 센서를 갖는다. 멀티스펙트럼 이미징 장치 (1) 는, 제 2 NIR 센서 (7), 이를테면 약 800 nm 와 약 1400 nm 사이 범위의 NIR 광을 검출할 수 있는 CCD/CMOS 센서를 더 포함한다. 일부 구현들에서, 가시 및 NIR 센서들을 위한 파장 범위들은 오버랩될 수 있거나 또는 심지어 실질적으로 동일할 수 있다. 일부 구현들에서, 이미징 필터들, 이를테면 NIR 패스 필터는 NIR 데이터만을 검출하는데 적합한 CCD/CMOS 센서 상에서 사용될 수 있다. 하나의 구현에서, 예를 들면, 가시광 센서 (5) 및 NIR 센서 (7) 양자 모두는, Samsung® S5K4E1GX QSXGA CMOS 센서 상에 구현될 수 있다. NIR 센서 (7) 는, IR-컷오프 필터를 제거하여 센서가 NIR 광을 수신가능하게 함으로써 구현될 수 있다. 변경된 NIR 센서 (7) 는 또한, 더 낮은 파장들, 예를 들면, 약 800 m 미만의 파장들을 필터링하기 위해 IR 필터에 의해 커버 (cover) 될 수 있다. 예를 들면, Kodak® Wratten IR 필터 (#87C) 가 NIR 센서 (7) 위에 적용될 수 있다. 당업자는 다른 타입들의 센서들이 가능하다는 것을 이해할 것이다. 당업자는, 다양한 다른 센서들 또는 그들의 조합이 가시 및 NIR 이미지 데이터를 캡쳐하는데 사용될 수 있다는 것을 이해할 것이다.
멀티스펙트럼 이미징 시스템 (10) 은, 서로와 그리고 이미징 장치 (1) 와 데이터 통신하는 프로세서 (11) 및 메모리 (13) 를 더 포함한다. 프로세서 (11) 및 메모리 (13) 는, 이미징 장치 (1) 에 의해 캡쳐된 이미지들을 프로세싱 및 저장하는데 사용될 수 있다. 또한, 멀티스펙트럼 이미징 시스템 (10) 은 입력/출력 (I/O) 동작들을 사용자에게 제공하도록 구성된 사용자 인터페이스 (UI) (미도시) 를 포함할 수 있다. 예를 들면, UI 는, 다양한 아이콘들을 사용자에게 제시하는 디스플레이를 포함할 수 있다. UI는 또한, 다양한 입력 디바이스들, 이를테면 키보드, 터치스크린 입력, 마우스, 롤러볼, 데이터 입력 (예를 들면, USB 또는 무선), 및/또는 임의의 다른 적합한 타입의 입력 디바이스를 포함할 수도 있다. UI 는, 사용자가 이미지 데이터를 조작할 수 있게 하거나 및/또는 사용자가 사용하기 원하는 이미징 모드를 선택할 수 있게 하도록 프로그램될 수 있다. UI 는 또한, 멀티스펙트럼 이미지 데이터를 캡쳐하기 위한 제어들을 포함할 수도 있다.
또한, 프로세서 (11) 및 메모리 (13) 는, 이미지 프로세싱 모듈 (20) 에서 소프트웨어 모듈들로서 저장된 프로세스들을 구현하도록 구성될 수 있고 멀티스펙트럼 이미징 장치 (1) 에 의해 캡쳐된 멀티스펙트럼 이미지 데이터를 프로세싱하도록 구성될 수 있다. 이미지 프로세싱 모듈 (20) 은, 비일시적 저장 매체와 같은 임의의 적합한 컴퓨터 판독가능 저장 매체로 구현될 수 있다. 이미지 프로세싱 모듈 (20) 은 임의의 수의 소프트웨어 모듈들을 가질 수 있다. 예를 들면, 통신 모듈 (21) 은 이미지 프로세싱 모듈 (20) 상에서 구현될 수 있다. 통신 모듈 (21) 은, 멀티스펙트럼 이미징 시스템 (10) 의 컴포넌트들 사이에 데이터의 흐름을 관리하는 컴퓨터 구현 명령들을 포함할 수 있다. 예를 들면, 통신 모듈 (21) 은, 멀티스펙트럼 이미징 장치 (1) 로부터 이미지 데이터의 수신을 관리하는 명령들을 포함할 수 있다. 이미지 프로세싱 모듈 (20) 은, 다양한 타입들의 데이터, 소스 코드, 및/또는 실행가능 파일들을 저장하도록 구성된 저장 모듈 (12) 을 포함한다. 예를 들면, 저장 모듈 (12) 은, 이미징 장치 (1) 에 의해 수신되는 이미지 데이터 및/또는 이미지 프로세싱 모듈 (20) 에 의해 프로세싱되는 이미지 데이터를 저장하도록 프로그램될 수 있다.
이미지 프로세싱 모듈 (20) 은 또한, 다양한 멀티스펙트럼 이미징 애플리케이션들을 구현하도록 프로그램된 다양한 모듈들을 포함할 수 있다. 예를 들면, 이미지 프로세싱 모듈 (20) 은, NIR 이미지 및 가시 이미지로부터 계산된 깊이 맵 (depth map) 에 기초하여 3차원 (3D) 이미지를 렌더링하도록 프로그램된 입체 이미징 모듈 (23) 을 포함한다. 여기에 설명된 바처럼, 가시광 센서 (5) 및 NIR 센서 (7) 는, 알려진 거리만큼 이격될 수 있다. 입체 이미징 모듈 (23) 은, 가시광 센서 (5) 와 NIR 센서 (7) 사이에 알려진 분리를 이용하여 사용자에게 3D 시각화 효과들을 생성할 수 있다.
또한, 이미지 프로세싱 모듈 (20) 은 하이브리드 이미징 모듈 (25) 을 포함한다. 하이브리드 이미징 모듈 (25) 은, 이미징 장치 (1) 에 의해 캡쳐된 스틸 이미지 및 비디오 이미지 양자 모두를 프로세싱하도록 프로그램될 수 있다. 예를 들면, 하이브리드 이미징 모듈 (25) 은, 가시광 센서 (5) 로부터 스틸 이미지 데이터 그리고 NIR 센서 (7) 로부터 비디오 이미지 데이터를 프로세싱하도록 프로그램될 수 있고, 그 역 또한 마찬가지이다. 스틸 이미지 데이터 및 비디오 이미지 데이터는 일부 배열들에서 각각의 센서들에 의해 동시에 캡쳐될 수 있고; 다른 배열들에서, 스틸 및 비디오 이미지 데이터는 분리된 시간들에서 캡쳐될 수 있다. 다양한 구현들에서, 스틸 이미지 데이터는, 장면의 이미지들에서 모션 블러를 감소시키기 위하여 비디오 이미지 데이터보다 더 높은 해상도로 캡쳐될 수 있다.
이미지 프로세싱 모듈 (20) 은 또한 멀티스펙트럼 정보 프로세싱 모듈 (27) 을 포함한다. 멀티스펙트럼 정보 프로세싱 모듈 (27) 은, NIR 센서 (7) 로부터 캡쳐된 NIR 이미지 데이터를 프로세싱하여 가시광 센서 (5) 로부터 캡쳐된 가시 이미지 데이터에서 콘트라스트를 향상시키도록 프로그램될 수 있다. 다양한 구현들에서, 멀티스펙트럼 정보 프로세싱 모듈 (27) 은 이미지들을 헤이즈 제거하거나 및/또는 이미지들에서 텍스처 정보를 향상시키도록 프로그램될 수 있다. 멀티스펙트럼 정보 프로세싱 모듈 (27) 은, NIR 플래시 디바이스 (8) 를 사용하여 가시 이미지들에서 노이즈를 감소시키도록 더 프로그램될 수 있다. 또 다른 구현들에서, 멀티스펙트럼 정보 프로세싱 모듈 (27) 은 캡쳐된 이미지들에서 스킨 결함들을 스무딩하도록 프로그램될 수 있다.
위에서 언급된 바처럼, 하나의 실시형태에서, NIR 및 가시 이미지들은, 다양한 멀티스펙트럼 이미징 애플리케이션들의 어느 것을 위해 이미지들이 프로세싱되기 전에 정렬된다. 따라서, 이미지 프로세싱 모듈 (20) 은 또한 이미지 정렬 모듈 (22) 을 포함할 수 있다. 이미지 정렬 모듈 (22) 은, 예를 들면, 가시광 센서 (5) 및 NIR 센서 (7) 가 수직으로 정렬되는지 확인하는 것과 같은, NIR 및 가시 이미지들 상에서 임의의 예비 동작들을 수행하도록 프로그램된 프리프로세싱 모듈 (24) 을 포함할 수 있다. 이미지 정렬 모듈 (22) 은 또한, 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 가시 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매칭시키도록 프로그램된 조밀 매칭 모듈 (26) 을 더 포함할 수 있다. 그에 의해 조밀 매칭 모듈 (26) 은 각 이미지에 대해 이미지 디스크립터들에 기초하여 NIR 및 가시 이미지들의 초기 픽셀-바이-픽셀 정렬을 제공할 수 있다. 여기에서 설명된 바처럼, 이미지 디스크립터들은, 각각의 이미지들에서 측정된 이미지 그래디언트 (gradient) 들에 부분적으로 기초할 수도 있다.
이미지 정렬 모듈 (22) 은 또한, 일반적으로 NIR 및 가시 이미지들의 희소 부분들을 정렬하도록 프로그램된 희소 매칭 모듈 (28) 을 포함한다. 예를 들면, 여기에서 설명된 바처럼, 희소 매칭 모듈 (28) 은, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하도록 프로그램될 수 있다. 다양한 구현들에서, 픽셀 디스패리티들은, 각 매칭된 픽셀 쌍에 대해 픽셀 분리 거리에 기초할 수 있다. 그 희소 매칭 모듈 (28) 은, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치 (weight) 를 할당하도록 프로그램될 수 있다. 가중치가 할당되고 나면, 다양한 구현들에서, 더 높은 가중치를 갖는 매치들이 유지되는 한편, 더 낮은 가중치들을 갖는 매치들은 폐기된다. 가시 및 NIR 이미지들 사이의 구분적 호모그래픽 제약 (piece-wise homographic constraint) 이 추정될 수 있고, 호모그래픽 제약들을 만족시키는 매치들이 후속 정렬 프로세싱을 위해 유지될 수 있다.
더욱이, 이미지 정렬 모듈 (22) 은, 할당된 가중치에 적어도 부분적으로 기초하여 가시 이미지와 NIR 이미지를 정렬하도록 프로그램된 정렬 이미지 형성 모듈 (29) 을 포함할 수 있다. 예를 들면, 이미지 정렬 모듈 (22) 은, 예를 들면, 희소 매칭 모듈 (28) 에 의해 할당된 가중치와 같은, 신뢰도 맵 (confidence map) 및/또는 강도 유사성 값에 기초하여 조밀 매칭 결과들에 희소 매칭 결과들을 전파할 수 있다. 일부 양태들에서, 이미지들의 정렬이 정확한지를 확인하기 위하여, NIR 이미지는, 가시 이미지의 퍼스펙티브로 워핑 (warping) 될 수 있고 그 역 또한 마찬가지이다.
프로세스 개관
도 3은 하나의 구현에 따라, 특정 장면의 멀티스펙트럼 이미지 데이터를 캡쳐하는 방법 (30) 의 플로우차트이다. 예시된 방법 (30) 은 블록 (31) 에서 시작되고, NIR 및 가시광 센서들이 활성화된다. 예를 들면, 도 1 및 도 2를 참조하여, 사용자는 이미징 시스템 (10) 을 파워업 및/또는 부트업하여 센서들이 장면을 캡쳐하는 것을 가능하게 할 수도 있다. 다양한 구현들에서, 모바일 디바이스 상의 아이콘이 NIR 및 가시광 센서들 (5 및 7) 을 활성화하도록 관계지어질 수도 있다. 다음으로 그 방법은 블록 (33) 으로 이동하고, 여기서 가시광 이미지는 가시광 센서에 의해 캡쳐되고 NIR 이미지는 NIR 센서에 의해 캡쳐된다. 다양한 배열들에서, 플래시 (예를 들면, 가시 및/또는 NIR 플래시) 가 장면을 조명하는데 사용될 수도 있다. 장면의 가시광 및 NIR 이미지들을 캡쳐한 후에, 프로세스 (30) 는 블록 (35) 으로 이동하고, 여기서 캡쳐된 이미지들은 저장 모듈, 이를테면 저장 모듈 (12) 에 저장된다.
이미지들이 블록 (35) 에서 저장되고 나면, NIR 이미지 및 가시 이미지는 프로세스 블록 (37) 에서 프로세스 (30) 에 의해 정렬될 수 있다. 이미지들을 정확히 정렬함으로써, 오정렬에 의해 야기되는 이미지 아티팩트들이 감소 또는 제거될 수 있다. 다음으로 프로세스 (30) 는 프로세스 블록 (39) 으로 이동하고 정렬된 이미지를 프로세싱한다. 멀티스펙트럼 이미지 애플리케이션 및/또는 사용자의 선호 (preference) 에 따라, 다양한 타입들의 멀티스펙트럼 이미징 절차들이 프로세싱 블록 (39) 에서 수행될 수도 있다. 예를 들면, 입체 이미징 모듈 (23) 은 사용자에 대한 3D 퍼스펙티브들을 렌더링하기 위한 프로시저들을 실행할 수 있다. 다른 양태들에서, 하이브리드 이미징 모듈 (25) 은, 이미지 및 비디오 이미지 데이터 양자 모두를 프로세싱하기 위하여 컴퓨터 구현 명령들을 실행할 수 있다. 또한, 멀티스펙트럼 정보 프로세싱 모듈 (27) 은, 가시 및/또는 NIR 이미지들의 이미지 품질을 향상시킬 수 있다. 당업자는, 다양한 다른 멀티스펙트럼 이미지 프로세싱 기법들이 블록 (39) 에서 수행될 수 있다는 것을 이해할 것이다.
다음으로 프로세스 (30) 는, 추가 이미지들이 프로세싱될지를 결정하기 위해, 판정 블록 (32) 으로 이동한다. 추가 이미지들이 프로세싱될 것이라는 판정이 판정 블록 (32) 에서 내려지면, 방법 (30) 은 블록 (33) 으로 리턴하여 추가 NIR 이미지 데이터 및 가시광 이미지 데이터를 캡쳐한다. 추가 이미지들이 프로세싱되지 않을 것이라는 판정이 판정 블록 (32) 에서 내려지면, 방법 (30) 은 종결한다.
이미지 정렬 개관
도 4는 도 3의 구현에 따라, NIR 이미지 및 가시광 이미지를 정렬하기 위한 프로세스 블록 (37) 에 나타낸 방법의 플로우차트이다. 그 방법 (37) 은 블록 (41) 에서 시작되고, 여기서 NIR 이미지가 수신된다. 예를 들면, 도 2의 이미지 정렬 모듈 (20) 은, 멀티스펙트럼 이미징 장치 (1) 로부터 NIR 이미지를 수신할 수 있다. 그 방법 (37) 은 블록 (43) 으로 진행하여 가시 이미지를 수신할 수 있다. 여기에 설명된 바처럼, 이미지 정렬 모듈 (20) 은, 멀티스펙트럼 이미징 장치 (1) 로부터 가시 이미지를 수신할 수 있다 (도 2).
다음으로, 그 방법 (37) 은, 프로세스 블록 (45) 으로 이동하여 가시 이미지에 있는 픽셀들과 NIR 이미지에 있는 픽셀들을 매치시킨다. 도 2에 관하여 위에서 설명된 바처럼, 조밀 매칭 모듈 (26) 은 NIR 및 가시 이미지들의 초기 픽셀-바이-픽셀 정렬을 제공하기 위하여 복수의 매칭된 픽셀 쌍들을 형성할 수 있다. 도 5 및 도 6a-도 6b에 관하여 아래에서 설명될 바처럼, NIR 및 가시 이미지들에서 매칭된 픽셀 쌍들은, 각각의 이미지들에서 이미지 그레디언트들에 기초하여 이미지 디스크립터들을 산출함으로써 형성될 수 있다. 이미지들 (예를 들면, NIR 또는 가시 이미지) 중 하나에서 각각의 픽셀에 대해, 이미지 정렬 모듈 (22) 은 다른 이미지에서 그 픽셀의 가장 가까운 이웃을 검색할 수 있다. 예를 들면, 말하자면 NIR 이미지에서 특정 픽셀에 대해, 그 특정 픽셀에 대한, 또는 그 특정 픽셀을 포함하는 영역에 대한 이미지 디스크립터가 그 픽셀에서 또는 근처에서 이미지 그레디언트에 기초하여 산출될 수 있다.
이미지 정렬 모듈 (22) 은 후보 픽셀들의 세트를, 다른 이미지, 예를 들면, 가시 이미지에서 생성할 수 있고, 이는 NIR 이미지에서 그 특정 픽셀의 가장 가까운 이웃일 수도 있다. 이미지 정렬 모듈 (22) 은 또한, 가시 이미지에 있는 픽셀들의 후보 세트에서의 각 픽셀에 대한 디스크립터 및 NIR 이미지에 있는 특정 픽셀에 대한 디스크립터 사이의 유클리드 거리를 산출할 수 있다. 다음으로, 이미지 디스크립터들 사이의 최소 유클리드 거리를 갖는 가시 이미지에 있는 픽셀은, NIR 이미지에 있는 특정 픽셀과 쌍을 이루어 매칭된 픽셀 쌍을 형성한다. 그러므로, 프로세스 블록 (45) 에서 결정된 매칭된 픽셀 쌍들은, 캡쳐된 장면의 동일 부분과 연관된 NIR 및 가시 이미지들의 각각에 있는 픽셀들을 나타낼 수도 있다. 따라서, 픽셀들 A 및 B 가 매칭된 픽셀 쌍이면, NIR 이미지의 픽셀 A 는, 픽셀 B 가 대응하는 가시 이미지에서 나타내는 이미징된 장면 또는 오브젝트의 동일 부분을 나타낼 수도 있다. 프로세스 블록 (45) 에서 일어나는 프로세스의 추가 상세들은 도 5 및 도 6a - 도 6b에 관하여 여기에서 설명된다. 여기에 설명된 바처럼, 픽셀 쌍들에 대해 이미지 디스크립터들간의 유클리드 거리를 산출하는 것은, 2개의 픽셀들과 연관된 매칭 코스트 (matching cost) 를 산출하는 하나의 방법이다. 하지만, NIR 및 가시 이미지들에 있는 픽셀들간에 매칭 코스트를 산출하는 다른 방법이 있다는 것이 인식되야 한다. 당업자는, 2개의 디스크립터 벡터들을 비교하기 위한 다른 방법들이 다양한 구현들에 대해 적합할 수도 있다는 것을 인식할 것이다.
다음으로 그 방법 (37) 은, 블록 (47) 으로 이동하여 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출한다. 픽셀 디스패리티들은 장면에 있는 오브젝트의 특정 부분을 나타내는 이미지 데이터를 디스플레이하는 이미지 평면에 있는 픽셀들에서의 오프셋을 지칭할 수도 있다. 예를 들면, 매칭된 픽셀 쌍의 제 1 픽셀, 픽셀 A는 NIR 이미지에서 제 1 위치에 위치될 수도 있는 한편, 매칭된 픽셀 쌍의 제 2 픽셀, 픽셀 B는 가시 이미지에서 제 2 위치에 위치될 수도 있다. 비록 NIR 이미지들 및 가시 아미지들은 분리된 이미지들일 수도 있지만, 공통 좌표 시스템이 양쪽 모두의 이미지들에 할당될 수도 있어, 각 이미지에 있는 픽셀들은 레퍼런스의 공통 프레임에 대해 레퍼런싱 또는 위치될 수도 있음에 유의한다. 따라서, NIR 이미지에서 픽셀 A의 제 1 위치는 가시 이미지에서 픽셀 B의 제 2 위치로부터 일정 거리 만큼 분리되면, 픽셀들 A 및 B 은 NIR 및 가시 이미지들에서 레퍼런스의 공통 프레임으로부터 측정되는 바처럼, 픽셀 패리티, 예를 들면, 이미지 평면에서 픽셀들을 이격시키는 거리를 갖는 것으로 고려될 수도 있다. 픽셀 디스패리티들의 추가 예들은 여기에서 도 6a - 도 6b에 관하여 설명된다.
다음으로 그 방법 (37) 은 프로세스 블록 (49) 으로 진행하여 각 매칭된 픽셀 쌍에 대해 가중치를 할당할 수 있다. 도 7에 관하여 여기에서 설명된 바처럼, 이미지들 및 매칭된 픽셀 쌍들은, 더 큰 블록들로 분할 또는 세그먼트화될 수 있고, 각 매칭된 픽셀 쌍에는, 블록 (47) 에서 산출된 픽셀 디스패리티들에 적어도 부분적으로 그리고 각 매칭된 쌍에 있는 픽셀들간의 컬러 디스패리티들에 기초한 가중치가 할당될 수 있다. 여기에 설명된 바처럼, 가중치는 또한, 각 매칭된 픽셀 쌍에 대해 이미지 디스크립터들 사이의 유클리드 거리에 기초하여 산출된 거리 비에 기초할 수도 있다. 상대적으로 높은 가중치를 갖는 블록 내의 매치들 (예를 들면, 상위 50% 의 가중치들을 갖는 매칭된 쌍들) 은 NIR 및 가시 이미지들의 지오메트리를 관련시키는 호모그래픽 제약을 추정하는데 사용될 수도 있다. 일반적으로, 호모그래픽 제약은 2개의 이미지들의 퍼스펙티브들을 관련시키는데 사용될 수 있는 지오메트리 변환이다. NIR 및 가시 이미지들에 대한 호모그래픽 제약을 만족시키는 매치들은 정렬된 NIR 및 가시 이미지들을 형성하는데 사용될 수도 있다. 블록 (49) 의 프로세스의 추가 상세들은 도 7에 관하여 여기에서 설명된다.
그러므로, 일반적으로, 프로세스 블록 (49) 에서 착수된 방법은, 이미징되는 오브젝트의 동일 표면 또는 부분에 속하는 블록내의 픽셀들을 찾기 위해 구현될 수도 있다. 예를 들면, 프로세스 블록 (45) 의 조밀 픽셀 매칭 프로세스는 픽셀-바이-픽셀에 기초하여 픽셀들을 매칭하기 위하여 구현될 수 있다. 다른 한편, 또한 (블록 (47) 의 단계들을 포함할 수도 있는) 프로세스 블록 (49) 의 희소 매칭 프로세스는, 이미지의 이종 (disparate) 부분들이 일반적으로 정렬되게 보장하도록 구현될 수도 있다. 따라서, 픽셀들이 픽셀-바이-픽셀에 기초하여 블록 (45) 에서 매칭될 수도 있더라도, 이것이, 매칭된 픽셀들이 전체 이미지에 대해 장면에서 동일 오브젝트와 연관된 픽셀들에 대응한다는 것을 반드시 의미하는 것은 아니다.
프로세스 블록 (49) 에서 착수된 프로세스는, 프로세스 블록 (45) 에서 조밀 매칭된 픽셀들이 실제로 전체 이미지에 걸쳐 동일 오브젝트(들) 에 대응한다는 것을 확인하기 위해, 예를 들면, 이미지가 희소하게 그리고 조밀하게 정렬되는 것을 보장하기 위하여 수행된다. 실제로, 호모그래픽 제약을 계산하기 위해 높은 가중치를 선택하는 것은, 특정 블록내 매칭된 쌍들이 정확하게 정렬되는 높은 신뢰도가 있다는 것을 보장할 수 있다. 더욱이, 양쪽 모두의 픽셀 디스패리티들 (예를 들면, 매칭된 쌍에서 픽셀들의 분리 거리) 그리고 (예를 들면, 매칭된 쌍들에서 컬러 차이에 관한) 컬러 디스패리티들을 설명함으로써, 프로세스 블록 (49) 의 방법은, 예를 들면, 오브젝트의 텍스처 그리고 다른 표면 특징들이 가시 및 NIR 이미지들을 정렬할 때 설명되도록 보장하는 것을 도울 수 있다.
다음으로, 그 방법 (37) 은 블록 (42) 으로 이동하여 가시 이미지와 NIR 이미지를 정렬한다. 블록 (42) 에서, 예를 들면, 프로세스 블록 (49) 에서 수행된 희소 매칭이 프로세스 블록 (45) 에서 수행된 조밀 매칭으로 전파될 수 있다. 전파 프로세싱 (ropagation processing) 은, 디포커싱 이미지로부터 깊이 정보를 회복 (recover) 하기 위한 알려진 방법들을 사용하여 수행될 수 있다. 예를 들면, 블록 (42) 에서 이미지들을 정렬하기 위한 하나의 일반적인 방법은, 희소 매칭과 조밀 매칭을 관련시키는 코스트 함수를 생성하는 것이고 희소 맵을 조밀 맵으로 전파시키기 위하여 코스트 함수를 수치적으로 최소화하는 것이다. 하나의 예시적 전파 프로세스는, 예를 들면, Shaojie Zhuo 및 Terence Sim의 “Recovering Depth from a Single Defocused Image”, Pattern Recognition, vol. 44, no. 9, pp. 1852-1858 (2011) 에 개시되어 있으며, 이는 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다. 당업자는, 희소 이미지 맵을 조밀 맵으로 전파하기 위한 다양한 방법들이 있다는 것을 이해할 것이다. 게다가, NIR 이미지는, 프로세스 블록 (45) 의 조밀 매칭 프로세스에 기초하여 가시 이미지의 퍼스펙티브로 워핑되어 NIR 및 가시 이미지들 잘 정렬되어 있는지 여부를 시각적으로 확인할 수 있다.
유리하게는, 여기에 개시된 구현들은, 코스트 함수를 생성하고 블록 (42) 에서 이미지들을 정렬시키기 위한 강도 유사성 (intensity similarity) 값들 및 프로세스 블록 (49) 에서 산출된 가중치 양자 모두의 조합을 이용할 수 있다. 예를 들면, 강도 유사성 값들을 산출하기 위하여, 강도들의 차이는 디스패리티 맵에서 각 픽셀에 대해, 예를 들면, 캡쳐된 가시 또는 NIR 이미지들의 대응하는 위치들에서 그 픽셀과 근처 또는 이웃 픽셀들 사이의 강도 차이를 계산하는 것에 의해서와 같이 추정될 수 있다. 게다가, 프로세스 블록 (49) 에서 할당된 가중치는, 상대적으로 높은 가중치를 갖는 매치들만이 희소 매칭 결과들을 전파하는데 이용되도록 필터링될 수 있다. 일부 구현들에서, 상위 50% 의 가중치를 갖는 매치들만이 사용될 수도 있다. (신뢰도 맵으로서 기능할 수 있는) 가중치들 및/또는 강도 유사성 값 양자 모두가 정렬에서 사용되어, 보다 정확한 전파가 획득되도록 할 수 있다. 신뢰도 맵 (예를 들면, 가중치) 및/또는 강도 유사성 값들을 포함한 결과로서, NIR 및 가시 이미지들의 정렬이 향상될 수 있다.
다음으로, 그 방법 (37) 은 블록 (44) 으로 진행하여, 예를 들면, 저장 모듈 (12) 에 의해, 시스템 상에 정렬된 이미지를 저장한다. 다음으로 방법 (37) 은, 추가 이미지들이 정렬될지를 결정하기 위해, 판정 블록 (46) 으로 진행한다. 추가 이미지들이 정렬될 것이라는 판정이 내려지면, 방법 (37) 은 블록 (41) 으로 리턴하여 NIR 이미지를 수신한다. 정렬할 추가 이미지들이 없다고 판정이 내려지면, 방법 (37) 은 종결한다.
조밀 매칭 프로세스
도 5는 도 4의 구현에 따라, NIR 이미지에 있는 픽셀들과 가시광 이미지에 있는 픽셀들을 매칭하기 위한 방법 (45) 의 플로우차트이다. 개시된 픽셀-바이-픽셀 프로세스는, 예를 들면, 조밀 매칭 모듈 (26) 에 의해 수행될 수도 있다. 그 방법 (45) 은 블록 (51) 에서 시작하여 NIR 및 가시 이미지들에서 각 픽셀에 대해 이미지 디스크립터들을 계산한다. 일반적으로, 이미지 디스크립터들이 이미지의 일 부분 또는 픽셀에 대해 로컬 이미지 그레디언트들에 기초할 수 있다. 로컬 이미지 그레디언트들은, 이미지의 부분 또는 특정 픽셀을 중심으로 다수의 방향들 또는 오리엔테이션들에서 이미지 데이터의 변화의 레이트를 측정할 수 있다. 각 픽셀 (또는 이미지의 부분) 에서, 픽셀 또는 이미지 부분을 둘러싸는 영역들에서 로컬 이미지 그레디언트들은 오리엔테이션 히스토그램으로 축적될 수 있다.
특정 픽셀 또는 이미지 부분을 둘러싸는 영역들에 대한 오리엔테이션 히스토그램들은, n x 1 이미지 디스크립터 벡터
Figure pct00001
로 변환될 수 있고, 여기서 n 은 디스크립터들을 추정하는데 사용되는 주변 이미지 영역들의 수 그리고 오리엔테이션들의 수에 기초한다. 예를 들면, 주변 픽셀들 또는 이미지 영역들의 4 x 4 어레이가 디스크립터를 산출하는데 사용되는 경우, 그리고 8개 오리엔테이션들이 사용되는 경우, 디스크립터 벡터
Figure pct00002
는 128 x 1 벡터 (예를 들면, 4 x 4 x 8) 일 수 있다. 당업자는, 로컬 이미지 그레디언트들에 기초하여 이미지 디스크립터들을 결정하기 위한 다른 기법이 가능하다는 것을 인식할 것이다. 예를 들면, 이미지 디스크립터들을 형성하기 위한 하나의 기법은, David G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, pp. 91-100 (2004) 에 기재되어 있으며, 이는 이로써 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다.
도 6a의 (6a-1), (6a-2), 도 6b의 (6b-1) 및 (6b-2) 는 도 2의 멀티스펙트럼 이미징 시스템 (10) 에 의해 캡쳐된 나무 (2) 의 2개의 이미지들을 보여주는 개략도들이다. 특히 도 6a의 (6a-1) 는 좌 이미징 센서에 의해 캡쳐된 좌 이미지를 나타내고, 도 6a의 (6a-2) 는 이미징 시스템 (10) 의 우 이미징 센서에 의해 캡쳐된 우 이미지를 나타낸다. 도 6a의 (6a-1) 에 있는 좌 이미지는 NIR 이미징 센서 (7) 에 의해 캡쳐된 이미지에 대응할 수도 있고, 도 6a의 (6a-2) 에 있는 우 이미지는 가시 이미징 센서 (5) 에 의해 캡쳐된 이미지에 대응할 수도 있고, 그 역 또한 마찬가지이다. 도시된 바처럼, 도 6a의 (6a-1) 및 (6a-2) 의 캡쳐된 이미지들은, 각각 x-방향 및 y-방향을 따라 픽셀들에서의 거리를 측정하는 공통 좌표 시스템 R을 공유한다. 다양한 구현들에서, 도 6a의 (6a-1) 및 (6a-2) 의 이미지들은, 프리 캘리브레이션 단계 동안 수직으로 정렬되어, 픽셀들의 로우 (row) 가 실질적으로 수직으로 정렬되도록 할 수 있다. 도 6a의 (6a-1) 는 선택된 영역 (60) 을 포함하고 도 6a의 (6a-2) 는 선택된 영역 (62) 를 포함한다.
도 6b의 (6b-1) 및 (6b-2) 에 있는 이미지들은, 각각 도 6a의 (6a-1) 및 (6a-2) 로부터 나무 (2) 의 선택된 영역들 (60, 62) 의 확대된 부분들의 개략도들이다. 따라서, 도 6b의 (6b-1) 및 (6b-2) 에 나타낸 확대된 이미지 부분들은 도 6a의 (6a-1) 및 (6a-2) 에서 파선들로 나타낸 박스에 의해 경계지어진 이미지들의 부분들 (60 및 62) 에 대응한다. 예를 들면, 양쪽 모두의 이미지들에서 박스는 공통 좌표 시스템 R의 x 방향에서 0으로부터 x1 까지에 걸쳐 이어질 수 있고, y 방향에서 y1 으로부터 y2 까지에 걸쳐 이어질 수 있다. 도 6b의 (6b-1) 및 (6b-2) 에 나타낸 바처럼, 이들 이미지들은 복수의 픽셀들로, 도 6b의 (6b-1) 의 이미지에 대해서는
Figure pct00003
로 그리고 도 6b의 (6b-2) 의 이미지에 대해서는
Figure pct00004
로 분할될 수 있다. 밑첨자 i 는 y 방향에 대한 지수를 지칭할 수도 있고, 밑첨자 j 는 x-방향에 대한 지수를 지칭할 수도 있다. 도 6b의 (6b-1) 및 (6b-2) 에 있는 픽셀들의 크기가 예시의 목적으로 과장될 수도 있다는 점에 유의한다.
도 6b의 (6b-1) 및 (6b-2) 에서, 이미지 디스크립터들은 각 이미지들에서 매 픽셀에 대해 산출될 수도 있다. 예를 들면, 도 6b의 (6b-1) 의 픽셀
Figure pct00005
에서, 이미지 디스크립터
Figure pct00006
는 여기에 기재된 바처럼 산출될 수도 있다. 오리엔테이션 히스토그램이 픽셀
Figure pct00007
에 대해서만 나타나 있지만, 일반적으로, 로컬 이미지 그레디언트들에 대한 오리엔테이션 히스토그램들은 또한 이미지에서 모든 픽셀들 또는 이미지 영역들에 대해 산출될 수도 있다는 점에 유의한다. 또한, 도 6b의 (6b-2) 의 픽셀
Figure pct00008
에서, 이미지 디스크립터
Figure pct00009
가 산출될 수도 있다. 도 6b의 (6b-1) 과 마찬가지로, 픽셀
Figure pct00010
에서 로컬 이미지 그레디언트에 대한 오리엔테이션 히스토그램이 단지 예로서 나타나 있다.
이제 도 5를 참조하면, 방법 (45) 는 블록 (53) 으로 이동하여 가시 이미지에 있는 이미지 디스크립터와 NIR 이미지에 있는 이미지 디스크립터들을 매칭시킨다. 다양한 구현들에서, 조밀 매칭 모듈 (26) 이 다른 이미지에서 각 이미지 디스크립터
Figure pct00011
의 가장 가까운 이웃을 검색할 수도 있다. 예를 들면, 소스 픽셀
Figure pct00012
및 그의 연관된 이미지 디스크립터
Figure pct00013
를 도 6b의 (6b-1) 에서 고려한다. 블록 (53) 에서, 그 방법 (45) 은 도 6b의 (6b-1) 의 특정 소스 픽셀
Figure pct00014
과 연관된 이미지 디스크립터
Figure pct00015
로부터 최소 유클리드 거리에 있는 (또는 전술된 바처럼, 매칭 코스트들의 다른 측정과 연관된 최소치에 있는) 이미지 디스크립터
Figure pct00016
를 갖는 도 6b의 (6b-2) 에서의 타겟 픽셀을 검색한다. 도 6b의 (6b-1) 및 (6b-2) 는 프리캘리브레이션 단계 동안 수직으로 정렬될 수도 있기 때문에, 조밀 매칭 모듈 (26) 은, 도 6b의 (6b-2) 에서 픽셀
Figure pct00017
에 가장 가까운 이웃이 픽셀들의 동일한 로우, 예를 들면 로우 4를 따라 놓여있을 수 있다고 추론할 수 있다. 하지만, 프리캘리브레이션 단계가 없다면, 또는 프리캘리브레이션 단계가 부정확하다면, 조밀 매칭 모듈 (26) 은 대신에 도 6b의 (6b-1) 에서 픽셀
Figure pct00018
을 통과하는 도 6b의 (6b-2) 에 있는 에피폴라 라인 (epipolar line) 을 따라 픽셀들을 검색할 수 있다.
도 6b의 (6b-1) 및 (6b-2) 이 수직 방향으로 정확하게 배열된다고 상정하면, 그 방법 (45) 은, 도 6b의 (6b-1) 에서 소스 픽셀
Figure pct00019
과 매칭을 위한 후보일 수도 있는 도 6b의 (6b-2) 에서 타겟 픽셀들의 서브세트를 선택할 수 있다. 예를 들면, 하나의 예에서, 그 방법 (45) 은 도 6b의 (6b-2) 의 픽셀들
Figure pct00020
및
Figure pct00021
를 도 6b의 (6b-1) 에서 픽셀
Figure pct00022
에 대한 후보 타겟 픽셀 매치들로서 선택할 수도 있는데, 왜냐하면 그러한 픽셀들은 도 6b의 (6b-1) 에서 픽셀
Figure pct00023
의 위치에 공간적으로 가깝기 때문이다. 물론, 방법 (45) 은 대신에, 모든 픽셀들을 포함하여 도 6b의 (6b-2) 에서 타겟 픽셀들의 더 큰 세트를 검색할 수 있지만, 그러한 더 큰 검색은 불리하게도 프로세싱 시간을 증가시킬 수 있다. 따라서, 그 방법 (45) 은, 예를 들면, 도 6b의 (6b-2) 에서 후보 픽셀들의 세트에서 각 픽셀에 대해
Figure pct00024
를 산출함으로써 유클리드 거리 d 를 산출할 수 있다. 최소 유클리드 거리 dmin 와 연관된 도 6b의 (6b-2) 의 후보 픽셀들의 세트에서 타겟 픽셀
Figure pct00025
는 도 6b의 (6b-1) 의 소스 픽셀
Figure pct00026
과 매칭되어 매칭된 픽셀 쌍을 형성할 수 있다. 예를 들면, 도 6b의 (6b-1) 및 (6b-2) 에서, 도 6b의 (6b-1) 의 픽셀들
Figure pct00027
및 도 6b의 (6b-2) 의
Figure pct00028
은, 그들 각각의 이미지 디스크립터들
Figure pct00029
과
Figure pct00030
사이의 유클리드 거리가 도 6b의 (6b-2) 으로부터 후보 픽셀들의 세트에 대해 최소 유클리드 거리 dmin이면, 매칭된 픽셀 쌍을 형성할 수 있다.
도 6a의 (6a-1), (6a-2), 도 6b의 (6b-1) 및 (6b-2) 에 관하여 위에서 설명된 예에서, 소스 픽셀은 도 6b의 (6b-1) 로부터 선택되었고, 후보 타겟 매치들의 세트는 도 6b의 (6b-2) 로부터 검색되었다. 다양한 구현들에서, 방법 (45) 는 도 6b의 (6b-2) 로부터 소스 픽셀들로 시작해서 도 6b의 (6b-1) 에서 타겟 픽셀들의 세트 중에서 가장 가까운 이웃들을 검색함으로써, 좌-우 일관성 체크를 수행할 수 있다. 양쪽 모두의 방향들에서 가장 가까운 이웃 검색을 수행함으로써, 그 방법 (45) 은 매칭된 픽셀 쌍들이 정확하게 할당되도록 보장할 수 있다.
방법 (45) 는 판정 블록 (55) 으로 이동하여 매칭된 픽셀 쌍들이 모호성 (ambiguous) 인지, 예를 들면, 각각 매칭된 픽셀 쌍에 대해 높은 정도의 신뢰도가 있는지 여부를 결정한다. 다양한 구현들에서, 방법 (45) 은, 최소 유클리드 거리 dmin 와 n 다음-가장작은 유클리드 거리 di 를 후보 타겟 픽셀들의 세트에서 비교하는 거리 비 r 을 확립할 수 있다. 예를 들면, 일부 구현들에서, m번째 매칭된 픽셀 쌍에 대한 거리 비 rm 는 다음에 의해 계산될 수 있다:
높은 거리 비 rm, 예를 들면, 1 근처의 비는, 차별적이지 않은 매치를 반영할 수도 있는데, 왜냐하면 다른 이웃 디스크립터들은 소스 디스크립터로부터 유사한 거리 di 를 갖기 때문이다. 예를 들면, 약 0.95 미만인, 더 작은 값들을 갖는 거리 비들은 더 신뢰적인 매치를 낳을 수도 있다. 따라서, m번째 매칭된 쌍에 대한 거리 비 rm 가 일정 임계값을 초과하면, 방법 (45) 는 블록 (55) 에서 모호성 매치가 있다고 결정할 수도 있다. 모호성 매치가 있다고 결정되면, 그 방법 (45) 은 블록 (57) 로 이동하여 모호성 결과들을 폐기하기 위하여 추가 프로세싱으로부터 모호성 매칭된 픽셀 쌍들을 제거한다. 하지만, m번째 매칭된 쌍에 대한 거리 비 rm 가 일정 임계값보다 작으면, 방법 (45) 는 블록 (55) 에서 모호성 매치가 없다고 결정할 수도 있다. 모호성 매치가 없다고 결정되면, 방법 (45) 은 종결한다.
도 7은 도 4의 구현에 따라, 각 매칭된 픽셀 쌍에 가중치를 할당하기 위한 방법 (49) 의 플로우차트이다. 그 방법 (49) 은 블록 (71) 에서 시작하여 매칭된 픽셀 쌍들을 복수의 블록들로 세그먼트화한다. 블록들은 일반적으로, 이미지를 픽셀들의 다수의 그룹들로 분할할 수 있다. 예를 들면, 이미지는, 임의의 적합한 수의 블록들, 이를테면 예를 들어, 4 x 4, 8 x 8, 또는 10 x 10 어레이의 픽셀 블록들로 세그먼트화될 수 있다.
그 방법 (49) 은 블록 (73) 으로 진행하여 매칭된 픽셀 쌍에 대해 디스패리티 유사성 값을 산출한다. 도 4에 대해 전술된 바처럼, 픽셀 디스패리티 qm 는, 매칭된 픽셀 쌍에서 픽셀들간에 가시 및 NIR 이미지들에서의 픽셀 분리 거리를 지칭할 수도 있다. 예를 들면, 도 6b의 (6b-1) 및 도 6b의 (6b-2) 의 예로 되돌아가면, 매칭된 쌍의 픽셀들
Figure pct00032
및
Figure pct00033
은 도 6b의 (6b-1) 및 (6b-2) 에 나타낸 공통 좌표 프레임 R에서 거리에 의해 분리된다. 특히, 이 예의 매칭된 상의 픽셀들
Figure pct00034
및
Figure pct00035
에 대해 픽셀 디스패리티 qm 는 3 픽셀들인데, 왜냐하면 2개의 픽셀들이 3개의 픽셀들에 의해 수평으로 분리되고 제로 픽셀들에 의해 수직으로 분리되기 때문이다.
블록 (73) 에서, 방법 (49) 는 m번째 매칭된 쌍의 디스패리티 qm 이 최빈 디스패리티 (most frequent disparity) (또는 모드 디스패리티) q0 에, m번째 매칭된 쌍을 포함하는 블록내에서, 얼마나 가까운지 결정하는 디스패리티 유사성 값을 산출한다. 따라서, 특정 블록에 대해, 5의 이미지 디스패리티 q 가 그 블록에서 최빈 디스패리티이면, 모드 디스패리티 q0 는 5 픽셀들이다. 다양한 구현들에서, 디스패리티 유사성 값 sd(m) 이 다음에 의해 정의될 수 있다:
Figure pct00036
여기서 σd 는 분산 인자이고, 이는 다양한 구현들에서 1 일 수 있다. 따라서, 디스패리티 유사성 값 sd(m) 은, 특정 매치의 디스패리티가 블록내에서 최빈 디스패리티에 얼마나 가까운지를 비교할 수 있다.
다음으로, 그 방법 (49) 은, 블록 (75) 으로 이동하여 매칭된 픽셀 쌍에 대해 컬러 유사성 값 sc(m) 을 산출한다. 그에 의해 컬러 유사성 값은, 매칭된 픽셀 쌍의 컬러 값 cm 이 그 매칭된 픽셀 쌍을 포함하는 블록에서 모드 픽셀 디스패리티 q0 에 근처이거나 가까운 픽셀 디스패리티 qm 을 갖는 매칭된 픽셀 쌍들의 평균 컬러 값에 얼마나 가까운지를 결정하는데 사용될 수 있다. 예를 들면, 평균 컬러 값 c0 은, 모드 디스패리티 q0 로부터 미리 결정된 수의 픽셀들 t (예를 들면, 일부 배열들에서 t =2 픽셀들) 내에 있는 디스패리티 ql 를 갖는 l 픽셀들에 대해 계산될 수 있다. 따라서, 평균 컬러 c0 는 다음과 같이 계산될 수 있다:
Figure pct00037
평균 컬러 값 c0 를 고려할 때, 컬러-유사성 값 sc(m) 은 다음에 의해 계산될 수 있다:
Figure pct00038
여기서 σc 는 분산 인자이고, 이는 다양한 구현들에서 1 일 수 있다.
다음으로, 그 방법 (49) 은 블록 (77) 으로 진행하여 매칭된 픽셀 쌍에 가중치 w(m) 를 할당한다. 다양한 구현들에서, 할당된 가중치 w(m) 는 디스패리티 유사성 값 sd(m) 및 컬러 유사성 값 sc(m) 에 적어도 부분적으로 기초할 수 있다. 일부 구현들에서, 각 매칭된 쌍에 대한 가중치 w(m) 은 또한, 거리 비 rm 에 기초할 수 있고, 이는 위의 도 5의 블록 (55) 에서 산출되었다. 예를 들면, 다양한 구현들에서, m번째 매치에 대해 할당된 가중치 w(m) 는 다음 계산에 기초하여 할당될 수 있다:
Figure pct00039
따라서, 낮은 거리 비 rm 를 갖는 매치들은 일반적으로, 더 높은 거리 비를 갖는 것들보다 더 높은 가중치들을 가질 수도 있다. 또한, 디스패리티 유사성 값 및 컬러 유사 값이 증가함에 따라, 할당된 가중치 또한 증가할 수도 있다. 다양한 구현들에서, 일정 임계치를 초과하거나 또는 최고 가중치들인 가중치들 w(m) 만이, NIR 및 가시 이미지들을 정렬할 때 포함될 수도 있다. 예를 들면, 상위 50% 의 가중치들이 특정 블록내에서 선택되거나 유지될 수도 있다. 더 높은 가중치들 w(m) 만을 유지함으로써, 방법 (49) 는 유사한 디스패리티 및/또는 컬러 또는 강도를 갖는 그러한 매치들만을 유지할 수 있다. 도 4에 대해 전술된 바처럼, 더 높은 가중치들과 연관된 매칭된 쌍들은, NIR 과 가시 이미지들 사이에 호모그래픽 제약을 추정하는데 사용될 수도 있고, 그 호모그래피를 만족시키는 모든 매칭된 쌍들이 도 4의 정렬 단계 (42) 에서 유지될 수도 있다.
다음으로 방법 (49) 은 판정 블록 (79) 으로 진행하여 추가 매칭된 픽셀 쌍들이 있는지 결정한다. 추가 매칭된 픽셀 쌍들이 있다고 판정이 내려지면, 방법 (49) 은 블록 (73) 으로 리턴하여 매칭된 픽셀 쌍에 대한 디스패리티 유사성 값을 산출한다. 하지만, 추가 매칭된 픽셀 쌍들이 없다고 판정이 내려지면, 방법 (49) 은 종결한다.
도 4에 대해 전술된 바처럼, NIR 및 가시 이미지들은 블록 (42) 에서 정렬될 수 있고 정렬된 이미지들은 저장될 수 있다.
멀티스펙트럼 이미징 애플리케이션들
도 8은 도 3의 구현에 따라, 이미지 데이터를 프로세싱하기 위한 방법 (39) 의 플로우차트이다. NIR 및 가시 이미지들이 정렬되고 나면, 다양한 멀티스펙트럼 이미징 프로세스들이 정렬된 이미지들에 대해 수행될 수도 있다. 예를 들면, 방법 (39) 은 블록 (81) 에서 시작하여 정렬된 이미지 데이터를 수신하고, 이는 도 3의 단계 (37) 에 정렬된 정렬 NIR 및 가시 이미지들을 포함할 수 있다.
다음으로 방법 (39) 은, 판정 블록 (82) 으로 이동하여 사용자가 입체 이미징 애플리케이션들을 원하는지 결정한다. 입체 이미징이 요망된다고 판정이 내려지면, 방법 (39) 는 블록 (83) 으로 이동하여 정렬된 이미지 데이터를 도 2의 입체 이미징 모듈 (23) 로 전송하여 사용자를 위해 3D 이미지를 렌더링한다. 입체 이미징 애플리케이션들은 유리하게는, 사용자에게 3D 이미지를 나타낼 수 있다. 입체 애플리케이션들은, 3D 비디오 생성 및/또는 레인지 파인딩 (range-finding) 애플리케이션들에 사용될 수 있다. 예를 들면, 깊이 맵이, 여기에 설명된 바처럼, 이미징 디스패리티들에 기초하여 계산될 수 있다. 비디오 출력의 해상도를 매칭시키기 위하여, 깊이 맵은 기존 초해상 (super-resolution) 방법들을 사용하여 보다 높은 해상도를 달성하도록 보간될 수 있다. 당업자는, 다양한 입체 이미징 절차들이 사용될 수도 있다는 것을 이해할 것이다.
입체 이미징 및/또는 렌더링이 요망되지 않는다고 판정이 블록 (82) 에서 내려지면, 방법 (39) 은 판정 블록 (84) 으로 진행하여 하이브리드 이미징이 요망되는지 여부를 결정한다. 하이브리드 이미징이 요망되면, 방법 (39) 는 블록 (85) 으로 이동하여 정렬된 이미지 데이터를 하이브리드 이미징 모듈 (25) 로 전송한다. 여기에 설명된 바처럼, 하이브리드 이미징 프로세스들은, 고해상도 스틸 이미지 데이터 및 저해상도 비디오 데이터를 활용하는데 사용될 수 있다. 하이브리드 이미징은, 예를 들면, 이미지 디노이징, 디블러링, 초해상등을 포함하는 다양한 애플리케이션들에서 사용될 수도 있다. 위에서 언급된 바처럼, 개시된 멀티스펙트럼 이미징 시스템 (10) 은, 가시광 센서 (5) 가 고해상도 스틸 사진들을 취할 수 있는 한편, NIR 센서 (7) 가 장면의 저해상도 비디오를 취할 수 있도록 구성될 수도 있다. 물론, 대신에 NIR 센서 (7) 가 스틸 사진들을 취할 수도 있는 한편, 가시광 센서 (5) 가 비디오를 취할 수도 있다.
그러한 하이브리드 시스템들에서, 다양한 방법들이, 이미지를 캡쳐하는데 소요되는 시간 동안 카메라 및 장면의 상대적인 모션에 의해 야기된 모션 블러를 감소시키도록 채용될 수도 있다. 2개의 가시 센서들을 다루는 하나의 그러한 방법은, M. Ben-Ezra 및 S.K. Nayar 의 “Motion-based Motion Deblurring”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004 에 개시되어 있으며, 이는 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다. 이 방법에서, 고해상도 가시 (예를 들면, RGB) 센서는 이미지를 캡쳐하고, 저해상도 가시 (예를 들면, RGB) 모션 센서 (이를테면 비디오 카메라) 는 특정 장면의 이미지들을 캡쳐한다. 저해상도 비디오 카메라는, 카메라에 상대적인 장면의 모션을 나타내는 연속 포인트 확산 함수 (continuous point spread function) 를 산출하는데 사용된다. 디콘볼루션 (deconvolution) 접근법은, 고해상도 이미지를 디블러하는데 사용된다. 물론, 당업자가 인식하는 바처럼, 이들 방법들은, 이미지에서 모션 블러를 감소시키는 소수의 방법들일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
하이브리드 이미징이 요망되지 않는다고 판정이 블록 (84) 에서 내려지면, 방법 (39) 은 판정 블록 (86) 으로 이동하여 멀티스펙트럼 정보 프로세싱이 요망되는지를 결정한다. 여기에 설명된 바처럼, 멀티스펙트럼 이미징 시스템들, 이를테면 개시된 NIR-가시 멀티스펙트럼 이미징 시스템 (10) 은, 광대역폭의 광에 포함되는 풍부한 상세들을 이용할 수 있다. 멀티스펙트럼 정보 프로세싱이 요망된다고 블록 (86) 에서 판정이 내려지면, 방법 (39) 는 블록 (87) 으로 이동하여 정렬된 이미지 데이터를 멀티스펙트럼 정보 프로세싱 모듈 (27) 로 전송하여, 후술되는 다양한 멀티스펙트럼 프로세싱 기법들에 사용된다.
일반적으로, NIR 광은, 가시광 보다 더 나은 콘트라스트를 산출할 수도 있고 풍부한 상세들을 전하고, 이는 이미지 품질 향상, 이를테면, 콘트라스트 향상 및 이미지 헤이즈 제거를 위한 큰 가능성을 생성한다. 예를 들면, 일부 구현들에서, 이미지 콘트라스트는 X.P. Zhang, T. Sim, X.P. Miao, "Enhancing Photographs with Near Infrared Images", IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2008, Anchorage, US 에 개시된 방법들에 따라, 개시된 시스템 (10) 을 사용하여 증대될 수도 있고, 이는 참조에 의해 본원에 전부 및 모든 목적들을 위해 원용된다. 이 특정 방법에서, NIR 및 가시 이미지들은 평균 및 상세 웨이블릿 서브밴드들로 분해될 수도 있다. 밝기 및 텍스처 상세들은, 히스토그램 매칭 기법을 사용하여 NIR 이미지로부터 가시 이미지로 옮겨질 수도 있다.
콘트라스트 및 텍스처 향상의 추가 방법들은, 2010년 5월 13일자로 출원 (2010년 11월 18일 공개) 되고 발명의 명칭이 “Enhancing Photograph Visual Quality Using Texture and Contrast Data from Near Infra-red Image” 인 U.S. 특허 공개 공보 US 2010/0290703에 개시되어 있고, 이는 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다. ‘703 공보에 개시된 방법들에서, 가시 (예를 들면, RGB) 이미지로부터 가중치 영역 마스크가 산출된다. NIR 이미지로부터의 콘트라스트 및 텍스처 데이터가 가시 이미지로 가중 영역 마스크를 사용하여 옮겨지고, 웨이블릿 변환이 수행된다. 히스토그램 매칭 기법은, 가시 및 NIR 이미지들의 저주파수 서브밴드들을 사용하여 콘트라스트 데이터를 산출하는데 사용된다. 가시 및 NIR 이미지들 양자 모두의 고 주파수 서브밴드들이 텍스처 데이터를 계산하는데 사용된다. 물론, 당업자가 인식하는 바처럼, 이들 콘트라스트 및 텍스처 증대 방법들은, 멀티스펙트럼 이미징 시스템들에서 콘트라스트를 증대시키는 소수의 방법들일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
저조도 조건들에서, 여기에 개시된 멀티스펙트럼 이미징 시스템 (10) 은 저 조명 레벨로부터 발생되는 가시 (예를 들면, RGB) 이미지들에서 노이즈를 감소시키는데 사용될 수도 있다. 종래 저조도 시스템들에서, 가시 플래시 시스템은 종종, 이미징될 오브젝트들을 조명하는데 사용된다. 하지만, 그러한 인공 광이 이미지의 분위기를 망칠 수도 있고, 적목, 바람직하지 않은 반사들, 및 쉐도우들과 같은 원하지 않은 아티팩트들을 도입할 수도 있다. 저 조명 조건들에서 노이즈를 감소시키는 한편, 가시광 플래시와 연관된 문제들을 최소화하는 하나의 방법은, Shaojie Zhuo, Xiaopeng Zhang, Xiaoping Miao 및 Terence Sim 의 “Enhancing Low Light Images Using Near Infrared Flash Images”, International Conference on Image Processing 2010, Hong Kong 에 개시되어 있고, 이는 참조에 의해 본원에 전부 및 모든 목적들을 위해 원용된다. 이 방법에서, NIR 플래시 램프가 가시 플래시 대신 사용되고 종래 가시 이미징 센서 (이를테면 RGB 컬러 CCD) 는 이미지를 캡쳐한다. NIR 플래시 이미지는 가시 플래시에서 처럼 노이즈로 오염되지 않고, NIR 플래시 이미지는 저 조명 (lighting) 조건들에 의해 야기된 가시 (예를 들면, RGB) 이미지로부터 노이즈를 제거하기 위하여 디노이징 기법 (이를테면 가중 최소 자승 스무딩 (weighted least squares smoothing) 기법) 과 함께 사용될 수도 있다. 물론, 당업자가 인식하는 바처럼, 이 노이즈 감소 방법은 이미징 시스템들에서 노이즈를 감소시키는 하나의 방법일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
다른 경우들에서, 멀티스펙트럼 이미징 시스템 (10) 은 이미지들을 헤이즈 제거하는데 사용될 수도 있다. 예를 들면, 풍경 사진들에서 먼 오브젝트들은, 대기에서 레일리 산란에 기인하여 헤이즈가 낀 것으로 나타날 수도 있다. 이미지를 헤이즈 제거하는 것에 대한 하나의 접근법은, L. Schaul, C. Fredembach, 및 S. Susstrunk 의 “Color Image Dehazing using the Near-Infrared”, International Conference on Image Processing 2009, Cairo, Egypt 에 개시되어 있으며, 이는 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다. 이 방법에서, 특정 장면의 가시 및 NIR 이미지들이 융합된다. 에지 보존 필터링 (edge-preserving filtering) 을 사용한 멀티해상 접근법이 헤이즈를 감소시키기 위하여 채용된다. 물론, 당업자가 인식하는 바처럼, 이 방법은 이미지를 헤이즈 제거하는 하나의 방법일 뿐이다. 다른 적합한 방법들이 개시된 이미징 시스템에 대해 사용될 수도 있다.
또 다른 실시형태들에서, 개시된 하이브리드 이미징 시스템은 스킨 스무딩 애플리케이션들에서 사용될 수도 있다. 인물 사진 (portrait photography) 에서, 어떤 바람직하지 않은 스킨 특징들, 이를테면 주름 (wrinkle), 주근깨 (freckle), 그리고 점들이 이미지에 캡쳐될 수도 있다. 개시된 멀티스펙트럼 이미징 시스템 (10) 은, 많은 상이한 방법들에서 이들 바람직하지 않은 특징들을 제거 또는 스무딩하는데 사용될 수도 있다. 여러 그러한 방법들이 C. Fredembach, N. Barbuscia, 및 S. Susstrunk 의 “Combining visible and near-infrared images for realistic skin smoothing”, IS&T/SID 17th Color Imaging Conference 에 개시되어 있으며, 이는 참조에 의해 본원에 전부 그리고 모든 목적들을 위해 원용된다. Fredembach 등은 NIR을 사용한 스킨 특징들을 향상시키는 3개의 방법들을 개시한다. 제 1 방법에서, RGB 이미지의 루미넌스가 간단히 NIR 데이터로 치환될 수 있다. Fredembach 의 제 2 방법에서, NIR 및 RGB 이미지들은 웨이블릿 분해를 이용하여 융합될 수도 있다. 마지막으로, 제 3 방법에서, 쌍방의 에지 인식 공간 필터 (bilateral, edge-aware spatial filter) 가 이미지를 베이스 및 상세 계층들로 분해하고, NIR 이미지의 상세 계층을 가시 루미넌스의 베이스 계층으로 융합하고, 크로미넌스 정보를 추가하고, 마지막으로 결과적인 이미지를 다시 RGB 가시 이미지로 변환하는데 사용될 수도 있다. 물론, 당업자가 인식하는 바처럼, 이들 방법들은, 이미지에서 스킨을 스무딩하는 소수의 방법들일 뿐이다. 다른 적합한 방법들이 본 발명의 사상을 벗어남이 없이 개시된 이미징 시스템에 사용될 수도 있다는 것이 깨달아져야 한다.
도 8의 방법 (39) 으로 되돌아가면, 멀티스펙트럼 정보 프로세싱이 요망되지 않는다는 판정이 블록 (86) 에서 내려지면, 방법 (39) 는 종료된다. 따라서, 도 8의 방법 (39) 은 개시된 시스템 (10) 에 채용될 수 있는 다양한 멀티스펙트럼 이미지 프로세싱 기법들 및 애플리케이션들의 윤곽을 나타낸다.
정렬 프로세스의 예시적 구현
도 9a 내지 도 9c는 하나의 구현에 따른 이미지 정렬 프로세스의 다양한 스테이지들에서의 예시적인 이미지들이다. 도 9a 내지 도 9c 를 위한 실험들은, Samsung S5K4E1GX QSXGA CMOS 센서들의 쌍을 사용하여 캡쳐되었다. NIR 센서에 대해, 예를 들면, Kodak Wratten IR 필터 (#87C) 가 그 센서 위에 적용되었다. 도 9a는 테이블 상의 마네킹, 그리고 배경에 있는 의자 및 소파를 포함한 장면의 캡쳐된 이미지들의 쌍을 보여준다. 입력 NIR 이미지는 좌측에 보여져 있고, 입력 가시 (예를 들면, RGB) 이미지는 우측에 보여져 있다. 도 9b는 도 4의 단계 (45) 에 개시된 조밀 매칭 프로세스 후의 결과들을 보여주고, 도 9c는 이미지들이 도 4의 단계 (44) 에 정렬된 후의 결과들을 보여준다. 도 9c에 나타낸 바처럼, NIR 이미지는, 조밀 매칭 결과에 기초한 가시 이미지의 퍼스펙티브로 워핑 (warping) 되었다. 다양한 이미지 아티팩트들 (91) 이 도 9c의 워핑된 이미지에서 보여질 수 있다. 아티팩트들 (91) 은, 정렬 프로세스에서 결함들에 기인하여 약간의 오정렬을 나타낼 수도 있다. 또한, 아티팩트들 (91) 은, 다양한 폐색들에 기인하여, 예를 들면, 하나의 이미징 센서가, 다른 이미징 센서가 볼 수 있는 장면의 일부를 볼 수 없을 때, 일어날 수도 있다. 하지만, 도 9c에 나타낸 바처럼, 개시된 시스템 및 방법들의 결과들은 NIR 및 가시 이미지들이 정확히 정렬될 수 있다는 것을 보여준다.
용어에 대한 설명
또한, 당업자는, 여기에 개시된 예시적 구현들와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로, 및 프로세스 단계가 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 양자의 조합으로 구현될 수도 있음을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로, 및 단계가 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로 구현될지는, 전체 시스템에 부과된 설계 제약 및 특정한 애플리케이션에 의존한다. 당업자는 설명된 기능성을 특정 애플리케이션 각각에 대한 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 발명의 범위를 벗어나게 하는 것으로 해석되지는 않아야 한다. 당업자는, 일부 또는 일 부분이 전체 이하인 것을 포함할 수도 있다는 것을 인식할 것이다. 예를 들면, 픽셀들의 콜렉션의 일부는 그러한 픽셀들의 서브 콜렉션을 지칭할 수도 있다.
여기에 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트 또는 여기에 설명된 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 콘트롤러, 마이크로콘트롤러, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.
여기에 개시된 구현들과 관련하여 설명된 방법 또는 프로세스의 단계는 직접 하드웨어에, 프로세서에 의해 실행되는 소프트웨어 모듈에, 또는 그들의 조합에서 구체화 (embody) 될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 비일시적 저장 매체에 상주할 수도 있다. 예시적 컴퓨터 판독가능 저장 매체는 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독할 수 있고 컴퓨터 판독가능 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 다르게는, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC는 사용자 단말기, 카메라 또는 다른 디바이스에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 사용자 단말기, 카메라 또는 다른 디바이스에서 이산 컴포넌트들로서 상주할 수도 있다.
제목들 (Headings) 은 본원에서 참조를 위해 그리고 다양한 섹션들을 로케이팅 (locating) 하는 것을 돕기 위해 포함된다. 이들 제목들은 그에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않았다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능성 (applicability) 을 가질 수도 있다.
개시된 구현들의 이전의 설명은 당업자가 본 발명을 제조 또는 사용할 수 있게 하도록 제공된다. 이들 구현들에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 본 발명의 사상 또는 범위를 벗어남이 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 여기에 나타낸 구현들로 한정되도록 의도된 것이 아니라, 여기에 개시된 원리 및 신규한 특징들에 부합하는 최광의 범위가 허여되야 한다.

Claims (24)

  1. 근적외 (NIR) 이미징 센서와 가시 이미징 센서를 포함하는 시스템에서 NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법으로서,
    상기 NIR 이미징 센서로부터 NIR 이미지를 수신하는 단계;
    상기 가시 이미징 센서로부터 가시 이미지를 수신하는 단계;
    복수의 매칭된 픽셀 쌍들을 형성하기 위하여 상기 가시 이미지에 있는 픽셀들과 상기 NIR 이미지에 있는 픽셀들을 매칭시키는 단계;
    각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 단계;
    각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하는 단계; 및
    할당된 가중치에 적어도 부분적으로 기초하여 상기 가시 이미지와 상기 NIR 이미지를 정렬하는 단계
    를 포함하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  2. 제 1 항에 있어서,
    상기 NIR 이미지에 있는 픽셀들을 매칭시키는 단계는, 상기 가시 이미지와 상기 NIR 이미지에서 이미지 그레디언트들에 적어도 부분적으로 기초하여 상기 NIR 이미지와 상기 가시 이미지에서 각 픽셀에 대해 이미지 디스크립터들을 산출하는 단계를 포함하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  3. 제 1 항에 있어서,
    각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 단계는, 상기 매칭된 픽셀 쌍에서 픽셀들간에 상기 가시 이미지 및 상기 NIR 이미지에서의 픽셀 분리 거리를 산출하는 단계를 포함하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  4. 제 1 항에 있어서,
    매칭된 픽셀들의 각 쌍에 가중치를 할당하는 단계는, 상기 매칭된 픽셀 쌍들을 복수의 블록들로 세그먼트화하고 각 매칭된 픽셀 쌍에 대해 디스패리티 유사성 값과 컬러 유사성 값을 산출하는 단계를 포함하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  5. 제 1 항에 있어서,
    상기 가시 이미지와 상기 NIR 이미지를 정렬하는 단계는, 상기 가시 이미지와 상기 NIR 이미지 사이의 강도의 차이에 적어도 부분적으로 기초하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  6. 제 5 항에 있어서,
    상기 복수의 매칭된 픽셀 쌍들에 적어도 부분적으로 기초하여 상기 NIR 이미지와 상기 가시 이미지 중 하나를 상기 NIR 이미지와 상기 가시 이미지 중 다른 하나로 워핑하는 단계를 더 포함하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  7. 제 1 항에 있어서,
    상기 가시 이미지와 상기 NIR 이미지를 정렬하는 단계는 상기 NIR 이미지 및 상기 가시 이미지의 호모그래픽 제약을 만족시키는 할당된 상기 가중치에 적어도 부분적으로 기초하는, NIR 이미지와 가시 이미지를 정렬하기 위한 전자 방법.
  8. 멀티스펙트럼 이미징 시스템으로서,
    근적외 (NIR) 이미지를 캡쳐하도록 구성된 NIR 이미징 센서;
    가시광 이미지를 캡쳐하도록 구성된 가시광 이미징 센서;
    복수의 매칭된 픽셀 쌍들을 형성하기 위하여 상기 가시광 이미지에 있는 픽셀들과 상기 NIR 이미지에 있는 픽셀들을 매칭시키도록 프로그램된 조밀 매칭 모듈;
    희소 매칭 모듈로서, 각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하고, 각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하도록 프로그램된, 상기 희소 매칭 모듈;
    할당된 상기 가중치에 적어도 부분적으로 기초하여 상기 가시 이미지와 상기 NIR 이미지를 정렬하도록 프로그램된 정렬 이미지 형성 모듈; 및
    상기 시스템 상의 정렬 이미지를 저장하도록 프로그램된 저장 모듈
    을 포함하는, 멀티스펙트럼 이미징 시스템.
  9. 제 8 항에 있어서,
    상기 조밀 매칭 모듈은, 상기 가시 이미지와 상기 NIR 이미지에서 이미지 그레디언트들에 적어도 부분적으로 기초하여 상기 NIR 이미지와 상기 가시 이미지에서 각 픽셀에 대해 이미지 디스크립터들을 산출하도록 더 프로그램되는, 멀티스펙트럼 이미징 시스템.
  10. 제 9 항에 있어서,
    상기 조밀 매칭 모듈은 상기 복수의 매칭된 픽셀 쌍들을 형성하기 위하여 상기 가시 이미지에서 이미지 디스크립터들과 상기 NIR 이미지에서 이미지 디스크립터들을 매칭시키도록 구성되는, 멀티스펙트럼 이미징 시스템.
  11. 제 8 항에 있어서,
    상기 희소 매칭 모듈은, 상기 매칭된 픽셀 쌍들을 복수의 블록들로 세그먼트화하고 각 매칭된 픽셀 쌍에 대해 디스패리티 유사성 값과 컬러 유사성 값을 산출하도록 프로그램되는, 멀티스펙트럼 이미징 시스템.
  12. 제 8 항에 있어서,
    상기 정렬 이미지 형성 모듈은 상기 가시 이미지와 상기 NIR 이미지 사이의 강도의 차이에 적어도 부분적으로 기초하여 상기 가시 이미지와 상기 NIR 이미지를 정렬하도록 프로그램되는, 멀티스펙트럼 이미징 시스템.
  13. 제 8 항에 있어서,
    상기 정렬 이미지 형성 모듈은 상기 NIR 이미지 및 상기 가시 이미지의 호모그래픽 제약을 만족시키는 할당된 상기 가중치에 적어도 부분적으로 기초하여 상기 NIR 이미지와 상기 가시 이미지를 정렬하도록 프로그램되는, 멀티스펙트럼 이미징 시스템.
  14. 제 8 항에 있어서,
    상기 NIR 이미지와 상기 가시 이미지로부터 계산된 깊이 맵에 적어도 부분적으로 기초하여 3차원 이미지를 렌더링하도록 프로그램된 입체 이미징 모듈을 더 포함하는, 멀티스펙트럼 이미징 시스템.
  15. 제 8 항에 있어서,
    제 1 해상도에서 상기 가시 이미징 센서로부터 스틸 이미지 데이터 그리고 제 2 해상도에서 상기 NIR 이미징 센서로부터 비디오 이미지 데이터를 프로세싱하도록 프로그램된 하이브리드 이미징 모듈을 더 포함하고, 상기 제 2 해상도는 상기 제 1 해상도보다 낮은, 멀티스펙트럼 이미징 시스템.
  16. 제 8 항에 있어서,
    상기 시스템은 셀룰러 텔레폰인, 멀티스펙트럼 이미징 시스템.
  17. 제 8 항에 있어서,
    상기 NIR 이미징 센서로부터 캡쳐된 NIR 이미지 데이터를 프로세싱하여 상기 가시 이미징 센서로부터 캡쳐된 가시 이미지 데이터에서 콘트라스트를 향상시키도록 프로그램된 멀티스펙트럼 정보 프로세싱 모듈을 더 포함하는, 멀티스펙트럼 이미징 시스템.
  18. 이미징 시스템으로서,
    NIR 이미징 센서로부터 NIR 이미지를 수신하는 수단;
    가시 이미징 센서로부터 가시 이미지를 수신하는 수단;
    복수의 매칭된 픽셀 쌍들을 형성하기 위하여 상기 가시 이미지에 있는 픽셀들과 상기 NIR 이미지에 있는 픽셀들을 매칭시키는 수단;
    각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 수단;
    각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하는 수단; 및
    할당된 가중치에 적어도 부분적으로 기초하여 상기 가시 이미지와 상기 NIR 이미지를 정렬하는 수단
    을 포함하는, 이미징 시스템.
  19. 제 18 항에 있어서,
    상기 NIR 이미지를 수신하는 수단 및 상기 가시 이미지를 수신하는 수단은 통신 모듈을 포함하는, 이미징 시스템.
  20. 제 18 항에 있어서,
    상기 픽셀을 매칭시키는 수단은 조밀 매칭 모듈을 포함하는, 이미징 시스템.
  21. 제 18 항에 있어서,
    상기 픽셀 디스패리티들을 산출하는 수단은 희소 매칭 모듈을 포함하는, 이미징 시스템.
  22. 제 21 항에 있어서,
    상기 희소 매칭 모듈은 가중치 할당 수단을 더 포함하는, 이미징 시스템.
  23. 제 18 항에 있어서,
    상기 정렬하는 수단은 정렬 이미지 형성 모듈을 포함하는, 이미징 시스템.
  24. 코드를 저장한 비일시적 컴퓨터 판독가능 매체로서,
    상기 코드는, 실행될 때,
    상기 NIR 이미징 센서로부터 NIR 이미지를 수신하는 단계;
    상기 가시 이미징 센서로부터 가시 이미지를 수신하는 단계;
    복수의 매칭된 픽셀 쌍들을 형성하기 위하여 상기 가시 이미지에 있는 픽셀들과 상기 NIR 이미지에 있는 픽셀들을 매칭시키는 단계;
    각 매칭된 픽셀 쌍에 대해 픽셀 디스패리티들을 산출하는 단계;
    각 매칭된 픽셀 쌍에 대해 산출된 픽셀 디스패리티들에 적어도 부분적으로 기초하여 각 매칭된 픽셀 쌍에 가중치를 할당하는 단계; 및
    할당된 가중치에 적어도 부분적으로 기초하여 상기 가시 이미지와 상기 NIR 이미지를 정렬하는 단계를 포함하는 방법을 수행하는,
    코드를 저장한 비일시적 컴퓨터 판독가능 매체.
KR1020147015036A 2011-11-04 2012-10-31 멀티스펙트럼 이미징 시스템 KR101604249B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161555910P 2011-11-04 2011-11-04
US61/555,910 2011-11-04
US13/663,897 US9692991B2 (en) 2011-11-04 2012-10-30 Multispectral imaging system
US13/663,897 2012-10-30
PCT/US2012/062799 WO2013067012A1 (en) 2011-11-04 2012-10-31 Multispectral imaging system

Publications (2)

Publication Number Publication Date
KR20140088606A true KR20140088606A (ko) 2014-07-10
KR101604249B1 KR101604249B1 (ko) 2016-03-17

Family

ID=47178971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015036A KR101604249B1 (ko) 2011-11-04 2012-10-31 멀티스펙트럼 이미징 시스템

Country Status (7)

Country Link
US (1) US9692991B2 (ko)
EP (1) EP2774116B1 (ko)
JP (1) JP5908599B2 (ko)
KR (1) KR101604249B1 (ko)
CN (1) CN103999124B (ko)
IN (1) IN2014CN03104A (ko)
WO (1) WO2013067012A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651475B2 (en) 2020-07-24 2023-05-16 Samsung Electronics Co., Ltd. Image restoration method and device

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US8670630B1 (en) 2010-12-09 2014-03-11 Google Inc. Fast randomized multi-scale energy minimization for image processing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9058655B2 (en) * 2012-11-06 2015-06-16 Apple Inc. Region of interest based image registration
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US8837861B2 (en) * 2012-12-13 2014-09-16 Microsoft Corporation Bayesian approach to alignment-based image hallucination
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
GB2511863A (en) * 2013-03-15 2014-09-17 Infrared Integrated Syst Ltd Apparatus and method for multispectral imaging
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
KR102190619B1 (ko) * 2013-04-22 2020-12-14 삼성전자주식회사 데이터 정합 방법 및 데이터 정합 모듈
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US9598011B2 (en) * 2014-01-09 2017-03-21 Northrop Grumman Systems Corporation Artificial vision system
FR3017480B1 (fr) * 2014-02-07 2017-09-08 Thales Sa Procede de detection et de classification d'evenements d'une scene
FR3018147B1 (fr) * 2014-03-03 2016-03-04 Sagem Defense Securite Debruitage video optimise pour systeme multicapteur heterogene
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
CA2916062C (en) * 2014-04-18 2020-08-11 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
US10013764B2 (en) * 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9968285B2 (en) * 2014-07-25 2018-05-15 Christie Digital Systems Usa, Inc. Multispectral medical imaging devices and methods thereof
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
CN105513017B (zh) * 2014-10-14 2019-12-20 深圳力维智联技术有限公司 图像去雾处理方法、装置及摄像设备
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9948914B1 (en) 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
CN104899836B (zh) * 2015-05-06 2018-07-03 南京第五十五所技术开发有限公司 一种基于近红外多光谱成像的雾天图像增强装置及方法
US9547904B2 (en) 2015-05-29 2017-01-17 Northrop Grumman Systems Corporation Cross spectral feature correlation for navigational adjustment
WO2017029784A1 (ja) * 2015-08-19 2017-02-23 日本電気株式会社 画像位置合わせシステム、方法および記録媒体
US10168542B2 (en) * 2015-08-26 2019-01-01 Raytheon Company Polarized pixelated filter array with reduced sensitivity to misalignment for polarimetric imaging
WO2017035661A1 (en) * 2015-09-02 2017-03-09 Irystec Software Inc. System and method for real-time tone-mapping
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
KR102461144B1 (ko) 2015-10-16 2022-10-31 삼성전자주식회사 영상 연무 제거 장치
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
US10582179B2 (en) 2016-02-01 2020-03-03 Samsung Electronics Co., Ltd. Method and apparatus for processing binocular disparity image
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US10223775B2 (en) * 2016-09-14 2019-03-05 Omnivision Technologies, Inc. Array camera image combination with feature-based ghost removal
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
WO2019012647A1 (ja) * 2017-07-13 2019-01-17 日本電気株式会社 画像処理装置、画像処理方法およびプログラム記憶媒体
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10337857B2 (en) 2017-10-17 2019-07-02 Raytheon Company Multi-spectral boresight alignment methods and systems
US10436640B2 (en) 2017-10-17 2019-10-08 Raytheon Company Alignment assembly and method for multi-spectral optical systems
US11335106B2 (en) 2017-11-29 2022-05-17 Intel Corporation Methods and apparatus to convert images for computer-vision systems
KR20190097640A (ko) 2018-02-12 2019-08-21 삼성전자주식회사 영상 정합 방법 및 장치
CN114827573A (zh) * 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
CN108694715A (zh) * 2018-05-15 2018-10-23 清华大学 基于卷积稀疏编码的单相机rgb-nir成像系统
US10922802B2 (en) * 2018-09-04 2021-02-16 Richard H. Vollmerhausen Fusion of thermal and reflective imagery
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
US20200160560A1 (en) * 2018-11-19 2020-05-21 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence
CN109978926B (zh) * 2018-12-29 2021-05-25 深圳市行知达科技有限公司 一种图像自动融合方法、装置及终端设备
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
CA3157194C (en) 2019-10-07 2023-08-29 Boston Polarimetrics, Inc. Systems and methods for augmentation of sensor systems and imaging systems with polarization
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
WO2021111239A1 (en) * 2019-12-02 2021-06-10 ClairLabs Ltd. Cross-modality face registration and anti-spoofing
DE102019133515B3 (de) * 2019-12-09 2021-04-01 Cubert GmbH Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
JP2021190785A (ja) 2020-05-28 2021-12-13 セイコーエプソン株式会社 撮像装置、携帯型端末装置、及び撮像方法
KR102279867B1 (ko) * 2020-06-02 2021-07-21 주식회사 슈프리마아이디 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치
WO2021184027A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Tuning color image fusion towards original input color with adjustable details
WO2022167096A1 (en) * 2021-02-08 2022-08-11 Huawei Technologies Co., Ltd. Device and method for a multi-camera system
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
DE102021203812B4 (de) 2021-04-16 2023-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Optische Messvorrichtung und Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN117056377B (zh) * 2023-10-09 2023-12-26 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
JP3826236B2 (ja) 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
US7345277B2 (en) * 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
US6646799B1 (en) * 2000-08-30 2003-11-11 Science Applications International Corporation System and method for combining multiple energy bands to improve scene viewing
DE10348109A1 (de) 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
KR100551825B1 (ko) 2004-04-23 2006-02-13 삼성탈레스 주식회사 통계적 상관 관계를 이용한 영상의 정렬 방법
US7330593B2 (en) 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
JP2008511080A (ja) 2004-08-23 2008-04-10 サーノフ コーポレーション 融合画像を形成するための方法および装置
JP4710081B2 (ja) 2004-11-24 2011-06-29 株式会社国際電気通信基礎技術研究所 画像作成システム及び画像作成方法
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7570286B2 (en) 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
JP2007053621A (ja) 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
EP1806697B1 (en) 2006-01-10 2016-08-10 Microsoft Technology Licensing, LLC Segmenting image elements
ITTO20060214A1 (it) 2006-03-22 2007-09-23 Kria S R L Sistema di rilevamento di veicoli
JP2007334311A (ja) * 2006-05-18 2007-12-27 Nippon Hoso Kyokai <Nhk> 可視光・赤外光撮影光学系
US7809258B2 (en) * 2007-07-06 2010-10-05 Flir Systems Ab Camera and method for use with camera
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
IL191615A (en) * 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
JP5679978B2 (ja) 2010-03-19 2015-03-04 パナソニックＩｐマネジメント株式会社 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
CN101833767B (zh) 2010-05-10 2012-05-23 河南理工大学 数字图像中基于梯度与颜色特征的直线自动匹配方法
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
CN102012939B (zh) 2010-12-13 2012-11-14 中国人民解放军国防科学技术大学 综合颜色和局部不变特征匹配的动画场景自动标注方法
CN102231191B (zh) 2011-07-17 2012-12-26 西安电子科技大学 基于asift的多模态图像特征提取与匹配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651475B2 (en) 2020-07-24 2023-05-16 Samsung Electronics Co., Ltd. Image restoration method and device

Also Published As

Publication number Publication date
KR101604249B1 (ko) 2016-03-17
WO2013067012A1 (en) 2013-05-10
US20130250123A1 (en) 2013-09-26
CN103999124A (zh) 2014-08-20
CN103999124B (zh) 2018-10-26
EP2774116B1 (en) 2016-01-13
JP2015502058A (ja) 2015-01-19
IN2014CN03104A (ko) 2015-07-03
EP2774116A1 (en) 2014-09-10
US9692991B2 (en) 2017-06-27
JP5908599B2 (ja) 2016-04-26

Similar Documents

Publication Publication Date Title
KR101604249B1 (ko) 멀티스펙트럼 이미징 시스템
KR101175097B1 (ko) 파노라마 영상 생성 방법
US9171355B2 (en) Near infrared guided image denoising
TWI430184B (zh) 結合全色像素之邊緣映射
TWI467495B (zh) 利用全彩像素映射邊緣
CN107346061B (zh) 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9485495B2 (en) Autofocus for stereo images
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
EP3158532A1 (en) Local adaptive histogram equalization
CN113508416B (zh) 图像融合处理模块
WO2014165244A1 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
EP2987134A1 (en) Generation of ghost-free high dynamic range images
WO2011014419A1 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN107292828B (zh) 图像边缘的处理方法和装置
WO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
CN111510691A (zh) 颜色插值方法及装置、设备、存储介质
CN110909750A (zh) 图像差异检测方法及装置、存储介质、终端
Guthier et al. Histogram-based image registration for real-time high dynamic range videos
KR101229376B1 (ko) 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치
CN115861115A (zh) 图像虚化方法、装置、电子设备及存储介质
CN117745563A (zh) 一种双摄像头结合的平板电脑增强显示方法
Febna et al. SIGNIFICANCE MAP BASED CONTENT AWARE IMAGE RESIZING
JP2016085593A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 4