KR101655742B1 - 다중 조리개 촬영용 플래시 시스템 - Google Patents

다중 조리개 촬영용 플래시 시스템 Download PDF

Info

Publication number
KR101655742B1
KR101655742B1 KR1020137003817A KR20137003817A KR101655742B1 KR 101655742 B1 KR101655742 B1 KR 101655742B1 KR 1020137003817 A KR1020137003817 A KR 1020137003817A KR 20137003817 A KR20137003817 A KR 20137003817A KR 101655742 B1 KR101655742 B1 KR 101655742B1
Authority
KR
South Korea
Prior art keywords
image
spectrum
radiation
image data
scene
Prior art date
Application number
KR1020137003817A
Other languages
English (en)
Other versions
KR20130140617A (ko
Inventor
앤드류 오거스틴 웨이제이에스
Original Assignee
주식회사 듀얼어퍼처인터네셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀얼어퍼처인터네셔널 filed Critical 주식회사 듀얼어퍼처인터네셔널
Publication of KR20130140617A publication Critical patent/KR20130140617A/ko
Application granted granted Critical
Publication of KR101655742B1 publication Critical patent/KR101655742B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

장면 영상을 형성하는 시스템 및 방법이 제공된다. 방법은 영상 센서를, 하나의 조리개를 이용하여 EM 스펙트럼의 한 부분으로부터의 방사에 노출시키고, 처음의 조리개와 다른 크기를 가지는 또다른 조리개를 이용하여 EM 스펙트럼의 또다른 부분으로부터의 방사에 노출시켜 장면 영상을 획득하는 단계를 포함한다. 영상을 포착하는 동시에, 장면은 EM 스펙트럼의 제 2 부분으로부터의 방사로 조명된다. 영상은 그 때 EM 스펙트럼의 제 1 부분으로부터의 방사에 의해 생성된 영상 데이터및 EM 스펙트럼의 제 2 부분으로부터의 방사에 의해 생성된 영상 데이터를 기초로 생성된다.

Description

다중 조리개 촬영용 플래시 시스템{FLASH SYSTEM FOR MULTI-APERTURE IMAGING}
본 발명은 다중 조리개 영상 데이터를 처리하는 방법에 관한 것으로, 특히 비배타적으로, 장면 영상을 형성하는 방법 및 시스템, 그리고 상기 방법을 이용하는 컴퓨터 프로그램 제품에 관한 것이다.
오늘날 카메라에 사용되는 모든 광학 시스템에 존재하는 한계는 조리개와 피사계 심도(Depth of Field, DOF) 간의 트레이드 오프이다. 조리개는 카메라로 들어오는 빛의 양을 결정하고, DOF는 영상이 포착될 때 초점이 맞는 카메라로부터의 거리 범위를 결정한다. 조리개가 개방될수록(더 많은 빛을 수용할수록), DOF는 더욱 제한된다.
많은 응용에서, 조리개와 DOF 간의 트레이드 오프는 명백해지고 있다. 예를 들면, 대부분의 모바일 폰들은 고정 초점 렌즈를 구비하여 제한된 범위에 있는 대상에 대해서만 초점을 맞춘다. 또한 카메라가 상대적으로 작게 조여진 조리개를 구비하여 가능한 많은 물체에 대해 초점을 맞출 수 있도록 보장해야 한다는 점에서 카메라의 조리개 설정에 대한 제약이 종종 발생한다. 상기 트레이드 오프는 일반적으로 팩터 4 또는 8(F4 또는 F8)에 의해 셔터 속도를 감소시키는 저조도의 상황에서 카메라 성능을 떨어뜨린다.
게다가, 저조도 응용에서, 넓은 조리개 개방이 필요하며, 그 결과 DOF에서 손실이 발생한다. 물체가 카메라로부터 서로 다른 거리에 있는 사진에서, 일부 물체는 집속 렌즈를 구비하여도 초점 밖으로 벗어나게 된다. 광 조리개 렌즈(wide aperture lense)는 광학 성능에 대한 더 큰 정밀도를 필요로 하며, 따라서 고비용이다.
DOF를 향상시키기 위한 기술들이 종래에 알려져 있다. 하나의 기술은 "포커스 스태킹(focus stacking)으로 불리며 시간상 이어지는 지점 및 다른 초점 거리에서 획득된 다중 영상들을 결합하여 임의의 개별 소스 영상들보다 더 큰 피사계 심도, DOF를 구비하는 결과 영상을 생성하는 것이다. 포커스 스태킹의 구현은 카메라 전자 공학 및 상당한 (비선형) 프로세싱의 채택과 상대적으로 큰 영상 데이터 량에 대한 영상 분석을 필요로 한다. 게다가, 포커스 스태킹은 시간상 이어지는 모멘트에서 획득된 다중 영상을 필요로 하므로, 상기 기술은 모션 블러(motion blur)에 민감하다.
다른 접근방식은 그린 등(Green et al.)에 의한 기술, "다중 조리개 포토그라피", ACM 트랙잭션 온 그래픽스(ACM transactions on Graphics), 26(3), 2007년 7월, 페이지 68:1-69:7 에서 개시되어 있다. 상기 논문에서 저자는 동시에 서로 다른 조리개 크기로 다중 영상을 포착하는 시스템을 이용하여 FOD를 증가시킬 것을 제안한다. 상기 시스템은 조리개를 중심 디스크와 동심 링으로 분할하는 조리개 분할 미러를 사용한다. 그러나 조리개 분할 미러는 제작이 복잡하며, 높은 광학 수차를 발생시킨다. 게다가 카메라에서 상기 분할 미러를 구현하는 것은 정밀한 얼라인먼트를 요구하는 상대적으로 복잡한 광학 시스템을 필요로 한다.
따라서, 본 기술분야에서는 영상 시스템에서 DOF를 개선할 간단하고 저렴한 방법 및 시스템에 대한 요구가 있다.
국제특허출원 PCT/EP2009/050502 및 PCT/EP2009/060936 의 PCT 출원들은 여기에 참조로 포함되었으며, 컬러 및 적외선 영상 기술 둘을 결합하는 광학 시스템의 사용을 통해 고정 초점 렌즈 영상 시스템의 DOF를 연장하는 방법을 기재한다. 컬러 및 적외선 스펙트럼 둘 다에서 영상 처리를 위해 채택되는 영상 센서와 파장 선택적인 다중 조리개를 결합하여 이용하면, 단순하고 비용 효율적인 방식으로 고정 초점 렌즈를 구비한 디지털 카메라에 대한 ISO 속도를 증가시키고 DOF를 연장할 수 있다. 상기 기술은 기존의 디지털 영상 시스템에 대해 작은 변경만을 요구하며 따라서 상기 프로세스는 대량 생산에 특히 적합하다.
게다가, 국제특허출원 PCT/EP2010/052151 및 PCT/EP2010/052154의 PCT 출원들 또한 참조로 포함되었으며, 다중 조리개 영상 시스템의 이용을 통해 심도 맵(depth map)을 생성하는 방법을 기술한다.
비록 다중 조리개 영상 시스템의 이용이 기존의 디지털 영상 시스템에 비해 상당한 유리한 점을 제공하나, 본 기술분야에서 다중 조리개 영상 시스템에 더욱 확장된 기능을 제공하는 방법 및 시스템에 대한 요구가 있다.
따라서, 본 발명의 목적은 종래 기술 분야에서 알려진 흠결중 적어도 하나를 줄이거나 제거하는 데 있다.
제 1 양태에서, 본 발명은 장면 영상을 형성하는 방법과 관련되어 있다. 상기 방법은, 영상 센서를, 적어도 제 1 조리개를 사용하여 전자기(electromagnetic, EM) 스펙트럼의 제 1 부분으로부터의 방사에 노출하고, 제 1 조리개와 다른 사이즈를 구비한 제 2 조리개를 적어도 사용하여 EM 스펙트럼의 제 2 부분으로부터 방사에 노출하여 상기 장면의 제 1 영상을 포착하는 단계와 EM 스펙트럼의 제 1 부분으로부터 방사에 의해 생성된 제 1 영상의 영상 데이터와 EM 스펙트럼의 제 2 부분으로부터 방사에 의해 생성된 제 1 영상의 영상 데이터를 기초로 장면 영상을 형성하는 단계를 포함한다. 제 1 영상을 포착하면서 동시에, 장면은 EM 스펙트럼의 제 2 부분으로부터의 방사로 조명된다.
기재된 바와 같이, "방사로 장면을 조명하기"는 광파장의 EM 방사로 장면을 조명하는 것을 의미한다(즉, 적외선, 가시광선 혹은 자외선 방사). 게다가, 기재된 바와 같이, "영상을 포착하는 것과 동시에 방사로 장면을 조명하기"는 조명 작용이 적어도 영상 센서를 방사에 노출하는 작용의 적어도 일부분과 동시에 일어나는 것을 의미한다. 조명 기간은 영상 센서를 방사에 노출하는 기간보다 작을 수 있다.
영상 센서를 광학 시스템의 2개의 다른 조리개로부터의 방사에 노출시킴으로써, 광학 시스템의 DOF는 아주 간단한 방식으로 개선될 수 있다. 상기 방법은 고정 초점 렌즈가 상대적으로 넓은 조리개를 가지도록 허용하며, 따라서 저조도 상황에서 효율적으로 운영되며, 반면 동시에 큰 DOF를 제공하여 더 선명한 사진을 얻게 한다. 게다가, 상기 방법은 효율적으로 렌즈의 광성능을 증가시키며, 동일한 성능을 얻기 위해 요구되는 렌즈 비용을 감소시킨다.
제 2 양태에서, 본 발명은 장면 영상을 형성하기 위한 다중 조리개 영상 시스템과 관련된다. 상기 시스템은, 플래시, 영상 센서, 파장 선택적인 다중 조리개 및 프로세싱 모듈을 포함한다. 파장 선택적인 다중 조리개는, 영상 센서를, 적어도 제 1 조리개를 사용하여 EM 스펙트럼의 제 1 부분으로부터 방사에 노출하고 제 1 조리개와 사이즈가 다른 제 2 조리개를 적어도 사용하여 EM 스펙트럼의 제 2 부분으로부터 방사에 노출하여, 제 1 영상을 포착하도록 구성된다. 상기 프로세싱 모듈은 EM 스펙트럼의 제 1 부분으로부터 방사에 의해 생성된 제 1 영상의 영상 데이터에 기초하고, EM 스펙트럼의 제 2 영상으로부터 방사에 의해 생성된 제 1 영상의 영상 데이터에 기초하여 장면 영상을 형성하도록 구성된다. 플래시는 제 1 영상을 포착하는 동시에 EM 스펙트럼의 제 2 부분으로부터의 방사로 장면을 조명하도록 구성된다.
청구항 제 2 항 내지 제 5 항, 제 11 항 및 제 12항은 조명 파라미터를 설정하는 다양한 유리한 실시예를 개시한다. 조명 파라미터는 예를 들어 EM 스펙트럼의 제 2 부분으로부터 방사로 장면을 조명하는 기간 및/또는 강도를 포함한다.
청구항 제 6 항은 EM 스펙트럼의 제 2 부분에서 방사 레벨이 미리 결정된 한계점에 도달할 때, 조명 차단을 가능하게 한다. 상기 한계점은 예를 들면 특정 절대값에 도달하거나 혹은 EM 스펙트럼의 제 1 부분으로터 방사에 관해 특정 레벨에 도달하는 EM 스펙트럼의 제 2 부분에서 방사 강도를 포함할 수 있다.
제 7 항은 영상 센서의 단일 노출이 작은 조리개 및 큰 조리개 영상 정보 둘다를 효율적으로 포착하게 하고 따라서 포커스 스태킹과 같은 종래 기술을 사용하면 발생하는 모션 블러 효과를 감소시키는 것을 가능하게 한다.
제 8 항은 작은 조리개 영상 데이터에 의해 생산되는 고주파 정보를 통해, 선명한 영상 정보가 쉽게 접근되는 실시예를 제공한다.
제 9 항은 전자기 스펙트럼의 제 1 부분이 가시 스펙트럼의 적어도 일부분과 관련되고, 및/또는 전자기 스펙트럼의 제 2 부분이 비가시 스펙트럼, 바람직하게는 적외선 스펙트럼, 의 적어도 일 부분과 관련되는 것을 제공한다. 적외선 스펙트럼의 사용은 영상 센서의 감도를 효율적으로 사용하게 하여, 신호대 잡음비를 상당히 개선한다.
조리개 시스템의 광학 특징은 광학 시스템에 사용된 광학 렌즈 시스템 및/또는 영상 센서의 타입에 대해 쉽게 변경되고 최적화될 수 있다. 일 실시예는 적외선 방사에 대한 실리콘 영상 센서의 감도를 채택할 수 있다.
본 발명의 추가적인 양태는 상기한 바와 같이 다중 조리개 영상 시스템에서 사용하기 위한 플래시 컨트롤러에 대한 것이다.
본 발명의 추가적인 양태는 디지털 카메라 시스템에 관한 것이며, 바람직하게는 모바일 단말에서 사용되는 디지털 카메라 시스템에 대한 것으로, 상기한 다중 조리개 영상 시스템을 포함하며, 또한 영상 데이터를 처리하기 위한 컴퓨터 프로그램 제품에 관한 것이며, 상기 컴퓨터 프로그램 제품은 컴퓨터 시스템의 메모리에서 작동하며, 상기한 바와 같은 방법을 실행하도록 구성되는 소프트웨어 코드 부분을 포함한다.
본 발명은 첨부된 도면을 참고로 더 상세히 설명될 것이며, 도면은 본 발명에 따르는 실시예를 도식적으로 보여줄 것이다. 본 발명은 어떤 방식으로도 상기 특정 실시예로 제한되는 것은 아니라는 점을 알 수 있을 것이다.
따라서 본 발명에 따르면, 종래 기술분야에서 알려진 흠결을 줄이거나 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따르는 다중 조리개 영상 시스템을 도시한다.
도 2는 디지털 카메라의 컬러 응답을 도시한다.
도 3은 핫 미러 필터의 응답과 실리콘 응답을 도시한다.
도 4는 다중 조리개 시스템을 이용하는 도식적인 광학 시스템을 도시한다.
도 5는 본 발명의 일 실시예를 따르는 다중 조리개 영상 시스템을 사용하는 영상 처리 방법을 도시한다.
도 6a는 본 발명의 일 실시예를 따르는 심도 함수를 판정하는 방법을 도시한다,
도 6b는 거리 함수로서 적외선 정보와 고주파 컬러를 나타내는 그래프 및 심도 함수의 도식을 나타낸다.
도 7은 본 발명의 실시예에 따라 심도 맵을 생성하는 방법을 도시한다.
도 8은 본 발명의 일 실시예에 따라 입체적인 시각을 획득하는 방법을 도시한다.
도 9는 본 발명의 일 실시예에 따라 피사계 심도를 제어하는 방법을 도시한다.
도 10은 본 발명의 일 실시예에 따라 초점 포인트를 제어하는 방법을 도시한다.
도 11은 본 발명의 다른 실시예에 따라 다중 조리개 시스템을 사용하는 광학 시스템을 도시한다.
도 12는 본 발명의 다른 실시예에 따라 심도 함수를 판정하는 방법을 도시한다.
도 13은 본 발명의 다른 실시예에 따라 피사계 심도를 제어하는 방법을 도시한다.
도 14는 다중 조리개 영상 시스템에서 사용되는 다중 조리개 시스템을 도시한다.
도 15는 본 발명의 다른 실시예에 따르는 다중 조리개 영상 시스템을 도시한다.
도 16은 본 발명의 일 실시예에 따르는 플래시를 구비하는 다중 조리개 영상 시스템을 사용하는 영상 처리 방법을 도시한다.
도 17은 본 발명의 다른 실시예에 따르는 플래시를 구비하는 다중 조리개 영상 시스템을 사용하는 영상 처리 방법을 나타낸다.
도 1은 본 발명의 일 실시예를 따르는 다중 조리개 영상 시스템을 나타낸다. 영상 시스템은 디지털 카메라의 일부일 수 있고, 또는 모바일 폰, 웹캠, 생체 계측 센서, 영상 스캐너 또는 영상 포착 기능을 요구하는 다른 멀티미디어 장치에 통합될 수 있다. 도 1에 도시된 시스템은 영상 센서(102), 장면에서 물체를 영상 센서의 영상면으로 초점을 맞추기 위한 렌즈 시스템(104), 셔터(106) 그리고 EM 스펙트럼의 제 1 부분, 예를 들어 가시 부분의 빛과 EM 스펙트럼의 적어도 제 2 부분, 예를 들어 EM 스펙트럼의 적외선 부분과 같은 비가시 부분의 빛(전자기 방사)이 제어된 방식으로 영상 시스템으로 진입하게 하는 기결정된 수의 조리개를 포함하는 조리개 시스템(108)을 포함한다.
다중 조리개 시스템(108)은 , 이하 더 상세히 설명될 것이며, 영상 센서가 가시 부분에서, 선택적으로는 비가시 부분에서, 예를 들면 EM 스펙트럼의 적외선 부분에서, 빛에 노출되는 것을 제어하도록 구성된다. 특히, 다중 조리개 시스템은 적어도 영상 센서를 EM 스펙트럼의 제 1 부분으로 노출하기 위한 제 1 사이즈의 제 1 조리개를 정의하고 영상 센서를 EM 스펙트럼의 제 2 부분으로 노출하기 위한 제 2 사이즈의 제 2 조리개를 적어도 정의한다. 예를 들면, 일 실시예에서, EM 스펙트럼의 제 1 부분은 컬러 스펙트럼과 관련되며, 제 2 부분은 적외선 스펙트럼과 관련된다. 다른 실시예에서, 다중 조리개 시스템은 각각 영상 센서를 EM 스펙트럼의 기결정된 범위내에서 방사에 노출시키도록 설계된 기결정된 수의 조리개를 포함할 수 있다.
영상센서를 EM 방사에 노출시키는 것은 셔터(106)및 다중 조리개 시스템의 조리개에 의해 제어된다. 셔터가 오픈되면, 조리개 시스템은 영상 센서(102)를 노출시키는 빛의 시준(collimation) 정도 및 빛의 양을 제어한다. 셔터는 기계적 셔터일 수도 있고 또는 선택적으로, 셔터는 영상 센서에 통합된 전기적 셔터일 수도 있다. 영상 센서는 2차원 픽셀 어레이를 형성하는 감광 사이트(픽셀)의 행과 열을 포함한다. 영상 센서는 CMOS(Complimentary Metal Oxide Semiconductor, 상보형금속산화반도체) 활성 픽셀 센서 이거나 또는 CCD(Charge Coupled Device, 전하결합소자) 영상 센서일 수 있다. 선택적으로, 영상 센서는 다른 실리콘(Si, 예를 들면 아몰퍼스 실리콘(a-Si)), 3족-5족(III-V, 예를 들면,갈륨 비소 (GaAs))) 또는 전도성 고분자 기반 영상 센서 구조이다.
빛이 렌즈 시스템에 의해 영상 센서로 투사되면, 각 픽셀은 전기 신호를 생산하고, 상기 신호는 상기 픽셀상의 전자기 방사(에너지) 입사에 대해 비례적이다. 컬러 정보를 획득하고 영상 센서의 영상면으로 투사되는 영상의 컬러 컴포넌트를 분리하기 위해, 일반적으로 컬러 필터 어레이(120, CFA)가 렌즈 및 영상 센서 사이에 놓여진다. 컬러 필터 어레이는 영상 센서와 통합되어 영상 센서의 각 필터는 대응하는 픽셀 필터를 갖는다. 각 컬러 필터는 기결정된 컬러 대역의 빛을 픽셀로 통과시키도록 채택된다. 일반적으로 레드, 그린 및 블루(RGB) 필터의 결합이 사용되며, 그러나 다른 필터 스킴도 사용가능하며, 예를 들어 CYGM(cyan, yellow, green, magenta), RGBE(red, green, blue, emerald) 등이 있다.
노출된 영상 센서의 각 픽셀은 픽셀과 연관되어 컬러 필터를 통과한 전자기 방사에 비례하는 전기 신호를 생산한다. 픽셀 어레이는 따라서 컬러 필터 어레이를 통과한 전자기 에너지(방사)의 공간 분산을 나타내는 영상 데이터(프레임)를 생산한다. 픽셀로부터 수신된 신호는 하나 혹은 그 이상의 온칩 증폭기를 사용하여 증폭될 수 있다. 일 실시예에서, 영상 센서의 각 컬러 채널은 분리된 증폭기를 이용하여 증폭될 수 있고, 따라서 다른 컬러에 대한 ISO 스피드를 개별적으로 제어할 수 있도록 한다.
게다가, 픽셀 신호는 하나 혹은 그 이상의 아날로그-디지털(A/D) 컨버터(110)를 사용하여 샘플링되고, 정량화되며 디지털 포맷 워드로 변환되며, 컨버터는 영상 센서의 칩 상에 통합될 수 있다. 디지털화된 영상 데이터는 영상 센서에 결합된 디지털 신호 프로세서(DSP, 112)에 의해 처리될 수 있고, 보간, 필터링, 화이트 밸런스, 휘도 보정, 데이터 압축 기술(예를 들면 MPEG 또는 JPEG 타입 기술)과 같은 잘 알려진 신호 처리 기능을 수행하도록 구성된다. DSP는 중앙 프로세서(114), 포착된 영상을 저장하는 스토리지 메모리(116) 및 영상 데이터를 처리하기 위해 DSP에 의해 사용되는 또는 영상 시스템의 운영을 관리하기 위해 중앙 프로세서에 의해 사용되는 하나 이상의 소프트웨어 프로그램을 포함하는 EEPROM 또는 다른 형태의 비휘발성 메모리와 같은 프로그램 메모리(118)에 연결된다.
게다가, DSP는 다중 조리개 영상 시스템에 의해 포착된 영상과 관련된 심도 정보를 획득하도록 구성된 하나 이상의 신호 처리 기능(124)을 포함할 수 있다. 상기 신호 처리 기능은 고정 렌즈 다중 조리개 영상 시스템에 가변 DOF 및 초점 제어 를 포함하는 확장된 영상 기능성과 입체적인 3D 영상 시각 능력을 제공할 수 있다. 상기 신호 처리 기능과 관련된 세부 사항과 이점들은 이하에서 더욱 상세하게 논의될 것이다.
상술한 바와 같이, 영상 시스템의 감도는 적외선 영상 기능을 사용하여 확장된다. 결국, 렌즈 시스템은 가시광선 및 적외선 방사( 또는 적어도 적외선 방사의 일부) 양자가 영상 시스템으로 진입하는 것을 가능하도록 구성된다. 렌즈 시스템의 전면에서 필터는 적외선 방사의 적어도 일부가 영상 시스템으로 진입하도록 구성된다. 특히, 상기 필터들은 적외선 블로킹 필터를 포함하지 않으며, 일반적으로 핫-미러 필터로 언급되며, 적외선 방사가 카메라로 들어가는 것을 막는 종래의 컬러 영상 카메라에서 사용된다.
따라서, 다중-조리개 영상 시스템에 들어가는 EM 방사(122)는 그 결과 EM .스펙트럼의 가시적인 그리고 적외선 부분과 관련된 두가지 방사를 포함할 수 있고, 따라서 적외선 스펙트럼에 대한 영상 센서의 광응답의 확대를 가능하게 한다.
종래 CFA 컬러 영상 센서상에서 적외선 블로킹 필터(가 없는 것)의 효과는 도 2-3에서 도시되어 있다. 도 2a 및 2b에서, 커브(202)는 적외선 블로킹 필터(핫미러 필터)가 없는 디지털 카메라의 전형적인 컬러응답을 나타낸다. 그래프 A는 핫 미러 필터의 사용 효과를 더 상세히 나타낸다. 핫 미러 필터(210)의 응답은 가시 스펙트럼에 대한 영상 센서의 스펙트럼 응답을 제한하며, 따라서 실질적으로 영상 센서의 전반적인 감도를 제한한다. 핫 미러 필터가 제거되면, 적외선 방사의 일부는 컬러 픽셀 필터를 통과할 것이다. 상기 효과는 블루 픽셀 필터(204), 그린 픽셀 필터(206) 및 레드 픽셀 필터(208)를 포함하는 종래 컬러 픽셀의 광응답을 설명하는 그래프 B에 의해 도시된다. 컬러 픽셀 필터들은, 특히 레드 픽셀 필터는, (부분적으로) 적외선 방사를 투과하여 픽셀 신호의 일부가 적외선 방사에 기인할 수 있다.상기 적외선의 원인 제공으로 인해 컬러 밸런스가 왜곡되어 소위 거짓 컬러를 포함하는 영상을 야기한다.
도 3은 핫 미러 필터(302)의 응답 및 실리콘(304, 즉 디지털 카메라에서 사용되는 영상 센서의 주요 반도체 컴포넌트) 응답을 도시한다. 상기 응답은 적외선 방사에 대한 실리콘 영상 센서의 감도가 가시 광선에 대한 감도보다 대략 4배 높다는 것을 명확하게 나타낸다.
도 2 및 3에 의해 도시된 영상 센서에 의해 제공되는 스펙트럼 감도의 유리한 점을 취하기 위해, 도 1의 영상 시스템에서 영상 센서(102)는 종래의 영상 센서일 수 있다. 종래 RGB 센서에서, 적외선 방사는 주로 레드 픽셀에 의해 감지된다. 이 경우, DSP는 레드 픽셀 신호를 처리하여 저잡음 적외선 정보를 추출할 수 있다. 상기 프로세스는 이하에서 더 상세히 기술될 것이다. 대안적으로, 영상 센서는 특히 적어도 적외선 스펙트럼의 일부를 영상 처리하도록 구성될 수 있다. 영상 센서는 예를 들면 컬러 픽셀과 함께 하나 이상의 적외선(I) 픽셀을 포함할 수 있고, 따라서 영상 센서가 RGB 컬러 영상과 상대적으로 저잡음 적외선 영상을 생산하도록 한다.
적외선 픽셀은 광 사이트를 필터 재료로 덮음으로써 실현될 수 있고, 실질적으로 가시 광선을 막고 실질적으로 적외선 방사를 투과하며, 바람직하게는 대략 700 에서 1100 nm 영역내의 적외선 방사이다. 적외선 투과 픽셀 필터는 적외선/컬러필터 어레이(ICFA) 내에 제공될 수 있으며, 스펙트럼의 적외선 대역 파장에 대한 높은 투과율을 가지는 잘 알려진 필터 재료를 사용하여 구현될 수 있고, 예를 들면, "DARC 400" 이란 상표로 브루어 사이언스(Brewer Science)에 의해 판매되는 블랙 폴리아미드 물질이다.
상기 필터를 구현하기 위한 방법은 US2009/0159799에 기술되어 있다. ICFA는 픽셀 블록을 함유할 수 있고, 예를 들면 2 X 2 픽셀이며, 각 블록은 레드, 그린, 블루 및 적외선 픽셀을 포함한다. 노출되면, 상기 영상 ICFA 컬러 영상 센서는 RGB 컬러 영상 정보 및 적외선 정보 둘다를 포함하는 로 모자이크(raw-mosaic) 영상을 생산하다. 알려진 디모자이킹(demosaicking) 알고리즘을 사용하여 로 모자이크 영상을 처리한 이후, RGB 컬러 영상 및 적외선 영상이 획득될 수 있다. 상기 ICFA 영상 컬러 센서의 적외선 방사에 대한 감도는 블록에서 적외선 픽셀 수를 증가시킴으로써 증가될 수 있다. 하나의 구성에서(미도시), 영상 센서 필터 어레이는 예를 들어 4개의 컬러 픽셀 RGB와 12개의 적외선 픽셀을 포함하는, 16개 픽셀의 블록을 포함할 수 있다.
ICFA 영상 컬러 센서 대신에, 다른 실시예에서, 영상 센서는, 각 광 사이트가 기술분야에서 알려진 복수의 적층된 포토 다이오드를 포함하는 광-사이트 어레이에 관련될 수 있다. 바람직하게, 상기 적층 포토-사이트는 적어도 주 컬러 RGB와 적외선 각각에 반응하는 적어도 네 개의 적층 포토 다이오드를 포함할 수 있다. 상기 적층 포토 다이오드는 영상 센서의 실리콘 기판에 통합될 수 있다.
다중 조리개 시스템은, 예를 들어, 다중 조리개 다이어프램으로, 카메라의 피사계 심도(DOF)를 개선하기 위해 사용될 수 있다. 상기 다중 조리개 시스템(400)의 원리가 도 4에 도시되어 있다. DOF는 영상이 포착되면 초점에 있는 카메라로부터의 거리 범위를 결정한다. 상기 범위 내에서 물체는 수용 가능할 정도로 선명하다. 큰 거리 및 주어진 영상 포맷에 대한 조정을 위해, DOF는 렌즈 N의 초점거리, 렌즈 개방(조리개)와 관련된 f 넘버 및 물체 대 카메라 거리 s에 의해 결정된다. 조리개가 넓어질수록(더 많은 빛이 수용될수록), DOF는 더욱 제한된다.
가시적인 그리고 적외선 스펙트럼 에너지는 다중 조리개 시스템을 거쳐 영상 시스템으로 들어갈 수 있다. 일 실시예에서, 상기 다중 조리개 시스템은 기결정된 직경 D1의 원형 홀(402)을 구비한 필터 코팅된 투명 기판을 포함할 수 있다. 필터 코팅(404)은 가시광선 방사를 투과하고 적외선 방사를 반사하고 및/또는 적외선 방사를 흡수한다. 불투명한 커버링(406)은 직경 D2 의 원형 개구를 포함할 수 있고, 홀(402)의 직경 D1 보다 크다. 커버는 적외선 및 가시광선 방사 둘다를 반사하는 박막 코팅을 포함할 수 있고, 또는 대안적으로 커버는 광학 시스템에서 기판을 지지하고 위치시키기 위한 불투명 홀더의 부분일 수 있다. 상기 방식으로, 다중 조리개 시스템은 다중의 파장 선택적 조리개를 포함하여 EM 스펙트럼의 다른 부분의 스펙트럼 에너지에 대한 영상 센서의 노출을 제어할 수 있다. 조리개 시스템을 통과하는 가시 및 적외선 스펙트럼 에너지는 이후 렌즈(412)에 의해, 가시 스펙트럼 에너지와 관련된 영상 데이터를 획득하기 위한 픽셀 및 비가시(적외선) 스펙트럼 에너지와 관련된 영상 데이터를 획득하기 위한 픽셀을 포함하는 영상 센서의 영상면(414)으로 투사된다.
영상 센서의 픽셀은 따라서 큰 DOF를 가지는 적외선 스펙트럼 에너지와 관련된 제 2 협(small)-조리개 영상 신호를 오버레이하며 제한된 DOF 를 가지는 가시 스펙트럼 에너지와 관련된 제 1 (상대적으로)광(wide)-조리개 영상 신호(416)를 수신할 수 있다. 렌즈의 초점 N의 평면에 가까운 물체(420)는 가시 광선 방사에 의해 상대적으로 작은 디포커스 블러와 함께 영상 면으로 투사되고, 초점 평면으로부터 더 멀리 위치한 물체(422)는 적외선 방사에 의해 상대적으로 작은 디포커스 블러와 함께 영상 면으로 투사된다. 따라서 단일 조리개를 포함하는 종래 영상 시스템과 대비적으로, 이중 혹은 다중 조리개 영상 시스템은 영상 센서를 노출시키는 스펙트럼의 다른 대역에서 방사 시준 및 양을 제어하기 위한 다른 사이즈의 두 개 이상의 조리개를 포함하는 조리개 시스템을 이용한다.
DSP는 포착된 컬러 및 적외선 신호를 처리하도록 구성될 수 있다. 도 5는 다중 조리개 영상 시스템을 이용하는 일반적인 영상 처리 단계들(500)을 도시한다. 상기 예에서, 다중 조리개 영상 시스템은 예를 들면 베이어 컬러 필터 어레이를 이용하는 종래의 컬러 영상 센서를 포함한다. 상기 경우, 주로 적외선 방사를 영상 센서로 투과하는 레드 픽셀 필터이다. 포착된 영상 프레임의 레드 컬러 픽셀 데이터는 고진폭 가시 적신호 및 선명한 저진폭 비가시 적외선 신호를 둘다 포함한다. 적외선 컴포넌트는 가시의 적(red) 컴포넌트보다 8 내지 16 배 낮다. 게다가 알려진 컬러 밸런싱 기술을 이용하면, 레드 밸런스는 적외선 방사의 존재에 의해 생성되는 약간의 왜곡을 보상하도록 조정될 수 있다. 다른 실시예에서, RGBI 영상 센서는 적외선 영상이 직접적으로 I-픽셀에 의해 획득되는 곳에 사용될 수 있다.
제 1 단계(502)에서, 베이어 필터링 된 로-영상 데이터가 포착된다. 이 후, DSP가 레드 컬러 영상 데이터를 추출하며, 또한 적외선 정보를 포함한다(단계 504). 그리고, DSP는 레드 영상 데이터로부터 적외선 영상과 관련된 선명도 정보를 추출할 수 있고, 상기 선명도 정보를 이용하여 컬러 영상을 증강한다.
공간 도메인에서 선명도 정보를 추출하는 한가지 방법은 하이 패스 필터를 레드 영상 데이터에 적용하여 획득될 수 있다. 하이 패스 필터는 저주파 정보(저주파 컴포넌트)를 감소시키면서 고주파 정보(고주파 컴포넌트)를 레드 영상 내에서 유지할 수 있다. 하이 패스 필터의 커널은 주변 픽셀과 상대적으로 중심 픽셀의 휘도를 증가시키도록 설계될 수 있다. 커널 어레이는 대개 중심에서 단일 양의 값을 함유하고, 음의 값에 의해 완벽하게 둘러싸여 있다. 간단한 비 제한적인 하이 패스 필터용 3X3 커널의 예는 다음과 같다:
Figure 112013013604596-pct00001
따라서 레드 영상 데이터는 하이 패스 필터를 통과하여(단계 506) 적외선 영상 신호와 관련된 고주파 컴포넌트(즉, 선명도 정보)를 추출한다.
적외선 조리개의 상대적으로 작은 사이즈가 상대적으로 작은 적외선 영상 신호를 생산하므로, 필터링된 고주파 컴포넌트들은 적외선 조리개에 대한 가시 광선 조리개의 비율에 비례하여 증폭된다(단계 508).
적외선 조리개의 상대적으로 작은 사이즈로 인한 효과는 부분적으로 레드 픽셀에 의해 포착된 적외선 방사 대역이 대략 레드 방사 대역보다 4배 넓다는 사실에 의해 보상된다(일반적으로, 디지털 적외선 카메라는 가시광선 카메라보다 4배 더 민감하다). 일 실시예에서, 적외선 조리개의 상대적으로 작은 사이즈의 효과는 또한 로(raw)-영상 데이터가 포착되는 순간 적외선 플래시로 물체를 조명하여 영상 처리 하는 것에 의해 보상될 수 있다(플래시는 도 15 내지 17과 관련하여 이하에서 더욱 상세히 기술될 것이다). 증폭 이후, 적외선 영상 신호로부터 유발된 증폭된 고주파 컴포넌트들이 베이어 필터링 된 로-영상 데이터의 각 컬러 컴포넌트(와 혼합되도록)로 추가된다(단계 510). 상기 방식으로 적외선 영상 데이터의 선명도 정보가 컬러 영상에 추가된다. 그 이후, 종래의 알려진 디모자이킹 알고리즘을 이용하여 결합된 영상 데이터가 풀(full) RGB 컬러 영상으로 변환될 수 있다(단계 512).
실시예에서(미도시), 베이어 필터링된 로-영상 데이터가 우선 RGB 컬러 영상으로 디모자이크(demosaic)되고, 뒤이어 삽입(혼합)에 의해 증폭된 고주파 컴포넌트와 결합된다.
도 5에 도시된 방법은 다중 조리개 영상 시스템이 저조도 환경에서 효과적인 작동을 위한 광(wide)-조리개를 구비하는 것이 가능하게 하며, 동시에 DOF는 커서 선명한 영상을 갖도록 한다. 게다가 상기 방법은 효과적으로 렌즈의 광성능을 증가시키고, 동일한 성능을 달성하는데 요구되는 렌즈 비용을 감소시킨다.
다중 조리개 영상 시스템은 따라서 7과 같은 일반적인 f-넘버(예를 들면 7mm의 초점 거리 N 및 1mm 의 직경)를 구비하는 단순한 모바일 폰 카메라를 가능하게 하여 예를 들면 0,5mm 직경에 대한 14 와 0,2mm 이하의 직경에 대한 70 혹은 그 이상 사이에서 가변하는 f-넘버의 제 2 조리개를 통해 DOF 를 개선하며, f-넘버는 초점거리 f와 실질적인 조리개 직경의 비율에 의해 정의된다. 바람직한 구현은 원거리 물체의 선명도를 증가시키기 위해 대략 16 내지 22의 적외선 조리개에 대한 f-넘버와 함께 근거리 물체의 선명도를 증가하기 위해 대략 2 내지 4의 가시 광선 방사에 대한 f-넘버를 포함하는 광학 시스템을 포함한다.
다중 조리개 영상 시스템에 의해 제공되는 DOF 및 ISO 스피드에서 개선은 관련 출원 PCT/EP2009/050502 및 PCT/EP2009/060936에서 더욱 상세히 기술될 것이다. 게다가, 다중 조리개 영상 시스템은 도 1 내지 5 를 참조로 하여 설명된 바와 같이, 단일 포착 영상과 관련된 심도 정보를 생성하는데 사용될 수 있다. 특히, 다중 조리개 영상 시스템의 DSP는 적어도 하나의 심도 함수를 포함할 수 있고, 광학 시스템의 파라미터에 의존하고, 한 실시예에서 제조자에 의해 미리 결정되어 디지털 영상 처리 기능에서 사용되기 위해 카메라 메모리에 저장될 수 있다.
영상은 카메라 렌즈로부터 다른 거리에 위치한 다른 물체들을 포함하여 카메라 초점면에 가까운 물체들이 초점면으로부터 더 멀리 떨어진 물체보다 선명하다. 심도 함수는 영상의 다른 영역에서 영상 처리된 물체와 관련된 선명도 정보를 상기 물체들이 카메라로부터 제거된 거리에 대한 정보와 연관시킨다. 일 실시예에서, 심도 함수 R은 카메라 렌즈로부터 이격된 다른 거리에서 물체에 대한 컬러 영상 컴포넌트와 적외선 영상 컴포넌트의 선명도 비율을 결정하는 것을 수반한다. 다른 실시예에서, 심도 함수 D는 하이 패스 필터링된 적외선 영상의 자동보정 분석을 포함할 수 있다. 상기 실시예들은 이하 도 6 내지 14를 참조로 하여 더 상세히 기술될 것이다.
제 1 실시예에서, 심도 함수 R은 컬러 영상에서 선명도 정보와 적외선 영상에서 선명도 정보의 비율에 의해 정의될 수 있다. 이 때, 선명도 파라미터는 소위 착란원에 관련되며, 물체 공간에서 비선명 영상처리 지점의 영상 센서에 의해 측정된 블러 스팟의 직경에 대응된다. 디포커스 블러를 나타내는 블러 디스크 직경은 초점면에서 포인트에 대해 매우 작고(제로, 0), 물체 공간에서 상기 면으로부터 전경 혹은 배경으로 이동할 때 점진적으로 상승한다. 블러 디스크가 최대 수용 가능 착란원 c 보다 작기만 하다면, 충분히 선명하고 DOF 영역의 부분으로 고려된다. 알려진 DOF 공식으로부터 물체의 심도, 즉 카메라로부터 거리 s와 카메라에서 물체의 블러 양(즉, 선명도)간의 직접적인 연관성이 있다.
따라서, 다중 조리개 영상 시스템에서, 적외선 영상에서 IR 컴포넌트의 선명도에 대한 컬러 영상의 RGB 컴포넌트의 선명도에서 증가 혹은 감소는 렌즈로부터 영상처리되는 물체의 거리에 달려 있다. 예를 들어, 렌즈가 3 미터에 초점이 맞추어지면, RGB 컴포넌트 및 IR 컴포넌트 둘다의 선명도는 동일할 수 있다. 반대로, 1 미터의 거리에서 물체에 대한 적외선 영상에 사용된 작은 조리개로 인해, RGB 컴포넌트의 선명도는 상당히 적외선 컴포넌트의 선명도보다 작을 수 있다. 상기 연관성은 카메라렌즈로부터 물체의 거리를 측정하는데 사용될 수 있다.
특히, 렌즈가 큰(무한) 초점 포인트로 설정되면(상기 포인트는 다중 조리개 시스템에서 과초점 거리 H로 언급된다), 상기 카메라는 컬러 및 적외선 컴포넌트가 동일하게 선명한, 영상에서의 포인트를 결정한다. 영상에서 상기 포인트들은 물체에 대응하며, 카메라로부터 상대적으로 먼 거리(일반적으로 배경)에 위치한다. 과초점 거리 H 로부터 떨어진 곳에 위치한 물체에 대해, 적외선 컴포넌트와 컬러 컴포넌트간의 선명도에서 상대적인 차이는 물체와 렌즈간의 거리 s 함수로서 증가할 것이다. 하나의 스팟(예를 들면, 하나 혹은 그룹 픽셀)에서 측정된 컬러 영상에서 선명도 정보와 적외선 정보에서 선명도 정보간의 비율은 이후 심도 함수 R(s) 로 언급될 것이다.
심도 함수 R(s)는 카메라 렌즈로부터 다른 거리 s 에서 하나 이상의 테스트 물체에 대한 선명도 비율을 측정하여 획득될 수 있으며, 선명도는 각 영상에서 고주파 컴포넌트에 의해 결정된다. 도 6a 는 본 발명의 일 실시예에 따르는 심도 함수 결정과 관련된 플로우 다이어그램(600)을 도시한다. 제 1 단계에서(602), 테스트 물체는 적어도 카메라 렌즈로부터 과초점 거리 H에 위치한다. 이 후, 영상 데이터는 다중 조리개 영상 시스템을 이용하여 포착된다. 그리고, 컬러 영상 및 적외선 영상과 관련된 선명도 정보가 포착된 데이터로부터 추출된다(단계 606-608). 선명도 정보 R(H)들 간의 비율은 이후 메모리에 저장된다(단계 610). 그리고 테스트 물체는 과초점 거리 H 로부터 떨어진 거리
Figure 112013013604596-pct00002
에 걸쳐 이동되며, R이 상기 거리에서 결정된다. 상기 프로세스는 카메라 렌즈에 근접할 때까지 모든 거리에 대해 R이 결정될 때까지 반복된다(단계 612). 상기 값들은 메모리에 저장된다. 보간이 사용되어 연속적인 심도 함수 R(s)를 획득할 수 있다(단계 614).
일 실시예에서, R은 영상에서 특정 스팟에서 측정된 고주파 적외선 컴포넌트
Figure 112013013604596-pct00003
의 절대값과 고주파 컬러 컴포넌트
Figure 112013013604596-pct00004
의 절대값 간의 비율로 정의될 수 있다. 다른 실시예에서, 특정 영역에서 적외선 및 컬러 컴포넌트 간의 차이는 계산될 수 있다. 상기 영역에서 차이의 합은 이 후 거리의 척도로 이용된다.
도 6b는 거리 함수로(그래프 A)서
Figure 112013013604596-pct00005
및
Figure 112013013604596-pct00006
의 플롯과 거리 함수로서(그래프 B)
Figure 112013013604596-pct00007
의 플롯을 보여준다. 그래프 A에서 초점 거리 N 주변에 표시되어 고주파 컬러 컴포넌트들은 최고 값을 가지며 초점 거리로부터 이격된 고주파 컬러 컴포넌트들은 블러링 효과로 인해 급속히 감소한다. 게다가 상대적으로 작은 적외선 조리개로 인해, 고주파 적외선 컴포넌트들은 초점 포인트 N으로부터 멀리 이격된 거리에 걸쳐 상대적으로 높은 값을 가진다.
그래프 B는
Figure 112013013604596-pct00008
간의 비율로 정의되는 결과 심도 함수 R을 도시하며, 초점 거리 N보다 실질적으로 큰 거리에 대해 선명도 정보가 고주파 적외선 영상 데이터에 포함되어 있음을 나타낸다. 심도 함수 R(s)은 제조자에 의해 미리 획득되어 카메라 메모리에 저장될 수 있으며, 다중 조리개 영상 시스템에 의해 포착된 영상을 처리하기 위한 하나 이상의 후 처리 기능에서 DSP에 의해 사용될 수 있다. 일 실시예에서 후 처리 기능 중 하나는 다중 조리개 영상 시스템에 의해 포착된 단일 영상과 관련된 심도 맵 생성에 관련된다. 도 7은 본 발명의 일 실시예에 따르는 심도 맵을 생성하는 프로세스의 구성을 도시한다. 다중 조리개 영상 시스템에서 영상 센서가 하나의 영상 프레임에서 가시 및 적외선 영상 신호를 동시에 둘 다 포착한 이후(단계 702), DSP는 포착된 로-모자이크 영상에서 예를 들면 알려진 디모자이킹 알고리즘을 사용하여 컬러 및 적외선 픽셀 신호를 분리한다(단계 704). 이후, DSP는 컬러 영상 데이터(예를 들어, RGB 영상) 및 적외선 영상 데이터에 대해 하이 패스 필터를 사용하여 두가지 영상 데이터의 고주파 컴포넌트를 획득한다(단계 706).
이 후, DSP는 거리를 각 픽셀 p(i, j) 또는 픽셀 그룹에 대해 연관시킨다. 결국, DSP는 각 픽셀 p(i,j)에 대해 고주파 적외선 컴포넌트 및 고주파 컬러 컴포넌트 간의 선명도 비율 R(i,j)을 결정한다 :
Figure 112013013604596-pct00009
(단계 708). 심도 함수 R(s)에 기초하여, 특히 역 심도 함수 R'(R)에서, DSP는 각 픽셀에서 측정된 선명도 비율 R(i,j)를 카메라 렌즈에 대한 거리 s(i,j)에 연관 시킨다(단계 710). 상기 프로세스는 맵에서 각 거리 값이 영상에서 픽셀과 관련된 거리 맵을 생성한다. 따라서 생성된 맵은 카메라 메모리에 저장될 수 있다(단계 712).
거리를 각 픽셀에 할당하는 것은 상당한 양의 데이터 처리를 필요로 한다. 계산량을 줄이기 위해, 한가지 변형예에서, 첫번째 단계에서 영상에서의 에지가 잘 알려진 에지 탐지 알고리즘을 이용하여 탐지될 수 있다. 이후 상기 에지 주변의 영역들은 상기 영역에서 선명도 비율 R을 이용하여 카메라 렌즈로부터의 거리를 결정하기 위한 샘플 영역으로 이용될 수 있다. 상기 변형예들은 계산량이 적다는 이점을 제공한다.
따라서, 영상, 즉 픽셀 프레임 {p(i,j)}에 기초하여, 다중 조리개 카메라 시스템에 의해 포착되어, 심도 함수를 포함하는 디지털 영상 처리 프로세서는 관련 심도 맵{s(i,j)}을 결정한다. 픽셀 프레임에서 각 픽셀에 대해, 심도 맵은 관련 거리 값을 포함한다. 심도 맵은 각 픽셀 p(i,j)에 대해 관련 심도 값 s(i,j)을 계산하여 결정된다. 대안적으로 심도 맵은 심도 값을 영상에서 픽셀 그룹과 연관시켜 결정될 수 있다. 심도 맵은 카메라 렌즈의 메모리에 포착된 영상과 함께 임의의 적합한 데이터 포맷으로 저장될 수 있다.
프로세스는 도 7을 참조로 기술된 단계들로 제한되지 않는다. 다양한 변형예들이 본 발명으로부터 벗어나지 않고도 가능하다. 예를 들어, 고주파 필터링에서 디모자이킹 단계 이전에 적용될 수 있다. 이 경우, 고주파 컬러 영상은 하이 패스 펄터링된 영상 데이터를 디모자이킹하여 획득된다.
게다가, 선명도 정보에 근거하여 거리를 결정하는 다른 방법들이 또한 본 발명을 벗어나지 않고도 가능하다. 예를 들면 하이 패스 필터를 이용하여 공간 도메인에서 선명도 정보(즉 에지 정보)를 분석하는 대신에, 주파수 도메인에서 선명도 정보를 분석하는 것이 가능하다. 예를 들어 일 실시예에서, 선명도 정보를 획득하기 위해 이산 푸리에 변환 실행(Discrete Fourier Transform, DFT)을 이용할 수 있다. DFT는 컬러 영상 및 적외선 영상 둘 다의 푸리에 계수를 계산하는데 사용될 수 있다. 상기 계수들의 분석은, 특히 고주파 계수에서, 거리 지표를 제공할 수 있다.
예를 들어, 일 실시예에서, 컬러 영상 및 적외선 영상에서 특정 영역과 관련된 고주파 DFT 계수들의 절대적 차이는 거리에 대한 지표로 사용될 수 있다. 다른 실시예에서, 푸리에 컴포넌트들은 적외선 및 컬러 신호와 관련된 컷오프 주파수를 분석하는데 사용될 수 있다. 예를 들어, 영상의 특정 영역에서 적외선 영상 신호의 컷오프 주파수가 컬러 영상 신호의 컷오프 주파수보다 크다면, 상기 차이는 거리 지표를 제공한다.
심도 맵에 기초하여 다양한 영상 처리 기능이 구현될 수 있다. 도 8은 본 발명의 일 실시예에 따르는 입체시각을 획득하는 스킴(800)을 도시한다. 물체 P로부터의 거리 s에 위치한 원래의 카메라 위치
Figure 112013013604596-pct00010
에 기초하여, 두 개의 가상 카메라 위치
Figure 112013013604596-pct00011
과
Figure 112013013604596-pct00012
(왼쪽 눈에 대한 하나와 오른쪽 눈에 대한 하나)가 정의된다. 상기 가상 카메라 위치 각각은 원래 카메라 위치에 대한 -t/2 및 +t/2 거리에 걸쳐 대칭적으로 변위 된다. 초점 길이 N,
Figure 112013013604596-pct00013
,
Figure 112013013604596-pct00014
,
Figure 112013013604596-pct00015
, t 및 s 사이의 기하학적 연관을 가정하고, 2개의 가상 카메라 위치와 관련된 2 개의 이동된 가상 영상을 생성하는데 필요한 픽셀 이동량은 아래 식에 의해 결정된다.
Figure 112013013604596-pct00016
따라서, 상기 수식 및 심도 맵에서 거리 정보 s(i,j)를 기초로, 영상 처리 기능은 원래 영상에서 각 픽셀
Figure 112013013604596-pct00017
에 대해, 제 1 및 제 2 가상 영상과 관련된 픽셀들
Figure 112013013604596-pct00018
및
Figure 112013013604596-pct00019
을 계산한다(단계 802-806). 상기 방법에서, 원래 영상에서 각 픽셀
Figure 112013013604596-pct00020
는 입체 시각에 적합한 2개의 이동된 영상
Figure 112013013604596-pct00021
및
Figure 112013013604596-pct00022
를 생성하는 상기 수식에 따라 이동된다.
도 9는 일 실시예에 따르는 추가적인 영상 처리 기능(900)을 도시한다. 상기 기능은 다중 조리개 영상 시스템에서 제어된 DOF 감소를 가능하게 한다. 다중 조리개 영상 시스템이 고정 렌즈 및 고정 다중 조리개 시스템을 사용하면서, 광학 시스템은 광학 시스템의 고정된(개선된) DOF를 구비하여 영상을 전달한다. 그러나 일부 환경에서, 가변 DOF가 필요할 수도 있다.
제 1 단계에서(902), 영상 데이터 및 관련 심도 맵이 생성된다. 이후 기능은 고주파 적외선 컴포넌트를 기초로 한 선명도 증강이 폐기되는 이후 컷오프 거리로 이용되는 특정 거리 s'의 선택(단계 904)을 가능하게 한다. 심도 맵을 이용하여, DSP는 영상에서 선택된 거리 s'보다 큰 물체-카메라 거리와 관련된 제 1 영역을 영상에서 식별하고(단계 906) 선택된 거리 s'보다 작은 물체-카메라 거리와 관련된 제 2 영역을 식별한다. 이후, DSP는 고주파 적외선 영상을 회수하고 식별된 제 1 영역에서의 고주파 적외선 컴포넌트를 마스킹 기능에 따라 값으로 설정한다(단계 910). 따라서 개선된 고주파 적외선 영상은 도 5에 도시된 것과 유사한 방식으로 RGB 영상과 혼합된다(단계 912). 상기 방식으로 RGB 영상은 카메라 렌즈로부터 거리 s' 까지 떨어진 영상에서 물체가 고주파 적외선 컴포넌트로부터 획득된 선명도 정보로 증강되도록 획득될 수 있다. 상기 방식에서 DOF는 제어된 방식으로 감소될 수 있다.
본 발명을 벗어나지 않고 다양한 변형예가 가능함이 언급되었다. 예를 들면 단일 거리 대신에, 단일 영역[s1, s2]이 다중 조리개 시스템 사용자에 의해 선택가능하다. 영상에서 물체들은 카메라로부터 떨어진 거리에 연관된다. 이후, DSP는 어느 물체가 상기 영역 내에 위치하는지 결정한다. 상기 영역들은 이후 고주파 컴포넌트에서 선명도 정보에 의해 증강된다.
또, 추가적인 영상 처리 기능이 카메라 초점 포인트를 제어하는 것에 관련될 수 있다. 상기 기능은 도 10에서 도식적으로 나타나있다. 상기 실시예에서, (가상) 초점 거리 N'가 선택된다(단계 1004). 심도 맵을 이용하여, 상기 선택된 초점 거리와 관련된 영상에서 영역들이 결정된다(단계 1006). 이 후, DSP는 고주파 적외선 영상(단계 1008)을 생성하고 식별된 영역 밖의 모든 고주파 컴포넌트를 마스킹 기능에 따르는 값으로 설정한다(단계 1010). 따라서 변경된 고주파 적외선 영상은 RGB 영상과 혼합되어(단계 1012), 초점 거리 N'와 관련된 영상 영역에서 선명도를 증강한다. 이 방식에서, 영상에서 초점 포인트는 제어가능한 방식으로 가변된다.
초점 거리를 제어하는 추가적인 변형예는 다중 초점 거리 N',N'' 등의 선택을 포함한다. 상기 선택된 거리 각각에 대해 적외선 영상에서 관련 고주파 컴포넌트가 결정될 수 있다. 고주파 적외선 영상의 이어지는 변경과 도 10을 참조로 기술된 것과 유사한 방식으로 컬러 영상과 혼합하는 것은 예를 들면 초점에서 2 미터 거리의 물체, 초점 밖 3 미터 거리의 물체 및 초점에서 4미터 거리의 물체를 갖는 영상을 가져온다. 또 다른 실시예에서, 도 9 내지 10을 참조로 기술된 초점 제어는 영상에서 하나 이상의 특정 영역에 적용될 수 있다. 결국, 사용자 또는 DSP는 초점 제어가 필요한 영상에서 하나 이상의 특정 영역을 선택할 수 있다.
다른 실시예에서, 거리 함수 R(s) 및/또는 심도 맵은 알려진 영상 처리 기능(예를 들면 필터링, 블렌딩, 밸런싱 등)을 이용하여 상기 포착된 영상에 대해 사용될 수 있고, 이 때 영상처리 기능과 관련된 하나 이상의 영상 처리 기능 파라미터들은 심도 정보에 의존한다. 예를 들면, 일 실시예에서, 심도 정보는 고주파 적외선 영상을 생성하는데 사용되는 하이 패스 필터의 롤오프 및/또는 컷오프 주파수를 제어하는데 사용될 수 있다. 영상의 특정 영역에 대한 컬러 영상 및 적외선 영역에서 선명도 정보가 실질적으로 유사한 경우, 적외선 영상의 비선명도(less sharpenss) 정보(즉, 고주파 적외선 컴포넌트)가 필요하다. 따라서 이 경우, 아주 높은 컷오프 주파수를 갖는 하이 패스 필터가 사용된다. 반대로, 컬러 영상 및 적외선 영상에서 선명도 정보가 다르다면, 더 낮은 컷오프 주파수를 가지는 하이 패스 필터가 사용되어 컬러 영상에서 블러는 적외선 영상에서 선명도 정보에 의해 보상될 수 있다. 이 방식에서, 영상 전체 또는 영상의 특정 부분에서, 하이 패스 필터의 컷 오프 주파수 및/또는 롤오프는 컬러 영상 및 적외선 영상의 선명도 정보에서의 차이에 따라 조정될 수 있다.
심도 맵의 생성 및 상기 심도 맵을 기초로 한 영상 처리 기능의 구현은 상술한 실시예로 제한되지 않는다.
도 11은 추가 실시예에 따라 심도 정보를 생성하기 위한 다중 조리개 영상 시스템(1100)의 구성을 도시한다. 상기 실시예에서, 심도 정보는 변경된 다중 조리개 구성의 사용을 통해 획득된다. 예를 들면 도 4에 도시된 바와 같이, 중심에서 하나의 적외선 조리개 대신에, 도 11의 다중 조리개(1101)는 더 큰 컬러 조리개(1106)를 형성하는 멈춤부의 에지에서(또는 주변을 따라) 다중의(즉 둘 이상의), 작은 적외선 조리개(1102, 1104)를 포함한다. 상기 다중의 작은 조리개들은 도 4에 도시된 바와 같은 단일 적외선 조리개보다 실질적으로 작아서, 초점에 있는 물체가 선명한 단일 적외선 영상(1112)으로서 영상면으로 영상 처리되는 효과를 제공한다. 반면, 초점 밖 물체(1114)는 2 개의 적외선 영상(1116,1118)으로 영상면에 영상처리된다. 제 1 적외선 조리개(1102)와 관련된 제 1 적외선 영상(1116)은 제 2 적외선 조리개와 관련된 제 2 적외선 영상(1118)에 대한 특정 거리
Figure 112013013604596-pct00023
에 걸쳐 이동된다. 일반적으로 초점 밖 렌즈와 관련된 연속적인 흐린 영상 대신에, 다중의 작은 적외선 조리개를 포함하는 다중 조리개는 이산된, 선명한 영상의 형성을 가능하게 한다. 단일 적외선 조리개와 비교하여, 다중 적외선 조리개의 사용은 더 작은 조리개의 사용을 가능하게 하여 피사계 심도의 추가적인 증강을 달성할 수 있다. 물체가 초점 밖으로 멀어질수록, 거리
Figure 112013013604596-pct00024
는 더 커진다. 따라서, 두 개의 영상처리된 적외선 영상들 간의 이동
Figure 112013013604596-pct00025
는 물체와 카메라 렌즈간의 거리에 대한 함수이고, 심도 함수
Figure 112013013604596-pct00026
를 결정하는데 사용될 수 있다.
심도 함수
Figure 112013013604596-pct00027
는 카메라 렌즈로부터의 다양한 거리에서 테스트 물체를 영상 처리하고 상기 다른 거리에서
Figure 112013013604596-pct00028
를 측정하여 결정될 수 있다.
Figure 112013013604596-pct00029
는 카메라 메모리에 저장될 수 있고, 이하 더욱 상세히 기술될 하나 이상의 후처리 기능에서 DSP에 의해 사용될 수 있다.
일 실시예에서, 하나의 후 처리 기능은 도 11을 참조로 기술된 바와 같은 이산 다중 조리개를 포함하는 다중 조리개 영상 시스템에 의해 포착된 단일 영상과 관련된 심도 정보 생성에 관련된다. 하나의 영상 프레임에서 가시 및 적외선 영상 신호를 둘 다 동시에 포착한 이 후, DSP는 예를 들면 알려진 디모자이킹 알고리즘을 이용하여 포착된 로- 모자이크 영상에서 컬러 및 적외선 픽셀 신호를 분리한다. DSP는 뒤이어 적외선 영상 데이터에 대해 하이 패스 필터를 사용하여 적외선 영상 데이터의 고주파 컴포넌트를 획득하며, 물체가 초점 내에 있는 영역과 물체가 초점밖에 있는 영역을 포함한다.
게다가, DSP는 자동 보정 함수를 이용하여 고주파 적외선 영상 데이터로부터 심도 정보를 얻어낸다. 상기 프로세스는 도 12에 도식적으로 나타나 있다. 고주파 적외선 영상(1204)의 (일부분의) 자동 보정 함수를 이용하여, 단일 스파이크(1206)가 초점 내에 있는 영상 처리된 물체(1208)의 고주파 에지에서 나타난다. 반대로, 자동 보정 함수는 초점 밖에 있는 영상처리된 물체(1212)의 고주파 에지에서 이중 스파이트(1210)를 생성한다. 여기서, 스파이크 간의 이동은 2 개의 고주파 적외선 영상들 사이의 이동
Figure 112013013604596-pct00030
를 나타내며, 영상처리된 물체 및 카메라 렌즈 간의 거리 s에 의존한다.
따라서, 고주파 적외선 영상의 (일부의) 자동 보정 함수는 물체가 초점밖에 있는 고주파 적외선 영상에서의 위치에 이중 스파이크를 포함하고 이중 스파이크간의 거리는 거리 척도를 제공한다(즉, 초점 거리로부터 떨어진 거리). 게다가, 자동 보정 함수는 물체가 초점 내에 있는 영상에서의 위치에 단일 스파이크를 포함한다. DSP는 기결정된 심도 함수
Figure 112013013604596-pct00031
를 이용하여 이중 스파이크간의 거리를 하나의 거리로 연관시켜 자동 보정 함수를 처리하고 포함된 정보를 실제 거리와 관련된 심도 맵으로 변환한다.
예를 들면 입체 시각과 같은 심도 맵 유사 함수들을 이용하여, DOF 및 초점 포인트 제어는 도 8 내지 10 을 참조로 하여 상술한 바와 같이 수행될 수 있다. 예를 들면,
Figure 112013013604596-pct00032
또는 심도 맵은 특정 선택된 카메라-물체 거리와 관련된 적외선 영상에서 고주파 컴포넌트를 선택하는데 사용될 수 있다.
특정 영상 처리 기능이 고주파 적외선 영상의 자동 보정 함수를 분석하여 달성될 수 있다. 도 13은 예를 들어 프로세스(1300)를 도시하며, DOF는 자동 보정 함수에서 피크 폭과 특정 한계 폭을 비교하여 감소된다. 제 1 단계(1302)에서, 영상은 도 11에 도시된 바와 같은 다중 조리개 영상 시스템을 이용하여 포착되며, 컬러 및 적외선 영상 데이터는 추출되고(단계 1304), 고주파 적외선 영상 데이터가 생성된다(단계 1306). 이후, 고주파 적외선 영상 데이터의 자동 보정 함수가 계산된다(단계 1308). 그리고, 한계 진폭 w는 선택된다(단계 1310). 영상처리되는 특정 물체와 관련된 자동 보정 함수에서 피크가 한계 폭보다 좁다면, 자동 보정 함수에서 피크와 관련된 고주파 적외선 컴포넌트들이 컬러 영상 데이터와 결합하기 위해 선택된다. 영상 처리되는 특정 물체의 에지와 관련된 자동 보정 함수에서 2 개의 피크간의 거리 또는 피크가 한계 폭보다 넓다면, 자동 보정 함수에서 피크와 관련된 고주파 컴포넌트는 마스킹 기능에 따라 설정된다(단계 1312-1314). 이후, 변경된 고주파 적외선 영상이 표준 영상 처리 기술을 이용하여 처리되어 다중 조리개에 의해 도입된 이동
Figure 112013013604596-pct00033
을 제거하여 컬러 영상 데이터와 혼합된다(단계 1316). 컬러 영상 혼합이 형성된 이후, 감소된 DOF가 형성된다. 상기 프로세스는 기결정된 한계 폭을 선택하여 DOF를 제어하는 것을 가능하게 한다.
도 14는 상술한 다중 조리개 영상 시스템에서 사용되는 다중 조리개의 2 가지 비 제한적 예시(1402, 1410)을 도시한다. 제 1 다중 조리개(1402)는 2개의 다른 박막 필터를 구비한 투명 기판을 포함한다 : EM 스펙트럼의 제 1 대역에서 방사를 투과하는 제 1 조리개를 형성하는 기판 중앙에서의 제 1 원형 박막 필터(1404) 및 EM 스펙트럼의 제 2 대역에서 방사를 투과하는 제 1 필터 주위에서 (예를 들어 동심링에서) 형성된 제 2 박막 필터(1406).
제 1 필터는 가시 및 적외선 방사 둘 다 투과하도록 구성되고, 제 2 필터는 적외선 방사를 반사하고 가시 방사를 투과하도록 구성된다. 외부 동심 링의 바깥 직경은 불투명 조리개 홀더(1408)에서 개구에 의해 또는 대안적으로, 적외선 및 가시광선 방사 둘 다 막는 기판 위에 놓여진 불투명 박막층(1408)에서 정의된 개구에 의해 정의될 수 있다. 당업자에게, 박막 다중 조리개 형성 이면의 원리가 쉽게 셋 이상의 조리개를 포함하는 다중 조리개로 연장됨이 분명하며, 각 조리개는 EM 스펙트럼에서 특정 대역과 관련된 방사를 투과한다.
일실시예에서, 제 2 박막 필터는 적외선 스펙트럼에서 방사를 반사하고, 가시 스펙트럼에서 방사를 투과하는 다이크로익(dichroic) 필터와 관련된다. 간섭필터로도 언급되는 다이크로익 필터는 기술분야에서 잘 알려져 있으며 적외선 방사를 반사하도록 구성되고(예를 들면 대략 750 내지 1250 나노미터 사이의 파장을 가지는 방사) 스펙트럼의 가시 부분에서 방사를 투과하도록 구성되는, 일반적으로 특정 두께의 다수의 박막 절연층을 포함한다.
제 2 다중 조리개(1410)는 도 11을 참조로 기술된 바와 같이 다중 조리개 시스템에서 사용될 수 있다. 상기 변형예에서, 다중 조리개는 불투명 조리개 홀더(1414)에서 개구로 정의된, 또는 대안적으로, 투명 기판 상에 놓여진 불투명 박막층에서 규정되는 개구에 의해 정의된 상대적으로 큰 제 1 조리개(1412)를 포함하며,불투명 박막은 적외선 방사 및 가시 방사 둘다 차단한다. 상기 상대적으로 큰 제 1 조리개에서, 다중의 작은 적외선 조리개(1416-1422)는 박막 핫 미러 필터(1424)에서 개구로 정의되며, 제 1 조리개 내에서 형성된다.
도 15는 본 발명의 다른 실시예에 따르는 다중 조리개 영상 시스템(1500)을 도시한다. 영상 시스템(1500)은 실질적으로 도 1에 기술된 영상 시스템(100)에 포함된 것처럼, 렌즈 시스템(104), 조리개 시스템(108), 셔터(106), 컬러 필터 어레이(120), 영상 센서(102), 아날로그-디지털 컨버터(110), DSP(112), 중앙 프로세서(114), 스토리지 메모리(116) 및 프로그램 메모리(118)을 포함한다. 영상 시스템(1500)은 적어도 도 1 내지 14에 따라 상기한 바와 같이 기능하도록 구성된다. 간결성을 위해, 상기 논의는 여기서 반복되지 않을 것이다.
영상 시스템(1500)은 시스템(1500)이 플래시(1520)를 더 포함한다는 점에서 영상 시스템(100)과 다르다. 앞서 기술된 바와 같이, 하나 이상의 물체와 관련된 영상 데이터가 적어도 제 1 조리개를 이용하여 영상 센서(102)를 적어도 전자기 스펙트럼의 제 1 부분과 관련된 스펙트럼 에너지에 동시에 노출시키고 적어도 제 2 조리개를 이용하여 영상 센서(102)를 적어도 전자기 스펙트럼의 제 2 부분과 관련된 스펙트럼 에너지에 동시에 노출시키는 것에 의해 포착된다. 상기 시나리오에서, 영상이 포착되면, 플래시(1520)는 전자기 스펙트럼의 제 2 부분과 관련된 방사로 영상 처리되는 물체를 조명하도록 구성된다. 다시 말해서, 플래시(1520)는 장면(주변 또는 배경, 방사)에서 이미 존재하는 방사에 더하여 전자기 스펙트럼의 제 2 부분과 관련된 방사를 제공하도록 구성된다. 영상이 플래시로 포착되면, 도 1 내지 14와 관련하여 상기된 다양한 기술들이 영상 데이터를 처리하기 위해 적용될 수 있다.
상기 플래시 기능성은 전자기 스펙트럼의 제 2 부분에서 배경 방사가 낮은 설정에서 및/또는 제 2 조리개가 제 1 조리개보다 훨씬 작은 설정에서 특별히 유용하다. 영상이 포착되는 동안 물체의 조명을 제공하는 플래시(1520)가 없는 상태에서, 전자기 스펙트럼의 제 2 부분에서 방사를 탐지하도록 구성되는 센서에 도달하는 신호는 아주 작아서 정확하게 탐지하고 분석하기에 어렵다.
추가적인 조명을 제공하기 위해, 플래시(1520)는 예를 들면 다이오드 레이저, 발광 다이오드 또는 다른 광원과 같은 적합한 방사원을 포함한다. 선택적으로, 플래시(1520)는 플래시(1520)에 의해 제공되는 조명으로 필요한 패턴을 형성하기 위해(예를 들면 스펙클(speckle) 패턴) 예를 들면 산광기, 회절 광학 요소(도 15에서 미도시)와 같은 적합한 광계들을 포함할 수 있다. 도 15에 도시된 바와 같이, 일 실시예에서, 플래시(1520)는 DSP(112)에 의해 제어 가능하다. 다른 실시예에서, 플래시(1520)는 중앙 프로세서(114) 또는 다른, 별개의, 도 15에 도시되지 않은 컨트롤러에 의해 제어가능하다.
플래시(1520)를 제어하기 위한 일부 기술들이 적외선 방사가 아닌 가시 광선을 통과하는 제 1 조리개와 적외선 방사를 통과하는 제 2 조리개의 맥락내에서 기술될 것이다. 상기 실시예에서, 플래시(1520)는 적외선 방사로 영상 처리되는 물체를 조명할 것이다. 물론, 유사한 가르침이 다른 방사 대역에서 유지될 것이다. 일반적으로, 플래시(1520)는 EM 스펙트럼의 제 2 부분에서 뿐만 아니라, EM 스펙트럼의 다른 부분에서도 또한 조명을 제공하도록 구성된다. 예를 들어, 플래시(1520)는 적외선 및 RGB 스펙트럼 모두에서 방사를 포함하는 광대역 조명을 제공하도록 구성된다.
일실시예에서, 적외선 플래시 파라미터들(예를 들어 플래시 강도, 플래시 듀레이션, 플래시 파장 영역, 또는 그 파생물들 중 하나 이상)은 미리 결정되어 메모리에 저장될 수 있다. 상기 실시예에서, DSP(112)는 영상이 포착되면 메모리로부터 플래시 파라미터를 획득하고 플래시(1520)가 획득된 플래시 파라미터에 따라 작동하게 지시하도록 구성될 수 있다.
다른 실시예에서, DSP(112)는 현재 조명 환경을 나타내는 정보에 접근하고 현재 조명 환경에 따라 플래시 파라미터를 설정하거나 현재의 플래시 파라미터를 조정하도록 구성된다. 예를 들어, RGB에 관련하여 주변 적외선 방사 강도가 높은 조명 환경에서, 플래시(1520)는 영상을 포착하는 동안 꺼진다. 그러나 주변 적외선 방사 강도가( RGB와 관련해서 또는 아닌, 예를 들어 일부 기결정된 절대적 한계값에 관련해서) 낮은 조건에서, DSP(112)는 물체가 포착되는 동안 플래시(1520)가 물체를 조명하여 영상처리되도록 지시한다. DSP(112)는 플래시 파라미터를 예를 들면 조명 조건에 맞추도록 설정할 수 있다.
다른 실시예에서, DSP(112)는 플래시(1520)를 도 16의 방법(1600)에서 기술된 바와 같이 제어하도록 구성된다. 제 1 단계(1602)에서, 영상 데이터가 플래시(1520)가 오프된 상태로 포착된다. 이후, 기상술된 방법(700)의 단계(704)와 유사하게, DSP(112)는 컬러 영상 데이터 및 적외선 영상 데이터를 추출한다(단계 1604). 이후, 단계(1606)에서, 추출된 컬러 영상 데이터 및 적외선 영상 데이터를 기반으로, DSP(112)는 컬러광 강도와 적외선 강도(또는 다른 파생물) 간의 비율을 결정한다. 다음 단계(1608)에서 DSP(112)는 결정된 비율을 기반으로 플래시 파라미터를 설정하거나 조정할 수 있다. 비율은 예를 들어 DSP가 배경 적외선 방사 레벨을 결정하도록 하고, 플래시(1520)에 의한 조명의 적절한 강도 및 듀레이션을 결정하도록 한다. 마지막 단계(1610)에서, 영상 데이터는 플래시로 다시 한번 포착되며, DSP(112)는 플래시(1520)가 단계(1608)에서 설정된 플래시 파라미터에 따라 작동하도록 지시한다.
추가 실시예에서, DSP(112)는 영상 데이터를 상기된 임의의 방법에 따라 설정된 조명 강도로 영상을 포착하면서 플래시(1520)가 장면을 조명하도록 지시한다. 플래시(1520)가 장면을 조명하면, DPS(112)는 영상 센서로부터 들어오는 적외선 방사의 입사를 나타내는, 예를 들어 입사되는 적외선 방사의 강도와 같은 정보를 수신하도록 구성된다. 그 때, DSP(112)는 영상을 포착하는 동안 플래시는 장면을 조명하면서, 포화 도달 여부를 지속적으로 판정한다. DSP(112)가 포화에 도달했음을 판정하면, DSP(112)는 플래시(1520)를 끄도록 지시한다. 일부 실시예에서, 조명을 제공하는 플래시(1520)의 듀레이션은 영상 포착을 위한 노출시간 보다 훨씬 짧을 수 있다. 예를 들어 플래시(1520)는 1초의
Figure 112013013604596-pct00034
에 대한 조명을 제공하도록 구성될 수 있고, 노출은 1초의
Figure 112013013604596-pct00035
이다. 당업자들은, 다른 실시예에서, DSP(112)가 다른 환경에 기반한 플래시(1520)에 의해 조명 듀레이션 및/또는 강도를 제어할 수 있다는 것을 예상할 수 있다.
상기 실시예에서, 적외선 방사 강도는 전체 영상의 영상 데이터를 처리하는 것보다는 전용 적외선 픽셀에 의해 측정될 수 있다.
다른 실시예에서, DSP(112)는 도 17의 방법(1700)에서 기술된 바와 같이 플래시(1520)를 제어하도록 구성될 수 있다. 제 1 단계(1702)에서, 영상 데이터는 플래시(1520)가 오프된 상태로 포착된다. 이후, 상기된 방법을 이용하여, DSP(112)는 심도 맵을 생성할 수 있다(단계 1704). 다음, 단계(1706)에서, DSP(112)는 생성된 심도 맵을 기반으로 플래시 파라미터를 설정하거나 조정할 수 있다. 앞서 기술된 바와 같이, 심도 맵은 영상 시스템으로부터 장면 내 물체 거리를 제공한다. 종래 수동 플래시는 사진사가 플래시로부터 물체 거리를 측정해야 했으며, 다음 상기 거리를 기반으로 플래시의 듀레이션 및/또는 조리개를 설정했다. 심도 맵에 대해 접근함으로써, DSP(112)는 자동적으로 플래시가 작동하는 듀레이션 및/또는 조리개를 설정하도록 구성될 수 있다. 마지막 단계(1708)에서, 영상 데이터는 플래시로 다시 포착되고, DSP(112)는 플래시(1520)가 단계(1706)에서 설정된 플래시 파라미터에 따라 작동하도록 지시한다.
다양한 실시예에서, 적외선 플래시는 종래 가시(RGB) 플래시와 유사한 방식으로 기능할 수 있다. 그러나, 적외선 플래시를 이용하면 RGB 플래시를 이용하는 것보다 여러가지 장점이 있다. 한가지 장점은 적외선 플래시는 영상이 촬영될 때 비가시적이라는 것이다. 이로 인해 특정 상황(예를 들면 콘서트에서 사진이 촬영될 때)에서 폐해를 줄일 수 있다. 다른 장점은 플래시에 대해 발생되는 파장 대역을 특정 제한된 설정으로 제약함으로써 플래시를 작동시키는데 소비되는 에너지를 줄일 수 있다는 것이다. 상기 장점은 특히 에너지 보존이 중요한 애플리케이션에서 적절하다(예를 들면 모바일 폰). 또 적외선 플래시의 다른 장점은 적외선 플래시를 사용하면 플래시에 너무 가까이 있는 물체가 과다 노출되고 멀리 떨어진 물체는 과소 노출되는 종래 플래시와 공통되는 효과를 피할 수 있다는 것이다. 적외선 플래시를 사용하면 카메라로부터 모든 거리에서 정확한 노출을 제공할 수 있다.
영상 포착에 대한 모든 상기 논의는 비디오 데이터 포착에 응용가능하며, 비디오는 상기 영상들의 연속이기 때문이다.
본 발명의 실시예는 컴퓨터 시스템에서 사용되는 프로그램 제품으로 구현가능하다. 프로그램 제품의 프로그램은 실시예의 기능(본 명세서에 기술된 방법을 포함하는)을 정의하며, 다양한 컴퓨터 판독가능 저장매체 상에 저장될 수 있다. 기술되는 컴퓨터 판독가능 저장매체는, 비제한적으로 : (i) 정보가 영구적으로 저장되는 쓰기 금지 저장 매체(예를 들어, CD-ROM 드라이브에 의해 판독되는 CD-ROM 디스크와 같은 컴퓨터 내의 읽기 전용 메모리 장치, 플래시 메모리, 롬 칩 또는 임의의 솔리드-스테이트(solid- state) 비휘발성 반도체 메모리); 그리고 (ii) 변경 가능한 정보가 저장되는 쓰기가능 저장 매체(예를 들어 디스켓 드라이브 내의 플로피 디스크 또는 하드 디스크 드라이브 또는 임의의 솔리드-스테이트 랜덤 액세스 반도체 메모리)를 포함한다.
임의의 실시예와 관련하여 기술된 임의의 특징들은 단독으로 사용가능하며, 또는 임의의 다른 실시예의 하나 이상의 특징들과 결합하여 사용될 수 있으며, 또는 임의의 다른 실시예의 어떤 조합도 가능하다. 게다가 본 발명은 기술된 실시예로 제한되지 않으며, 청구항을 따르는 영역내에서 가변적이다.

Claims (15)

  1. 장면 영상을 형성하는 방법으로서,
    영상 센서를, 적어도 제1조리개를 이용하여 전자기(EM) 스펙트럼의 제1부분으로부터의 방사에 노출하고, 적어도 제2조리개(상기 제1조리개와 다른 사이즈를 가짐)를 이용하여 상기 EM 스펙트럼의 제2부분으로부터 방사에 노출하여 장면의 제 1 영상을 포착하는 단계; 및
    상기 EM 스펙트럼의 상기 제1부분으로부터의 방사에 의해 생성된 상기 제1 영상의 영상 데이터를 기초로, 그리고 상기 EM 스펙트럼의 제2부분으로부터의 방사에 의해 생성된 상기 제1영상의 영상 데이터를 기초로, 장면 영상을 형성하는 단계를 포함하고,
    상기 제1영상을 포착하는 동시에, 상기 장면은 기결정된 하나 이상의 조명 파라미터에 따라 상기 EM 스펙트럼의 제2부분으로부터의 방사로 조명되고,
    상기 제1영상을 포착하기 이전에, 상기 하나 이상의 조명 파라미터가 기결정되는 단계는,
    상기 EM 스펙트럼의 상기 제2부분으로부터의 방사로 상기 장면이 조명되지 않는 상태로, 상기 영상 센서를, 적어도 상기 제1조리개를 이용하여 상기 EM 스펙트럼의 상기 제1부분으로부터의 방사에 노출하고 적어도 상기 제2조리개를 이용하여 상기 EM 스펙트럼의 상기 제2부분으로부터의 방사에 노출하여, 상기 장면의 제2영상을 포착하는 단계; 와
    상기 EM 스펙트럼의 상기 제1부분과 관련된 상기 제2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제2부분과 관련된 상기 제2 영상의 영상 데이터를 생성하는 단계; 와
    상기 EM 스펙트럼의 상기 제1부분과 관련된 상기 제2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제2부분과 관련된 상기 제2 영상의 영상데이터를 기초로, 상기 EM 스펙트럼의 상기 제1부분과 관련된 스펙트럼 에너지 강도 또는 그 파생물과 상기 EM 스펙트럼의 상기 제2부분과 관련된 스펙트럼 에너지 강도 혹은 그 파생물 간의 비율을 결정하는 단계; 및
    상기 결정된 비율을 기초로 하나 이상의 조명 파라미터를 설정하는 단계를 포함하는
    장면 영상을 형성하는 방법.
  2. 장면 영상을 형성하는 방법으로서,
    영상 센서를, 적어도 제 1 조리개를 이용하여 전자기(EM) 스펙트럼의 제 1 부분으로부터의 방사에 노출하고, 적어도 제2조리개(상기 제1조리개와 다른 사이즈를 가짐)를 이용하여 상기 EM 스펙트럼의 제2부분으로부터 방사에 노출하여 장면의 제1영상을 포착하는 단계; 및
    상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 의해 생성된 상기 제 1 영상의 영상 데이터를 기초로, 그리고 상기 EM 스펙트럼의 제 2 부분으로부터의 방사에 의해 생성된 상기 제1 영상의 영상 데이터를 기초로, 장면 영상을 형성하는 단계를 포함하고,
    상기 제1 영상을 포착하는 동시에, 상기 장면은 기결정된 하나 이상의 조명 파라미터에 따라 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 조명되고, 상기 제 1 영상을 포착하기에 이전에, 상기 하나 이상의 조명 파라미터가 기결정되는 단계는,
    상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 장면이 조명되지 않은 않은 상태로, 상기 영상 센서를, 적어도 상기 제 1 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 노출하고, 적어도 상기 제 2 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사에 노출하여 제 2 영상을 포착하는 단계;
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 생성하는 단계;
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 기초로, 포착된 제 2 영상과 관련된 심도 정보를 생성하는 단계; 및
    상기 생성된 심도 정보를 기초로 하나 이상의 조명 파라미터를 설정하는 단계를 포함하는
    장면 영상을 형성하는 방법.
  3. 제2항에 있어서,
    상기 심도 정보는 상기 EM 스펙트럼의 상기 제1부분과 관련된 상기 제2 영상의 영상 데이터의 적어도 하나의 영역에서 제1 선명도 정보 및 상기 EM 스펙트럼의 상기 제2 부분과 관련된 상기 제2 영상의 영상 데이터의 적어도 하나의 영역에서 제2 선명도 정보를 기초로 생성되는
    장면 영상을 형성하는 방법.
  4. 제2항에 있어서,
    상기 심도 정보는, 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터에서 변위 정보를 기초로 생성되는
    장면 영상을 형성하는 방법.
  5. 제4항에 있어서,
    상기 심도 정보는, 상기 EM 스펙트럼의 상기 제2 부분과 관련 있는 상기 제2 영상의 영상 데이터와 관련된 고주파 영상 데이터의 자동 보정 함수에서 변위 정보를 기초로 생성되는
    장면 영상을 형성하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 장면이 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 상기 방사로 조명되면서 상기 제 1 영상이 포착되는 동안, 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 스펙트럼 에너지 강도 혹은 그 파생물이 기결정된 한계점에 도달했는지 여부를 판정하는 단계; 및
    상기 판정에 근거하여 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 상기 장면을 조명하는 것을 차단하는 단계를 더 포함하는
    장면 영상을 형성하는 방법.
  7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 영상 센서는 동시에 상기 제 1 및 제 2 조리개로부터의 방사에 노출되는
    장면 영상을 형성하는 방법.
  8. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 1 영상의 영상 데이터를 하이 패스 필터에 적용시키는 단계;
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 1 영상의 영상 데이터의 필터링된 고주파 컴포넌트를 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 1 영상의 영상 데이터에 추가하는 단계를 더 포함하는
    장면 영상을 형성하는 방법.
  9. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 EM 스펙트럼의 상기 제 1 부분은 가시 스펙트럼의 적어도 일 부분을 포함하고, 상기 EM 스펙트럼의 상기 제 2 부분은 비가시 스펙트럼의 적어도 일부분을 포함하는
    장면 영상을 형성하는 방법.
  10. 제9항에 있어서,
    상기 비가시 스펙트럼은 적외선 스펙트럼인
    장면 영상을 형성하는 방법.
  11. 장면 영상을 형성하는 다중 조리개 영상 시스템으로서,
    플래시;
    영상 센서;
    영상 센서를, 적어도 제 1 조리개를 이용하여 전자기(EM) 스펙트럼의 제 1 부분으로부터의 방사에 노출시키고 적어도 제 2 조리개(상기 제 1 조리개와 다른 사이즈를 가짐)를 이용하여 상기 EM 스펙트럼의 제 2 부분으로부터의 방사에 노출시켜 제 1 영상을 포착하도록 구성된 파장 선택적인 다중 조리개; 및
    상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 의해 생성된 상기 제 1 영상의 영상 데이터를 기초로, 그리고 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사에 의해 생성된 상기 제 1 영상의 영상 데이터를 기초로 장면 영상을 형성하도록 구성되는 프로세싱 모듈을 포함하고,
    상기 제 1 영상을 포착하는 동시에, 상기 플래시는 기결정된 하나 이상의 조명 파라미터에 따라 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 상기 장면을 조명하도록 구성되고,
    상기 제 1 영상을 포착하기 이전에, 상기 하나 이상의 조명 파라미터는,
    상기 파장 선택적인 다중 조리개가, 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 상기 장면이 조명되지 않은 상태에서, 상기 영상 센서를, 적어도 상기 제 1 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 노출하고 적어도 상기 제 2 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사에 노출하여 상기 장면의 제 2 영상을 포착하고,
    상기 프로세싱 모듈이, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 생성하고,
    상기 프로세싱 모듈이, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 기초로, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 스펙트럼 에너지 강도 또는 그 파생물과 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 스펙트럼 에너지 강도 혹은 그 파생물 간의 비율을 결정하고, 그리고
    상기 프로세싱 모듈이 상기 결정된 비율을 기초로 상기 하나 이상의 조명 파라미터를 설정하는 것에 의해, 결정되는
    다중 조리개 영상 시스템.
  12. 장면 영상을 형성하는 다중 조리개 영상 시스템으로서,
    플래시;
    영상 센서;
    영상 센서를, 적어도 제 1 조리개를 이용하여 전자기(EM) 스펙트럼의 제 1 부분으로부터의 방사에 노출시키고 적어도 제 2 조리개(상기 제 1 조리개와 다른 사이즈를 가짐)를 이용하여 상기 EM 스펙트럼의 제 2 부분으로부터의 방사에 노출시켜 제 1 영상을 포착하도록 구성된 파장 선택적인 다중 조리개; 및
    상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 의해 생성된 상기 제 1 영상의 영상 데이터를 기초로, 그리고 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사에 의해 생성된 상기 제 1 영상의 영상 데이터를 기초로 장면 영상을 형성하도록 구성되는 프로세싱 모듈을 포함하고,
    상기 제 1 영상을 포착하는 동시에, 상기 플래시는 기결정된 하나 이상의 조명 파라미터에 따라 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 상기 장면을 조명하도록 구성되고,
    상기 제 1 영상을 포착하기 이전에, 상기 하나 이상의 조명 파라미터는,
    상기 파장 선택적 다중 조리개가, 상기 EM 스펙트럼의 상기 제 2 부분으로부터의 방사로 상기 장면을 조명하지 않은 상태에서, 상기 영상 센서를, 적어도 상기 제 1 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 1 부분으로부터의 방사에 노출하고 적어도 제 2 조리개를 이용하여 상기 EM 스펙트럼의 상기 제 2 부분으로부터 상기 방사에 노출하여 제 2 영상을 포착하고,
    상기 프로세싱 모듈이, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 생성하고,
    상기 프로세싱 모듈이, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 기초로, 상기 포착된 제 2 영상과 관련된 심도 정보를 생성하고,
    상기 프로세싱 모듈이 생성된 심도 정보를 기초로 하나 이상의 조명 파라미터를 설정하는 것에 의해 결정되는
    다중 조리개 영상 시스템.
  13. 제 11 항 또는 제 12 항을 따르는 다중 조리개 영상 시스템에서 사용되는 플래시 컨트롤러로서,
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터를 수신하기 위한 입력부; 및
    프로세싱 유닛을 포함하고, 상기 프로세싱 유닛은,
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터에 기초하여, 상기 EM 스펙트럼의 상기 제 1 부분과 관련된 스펙트럼 에너지 강도 또는 그 파생물과 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 스펙트럼 에너지 강도 또는 그 파생물 간의 비율을 결정하고 그리고 상기 결정된 비율에 근거하여 하나 이상의 조명 파라미터를 설정하고, 또는
    상기 EM 스펙트럼의 상기 제 1 부분과 관련된 상기 제 2 영상의 영상 데이터 및 상기 EM 스펙트럼의 상기 제 2 부분과 관련된 상기 제 2 영상의 영상 데이터에 기초하여, 상기 포착된 제 2 영상과 관련된 심도 정보를 생성하고, 그리고 생성된 심도 정보를 근거로 하나 이상의 조명 파라미터를 설정하는
    다중 조리개 영상 시스템에서 사용되는 플래시 컨트롤러.
  14. 디지털 카메라로서,
    제 11항 또는 제 12 항 중 어느 한 항을 따르는 다중 조리개 영상 시스템을 포함하는
    디지털 카메라.
  15. 영상 데이터를 처리하는 컴퓨터 프로그램을 기록하는 저장 매체로서, 상기 컴퓨터 프로그램은,
    컴퓨터 시스템 메모리에서 작동할 때, 제1항 또는 제2항 중 어느 한 항을 따르는 방법의 단계들을 실행하도록 구성되는 소프트 웨어 코드 부분을 포함하는
    영상 데이터를 처리하는 컴퓨터 프로그램을 기록하는 저장 매체.
KR1020137003817A 2010-07-16 2010-07-16 다중 조리개 촬영용 플래시 시스템 KR101655742B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/060282 WO2012007049A1 (en) 2010-07-16 2010-07-16 Flash system for multi-aperture imaging

Publications (2)

Publication Number Publication Date
KR20130140617A KR20130140617A (ko) 2013-12-24
KR101655742B1 true KR101655742B1 (ko) 2016-09-09

Family

ID=43797764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137003817A KR101655742B1 (ko) 2010-07-16 2010-07-16 다중 조리개 촬영용 플래시 시스템

Country Status (6)

Country Link
US (2) US8917349B2 (ko)
EP (1) EP2594062B1 (ko)
JP (1) JP5734425B2 (ko)
KR (1) KR101655742B1 (ko)
CN (1) CN103250405B (ko)
WO (1) WO2012007049A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
EP3217659B1 (en) 2013-03-13 2018-06-13 Fujitsu Frontech Limited Image processing apparatus, image processing method, and program
JP6581086B2 (ja) * 2013-08-09 2019-09-25 サーマル イメージング レーダ、エルエルシーＴｈｅｒｍａｌ Ｉｍａｇｉｎｇ Ｒａｄａｒ， Ｌｌｃ 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
KR101638681B1 (ko) * 2014-07-15 2016-07-12 주식회사 듀얼어퍼처인터네셔널 색재현성이 개선된 듀얼 애퍼처 카메라 및 그 동작 방법
KR101834393B1 (ko) 2014-08-08 2018-04-13 포토내이션 리미티드 이미지 획득 장치용 광학계
US10152631B2 (en) 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
CN104243782B (zh) * 2014-09-29 2019-02-05 联想(北京)有限公司 光学模组和电子设备
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US10366509B2 (en) 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
JP6491537B2 (ja) * 2015-05-20 2019-03-27 日本放送協会 撮像装置
US10613417B2 (en) 2015-06-03 2020-04-07 Center For Integrated Smart Sensors Foundation Multi-aperture camera system having auto focusing function and/or depth estimation function
CN106303201A (zh) * 2015-06-04 2017-01-04 光宝科技股份有限公司 影像撷取装置及对焦方法
WO2016199965A1 (ko) * 2015-06-12 2016-12-15 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 원 형상의 애퍼처 기판을 포함하는 광학계 및 이를 포함하는 멀티 애퍼처 카메라
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
KR102015479B1 (ko) * 2017-07-28 2019-08-28 에스케이텔레콤 주식회사 프로젝터 장치
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
KR102100921B1 (ko) * 2019-08-08 2020-04-14 에스케이텔레콤 주식회사 프로젝터 장치
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
US11853845B2 (en) 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
JP2023019712A (ja) * 2021-07-29 2023-02-09 トヨタ自動車株式会社 画像生成装置、画像生成方法、及び車両制御システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078212A (ja) 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2002369223A (ja) 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2005017347A (ja) 2003-06-23 2005-01-20 Canon Inc 絞り装置及びそれを用いた光学機器
JP2010079298A (ja) 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2800364B2 (ja) * 1990-04-27 1998-09-21 松下電器産業株式会社 光学的ローパスフィルタ
US5148209A (en) * 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
US5231443A (en) * 1991-12-16 1993-07-27 The Research Foundation Of State University Of New York Automatic ranging and automatic focusing
US6034372A (en) * 1997-12-03 2000-03-07 The United States Of America As Represented By The Secretary Of The Air Force Pupil stop for multi-band focal plane arrays
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP3626101B2 (ja) 2001-01-12 2005-03-02 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP2003084344A (ja) * 2001-09-14 2003-03-19 Casio Comput Co Ltd 閃光装置及びそれを備えたカメラ装置、閃光装置の色温度制御方法
US6870684B2 (en) * 2001-09-24 2005-03-22 Kulicke & Soffa Investments, Inc. Multi-wavelength aperture and vision system and method using same
JP4434991B2 (ja) * 2005-03-01 2010-03-17 キヤノン株式会社 イメージセンサ
US7400458B2 (en) * 2005-08-12 2008-07-15 Philips Lumileds Lighting Company, Llc Imaging optics with wavelength dependent aperture stop
US7609291B2 (en) 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light
US20070133983A1 (en) * 2005-12-14 2007-06-14 Matilda Traff Light-controlling element for a camera
US7819591B2 (en) * 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP5315574B2 (ja) 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP2009004605A (ja) * 2007-06-22 2009-01-08 Fujifilm Corp 撮像素子及び撮像装置
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101561634B (zh) * 2008-04-15 2014-07-23 北大方正集团有限公司 一种获取光刻机最佳参数的方法及装置
US9282926B2 (en) * 2008-12-18 2016-03-15 Sirona Dental Systems Gmbh Camera for recording surface structures, such as for dental purposes
CN102334333B (zh) 2009-01-16 2016-05-11 双光圈国际株式会社 改善成像系统的景深
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
US20120154596A1 (en) 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
WO2011101035A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
US8780182B2 (en) * 2010-03-31 2014-07-15 Raytheon Company Imaging system and method using partial-coherence speckle interference tomography
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078212A (ja) 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2002369223A (ja) 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
JP2005017347A (ja) 2003-06-23 2005-01-20 Canon Inc 絞り装置及びそれを用いた光学機器
JP2010079298A (ja) 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム

Also Published As

Publication number Publication date
US20150085137A1 (en) 2015-03-26
JP2013538479A (ja) 2013-10-10
WO2012007049A1 (en) 2012-01-19
CN103250405A (zh) 2013-08-14
US9635275B2 (en) 2017-04-25
JP5734425B2 (ja) 2015-06-17
CN103250405B (zh) 2016-08-17
US20130113988A1 (en) 2013-05-09
EP2594062A1 (en) 2013-05-22
US8917349B2 (en) 2014-12-23
EP2594062B1 (en) 2016-09-14
KR20130140617A (ko) 2013-12-24

Similar Documents

Publication Publication Date Title
KR101655742B1 (ko) 다중 조리개 촬영용 플래시 시스템
US9495751B2 (en) Processing multi-aperture image data
JP5728673B2 (ja) 多開口画像データの処理
US9615030B2 (en) Luminance source selection in a multi-lens camera
US20160042522A1 (en) Processing Multi-Aperture Image Data
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
EP3133646A2 (en) Sensor assembly with selective infrared filter array
JP5670456B2 (ja) カラー画像のノイズを低減すること
US20170230638A1 (en) Depth Measurement Techniques for a Multi-Aperture Imaging System
US9077916B2 (en) Improving the depth of field in an imaging system
WO2016137239A1 (en) Generating an improved depth map usinga multi-aperture imaging system
JP2008277926A (ja) 画像データ処理方法と該方法を用いた撮像装置
KR20170042226A (ko) 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
WO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
US9857663B1 (en) Phase detection autofocus system and method
JP5409158B2 (ja) 単板カラー２次元撮像素子を備える撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant