KR20200039782A - 이미징 디바이스 및 이미징 방법 - Google Patents

이미징 디바이스 및 이미징 방법 Download PDF

Info

Publication number
KR20200039782A
KR20200039782A KR1020207008037A KR20207008037A KR20200039782A KR 20200039782 A KR20200039782 A KR 20200039782A KR 1020207008037 A KR1020207008037 A KR 1020207008037A KR 20207008037 A KR20207008037 A KR 20207008037A KR 20200039782 A KR20200039782 A KR 20200039782A
Authority
KR
South Korea
Prior art keywords
light
image
infrared
splitting device
imaging device
Prior art date
Application number
KR1020207008037A
Other languages
English (en)
Inventor
리위 주
이위 린
펑 쉬
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200039782A publication Critical patent/KR20200039782A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/23229—
    • H04N9/04—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

본 출원은 이미징 장치 및 이미징 방법을 개시한다. 이미징 장치는 촬영 장치, 광 분할 장치, 복수의 센서 및 이미지 처리 장치를 포함한다. 광 분할 장치는 촬영 장치의 출사면 상에 배치되고, 촬영 장치로부터 광 분할 장치로 사출된 광을, 복수의 출사면으로부터 사출된 광으로 분할하도록 구성된다. 복수의 센서는 광 분할 장치의 복수의 출사면 상에 배치되고, 전처리된 이미지를 생성하도록 구성된다. 이미지 처리 장치는 복수의 센서에 접속되고, 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득하도록 구성된다. 본 출원에서 제공되는 이미징 장치는 하나의 노출만을 요구하여 복수의 성분에 대응하는 이미지들의 융합을 달성하여 와이드 다이내믹 레인지 이미지를 획득한다. 종래 기술 다중 노출 방식과 비교하여, 다중 노출 방식으로 획득된 융합된 이미지에 존재하는 고스트 및 블러의 고유한 단점들이 효과적으로 해결되고, 다중 노출을 통해 획득된 합성 이미지의 저조도 성능의 문제가 회피된다.

Description

이미징 디바이스 및 이미징 방법
본 출원은 2017년 9월 7일자로 중국 특허청에 출원되고 발명의 명칭이 "IMAGING APPARATUS AND IMAGING METHOD"인 중국 특허 출원 제201710801780.3호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참조로 포함된다.
본 발명은 이미지 기술 분야에 관한 것이며, 특히, 이미징 장치 및 이미징 방법에 관한 것이다.
카메라 기술이 발명되기 때문에, 조도 다이내믹 레인지(즉, 촬영 영역에서의 조도의 변화 레인지) 적응이 지나치게 좁다는 문제가 지속된다. 예를 들어, 사용자가 창문을 통해 실내에서 실외로 촬영을 수행할 경우, 실내 조도의 평균은 수백의 럭스(Lux)이고, 한편 맑은 날의 실외 광의 조도는 수천의 럭스에 도달할 수 있다. 이러한 광 환경에서, 실내 및 실외 물체들은 둘 다 명확하게 촬영될 수 없다. 예를 들어, 전술한 경우에, 실외 광이 지배적이고, 따라서 카메라의 노출 시간은 상대적으로 짧은데, 예를 들어, 1/4000s이다. 그러나, 이러한 노출 시간은 실외 물체의 명확한 이미지를 획득하기에 정확하게 적절한 반면 이러한 노출 시간은 실내 물체의 이미지가 저조도(low light) 실내로 인해 명확하게 볼 수 없는 실내 물체에 대해 불충분하다. 기존의 통상의 카메라는 일반적으로 백라이트 보상 기능을 가져, 노출 시간 및 휘도 이득을 증가시키는 것에 의해 전체 휘도를 증가시켜서, 실내 물체의 명확한 이미지가 획득될 수 있는 반면 과다노출로 인해 실외 물체의 지나치게 옅은 이미지가 획득되게 된다. 다시 말해서, 기존의 통상의 카메라는 제한된 조도 다이내믹 레인지에서만 사용될 수 있거나, 또는 단지 부분적인 조도에서의 이미지는 비교적 큰 조도 다이내믹 레인지로 보여질 수 있다.
종래 기술에서의 디지털 와이드 다이내믹 레인지(digital wide dynamic range) 기술은 노출을 조정함으로써 이미지 알고리즘에 따라 수집된 이미지에 대해 디지털 향상(digital enhancement)을 수행하기 위한 기술이다. 기술적으로, 디지털 와이드 다이내믹 레인지 기술은 알고리즘에 따라 지능형 처리를 사용한다. 과다노출된 영역 또는 과소노출된 영역이 장면에 존재할 때, 장면의 휘도는 애퍼처, 셔터, 및 이득과 같은 이미지 파라미터들을 자동으로 조정함으로써 더 양호한 시청을 위해 조정된다. 또한, 디지털 이미지 향상 알고리즘이 사용되어, 이미지에서 어두운 부분을 밝게 하고 이미지에서 하이라이트된 부분을 억제하여, 이미지 콘트라스트를 감소시킨다. 그러나, 디지털 와이드 다이내믹 레인지 기술은 본질적으로 알고리즘에 따라 이미지를 후속적으로 향상시키는 프로세스이다. 알고리즘 레벨에서 다음의 단점들이 있을 수 있다. 디지털 와이드 다이내믹 레인지 기술이 이미지의 어두운 부분을 밝게 하기 위해 사용될 수 있지만, 이미지 센서에 의해 출력되는 신호 대 노이즈 비가 어두운 부분에서 크게 감소하기 때문에, 노이즈가 이미지 향상 후에 증폭되고, 노이즈에 의해 커버되는 정보는 이미지 향상을 통해 복원될 수 없다. 이미지의 밝은 부분에 대해, 손실된 세부 사항들은 과다노출로부터 생기는 이미지 오버플로우로 인해 이미지 향상을 통해 복원될 수 없다.
결론적으로, 기존 기술의 개발의 제약으로 인해, 카메라에 대해, 밝은 부분 및 어두운 부분은 실제 환경에서 비교적 큰 조도 다이내믹 레인지를 갖는 장면에서 둘 다 고려될 수 없다. 따라서, 종래의 촬영 기술에서 좁은 광 레인지 적응의 문제를 해결하기 위해, 이미징 기술이 현재 긴급하게 요구된다.
본 출원은 종래의 촬영 기술의 좁은 광 레인지 적응의 문제를 해결하기 위한 이미징 장치 및 이미징 방법을 제공한다.
제1 양태에 따르면, 본 출원은 이미징 장치를 제공하며, 이미징 장치는 촬영 장치, 광 분할 장치, 복수의 센서 및 이미지 처리 장치를 포함하며,
촬영 장치는 물체에 의해 반사된 광을 획득하고, 획득된 광을 광 분할 장치로 사출시키도록 구성되고;
광 분할 장치는 촬영 장치의 출사면 상에 배치되고, 촬영 장치에 의해 광 분할 장치로 사출된 광을, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하도록 구성되고;
복수의 센서는 광 분할 장치의 복수의 출사면 상에 배치되고, 대응하는 출사면들로부터 사출된 광을 수신하고, 수신된 광에 기초하여 전처리된 이미지들을 생성하도록 구성되고; 및
이미지 처리 장치는 복수의 센서에 접속되고, 복수의 센서에 의해 생성된 전처리된 이미지들을 융합하여 출력 이미지를 획득하도록 구성된다.
이러한 방식으로, 광 분할 장치가 본 출원에서 사용되기 때문에, 광은 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할될 수 있고, 복수의 출사면 상에 배치된 센서들은 모든 분할된 성분에 대해 개별적으로 이미징을 수행하고, 이미지 처리 장치는 모든 성분들에 대응하는 이미징들을 융합한다. 이러한 방식으로, 본 출원에서 제공되는 이미징 장치는 하나의 노출만을 요구하여 복수의 성분에 대응하는 이미지들의 융합을 달성하여 와이드 다이내믹 레인지 이미지를 획득한다. 종래 기술 다중 노출 방식과 비교하여, 다중 노출 방식으로 획득된 융합된 이미지에 존재하는 고스트 및 블러의 고유한 단점들이 효과적으로 해결됨으로써, 실제 감시 환경에서 와이드 다이내믹 레인지 이미지의 실용성을 개선한다. 또한, 하나의 노출만이 요구되어, 종래 기술 다중 노출 방식으로 획득된 합성 이미지의 저조도 성능(low light performance)의 문제가 회피되게 된다.
가능한 설계에서, 이미지 처리 장치는 복수의 센서에 의해 생성된 전처리된 이미지들에 기초하여 복수의 센서의 이득들 및/또는 셔터 시간을 조정하도록 추가로 구성된다.
이러한 방식으로, 이미지 처리 장치는 복수의 센서에 의해 생성된 전처리된 이미지들에 기초하여 실시간으로 복수의 센서의 이득들 및/또는 셔터 시간을 조정할 수 있어, 이미징 장치는 광의 다이내믹한 변화에 효과적으로 적응할 수 있게 된다.
가능한 설계에서, 광 분할 장치는 촬영 장치에 의해 광 분할 장치로 사출된 광을, 광 강도 및/또는 광 스펙트럼에 기초하여, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하도록 구체적으로 구성된다.
이러한 방식으로, 광 분할 장치는 광 강도 및/또는 광 스펙트럼에 기초하여 광을 분할함으로써, 과학적으로 그리고 합리적으로 광을 분할하고, 후속 융합에 대해 양호한 기초를 놓아서 출력 이미지를 획득할 수 있다.
가능한 설계에서, 광 분할 장치는 제1 출사면 및 제2 출사면을 포함하고, 제1 출사면 상에 배치된 센서는 흑백 이미지 센서이고, 제2 출사면 상에 배치된 센서는 컬러 이미지 센서이고; 및
광 분할 장치로 사출된 광이 모두 가시 광인 경우, 광 분할 장치는 광 분할 장치로 사출된 광을, 특정된 비율에 기초하여, 제1 출사면으로부터 사출된 가시 광 및 제2 출사면으로부터 사출된 가시 광으로 분할하거나; 또는
광 분할 장치로 사출된 광이 가시 광 및 적외선 광을 포함하는 경우, 광 분할 장치는 광 분할 장치로 사출된 광을, 제1 출사면으로부터 사출된 광 및 제2 출사면으로부터 사출된 광으로 분할하고, 제1 출사면으로부터 사출된 광은 적외선 광 및 가시 광을 포함하고, 제2 출사면으로부터 사출된 광은 가시 광을 포함한다.
가능한 설계에서, 이미지 처리 장치는, 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 크거나 같은 것으로 결정하는 경우, 장면이 저조도 장면(low light scene)인 것으로 결정하거나; 또는 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 작은 것으로 결정하는 경우, 장면이 와이드 다이내믹 장면인 것으로 결정하도록 추가로 구성된다.
가능한 설계에서, 촬영 장치에 의해 촬영된 광은 적외선 광 및 가시 광을 포함하고;
이미징 장치는 적외선 차단 필터를 추가로 포함하고, 적외선 차단 필터는 광 분할 장치의 입사면과 촬영 장치의 출사면 사이에 배치되고, 적외선 차단 필터는 이미지 처리 장치에 접속되고; 및
이미지 처리 장치는, 와이드 다이내믹 장면에서, 적외선 차단 필터를 제어하여 적외선 광을 차단하여, 광 분할 장치로 사출된 모든 광이 가시 광이게 되고; 저조도 장면에서, 적외선 차단 필터를 제어하여 적외선 광 및 가시 광을 사출시켜, 광 분할 장치로 사출된 광이 적외선 광 및 가시 광을 포함하게 되도록 추가로 구성된다.
가능한 설계에서, 촬영 장치에 의해 촬영된 광은 적외선 광 및 가시 광을 포함하고;
이미징 장치는 적외선 차단 필터를 추가로 포함하고, 적외선 차단 필터는 광 분할 장치의 제1 출사면과 흑백 이미지 센서 사이에 배치되고, 적외선 차단 필터는 이미지 처리 장치에 접속되고; 및
이미지 처리 장치는, 와이드 다이내믹 장면에서, 적외선 차단 필터를 제어하여 적외선 광을 차단하여, 흑백 이미지 센서로 사출된 모든 광이 가시 광이게 되고; 저조도 장면에서, 적외선 차단 필터를 제어하여 적외선 광 및 가시 광을 사출시켜, 흑백 이미지 센서로 사출된 광이 적외선 광 및 가시 광을 포함하게 되고; 디헤이징(dehazing) 장면에서, 적외선 차단 필터를 제어하여 가시 광을 차단하여, 흑백 이미지 센서로 사출된 모든 광이 적외선 광이게 되도록 추가로 구성된다.
가능한 설계에서, 복수의 센서에 의해 생성된 복수의 전처리된 이미지는 흑백 이미지 및 컬러 이미지를 포함하고; 및
이미지 처리 장치는 구체적으로, 복수의 전처리된 이미지의 휘도 성분들을 고주파 성분들 및 저주파 성분들로 개별적으로 분해하고, 복수의 전처리된 이미지의 컬러 이미지의 컬러 성분들을 크로미넌스 성분 및 포화도 성분으로 분해하고; 복수의 전처리된 이미지 중 고주파 성분들에 기초하여 융합된 고주파 성분을 획득하고, 복수의 전처리된 이미지의 저주파 성분에 기초하여 융합된 저주파 성분을 획득하고; 융합된 고주파 성분 및 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득하고, 융합된 휘도 성분, 크로미넌스 성분 및 포화도 성분에 기초하여 출력 이미지를 추가로 획득하도록 구성된다.
제2 양태에 따르면, 본 출원은 이미징 방법을 제공하고, 이미징 방법은 전술한 설계들 중 임의의 하나에서 이미징 장치에 적용가능하고, 이 방법은 다음을 포함한다:
물체에 의해 반사된 광을 획득하는 단계;
획득된 광을 분할하여 복수의 광 세트를 획득하는 단계;
복수의 광 세트 중 임의의 하나의 광 세트에서의 광에 기초하여, 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 단계; 및
복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득하는 단계.
이러한 방식으로, 본 출원에서, 물체에 의해 반사된 획득된 광은 분할되고, 광은 복수의 광 세트를 획득하도록 분할될 수 있고, 복수의 광 세트에 대응하는 전처리된 이미지들은 복수의 광 세트에서의 광에 기초하여 생성되고, 복수의 전처리된 이미지는 출력 이미지를 획득하도록 융합된다. 이러한 방식으로, 본 출원에서 제공되는 이미징 방법은 하나의 노출만을 요구하여 복수의 성분에 대응하는 이미지들의 융합을 달성하여 와이드 다이내믹 레인지 이미지를 획득한다. 종래 기술 다중 노출 방식과 비교하여, 다중 노출 방식으로 획득된 융합된 이미지에 존재하는 고스트 및 블러의 고유한 단점들이 효과적으로 해결됨으로써, 실제 감시 환경에서 와이드 다이내믹 레인지 이미지의 실용성을 개선한다. 또한, 하나의 노출만이 요구되어, 종래 기술 다중 노출 방식으로 획득된 합성 이미지의 저조도 성능의 문제가 회피되게 된다.
가능한 설계에서, 획득된 광을 분할하여 복수의 광 세트를 획득하는 것은:
획득된 광을 광 강도 및/또는 광 스펙트럼에 기초하여 분할하여 복수의 광 세트를 획득하는 것을 포함한다.
가능한 설계에서, 획득된 광이 모두 가시 광인 경우, 획득된 광은 특정된 비율에 기초하여 분할되어, 제1 광 세트 및 제2 광 세트를 획득하거나; 또는
획득된 광이 가시 광 및 적외선 광을 포함하는 경우, 획득된 광은 분할되어 제3 광 세트 및 제4 광 세트를 획득하고, 여기서 제3 광 세트는 적외선 광 및 가시 광을 포함하고, 제4 광 세트는 가시 광을 포함한다.
가능한 설계에서, 획득된 광은 가시 광 및 적외선 광을 포함하고; 및
획득된 광을 분할하여 복수의 광 세트를 획득하는 것은:
장면이 와이드 다이내믹 장면인 것으로 결정되는 경우, 획득된 광으로부터 적외선 광을 차단하고, 획득된 광에서 가시 광을 분할하여 복수의 광 세트를 획득하는 것을 포함한다.
가능한 설계에서, 획득된 광은 가시 광 및 적외선 광을 포함하고; 및
복수의 광 세트 중 임의의 하나의 광 세트에서의 광에 기초하여, 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 것은:
장면이 와이드 다이내믹 장면인 것으로 결정되는 경우, 임의의 하나의 광 세트로부터의 적외선 광을 차단하고, 임의의 하나의 광 세트로부터의 가시 광에 기초하여, 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 것; 또는
장면이 디헤이징 장면인 것으로 결정되는 경우, 임의의 하나의 광 세트로부터의 가시 광을 차단하고, 임의의 하나의 광 세트로부터의 적외선 광에 기초하여, 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 것을 포함한다.
가능한 설계에서, 복수의 전처리된 이미지는 흑백 이미지 및 컬러 이미지를 포함하고; 및
복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득하는 것은:
복수의 전처리된 이미지의 휘도 성분들을 고주파 성분들 및 저주파 성분들로 개별적으로 분해하고, 복수의 전처리된 이미지의 컬러 이미지의 컬러 성분을 크로미넌스 성분 및 포화도 성분으로 분해하는 것;
복수의 전처리된 이미지 중 고주파 성분에 기초하여 융합된 고주파 성분을 획득하고, 복수의 전처리된 이미지의 저주파 성분에 기초하여 융합된 저주파 성분을 획득하는 것; 및
융합된 고주파 성분 및 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득하고, 융합된 휘도 성분, 크로미넌스 성분 및 포화도 성분에 기초하여 출력 이미지를 추가로 획득하는 것을 포함한다.
제3 양태에 따르면, 본 출원은 프로세서, 메모리, 촬영 장치, 광 분할 장치, 복수의 센서, 및 이미지 처리 장치를 포함하는 이미징 장치를 제공하며,
메모리는 프로세서에 의해 실행될 프로그램 코드를 저장하도록 구성되고;
프로세서는 메모리에 저장된 프로그램 코드를 호출하여 다음의 기능들:
사용자의 촬영 시동 액션에 응답하여, 촬영 장치를 사용하여, 물체에 의해 반사된 광을 획득하고, 획득된 광을 광 분할 장치로 사출시키는 기능; 광 분할 장치에 의해, 광 분할 장치로 사출된 광을 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하는 기능; 복수의 센서를 사용하여, 대응하는 출사면들로부터 사출된 광을 수신하고, 수신된 광에 기초하여 전처리된 이미지들을 생성하는 기능; 및 이미지 처리 장치를 사용하여, 복수의 센서에 의해 생성된 전처리된 이미지들을 융합하여 출력 이미지를 획득하는 기능을 수행하도록 구성되고; 및
메모리는 RAM을 포함할 수 있고, 비휘발성 메모리(non-volatile memory), 예를 들어, 적어도 하나의 자기 디스크 스토리지를 추가로 포함할 수 있고; 프로세서는 메모리에 저장된 애플리케이션 프로그램을 실행하여, 전술한 기능을 구현한다.
가능한 설계에서, 프로세서, 메모리, 촬영 장치, 광 분할 장치, 복수의 센서 및 이미지 처리 장치는 버스를 사용하여 서로 접속될 수 있다. 버스는 주변 컴포넌트 인터커넥트(PCI) 버스, 확장된 산업 표준 아키텍처(extended industry standard architecture, EISA) 버스 등일 수 있다. 버스는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다.
가능한 설계에서, 이미징 장치는 디스플레이 화면을 추가로 포함하고, 프로세서에 의해 실행되는 기능들은 다음을 추가로 포함한다:
사용자의 이미지 디스플레이 액션에 응답하여, 디스플레이 화면에 출력 이미지를 디스플레이하는 것.
본 출원은 판독가능 저장 매체를 추가로 제공하고, 저장 매체는 명령어를 저장하고, 명령어가 이미징 장치 상에서 실행될 때, 이미징 장치는 전술한 설계들 중 임의의 하나에서 제공되는 이미징 방법을 수행할 수 있게 된다.
본 출원은 명령어를 포함하는 프로그램 제품을 추가로 제공하고, 프로그램 제품이 이미징 장치 상에서 실행될 때, 이미징 장치는 전술한 설계들 중 임의의 하나에서 제공되는 이미징 방법을 수행할 수 있게 된다.
도 1은 종래의 이미징 장치의 개략도이다;
도 2a는 본 출원의 실시예 1에 따른 이미징 장치의 개략 구조도이다;
도 2b는 광 분할 장치에 의해 광을 분할하는 개략도이다;
도 3은 본 출원의 실시예 2에 따른 이미징 장치의 개략 구조도이다;
도 4a 및 도 4b는 와이드 다이내믹 장면에서의 작업 프로세스의 개략도이다;
도 5a 및 도 5b는 저조도 장면에서의 작업 프로세스의 개략도이다;
도 6은 본 출원의 실시예 3에 따른 이미징 장치의 개략 구조도이다;
도 7a 및 도 7b는 디헤이징 장면에서의 작업 프로세스의 개략도이다;
도 8은 본 출원의 실시예 4에 따른 이미징 방법에 대응하는 개략 흐름도이다;
도 9는 본 출원에 따른 융합 방법에 대응하는 개략 흐름도이다; 및
도 10은 본 출원의 실시예 5에 따른 이미징 장치의 개략 구조도이다.
다음은 본 명세서의 첨부 도면들을 참조하여 상세하게 본 출원의 실시예들을 설명한다.
도 1은 종래의 이미징 장치의 개략도이다. 도 1에 도시된 바와 같이, 종래의 이미징 장치(100)는 촬영 장치(101), 이미지 센서(102), 및 범용 이미지 처리(image signal processor, ISP) 모듈을 포함한다. 외부 광은 촬영 장치(101)를 사용하여 이미지 센서(102) 상에 포커싱된다. 이미지 센서(102)는 광을 감지하고 전기 신호를 생성하고, 처리를 위해 범용 ISP 모듈(103)에 전기 신호를 전달한다.
도 1의 종래의 이미징 장치는 제한된 조도 다이내믹 레인지에서만 사용될 수 있다. 이러한 문제를 해결하기 위해, 종래 기술에서 제공되는 와이드 다이내믹 솔루션은 다중 노출을 통해 결합되는 와이드 다이내믹 레인지 이미지를 사용한다. 솔루션의 본질은 디지털 알고리즘을 사용하여 복수 회 노출되는 이미지들을 결합하여, 다이내믹 레인지를 증가시키는 것이다. 가장 간단한 애플리케이션은 긴 프레임 노출과 짧은 프레임 노출의 조합의 방식을 사용하는 것이다. 긴 노출 이미지의 휘도는 이미지의 어두운 세부 사항들을 제시하기 위해 사용될 수 있는 반면, 짧은 노출은 이미지의 하이라이트된 부분이 과다노출되지 않는 것을 보장할 수 있다. 융합 알고리즘에 따라 이미지에 융합이 수행된 후에, 이미지의 어두운 부분과 밝은 부분 둘 다의 세부 사항들이 유지될 수 있어, 이미지의 다이내믹 레인지를 확장하는 효과가 달성되게 된다.
종래 기술 솔루션은 이미지의 와이드 다이내믹 레인지를 증가시키기를 시도하기 위해 도 1에 도시된 하드웨어 구조에 기초하여 다중 노출 방식을 사용하는 것임을 전술한 내용으로부터 알 수 있다. 그러나, 다중 노출 방식이 사용되기 때문에, 장면에 움직이는 물체가 있을 때 또는 카메라가 정적 상태에 있지 않을 때, 시간 차이로 인해, 현재 노출되는 이미지와 이전에 노출되는 이미지 사이의 차이가 존재한다. 따라서, 현재 노출된 이미지와 이전에 노출된 이미지 사이의 차이는 융합 알고리즘이 사용될 때 고려될 필요가 있다. 현재, 이 차이에 의해, 노출된 이미지들 간의 융합에서 발생하는 에러에 의해 야기되는 이미지 융합에서의 고스트 및 블러의 고유한 단점들은 완전히 회피될 수 없다. 또한, 한 프레임의 이미지가 복수 회 노출되기 때문에, 융합된 이미지의 저조도 성능은 단일의 긴 노출 이미지의 것보다 더 낮다.
이를 고려하여, 본 출원에서, 종래의 촬영 기술에서의 이미징 장치의 하드웨어 구조가 개선된다. 종래의 촬영 기술에서의 좁은 광 레인지(range) 적응의 문제를 해결하기 위한 현재 솔루션을 제공하기 위해, 이미징 장치에 광 분할 장치가 도입된다. 본 출원에서 제공되는 이미징 장치는 상이한 구조들을 갖는 카메라들 및 비디오 감시 디바이스들에 적용될 수 있거나, 예를 들어, 모바일 폰을 사용하여 촬영하는 분야에 적용되는 카메라들에 적용될 수 있다. 이것은 구체적으로 제한되지 않는다.
실시예 1
도 2a는 본 출원의 실시예 1에 따른 이미징 장치의 개략 구조도이다. 도 2a에 도시된 바와 같이, 이미징 장치(200)는 도 2a에 도시한 촬영 장치(201), 광 분할 장치(202), 이미지 처리 장치(203), 및 복수의 센서, 예를 들어, 센서(2041), 센서(2042), 및 센서(2043)를 포함한다. 이하에서는 상세한 설명들을 개별적으로 제공한다.
(1) 촬영 장치(201)는 물체에 의해 반사된 광을 획득하고, 획득된 광을 광 분할 장치로 사출시키도록 구성된다. 또한, 촬영 장치(201)는 적외선 공초점 카메라일 수 있다. 따라서, 촬영 장치(201)에 의해 획득되는 물체에 의해 반사된 광은 적외선 광 및 가시 광을 포함한다.
(2) 광 분할 장치(202)는 촬영 장치의 출사면 상에 배치되고, 촬영 장치에 의해 광 분할 장치(202)로 사출된 광을 광 분할 장치(202)의 복수의 출사면으로부터 사출된 광으로 분할하도록 구성된다. 본 명세서에서, 가능한 구현에서, 광 분할 장치는 하나 이상의 빔 분할기 프리즘을 포함할 수 있다. 특정 구현에서, 광을 분할하기 위해 광 분할 프리즘 상에 필름이 코팅될 수 있다.
또한, 광 분할 장치(202)는, 촬영 장치에 의해 광 분할 장치(202)로 사출된 광을, 광 강도 및/또는 광 스펙트럼에 기초하여, 광 분할 장치(202)의 복수의 출사면으로부터 사출된 광으로 분할하도록 구체적으로 구성된다. 다시 말해서, 광 분할 장치는 촬영 장치에 의해 광 분할 장치로 사출된 광을, 광 강도, 광 스펙트럼, 또는 광 강도와 광 스펙트럼의 조합에 기초하여, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할할 수 있다. 구체적으로, 이하의 3가지 경우가 포함된다. (1) 광 분할 장치는 촬영 장치에 의해 광 분할 장치로 사출된 광을, 광 강도에 기초하여, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할할 수 있다. (2) 광 분할 장치는 촬영 장치로부터 광 분할 장치로 사출된 광을, 광 스펙트럼에 기초하여, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할할 수 있다. (3) 광 분할 장치는 촬영 장치에 의해 광 분할 장치로 사출된 광을, 광 강도 및 광 스펙트럼에 기초하여, 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할할 수 있다.
(3)에 대해, 예를 들어, 촬영 장치(201)에 의해 광 분할 장치(202)로 사출된 광이 적외선 광 및 가시 광을 포함하는 경우, 광 분할 장치는 광 스펙트럼에 기초하여 적외선 광 및 가시 광을 서로 분할할 수 있고, 광 강도에 기초하여 그리고 특정된 비율에 기초하여, 가시 광을 광 분할 장치(202)의 복수의 출사면으로부터 사출된 광으로 분할할 수 있다. 특정된 비율은 경험에 기초하여 본 기술분야의 통상의 기술자에 의해 실제 상황에 따라 설정될 수 있으며, 구체적으로 제한되지 않는다.
예를 들어, 광 분할 장치(202)는 2개의 출사면: 출사면 1 및 출사면 2를 갖는다. 도 2b는 광 분할 장치에 의해 광을 분할하는 개략도이다. 도 2b에 도시된 바와 같이, 광 분할 장치(202)로 사출된 광은 적외선 광 및 가시 광을 포함한다. 광 분할 장치는 사출된 광을 적외선 광 및 가시 광으로 분할하고, 가시 광을 1:1의 강도에 기초하여 2개의 방향에서의 광으로 분할하여, 적외선 광과 가시 광의 50%가 함께 출사면 1로부터 사출되고, 가시 광의 다른 50%가 출사면 2로부터 사출되게 된다. 대안적으로, 광 분할 장치는 2:3의 강도에 기초하여 적외선 광을 분할할 수 있어, 적외선 광의 40% 및 가시 광의 50%가 함께 출사면 1로부터 사출되고, 적외선 광의 60% 및 가시 광의 50%가 출사면 2로부터 사출되게 된다.
전술한 광 분할 솔루션은 단지 예이고, 비율은 특정 구현의 실제 요건에 기초하여 구체적으로 설정될 수 있다는 점에 유의해야 한다.
(3) 복수의 센서가 광 분할 장치의 복수의 출사면 상에 배치되고, 대응하는 출사면으로부터 사출된 광을 수신하고, 수신된 광에 기초하여 전처리된 이미지들을 생성하도록 구성된다. 구체적으로, 복수의 센서 중 임의의 하나는 광 신호를 전기 신호로 변환하고, 전기 신호를 픽셀로 변환하고, 전처리된 이미지를 추가로 형성할 수 있다.
여기서, 복수의 센서는 흑백 이미지 센서 및 컬러 이미지 센서를 포함할 수 있다. 센서들의 수량은 본 기술분야의 통상의 기술자에 의해 실제 요건에 기초하여 설정될 수 있는데, 예를 들어, 수량은 2 또는 3으로 설정될 수 있다. 이것은 구체적으로 제한되지 않는다. 센서의 수량이 3인 경우, 2개의 흑백 이미지 센서 및 1개의 컬러 이미지 센서가 포함될 수 있거나, 1개의 흑백 이미지 센서 및 2개의 컬러 이미지 센서가 포함될 수 있다.
본 출원에서, 센서들의 수량은 광 분할 장치의 출사면들의 수량과 동일할 수 있어, 하나의 센서가 각각의 출사면 상에 배치되게 되거나; 또는, 센서들의 수량은 광 분할 장치의 출사면들의 수량보다 작을 수 있어, 대응하는 센서는 출사면 상에 배치될 수 없게 된다. 다음은 센서들의 수량이 광 분할 장치의 출사면들의 수량과 동일한 경우를 주로 설명한다.
(4) 이미지 처리 장치(203)는 복수의 센서에 접속되고(즉, 복수의 센서에 전기적으로 접속되고), 복수의 센서에 의해 생성된 전처리된 이미지들을 융합(병합)되게 하여 출력 이미지를 획득하도록 구성된다. 본 출원에서, 이미지 처리 장치(203)는 그래픽 처리 유닛(graphics processing unit, GPU)일 수 있다. 이것은 구체적으로 제한되지 않는다. 이미징 장치(200)는 하나 이상의 이미지 처리 장치를 포함할 수 있다. 이미징 장치(200)가 하나의 이미지 처리 장치를 포함하는 것은 본 명세서에서의 설명을 위한 예로서 단지 사용된다.
또한, 이미지 처리 장치(203)는 복수의 센서에 의해 생성된 전처리된 이미지들에 기초하여 복수의 센서의 이득들 및/또는 셔터 시간을 조정하도록 추가로 구성된다. 예 1에서, 이미지 처리 장치는 복수의 센서 중 임의의 하나에 의해 획득된 전처리된 이미지에 기초하여 휘도 히스토그램에 관한 통계를 수집하고, 휘도 히스토그램에 기초하여 센서의 이득을 조정하여, 히스토그램에서의 과소노출된 부분을 개선하거나 히스토그램에서의 과다노출된 부분을 억제할 수 있다. 예 2에서, 이미지 처리 장치는 복수의 센서에 의해 획득된 전처리된 이미지들의 휘도 히스토그램들에서 과다노출 정도가 과소노출 정도에 가까운지를 추가로 결정할 수 있다. 장면이 전부 과소노출되는 경우, 이미지 처리 장치는 복수의 센서의 셔터 시간을 증가시킬 수 있거나; 장면이 전부 과다노출되는 경우, 이미지 처리 장치는 복수의 센서의 셔터 시간을 감소시킬 수 있다.
이미지 처리 장치는 복수의 센서의 이득들에 기초하여 상이한 장면들을 추가로 결정할 수 있다. 복수의 특정 결정 방식이 있을 수 있다. 예를 들어, 이미지 처리 장치는 복수의 센서 중 임의의 하나의 컬러 센서의 이득에 기초하여 장면을 결정할 수 있다. 가능한 구현에서, 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 크거나 같은 경우, 장면이 저조도 장면인 것으로 결정되거나; 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 작은 경우, 장면이 와이드 다이내믹 장면인 것으로 결정된다. 다른 가능한 구현에서, 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 큰 경우, 장면이 저조도 장면인 것으로 결정되거나; 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 작거나 같은 경우, 장면은 와이드 다이내믹 장면인 것으로 결정된다.
미리 설정된 이득 임계값은 경험에 기초하여 본 기술분야의 통상의 기술자에 의해 실제 상황에 따라 설정될 수 있고, 구체적으로 제한되지 않는다.
본 출원에서, 이미지 처리 장치(203)는 복수의 센서에 의해 생성된 전처리된 이미지들을 복수의 방식으로 융합하여 출력 이미지를 획득할 수 있다. 가능한 구현에서, 복수의 전처리된 이미지는 흑백 이미지 및 컬러 이미지를 포함할 수 있기 때문에, 이미지 처리 장치는 복수의 전처리된 이미지의 휘도 성분들을 고주파 성분들 및 저주파 성분들로 개별적으로 분해하고, 복수의 전처리된 이미지의 컬러 이미지의 컬러 성분을 크로미넌스 성분 및 포화도 성분으로 분해할 수 있고; 추가로 복수의 전처리된 이미지의 고주파 성분들에 기초하여 융합된 고주파 성분을 획득하고, 복수의 전처리된 이미지의 저주파 성분들에 기초하여 융합된 저주파 성분을 획득한다. 이미지 처리 장치는 융합된 고주파 성분 및 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득하고, 융합된 휘도 성분, 크로미넌스 성분, 및 포화도 성분에 기초하여 출력 이미지를 추가로 획득한다.
구체적으로, 이미지의 저주파 성분이 전체 이미지 조도와 관련되기 때문에, 융합은 가중 평균 방식으로 구현될 수 있다. 구체적으로, 복수의 전처리된 이미지의 저주파 성분들에 가중 평균이 수행되어 융합된 저주파 성분을 획득한다. 가중치는 현재 장면과 관련된다. 예를 들어, 현재 와이드 다이내믹 장면에서, 모든 전처리된 이미지들의 저주파 성분들의 가중치들은 동일할 수 있거나; 현재 저조도 장면에서, 컬러 이미지의 저주파 성분의 가중치는 흑백 이미지의 저주파 성분의 가중치보다 클 수 있다. 고주파 성분은 이미지 세부 사항 정보로서 표현된다. 따라서, 복수의 전처리된 이미지의 고주파 성분들이 융합될 때, 최대 고주파 성분은 융합된 고주파 성분으로서 직접 선택되어 융합 후에 얻어진 출력 이미지의 효과를 효과적으로 보장할 수 있다.
본 출원에서의 이미징 장치는 이미지 신호 처리(Image Signal Processing, ISP) 모듈을 추가로 포함할 수 있고, ISP 모듈은 이미지 처리 알고리즘, 이미지 최적화 파라미터 구성 등을 수행하도록 구성될 수 있다는 점에 유의해야 한다. 이것은 구체적으로 제한되지 않는다.
또한, ISP 모듈은 이미지 처리 장치(203) 후에 배치될 수 있어, 복수의 전처리된 이미지를 융합한 후에, 이미지 처리 장치(203)는 획득된 이미지를 ISP 모듈에 출력하고, ISP 모듈은 추가 처리를 수행하게 된다. 이 경우, ISP 모듈은 기존 범용 ISP 모듈일 수 있다. 대안적으로, ISP 모듈은 이미지 처리 장치(203) 전에 배치될 수 있어, ISP 모듈은 복수의 전처리된 이미지를 처리하고, 복수의 처리된 이미지를 이미지 처리 장치(203)에 출력하게 되고; 이미지 처리 장치(203)는 복수의 이미지를 융합한다.
광 분할 장치가 본 출원에서 사용되기 때문에, 광은 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할될 수 있고, 복수의 출사면 상에 배치된 센서들은 각각의 분할 성분에 대응하는 이미징을 개별적으로 수행하여, 이미지 처리 장치가 모든 성분들에 대응하는 이미징들을 융합하게 된다. 이러한 방식으로, 본 출원에서 제공되는 이미징 장치는 하나의 노출만을 요구하여 복수의 성분에 대응하는 이미지들의 융합을 달성하여 와이드 다이내믹 레인지 이미지를 획득한다. 종래 기술 다중 노출 방식과 비교하여, 다중 노출 방식으로 획득된 융합된 이미지에 존재하는 고스트 및 블러의 고유한 단점들이 효과적으로 해결됨으로써, 실제 감시 환경에서 와이드 다이내믹 레인지 이미지의 실용성을 개선한다. 또한, 하나의 노출만이 요구되어, 종래 기술 다중 노출 방식으로 획득된 합성 이미지의 저조도 성능의 문제가 회피되게 된다.
실시예 1에서 설명된 이미징 장치에 대해, 특정 구현에서, 적외선 차단 필터와 같은 다른 장치가 이미징 장치에 추가될 수 있어, 광 분할 솔루션은 실제 요건에 기초하여 더 편리하고 효과적으로 설정될 수 있게 되어, 광 적응 레인지를 더 증가시킨다. 다음은 2개의 가능한 특정 실시예(실시예 2 및 실시예 3)를 개별적으로 설명한다.
실시예 2
도 3은 본 출원의 실시예 2에 따른 이미징 장치의 개략 구조도이다. 도 3에 도시된 바와 같이, 이미징 장치(300)는 촬영 장치(301), 광 분할 장치(302), 이미지 처리 장치(303), 제1 센서(3041), 제2 센서(3042), 및 적외선 차단 필터(305)를 포함한다. 도 2a와 비교하여, 적외선 차단 필터(305)만이 도 3에 추가된다. 다른 부분들의 특정 구현들에 대해서는, 도 2a에 관련된 설명들을 참조한다. 세부 사항들은 본 명세서에서 다시 설명되지 않는다.
적외선 차단 필터(305)는 광 분할 장치(302)의 입사면과 촬영 장치(301)의 출사면 사이에 배치되고, 적외선 차단 필터(305)는 이미지 처리 장치(303)에 접속된다. 이미지 처리 장치는 다음 2개의 모드에 있도록 적외선 차단 필터를 제어할 수 있다: 적외선 광이 차단되고 가시 광이 사출되는 모드 1; 및 적외선 광 및 가시 광이 사출되는 모드 2. 다른 구현에서, 이미지 처리 장치는 다른 모드, 예를 들어, 가시 광이 차단되고 적외선 광이 사출되는 모드 3에 있도록 적외선 차단 필터를 추가로 제어할 수 있다.
본 출원에서, 제1 센서(3041)는 흑백 이미지 센서이고, 제2 센서(3042)는 컬러 이미지 센서이다. 이미지 처리 장치(303)는 컬러 이미지 센서의 이득에 기초하여 상이한 장면들을 결정할 수 있다. 예를 들어, 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 크거나 같은 것으로 결정하는 경우, 이미지 처리 장치(303)는 장면이 저조도 장면인 것으로 결정하거나; 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 작은 것으로 결정하는 경우, 이미지 처리 장치(303)는 장면이 와이드 다이내믹 장면인 것으로 결정한다. 미리 설정된 이득 임계값은 실제 상황에 따라 경험에 기초하여 본 기술분야의 통상의 기술자에 의해 설정될 수 있고, 구체적으로 제한되지 않는다.
또한, 와이드 다이내믹 장면에서, 이미지 처리 장치는 모드 1에 있도록 적외선 차단 필터를 제어하여, 적외선 광을 차단하고 가시 광을 사출시켜, 광 분할 장치로 사출된 광이 모두 가시 광이게 된다. 저조도 장면에서, 이미지 처리 장치는 모드 2에 있도록 적외선 차단 필터를 제어하여, 적외선 광 및 가시 광을 사출시켜, 광 분할 장치로 사출된 광이 적외선 광 및 가시 광을 포함하게 되고, 저조도 성능이 개선된다. 따라서, 적외선 차단 필터가 추가되고, 적외선 차단 필터는 상이한 장면들에서 상이한 모드들에 있도록 설정되어, 광 적응 레인지가 증가될 수 있고, 최종 이미징 품질이 효과적으로 보장될 수 있게 된다.
다음은 와이드 다이내믹 장면 및 로우(low) 다이내믹 장면에서 이미지 처리 장치에 의해 센서들을 조정하는 프로세스들을 개별적으로 설명한다.
(1) 와이드 다이내믹 장면
이 장면에서, 광 분할 장치로 사출된 광은 모두 가시 광이다. 광 분할 장치는 특정된 비율(예를 들어, 1:1)에 기초하여, 광을 제1 출사면으로부터 사출된 가시 광 및 제2 출사면으로부터 사출된 가시 광으로 분할한다. 제1 출사면으로부터 사출된 광을 수신한 후, 제1 센서는 제1 전처리된 이미지를 생성한다. 제2 출사면으로부터 사출된 광을 수신한 후에, 제2 센서는 제2 전처리된 이미지를 생성한다. 이미지 처리 장치는 제1 전처리된 이미지 및 제2 전처리된 이미지를 융합하고, 와이드 다이내믹 레인지 이미지를 출력하고, 제1 전처리된 이미지 및 제2 전처리된 이미지에 기초하여 제1 센서 및 제2 센서의 이득들 및/또는 셔터 시간을 조정한다. 다음은 도 4a 및 도 4b를 참조하여 상세한 설명들을 제공한다.
도 4a 및 도 4b는 와이드 다이내믹 장면에서의 작업 프로세스의 개략도이다. 도 4a 및 도 4b에 도시된 바와 같이, 다음의 단계들이 포함된다.
단계 401: 이미지 처리 장치는, 제2 센서의 이득에 기초하여, 장면이 와이드 다이내믹 장면인 것으로 결정한다.
단계 402: 이미지 처리 장치는 제1 센서를 판독하여 제1 전처리된 이미지를 획득한다.
단계 403: 이미지 처리 장치는 제1 센서를 판독하여 제2 전처리된 이미지를 획득한다.
단계 404: 이미지 처리 장치는 제1 전처리된 이미지 및 제2 전처리된 이미지를 융합하고, 와이드 다이내믹 레인지 이미지를 출력한다.
단계 405: 이미지 처리 장치는 제1 전처리된 이미지에 기초하여 제1 휘도 히스토그램에 관한 통계를 수집한다.
단계 406: 이미지 처리 장치는 제2 전처리된 이미지에 기초하여 제2 휘도 히스토그램에 관한 통계를 수집한다.
단계 407: 이미지 처리 장치는 제1 휘도 히스토그램에 기초하여 제1 센서의 이득을 조정하여, 제1 휘도 히스토그램에서 과소노출된 부분의 휘도를 증가시킨다.
단계 408: 이미지 처리 장치는 제2 휘도 히스토그램에 기초하여 제2 센서의 이득을 조정하여, 제2 휘도 히스토그램에서의 과다노출된 부분의 휘도를 억제한다.
단계 409: 이미지 처리 장치는 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과다노출 정도가 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과소노출 정도에 가까운지를 결정한다. 장면이 전부 과소노출되는 경우, 이미지 처리 장치는 단계 410을 수행하거나; 장면이 전부 과다노출되는 경우, 이미지 처리 장치는 단계 411을 수행하거나; 과다노출 정도가 과소노출 정도에 가까운 경우, 이미지 처리 장치는 단계 412를 수행한다. 이 단계에서 복수의 결정 기준이 존재할 수 있다는 점에 유의해야 한다. 결정 기준은 본 기술분야의 통상의 기술자에 의한 실제 요건에 기초하여 구체적으로 설정될 수 있고, 본 명세서에서 구체적으로 열거되지 않는다.
단계 410: 제1 센서 및 제2 센서의 셔터 시간을 증가시킨다.
단계 411: 제1 센서 및 제2 센서의 셔터 시간을 감소시킨다.
단계 412: 제1 센서 및 제2 센서의 셔터 시간을 조정하지 않는다.
단계 413: 다음 프레임 이미징을 수행한다.
이미지 처리 장치가 제1 센서 및 제2 센서에 의해 획득된 전처리된 이미지들에 기초하여 실시간으로 제1 센서 및 제2 센서의 이득들 및/또는 셔터 시간을 조정하여, 이미징 장치가 광의 다이내믹한 변화에 효과적으로 적응할 수 있게 된다는 것을 전술한 내용으로부터 알 수 있다.
(1) 전술한 단계 번호들은 단지 실행 프로세스의 예이고, 단계들의 시퀀스를 구체적으로 제한하지 않는다는 점에 유의해야 한다. 예를 들어, 전술한 단계 402 및 단계 403은 동시에 수행될 수 있거나, 단계 403은 단계 402 이전에 수행될 수 있고, 이것은 구체적으로 제한되지 않는다. (2) 도 4a 및 도 4b에 도시된 와이드 다이내믹 장면에서의 이미지 처리 장치의 전술한 작업 프로세스는 단지 설명을 위한 예이다. 특정 구현에서, 다른 변형들이 포함될 수 있고, 이것은 구체적으로 제한되지 않는다.
(2) 저조도 장면
이 장면에서, 광 분할 장치로 사출된 광은 적외선 광 및 가시 광을 포함한다. 광 분할 장치는 적외선 광과 가시 광을 서로 분리하고, 특정된 비율(예를 들어, 1:1)에 기초하여 가시 광을 분할하여, 적외선 광 및 가시 광의 50%가 제1 출사면으로부터 사출되고, 가시 광의 나머지 50%가 제2 출사면으로부터 사출되게 된다. 제1 출사면으로부터 사출된 광을 수신한 후, 제1 센서는 제1 전처리된 이미지를 생성한다. 제2 출사면으로부터 사출된 광을 수신한 후에, 제2 센서는 제2 전처리된 이미지를 생성한다. 이미지 처리 장치는 제1 전처리된 이미지 및 제2 전처리된 이미지를 융합하고, 낮은 조도 이미지를 출력하고, 제1 전처리된 이미지 및 제2 전처리된 이미지에 기초하여 제1 센서 및 제2 센서의 이득들 및/또는 셔터 시간을 조정한다. 다음은 도 5a 및 도 5b를 참조하여 상세한 설명들을 제공한다.
도 5a 및 도 5b는 저조도 장면에서의 작업 프로세스의 개략도이다. 도 5a 및 도 5b에 도시된 바와 같이, 다음의 단계들이 포함된다.
단계 501: 이미지 처리 장치는, 제2 센서의 이득에 기초하여, 장면이 저조도 장면인 것으로 결정한다.
단계 502: 이미지 처리 장치는 제1 센서를 판독하여 제1 전처리된 이미지를 획득한다.
단계 503: 이미지 처리 장치는 제1 센서를 판독하여 제2 전처리된 이미지를 획득한다.
단계 504: 이미지 처리 장치는 제1 전처리된 이미지 및 제2 전처리된 이미지를 융합하고, 낮은 조도 이미지를 출력한다.
단계 505: 이미지 처리 장치는 제1 전처리된 이미지에 기초하여 제1 휘도 히스토그램에 관한 통계를 수집한다.
단계 506: 이미지 처리 장치는 제2 전처리된 이미지에 기초하여 제2 휘도 히스토그램에 관한 통계를 수집한다.
단계 507: 이미지 처리 장치는 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과다노출 정도가 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과소노출 정도에 가까운지를 결정한다. 장면이 전부 과소노출되는 경우, 이미지 처리 장치는 단계 508을 수행하거나; 장면이 전부 과다노출되는 경우, 이미지 처리 장치는 단계 509를 수행하거나; 과다노출 정도가 과소노출 정도에 가까운 경우, 이미지 처리 장치는 단계 510을 수행한다. 이 단계에서 복수의 결정 기준이 존재할 수 있다는 점에 유의해야 한다. 결정 기준은 본 기술분야의 통상의 기술자에 의한 실제 요건에 기초하여 구체적으로 설정될 수 있고, 본 명세서에서 구체적으로 열거되지 않는다.
단계 508: 제1 센서 및 제2 센서의 이득을 증가시킨다.
단계 509: 제1 센서 및 제2 센서의 이득들을 감소시킨다.
단계 510: 제1 센서 및 제1 센서의 이득들을 조정하지 않는다.
단계 511: 다음 프레임 이미징을 수행한다.
이미지 처리 장치가 제1 센서 및 제2 센서에 의해 획득된 전처리된 이미지들에 기초하여 실시간으로 제1 센서 및 제2 센서의 이득들을 조정하여, 이미징 장치가 광의 다이내믹한 변화에 효과적으로 적응할 수 있게 된다는 것을 전술한 내용으로부터 알 수 있다.
(1) 전술한 단계 번호들은 단지 실행 프로세스의 예이고, 단계들의 시퀀스를 구체적으로 제한하지 않는다는 점에 유의해야 한다. 예를 들어, 전술한 단계 502 및 단계 503은 동시에 수행될 수 있거나, 단계 503은 단계 502 이전에 수행될 수 있고, 이것은 구체적으로 제한되지 않는다. (2) 도 5a 및 도 5b에 도시된 저조도 장면에서의 이미지 처리 장치의 전술한 작업 프로세스는 단지 설명을 위한 예이고, 제1 센서 및 제2 센서의 셔터 시간이 최대인 경우에 주로 적용가능하다. 특정 구현에서, 저조도 장면에서, 도 4a 및 도 4b에 도시된 프로세스에 기초하여 조정이 또한 수행될 수 있거나, 또는 다른 방식들이 사용될 수 있으며, 이것은 구체적으로 제한되지 않는다.
실시예 3
도 6은 본 출원의 실시예 3에 따른 이미징 장치의 개략 구조도이다. 도 6에 도시된 바와 같이, 이미징 장치(600)는 촬영 장치(601), 광 분할 장치(602), 이미지 처리 장치(606), 제1 센서(6041), 제2 센서(6042), 및 적외선 차단 필터(605)를 포함한다. 제1 센서(6041)는 흑백 이미지 센서이고, 제2 센서(6042)는 컬러 이미지 센서이다. 도 2a와 비교하여, 적외선 차단 필터(605)만이 도 6에 추가된다. 다른 부분들의 특정 구현들에 대해서는, 도 2a에 관련된 설명들을 참조한다. 세부 사항들은 본 명세서에서 다시 설명되지 않는다.
적외선 차단 필터(605)는 광 분할 장치(602)의 제1 출사면과 흑백 이미지 센서(6041) 사이에 배치되고, 적외선 차단 필터(605)는 이미지 처리 장치(603)에 접속된다. 이미지 처리 장치는 다음 3개의 모드에 있도록 적외선 차단 필터를 제어할 수 있다: 적외선 광이 차단되고 가시 광이 사출되는 모드 1; 적외선 광 및 가시 광이 사출되는 모드 2; 및 가시 광이 차단되고 적외선 광이 사출되는 모드 3.
본 출원에서, 이미지 처리 장치(606)는 컬러 이미지 센서의 이득에 기초하여 상이한 장면들을 결정할 수 있다. 예를 들어, 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 크거나 같은 것으로 결정하는 경우, 이미지 처리 장치(606)는 장면이 저조도 장면인 것으로 결정하거나; 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 작은 것으로 결정하는 경우, 이미지 처리 장치(606)는 장면이 와이드 다이내믹 장면인 것으로 결정한다. 이미지 처리 장치는 장면이 현재 디헤이징 장면인지를 추가로 결정할 수 있다. 장면이 디헤이징 장면인지를 구체적으로 결정하기 위한 복수의 기준이 존재할 수 있고, 본 명세서에서 열거되지 않는다. 미리 설정된 이득 임계값은 경험에 기초하여 본 기술분야의 통상의 기술자에 의해 실제 상황에 따라 설정될 수 있고, 구체적으로 제한되지 않는다.
또한, 와이드 다이내믹 장면에서, 이미지 처리 장치는 모드 1에 있도록 적외선 차단 필터를 제어하여, 적외선 광을 차단하고 가시 광을 사출시켜, 제1 센서(흑백 이미지 센서)로 사출된 광이 모두 가시 광이게 된다. 저조도 장면에서, 이미지 처리 장치는 모드 2에 있도록 적외선 차단 필터를 제어하여, 적외선 광 및 가시 광을 사출시켜, 제1 센서로 사출된 광이 적외선 광 및 가시 광을 포함하게 되고, 저조도 성능이 개선된다. 디헤이징 장면에서는, 안개가 낀(hazy) 상태에서 적외선 광의 사출율이 가시 광보다 큰 것으로 고려되고, 따라서 이미지 처리 장치는 모드 3에 있도록 적외선 차단 필터를 제어하여, 가시 광을 차단하고 적외선 광을 사출시켜, 제1 센서가 비교적 명확한 이미지를 획득할 수 있고, 제2 센서가 블러링된 세부 사항들을 갖는 가시 광 컬러 이미지를 획득할 수 있고, 비교적 투명한 컬러 디헤이징 이미지가 이미지 융합을 통해 획득될 수 있게 된다. 따라서, 적외선 차단 필터가 추가되고, 적외선 차단 필터는 상이한 장면들에서 상이한 모드들에 있도록 설정되어, 광 적응 레인지가 증가될 수 있고, 최종 이미징 품질이 효과적으로 보장될 수 있게 된다.
이 실시예에서, 와이드 다이내믹 장면 및 로우 다이내믹 장면에서 이미지 처리 장치에 의해 센서들을 조정하는 프로세스들에 대해서는, 실시예 2에서의 도 4a 및 도 4b와 도 5a 및 도 5b에 대한 설명들을 참조하고, 세부 사항들은 본 명세서에서 다시 설명되지 않는다. 다음은 디헤이징 장면에서만 이미지 처리 장치에 의해 센서들을 조정하는 프로세스를 설명한다.
도 7a 및 도 7b는 디헤이징 장면에서의 작업 프로세스의 개략도이다. 도 7a 및 도 7b에 도시된 바와 같이, 다음의 단계들이 포함된다.
단계 701: 장면이 디헤이징 장면인 것으로 결정된다.
단계 702: 제1 센서에 의해 획득된 제1 전처리된 이미지를 판독한다.
단계 703: 제1 센서에 의해 획득된 제2 전처리된 이미지를 판독한다.
단계 704: 제1 전처리된 이미지 및 제1 전처리된 이미지에 대해 디지털 디헤이징 처리를 수행하여, 이미지 세부 사항들을 향상시킨다.
단계 705: 디지털 디헤이징 처리 후에 획득되는 제1 전처리된 이미지 및 제2 전처리된 이미지를 융합하고, 이미지를 출력한다.
단계 706: 제1 전처리된 이미지에 기초하여 제1 휘도 히스토그램에 관한 통계를 수집한다.
단계 707: 제2 전처리된 이미지에 기초하여 제2 휘도 히스토그램에 관한 통계를 수집한다.
단계 708: 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과다노출 정도가 제1 휘도 히스토그램 및 제2 휘도 히스토그램에서의 과소노출 정도에 가까운지를 결정한다. 장면이 전부 과소노출되는 경우, 단계 709를 수행하거나; 장면이 전부 과다노출되는 경우, 단계 710을 수행하거나; 과다노출 정도가 과소노출 정도에 가까운 경우, 단계 711을 수행한다. 이 단계에서 복수의 결정 기준이 존재할 수 있다는 점에 유의해야 한다. 결정 기준은 본 기술분야의 통상의 기술자에 의한 실제 요건에 기초하여 구체적으로 설정될 수 있고, 본 명세서에서 구체적으로 열거되지 않는다.
단계 712: 다음 프레임 이미징을 수행한다.
이미지 처리 장치가 제1 센서 및 제2 센서에 의해 획득된 전처리된 이미지들에 기초하여 실시간으로 제1 센서 및 제2 센서의 이득들을 조정하여, 이미징 장치가 광의 다이내믹한 변화에 효과적으로 적응할 수 있게 된다는 것을 전술한 내용으로부터 알 수 있다.
(1) 전술한 단계 번호들은 단지 실행 프로세스의 예이고, 단계들의 시퀀스를 구체적으로 제한하지 않는다는 점에 유의해야 한다. 예를 들어, 전술한 단계 702 및 단계 703은 동시에 수행될 수 있거나, 단계 703은 단계 702 이전에 수행될 수 있고, 이것은 구체적으로 제한되지 않는다. (2) 도 7a 및 도 7b에 도시된 와이드 다이내믹 장면에서의 이미지 처리 장치의 전술한 작업 프로세스는 단지 설명을 위한 예이다. 특정 구현에서, 다른 변형들이 포함될 수 있고, 이것은 구체적으로 제한되지 않는다.
실시예 4
동일한 발명 개념에 기초하여, 본 출원은 이미징 방법을 추가로 제공한다. 이미징 방법은 전술한 실시예들 중 임의의 하나에서 설명된 이미징 장치에 적용가능하다.
도 8은 본 출원에 따른 이미징 방법에 대응하는 개략 흐름도이다. 도 8에 도시된 바와 같이, 이미징 방법은 다음의 단계들을 포함한다.
단계 801: 물체에 의해 반사된 광을 획득한다.
여기서, 특정 구현에서, 물체에 의해 반사된 광은 촬영 장치에 의해 획득될 수 있고, 획득된 광은 적외선 광 및 가시 광을 포함할 수 있다. 촬영 장치는 구체적으로 실시예 1, 실시예 2, 또는 실시예 3에서 설명된 촬영 장치일 수 있다.
단계 802: 획득된 광을 분할하여 복수의 광 세트를 획득한다.
여기서, 특정 구현에서, 획득된 광은 광 분할 장치에 의해 분할될 수 있고, 복수의 광 세트에서의 광은 광 분할 장치의 복수의 출사면으로부터 사출된다. 광 분할 장치는 구체적으로 실시예 1, 실시예 2, 또는 실시예 3에서 설명된 광 분할 장치일 수 있다.
본 출원에서, 획득된 광은 광 강도 및/또는 광 스펙트럼에 기초하여 분할될 수 있고, 획득된 광 세트들의 수량은 실제 요건에 기초하여 설정될 수 있다. 예 1에서, 획득된 광이 모두 가시 광인 경우, 획득된 광은 특정된 비율에 기초하여 분할되어, 제1 광 세트 및 제2 광 세트를 획득한다. 예 2에서, 획득된 광이 가시 광 및 적외선 광을 포함하는 경우, 획득된 광은 분할되어 제3 광 세트 및 제4 광 세트를 획득한다. 제3 광 세트는 적외선 광 및 가시 광을 포함하고, 제4 광 세트는 가시 광을 포함한다.
또한, 와이드 다이내믹 장면에서, 획득된 광에서의 적외선 광이 차단되고, 획득된 광에서의 가시 광이 분할되어 복수의 광 세트를 획득한다. 저조도 장면에서, 획득된 적외선 광 및 획득된 가시 광은 분할되어 복수의 광 세트를 획득할 수 있다.
단계 803: 복수의 광 세트 중 임의의 하나의 광 세트에서의 광에 기초하여, 전처리된 이미지를 획득한다.
여기서, 특정 구현에서, 복수의 센서가 배치될 수 있고, 복수의 센서는 복수의 광 세트에서의 광을 수신하고, 수신된 광에 기초하여 전처리된 이미지들을 생성할 수 있다. 센서는 구체적으로 실시예 1, 실시예 2, 또는 실시예 3에서 설명된 센서일 수 있다.
또한, 와이드 다이내믹 장면에서, 임의의 하나의 광 세트로부터의 적외선 광이 차단될 수 있고, 임의의 하나의 광 세트에 대응하는 전처리된 이미지는 임의의 하나의 광 세트로부터의 가시 광에 기초하여 획득된다.
디헤이징 장면에서, 임의의 하나의 광 세트로부터의 가시 광은 차단될 수 있고, 임의의 하나의 광 세트에 대응하는 전처리된 이미지는 임의의 하나의 광 세트로부터의 적외선 광에 기초하여 획득된다.
단계 804: 복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득한다.
여기서, 특정 구현에서, 이미지 처리 장치는 복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여, 출력 이미지를 획득할 수 있다. 이미지 처리 장치는 구체적으로, 실시예 1, 실시예 2, 또는 실시예 3에서 설명된 이미지 처리 장치일 수 있다.
구체적으로, 복수의 전처리된 이미지는 컬러 이미지 및 흑백 이미지를 포함한다. 본 출원에서 복수의 전처리된 이미지를 융합하는 복수의 방법이 존재할 수 있다. 다음은 도 9를 참조하여 가능한 구현을 구체적으로 설명한다.
도 9는 본 출원에 따른 융합 방법에 대응하는 개략 흐름도이다. 도 9에 도시된 바와 같이, 다음의 단계들이 포함된다.
단계 901: 복수의 전처리된 이미지 중 흑백 이미지의 휘도 성분을 고주파 성분 및 저주파 성분으로 분해한다.
단계 902a: 복수의 전처리된 이미지의 컬러 이미지의 휘도 성분을 고주파 성분 및 저주파 성분으로 분해한다.
단계 902b: 컬러 이미지의 컬러 성분을 크로미넌스 성분 및 포화도 성분으로 분해한다.
단계 903a: 복수의 전처리된 이미지의 고주파 성분들에 기초하여 융합된 고주파 성분을 획득한다.
단계 903a: 복수의 전처리된 이미지의 저주파 성분들에 기초하여 융합된 저주파 성분을 획득한다.
단계 904: 융합된 고주파 성분 및 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득한다.
단계 905: 융합된 휘도 성분, 크로미넌스 성분 및 포화도 성분에 기초하여 출력 이미지를 획득한다.
도 9에 도시된 단계 번호들은 단지 실행 프로세스의 예이고, 단계들의 시퀀스를 구체적으로 제한하지 않는다는 점에 유의해야 한다. 예를 들어, 전술한 단계 902a 및 단계 902b는 동시에 수행될 수 있고, 이것은 구체적으로 제한되지 않는다.
본 출원에서, 물체에 의해 반사된 획득된 광은 분할되어, 광이 복수의 광 세트로 분할될 수 있게 되고, 복수의 광 세트에 대응하는 전처리된 이미지들은 복수의 광 세트에서의 광에 기초하여 생성된다. 그 후, 복수의 전처리된 이미지가 융합되어 출력 이미지를 획득한다. 이러한 방식으로, 본 출원에서 제공되는 이미징 방법은 하나의 노출만을 요구하여 복수의 성분에 대응하는 이미지들의 융합을 달성하여 와이드 다이내믹 레인지 이미지를 획득한다. 종래 기술 다중 노출 방식과 비교하여, 다중 노출 방식으로 획득된 융합된 이미지에 존재하는 고스트 및 블러의 고유한 단점들이 효과적으로 해결됨으로써, 실제 감시 환경에서 와이드 다이내믹 레인지 이미지의 실용성을 개선한다. 또한, 하나의 노출만이 요구되어, 종래 기술 다중 노출 방식으로 획득된 합성 이미지의 저조도 성능의 문제가 회피되게 된다.
실시예 5
본 출원은 이미징 장치를 추가로 제공한다. 도 10에 도시된 바와 같이, 이미징 장치(1000)는 이미지 처리 장치(1001), 광 분할 장치(1002), 프로세서(1003), 메모리(1004), 복수의 센서(예를 들어, 도 10에 도시된 센서(1005) 및 센서(1006)), 촬영 장치(1007) 및 버스(1008)를 포함한다.
메모리(1004)는 프로세서에 의해 실행될 프로그램 코드를 저장하도록 구성된다.
프로세서(1003)는 메모리(1004)에 저장된 프로그램 코드를 호출하여 다음의 기능들을 수행하도록 구성된다:
사용자의 촬영 시동 액션에 응답하여, 촬영 장치(1007)를 사용하여, 물체에 의해 반사된 광을 획득하고, 획득된 광을 광 분할 장치(1002)로 사출하는 기능; 광 분할 장치(1002)로 사출된 광을, 광 분할 장치(1002)에 의해 광 분할 장치(1002)의 복수의 출사면으로부터 사출된 광으로 분할하는 기능; 복수의 센서를 사용하여, 대응하는 출사면들로부터 사출된 광을 수신하고, 수신된 광에 기초하여 전처리된 이미지들을 생성하는 기능; 및 이미지 처리 장치(1001)를 사용하여, 복수의 센서에 의해 생성된 전처리된 이미지들을 융합하여 출력 이미지를 획득하는 기능.
메모리는 RAM을 포함할 수 있고, 비휘발성 메모리(non-volatile memory), 예를 들어, 적어도 하나의 자기 디스크 스토리지를 추가로 포함할 수 있다. 프로세서는 메모리에 저장된 애플리케이션 프로그램을 실행하여, 전술한 기능들을 구현한다.
가능한 설계에서, 이미지 처리 장치(1001), 광 분할 장치(1002), 프로세서(1003), 메모리(1004), 복수의 센서, 및 촬영 장치(1007)는 버스(1008)를 사용하여 서로 접속될 수 있다. 버스(1008)는 주변 컴포넌트 인터커넥트(peripheral component interconnect, PCI) 버스, 확장된 산업 표준 아키텍처(extended industry standard architecture, EISA) 버스 등일 수 있다. 버스는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다.
가능한 설계에서, 이미징 장치는 디스플레이 화면(1009)을 추가로 포함하고, 프로세서(1003)에 의해 실행되는 기능들은 다음을 추가로 포함한다:
사용자의 이미지 디스플레이 액션에 응답하여, 출력 이미지를 디스플레이 화면(1009) 상에 디스플레이하는 것.
전술한 실시예들의 전부 또는 일부는, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 소프트웨어가 실시예들을 구현하기 위해 사용될 때, 실시예들의 전부 또는 일부는 프로그램 제품의 형태로 구현될 수 있다. 프로그램 제품은 하나 이상의 프로그램 명령어를 포함한다. 프로그램 명령어들이 디바이스(예를 들어, 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스) 상에서 로딩되고 실행될 때, 본 발명의 실시예들에 따른 절차들 또는 기능들은 모두 또는 부분적으로 생성된다. 명령어들은 판독가능 저장 매체에 저장될 수 있다. 판독가능 저장 매체는 판독될 수 있는 임의의 사용가능한 매체, 또는 하나 이상의 사용가능한 매체 통합된 서버들, 데이터 센터들 등을 포함하는 데이터 저장 디바이스일 수 있다. 사용가능한 매체는, 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 또는 자기 테이프), 광학 매체(예를 들어, DVD), 반도체 매체(예를 들어, 솔리드-스테이트 디스크(SSD)) 등일 수 있다.
본 발명의 실시예들은 본 발명의 실시예들에 따른, 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도들 및/또는 블록도들을 참조하여 설명된다. 프로그램 명령어들은 흐름도들 및/또는 블록도들에서의 각각의 프로세스 및/또는 각각의 블록, 및 흐름도들 및/또는 블록도들에서의 프로세스 및/또는 블록의 조합을 구현하는 데 사용될 수 있다는 것을 이해해야 한다. 이 프로그램 명령어들은, 컴퓨터 또는 임의의 다른 프로그램가능 데이터 처리 디바이스가 특정 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독가능 메모리에 저장될 수 있어, 컴퓨터 판독가능 메모리에 저장된 명령어들은 명령 장치를 포함하는 아티팩트(artifact)를 생성하게 된다. 명령 장치는 흐름도들에서의 하나 이상의 프로세스 및/또는 블록도들에서의 하나 이상의 블록에서 특정 기능을 구현한다.
이 프로그램 명령어들은 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스 상에 로딩될 수 있어, 일련의 동작들 및 단계들이 컴퓨터 또는 다른 프로그램가능 디바이스 상에서 수행됨으로써, 컴퓨터에 의해 구현되는 처리를 생성하게 된다. 따라서, 컴퓨터 또는 다른 프로그램가능 디바이스 상에서 실행되는 명령어들은 흐름도들에서의 하나 이상의 프로세스 및/또는 블록도들에서의 하나 이상의 블록에서 특정 기능을 구현하는 단계들을 제공한다.
본 기술분야의 통상의 기술자는 본 발명의 실시예들에 대한 다양한 수정들 및 변형들을 본 출원의 사상 및 범위로부터 벗어나지 않고서 행할 수 있다는 것이 분명하다. 본 출원은 이 수정들 및 변형들이 다음의 청구항들 및 그와 동등한 기술들에 의해 정의된 보호 범위 내에 있는 한 이들을 포함하도록 의도된다.

Claims (15)

  1. 이미징 장치로서,
    상기 이미징 장치는 촬영 장치, 광 분할 장치, 복수의 센서 및 이미지 처리 장치를 포함하고,
    상기 촬영 장치는 물체에 의해 반사된 광을 획득하고, 획득된 광을 상기 광 분할 장치로 사출시키도록 구성되고;
    상기 광 분할 장치는 상기 촬영 장치의 출사면 상에 배치되고, 상기 촬영 장치에 의해 상기 광 분할 장치로 사출된 광을, 상기 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하도록 구성되고;
    상기 복수의 센서는 상기 광 분할 장치의 상기 복수의 출사면 상에 배치되고, 대응하는 출사면들로부터 사출된 광을 수신하고, 상기 수신된 광에 기초하여 전처리된 이미지들을 생성하도록 구성되고;
    상기 이미지 처리 장치는 상기 복수의 센서에 접속되고, 상기 복수의 센서에 의해 생성된 상기 전처리된 이미지들을 융합되게 하여 출력 이미지를 획득하도록 구성되는 이미징 장치.
  2. 제1항에 있어서,
    상기 이미지 처리 장치는 상기 복수의 센서에 의해 생성된 상기 전처리된 이미지들에 기초하여 상기 복수의 센서의 이득들 및/또는 셔터 시간을 조정하도록 추가로 구성되는 이미징 장치.
  3. 제1항에 있어서,
    상기 광 분할 장치는, 상기 촬영 장치에 의해 상기 광 분할 장치로 사출된 광을, 광 강도 및/또는 광 스펙트럼에 기초하여, 상기 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하도록 구체적으로 구성되는 이미징 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 광 분할 장치는 제1 출사면 및 제2 출사면을 포함하고; 상기 제1 출사면 상에 배치된 센서는 흑백 이미지 센서이고, 상기 제2 출사면 상에 배치된 센서는 컬러 이미지 센서이고;
    상기 광 분할 장치로 사출된 상기 광이 모두 가시 광인 경우, 상기 광 분할 장치는 상기 광 분할 장치로 사출된 광을, 특정된 비율에 기초하여, 상기 제1 출사면으로부터 사출된 가시 광 및 상기 제2 출사면으로부터 사출된 가시 광으로 분할하거나; 또는
    상기 광 분할 장치로 사출된 광이 가시 광 및 적외선 광을 포함하는 경우, 상기 광 분할 장치는 상기 광 분할 장치로 사출된 광을, 상기 제1 출사면으로부터 사출된 광 및 상기 제2 출사면으로부터 사출된 광으로 분할하고, 상기 제1 출사면으로부터 사출된 광은 적외선 광 및 가시 광을 포함하고, 상기 제2 출사면으로부터 사출된 광은 가시 광을 포함하는 이미징 장치.
  5. 제4항에 있어서,
    상기 이미지 처리 장치는 상기 컬러 이미지 센서의 이득이 미리 설정된 이득 임계값보다 크거나 같은 것으로 결정하는 경우, 장면이 저조도 장면인 것으로 결정하거나; 상기 컬러 이미지 센서의 이득이 상기 미리 설정된 이득 임계값보다 작은 것으로 결정하는 경우, 장면이 와이드 다이내믹 장면(wide dynamic scene)인 것으로 결정하도록 추가로 구성되는 이미징 장치.
  6. 제5항에 있어서,
    상기 촬영 장치에 의해 촬영된 광은 적외선 광 및 가시 광을 포함하고;
    상기 이미징 장치는 적외선 차단 필터를 추가로 포함하고, 상기 적외선 차단 필터는 상기 광 분할 장치의 입사면과 상기 촬영 장치의 출사면 사이에 배치되고, 상기 적외선 차단 필터는 상기 이미지 처리 장치에 접속되고;
    상기 이미지 처리 장치는, 상기 와이드 다이내믹 장면에서, 상기 적외선 차단 필터를 제어하여 상기 적외선 광을 차단하여, 상기 광 분할 장치로 사출된 모든 광이 가시 광이게 되고; 상기 저조도 장면에서, 상기 적외선 차단 필터를 제어하여 상기 적외선 광 및 상기 가시 광을 사출시켜, 상기 광 분할 장치로 사출된 광이 적외선 광 및 가시 광을 포함하게 되도록 추가로 구성되는 이미징 장치.
  7. 제5항에 있어서,
    상기 촬영 장치에 의해 촬영된 광은 적외선 광 및 가시 광을 포함하고;
    상기 이미징 장치는 적외선 차단 필터를 추가로 포함하고, 상기 적외선 차단 필터는 상기 광 분할 장치의 상기 제1 출사면과 상기 흑백 이미지 센서 사이에 배치되고, 상기 적외선 차단 필터는 상기 이미지 처리 장치에 접속되고;
    상기 이미지 처리 장치는, 상기 와이드 다이내믹 장면에서, 상기 적외선 차단 필터를 제어하여 상기 적외선 광을 차단하여, 상기 흑백 이미지 센서로 사출된 모든 광이 가시 광이게 되고; 상기 저조도 장면에서, 상기 적외선 차단 필터를 제어하여 상기 적외선 광 및 상기 가시 광을 사출시켜, 상기 흑백 이미지 센서로 사출된 광이 적외선 광 및 가시 광을 포함하게 되고; 디헤이징(dehazing) 장면에서, 상기 적외선 차단 필터를 제어하여 상기 가시 광을 차단하여, 상기 흑백 이미지 센서로 사출된 모든 광이 적외선 광이게 되도록 추가로 구성되는 이미징 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 복수의 센서에 의해 생성된 상기 복수의 전처리된 이미지는 흑백 이미지 및 컬러 이미지를 포함하고;
    상기 이미지 처리 장치는 구체적으로, 상기 복수의 전처리된 이미지의 휘도 성분들을 고주파 성분들 및 저주파 성분들로 개별적으로 분해하고, 상기 복수의 전처리된 이미지의 상기 컬러 이미지의 컬러 성분들을 크로미넌스 성분 및 포화도 성분으로 분해하고; 상기 복수의 전처리된 이미지 중 상기 고주파 성분들에 기초하여 융합된 고주파 성분을 획득하고, 상기 복수의 전처리된 이미지의 상기 저주파 성분에 기초하여 융합된 저주파 성분을 획득하고; 상기 융합된 고주파 성분 및 상기 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득하고, 상기 융합된 휘도 성분, 상기 크로미넌스 성분 및 상기 포화도 성분에 기초하여 출력 이미지를 추가로 획득하도록 구성되는 이미징 장치.
  9. 이미징 방법으로서,
    물체에 의해 반사된 광을 획득하는 단계;
    상기 획득된 광을 분할하여 복수의 광 세트를 획득하는 단계;
    상기 복수의 광 세트 중 임의의 하나의 광 세트에서의 광에 기초하여, 상기 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 단계; 및
    상기 복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득하는 단계를 포함하는 이미징 방법.
  10. 제9항에 있어서,
    상기 획득된 광을 분할하여 복수의 광 세트를 획득하는 것은:
    상기 획득된 광을 광 강도 및/또는 광 스펙트럼에 기초하여 분할하여 상기 복수의 광 세트를 획득하는 것을 포함하는 이미징 방법.
  11. 제9항에 있어서,
    상기 획득된 광이 모두 가시 광인 경우, 상기 획득된 광은 특정된 비율에 기초하여 분할되어, 제1 광 세트 및 제2 광 세트를 획득하거나; 또는
    상기 획득된 광이 가시 광 및 적외선 광을 포함하는 경우, 상기 획득된 광은 분할되어 제3 광 세트 및 제4 광 세트를 획득하고, 상기 제3 광 세트는 적외선 광 및 가시 광을 포함하고, 상기 제4 광 세트는 가시 광을 포함하는 이미징 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 획득된 광은 가시 광 및 적외선 광을 포함하고;
    상기 획득된 광을 분할하여 복수의 광 세트를 획득하는 것은:
    장면이 와이드 다이내믹 장면인 것으로 결정되는 경우, 상기 획득된 광으로부터 상기 적외선 광을 차단하고, 상기 획득된 광에서 상기 가시 광을 분할하여 상기 복수의 광 세트를 획득하는 것을 포함하는 이미징 방법.
  13. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 획득된 광은 가시 광 및 적외선 광을 포함하고;
    상기 복수의 광 세트 중 임의의 하나의 광 세트에 기초하여, 상기 임의의 하나의 광 세트에 대응하는 전처리된 이미지를 획득하는 것은:
    장면이 와이드 다이내믹 장면인 것으로 결정되는 경우, 상기 임의의 하나의 광 세트로부터의 적외선 광을 차단하고, 상기 임의의 하나의 광 세트로부터의 가시 광에 기초하여, 상기 임의의 하나의 광 세트에 대응하는 상기 전처리된 이미지를 획득하는 것; 또는
    상기 장면이 디헤이징 장면인 것으로 결정되는 경우, 상기 임의의 하나의 광 세트로부터의 가시 광을 차단하고, 상기 임의의 하나의 광 세트로부터의 적외선 광에 기초하여, 상기 임의의 하나의 광 세트에 대응하는 상기 전처리된 이미지를 획득하는 것을 포함하는 이미징 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 복수의 전처리된 이미지는 흑백 이미지 및 컬러 이미지를 포함하고;
    상기 복수의 광 세트에 대응하는 복수의 전처리된 이미지를 융합하여 출력 이미지를 획득하는 것은:
    상기 복수의 전처리된 이미지의 휘도 성분들을 고주파 성분들 및 저주파 성분들로 개별적으로 분해하고, 상기 복수의 전처리된 이미지의 상기 컬러 이미지의 컬러 성분을 크로미넌스 성분 및 포화도 성분으로 분해하는 것;
    상기 복수의 전처리된 이미지 중 상기 고주파 성분에 기초하여 융합된 고주파 성분을 획득하고, 상기 복수의 전처리된 이미지의 상기 저주파 성분에 기초하여 융합된 저주파 성분을 획득하는 것; 및
    상기 융합된 고주파 성분 및 상기 융합된 저주파 성분에 기초하여 융합된 휘도 성분을 획득하고, 상기 융합된 휘도 성분, 상기 크로미넌스 성분 및 상기 포화도 성분에 기초하여 출력 이미지를 추가로 획득하는 것을 포함하는 이미징 방법.
  15. 이미징 장치로서,
    프로세서, 메모리, 촬영 장치, 광 분할 장치, 복수의 센서, 및 이미지 처리 장치를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행될 프로그램 코드를 저장하도록 구성되고;
    상기 프로세서는 상기 메모리에 저장된 상기 프로그램 코드를 호출하여 다음의 기능들:
    사용자의 촬영 시동 액션에 응답하여, 상기 촬영 장치를 사용하여, 물체에 의해 반사된 광을 획득하고, 상기 획득된 광을 상기 광 분할 장치로 사출시키는 기능; 상기 광 분할 장치에 의해, 상기 광 분할 장치로 사출된 광을 상기 광 분할 장치의 복수의 출사면으로부터 사출된 광으로 분할하는 기능; 상기 복수의 센서를 사용하여, 대응하는 출사면들로부터 사출된 광을 수신하고, 상기 수신된 광에 기초하여 전처리된 이미지들을 생성하는 기능; 및 상기 이미지 처리 장치를 사용하여, 상기 복수의 센서에 의해 생성된 상기 전처리된 이미지들을 융합하여 출력 이미지를 획득하는 기능을 수행하도록 구성되는 이미징 장치.
KR1020207008037A 2017-09-07 2018-07-17 이미징 디바이스 및 이미징 방법 KR20200039782A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710801780.3A CN109474770B (zh) 2017-09-07 2017-09-07 一种成像装置及成像方法
CN201710801780.3 2017-09-07
PCT/CN2018/095898 WO2019047620A1 (zh) 2017-09-07 2018-07-17 一种成像装置及成像方法

Publications (1)

Publication Number Publication Date
KR20200039782A true KR20200039782A (ko) 2020-04-16

Family

ID=65633583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008037A KR20200039782A (ko) 2017-09-07 2018-07-17 이미징 디바이스 및 이미징 방법

Country Status (5)

Country Link
US (1) US20200204763A1 (ko)
EP (1) EP3672221B1 (ko)
KR (1) KR20200039782A (ko)
CN (1) CN109474770B (ko)
WO (1) WO2019047620A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118319A1 (en) 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
CN110365878B (zh) * 2019-07-04 2022-05-17 华为技术有限公司 一种摄像装置和方法
CN110636198A (zh) * 2019-10-15 2019-12-31 重庆金山医疗技术研究院有限公司 一种成像方法及装置、内窥镜设备
CN110702099B (zh) * 2019-10-31 2022-05-27 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN112422784B (zh) * 2020-10-12 2022-01-11 浙江大华技术股份有限公司 成像方法、成像装置、电子装置和存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP4839632B2 (ja) * 2005-02-25 2011-12-21 ソニー株式会社 撮像装置
IL189020A (en) * 2008-01-24 2015-08-31 Rafael Advanced Defense Sys A method and device for multi-spectral imaging
CN101510007B (zh) * 2009-03-20 2011-01-05 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
TWI397718B (zh) * 2009-06-12 2013-06-01 Young Optics Inc 取像裝置
CN101888487B (zh) * 2010-06-02 2012-03-14 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
IL210461A (en) * 2011-01-05 2015-07-30 Rafael Advanced Defense Sys A method and device for multi-spectral imaging
CN102857681A (zh) * 2012-09-13 2013-01-02 侯大威 一种通过半反射镜采集图像和提高图像质量的方法
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
CN105513017B (zh) * 2014-10-14 2019-12-20 深圳力维智联技术有限公司 图像去雾处理方法、装置及摄像设备
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN106488201B (zh) * 2015-08-28 2020-05-01 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN106805939A (zh) * 2015-12-01 2017-06-09 广西大学 一种近红外波段led光源影像成像系统
JP2017147556A (ja) * 2016-02-16 2017-08-24 大日本印刷株式会社 撮影システム
US10648908B2 (en) * 2016-03-14 2020-05-12 Agency For Science, Technology And Research Optical system, method of forming and operating the same
CN105827965B (zh) * 2016-03-25 2019-04-12 维沃移动通信有限公司 一种基于移动终端的图像处理方法及移动终端
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106254796A (zh) * 2016-10-11 2016-12-21 公安部第研究所 一种基于光电摄像管的红外激光光斑探测成像装置及方法

Also Published As

Publication number Publication date
EP3672221A4 (en) 2020-07-01
EP3672221B1 (en) 2022-04-27
WO2019047620A1 (zh) 2019-03-14
EP3672221A1 (en) 2020-06-24
CN109474770A (zh) 2019-03-15
CN109474770B (zh) 2021-09-14
US20200204763A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
KR20200039782A (ko) 이미징 디바이스 및 이미징 방법
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
CN109788207B (zh) 图像合成方法、装置、电子设备及可读存储介质
KR101710971B1 (ko) 촬영 방법, 장치 및 단말기
US9712757B2 (en) Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
KR20210024053A (ko) 야경 촬영 방법, 장치, 전자설비, 및 저장 매체
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
US9489750B2 (en) Exposure metering based on background pixels
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
JP2012010048A (ja) 画像信号処理装置
KR101294735B1 (ko) 이미지 처리 방법 및 이를 이용한 촬영 장치
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN114418879A (zh) 图像处理方法、装置、电子设备及存储介质
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
CN113298735A (zh) 图像处理方法、装置、电子设备及存储介质
JP2013222980A (ja) 撮像装置及び撮像方法
US20190238804A1 (en) Image processing apparatus, image processing method, and storage medium
CN116266877A (zh) 图像处理设备和方法、摄像设备和计算机可读介质
WO2023236215A1 (zh) 图像处理方法、装置及存储介质
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application