KR102557794B1 - 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체 - Google Patents

화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체 Download PDF

Info

Publication number
KR102557794B1
KR102557794B1 KR1020200029489A KR20200029489A KR102557794B1 KR 102557794 B1 KR102557794 B1 KR 102557794B1 KR 1020200029489 A KR1020200029489 A KR 1020200029489A KR 20200029489 A KR20200029489 A KR 20200029489A KR 102557794 B1 KR102557794 B1 KR 102557794B1
Authority
KR
South Korea
Prior art keywords
visible light
image
area
light image
imaging mode
Prior art date
Application number
KR1020200029489A
Other languages
English (en)
Other versions
KR20200108790A (ko
Inventor
아이히코 누마타
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20200108790A publication Critical patent/KR20200108790A/ko
Application granted granted Critical
Publication of KR102557794B1 publication Critical patent/KR102557794B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치는 가시광 화상 및 비가시광 화상을 취득하도록 구성되는 취득 유닛, 상기 취득 유닛에 의해 취득된 상기 가시광 화상 또는 상기 비가시광 화상에 기초하여 화상 상의 영역을 결정하도록 구성되는 결정 유닛, 및 상기 결정 유닛에 의해 결정된 상기 영역에서 상기 가시광 화상의 합성 비율이 상기 비가시광 화상의 합성 비율보다 크도록 합성 화상을 생성하도록 구성되는 합성 유닛을 포함하고, 상기 취득 유닛은, 노출이 조정된 상기 가시광 화상을 취득한다.

Description

화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체{IMAGE PROCESSING APPARATUS, METHOD FOR CONTROLLING IMAGE PROCESSING APPARATUS, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM}
본 개시내용은 화상 처리 장치, 화상 처리 장치를 제어하는 방법, 및 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이다.
감시 용례 등을 위한 촬상 장치에서는, 다양한 환경에서 선명한 피사체 상을 취득하는 것이 필요하다. 가시광만을 사용하여 피사체 상을 취득할 수 없는 환경에서도, 선명한 피사체 상을 취득할 수 있는 촬상 장치로서, 가시광에 감도를 갖는 고체 이미지 센서(solid-state image sensor) 및 적외광에 감도를 갖는 고체 이미지 센서를 포함하고, 이들 2개의 고체 이미지 센서에 의해 취득된 화상을 합성해서 얻은 화상을 표시하도록 구성되는 촬상 장치가 제안되어 있다(일본 특허 공개 제2006-180270호 및 일본 특허 공개 제2007-208346호).
일본 특허 공개 제2006-180270호는, 가시광 이미지 센서에 의해 취득된 화상(이하 가시광 화상)의 부분 영역이 과잉노출되는 경우에 과잉노출된 영역이 적외광 이미지 센서에 의해 취득된 화상(이하 적외광 화상)으로 치환되는 방법을 제안하고 있다. 또한, 일본 특허 공개 제2007-208346호는 가시광 이미지의 부분 영역이 부족노출되는 경우에 부족노출된 영역이 적외광 화상으로 치환되는 방법을 제안하고 있다. 이러한 방법의 사용에 의해 가시광 화상의 부분 영역에서 부각된 하이라이트부(blown-out highlight) 및 차폐된 음영부(blocked-up shadow)가 나타나는 경우에도 선명한 피사체 상을 취득하는 것이 가능해진다.
그러나, 상술한 방법에서는, 적외광 화상으로 치환된 영역에서는, 피사체의 색에 관한 정보가 상실되는 문제가 발생한다. 특히, 감시 용례 등에서 피사체를 인식하기 위해서 촬상 장치를 사용하는 것을 상정하면, 색 정보가 피사체의 인식에 중요한 경우, 색 정보의 불충분성은 큰 문제일 것이다.
본 개시내용은 피사체에 관한 색 정보의 상실 없이 가시광 화상과 적외광 화상을 합성하여 얻어지는 화상을 생성하는 기술을 제공한다.
예시적인 실시예의 일 양태는, 가시광 화상 및 비가시광 화상을 취득하도록 구성되는 취득 유닛, 상기 취득 유닛에 의해 취득된 상기 가시광 화상 또는 상기 비가시광 화상에 기초하여 화상 상의 영역을 결정하도록 구성되는 결정 유닛, 및 상기 결정 유닛에 의해 결정된 상기 영역에서 상기 가시광 화상의 합성 비율이 상기 비가시광 화상의 합성 비율보다 크도록 합성 화상을 생성하도록 구성되는 합성 유닛을 포함하고, 상기 취득 유닛은, 노출이 조정된 상기 가시광 화상을 취득하는 화상 처리 장치에 관한 것이다.
본 발명의 추가적인 특징은 첨부된 도면을 참고한 예시적인 실시예에 대한 이하의 설명으로부터 명확해질 것이다.
도 1은 예시적인 실시예에 대응하는 시스템의 구성예를 도시하는 도면이다.
도 2a는 예시적인 실시예에 대응하는 파장 선택 프리즘의 분광 투과 스펙트럼 및 분광 반사 스펙트럼의 예를 도시하는 도면이다.
도 2b는 예시적인 실시예에 대응하는 장치의 하드웨어 구성의 일례를 도시하는 도면이다.
도 3은 예시적인 실시예에 대응하는 처리의 일례를 도시하는 흐름도이다.
도 4는 예시적인 실시예에 대응하는 모드를 선택하는 방법을 설명하는 도면이다.
도 5는 예시적인 실시예에 대응하는 제1 임계치를 설정하는 방법을 설명하는 도면이다.
도 6a는 예시적인 실시예에 대응하는 제1 임계치를 유저가 설정하는 방법을 설명하는 도면이다.
도 6b는 예시적인 실시예에 대응하는 제1 임계치를 유저가 설정하는 다른 방법을 설명하는 도면이다.
도 7은 예시적인 실시예에 대응하는 제1 임계치를 유저가 설정하는 또 다른 방법을 설명하는 도면이다.
도 8a 내지 도 8d는 예시적인 실시예에 대응하는 영역을 분할하는 방법의 일례를 설명하는 도면이다.
이하, 첨부된 도면을 참고하여 실시예를 상세하게 설명한다. 이하의 실시예는 청구항 발명의 범위를 한정하는 것이 아니라는 것에 유의한다. 실시예에는 다수의 특징이 기재되어 있지만, 이러한 특징 모두를 필요로 하는 발명으로 한정되지 않으며, 다수의 이러한 특징은 적절히 합성될 수 있다. 또한, 첨부된 도면에서, 동일하거나 유사한 구성에는 동일한 참조 번호가 부여되고, 그에 대한 중복하는 설명은 생략한다.
실시예 1
도 1을 참조하여, 예시적인 실시예에 대응하는 시스템의 구성을 설명한다. 도 1은 본 실시예에 따른 시스템(10)의 구성예를 도시하는 도면이다. 본 실시예에 대응하는 시스템(10)은 촬상 장치(100) 및 정보 처리 장치(120)가 네트워크(110)를 통해서 서로 접속됨으로써 구성된다.
이하, 실시예에 대응하는 촬상 장치(100) 및 정보 처리 장치(120)의 구성에 대해서 설명한다. 촬상 장치(100)는, 예를 들어 결상 광학계(101) 및 광 분리 유닛(102)에 의해 구성되는 1개의 광학계와, 광학계를 공유하는 2개의 이미지 센서(103 및 104)를 포함하는 화상 처리 장치로서 구성된다. 이미지 센서는, 일례로서, 광학계를 통과한 가시광을 수광하고 화상 신호(가시광 화상)를 생성하는 가시광 이미지 센서(103), 및 광학계를 통과한 그리고 비가시광인 적외광을 수광하고 화상 신호(적외광 화상 또는 비가시광 화상)를 생성하는 적외광 이미지 센서(비가시광 이미지 센서)(104)로 구성된다. 이미지 센서(103 및 104)는, CMOS 센서, CCD 센서 등에 의해 각각 구성되고, 촬상면에 결상된 피사체 상을 전기 신호로 변환하고 전기 신호를 출력한다. 이미지 센서(103) 등으로부터 출력된 전기 신호로서의 촬상 신호는 화상 처리 유닛(106)에 입력된다.
광학계에 있어서의 결상 광학계(101)는 단일 렌즈 또는 복수의 렌즈의 군을 포함한다. 또한, 결상 광학계(101)는 줌, 포커스, 조리개, 및 카메라 흔들림 보상 등의 제어 기구 중 어느 하나 이상을 포함할 수 있다. 광 분리 유닛(102)은, 파장 선택 프리즘에 의해 구성되고, 특정 파장보다 짧은 파장을 갖는 광(가시광)은 파장 선택 프리즘을 투과하고, 특정 파장보다 긴 파장을 갖는 광(적외광)은 파장 선택 프리즘에 의해 반사되도록 구성된다. 여기서 투과/반사는 80% 이상의 광의 투과/반사를 의미한다는 것에 유의한다. 투과한 가시광의 성분은 후방에 배치된 가시광 이미지 센서(103)에 의해 광전 변환되며, 화상이 형성된다. 한편, 반사된 적외광의 성분은 광축과 정렬되도록 배치된 적외광 이미지 센서(103)에 의해 광전 변환되며, 화상이 형성된다. 여기서, 특정 파장은 예를 들어 600 nm 이상 750 nm 이하의 범위의 파장으로 설정될 수 있다. 이 경우, 가시광과 적외광 사이의 경계는 600 nm 이상 750 nm 이하의 범위의 파장이다. 또한, 적외광은 예를 들어 특정 파장으로부터 2500 nm까지의 파장을 갖는 광에 대응한다.
가시광 이미지 센서(103) 중의 화소는, RGB 베이어 배열(RGB Bayer array)로 배열된 온-칩 컬러 필터를 포함하고, 가시광 이미지 센서(103)로부터 출력되는 RGB 형식의 가시광 화상은 휘도 정보뿐만 아니라 색 정보를 포함한다. 한편, 적외광 이미지 센서(104)로부터 출력되는 적외광 화상은 휘도 정보만을 포함한다. 가시광 이미지 센서(103)는 가시광을 주로 포함하는 범위에서의 감도 분포를 가지면 되고, 가시광 이외의 범위에서의 감도 분포를 가질 수 있다는 것에 유의한다. 또한, 적외광 이미지 센서(104)는 적외광을 주로 포함하는 범위에서의 감도 분포를 가지면 되고, 적외광 이외의 범위에서의 감도 분포를 가질 수 있다. 제어부(105)는 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)의 구동 및 이에 의한 화상 신호의 판독을 제어한다.
도 2a는 파장 선택 프리즘의 분광 투과 스펙트럼 및 분광 반사 스펙트럼의 예를 도시한다. 실선은 투과를 나타내고, 점선은 반사를 나타낸다. 이와 같이, 특정 파장을 경계로 하여 투과와 반사가 전환된다.
가시광 이미지 센서(103) 및 적외광 이미지 센서(104)는 각각 제어부(105) 및 화상 처리 유닛(106)에 접속되어 제어되고, 공유된 광학계를 이용하여 서로 동기되어 촬상이 행해진다. 이러한 동기 촬상을 통해 얻어진 촬상 신호는 하류의 합성 처리를 통해 1개의 프레임의 합성 화상을 구성한다. 이러한 점에서, 이후 "각 프레임마다"라고 하는 경우에는 동기 촬상을 통해 얻어진 촬상 신호 또는 촬상 신호로부터 얻어진 화상(합성 화상을 포함)을 의미하는 것이다. 이미지 센서(103) 등으로부터 출력된 촬상 신호에는 화상 처리 유닛(106)에서 각종 화상 처리가 실시된다.
화상 처리 유닛(106)은, 촬상 신호에 대해 화소 보간 처리 또는 색 변환 처리 등의 화상 처리를 행하고, 이미지 센서에 의해 각각 촬상되는 화상의 데이터("촬상 화상" 또는 합성 처리가 실시되는 화상으로서 "합성전 화상"이라고도 칭함)를 생성한다. 이 화상 처리는 예를 들어 화소 결함 보정 또는 렌즈 보정 등의 각종 보정 처리, 블랙 레벨, 포커스, 노출 등을 조정하는 검출 처리, 디모자이크 처리, 화이트 밸런스 처리, 감마 보정 처리, 에지 강조 처리, 및 노이즈 억제 처리를 포함할 수 있다.
또한, 화상 처리 유닛(106)은, 유저에 의해 선택된 촬상 모드에 따라, 공유된 광학계에 의해 서로 동기해서 촬상되는 가시광 화상 및 적외광 화상을 합성하는 합성 처리를 통해 합성 화상을 생성한다. 합성 처리는 예를 들어 이하에서 설명되는 처리를 의미한다. 먼저, RGB 형식으로 판독되는 가시광 화상을 디모자이크 처리하고, 현상하며, YUV 형식의 화상으로 변환한다. 이때의 가시광 화상으로부터 얻어진 YUV 신호를 각각 Y1, U1, 및 V1로 나타낸다. 마찬가지로, 적외광 화상도 현상해서 YUV 형식으로 변환한다. 이때의 적외광 화상의 Y 신호를 Y2로 나타낸다. 적외광 화상은 색 정보를 갖지 않고, U 및 V 값은 제로라는 것에 유의한다.
이어서, Y1 신호 및 Y2 신호를 합성하여 합성 화상을 생성한다. 구체적으로는, 합성 화상의 YUV 신호를 각각 Y3, U3, 및 V3로 나타내는 경우, 이하의 식을 사용하여 합성 화상을 생성한다.
Y3=α×Y1+(1-α)×Y2 ...(식 1)
U3=U1 ...(식 2)
V3=V1 ...(식 3)
여기서, α는 가시광 화상과 적외광 화상의 합성 비율을 결정하기 위한 계수이며, 0 이상 1 이하의 실수이다. 합성 화상은, α가 증가함에 따라 가시광 화상에 가까워지기 때문에, 더 우수한 색 재현성을 갖는 화상 신호를 갖는다. 본 실시예에서의 촬상 장치(100)에서는, α가 각 영역에서 상이하다. 구체적으로는, 가시광 화상이 미리결정된 값 이상(제1 임계치 이상)의 휘도(Y1)를 갖는 영역(제1 영역)과 가시광 화상이 미리결정된 값 미만(제1 임계치 미만)의 휘도(Y1)를 갖는 제1 영역 이외의 영역(제2 영역) 사이에서 α가 변화할 수 있다. 그 상세는 후술한다. 또한, 제어부(105)는 유저에 의해 선택된 촬상 모드에 따라 가시광 이미지 센서(103)의 노출 조건과 적외광 이미지 센서(104)의 노출 목표(소위 EV 값)를 결정할 수 있다.
촬상 화상은 메모리(107)에 저장된다. 또한, 이미지 센서에 의해 각각 촬상되고 메모리(107)에 저장되는 화상은 화상 처리 유닛(106)의 화상 합성 유닛에 의해 연속적으로 합성되어 각 프레임마다 화상을 생성하고, 저 조도 환경에서는 합성된 화상이 가시광 화상 및 적외광 화상의 합성 화상으로서 메모리에 저장된다.
제어부(105)는, 예를 들어 CPU, MPU, 기타의 전용 연산 회로 등에 의해 구성될 수 있으며, 촬상 장치(100)의 전체 제어를 행한다. 메모리(107)는 비휘발성 메모리, RAM 등으로 구성된다. 비휘발성 메모리는 제어부(105)의 처리 절차(제어 프로그램) 및 다양한 파라미터를 저장한다. RAM은 제어부(105)의 워크 에어리어로서 사용되고, 화상 처리를 행하기 위한 저장 영역으로서도 사용된다. 또한, 제어부(105)는, 화상 처리 유닛(106), 화상 합성 유닛(도시되지 않음), 및 압축/압축해제 유닛을 포함할 수 있으며, 이들 블록의 처리 기능은 메모리(107)에 저장된 대응하는 프로그램을 실행하는 CPU에 의해 실현될 수 있다. 대안적으로, 이들 처리 기능은 제어부(105)를 구성하는 전용 연산 회로에 의해 실현될 수 있다.
제어부(105)는 또한 압축/압축해제 유닛(도시되지 않음)을 사용해서 합성 화상을 압축함으로써 압축 화상을 생성할 수 있다. 압축/압축해제 유닛은 정지 화상 압축 및 동화상 압축을 실행할 수 있으며, 화상 압축 방법은 예를 들어 H.264, H.265, MPEG 또는 JPEG 등의 규격에 기초할 수 있다. 또한, mp4, avi 형식 등을 포함하는 임의의 형식의 화상이 생성될 수 있다. 압축/압축해제 유닛에 의해 생성된 압축 화상은, 촬상 장치(100)에 장착되는 기록 매체(도시되지 않음), 메모리(107) 등에 기록될 수 있으며, 통신 유닛(108)으로부터 네트워크(110)를 통해 외부 정보 처리 장치(120)에 송신된다. 통신 유닛(108)은, 네트워크 처리 회로이며, 압축된 합성 화상을 통신 프로토콜에 준거한 통신 신호로 변환하고, 그후 통신 신호를 네트워크(110) 상에 분배한다. 네트워크(110)는, 예를 들어 LAN 또는 인터넷 등의 IP 기반 통신이 가능한 통신 회선으로서 구성될 수 있다. 대안적으로, 촬상 장치(100)와 정보 처리 장치(120) 사이의 접속은, 정보를 전송하는 케이블(USB, DVI, 및 HDMI 케이블 등의 다양한 접속 케이블)을 사용하여 유선 접속에 의해 실현될 수 있거나, 또는 블루투스 또는 WLAN과 같은 무선 통신 프로토콜에 따라서 무선 접속에 의해 실현될 수 있다.
정보 처리 장치(120)는, 전형적으로는 퍼스널 컴퓨터로서 구성되며, 네트워크(110)를 통해서 촬상 장치(100)에 접속되어 있다. 정보 처리 장치(120)의 제어부(121)는, CPU, MPU, 기타의 전용 연산 회로 등에 의해 구성될 수 있으며, 정보 처리 장치(120)의 전체 제어를 행한다. 또한, 제어부(121)는, 촬상 장치(100)로부터 합성 화상을 수신하고 그에 대해 압축해제 처리를 행하며, 촬상 장치(100)를 제어하기 위한 제어 정보 또는 커맨드를 송신함으로써 각종 제어를 행한다. 표시 유닛(122)은, 정보 처리 장치(120)의 유저(조작자)에 대하여, 유저 인터페이스(UI) 또는 촬상 장치(100)로부터 수신된 화상을 표시한다. 조작 유닛(123)은 유저에 의해 이루어진 조작 입력을 접수하는 유저 물리적 인터페이스이다. 표시 유닛(122)에 표시된 아이콘 등의 유저 인터페이스(UI)에 기초하여, 마우스, 키보드 등을 조작해서 원하는 제어 입력을 행할 수 있다. 통신 유닛(124)은, 네트워크 처리 회로이며, 네트워크(110)를 통해서 촬상 장치(100)와 통신할 수 있고, 촬상 장치(100)에 의해 분배된 합성 화상을 수신하며, 촬상 장치(100)의 동작을 제어한다.
상술한 촬상 장치(100) 및 정보 처리 장치(120)의 하드웨어 구성의 일례가 도 2b에 도시된다. 도 2b는, 촬상 장치(100) 및 정보 처리 장치(120)의 제어부 및 처리 유닛에 주로 관계되는 하드웨어 구성의 일례를 도시하는 블록도이다. 여기에서는, 촬상 장치(100)의 이미지 센서 및 광학 기구는 도시되지 않는다.
도 2b에서, CPU(201)는, 하드 디스크 장치(이하, "HD"라 칭함)(206)에 저장되어 있는 오퍼레이팅 시스템(OS), 제어 프로그램, 처리 프로그램 등을 실행함으로써 본 실시예에 대응하는 처리를 실현한다. 또한, CPU(201)는 인터페이스(I/F)(209)를 통해서 외부 장치로/로부터의 데이터의 송신 및 수신을 제어한다. CPU(201)는 도 1에 도시된 제어부(105) 또는 화상 처리 유닛(106)으로서 기능할 수 있다.
ROM(202)은 내부에 기본 I/O 프로그램 외에 미리결정된 처리를 실행하는 애플리케이션 프로그램 등의 다양한 데이터를 저장한다. RAM(203)은 다양한 데이터를 일시적으로 저장하며, CPU(201)의 주 메모리, 워크 에어리어 등으로서 기능한다. 외부 저장 드라이브(204)는, 기록 매체에의 액세스를 실현하기 위한 외부 저장 드라이브이며, 매체(기록 매체)(205)에 저장된 프로그램 등을 본 컴퓨터 시스템에 로드할 수 있다. 또한, 촬상 장치(100)에 의한 촬상을 통해 얻어진 화상을 내부에 축적할 수 있다. 대용량 메모리로서 기능하는 HD(하드 디스크)가 본 실시예에서는 외부 저장 장치(206)로서 사용된다. HD(206)에는, 애플리케이션 프로그램, OS, 제어 프로그램, 관련 프로그램 등이 저장된다. 하드 디스크 대신에, 플래시 메모리(등록 상표) 등의 비휘발성 저장 장치가 사용될 수 있다는 것에 유의한다. 도 1에 도시된 메모리(107)는 ROM(202), RAM(203), 또는 HD(206)에 의해 구성된다.
터치 패널, 다양한 버튼, 다양한 키 등이 지시 입력 장치(207)에 대응한다. 시스템 버스(210)는 장치 내의 데이터의 흐름을 관리한다.
출력 장치(208)는, 지시 입력 장치(207)에 의해 입력된 커맨드, 그에 대한 장치 응답 등을 출력한다. 출력 장치(208)는 디스플레이, 스피커, 헤드폰 잭 등을 포함할 수 있다. 시스템 버스(210)는 장치 내의 데이터의 흐름을 관리한다.
인터페이스("I/F"라 칭함)(209)는 외부 장치와의 데이터의 교환을 중개하는 역할을 한다. 구체적으로, I/F(209)는, 무선 통신 모듈을 포함할 수 있고, 모듈은 안테나 시스템, R/F 송신기/수신기, 1개 이상의 증폭기, 동조기, 1개 이상의 발진기, 디지털 신호 프로세서, CODEC 칩셋, 가입자 식별 모듈 카드, 및 메모리와 같은 주변 회로 기구를 포함할 수 있다.
또한, 모듈은 유선 접속을 위한 유선 통신 모듈을 포함할 수 있다. 유선 통신 모듈은 1개 이상의 외부 포트를 통해서 다른 디바이스와 통신할 수 있다. 또한, 데이터를 처리하는 다양한 소프트웨어 컴포넌트를 포함할 수 있다. 외부 포트는 이더넷, USB, IEEE1394 등을 통해서 직접적으로 또는 네트워크를 통해서 간접적으로 다른 디바이스에 결합된다. 이들은 또한 하드웨어 장치 대신에 상술한 장치와 동등한 기능을 실현하는 소프트웨어로 구성될 수 있다는 것에 유의한다.
이어서, 도 3을 참조하여, 촬상 장치(100)에 의해 실행되는 처리의 흐름을 설명한다. 도 3에 대응하는 처리는, 예를 들어 제어부(105) 및 화상 처리 유닛(106)으로서 기능하는 1개 이상의 프로세서(CPU(201) 등)가 대응하는 프로그램(ROM(202), HD(206) 등에 저장됨)을 실행하는 것에 의해 실현될 수 있다.
먼저, 단계 S301에서 제어부(105)는 촬상 모드를 판정한다. 유저가 미리 촬상 모드를 지정할 수 있다. 여기서, 촬상 모드를 지정하는 방법에 대해서 설명한다. 도 4는 촬상 모드를 선택하는 방법을 설명하는 도면이다. 제어부(105)는 출력 장치(208)의 디스플레이에 도 4에 도시된 것과 같은 화면을 표시한다. 화면(400)은, 합성 화상을 표시하는 영역(401) 및 모드를 선택하기 위한 선택 인터페이스를 표시하는 영역(402)을 포함한다. 영역(402)에 표시되는 선택 인터페이스에는, 제1 촬상 모드로서 "명부 색 중시 모드"가 표시되며 제2 촬상 모드로서 "암부 색 중시 모드"가 표시된다. 도 4는 "명부 색 중시 모드"가 선택되어 있는 상태를 도시한다. 유저는, 지시 입력 장치(207)의 버튼 또는 터치 패널을 조작함으로써 선택되는 모드를 전환할 수 있다.
본 실시예에서는 촬상 장치(100)에서 도 4에 도시된 표시 화면이 표시되고 조작 입력이 이루어지는 경우를 설명하지만, 실시예는 이것으로 한정되는 것은 아니다. 촬상 장치가 네트워크(110)를 통해서 외부 정보 처리 장치(120)에 접속되고, 도 4에 도시된 화면이 정보 처리 장치(120)에 표시되며, 유저가 선택 조작을 행하는 구성이 채용될 수 있다. 이 경우에는, 선택된 모드에 관한 정보가 네트워크(110)를 통해서 촬상 장치(100)에 송신되며, 촬상 장치(100)의 메모리(107)에 저장된다.
단계 S301에서, 제어부(105)는 "명부 색 중시 모드", 즉 "제1 촬상 모드"가 선택된다고 판정하면, 처리는 단계 S302A로 이동된다. 이 경우, 유저에게는 촬상 씬에서 명부에 위치되는 피사체에 관한 색 정보가 암부에 위치되는 피사체에 관한 색 정보보다 더 중요하고, 유저는 명부의 피사체의 색 재현성을 우선할 필요가 있다. 이 점에서, 제1 촬상 모드에서는, 명부에 관한 색 정보를 중시해서 합성 화상을 생성하도록 노출 목표를 결정하고, 합성 처리를 행한다.
한편, 제어부(105)가 "암부 색 중시 모드", 즉 "제2 촬상 모드"가 선택된다고 판정한 경우, 처리는 단계 S302B로 이동된다. 이 경우, 유저는 촬상 씬 중에서 암부에 위치되는 피사체에 관한 색 정보가 명부에 위치되는 피사체에 관한 색 정보보다 더 중요하다고 판단한다. 이 점에서, 제2 촬상 모드에서는, 암부에 관한 색 정보를 중시해서 합성 화상을 생성하도록 노출 목표를 결정하고, 합성 처리를 행한다.
이와 같이 유저가 촬상 모드를 선택하는 경우, 명부 및 암부에 관한 색 정보의 중요도를 판정할 필요가 있기 때문에, 화면(400)의 영역(401)에 표시되는 합성 화상은 SN 비보다 색 재현성을 중시한 화상인 것이 바람직하다. 이 점에서, 유저가 모드를 선택하는 경우에 표시되는 합성 화상은 가시광 화상에 가까운(α는 1에 가깝다) 것이 바람직하고, 가시광 화상과 일치(α=1)하는 것이 더 바람직하다.
도 3으로 돌아가서, 제1 촬상 모드가 선택되었다고 판정되는 경우를 설명한다. 제1 촬상 모드가 선택되었다고 판정되면, 단계 S302A에서 화상 처리 유닛(106)은 가시광 화상을 2개의 영역으로 분할한다. 이들 영역은 가시광 화상에서의 "명부"와 "암부"에 대응한다. 본 실시예에서는, 명부에 대응하는 영역을 "제1 영역"이라 칭하고, 암부에 대응하는 영역을 "제2 영역"이라 칭한다. 제1 촬상 모드에서는, 제1 영역이 색 재현성을 우선하는 우선 영역으로서 지정되며, 제2 촬상 모드에서는, 제2 영역이 색 재현성을 우선하는 우선 영역으로서 지정된다. 영역을 분할하기 위해서는 휘도값의 임계치(제1 임계치: TH1)가 사용된다. 구체적으로, 가시광 화상은 미리결정된 값 이상(제1 임계치 이상)의 휘도값(Y1)을 갖는 제1 영역 및 미리결정된 값 미만(제1 임계치 미만)의 휘도값(Y1)을 갖는 제2 영역으로 분할된다.
여기서, 도 5를 참조하여 제1 임계치를 설정하는 방법에 대해서 설명한다. 도 5는 실시예에 대응하는 제1 임계치(TH1)를 설정하는 방법을 설명하는 도면이다. 도 5에서, 횡축은 가시광 화상의 휘도값(Y1)을 나타내고, 종축은 빈도를 나타내며, 이에 의해 가시광 화상의 휘도값의 히스토그램이 도시된다. 일반적으로, 명도의 차이가 큰 씬에서는, 히스토그램은 히스토그램이 2개의 블록으로 나뉘는 것 같은 형상을 갖는 경우가 많다. 도 5에서는, 우측에 제1 영역으로서 나타낸 범위가 명부에 대응하며, 좌측에 제2 영역으로서 나타낸 범위가 암부에 대응한다. 이 점에서, 제1 임계치는 히스토그램의 2개의 블록 사이의 섹션에 위치되는 값으로 설정된다. 구체적으로는, 그레이 스케일 화상의 2치화 문제의 경우에 사용되는, 판별 분석법 등을 사용하여, 휘도 분포의 분리도가 가장 크도록 제1 임계치를 결정할 수 있다. 여기에서 "가장 큰"은 오차를 포함할 수 있고, 예를 들어 분리도가 분포의 분리도의 최대값의 절반 이상이 되도록 제1 임계치를 결정할 수 있다는 것에 유의한다.
다시, 도 3으로 돌아가면, 단계 S303A에서, 제어부(105)는 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)의 노출 목표를 결정한다. 가시광 이미지 센서(103)의 노출 목표는, 제1 영역에서의 가시광 화상의 휘도값(Y1)의 평균값(또는 중간값)(Y11av)으로부터 결정된다. 구체적으로는, 적절한 노출 레벨(일반적으로는, 화상 신호의 포화 레벨의 약 0.1배 내지 0.2배)이 Y0이고, 노출 목표의 초기값이 EV0인 경우, 다음 프레임에서의 가시광 이미지 센서(103)의 노출 목표(EV11)는 이하의 식을 사용하여 결정된다.
EV11=EV0+log2(Y11av/Y0) ...(식 4)
한편, 적외광 이미지 센서(104)의 노출 목표는 제2 영역에서의 적외광 이미지의 휘도값(Y2)의 평균값(또는 중간값)(Y22av)으로부터 결정된다. 구체적으로는, 다음 프레임에서의 적외광 이미지 센서(104)의 노출 목표(EV12)는 이하의 식을 사용하여 결정된다.
EV12=EV0+log2(Y22av/Y0) ...(식 5)
즉, 단계 S303A에서는, 다음 프레임에서, 제1 영역에서의 가시광 화상의 휘도 및 제2 영역에서의 적외광 화상의 휘도가 각각 적절한 노출 레벨에 도달하도록 노출 목표가 결정된다. 이렇게, 제1 촬상 모드에서는, 가시광 이미지 센서(103)의 노출 목표가 적외광 이미지 센서(104)의 노출 목표보다 높다. 구체적으로는, 상이한 노출 목표를 갖기 위해서는, 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)가 상이한 노출 시간(소위 TV 값) 또는 아날로그 게인(소위 SV 값)을 가지면 충분하다.
계속되는 단계 S304A에서는, 제어부(105)는 단계 S303A에서 결정된 노출 목표를 사용해서 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)를 제어하여 촬상하며, 그후 화상 처리 유닛(106)은 생성된 가시광 화상 및 적외광 화상을 사용해서 합성 처리를 행한다. 구체적으로는, 제1 영역에 관한 계수(α)를 α1로 하고 제2 영역에 관한 계수(α)를 α2로 하여 합성 화상을 생성한다. 이때, α1 및 α2는 이하의 관계식을 충족한다.
α1>α2 ...(식 6)
제1 영역에 대해서, 즉 Y1≥TH1의 경우, 식 1은 이하와 같이 변형된다.
Y3=α1×Y1+(1-α1)×Y2 ...(식 1')
또한, 제2 영역에 대해서, 즉 Y1<TH1의 경우, 식 1은 이하와 같이 변형된다.
Y3=α2×Y1+(1-α2)×Y2 ...(식 1'')
이와 같이, 본 실시예의 제1 촬상 모드에서는, 명부에 대응하는 제1 영역이 암부에 대응하는 제2 영역보다 가시광 화상에 근접하도록 노출 목표를 설정하고 합성 처리를 행한다. 그 결과, 우선 영역인 제1 영역의 화상 신호의 색 재현성이 제2 영역의 색 재현성보다 우수하다.
식 6에서, α1은 1에 가까울수록 그리고 α2는 0에 가까울수록 바람직하고, 예를 들어 α1=1 및 α2=0인 구성이 채용될 수 있다. 대안적으로, 제1 촬상 모드에서, 합성 화상의 제1 영역이 가시광 화상과 일치하고, 합성 화상의 제2 영역이 적외광 화상과 일치하는 구성이 채용될 수 있다.
그 이유를 이하에서 설명한다. 단계 S304A에서 취득된 가시광 화상은 제1 영역이 적절한 노출 레벨을 갖도록 촬상되고, 따라서 가시광 화상의 제2 영역은 적절한 조건에 비해 부족노출의 조건하에 촬상되며, 따라서 차폐된 음영부가 나타나기 쉽다. 따라서, α2가 1에 가까울수록, 제2 영역에서 차폐된 음영부가 나타나기가 더 쉽다. 마찬가지로, 단계 S304A에서 취득된 적외광 화상은 제2 영역이 적절한 노출 레벨을 갖도록 촬상되고, 따라서 적외광 화상의 제1 영역은 적절한 조건에 비해 과잉노출의 조건하에서 촬상되며, 따라서 부각된 하이라이트부가 나타나기 쉽다. 따라서, α1이 0에 가까울수록, 제1 영역에서 부각된 하이라이트부가 나타나기가 더 쉽다.
합성 처리 시에, 제1 영역과 제2 영역 사이의 경계에서 합성 계수(α)를 단계적으로 변화시킬 수 있다는 것에 유의한다. 구체적으로는, 상기 설명에서는 Y1≥TH1인 영역이 제1 영역이고 TH1>Y1인 영역이 제2 영역이지만, 또한 제2 임계치(TH2(TH1>TH2))가 제공될 수 있다. 이때, 예를 들어 TH2>Y1인 영역이 제2 영역으로 설정되고 TH1>Y1≥TH2의 범위에서, 예를 들어 Y1가 큰 측(제1 영역에 가까운 측)으로부터 Y1이 작은 측(제2 영역에 가까운 측)을 향해서 합성 계수(α)가 α1로부터 α2로 서서히 감소되도록 변화되는 구성이 채용될 수 있다. 이와 같이, 제1 영역과 제2 영역 사이의 경계에서, α를 단계적으로 변화시킴으로써 형성되는 매끄러운 경계에 의해 자연스러운 합성 화상을 얻을 수 있다.
도 3으로 돌아가서, 단계 S304A의 처리가 완료되면, 단계 S302A 내지 단계 S304A의 처리가 각 프레임마다 반복된다. 여기에서는, 가시광 화상의 히스토그램으로부터 제1 임계치를 갱신하고, 제1 영역에서의 가시광 화상의 휘도 및 제2 영역에서의 적외광 화상의 휘도로부터 노출 목표를 갱신하고, 다음 프레임에 대해 화상을 촬상하며, 합성 처리를 행한다.
이때, 제1 임계치는 각 프레임마다 갱신될 필요는 없다. 제1 임계치의 갱신 빈도를 저감시킴으로써 처리 부하를 저하시킬 수 있으며, 전력 소비를 저감할 수 있다. 한편, 제1 임계치의 갱신 빈도를 증가시키는 경우에 시간에 따른 명도의 변화에 더 빠르게 대응할 수 있다. 또한, 제1 임계치를 갱신하는 경우, 변화량을 특정값 이하로 유지하도록 제어가 행해지는 구성이 채용될 수 있다. 이와 같이 제1 임계치의 단시간에서의 급격한 증가 또는 감소를 억제함으로써, 소위 헌칭 현상(hunching phenomenon)의 발생을 억제할 수 있다.
이어서, 단계 S301에서 제2 촬상 모드가 선택된 것으로 판정되는 경우를 설명한다. 제2 촬상 모드가 선택되었다고 판정되면, 단계 S302A와 마찬가지로, 화상 처리 유닛(106)은 단계 S302B에서 가시광을 2개의 영역으로 분할한다. 구체적으로는, 가시광은 제1 임계치 이상의 휘도값(Y1)을 갖는 제1 영역 및 제1 임계치 미만의 휘도값(Y1)을 갖는 제2 영역으로 분할된다. 단계 S302A에서 설명된 경우와 마찬가지로, 제1 임계치는 가시광 화상의 히스토그램에 기초하여 결정될 수 있다.
계속해서, 단계 S303B에서, 제어부(105)는 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)의 노출 목표를 결정한다. 가시광 이미지 센서(103)의 노출 목표는, 제2 영역에서의 가시광 화상의 휘도값(Y2)의 평균값(또는 중간값)(Y12av)으로부터 결정된다. 또한, 적외광 이미지 센서(104)의 노출 목표는, 제1 영역에서의 적외광 화상의 휘도값(Y2)의 평균값(또는 중간값)(Y21av)으로부터 결정된다. 단계 S303A와 마찬가지로, 다음 프레임의 가시광 이미지 센서(103)의 노출 목표(EV11) 및 적외광 이미지 센서(104)의 노출 목표(EV12)는 이하의 식을 사용하여 결정된다.
EV11=EV0+log2(Y12av/Y0) ...(식 7)
EV12=EV0+log2(Y21av/Y0) ...(식 8)
즉, 단계 S303B에서는, 다음 프레임에서, 제1 영역에서의 적외광 화상의 휘도 및 제2 영역에서의 가시광 화상의 휘도가 각각 적절한 노출 레벨에 도달하도록 노출 목표가 결정된다. 이와 같이, 제2 촬상 모드에서는, 적외광 이미지 센서(104)의 노출 목표보다 가시광 이미지 센서(103)의 노출 목표가 낮아진다. 구체적으로는, 상이한 노출 목표를 갖기 위해서는, 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)가 상이한 노출 시간(소위 TV 값) 또는 아날로그 게인(소위 SV 값)을 가지면 충분하다.
계속되는 단계 S304B에서는, 제어부(105)는 단계 S303B에서 결정된 노출 목표를 사용하여 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)를 제어해서 촬상을 하고, 그후 화상 처리 유닛(106)이 생성된 가시광 화상 및 적외광 화상을 사용하여 합성 처리를 행한다. 구체적으로는, 제1 영역에 대한 합성 계수를 α1로하고, 제2 영역에 대한 합성 계수를 α2로하여, 합성 화상을 생성한다. 이때, α1 및 α2는 이하의 관계식을 충족한다. 또한, 제1 촬상 모드가 선택되는 경우와 마찬가지로, 식 1은 제1 영역에 대해서는 식 1'로서 그리고 제2 영역에 대해서는 식 1''로서 변형된다.
α1<α2 ...(식 9)
이와 같이, 본 실시예의 제2 촬상 모드에서는, 암부에 대응하는 제2 영역이 제1 영역보다 가시광 화상에 근접하도록 노출 목표가 설정되며 합성 처리가 행해진다. 그 결과, 우선 영역인 제2 영역의 화상 신호의 색 재현성이 제1 영역보다 우수하다.
식 9에 따르면, α1은 0에 가까울수록 그리고 α2는 1에 가까울수록 바람직하고,α1=0 및 α2=1인 구성을 채용할 수 있다. 대안적으로, 제2 촬상 모드에서, 합성 화상 중 제2 영역이 가시광 화상과 일치하고, 합성 화상 중 제1 영역이 적외광 화상과 일치하는 구성이 채용될 수 있다.
그 이유를 이하에서 설명한다. 단계 S304B에서 취득된 가시광 화상은, 제2 영역이 적절한 노출 레벨을 갖도록 촬상되므로, 가시광 화상의 제1 영역은 적절한 조건에 비해 과잉노출의 조건하에서 촬상되고, 따라서 부각된 하이라이트부가 나타나기 쉽다. 따라서, α1이 1에 가까울수록, 제1 영역에서 부각된 하이라이트부가 나타나기가 더 쉽다. 마찬가지로, 단계 S304B에서 취득된 적외광 화상은, 제1 영역이 적절한 노출 레벨을 갖도록 촬상되기 때문에, 적외광 화상의 제2 영역은 적절한 조건에 비해 부족노출의 조건하에서 촬상되고, 따라서 차폐된 음영부가 나타나기가 쉽다. 따라서, α2가 0에 가까울수록, 제2 영역에서 차폐된 음영부가 나타나기가 더 쉽다.
단계 S304A와 마찬가지로, 단계 S304B에서도, 제1 영역과 제2 영역 사이의 경계에서 합성 계수(α)를 단계적으로 변화시킬 수 있다. 구체적으로는, 제1 영역에 가까운 측으로부터 제2 영역에 가까운 측을 향해서, 합성 계수(α)를 α1로부터 α2를 향해서 서서히 증가하도록 변화시킬 수 있다.
도 3으로 돌아가서, 단계 S304B에서의 처리가 완료되면, 단계 S302B 내지 단계 S304B의 처리를 각 프레임마다 반복한다. 여기에서는, 가시광 화상의 히스토그램으로부터 제1 임계치를 갱신하고, 제1 영역에서의 적외광 화상의 휘도 및 제2 영역에서의 가시광 화상의 휘도로부터 노출 목표를 갱신하고, 다음 프레임에 대해 화상을 촬상하며, 합성 처리를 행한다.
상술한 바와 같이, 본 실시예에서의 촬상 장치(100)는, 화상을 명부(제1 영역)와 암부(제2 영역)로 분할하고, 제1 영역과 제2 영역 중 하나가 가시광 화상만을 포함하고 그 중 다른 것이 비가시광 화상만을 포함하는 상태에서 합성 화상을 생성한다. 또한, 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)가 적절한 노출 조건하에서 영역을 촬상해서 합성 처리를 행한 결과, 부각된 하이라이트부 및 차폐된 음영부의 발생이 억제될 수 있다. 이때, 명부에 관한 색 정보 및 암부에 관한 색 정보 중 어느 것이 중요한지 또는 그 색 재현성을 우선할지에 따라, 명부와 암부를 촬상하는 이미지 센서를 전환하는 구성이 채용된다. 제1 촬상 모드에서는, 명부의 색 재현성을 우선하고, 명부에 대해서는 가시광 화상을 그리고 암부에 대해서는 적외광 화상을 사용하여 합성 화상을 생성한다. 또한, 제2 촬상 모드에서는, 암부에 대해서는 가시광 화상을 그리고 명부에 대해서는 적외광 화상을 사용하여 합성 화상을 생성한다. 따라서, 중요한 색 정보를 갖는 피사체에 관한 색 정보의 상실 없이 부각된 하이라이트부 및 차폐된 음영부의 발생을 억제할 수 있다.
광 분리 유닛(102)이 가시광을 투과하고 적외광을 반사하는 파장 선택 프리즘에 의해 구성되는 예를 도 1에 도시했지만, 적외광을 투과하며 가시광을 반사하는 파장 선택 프리즘이 사용될 수 있다. 이 경우, 도 1에서, 가시광 이미지 센서(103)의 위치 및 적외광 이미지 센서(104)의 위치를 전환하면 충분하다.
또한, 도 1에서는, 상이한 분광 특성을 갖는 광을 광 분리 유닛(102)을 사용하여 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)로 안내하지만, 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)가 상이한 독립적인 광학계를 갖는 소위 트윈-렌즈 타입이 사용될 수 있다. 이 경우에도 서로 동기하여 화상을 촬상한다. 이 경우, 합성 처리는, 각각의 합성전 화상에서 동일한 피사체의 위치가 서로 일치하도록 합성 파라미터에 기초하여 행해진다. 합성 파라미터의 예는, 예를 들어 촬상 화상의 확대, 축소, 및 왜곡 보정 등의 변형 처리를 행하기 위한 파라미터 및 보정 처리가 행해진 촬상 화상으로부터 화상을 잘라내기 위한 파라미터를 포함한다. 합성 파라미터는, 광학계와 이미지 센서(103 및 104) 사이의 배치 관계에 기초하여 미리 산출되어 메모리(107)에 유지될 수 있다. 또한, 정렬할 필요가 없도록 광학계와 이미지 센서를 정렬하여 촬상 장치(100)를 구성할 수 있다.
이미지 센서의 광학계에 독립적인 조리개를 제공하는 것이 가능하기 때문에, 노출 목표의 제어에 조리개(소위 AV 값)의 제어를 추가할 수 있다. 또한, 가시광 이미지 센서(103) 및 적외광 이미지 센서(104)는 ND 필터 및 ND 필터를 삽입 및 제거하기 위한 기구를 각각 가질 수 있다. 이 경우, ND 필터의 삽입 및 제거도 노출 목표의 제어에 추가될 수 있다.
또한, 촬상 장치(100)는 가시광을 선택적으로 조사하는 백색 조명 소자 또는 적외광을 선택적으로 조사하는 적외 조명 소자 중 하나 또는 양쪽 모두를 포함할 수 있다. 백색 조명 소자의 출력 레벨을 변경함으로써, 적외광 이미지 센서(104)에 입사하는 광의 양을 변경하지 않고 가시광 이미지 센서(103)에 입사하는 광의 양을 제어할 수 있다. 마찬가지로, 적외 조명 소자의 출력 레벨을 변경함으로써, 가시광 이미지 센서(103)에 입사하는 광의 양을 변경하지 않고 적외광 이미지 센서(104)에 입사하는 광의 양을 제어할 수 있다. 따라서, 노출 목표의 제어에 백색 조명 소자 및 적외 조명 소자의 출력 레벨의 제어도 추가할 수 있다.
도 3에 도시된 흐름도에 대응하는 처리에서는 단계 S302A 및 S302B의 처리에서 촬상 장치(100)에서 제1 임계치를 결정하지만, 유저가 제1 임계치를 결정할 수 있는 구성이 채용될 수 있다. 구체적으로는, 출력 장치(208)의 디스플레이에 도 6a에 도시된 것과 같은 화면을 표시하고 유저에 의해 이루어진 설정 입력을 접수하는 구성이 채용될 수 있다.
도 6a는, 유저가 가시광 화상의 히스토그램으로부터 직접 제1 임계치를 결정하는 예를 설명하는 도면이다. 도 6a에서는, 화면(600)은, 합성 화상을 표시하는 영역(601), 히스토그램을 표시하는 영역(602), 및 히스토그램을 참조하여 제1 임계치(TH1)를 설정하기 위한 설정 인터페이스(603)를 포함한다. 설정 인터페이스(603)에서는, 좌우 방향 버튼을 조작함으로써 제1 임계치(TH1)를 휘도 방향(횡축 방향)으로 이동시킬 수 있다. 제1 임계치가 변경되면, 변경된 제1 임계치에 따라, 영역(601)에 표시되어 있는 합성 화상 상에 프레임선(604)에 의해 제1 영역(601A) 및 제2 영역(601B)이 표시된다.
이때에 유저가 조정한 제1 임계치에 따라, 변화된 합성 계수(α)를 갖는 합성 화상을 영역(601)에 표시하는 구성이 채용될 수 있다. 제1 영역(601A) 및 제2 영역(601B)이 유저가 원하는 바에 따라 설정되는 경우, 유저는 설정 인터페이스(603)의 임계치 결정 버튼을 조작함으로써 제1 임계치(TH1)를 결정할 수 있다. 결정된 제1 임계치는 예를 들어 메모리(107)에 유지된다.
이어서, 도 6b는 설정 인터페이스(603)의 대체 예를 도시하는 도면이다. 도 6b에서는, 스크롤바를 이용하여 임계치를 설정할 수 있다. 제1 임계치는 스크롤 바의 위치에 따라 설정된다. 또한, 유저가 조정한 제1 임계치에 따라, 변화된 합성 계수를 갖는 합성 화상을 영역(601)에 표시할 수 있는 구성이 채용될 수 있다.
상술한 도 4에서는, 유저가 동작 모드로서 명부 색 중시 모드(제1 촬상 모드) 및 암부 색 중시 모드(제2 촬상 모드) 중 어느 한 쪽을 선택하는 경우를 설명했다. 실시예는 이에 한정하지 않고, 유저는 동작 모드 대신에 색 정보를 중시하고 싶은 영역을 직접 지정할 수 있다. 도 7은 그러한 경우에 표시되는 유저 인터페이스의 일례를 도시한다. 도 7에서는, 화면(700)에는 합성 화상을 표시하는 영역(701)이 표시되어 있으며, 표시되어 있는 화상에는 색 정보가 강조될 영역을 나타내는 표시(702)가 중첩된다. 이 표시(702)는 인터페이스(703)를 사용하여 설정될 수 있다. 인터페이스(703)는 예를 들어 터치 패널 또는 커서 키에 의해 실현될 수 있다.
촬상 장치(100)는, 유저에 의해 지정된 영역(702)의 평균 휘도(중간값)가 그 영역(702) 이외의 영역의 휘도(중간값) 이상인 경우에는, 유저가 명부에 관한 색 정보를 중시하고 있다고 판정할 수 있다. 이 경우, 촬상 장치(100)는 제1 촬상 모드에서 동작한다. 한편, 촬상 장치(100)는, 영역(702)의 평균 휘도(중간값)가 그 영역(702) 이외의 영역의 평균 휘도(중간값)보다 낮은 경우에는, 유저가 명부에 관한 색 정보를 중시했다고 판정할 수 있다. 이 경우, 촬상 장치(100)는 제2 촬상 모드에서 동작한다.
유저는 색 정보를 중시하고 싶은 영역(702)을 직접적으로뿐만 아니라 간접적으로도 지정할 수 있다. 예를 들어, 유저가 촬상 장치(100)의 동작 모드로서 추적 모드를 지정한 경우, 유저는 추적될 피사체인 인물 또는 차량에 관한 색 정보를 중시하고 싶어 한다고 판단하고, 추적될 피사체의 휘도의 평균값과 피사체 부분 이외의 배경의 휘도의 평균값 사이의 비교를 통해 촬상 모드를 결정하는 구성이 채용될 수 있다.
예를 들어, 피사체로서 인물에 대응하는 영역의 평균 휘도(중간값)가 다른 영역의 평균 휘도(중간값) 이상인 경우, 촬상 장치(100)는 유저가 명부에 관한 색 정보를 중시하고 있다고 판정하고, 제1 촬상 모드에서 동작한다. 한편, 인물에 대응하는 영역의 평균 휘도가, 다른 영역의 평균 휘도 이하인 경우, 촬상 장치(100)는 유저가 암부에 관한 색 정보를 중시하고 있다고 판정하고, 제2 촬상 모드에서 동작한다. 추적될 수 있는 복수의 피사체가 존재하는 경우, 추적될 피사체의 지정은 유저로부터 접수될 수 있다는 것에 유의한다.
또한, 히스토그램의 형상에 따라서는, 제1 영역과 제2 영역에 대한 합성 계수가 서로 상이할 필요가 없는 경우가 있다. 예를 들어, 도 5에 도시된 것과 같은 씬의 명도의 차이가 미리결정된 값보다 작은 경우, 가시광 화상 또는 적외광 화상 중 어느 한쪽을 사용해도, 부각된 하이라이트부 또는 차폐된 음영부가 나타나지 않는다. 이러한 점에서, 이러한 경우에는, 제1 영역 및 제2 영역에 대해 동일한 합성 계수(α1=α2)로 합성 처리를 실행할 수 있다.
여기서, 씬의 명도의 차는 히스토그램의 휘도값의 최대값과 최소값 사이의 비를 이용하여 정의될 수 있다. 이때, 빈도가 상당히 낮은 신호는 노이즈로서 제거하고 나서, 최대값과 최소값 사이의 비를 정의하는 것이 바람직하다. 명도의 차를 판정하는 미리결정된 값은, 가시광 이미지 센서(103)의 다이내믹 레인지(최소 신호 레벨에 대한 최대 신호 레벨의 비)에 기초하여 결정될 수 있다. 구체적으로는, 미리결정된 값을 가시광 이미지 센서(103)의 다이내믹 레인지의 0.1배 이상 1배 이하의 값이 되도록 결정하는 것이 바람직하다.
또한, 씬이 작은 명도 차를 갖는 경우의 합성 계수는 가시광 화상의 휘도(그로부터 구한 피사체의 조도)를 사용하여 결정될 수 있다. 가시광 화상의 휘도가 충분히 높은(미리결정된 휘도값보다 높은) 경우에는, 색 재현성을 중시하고 합성 계수(α)를 1에 근접시키는 것이 바람직하다. 한편, 가시광 화상의 휘도가 충분히 낳은(미리결정된 휘도값 이하인) 경우, 합성 계수(α)를 0에 근접시키는 것이 바람직하다. 이는, 야간 등의 저 조도 시에는 가시광 성분보다 적외광 성분이 더 강할 가능성이 크고, α를 0에 근접시킴으로써 가시광 화상보다 더 우수한 SN 비를 갖고 휘도 정보와 색 정보의 양쪽 모두를 갖는 합성 화상을 취득할 수 있게 되기 때문이다.
제1 영역과 제2 영역에 대해 상이한 합성 계수를 사용하는 상태로부터 모든 영역에 대해 동일한 합성 계수를 사용하는 모드로 모드가 전환되는 경우, 그 취지를 팝업 방식으로 표시할 수 있다는 것에 유의한다. 또한, 도 4에 도시된 영역(402)에서, 명부 색 중시 모드(제1 촬상 모드) 및 암부 색 중시 모드(제2 촬상 모드) 이외에, 명부 및 암부 색 양쪽 모두를 중시하는 모드(제3 촬상 모드)가 선택될 수 있는 구성이 채용될 수 있다. 제3 촬상 모드의 경우, 가시광 화상의 휘도에 따라서 결정된 동일한 합성 계수가 모든 영역에 대해 사용된다.
상술한 실시예에서는, 가시광 화상과 적외광 화상을 합성하는 처리를 주로 촬상 장치(100)의 화상 처리 유닛(106)에 의해 실행하는 경우를 설명했다는 것에 유의한다. 그러나, 실시예는 이것에 한정되는 것은 아니다. 예를 들어, 촬상 장치(100)에 의해 생성된 가시광 화상과 적외광 화상을 네트워크(110)를 통해서 정보 처리 장치(120) 측으로 송신하고, 정보 처리 장치(120)가 합성 처리를 실행하는 화상 처리 장치로서 기능하는 구성이 채용될 수 있다. 그 경우에서도, 처리의 내용은 상술한 것과 마찬가지이다.
상술한 바와 같이, 본 실시예에 대응하는 촬상 장치(100)는, 씬이 큰 명도 차를 갖는 경우에는, 중요한 색 정보를 갖는 피사체에 관한 색 정보를 상실시키지 않고 부각된 하이라이트부 및 차폐된 음영부의 출현을 억제한다. 또한, 씬이 작은 명도 차를 갖는 경우에는, 씬 전체의 명도에 따라 합성 계수를 제어함으로써, 저 조도 시에도, 양호한 SN 비를 가지며 휘도 정보 및 색 정보 양쪽 모두를 갖는 화상을 취득할 수 있다.
실시예 2
실시예 1에서 기재된 촬상 장치(100)에서는, 명부에 관한 색 정보를 중시하기를 원하는지 또는 암부에 관한 색 정보를 중시하기를 원하는지의 여부를 유저가 선택한다. 대조적으로, 본 실시예에서는, 촬상 장치(100)가 화상을 해석함으로써, 명부에 관한 색 정보가 중요한지 또는 암부에 관한 색 정보가 중요한지의 여부를 판정한다. 본 실시예에 대응하는 촬상 장치의 구성은 도 1 및 도 2b를 참조하여 설명한 촬상 장치와 마찬가지이다.
본 실시예에 따른 처리는, 예를 들어 도 3에 도시된 흐름도의 단계 S301에서의 모드 판정 처리 단계 대신에, 화상 해석 처리 단계 및 영역 분할 처리 단계를 실행함으로써 실시될 수 있다.
더 구체적으로는, 먼저, 화상 해석 처리에서는, 미리결정된 노출 목표의 초기값을 사용하여 촬상된 가시광 화상에 기초하여, 씬 전체로부터 피사체(또는, 물체, 동체 등)에 대응하는 영역(피사체 영역)을 검출하고 인식한다. 검출 및 인식될 피사체의 예는 감시 용례 등에서 특히 중요한 인물 및 자동차를 포함하며, 인식될 피사체는 미리 기계 학습을 통해서 학습될 수 있다.
계속되는 영역 분할 처리에서는, 각각의 피사체 영역에 관한 색 정보의 중요도로부터, 명부에 관한 색 정보 및 암부에 관한 색 정보 중 어느 쪽이 중요한지를 판정하고, 촬상 모드를 결정할 수 있다. 적외광 화상(휘도 정보만)에 대해 피사체 인식을 행하는 경우에 얻어지는 F값(정확도와 재현률의 조화 평균 산출을 통해 얻어진 산출값) 및 가시광 화상(휘도 정보 및 색 정보 양쪽 모두)에 대해 피사체 인식이 행해지는 경우에 얻어지는 F값을 사용하여 이하의 식을 이용해서 색 정보의 중요도를 구할 수 있다.
색 정보의 중요도 = 가시광 화상에 대한 F값/적외광 화상에 대한 F값 ...(식 10)
상기 식에 따르면, 적외광 화상에 대해 피사체 인식을 행하는 경우에 얻어지는 F값에 대한 가시광 화상에 대해 피사체 인식을 행하는 경우에 얻어지는 F값의 비율이 큰 피사체에 대해서는 색 정보가 중요한 것으로 정의된다. 색 정보의 중요도가 더 높은 피사체의 예는 도로 표지를 포함하고, 색 정보의 중요도가 더 낮은 피사체의 예는 문자 정보를 포함한다. 가시광 화상에 대한 F값 및 적외광 화상에 대한 F값은 가시광 화상 및 적외광 화상을 사용한 기계 학습을 통해 미리 구해질 수 있다는 것에 유의한다.
이어서, 각각의 피사체에 관한 색 정보 중요도로부터, 명부에 관한 색 정보와 암부에 관한 색 정보 중 어느 것이 중요한지를 판정한다. 이하에서, 검출된 피사체의 수에 따라 경우를 분류하는 것에 의해 설명을 한다.
검출된 피사체의 수가 1개인 경우, 이 피사체에 관한 색 정보가 중요하기 때문에, 검출된 피사체의 평균 휘도(중간값)는 검출된 피사체 이외의 배경의 휘도 평균(중간값)과 비교된다. 그리고, 검출된 피사체의 평균 휘도가 배경의 평균 휘도 이상인 경우, 촬상 장치(100)는 제1 촬상 모드에서 동작하는 반면, 검출된 피사체의 평균 휘도가 배경의 평균 휘도보다 낮은 경우, 촬상 장치(100)는 제2 촬상 모드에서 동작한다.
검출된 피사체의 수가 2개인 경우, 2개의 피사체에 관한 색 정보의 중요도가 서로 비교되며, 그 평균 휘도(중간값)가 서로 비교된다. 그리고, 상대적으로 높은 색 정보 중요도를 갖는 제1 피사체의 평균 휘도가 상대적으로 낮은 색 정보 중요도를 갖는 제2 피사체의 평균 휘도보다 높은 경우, 촬상 장치(100)는 제1 촬상 모드에서 동작한다. 한편, 상대적으로 높은 색 정보 중요도를 갖는 피사체의 평균 휘도가 상대적으로 낮은 색 정보 중요도를 갖는 피사체의 평균 휘도보다 낮은 경우, 촬상 장치(100)는 제2 촬상 모드에서 동작한다.
검출된 피사체의 수가 3개 이상인 경우, 명부 또는 암부에 복수의 피사체를 할당할 필요가 생긴다. 이러한 경우, 더 높은 색 정보 중요도를 갖는 피사체가 명부 또는 암부 중 어느 하에 모이게 되고, 이러한 피사체가 모이는 부분에 관한 색 정보를 중시하는 모드가 바람직하다. 구체적으로는, 검출된 피사체의 수가 3개 이상인 경우에의 촬상 모드를 결정하는 방법 법을, 검출된 피사체의 수가 3개인 경우를 예로서 사용하여 도 8a 내지 도 8d를 참조하여 설명한다.
도 8a는 3개의 피사체가 포함되는 가시광 화상(800)의 일례를 도시한다. 여기에서는, 피사체(1), 피사체(2) 및 피사체(3)가 내부에 포함된다. 도 8b는 가시광 화상의 히스토그램이다. 도 8b에 따르면, 히스토그램은 3개의 블록을 가지며, 가시광 화상에 포함되는 3개의 피사체(1 내지 3)를 암시한다. 명부 및 암부에 복수의 피사체를 할당하는 2개의 방법이 있으며, 그 중 하나는 도 8c에 도시된 바와 같이 최소 휘도를 갖는 피사체만을 암부로 설정하는 것을 포함하며, 그 중 다른 것은 도 8d에 도시된 바와 같이 최대 휘도를 갖는 피사체만을 명부로 설정하는 것을 포함한다.
이것은, 피사체(1 내지 3)를 2개의 그룹으로 분류하는 그룹화 문제로서 고려될 수 있다. 2개의 그룹 중, 제1 그룹은 제1 영역, 즉 명부에 대응하고, 제2 그룹은 제2 영역, 즉 암부에 대응한다. 3개의 피사체의 그룹화는, 1개의 그룹에 적어도 하나의 피사체가 포함되는 조건하에서 2개의 분류 패턴을 갖는다. 구체적인 분류 패턴은, 제1 그룹이 피사체(2) 및 피사체(3)를 포함하고 제2 그룹이 피사체(1)를 포함하는 경우, 및 제1 그룹이 피사체(3)를 포함하고 제2 그룹이 피사체(1) 및 피사체(2)를 포함하는 경우를 포함한다. 이러한 유형의 그룹화는 각각 도 8c 및 도 8d에 도시된 히스토그램에 대응한다.
본 실시예에서는, 2개의 분류 패턴에 대해서, 그룹들의 색 정보 중요도의 조화 평균을 산출하고, 각 분류 패턴마다의 그룹 조화 평균의 비율로부터 더 큰 비율을 선택한다. 구체적으로는, 제1 그룹(명부)에 할당된 피사체의 색 정보 중요도의 조화 평균이 CB인 것으로 상정하면, 도 8c 및 도 8d에 도시된 2개의 합성에서 조화 평균(CBc 및 CBd)가 얻어진다. 또한, 제2 그룹(암부)에 할당된 피사체의 색 정보 중요도의 조화 평균이 CD인 것으로 상정하면, 도 8c 및 도 8d에 도시된 2개의 합성에서 조화 평균(CDc 및 CDd)이 얻어진다. 그리고, 각 합성 패턴에서 이들 조화 평균을 비교하여 비율을 산출한다. 비율을 산출하는 방법은 CB와 CD 사이의 크기 관계에 따라 변화하며, 더 큰 값이 분자가 된다.
예를 들어, CBc>CDc의 경우, 비율은 CBc/CDc를 사용하여 산출하고, CDc>CBc의 경우, 비율은 CDc/CBc를 사용하여 산출한다. CBd 및 CDd의 경우도 마찬가지이다. 이와 같이 하여 얻어진 비율을 비교하고, CBc/CDc>CDd/CBd의 경우에는, 도 8c에 도시된 분류 패턴이 선택된다.
이와 같이 하여 선택된 비율에 대해서, CB>CD인 경우에는, 명부의 색 정보 중요도가 암부의 색 정보 중요도보다 높으며, 따라서 촬상 장치(100)는 제1 촬상 모드에서 동작한다. 한편, CD>CB의 경우에는, 암부의 색 정보 중요도가 명부의 색 정보 중요도보다 높으며, 따라서 촬상 장치(100)는 제2 촬상 모드에서 동작한다.
복수의 피사체의 색 정보 중요도를 구할 때, 단순히 조화 평균을 계산하는 것이 아니고, 가중치 부여된 조화 평균을 구할 수 있다는 것에 유의한다. 예를 들어, 작은 피사체 등의 인식하기가 어려울 수 있는 피사체에 대해서는, 그 색 정보 중요도가 증가하도록, 더 큰 가중치가 부여될 수 있다. 대안적으로, 복수의 프레임 사이의 벡터 매칭을 통해서 피사체가 이동하는 것을 검출한 경우, 이동하는 피사체를 인식하는 것의 중요도가 높다고 판단하고, 피사체의 이동이 클수록 색 정보의 중요도가 높아지도록 가중치를 부여하는 구성이 채용될 수 있다. 또한, 피사체의 수가 많을수록, 색 정보의 중요도가 증가하도록 보정 계수를 곱할 수 있다. 대안적으로, 피사체의 채도가 높을수록, 색 정보의 중요도가 증가하도록 보정 계수를 곱할 수 있다.
이와 같이, 본 실시예에 따르면, 촬상 장치(100)에서, 화상 해석을 통해 명부에 관한 색 정보가 중요한지 또는 암부에 관한 색 정보가 중요한지의 여부를 판정하고, 촬상 모드를 결정할 수 있다.
다른 실시예
본 발명의 실시예는, 전술한 실시예 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독 및 실행하고 그리고/또는 전술한 실시예 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어 전술한 실시예 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 그리고/또는 전술한 실시예 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 상기 시스템 또는 장치의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
(기타의 실시예)
본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
본 발명을 예시적인 실시예를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시예로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims (15)

  1. 화상 처리 장치이며,
    가시광 화상 및 비가시광 화상을 취득하도록 구성되는 취득 유닛;
    상기 취득 유닛에 의해 취득된 상기 가시광 화상 또는 상기 비가시광 화상에 기초하여 화상 상의 영역을 결정하도록 구성되는 결정 유닛으로, 상기 영역은 미리 정해진 값보다 더 큰 휘도값을 갖는 제1 영역과 상기 미리 정해진 값 이하의 휘도값을 갖는 제2 영역을 포함하는 결정 유닛;
    제1 촬상 모드와 제2 촬상 모드 중 촬상 모드의 선택을 접수하도록 구성된 접수 유닛; 및
    선택된 상기 촬상 모드에 따라 합성 화상을 생성하도록 구성되는 합성 유닛을 포함하고,
    상기 제1 촬상 모드가 선택된 경우, 상기 합성 유닛은 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 크도록 상기 합성 화상을 생성하고,
    상기 제2 촬상 모드가 선택된 경우, 상기 합성 유닛은 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 작도록 상기 합성 화상을 생성하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 취득 유닛은, 노출이 조정된 상기 비가시광 화상을 취득하며,
    상기 합성 유닛은, 상기 결정 유닛에 의해 결정된 상기 영역 이외의 영역에서 상기 가시광 화상의 합성 비율이 상기 비가시광 화상의 합성 비율보다 작도록 합성 화상을 생성하는, 화상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 결정 유닛은, 상기 가시광 화상의 휘도의 히스토그램에 기초하여, 상기 휘도가 미리결정된 값 이상인 영역 또는 상기 휘도가 상기 미리결정된 값 미만인 영역을, 상기 영역으로서 결정하는, 화상 처리 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 결정 유닛은 상기 가시광 화상 또는 상기 비가시광 화상에 포함되는 피사체에 기초하여 영역을 결정하는, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 결정 유닛은, 상기 비가시광 화상에 대해 피사체 인식이 행해지는 경우에 얻어지는 산출값에 대한, 상기 가시광 화상에 대해 피사체 인식이 행해지는 경우에 얻어지는 산출값의 비율을 산출하고, 복수의 피사체 중 최대 비율을 갖는 피사체에 기초하여 상기 영역을 결정하며,
    상기 산출값은, 상기 피사체 인식이 행해지는 경우에 얻어지는 정확도 및 재현률에 기초한 산출에 의해 얻어지는, 화상 처리 장치.
  6. 제4항에 있어서,
    상기 가시광 화상이 3개 이상의 피사체를 포함하는 경우에, 상기 결정 유닛은, 상기 가시광 화상 및 상기 비가시광 화상에 대해 피사체 인식이 행해지는 경우에 얻어지는 산출값의 비율의 조화 평균에 기초하여, 상기 가시광 화상의 합성 비율이 상기 비가시광 화상의 합성 비율보다 큰 영역을 결정하며,
    상기 산출값은, 상기 피사체 인식이 행해지는 경우에 얻어지는 정확도 및 재현률에 기초한 산출에 의해 얻어지는, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 결정 유닛은 상기 피사체의 크기에 따라 주어진 가중치에 의해 상기 조화 평균을 산출하는, 화상 처리 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 가시광 화상에서의 화소의 명도 차가 임계치보다 작은 경우, 상기 결정 유닛에 의해 결정된 상기 영역 및 상기 영역 이외의 영역에 대해서, 상기 합성 유닛은 상기 가시광 화상 및 상기 비가시광 화상에 대해 동일한 합성 비율을 사용하는, 화상 처리 장치.
  9. 제5항에 있어서,
    상기 결정 유닛이 미리결정된 값 이상의 휘도를 갖는 영역을 상기 영역으로서 결정하는 제1 모드 및 상기 결정 유닛이 상기 미리결정된 값 미만의 휘도를 갖는 영역을 상기 영역으로서 결정하는 제2 모드를 전환할 수 있도록 구성되는 전환 유닛을 더 포함하는, 화상 처리 장치.
  10. 화상 처리 장치를 제어하는 방법이며,
    가시광 화상 및 비가시광 화상을 취득하는 단계;
    상기 취득하는 단계에서 취득된 상기 가시광 화상 또는 상기 비가시광 화상에 기초하여 화상 상의 영역을 결정하는 단계로서, 상기 영역은 미리 정해진 값보다 더 큰 휘도값을 갖는 제1 영역과 상기 미리 정해진 값 이하의 휘도값을 갖는 제2 영역을 포함하는, 결정하는 단계;
    제1 촬상 모드와 제2 촬상 모드 중 촬상 모드의 선택을 접수하는 단계; 및
    선택된 상기 촬상 모드에 따라 합성 화상을 생성하는 단계를 포함하고,
    상기 제1 촬상 모드가 선택된 경우, 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 크도록 상기 합성 화상이 생성되고,
    상기 제2 촬상 모드가 선택된 경우, 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 작도록 상기 합성 화상이 생성되는, 화상 처리 장치를 제어하는 방법.
  11. 제10항에 있어서,
    상기 취득하는 단계에서는, 노출이 조정된 상기 비가시광 화상이 취득되며,
    상기 합성 화상을 생성하는 단계에서는, 상기 결정하는 단계에서 결정된 상기 영역 이외의 영역에서 상기 가시광 화상의 합성 비율이 상기 비가시광 화상의 합성 비율보다 작도록 합성 화상이 생성되는, 화상 처리 장치를 제어하는 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 결정하는 단계에서는, 상기 가시광 화상의 휘도의 히스토그램에 기초하여, 상기 휘도가 미리결정된 값 이상인 영역 또는 상기 휘도가 상기 미리결정된 값 미만인 영역이, 상기 영역으로서 결정되는, 화상 처리 장치를 제어하는 방법.
  13. 제10항 또는 제11항에 있어서,
    상기 결정하는 단계에서는, 상기 가시광 화상 또는 상기 비가시광 화상에 포함되는 피사체에 기초하여 영역이 결정되는, 화상 처리 장치를 제어하는 방법.
  14. 제13항에 있어서,
    상기 결정하는 단계에서는, 상기 비가시광 화상에 대해 피사체 인식이 행해지는 경우에 얻어지는 산출값에 대한, 상기 가시광 화상에 대해 피사체 인식이 행해지는 경우에 얻어지는 산출값의 비율이 산출되고, 복수의 피사체 중 최대 비율을 갖는 피사체에 기초하여 상기 영역이 결정되며,
    상기 산출값은, 상기 피사체 인식이 행해지는 경우에 얻어지는 정확도 및 재현률에 기초한 산출에 의해 얻어지는, 화상 처리 장치를 제어하는 방법.
  15. 가시광 화상 및 비가시광 화상을 합성하여 합성 화상을 생성하도록 구성되는 화상 처리 장치의 프로세서에 의해 실행될 때, 상기 화상 처리 장치가 동작을 행하게 하는 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장하는 비일시적인 컴퓨터 판독가능한 저장 매체이며,
    상기 동작은,
    가시광 화상 및 비가시광 화상을 취득하는 동작;
    상기 취득하는 동작에서 취득된 상기 가시광 화상 또는 상기 비가시광 화상에 기초하여 화상 상의 영역을 결정하는 동작으로서, 상기 영역은 미리 정해진 값보다 더 큰 휘도값을 갖는 제1 영역과 상기 미리 정해진 값 이하의 휘도값을 갖는 제2 영역을 포함하는, 결정하는 동작;
    제1 촬상 모드와 제2 촬상 모드 중 촬상 모드의 선택을 접수하는 동작; 및
    선택된 상기 촬상 모드에 따라 합성 화상을 생성하는 동작을 포함하고,
    상기 제1 촬상 모드가 선택된 경우, 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 크도록 상기 합성 화상이 생성되고,
    상기 제2 촬상 모드가 선택된 경우, 상기 제1 영역 내의 상기 가시광 화상의 합성 비율이 상기 제2 영역 내의 상기 가시광 화상의 합성 비율보다 작도록 상기 합성 화상이 생성되는, 비일시적인 컴퓨터 판독가능한 저장 매체.
KR1020200029489A 2019-03-11 2020-03-10 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체 KR102557794B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019044191A JP7316809B2 (ja) 2019-03-11 2019-03-11 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JPJP-P-2019-044191 2019-03-11

Publications (2)

Publication Number Publication Date
KR20200108790A KR20200108790A (ko) 2020-09-21
KR102557794B1 true KR102557794B1 (ko) 2023-07-21

Family

ID=69804415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029489A KR102557794B1 (ko) 2019-03-11 2020-03-10 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체

Country Status (5)

Country Link
US (1) US11423524B2 (ko)
EP (1) EP3709260A1 (ko)
JP (1) JP7316809B2 (ko)
KR (1) KR102557794B1 (ko)
CN (1) CN111698434B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188349A (ja) 2019-05-14 2020-11-19 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP7286412B2 (ja) 2019-05-22 2023-06-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
JP2020202503A (ja) 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP2021019228A (ja) 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
US11568526B2 (en) * 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) * 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
JP7132643B2 (ja) * 2020-11-17 2022-09-07 株式会社タナカ技研 撮影装置、画像の生産方法、およびプログラム
JP2023090492A (ja) * 2021-12-17 2023-06-29 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
JP7324329B1 (ja) 2022-03-18 2023-08-09 維沃移動通信有限公司 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体
JP7450668B2 (ja) 2022-06-30 2024-03-15 維沃移動通信有限公司 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180270A (ja) 2004-12-22 2006-07-06 Sony Corp 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
JP2007208346A (ja) 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2016052115A (ja) 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP2017168925A (ja) 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
JP2018195085A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420944A (ja) * 1990-05-16 1992-01-24 Fuji Photo Film Co Ltd 露光補正量決定方法
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
JP4534756B2 (ja) 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
US9294740B2 (en) * 2010-06-07 2016-03-22 Konica Minolta Advanced Layers, Inc. Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient
JP5888117B2 (ja) * 2012-05-25 2016-03-16 コニカミノルタ株式会社 物体検出装置
CN105009568B (zh) 2012-12-21 2018-12-18 菲力尔系统公司 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质
JP2016025439A (ja) * 2014-07-18 2016-02-08 ソニー株式会社 信号処理装置
JP2017156464A (ja) * 2016-02-29 2017-09-07 キヤノン株式会社 撮像装置
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN108429887A (zh) 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
JP7182935B2 (ja) 2018-07-30 2022-12-05 キヤノン株式会社 撮像装置、制御方法およびプログラム
JP7210199B2 (ja) 2018-09-20 2023-01-23 キヤノン株式会社 撮像装置、制御方法、コンピュータプログラム、及び記憶媒体
JP7271132B2 (ja) 2018-10-26 2023-05-11 キヤノン株式会社 撮像装置および監視システム
JP7250483B2 (ja) 2018-11-12 2023-04-03 キヤノン株式会社 撮像装置、コンピュータプログラム、及び記憶媒体
CN110210541B (zh) 2019-05-23 2021-09-03 浙江大华技术股份有限公司 图像融合方法及设备、存储装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180270A (ja) 2004-12-22 2006-07-06 Sony Corp 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
JP2007208346A (ja) 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2016052115A (ja) 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP2017168925A (ja) 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
JP2018195085A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
EP3709260A1 (en) 2020-09-16
US20200294214A1 (en) 2020-09-17
KR20200108790A (ko) 2020-09-21
JP2020150331A (ja) 2020-09-17
CN111698434B (zh) 2022-05-03
CN111698434A (zh) 2020-09-22
JP7316809B2 (ja) 2023-07-28
US11423524B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
KR102557794B1 (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체
JP5898466B2 (ja) 撮像装置、その制御方法、及びプログラム
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
JP2012217102A (ja) 画像処理装置、及びその制御方法及びプログラム
US20120019686A1 (en) Image synthesizing device, image synthesizing method and computer readable medium
US11178371B2 (en) Image processing apparatus, imaging system, recording medium, and control method
US9131172B2 (en) Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
JP2013530657A (ja) 高ダイナミックレンジ画像の捕捉及びレンダリング
US11637960B2 (en) Image processing apparatus, image processing method, and storage medium
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
US11336834B2 (en) Device, control method, and storage medium, with setting exposure condition for each area based on exposure value map
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
US11361408B2 (en) Image processing apparatus, system, image processing method, and non-transitory computer-readable storage medium
CN115802183A (zh) 图像处理方法及其相关设备
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
US20230300474A1 (en) Image processing apparatus, image processing method, and storage medium
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023160153A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2020197848A (ja) 画像処理装置、撮像装置、コンピュータプログラム、記憶媒体及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant