WO2014084199A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2014084199A1
WO2014084199A1 PCT/JP2013/081735 JP2013081735W WO2014084199A1 WO 2014084199 A1 WO2014084199 A1 WO 2014084199A1 JP 2013081735 W JP2013081735 W JP 2013081735W WO 2014084199 A1 WO2014084199 A1 WO 2014084199A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
region
signal
white balance
visible light
Prior art date
Application number
PCT/JP2013/081735
Other languages
English (en)
French (fr)
Inventor
勉 薄井
輝樹 高橋
吉田　大輔
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP13859464.3A priority Critical patent/EP2928183B1/en
Priority to US14/648,500 priority patent/US20150312541A1/en
Publication of WO2014084199A1 publication Critical patent/WO2014084199A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Definitions

  • the present invention relates to an imaging apparatus.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-228561 describes that when performing imaging by performing infrared imaging control, an infrared imaging signal is separated into a visible light calculation imaging signal and an infrared calculation imaging signal for each color. Further, based on the visible light imaging signal. The light source discrimination is performed, a white balance imaging signal is generated based on the result of the light source discrimination, the white balance imaging signal is integrated for each color, the color balance of the visible light calculation imaging signal is matched, and the color matching imaging signal is obtained. A white balance correction imaging signal is generated for the color matching imaging signal based on the result of the light source discrimination, and image processing is performed on the infrared calculation imaging signal and the white balance correction imaging signal to obtain a color image signal. Is generated. ”
  • the vehicle-mounted imaging device As a main function of the vehicle-mounted imaging device, for example, there is a function of recognizing a lane that is a road marking object as a copy. At that time, in order to correctly identify the color type of the lane, it is necessary to correctly reproduce the color of the lane (for example, white). Also, in order to correctly identify the type of a specific subject (for example, a sign) to be recognized outside the lane, it is necessary to correctly reproduce the color of the subject. In addition, it is necessary to recognize these subjects in a dark environment such as at night.
  • the imaging apparatus in a low-light environment such as at night by using an infrared wavelength in addition to visible light for signal processing.
  • white balance processing is performed.
  • the infrared wavelength is mixed with color signal processing of visible light. If this happens, the color balance may change and the color reproducibility may not be reproduced correctly. Therefore, it is desirable that the color signal for controlling the white balance process does not include an infrared component, and that the color signal and the video signal used for monitor display, image recognition, and the like are equivalent.
  • the color balance of the visible light calculation image pickup signal is matched based on the ratio for each visible light color of the video signal from which infrared rays are removed using an infrared cut filter.
  • the visible light calculation imaging signal is a visible light component of a signal obtained by separating a video signal including infrared rays into a visible light calculation imaging signal and an infrared calculation imaging signal.
  • the spectral characteristics of each filter from the red range to the infrared range do not match. Since the visible light characteristics when used and the color signal characteristics obtained by calculating visible light without using an infrared cut filter are not equivalent, there is room for improvement in the color reproducibility of the white balance according to the above known example.
  • the present invention provides an imaging device that obtains a luminance signal suitable for visibility and recognition even under low illuminance and has good color reproducibility in photographing a subject using infrared for signal processing. .
  • An imaging apparatus that captures a subject and is sensitive to at least a red light region (hereinafter referred to as R), a green light region (hereinafter referred to as G), a blue light region (hereinafter referred to as B), and a visible light region and an infrared region.
  • R red light region
  • G green light region
  • B blue light region
  • An imaging unit having an extraction region processing unit that sets a region for a video imaged by the imaging unit, and infrared signal information is extracted for each region of the video set by the extraction region processing unit.
  • An infrared extraction processing unit a visible light extraction processing unit that extracts visible light region signal information for each region of the video set by the extraction region processing unit, and a white color using a predetermined color gain for the video
  • a white balance processing unit that performs balance processing
  • a system control unit that controls the white balance processing unit, wherein the system control unit extracts infrared signal information and visible light extracted for each region of the video Depending on the information, Controlling the color gain of site balance processor to a predetermined value, which is an imaging apparatus according to claim.
  • an imaging device with a simple configuration that obtains a luminance signal suitable for visibility and recognition even under low illuminance including infrared light and has good color reproducibility.
  • the in-vehicle imaging device includes at least an imaging unit 101 using four types of filters of a red region, a green region, a blue region, and an infrared region, and an infrared extraction processing unit and a visible light extraction processing unit described later.
  • an extraction region processing unit 102 for setting an area of one pixel or more designated by the system control unit 106 and extraction region processing from at least a signal including a red region signal, a green region signal, a blue region signal, and an infrared region signal
  • An infrared extraction processing unit 103 that extracts a signal including at least an infrared region signal in the region set by the unit 102, and an extraction region from a signal including at least a red region signal, a green region signal, a blue region signal, and an infrared region signal
  • a visible light extraction processing unit 104 that generates a signal including at least a red color signal, a green color signal, and a blue color signal in the region set by the processing unit 102, and a control from a system control unit 106 described later.
  • a white balance processing unit 105 that performs signal processing by applying a predetermined color gain at which a red color signal, a green color signal, and a blue color signal have desired values based on information, an infrared extraction processing unit 103, and a visible light extraction unit
  • the system control unit 106 that controls the white balance processing unit based on the signal information from 104 and the output IF unit 107 that converts the signal from the white balance processing unit 105 into a predetermined video signal are used as appropriate. .
  • the imaging unit 101 can obtain information in the infrared region in addition to the red region, the green region, and the blue region.
  • the system control unit 106 can transmit infrared light with a simple configuration. Corrects color gain control by white balance processing by extracting a video region that includes an infrared region that cannot be accurately reproduced by white balance processing in a shooting environment, and using a color signal that excludes the extracted video region. Therefore, it is possible to obtain a luminance signal suitable for visibility and recognition even under low illuminance including infrared light and to implement color reproducibility.
  • FIG. 2 is an image of a shooting screen of an in-vehicle imaging device under sunlight including infrared rays.
  • the angle of view is such that the road surface and the sky are reflected, color reproduction by white balance is correctly controlled.
  • a white balance detection frame excluding the sky that is likely to be occupied by blue is taken as an example.
  • the ratio of achromatic colors such as road surfaces, white lines, and guard rails tends to increase.
  • FIG. 3 shows the average signal amounts (shown as R, G, and B) in the red, green, and blue regions when the infrared region is cut using the infrared cut filter in the detection frame 201 of the imaging screen of FIG. It is an example. Also, assuming that the signal amount is expressed in the range of 0 to 255, for example, the average R, G, B signal amount in the detection frame 201 is 64, 65, 66 because there are many achromatic subjects as described above. Is assumed to be a value such as For example, when white balance is adjusted by controlling the R signal and the B signal so as to coincide with the G signal, the white balance processing for the image example that does not include the infrared component is a color gain for the R signal.
  • the white balance processing unit 105 is controlled by the system control unit 106 of FIG.
  • FIG. 4 shows an average signal amount (indicated as Rir, Gir, and Bir) including the infrared region in the detection frame 201 of the imaging screen of FIG. 2 by the imaging unit that does not use the infrared cut filter.
  • Rir, Gir, and Bir the average signal amount
  • the color signal has signal amounts indicated by Rir, Gir, and Bir according to the difference in infrared sensitivity of each color as shown in FIG.
  • the color gain of the Rir signal is set small and the color gain of the Bir signal is set large. Then, the system control unit 106 in FIG.
  • FIG. 5 shows an example of signal amount averages (shown as R-ir, G-ir, and B-ir) in the red, green, and blue regions in which the infrared region (including the near infrared region) is removed by signal processing.
  • 6 shows an example of spectral sensitivity characteristics of the RGBIr filter or RGBW filter
  • FIG. 7 shows an example of spectral characteristics in consideration of the infrared cut filter.
  • the characteristics of the Ir filter of the RGBIr filter are filters that mainly transmit the infrared region.
  • the RGB signal characteristics can be obtained by a signal processing calculation generally called color matrix calculation as shown in [Expression 1] to [Expression 4] calculated by the visible light extraction processing unit 104 of FIG.
  • the spectral characteristics in the near-infrared region of each filter are generally similar to the R filter and the W filter, or the R filter and the Ir filter, but the G filter or the B filter. Since the filter has different characteristics particularly in the near infrared region, the color matrix signal processing calculation described above takes into account the spectral characteristics of the R, G, and B signals, and the near infrared signal in the magnitude relationship of R>G> B signals. Even if R is removed, the G, B, W, or Ir gold infrared characteristics cannot accurately remove the near infrared, so the average values of the R, G, B signals are, for example, as shown in FIG.
  • the matrix coefficients to be multiplied by the input video signal are ⁇ , ⁇ , ⁇ , and ⁇ , and this coefficient is a coefficient such as ⁇ r, ⁇ g, ⁇ b, and ⁇ w for each output signal when Rin is multiplied as an example.
  • the value can be Therefore, even if the white balance processing is performed using the signal using the infrared cut filter, unlike the actual R, G, B signal amount for performing the signal processing, it is difficult to reproduce the color by the correct white balance processing. There is room for improvement in the configuration and color reproducibility of this embodiment.
  • the system control unit 106 determines whether the component is equal to or less than a predetermined value and the infrared component is equal to or less than the predetermined value, the visible light signal in the same region as the extraction region extracted by the visible light extraction processing unit 104 is displayed. Based on the above, the system control unit 106 controls the white balance processing, so that a visible light signal having a small infrared component can be used for the white balance processing, so that more accurate color reproduction is possible.
  • the magnitude of the amount of infrared component depends on the difference in the light source and the difference in the infrared reflectance of the subject.
  • the captured signal is independent of the difference in the light source and the infrared reflectance of the subject.
  • white balance processing is performed using a pixel signal from which a signal with less infrared is obtained.
  • FIG. 8 when there are various light sources, such as vehicle headlights, street lights, and building lights, at night, for example, vehicle headlights contain a lot of infrared components, and light sources such as headlights It is assumed that the signal obtained by imaging the subject in the region 801 in FIG.
  • the white balance processing is performed mainly using the signal in the region 802 with less infrared rays.
  • the region set by the extraction region processing unit 102 in FIG. 1 is a region composed of one or more pixels. For example, when the region is composed of one pixel, it is determined whether the amount of infrared rays is constant or less for each pixel, If it is below a certain value, the visible light signal (R, G, B signal) of that pixel is used for white balance processing. Alternatively, if the area is composed of a plurality of pixels, if the total amount of infrared rays of the pixels in the area is determined to be a certain value or less, or the number of pixels having a certain amount of infrared light within the area is predetermined. If the number matches, the determination may be made that the visible light signal in that region is used for white balance processing.
  • FIG. 9 is a diagram illustrating an example of a processing flow of an appropriate white balance process according to the amount of infrared rays controlled by the system control unit (FIG. 1) in the imaging apparatus.
  • the extraction region processing unit 102 sets the extraction range of infrared information and visible light information in the photographing screen by the imaging device.
  • infrared signal information Ir signal information
  • visible light signal information R, G, B signal information
  • step 904 if the determination in step 903 is yes, the signal in the extraction region has a small infrared component, and the infrared signal has little influence on the color signal, so the visible light signal information in the region generated in step 902 is white. Used for balance processing control information.
  • step 905 if the determination in step 903 is no, the signal in the extraction region has many infrared components and the infrared signal has a great influence on the color signal, so the visible light signal information in the region generated in step 902 Is not used as control information for white balance processing.
  • FIG. 10 is a diagram illustrating an example of a processing flow of appropriate white balance processing according to the amount of infrared rays by the imaging apparatus.
  • Steps 1001 to 1002 are the same as steps 901 to 902 in FIG.
  • the visible light signal extracted in step 1002 is determined according to the amount of infrared (Ir) in each extraction region in step 1002 for the visible light signal (R, G, B signal) used in the white balance processing. Adjust the weight. For example, for a visible light signal used for white balance processing, the sum of R, G, and B signals for each pixel in the detection region is obtained, and the color gain is controlled so that the sum of the respective R, G, and B becomes equal.
  • the R, G, B signal amounts for the regions with a large amount of infrared rays in the extraction region are adjusted to R, G after the adjustment as shown in Equations 1 to 3 or Equations 4 to 6.
  • B are controlled in accordance with the relative amount of infrared, or adjusted R, G, B are controlled in accordance with the absolute amount of infrared, and values are set for the R, G, B signal values in the extraction region where there are many infrared rays. Adjustment is made to decrease, the degree of influence on the white balance processing is reduced, and in regions where the amount of infrared rays in the extraction region is small, the R, G, and B signal values are not reduced, so that they are correctly reflected in the white balance processing.
  • FIG. 11 is a diagram illustrating an example of a processing flow of appropriate white balance processing according to the amount of infrared rays by the imaging apparatus.
  • Steps 1101 to 1103 are the same as steps 901 to 903 in FIG.
  • step 1104 if the determination in step 1103 is yes, it is determined that the signal in the extraction region has little influence on the color signal due to infrared (Ir), and the visible light signal (R, G, The weight of the visible light signal extracted in step 1102 is adjusted in accordance with the amount of infrared light in each extraction region in step 1102 with respect to (B signal).
  • step 1105 if the determination in step 1103 is no, it is determined that the signal in the extraction region has a great influence on the color signal by infrared rays, and the visible light signal information in the region generated in step 1102 is subjected to white balance processing. Not used for control information.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

赤外を用いる撮像装置において例えば赤外波長が可視光の色の信号処理に混じってしまうと色のバランスが変わってしまい色再現性を正しく再現出来ない場合がある。 被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、を特徴とする撮像装置を提供するものである。

Description

撮像装置
　本発明は、撮像装置に関する。
　本技術分野の背景技術として、特許文献１がある。特許文献１には「赤外線撮像制御を行って撮像を行う場合に、赤外線撮像信号を色毎に可視光演算撮像信号と、赤外線演算撮像信号と、に分離する。また、可視光撮像信号に基づいて光源判別を行い、光源判別の結果に基づいてホワイトバランス撮像信号を生成し、ホワイトバランス撮像信号を色毎に積分し、可視光演算撮像信号の色バランスを整合して、色整合撮像信号を生成する。この色整合撮像信号に対して、光源判別の結果に基づいて、ホワイトバランス補正撮像信号を生成し、赤外線演算撮像信号とホワイトバランス補正撮像信号とに画像処理を施して、カラー画像信号を生成する。」 と記載されている。
特開２０１０－１６１４５３号公報
　近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける一要素として車載監視用の撮像装置の研究開発が盛んに行われている。車載撮像装置の主な機能として、例えば写体として道路標示物である車線を認識する機能がある。その際、車線の色の種別を正しく識別するためには、車線の色（例えば白色）を正しく再現することが必要である。また車線以外で認識対象となる特定の被写体(例えば標識)の種別を正しく識別する場合にも、被写体の色を正しく再現することが必要である。加えて夜間など暗い環境下でこれらの被写体を認識する事も必要となってくる。そのために可視光に加えて赤外波長を信号処理に用いる事で夜間などの低照度環境下における撮像装置の感度向上を実現させることが重要となっている。これら可視光及び赤外線を用いた撮像装置において被写体の色を正しく再現するために、ホワイトバランス処理が施されるが、赤外を用いる撮像装置において例えば赤外波長が可視光の色信号処理に混じってしまうと色のバランスが変わってしまい色再現性を正しく再現出来ない場合がある。その為ホワイトバランス処理を制御するための色信号は赤外成分を含まず、かつモニタ表示や画像認識等に使用する映像信号と色成分が同等であることが望ましい。前記特許文献１では、赤外線カットフィルタを用いて赤外線を除去した映像信号の可視光色毎比率に基づいて、可視光演算撮像信号の色バランスを整合することが記載されている。なお可視光演算撮像信号とは、赤外線を含む映像信号から可視光演算撮像信号と赤外線演算撮像信号に分離した信号の可視光分である。しかし一般に各フィルタの赤色域から赤外域における分光特性は一致せず、また赤外線カットフィルタの特性、実環境での様々な光源特性、演算による赤外域除去精度などから上記公知例の赤外線カットフィルタを用いた際の可視光特性と、赤外線カットフィルタを用いず演算により可視光を求めた色信号特性は同等にならない事から、上記公知例によるホワイトバランスの色再現性については改善の余地がある。さらに構成として赤外線カットフィルタが必要で、また赤外線カットフィルタ挿抜が必要であり改善の余地がある。本発明は、赤外を信号処理に用いた被写体の撮影において、簡単な構成で低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置を提供するものである。
　本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
　撮像装置であって、被写体を撮影する少なくとも、赤色域（以下Ｒと記載）、緑色域（以下Ｇと記載）、青色域（以下Ｂと記載）の可視光域、及び、赤外域に感度を持つ撮像部と、前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、を特徴とする撮像装置である。
　本発明によれば、簡単な構成で赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置の提供が可能である。
本発明に係る撮像装置の一実施形態を示すブロック図である。 本撮像装置の表示部におけるホワイトバランスの検波範囲を示す図である。 検波範囲内の赤外信号が無い場合のＲＧＢ信号平均のイメージである。 検波範囲内の赤外信号が有る場合のＲir、Ｇir、Ｂir信号平均のイメージである。 検波範囲内の赤外信号を信号処理で除去した場合のＲ-ir、Ｇ-ir、Ｂ-ir信号平均のイメージである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｗフィルタ、Ｉｒフィルタの分光特性と示す図である 赤外線カットフィルタを使用した際のＲフィルタ、Ｇフィルタ、Ｂフィルタの分光特性と示す図である 撮像装置の表示部における赤外信号の分布イメージを示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの一例を示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの他の例を示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの他の例を示す図である。
　以下、本発明の実施形態を図面を用いて説明する。
　本実施形態では、撮像装置の一例である車載カメラによる撮影例を用いて説明する。本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び赤外域の４種類のフィルタを用いた撮像部１０１と、後述の赤外抽出処理部および可視光抽出処理部に対してシステム制御部１０６より指定された１画素以上の領域を設定する抽出領域処理部１０２と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部１０２で設定された領域の少なくとも赤外域信号を含む信号を抽出する赤外抽出処理部１０３と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部１０２で設定された領域の少なくとも赤色域信号、緑色域信号、青色域信号を含む信号を生成する可視光抽出処理部１０４と、後述のシステム制御部１０６からの制御情報に基づき赤色域信号、緑色域信号、青色域信号が所望の値となる所定の色ゲインをかけることで信号処理を行うホワイトバランス処理部１０５と、赤外抽出処理部１０３と可視光抽出部１０４からの信号情報に基づきホワイトバランス処理部の制御を行うシステム制御部１０６と、ホワイトバランス処理部１０５からの信号を所定の映像信号に信号変換する出力ＩＦ部１０７とを適宜用いて構成される。
　本構成によれば、撮像部１０１で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることでシステム制御部１０６は、簡単な構成で赤外光を含む撮影環境下においてホワイトバランス処理で正しく色再現が出来ない赤外域が含まれる映像領域を抽出し、その抽出された映像領域を除外した色信号を用いる事で、ホワイトバランス処理による正しい色ゲイン制御が可能となり、赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性を実施することができる。
　ここで、図１のシステム制御部１０６で制御する赤色域信号、緑色域信号、青色域信号、赤外域信号を用いたホワイトバランス処理の詳細について、図２から図８を用いて説明する。
　はじめに、図２のホワイトバランス検波枠２０１について説明する。図２は赤外線を含む太陽光下における車載撮像装置の撮影画面のイメージであり、本例においては、路面と空が映るような画角であるので、ホワイトバランスによる色再現が正しく制御されるように、青色が占める可能性の高い空を除いたホワイトバランス検波枠を例としている。またこのようなホワイトバランス検波枠では、路面や、白線、ガードレールなど無彩色の比率が高くなる傾向にある。
　次に図３は図２の撮影画面の検波枠２０１内における赤外線カットフィルタを用いて赤外域をカットした場合の赤色域、緑色域、青色域の信号量平均（R、G、Bと示す）の例である。また信号量を０から２５５の範囲で表されるとし、例えば検波枠２０１内のＲ、Ｇ、Ｂ信号量平均は上記で述べたように、無彩色の被写体が多いため、６４、６５、６６といった値であると仮定する。このような赤外成分を含まない映像例に対するホワイトバランス処理は、例えば、Ｇ信号に対してＲ信号、Ｂ信号を一致させるように制御する事でホワイトバランスを調整する場合、Ｒ信号に対する色ゲインを大きく、Ｂ信号に対する色ゲインを小さく設定するようにホワイトバランス処理部１０５を図１のシステム制御部１０６が制御することになる。
　図４は、赤外線カットフィルタを用いない撮像部による、図２の撮影画面の検波枠２０１内における赤外域を含んだ赤色域、緑色域、青色域 信号量平均（Ｒir、Ｇir、Ｂirと示す）の例である。図２の撮影画面例の太陽光は赤外光を含む為、色信号は図４のように各色の赤外感度の違いに応じ、Ｒir、Ｇir、Ｂirで示す信号量とすると、図３の赤外線カットフィルタを用いた際の色信号レベルと異なり、本信号を用いて図３同様にホワイトバランス処理を実施した際にはＲir信号の色ゲインは小さく、Ｂir信号の色ゲインは大きく設定するように図１のシステム制御部１０６がホワイトバランス処理部１０５を制御することになり、実際の可視光成分のＲ＝６４、Ｇ＝６５、Ｂ＝６６を含む信号に対してさらにＲを強調、Ｂを低減する結果となり正しいホワイトバランス処理による色再現が困難となる。
　そこで、特許文献１で示したホワイトバランス処理では、赤外線カットフィルタで赤外線をカットした可視光信号から得られる信号情報を用いて、赤外線を含む信号のホワイトバランス処理を制御するが、赤外線カットフィルタが必要であり、また赤外線カットフィルタ挿抜が必要である。
　また図５に信号処理により赤外域（近赤外域を含む）を除去した赤色域、緑色域、青色域の信号量平均（Ｒ-ir、Ｇ-ir、Ｂ-irと示す）の例、図６にＲＧＢＩｒフィルタあるいはＲＧＢＷフィルタの分光感度特性の例、図７に赤外線カットフィルタを考慮した分光特性の例を示す。なお、上記ＲＧＢIrフィルタのIrフィルタの特性は、主に赤外域を透過するフィルタである。
　また、図５のようがＲＧＢ信号特性は、図１の可視光抽出処理部１０４で演算する［式１］から［式４］に示すようなカラーマトリクス演算と一般に呼ばれる信号処理演算で求める事ができるが、図６のように各フィルタの赤外域のうち特に近赤外域の分光特性は、一般にＲフィルタとＷフィルタあるいは、ＲフィルタとＩｒフィルタは類似した特性であるが、Ｇフィルタあるいは、Ｂフィルタは特に近赤外域で特性が異なる事から、先ほど説明したカラーマトリクス信号処理演算によりＲ、Ｇ、Ｂ信号の各分光特性を考慮してＲ＞Ｇ＞Ｂ信号の大小関係で近赤外域信号を除去したとしても、Ｇ、Ｂ、ＷあるいはＩｒの金赤外特性は正確に近赤外を除去できないために、Ｒ、Ｇ、Ｂ信号の平均値は例えば図５のようになり、図７で示す赤外線カットフィルタを用いたＲＧＢ信号特性の例から得られるＲ、Ｇ、Ｂ信号の平均値を示す図３とは一致が困難である。
［式１］出力Ｒｏｕｔ＝（Ｒｉｎ＊αｒ、Ｇｉｎ＊βｒ、Ｂｉｎ＊γｒ、Ｉｒｉｎ＊Δｒ）
［式２］出力Ｇｏｕｔ＝（Ｒｉｎ＊αｇ、Ｇｉｎ＊βｇ、Ｂｉｎ＊γｇ、Ｉｒｉｎ＊Δｇ）
［式３］出力Ｂｏｕｔ＝（Ｒｉｎ＊αｂ、Ｇｉｎ＊βｂ、Ｂｉｎ＊γｂ、Ｉｒｉｎ＊Δｂ）
［式４］出力Ｉｏｕｔ＝（Ｒｉｎ＊αｗ、Ｇｉｎ＊βｗ、Ｂｉｎ＊γｗ、Ｉｒｉｎ＊Δｗ）
なお、演算後の映像信号出力（出力）を、Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ、Ｉｏｕｔとし、入力映像信号をＲｉｎ、Ｇｉｎ、Ｂｉｎ、ＩｉｎあるいはＷｉｎとし、各映像出力Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ、Ｉｏｕｔを出力する為に入力映像信号に乗じるマトリクス係数を、α、β、γ、Δ、とし、本係数はＲｉｎに乗算する係数を例にすると出力信号ごとに、αｒ、αｇ、αｂ、αｗのように異なる係数の値とすることが可能である。
　よって赤外線カットフィルタを用いた信号を用いてホワイトバランス処理を実施しても、信号処理を実施する実際のＲ、Ｇ、Ｂ信号量と異なり、正しいホワイトバランス処理による色再現は困難である為、本実施例の構成及び色再現性について改善の余地がある。
　また可視光域に近赤外線が含まれる場合の影響を軽減する方法として、赤外線カットフィルタで近赤外域を除去する方法もあるが、急峻な特性を持つ光学フィルタは高価であり、コスト的に不利である
　そこで、本実施例１のホワイトバランス処理では、図２の検波枠２０１内にあり、図１の抽出領域処理部１０２が処理した抽出領域ごとの赤外抽出処理部１０３が抽出した赤外成分がある所定の値以下であるかをシステム制御部１０６が判定し、その赤外成分が所定の値以下の場合、可視光抽出処理部１０４が抽出した上記抽出領域と同じ領域の可視光信号を元にシステム制御部１０６がホワイトバランス処理を制御する事で、赤外線成分が少ない可視光信号をホワイトバランス処理に用いる事ができるのでより正しい色再現が可能となる。
　なお赤外成分量の大小は、光源の違いによるものと、被写体の赤外線反射率の違いによるものがあり、本実施例は光源の違いや被写体の赤外線反射率の違いによらず、撮像した信号のうち、より赤外線が少ない信号が得られる画素の信号を用いてホワイトバランス処理を実施する。
また図８のように、夜間等の場合、車両のヘッドライト、街灯、建物の照明など様々な光源がある場合、例えば車両のヘッドライトは赤外成分多く含まれておりヘッドライト等の光源が照射されている図８の領域８０１内の被写体を撮像した信号は赤外線が多い信号となると仮定し、ヘッドライト等の光源が照射されてない領域８０２内の被写体を撮像した信号は赤外線が少ない信号となると仮定すると、本実施例はより赤外線が少ない領域８０２の信号を主に用いてホワイトバランス処理を実施する。
　また図１の抽出領域処理部１０２で設定する領域は１画素以上からなる領域であり、例えば領域が１画素から構成される場合は、１画素ごとに赤外線量が一定以下であるか判定し、一定値以下であればその画素の可視光信号（Ｒ、Ｇ、Ｂ信号）をホワイトバランス処理に用いる。あるいは領域が複数画素から構成される場合は、その領域内の画素の赤外線量の合計が一定値以下と判定した場合、あるいは領域内の画素のうち赤外線量がある一定以下の画素の個数が所定の個数以下で合った場合、その領域の可視光信号をホワイトバランス処理に用いるという判定でもよい。
　図９は本撮像装置におけるシステム制御部（図１）が行う制御の赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
  まず、ステップ９０１は撮像装置による撮影画面内の赤外情報及び、可視光情報の抽出範囲を抽出領域処理部１０２（図１）に設定する。ステップ９０２では抽出範囲における赤外線信号情報（Ｉｒ信号情報）と可視光信号情報（Ｒ、Ｇ、Ｂ信号情報）を赤外抽出処理部１０３（図１）より取得する。ステップ９０３ではステップ９０２による抽出領域内の赤外線量が所定の値以下かを判定する。ステップ９０４では、ステップ９０３の判定がｙｅｓの場合、抽出領域内の信号は赤外線成分が少なく、赤外線による色信号への影響が少ないので、ステップ９０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いる。またステップ９０５ではステップ９０３の判定がｎｏの場合、抽出領域内の内の信号は赤外線成分が多く、赤外線による色信号への影響が多いので、ステップ９０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、所定の値以下の領域の可視光信号をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
　図１０は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
  ステップ１００１から１００２については、図９のステップ９０１から９０２と同様である。ステップ１００３では、ホワイトバランス処理で使用する可視光信号（Ｒ、Ｇ、Ｂ信号）に対してステップ１００２による各抽出領域内の赤外線（Ｉｒ）量に応じて、ステップ１００２で抽出した可視光信号の重み付けを調整する。例えばホワイトバランス処理に使用する可視光信号は、検波領域内の画素ごとのＲ、Ｇ、Ｂ信号の総和を求め、その各Ｒ、Ｇ、Ｂの総和が等しくなるように色ゲインを制御するが、その総和を求める際、抽出領域内の赤外線量が多い領域については、Ｒ、Ｇ、Ｂ信号量を、数１から数３あるいは、数４から数６のように、調整後のＲ，Ｇ，Ｂを赤外の相対量に応じて制御、あるいは調整後のＲ，Ｇ，Ｂを赤外の絶対量に応じて制御し赤外線が多い抽出領域のＲ、Ｇ、Ｂ信号値については値を小さくなるように調整し、ホワイトバランス処理への影響度を小さくし、抽出領域内の赤外線量が小さい領域については、Ｒ、Ｇ、Ｂ信号値を小さくしないことでホワイトバランス処理に正しく反映されるようにする。
（数１）　調整後Ｒ = Ｒ ×（Ｒ／（Ｒ＋Ｉｒ））
（数２）　調整後Ｇ = Ｇ ×（Ｇ／（Ｇ＋Ｉｒ））
（数３）　調整後Ｂ = Ｂ ×（Ｂ／（Ｂ＋Ｉｒ））
（数４）　調整後Ｒ = Ｒ ×（Ｒ／Ｉｒ）
（数５）　調整後Ｇ = Ｇ ×（Ｇ／Ｉｒ）
（数６）　調整後Ｂ = Ｂ ×（Ｂ／Ｉｒ）
　以上のフローにより所定の抽出領域の信号ごとに、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてより赤外線の影響が少ない色信号に重みを置いた正しいホワイトバランス処理が可能となる。
　図１１は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
  ステップ１１０１から１１０３については、図９のステップ９０１から９０３と同様である。ステップ１１０４では、ステップ１１０３の判定がｙｅｓの場合、抽出領域内の信号は赤外線（Ｉｒ）による色信号への影響が少ないと判断し、またホワイトバランス処理で使用する可視光信号（Ｒ、Ｇ、Ｂ信号）に対してステップ１１０２による各抽出領域内の赤外線量に応じて、ステップ１１０２で抽出した可視光信号の重み付けを調整する。
またステップ１１０５ではステップ１１０３の判定がｎｏの場合、抽出領域内の内の信号は赤外線による色信号への影響が多いと判断しステップ１１０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
　以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、赤外光が所定の値以下の領域の可視光信号に対して、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
  以上のフローにより、より簡単な処理で赤外線の影響を軽減することが可能となり正しいホワイトバランス処理が可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１　撮像部
１０２　抽出領域処理部
１０３　赤外抽出処理部
１０４　可視光抽出処理部
１０５　ホワイトバランス処理部
１０６　システム制御部
１０７　出力ＩＦ部
２０１　検波枠

Claims (4)

  1. 撮像装置であって、
    被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、
    前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、
    前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、
    前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、
    前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、
    前記ホワイトバランス処理部の制御を行うシステム制御部と、
    を具備し、
    前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、
    を特徴とする撮像装置。
  2. 請求項１記載の撮像装置であって、
    前記システム制御部は、前記赤外抽出処理部によって抽出された前記映像の領域毎の赤外量に応じて前記領域毎の可視光信号に重み付けを行った信号に応じて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
    を特徴とする撮像装置。
  3. 請求項１記載の撮像装置であって、
    前記システム制御部は、前記赤外抽出処理部により抽出された赤外量が所定の値以下の領域の前記可視光情報を用いて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
    を特徴とする撮像装置。
  4. 請求項１記載の撮像装置であって、
    前記システム制御部は、前記赤外抽出処理部によって抽出された前記領域の赤外情報に関して、赤外量が所定の値以下の領域の赤外量に応じて可視光信号に重み付けを行った信号に応じて、前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
    を特徴とする撮像装置。
PCT/JP2013/081735 2012-11-30 2013-11-26 撮像装置 WO2014084199A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13859464.3A EP2928183B1 (en) 2012-11-30 2013-11-26 Image pickup device
US14/648,500 US20150312541A1 (en) 2012-11-30 2013-11-26 Image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-261859 2012-11-30
JP2012261859A JP6029954B2 (ja) 2012-11-30 2012-11-30 撮像装置

Publications (1)

Publication Number Publication Date
WO2014084199A1 true WO2014084199A1 (ja) 2014-06-05

Family

ID=50827835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081735 WO2014084199A1 (ja) 2012-11-30 2013-11-26 撮像装置

Country Status (4)

Country Link
US (1) US20150312541A1 (ja)
EP (1) EP2928183B1 (ja)
JP (1) JP6029954B2 (ja)
WO (1) WO2014084199A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494181B2 (ja) 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
JP2016076807A (ja) * 2014-10-06 2016-05-12 ソニー株式会社 画像処理装置、撮像装置および撮像方法
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
KR101663620B1 (ko) * 2015-04-13 2016-10-14 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN106162136B (zh) * 2016-08-12 2018-12-07 惠州Tcl移动通信有限公司 一种用于红外拍摄的白平衡校准方法、系统及移动终端
EP3301911A1 (en) * 2016-09-29 2018-04-04 Conti Temic microelectronic GmbH Device for white balance correction
CN110809881B (zh) * 2018-08-31 2021-08-24 深圳市大疆创新科技有限公司 图像处理系统和方法
JP7299762B2 (ja) * 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
TWI715142B (zh) * 2019-08-07 2021-01-01 瑞昱半導體股份有限公司 影像感測裝置以及自動白平衡方法
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN114612571B (zh) * 2022-03-07 2023-05-23 重庆紫光华山智安科技有限公司 白平衡标定参数生成、图像矫正方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294037A (ja) * 1995-04-20 1996-11-05 Hitachi Ltd 撮像装置
JP2010161453A (ja) 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
WO2012004910A1 (ja) * 2010-07-06 2012-01-12 パナソニック株式会社 撮像装置および色温度算出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064468A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd 撮像装置
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294037A (ja) * 1995-04-20 1996-11-05 Hitachi Ltd 撮像装置
JP2010161453A (ja) 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
WO2012004910A1 (ja) * 2010-07-06 2012-01-12 パナソニック株式会社 撮像装置および色温度算出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2928183A4

Also Published As

Publication number Publication date
EP2928183B1 (en) 2019-10-16
EP2928183A4 (en) 2016-06-01
US20150312541A1 (en) 2015-10-29
EP2928183A1 (en) 2015-10-07
JP6029954B2 (ja) 2016-11-24
JP2014107852A (ja) 2014-06-09

Similar Documents

Publication Publication Date Title
WO2014084199A1 (ja) 撮像装置
EP2866445B1 (en) Imaging device
KR101747603B1 (ko) 컬러 나이트 비전 시스템 및 그 동작 방법
JP6568719B2 (ja) 撮像方法及び撮像装置
US20090027521A1 (en) Image processing apparatus, image-taking system, image processing method and image processing program
EP3343912B1 (en) Imaging device
JP5996970B2 (ja) 車載撮像装置
US9214034B2 (en) System, device and method for displaying a harmonized combined image
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP5814799B2 (ja) 画像処理装置及び画像処理方法
US9105105B2 (en) Imaging device, imaging system, and imaging method utilizing white balance correction
WO2013118337A1 (ja) 撮像装置
JP7057818B2 (ja) 低照度撮像システム
CN101510955B (zh) 图像获取设备
US20090290792A1 (en) Method for setting auto white balance area
JP5521927B2 (ja) 撮像装置
JP2012010141A (ja) 画像処理装置
KR20170032158A (ko) 촬상 장치
JP6717660B2 (ja) 撮像装置
EP3389257A1 (en) Method for adapting brightness of image data, image capturing system and advanced driver assistance system
WO2017071996A1 (en) Method for adjusting a camera parameter and/or an image, computer program product, camera system, driver assistance system and motor vehicle
JPS6038626A (ja) 果実の識別方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13859464

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013859464

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14648500

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE