WO2014084199A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2014084199A1 WO2014084199A1 PCT/JP2013/081735 JP2013081735W WO2014084199A1 WO 2014084199 A1 WO2014084199 A1 WO 2014084199A1 JP 2013081735 W JP2013081735 W JP 2013081735W WO 2014084199 A1 WO2014084199 A1 WO 2014084199A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- infrared
- region
- signal
- white balance
- visible light
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000035945 sensitivity Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 201000005569 Gout Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Definitions
- the present invention relates to an imaging apparatus.
- Patent Document 1 Japanese Patent Application Laid-Open No. 2004-228561 describes that when performing imaging by performing infrared imaging control, an infrared imaging signal is separated into a visible light calculation imaging signal and an infrared calculation imaging signal for each color. Further, based on the visible light imaging signal. The light source discrimination is performed, a white balance imaging signal is generated based on the result of the light source discrimination, the white balance imaging signal is integrated for each color, the color balance of the visible light calculation imaging signal is matched, and the color matching imaging signal is obtained. A white balance correction imaging signal is generated for the color matching imaging signal based on the result of the light source discrimination, and image processing is performed on the infrared calculation imaging signal and the white balance correction imaging signal to obtain a color image signal. Is generated. ”
- the vehicle-mounted imaging device As a main function of the vehicle-mounted imaging device, for example, there is a function of recognizing a lane that is a road marking object as a copy. At that time, in order to correctly identify the color type of the lane, it is necessary to correctly reproduce the color of the lane (for example, white). Also, in order to correctly identify the type of a specific subject (for example, a sign) to be recognized outside the lane, it is necessary to correctly reproduce the color of the subject. In addition, it is necessary to recognize these subjects in a dark environment such as at night.
- the imaging apparatus in a low-light environment such as at night by using an infrared wavelength in addition to visible light for signal processing.
- white balance processing is performed.
- the infrared wavelength is mixed with color signal processing of visible light. If this happens, the color balance may change and the color reproducibility may not be reproduced correctly. Therefore, it is desirable that the color signal for controlling the white balance process does not include an infrared component, and that the color signal and the video signal used for monitor display, image recognition, and the like are equivalent.
- the color balance of the visible light calculation image pickup signal is matched based on the ratio for each visible light color of the video signal from which infrared rays are removed using an infrared cut filter.
- the visible light calculation imaging signal is a visible light component of a signal obtained by separating a video signal including infrared rays into a visible light calculation imaging signal and an infrared calculation imaging signal.
- the spectral characteristics of each filter from the red range to the infrared range do not match. Since the visible light characteristics when used and the color signal characteristics obtained by calculating visible light without using an infrared cut filter are not equivalent, there is room for improvement in the color reproducibility of the white balance according to the above known example.
- the present invention provides an imaging device that obtains a luminance signal suitable for visibility and recognition even under low illuminance and has good color reproducibility in photographing a subject using infrared for signal processing. .
- An imaging apparatus that captures a subject and is sensitive to at least a red light region (hereinafter referred to as R), a green light region (hereinafter referred to as G), a blue light region (hereinafter referred to as B), and a visible light region and an infrared region.
- R red light region
- G green light region
- B blue light region
- An imaging unit having an extraction region processing unit that sets a region for a video imaged by the imaging unit, and infrared signal information is extracted for each region of the video set by the extraction region processing unit.
- An infrared extraction processing unit a visible light extraction processing unit that extracts visible light region signal information for each region of the video set by the extraction region processing unit, and a white color using a predetermined color gain for the video
- a white balance processing unit that performs balance processing
- a system control unit that controls the white balance processing unit, wherein the system control unit extracts infrared signal information and visible light extracted for each region of the video Depending on the information, Controlling the color gain of site balance processor to a predetermined value, which is an imaging apparatus according to claim.
- an imaging device with a simple configuration that obtains a luminance signal suitable for visibility and recognition even under low illuminance including infrared light and has good color reproducibility.
- the in-vehicle imaging device includes at least an imaging unit 101 using four types of filters of a red region, a green region, a blue region, and an infrared region, and an infrared extraction processing unit and a visible light extraction processing unit described later.
- an extraction region processing unit 102 for setting an area of one pixel or more designated by the system control unit 106 and extraction region processing from at least a signal including a red region signal, a green region signal, a blue region signal, and an infrared region signal
- An infrared extraction processing unit 103 that extracts a signal including at least an infrared region signal in the region set by the unit 102, and an extraction region from a signal including at least a red region signal, a green region signal, a blue region signal, and an infrared region signal
- a visible light extraction processing unit 104 that generates a signal including at least a red color signal, a green color signal, and a blue color signal in the region set by the processing unit 102, and a control from a system control unit 106 described later.
- a white balance processing unit 105 that performs signal processing by applying a predetermined color gain at which a red color signal, a green color signal, and a blue color signal have desired values based on information, an infrared extraction processing unit 103, and a visible light extraction unit
- the system control unit 106 that controls the white balance processing unit based on the signal information from 104 and the output IF unit 107 that converts the signal from the white balance processing unit 105 into a predetermined video signal are used as appropriate. .
- the imaging unit 101 can obtain information in the infrared region in addition to the red region, the green region, and the blue region.
- the system control unit 106 can transmit infrared light with a simple configuration. Corrects color gain control by white balance processing by extracting a video region that includes an infrared region that cannot be accurately reproduced by white balance processing in a shooting environment, and using a color signal that excludes the extracted video region. Therefore, it is possible to obtain a luminance signal suitable for visibility and recognition even under low illuminance including infrared light and to implement color reproducibility.
- FIG. 2 is an image of a shooting screen of an in-vehicle imaging device under sunlight including infrared rays.
- the angle of view is such that the road surface and the sky are reflected, color reproduction by white balance is correctly controlled.
- a white balance detection frame excluding the sky that is likely to be occupied by blue is taken as an example.
- the ratio of achromatic colors such as road surfaces, white lines, and guard rails tends to increase.
- FIG. 3 shows the average signal amounts (shown as R, G, and B) in the red, green, and blue regions when the infrared region is cut using the infrared cut filter in the detection frame 201 of the imaging screen of FIG. It is an example. Also, assuming that the signal amount is expressed in the range of 0 to 255, for example, the average R, G, B signal amount in the detection frame 201 is 64, 65, 66 because there are many achromatic subjects as described above. Is assumed to be a value such as For example, when white balance is adjusted by controlling the R signal and the B signal so as to coincide with the G signal, the white balance processing for the image example that does not include the infrared component is a color gain for the R signal.
- the white balance processing unit 105 is controlled by the system control unit 106 of FIG.
- FIG. 4 shows an average signal amount (indicated as Rir, Gir, and Bir) including the infrared region in the detection frame 201 of the imaging screen of FIG. 2 by the imaging unit that does not use the infrared cut filter.
- Rir, Gir, and Bir the average signal amount
- the color signal has signal amounts indicated by Rir, Gir, and Bir according to the difference in infrared sensitivity of each color as shown in FIG.
- the color gain of the Rir signal is set small and the color gain of the Bir signal is set large. Then, the system control unit 106 in FIG.
- FIG. 5 shows an example of signal amount averages (shown as R-ir, G-ir, and B-ir) in the red, green, and blue regions in which the infrared region (including the near infrared region) is removed by signal processing.
- 6 shows an example of spectral sensitivity characteristics of the RGBIr filter or RGBW filter
- FIG. 7 shows an example of spectral characteristics in consideration of the infrared cut filter.
- the characteristics of the Ir filter of the RGBIr filter are filters that mainly transmit the infrared region.
- the RGB signal characteristics can be obtained by a signal processing calculation generally called color matrix calculation as shown in [Expression 1] to [Expression 4] calculated by the visible light extraction processing unit 104 of FIG.
- the spectral characteristics in the near-infrared region of each filter are generally similar to the R filter and the W filter, or the R filter and the Ir filter, but the G filter or the B filter. Since the filter has different characteristics particularly in the near infrared region, the color matrix signal processing calculation described above takes into account the spectral characteristics of the R, G, and B signals, and the near infrared signal in the magnitude relationship of R>G> B signals. Even if R is removed, the G, B, W, or Ir gold infrared characteristics cannot accurately remove the near infrared, so the average values of the R, G, B signals are, for example, as shown in FIG.
- the matrix coefficients to be multiplied by the input video signal are ⁇ , ⁇ , ⁇ , and ⁇ , and this coefficient is a coefficient such as ⁇ r, ⁇ g, ⁇ b, and ⁇ w for each output signal when Rin is multiplied as an example.
- the value can be Therefore, even if the white balance processing is performed using the signal using the infrared cut filter, unlike the actual R, G, B signal amount for performing the signal processing, it is difficult to reproduce the color by the correct white balance processing. There is room for improvement in the configuration and color reproducibility of this embodiment.
- the system control unit 106 determines whether the component is equal to or less than a predetermined value and the infrared component is equal to or less than the predetermined value, the visible light signal in the same region as the extraction region extracted by the visible light extraction processing unit 104 is displayed. Based on the above, the system control unit 106 controls the white balance processing, so that a visible light signal having a small infrared component can be used for the white balance processing, so that more accurate color reproduction is possible.
- the magnitude of the amount of infrared component depends on the difference in the light source and the difference in the infrared reflectance of the subject.
- the captured signal is independent of the difference in the light source and the infrared reflectance of the subject.
- white balance processing is performed using a pixel signal from which a signal with less infrared is obtained.
- FIG. 8 when there are various light sources, such as vehicle headlights, street lights, and building lights, at night, for example, vehicle headlights contain a lot of infrared components, and light sources such as headlights It is assumed that the signal obtained by imaging the subject in the region 801 in FIG.
- the white balance processing is performed mainly using the signal in the region 802 with less infrared rays.
- the region set by the extraction region processing unit 102 in FIG. 1 is a region composed of one or more pixels. For example, when the region is composed of one pixel, it is determined whether the amount of infrared rays is constant or less for each pixel, If it is below a certain value, the visible light signal (R, G, B signal) of that pixel is used for white balance processing. Alternatively, if the area is composed of a plurality of pixels, if the total amount of infrared rays of the pixels in the area is determined to be a certain value or less, or the number of pixels having a certain amount of infrared light within the area is predetermined. If the number matches, the determination may be made that the visible light signal in that region is used for white balance processing.
- FIG. 9 is a diagram illustrating an example of a processing flow of an appropriate white balance process according to the amount of infrared rays controlled by the system control unit (FIG. 1) in the imaging apparatus.
- the extraction region processing unit 102 sets the extraction range of infrared information and visible light information in the photographing screen by the imaging device.
- infrared signal information Ir signal information
- visible light signal information R, G, B signal information
- step 904 if the determination in step 903 is yes, the signal in the extraction region has a small infrared component, and the infrared signal has little influence on the color signal, so the visible light signal information in the region generated in step 902 is white. Used for balance processing control information.
- step 905 if the determination in step 903 is no, the signal in the extraction region has many infrared components and the infrared signal has a great influence on the color signal, so the visible light signal information in the region generated in step 902 Is not used as control information for white balance processing.
- FIG. 10 is a diagram illustrating an example of a processing flow of appropriate white balance processing according to the amount of infrared rays by the imaging apparatus.
- Steps 1001 to 1002 are the same as steps 901 to 902 in FIG.
- the visible light signal extracted in step 1002 is determined according to the amount of infrared (Ir) in each extraction region in step 1002 for the visible light signal (R, G, B signal) used in the white balance processing. Adjust the weight. For example, for a visible light signal used for white balance processing, the sum of R, G, and B signals for each pixel in the detection region is obtained, and the color gain is controlled so that the sum of the respective R, G, and B becomes equal.
- the R, G, B signal amounts for the regions with a large amount of infrared rays in the extraction region are adjusted to R, G after the adjustment as shown in Equations 1 to 3 or Equations 4 to 6.
- B are controlled in accordance with the relative amount of infrared, or adjusted R, G, B are controlled in accordance with the absolute amount of infrared, and values are set for the R, G, B signal values in the extraction region where there are many infrared rays. Adjustment is made to decrease, the degree of influence on the white balance processing is reduced, and in regions where the amount of infrared rays in the extraction region is small, the R, G, and B signal values are not reduced, so that they are correctly reflected in the white balance processing.
- FIG. 11 is a diagram illustrating an example of a processing flow of appropriate white balance processing according to the amount of infrared rays by the imaging apparatus.
- Steps 1101 to 1103 are the same as steps 901 to 903 in FIG.
- step 1104 if the determination in step 1103 is yes, it is determined that the signal in the extraction region has little influence on the color signal due to infrared (Ir), and the visible light signal (R, G, The weight of the visible light signal extracted in step 1102 is adjusted in accordance with the amount of infrared light in each extraction region in step 1102 with respect to (B signal).
- step 1105 if the determination in step 1103 is no, it is determined that the signal in the extraction region has a great influence on the color signal by infrared rays, and the visible light signal information in the region generated in step 1102 is subjected to white balance processing. Not used for control information.
- this invention is not limited to the above-mentioned Example, Various modifications are included.
- the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
- a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
- each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
- control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
赤外を用いる撮像装置において例えば赤外波長が可視光の色の信号処理に混じってしまうと色のバランスが変わってしまい色再現性を正しく再現出来ない場合がある。 被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、を特徴とする撮像装置を提供するものである。
Description
本発明は、撮像装置に関する。
本技術分野の背景技術として、特許文献1がある。特許文献1には「赤外線撮像制御を行って撮像を行う場合に、赤外線撮像信号を色毎に可視光演算撮像信号と、赤外線演算撮像信号と、に分離する。また、可視光撮像信号に基づいて光源判別を行い、光源判別の結果に基づいてホワイトバランス撮像信号を生成し、ホワイトバランス撮像信号を色毎に積分し、可視光演算撮像信号の色バランスを整合して、色整合撮像信号を生成する。この色整合撮像信号に対して、光源判別の結果に基づいて、ホワイトバランス補正撮像信号を生成し、赤外線演算撮像信号とホワイトバランス補正撮像信号とに画像処理を施して、カラー画像信号を生成する。」 と記載されている。
近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける一要素として車載監視用の撮像装置の研究開発が盛んに行われている。車載撮像装置の主な機能として、例えば写体として道路標示物である車線を認識する機能がある。その際、車線の色の種別を正しく識別するためには、車線の色(例えば白色)を正しく再現することが必要である。また車線以外で認識対象となる特定の被写体(例えば標識)の種別を正しく識別する場合にも、被写体の色を正しく再現することが必要である。加えて夜間など暗い環境下でこれらの被写体を認識する事も必要となってくる。そのために可視光に加えて赤外波長を信号処理に用いる事で夜間などの低照度環境下における撮像装置の感度向上を実現させることが重要となっている。これら可視光及び赤外線を用いた撮像装置において被写体の色を正しく再現するために、ホワイトバランス処理が施されるが、赤外を用いる撮像装置において例えば赤外波長が可視光の色信号処理に混じってしまうと色のバランスが変わってしまい色再現性を正しく再現出来ない場合がある。その為ホワイトバランス処理を制御するための色信号は赤外成分を含まず、かつモニタ表示や画像認識等に使用する映像信号と色成分が同等であることが望ましい。前記特許文献1では、赤外線カットフィルタを用いて赤外線を除去した映像信号の可視光色毎比率に基づいて、可視光演算撮像信号の色バランスを整合することが記載されている。なお可視光演算撮像信号とは、赤外線を含む映像信号から可視光演算撮像信号と赤外線演算撮像信号に分離した信号の可視光分である。しかし一般に各フィルタの赤色域から赤外域における分光特性は一致せず、また赤外線カットフィルタの特性、実環境での様々な光源特性、演算による赤外域除去精度などから上記公知例の赤外線カットフィルタを用いた際の可視光特性と、赤外線カットフィルタを用いず演算により可視光を求めた色信号特性は同等にならない事から、上記公知例によるホワイトバランスの色再現性については改善の余地がある。さらに構成として赤外線カットフィルタが必要で、また赤外線カットフィルタ挿抜が必要であり改善の余地がある。本発明は、赤外を信号処理に用いた被写体の撮影において、簡単な構成で低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置を提供するものである。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
撮像装置であって、被写体を撮影する少なくとも、赤色域(以下Rと記載)、緑色域(以下Gと記載)、青色域(以下Bと記載)の可視光域、及び、赤外域に感度を持つ撮像部と、前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、を特徴とする撮像装置である。
本発明によれば、簡単な構成で赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置の提供が可能である。
以下、本発明の実施形態を図面を用いて説明する。
本実施形態では、撮像装置の一例である車載カメラによる撮影例を用いて説明する。本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び赤外域の4種類のフィルタを用いた撮像部101と、後述の赤外抽出処理部および可視光抽出処理部に対してシステム制御部106より指定された1画素以上の領域を設定する抽出領域処理部102と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部102で設定された領域の少なくとも赤外域信号を含む信号を抽出する赤外抽出処理部103と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部102で設定された領域の少なくとも赤色域信号、緑色域信号、青色域信号を含む信号を生成する可視光抽出処理部104と、後述のシステム制御部106からの制御情報に基づき赤色域信号、緑色域信号、青色域信号が所望の値となる所定の色ゲインをかけることで信号処理を行うホワイトバランス処理部105と、赤外抽出処理部103と可視光抽出部104からの信号情報に基づきホワイトバランス処理部の制御を行うシステム制御部106と、ホワイトバランス処理部105からの信号を所定の映像信号に信号変換する出力IF部107とを適宜用いて構成される。
本構成によれば、撮像部101で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることでシステム制御部106は、簡単な構成で赤外光を含む撮影環境下においてホワイトバランス処理で正しく色再現が出来ない赤外域が含まれる映像領域を抽出し、その抽出された映像領域を除外した色信号を用いる事で、ホワイトバランス処理による正しい色ゲイン制御が可能となり、赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性を実施することができる。
ここで、図1のシステム制御部106で制御する赤色域信号、緑色域信号、青色域信号、赤外域信号を用いたホワイトバランス処理の詳細について、図2から図8を用いて説明する。
はじめに、図2のホワイトバランス検波枠201について説明する。図2は赤外線を含む太陽光下における車載撮像装置の撮影画面のイメージであり、本例においては、路面と空が映るような画角であるので、ホワイトバランスによる色再現が正しく制御されるように、青色が占める可能性の高い空を除いたホワイトバランス検波枠を例としている。またこのようなホワイトバランス検波枠では、路面や、白線、ガードレールなど無彩色の比率が高くなる傾向にある。
次に図3は図2の撮影画面の検波枠201内における赤外線カットフィルタを用いて赤外域をカットした場合の赤色域、緑色域、青色域の信号量平均(R、G、Bと示す)の例である。また信号量を0から255の範囲で表されるとし、例えば検波枠201内のR、G、B信号量平均は上記で述べたように、無彩色の被写体が多いため、64、65、66といった値であると仮定する。このような赤外成分を含まない映像例に対するホワイトバランス処理は、例えば、G信号に対してR信号、B信号を一致させるように制御する事でホワイトバランスを調整する場合、R信号に対する色ゲインを大きく、B信号に対する色ゲインを小さく設定するようにホワイトバランス処理部105を図1のシステム制御部106が制御することになる。
図4は、赤外線カットフィルタを用いない撮像部による、図2の撮影画面の検波枠201内における赤外域を含んだ赤色域、緑色域、青色域 信号量平均(Rir、Gir、Birと示す)の例である。図2の撮影画面例の太陽光は赤外光を含む為、色信号は図4のように各色の赤外感度の違いに応じ、Rir、Gir、Birで示す信号量とすると、図3の赤外線カットフィルタを用いた際の色信号レベルと異なり、本信号を用いて図3同様にホワイトバランス処理を実施した際にはRir信号の色ゲインは小さく、Bir信号の色ゲインは大きく設定するように図1のシステム制御部106がホワイトバランス処理部105を制御することになり、実際の可視光成分のR=64、G=65、B=66を含む信号に対してさらにRを強調、Bを低減する結果となり正しいホワイトバランス処理による色再現が困難となる。
そこで、特許文献1で示したホワイトバランス処理では、赤外線カットフィルタで赤外線をカットした可視光信号から得られる信号情報を用いて、赤外線を含む信号のホワイトバランス処理を制御するが、赤外線カットフィルタが必要であり、また赤外線カットフィルタ挿抜が必要である。
そこで、特許文献1で示したホワイトバランス処理では、赤外線カットフィルタで赤外線をカットした可視光信号から得られる信号情報を用いて、赤外線を含む信号のホワイトバランス処理を制御するが、赤外線カットフィルタが必要であり、また赤外線カットフィルタ挿抜が必要である。
また図5に信号処理により赤外域(近赤外域を含む)を除去した赤色域、緑色域、青色域の信号量平均(R-ir、G-ir、B-irと示す)の例、図6にRGBIrフィルタあるいはRGBWフィルタの分光感度特性の例、図7に赤外線カットフィルタを考慮した分光特性の例を示す。なお、上記RGBIrフィルタのIrフィルタの特性は、主に赤外域を透過するフィルタである。
また、図5のようがRGB信号特性は、図1の可視光抽出処理部104で演算する[式1]から[式4]に示すようなカラーマトリクス演算と一般に呼ばれる信号処理演算で求める事ができるが、図6のように各フィルタの赤外域のうち特に近赤外域の分光特性は、一般にRフィルタとWフィルタあるいは、RフィルタとIrフィルタは類似した特性であるが、Gフィルタあるいは、Bフィルタは特に近赤外域で特性が異なる事から、先ほど説明したカラーマトリクス信号処理演算によりR、G、B信号の各分光特性を考慮してR>G>B信号の大小関係で近赤外域信号を除去したとしても、G、B、WあるいはIrの金赤外特性は正確に近赤外を除去できないために、R、G、B信号の平均値は例えば図5のようになり、図7で示す赤外線カットフィルタを用いたRGB信号特性の例から得られるR、G、B信号の平均値を示す図3とは一致が困難である。
[式1]出力Rout=(Rin*αr、Gin*βr、Bin*γr、Irin*Δr)
[式2]出力Gout=(Rin*αg、Gin*βg、Bin*γg、Irin*Δg)
[式3]出力Bout=(Rin*αb、Gin*βb、Bin*γb、Irin*Δb)
[式4]出力Iout=(Rin*αw、Gin*βw、Bin*γw、Irin*Δw)
なお、演算後の映像信号出力(出力)を、Rout、Gout、Bout、Ioutとし、入力映像信号をRin、Gin、Bin、IinあるいはWinとし、各映像出力Rout、Gout、Bout、Ioutを出力する為に入力映像信号に乗じるマトリクス係数を、α、β、γ、Δ、とし、本係数はRinに乗算する係数を例にすると出力信号ごとに、αr、αg、αb、αwのように異なる係数の値とすることが可能である。
よって赤外線カットフィルタを用いた信号を用いてホワイトバランス処理を実施しても、信号処理を実施する実際のR、G、B信号量と異なり、正しいホワイトバランス処理による色再現は困難である為、本実施例の構成及び色再現性について改善の余地がある。
また、図5のようがRGB信号特性は、図1の可視光抽出処理部104で演算する[式1]から[式4]に示すようなカラーマトリクス演算と一般に呼ばれる信号処理演算で求める事ができるが、図6のように各フィルタの赤外域のうち特に近赤外域の分光特性は、一般にRフィルタとWフィルタあるいは、RフィルタとIrフィルタは類似した特性であるが、Gフィルタあるいは、Bフィルタは特に近赤外域で特性が異なる事から、先ほど説明したカラーマトリクス信号処理演算によりR、G、B信号の各分光特性を考慮してR>G>B信号の大小関係で近赤外域信号を除去したとしても、G、B、WあるいはIrの金赤外特性は正確に近赤外を除去できないために、R、G、B信号の平均値は例えば図5のようになり、図7で示す赤外線カットフィルタを用いたRGB信号特性の例から得られるR、G、B信号の平均値を示す図3とは一致が困難である。
[式1]出力Rout=(Rin*αr、Gin*βr、Bin*γr、Irin*Δr)
[式2]出力Gout=(Rin*αg、Gin*βg、Bin*γg、Irin*Δg)
[式3]出力Bout=(Rin*αb、Gin*βb、Bin*γb、Irin*Δb)
[式4]出力Iout=(Rin*αw、Gin*βw、Bin*γw、Irin*Δw)
なお、演算後の映像信号出力(出力)を、Rout、Gout、Bout、Ioutとし、入力映像信号をRin、Gin、Bin、IinあるいはWinとし、各映像出力Rout、Gout、Bout、Ioutを出力する為に入力映像信号に乗じるマトリクス係数を、α、β、γ、Δ、とし、本係数はRinに乗算する係数を例にすると出力信号ごとに、αr、αg、αb、αwのように異なる係数の値とすることが可能である。
よって赤外線カットフィルタを用いた信号を用いてホワイトバランス処理を実施しても、信号処理を実施する実際のR、G、B信号量と異なり、正しいホワイトバランス処理による色再現は困難である為、本実施例の構成及び色再現性について改善の余地がある。
また可視光域に近赤外線が含まれる場合の影響を軽減する方法として、赤外線カットフィルタで近赤外域を除去する方法もあるが、急峻な特性を持つ光学フィルタは高価であり、コスト的に不利である
そこで、本実施例1のホワイトバランス処理では、図2の検波枠201内にあり、図1の抽出領域処理部102が処理した抽出領域ごとの赤外抽出処理部103が抽出した赤外成分がある所定の値以下であるかをシステム制御部106が判定し、その赤外成分が所定の値以下の場合、可視光抽出処理部104が抽出した上記抽出領域と同じ領域の可視光信号を元にシステム制御部106がホワイトバランス処理を制御する事で、赤外線成分が少ない可視光信号をホワイトバランス処理に用いる事ができるのでより正しい色再現が可能となる。
そこで、本実施例1のホワイトバランス処理では、図2の検波枠201内にあり、図1の抽出領域処理部102が処理した抽出領域ごとの赤外抽出処理部103が抽出した赤外成分がある所定の値以下であるかをシステム制御部106が判定し、その赤外成分が所定の値以下の場合、可視光抽出処理部104が抽出した上記抽出領域と同じ領域の可視光信号を元にシステム制御部106がホワイトバランス処理を制御する事で、赤外線成分が少ない可視光信号をホワイトバランス処理に用いる事ができるのでより正しい色再現が可能となる。
なお赤外成分量の大小は、光源の違いによるものと、被写体の赤外線反射率の違いによるものがあり、本実施例は光源の違いや被写体の赤外線反射率の違いによらず、撮像した信号のうち、より赤外線が少ない信号が得られる画素の信号を用いてホワイトバランス処理を実施する。
また図8のように、夜間等の場合、車両のヘッドライト、街灯、建物の照明など様々な光源がある場合、例えば車両のヘッドライトは赤外成分多く含まれておりヘッドライト等の光源が照射されている図8の領域801内の被写体を撮像した信号は赤外線が多い信号となると仮定し、ヘッドライト等の光源が照射されてない領域802内の被写体を撮像した信号は赤外線が少ない信号となると仮定すると、本実施例はより赤外線が少ない領域802の信号を主に用いてホワイトバランス処理を実施する。
また図8のように、夜間等の場合、車両のヘッドライト、街灯、建物の照明など様々な光源がある場合、例えば車両のヘッドライトは赤外成分多く含まれておりヘッドライト等の光源が照射されている図8の領域801内の被写体を撮像した信号は赤外線が多い信号となると仮定し、ヘッドライト等の光源が照射されてない領域802内の被写体を撮像した信号は赤外線が少ない信号となると仮定すると、本実施例はより赤外線が少ない領域802の信号を主に用いてホワイトバランス処理を実施する。
また図1の抽出領域処理部102で設定する領域は1画素以上からなる領域であり、例えば領域が1画素から構成される場合は、1画素ごとに赤外線量が一定以下であるか判定し、一定値以下であればその画素の可視光信号(R、G、B信号)をホワイトバランス処理に用いる。あるいは領域が複数画素から構成される場合は、その領域内の画素の赤外線量の合計が一定値以下と判定した場合、あるいは領域内の画素のうち赤外線量がある一定以下の画素の個数が所定の個数以下で合った場合、その領域の可視光信号をホワイトバランス処理に用いるという判定でもよい。
図9は本撮像装置におけるシステム制御部(図1)が行う制御の赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
まず、ステップ901は撮像装置による撮影画面内の赤外情報及び、可視光情報の抽出範囲を抽出領域処理部102(図1)に設定する。ステップ902では抽出範囲における赤外線信号情報(Ir信号情報)と可視光信号情報(R、G、B信号情報)を赤外抽出処理部103(図1)より取得する。ステップ903ではステップ902による抽出領域内の赤外線量が所定の値以下かを判定する。ステップ904では、ステップ903の判定がyesの場合、抽出領域内の信号は赤外線成分が少なく、赤外線による色信号への影響が少ないので、ステップ902で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いる。またステップ905ではステップ903の判定がnoの場合、抽出領域内の内の信号は赤外線成分が多く、赤外線による色信号への影響が多いので、ステップ902で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、所定の値以下の領域の可視光信号をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
まず、ステップ901は撮像装置による撮影画面内の赤外情報及び、可視光情報の抽出範囲を抽出領域処理部102(図1)に設定する。ステップ902では抽出範囲における赤外線信号情報(Ir信号情報)と可視光信号情報(R、G、B信号情報)を赤外抽出処理部103(図1)より取得する。ステップ903ではステップ902による抽出領域内の赤外線量が所定の値以下かを判定する。ステップ904では、ステップ903の判定がyesの場合、抽出領域内の信号は赤外線成分が少なく、赤外線による色信号への影響が少ないので、ステップ902で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いる。またステップ905ではステップ903の判定がnoの場合、抽出領域内の内の信号は赤外線成分が多く、赤外線による色信号への影響が多いので、ステップ902で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、所定の値以下の領域の可視光信号をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
図10は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
ステップ1001から1002については、図9のステップ901から902と同様である。ステップ1003では、ホワイトバランス処理で使用する可視光信号(R、G、B信号)に対してステップ1002による各抽出領域内の赤外線(Ir)量に応じて、ステップ1002で抽出した可視光信号の重み付けを調整する。例えばホワイトバランス処理に使用する可視光信号は、検波領域内の画素ごとのR、G、B信号の総和を求め、その各R、G、Bの総和が等しくなるように色ゲインを制御するが、その総和を求める際、抽出領域内の赤外線量が多い領域については、R、G、B信号量を、数1から数3あるいは、数4から数6のように、調整後のR,G,Bを赤外の相対量に応じて制御、あるいは調整後のR,G,Bを赤外の絶対量に応じて制御し赤外線が多い抽出領域のR、G、B信号値については値を小さくなるように調整し、ホワイトバランス処理への影響度を小さくし、抽出領域内の赤外線量が小さい領域については、R、G、B信号値を小さくしないことでホワイトバランス処理に正しく反映されるようにする。
(数1) 調整後R = R ×(R/(R+Ir))
(数2) 調整後G = G ×(G/(G+Ir))
(数3) 調整後B = B ×(B/(B+Ir))
(数4) 調整後R = R ×(R/Ir)
(数5) 調整後G = G ×(G/Ir)
(数6) 調整後B = B ×(B/Ir)
以上のフローにより所定の抽出領域の信号ごとに、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてより赤外線の影響が少ない色信号に重みを置いた正しいホワイトバランス処理が可能となる。
ステップ1001から1002については、図9のステップ901から902と同様である。ステップ1003では、ホワイトバランス処理で使用する可視光信号(R、G、B信号)に対してステップ1002による各抽出領域内の赤外線(Ir)量に応じて、ステップ1002で抽出した可視光信号の重み付けを調整する。例えばホワイトバランス処理に使用する可視光信号は、検波領域内の画素ごとのR、G、B信号の総和を求め、その各R、G、Bの総和が等しくなるように色ゲインを制御するが、その総和を求める際、抽出領域内の赤外線量が多い領域については、R、G、B信号量を、数1から数3あるいは、数4から数6のように、調整後のR,G,Bを赤外の相対量に応じて制御、あるいは調整後のR,G,Bを赤外の絶対量に応じて制御し赤外線が多い抽出領域のR、G、B信号値については値を小さくなるように調整し、ホワイトバランス処理への影響度を小さくし、抽出領域内の赤外線量が小さい領域については、R、G、B信号値を小さくしないことでホワイトバランス処理に正しく反映されるようにする。
(数1) 調整後R = R ×(R/(R+Ir))
(数2) 調整後G = G ×(G/(G+Ir))
(数3) 調整後B = B ×(B/(B+Ir))
(数4) 調整後R = R ×(R/Ir)
(数5) 調整後G = G ×(G/Ir)
(数6) 調整後B = B ×(B/Ir)
以上のフローにより所定の抽出領域の信号ごとに、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてより赤外線の影響が少ない色信号に重みを置いた正しいホワイトバランス処理が可能となる。
図11は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
ステップ1101から1103については、図9のステップ901から903と同様である。ステップ1104では、ステップ1103の判定がyesの場合、抽出領域内の信号は赤外線(Ir)による色信号への影響が少ないと判断し、またホワイトバランス処理で使用する可視光信号(R、G、B信号)に対してステップ1102による各抽出領域内の赤外線量に応じて、ステップ1102で抽出した可視光信号の重み付けを調整する。
またステップ1105ではステップ1103の判定がnoの場合、抽出領域内の内の信号は赤外線による色信号への影響が多いと判断しステップ1102で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
ステップ1101から1103については、図9のステップ901から903と同様である。ステップ1104では、ステップ1103の判定がyesの場合、抽出領域内の信号は赤外線(Ir)による色信号への影響が少ないと判断し、またホワイトバランス処理で使用する可視光信号(R、G、B信号)に対してステップ1102による各抽出領域内の赤外線量に応じて、ステップ1102で抽出した可視光信号の重み付けを調整する。
またステップ1105ではステップ1103の判定がnoの場合、抽出領域内の内の信号は赤外線による色信号への影響が多いと判断しステップ1102で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、赤外光が所定の値以下の領域の可視光信号に対して、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
以上のフローにより、より簡単な処理で赤外線の影響を軽減することが可能となり正しいホワイトバランス処理が可能となる。
以上のフローにより、より簡単な処理で赤外線の影響を軽減することが可能となり正しいホワイトバランス処理が可能となる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101 撮像部
102 抽出領域処理部
103 赤外抽出処理部
104 可視光抽出処理部
105 ホワイトバランス処理部
106 システム制御部
107 出力IF部
201 検波枠
102 抽出領域処理部
103 赤外抽出処理部
104 可視光抽出処理部
105 ホワイトバランス処理部
106 システム制御部
107 出力IF部
201 検波枠
Claims (4)
- 撮像装置であって、
被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、
前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、
前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、
前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、
前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、
前記ホワイトバランス処理部の制御を行うシステム制御部と、
を具備し、
前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、
を特徴とする撮像装置。 - 請求項1記載の撮像装置であって、
前記システム制御部は、前記赤外抽出処理部によって抽出された前記映像の領域毎の赤外量に応じて前記領域毎の可視光信号に重み付けを行った信号に応じて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
を特徴とする撮像装置。 - 請求項1記載の撮像装置であって、
前記システム制御部は、前記赤外抽出処理部により抽出された赤外量が所定の値以下の領域の前記可視光情報を用いて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
を特徴とする撮像装置。 - 請求項1記載の撮像装置であって、
前記システム制御部は、前記赤外抽出処理部によって抽出された前記領域の赤外情報に関して、赤外量が所定の値以下の領域の赤外量に応じて可視光信号に重み付けを行った信号に応じて、前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
を特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/648,500 US20150312541A1 (en) | 2012-11-30 | 2013-11-26 | Image pickup device |
EP13859464.3A EP2928183B1 (en) | 2012-11-30 | 2013-11-26 | Image pickup device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-261859 | 2012-11-30 | ||
JP2012261859A JP6029954B2 (ja) | 2012-11-30 | 2012-11-30 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014084199A1 true WO2014084199A1 (ja) | 2014-06-05 |
Family
ID=50827835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/081735 WO2014084199A1 (ja) | 2012-11-30 | 2013-11-26 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150312541A1 (ja) |
EP (1) | EP2928183B1 (ja) |
JP (1) | JP6029954B2 (ja) |
WO (1) | WO2014084199A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230336847A1 (en) * | 2020-02-12 | 2023-10-19 | Axon Enterprise, Inc. | Dual mode camera and quasi-bandpass filter |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494181B2 (ja) * | 2014-05-30 | 2019-04-03 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
KR101637671B1 (ko) * | 2014-08-25 | 2016-07-07 | 현대자동차주식회사 | Rgbw 센서를 이용한 rgb 및 nir 추출방법 |
JP2016076807A (ja) * | 2014-10-06 | 2016-05-12 | ソニー株式会社 | 画像処理装置、撮像装置および撮像方法 |
DE102014115292A1 (de) * | 2014-10-21 | 2016-04-21 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug |
KR101663620B1 (ko) * | 2015-04-13 | 2016-10-14 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
CN106162136B (zh) * | 2016-08-12 | 2018-12-07 | 惠州Tcl移动通信有限公司 | 一种用于红外拍摄的白平衡校准方法、系统及移动终端 |
EP3301911A1 (en) * | 2016-09-29 | 2018-04-04 | Conti Temic microelectronic GmbH | Device for white balance correction |
WO2020042149A1 (zh) * | 2018-08-31 | 2020-03-05 | 深圳市大疆创新科技有限公司 | 图像处理系统和方法 |
JP7299762B2 (ja) * | 2019-06-06 | 2023-06-28 | キヤノン株式会社 | 画像処理装置および方法、撮像装置、プログラム |
TWI715142B (zh) * | 2019-08-07 | 2021-01-01 | 瑞昱半導體股份有限公司 | 影像感測裝置以及自動白平衡方法 |
KR20220140369A (ko) * | 2021-04-09 | 2022-10-18 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
CN114612571B (zh) * | 2022-03-07 | 2023-05-23 | 重庆紫光华山智安科技有限公司 | 白平衡标定参数生成、图像矫正方法、系统、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08294037A (ja) * | 1995-04-20 | 1996-11-05 | Hitachi Ltd | 撮像装置 |
JP2010161453A (ja) | 2009-01-06 | 2010-07-22 | Olympus Corp | 赤外線照射式撮像装置 |
WO2012004910A1 (ja) * | 2010-07-06 | 2012-01-12 | パナソニック株式会社 | 撮像装置および色温度算出方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004064468A (ja) * | 2002-07-30 | 2004-02-26 | Fuji Photo Film Co Ltd | 撮像装置 |
JP4286123B2 (ja) * | 2003-12-22 | 2009-06-24 | 三洋電機株式会社 | カラー撮像素子およびカラー信号処理回路 |
JP4501855B2 (ja) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
US7773136B2 (en) * | 2006-08-28 | 2010-08-10 | Sanyo Electric Co., Ltd. | Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal |
JP2010161459A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 赤外線照射式撮像装置 |
-
2012
- 2012-11-30 JP JP2012261859A patent/JP6029954B2/ja not_active Expired - Fee Related
-
2013
- 2013-11-26 EP EP13859464.3A patent/EP2928183B1/en not_active Not-in-force
- 2013-11-26 US US14/648,500 patent/US20150312541A1/en not_active Abandoned
- 2013-11-26 WO PCT/JP2013/081735 patent/WO2014084199A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08294037A (ja) * | 1995-04-20 | 1996-11-05 | Hitachi Ltd | 撮像装置 |
JP2010161453A (ja) | 2009-01-06 | 2010-07-22 | Olympus Corp | 赤外線照射式撮像装置 |
WO2012004910A1 (ja) * | 2010-07-06 | 2012-01-12 | パナソニック株式会社 | 撮像装置および色温度算出方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2928183A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230336847A1 (en) * | 2020-02-12 | 2023-10-19 | Axon Enterprise, Inc. | Dual mode camera and quasi-bandpass filter |
Also Published As
Publication number | Publication date |
---|---|
JP2014107852A (ja) | 2014-06-09 |
JP6029954B2 (ja) | 2016-11-24 |
EP2928183A1 (en) | 2015-10-07 |
EP2928183A4 (en) | 2016-06-01 |
EP2928183B1 (en) | 2019-10-16 |
US20150312541A1 (en) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014084199A1 (ja) | 撮像装置 | |
EP2866445B1 (en) | Imaging device | |
KR101747603B1 (ko) | 컬러 나이트 비전 시스템 및 그 동작 방법 | |
JP6568719B2 (ja) | 撮像方法及び撮像装置 | |
EP3343912B1 (en) | Imaging device | |
US20090027521A1 (en) | Image processing apparatus, image-taking system, image processing method and image processing program | |
CN101983510B (zh) | 自适应局部白平衡调节的系统与方法 | |
JP5996970B2 (ja) | 車載撮像装置 | |
US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
JP5814799B2 (ja) | 画像処理装置及び画像処理方法 | |
US20150071534A1 (en) | System, Device and Method for Displaying a Harmonized Combined Image | |
US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
WO2013118337A1 (ja) | 撮像装置 | |
JP7057818B2 (ja) | 低照度撮像システム | |
CN101510955B (zh) | 图像获取设备 | |
US20090290792A1 (en) | Method for setting auto white balance area | |
JP5521927B2 (ja) | 撮像装置 | |
JP2012010141A (ja) | 画像処理装置 | |
KR20170032158A (ko) | 촬상 장치 | |
WO2017071996A1 (en) | Method for adjusting a camera parameter and/or an image, computer program product, camera system, driver assistance system and motor vehicle | |
JP6717660B2 (ja) | 撮像装置 | |
EP3389257A1 (en) | Method for adapting brightness of image data, image capturing system and advanced driver assistance system | |
CN113852773A (zh) | 图像处理设备和方法、摄像系统、移动体及存储介质 | |
JPS6038626A (ja) | 果実の識別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13859464 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013859464 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14648500 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |