WO2013183330A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013183330A1
WO2013183330A1 PCT/JP2013/056889 JP2013056889W WO2013183330A1 WO 2013183330 A1 WO2013183330 A1 WO 2013183330A1 JP 2013056889 W JP2013056889 W JP 2013056889W WO 2013183330 A1 WO2013183330 A1 WO 2013183330A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing unit
signal
infrared light
signal processing
visible light
Prior art date
Application number
PCT/JP2013/056889
Other languages
English (en)
French (fr)
Inventor
明伸 石塚
真一郎 川野
孝洋 中野
西澤　明仁
Original Assignee
日立コンシューマエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立コンシューマエレクトロニクス株式会社 filed Critical 日立コンシューマエレクトロニクス株式会社
Publication of WO2013183330A1 publication Critical patent/WO2013183330A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus.
  • Patent Document 1 JP 2007-318324 (Patent Document 1) as background art in this technical field.
  • the gazette describes as an object “providing an image display device that suppresses a reduction in driver visibility due to the superimposed display of infrared images even when the behavior of the vehicle changes”.
  • an image display device 1 mounted on a vehicle and displaying an infrared image captured by an infrared camera on a real scene in a superimposed manner, vibration detecting means 4 and 9 for detecting vibrations received by the vehicle, and an infrared image Superimposing display control means 9 for controlling the superimposing display.
  • the superimposing display control means 9 superimposes an infrared image when the vibration detected by the vibration detecting means 4 and 9 continues for a predetermined time or longer. It is characterized in that the display is controlled so that it is less visible than usual.
  • Patent Document 1 discloses that an image captured by an infrared camera is displayed superimposed on a real scene, but no consideration has been given to the reproduction of the subject color.
  • an imaging device that realizes an image with high visibility even in a dark environment such as at night or in an environment with poor visibility due to fog or yellow sand.
  • 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention. It is an example of pixel arrangement of the image sensor according to the embodiment of the present invention. It is an example of the wavelength sensitivity characteristic of the image sensor which concerns on embodiment of this invention. It is an example of the wavelength sensitivity characteristic of the image sensor which concerns on embodiment of this invention. It is an example of pixel arrangement of the image sensor according to the embodiment of the present invention. It is an example of the wavelength sensitivity characteristic of the image sensor which concerns on embodiment of this invention. It is an example of the wavelength sensitivity characteristic of the image sensor which concerns on embodiment of this invention. It is an example of the image which concerns on embodiment of this invention. It is a block diagram of the night vision camera which concerns on embodiment of this invention.
  • the visible light means light in the wavelength bands of green (hereinafter G), blue (hereinafter B), and red (R).
  • FIG. 1 is a block diagram of the imaging apparatus 100.
  • the imaging apparatus 100 includes a lens 101, an imaging element 102, a visible light signal processing unit 103, an IR signal processing unit 104, a synthesis processing unit 105, a control unit 106, and an image output unit 107. These are connected through a bus, for example.
  • the light condensed by the lens 101 is input to the image sensor 102.
  • the image sensor 102 is composed of CMOS (Complementary Metal Oxide Semiconductor), CCD (Charge Coupled Device), etc., and based on the input light, a visible light signal, which is an electric signal having a visible light component, and near infrared light
  • a visible light signal which is an electric signal having a visible light component
  • near infrared light which is an electrical signal having a component (hereinafter sometimes referred to as IR)
  • IR an electrical signal having a component
  • Each is input to the unit 104.
  • the visible light signal processing unit 103 is a circuit that generates a luminance signal and a color difference signal from the visible light signal.
  • the IR signal processing unit 104 is a circuit that generates a luminance signal from a near-infrared light signal.
  • the luminance signal generated by the visible light signal processing unit 103 and the luminance signal generated by the IR signal processing unit 104 are input to the synthesis processing unit 105, and the luminance component of visible light and the luminance component of near infrared light are combined. A combined luminance signal is generated.
  • the control unit 106 is configured by a microcomputer or the like, and has a function of changing a composite ratio of a luminance signal of visible light and a luminance signal of near infrared light and a function of controlling an exposure time of the image sensor 102.
  • a color difference signal obtained from the combined luminance signal and visible light is input to the image output unit 107 and output to the outside by the image output unit 107.
  • the video output unit 107 outputs signals corresponding to the signal format of the display device connected to the imaging device 100, such as a composite video signal, an S video signal, a component video signal, a digital video signal such as HDMI, and a digital stream signal such as H.264. Output.
  • the signal formats supported by the imaging apparatus 100 are not limited to those listed here.
  • FIG. 2 shows an example of the pixel arrangement of the image sensor 102.
  • the pixels 204 are arranged in a grid pattern. As shown in FIG. 2, the combination of the pixels 201 to 204 is repeatedly arranged on the image sensor 102.
  • FIG. 3 shows sensitivity characteristics with respect to the wavelength of light, that is, spectral characteristics, of the pixels 201 to 204 shown in FIG.
  • 301 is the spectral characteristic of the pixel 201 (FIG. 2)
  • 302 is the spectral characteristic of the pixel 202 (FIG. 2)
  • 303 is the spectral characteristic of the pixel 203 (FIG. 2)
  • 304 is the pixel 204.
  • Fig. 2 shows the spectral characteristics.
  • Spectra characteristics 301, 302, and 303 have sensitivity in the wavelength range of near infrared light in addition to the wavelength range of visible light of R, G, and B, respectively.
  • a camera that captures only the normal visible light range is also equipped with an image sensor that has pixels with these spectral characteristics, but in order to eliminate the influence of the near-infrared light portion, the wavelength range of the near-infrared light
  • An optical filter is inserted on the optical axis of the image sensor and the lens. In the imaging apparatus 100 according to the present embodiment, such a filter is not used.
  • the spectral characteristic 304 is sensitive only to near-infrared light.
  • the visible light region R, G, B
  • the color component and the luminance component and the luminance component due to near infrared light can be simultaneously imaged.
  • FIG. 4 shows another example of the sensitivity characteristic with respect to the wavelength of light of each of the pixels 201 to 204 shown in FIG. 2, that is, the spectral characteristic.
  • 401 is the spectral characteristic of the pixel 201 (FIG. 2)
  • 402 is the spectral characteristic of the pixel 202 (FIG. 2)
  • 403 is the spectral characteristic of the pixel 203 (FIG.
  • spectral characteristics 401, 402, and 403 have sensitivity only in the wavelength range that is visible light of R, G, and B, respectively.
  • the spectral characteristic 404 is sensitive only to near-infrared light. Even if the image sensor 102 has this pixel and a pixel having sensitivity in the visible light region, the visible light region (R, G, B) The color component and the luminance component and the luminance component due to near infrared light can be simultaneously imaged.
  • FIG. 5 shows another example of the pixel arrangement of the image sensor 102.
  • a pixel 501 having a main sensitivity for R, a pixel 502 having a main sensitivity for G, a pixel 503 having a main sensitivity for B, R, G, B, and near red Pixels 504 that are all sensitive to outside light are arranged in a grid pattern. As shown in FIG. 5, combinations of the pixels 501 to 504 are repeatedly arranged on the image sensor 102.
  • FIG. 6 shows sensitivity characteristics, that is, spectral characteristics, of the pixels 501 to 504 shown in FIG. 5 with respect to the wavelength of light.
  • 601 is the spectral characteristic of the pixel 501 (FIG. 5)
  • 602 is the spectral characteristic of the pixel 502 (FIG. 5)
  • 603 is the spectral characteristic of the pixel 503 (FIG. 5)
  • 604 is the pixel 504.
  • Fig. 5 shows the spectral characteristics.
  • the spectral characteristics 601, 602, and 603 have sensitivity in the wavelength range of near infrared light in addition to the wavelength range of visible light of R, G, and B, respectively.
  • FIG. 7 shows another example of the sensitivity characteristic with respect to the wavelength of light of each of the pixels 501 to 504 shown in FIG. 5, that is, the spectral characteristic.
  • 701 is the spectral characteristic of the pixel 501 (FIG. 5)
  • 702 is the spectral characteristic of the pixel 502 (FIG. 5)
  • 703 is the spectral characteristic of the pixel 503 (FIG. 5)
  • 704 is the pixel 504.
  • Fig. 5 shows the spectral characteristics.
  • the spectral characteristics 701, 702, and 703 have sensitivity only in the wavelength range that is visible light of R, G, and B, respectively.
  • the spectral characteristic 704 is sensitive to all of R, G, B, and near infrared light.
  • FIG. 8 shows an example of specific effects of this embodiment.
  • a colored image can be obtained by synthesizing a luminance signal by near infrared light, a luminance signal of visible light, and a color difference signal.
  • FIG. 9 is a block diagram of the night vision camera 900.
  • the night vision camera 900 according to the present embodiment includes a display unit 901, an image recognition unit 902, and an audio output unit 903 in addition to the imaging device 100.
  • the image recognition unit 902 recognizes objects necessary for the user to drive the vehicle, such as a person, a sign, a lane, and a traffic light, based on the image output from the imaging device 100, and the display unit 901 displays the image Identification information that emphasizes the object recognized by the recognition unit 902 is superimposed on the image and displayed, and the sound output unit 903 outputs a warning sound. This can alert the driver.
  • FIG. 10 is an example of a display image on the display unit 901 of the night vision camera 900.
  • the sign 1001 and the person 1102 are recognized by the image recognition unit 902, and a mark 1003, which is an example of identification information, is displayed superimposed on these objects.
  • an IR light source 1101 that generates near infrared light and emits it outside may be further added.
  • FIG. 11 is a block diagram of such a night vision camera 1100.
  • the IR light source unit 1101 is not essential because the high beam emitted from the headlight of the vehicle may include near infrared light and the reflected light may be received as near infrared light. According to the night vision camera 1100 having the above, there is an effect that the sensitivity can be further improved.
  • FIG. 12 is a flowchart showing an example of processing performed by the control unit 106 (FIG. 1). The processing from the beginning to the end of this flowchart is performed every time one image frame is acquired.
  • step 1201 the control unit 106 (FIG. 1) first obtains a luminance evaluation value of visible light from the visible light signal processing unit 103 (FIG. 1).
  • step 1202 if the luminance evaluation value is greater than or equal to the predetermined threshold value a, the process proceeds to step 1204, where the control unit 106 (FIG. 1) is visible so that an image is output using only the visible light luminance signal.
  • a synthesis ratio between the luminance component of light and the luminance component of near-infrared light is determined, and this synthesis ratio is set in the synthesis processing unit 105 (FIG. 1).
  • the control unit 106 (FIG. 1) Then, the synthesis ratio of the luminance signal of visible light and the luminance signal of near-infrared light is determined to be 50:50, and is set in the synthesis unit processing unit 105 (FIG. 1).
  • the combination ratio here may be fixed, or may change according to the luminance evaluation value by having a table that defines the relationship between the luminance evaluation value and the combination ratio. .
  • step 1205 the control unit 106 (FIG. 1) sets the visible light signal processing unit 103 (FIG. 1) so as to increase the color gain of the output color difference signal.
  • FIG. 13 is a flowchart showing another example of processing performed by control unit 106 (FIG. 1). The process from the beginning to the end of this flowchart is performed every time one image frame is acquired.
  • the control unit 106 (FIG. 1) first obtains the integrated luminance value of visible light from the visible light signal processing unit 103 (FIG. 1).
  • step 1302 if the luminance evaluation value is greater than or equal to the predetermined threshold value b, the control unit 106 (FIG. 1) proceeds to step 1304 so that the image is output using only the visible light luminance signal.
  • a synthesis ratio between the luminance component of light and the luminance component of near-infrared light is determined, and this synthesis ratio is set in the synthesis processing unit 105 (FIG. 1).
  • the control unit 106 (FIG. 1), in step 1303, The synthesis ratio of the luminance signal of visible light and the luminance signal of near-infrared light is determined to be 50:50 and set in the synthesis processing unit 105 (FIG. 1).
  • step 1305 the upper part of the screen is set to a predetermined position from the viewpoint that a traffic light or the like is likely to be displayed on the upper part of the screen, and the control unit 106 (FIG. 1) visually recognizes the maximum value of the luminance signal at the predetermined position. Obtained from the optical signal processing unit 103 (FIG. 1). If it is determined in step 1306 that the maximum value of the luminance signal is greater than or equal to the threshold value c, the control unit 106 (FIG. 1) causes the image sensor 102 (FIG. 1) to shorten the exposure time by a predetermined value in step 1307. ) Is set.
  • the color of the traffic light 1401 does not saturate in the dark at night, so that it can be suppressed to an exposure level at which color determination is possible, and in addition, the surrounding person 1402
  • the object such as can be supplemented with a luminance component of near-infrared light, and an image capable of recognizing both the color of the traffic light and surrounding objects can be provided.
  • the predetermined position may be the entire screen, but if it is at the top of the screen, the influence of a subject having strong luminance in other places can be excluded.
  • the imaging apparatus 100 includes a pixel having a main sensitivity to visible light (hereinafter, visible light pixel) and a pixel having a main sensitivity to near infrared light (hereinafter, near infrared light pixel). ) And combining the visible light signal and the near-infrared light signal output from the image sensor 102 and combining the image with the visible light and the image with the near-infrared light.
  • the output image can be output, and the color reproducibility can be improved. As a result, an image with high visibility can be obtained even in a dark environment such as at night or in an environment with poor visibility due to fog or yellow sand.
  • the imaging device 102 has a visible light pixel and a near-infrared light pixel, but is invisible light in the same manner as near-infrared light instead of the near-infrared light pixel.
  • a pixel having main sensitivity to infrared light may be applied.
  • a pixel having main sensitivity to white light may be applied instead of the near-infrared light pixel.
  • the imaging apparatus 100 may include a storage unit that can store information such as a captured image, such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive). .
  • a storage unit that can store information such as a captured image, such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • an SSD Solid State Drive
  • HDD Hard Disk Drive
  • the image output by the imaging apparatus 100 may be a moving image or a still image.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • Imaging device 101 lens 102 Image sensor 103 Visible light signal processor 104 IR signal processor 105 Compositing processor 106 Control unit 107 Image output section

Abstract

可視光の波長領域と赤外光または近赤外光の波長領域とに感度を持ち、可視光信号と赤外光信号または近赤外光信号とを生成する撮像部と、前記可視光信号に基づいて、輝度信号と色差信号とを生成する第一信号処理部と、前記赤外光信号または近赤外光信号に基づいて、輝度信号を生成する第二信号処理部と、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成して合成輝度信号を生成する合成処理部と、前記合成処理部により生成された合成輝度信号と前記第一信号処理部により生成された前記色差信号とを出力する画像出力部と、を備える。

Description

撮像装置
　本発明は、撮像装置に関する。
　本技術分野の背景技術として、特開２００７－３１８３２４号公報（特許文献１）がある。該公報には、課題として「車両の挙動が変化した場合でも赤外線画像の重畳表示による運転者の視認性の低下を抑制する画像表示装置を提供することを課題とする。」と記載され、その解決手段として「車両に搭載され、実景に対して赤外線カメラで撮像した赤外線画像を重畳表示する画像表示装置１であって、車両が受ける振動を検知する振動検知手段４，９と、赤外線画像の重畳表示を制御する重畳表示制御手段９とを備え、重畳表示制御手段９は、振動検知手段４，９で検知した振動が振動閾値以上となった状態が所定時間継続した場合、赤外線画像の重畳表示を通常時より見え難くなるように制御することを特徴とする。」と記載されている。
特開２００７－３１８３２４号公報
　撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対して、特許文献１においては赤外線カメラにより撮像された画像を実景に重畳して表示することを開示しているが、被写体の色の再現の点についてまでは考慮されていなかった。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
　本発明によれば、夜などの暗い環境下や、霧や黄砂などによる視界不良の環境下にあっても、視認性の良い画像を実現する撮像装置を提供することができる。
本発明の実施形態に係る撮像装置のブロック図である。 本発明の実施形態に係る撮像素子の画素配置例である。 本発明の実施形態に係る撮像素子の波長感度特性例である。 本発明の実施形態に係る撮像素子の波長感度特性例である。 本発明の実施形態に係る撮像素子の画素配置例である。 本発明の実施形態に係る撮像素子の波長感度特性例である。 本発明の実施形態に係る撮像素子の波長感度特性例である。 本発明の実施形態に係る画像の例である。 本発明の実施形態に係るナイトビジョンカメラのブロック図である。 本発明の実施形態に係るナイトビジョンカメラの表示画像の例である。 本発明の実施形態に係るナイトビジョンカメラのブロック図の他の例である。 本発明の実施形態に係る撮像装置の制御部における処理の流れを示すフローチャートである。 本発明の実施形態に係る撮像装置の制御部における処理の流れを示すフローチャートである。 本発明の実施形態に係る画像の例である。
　以下、本発明の実施形態を図面を用いて説明する。
　以下、図1から図8までを用いて、本実施例に係る撮像装置100について述べる。
　なお、本実施例において、可視光とは緑(以下G)、青(以下B)、及び赤(R)の波長帯域の光のことを言うこととする。
　図1は撮像装置100のブロック図である。撮像装置100は、レンズ101と、撮像素子102と、可視光信号処理部103と、IR信号処理部104と、合成処理部105と、制御部106と、画像出力部107と、を備える。これらは、例えば、バスを介して接続される。
　図1において、レンズ101により集光された光が撮像素子102に入力される。撮像素子102は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などで構成され、入力した光に基づいて、可視光の成分を有する電気信号である可視光信号と、近赤外光(以下、IRと言う場合がある)の成分を有する電気信号である近赤外光信号と、に分離し、可視光信号は可視光信号処理部103へ、近赤外光信号はIR信号処理部104へそれぞれ入力される。可視光信号処理部103は可視光信号より輝度信号と色差信号とを生成する回路である。IR信号処理部104は近赤外光信号より輝度信号を生成する回路である。可視光信号処理部103で生成された輝度信号、及びIR信号処理部104で生成された輝度信号は合成処理部105へ入力され、可視光の輝度成分と近赤外光の輝度成分とが合成された合成輝度信号が生成される。
　制御部106は、マイクロコンピュータなどで構成され、可視光の輝度信号と近赤外光の輝度信号との合成比率を可変する機能及び撮像素子102の露光時間を制御する機能を有する。合成輝度信号及び可視光から得られた色差信号は画像出力部107へ入力され、画像出力部107により外部へ出力される。映像出力部107はコンポジットビデオ信号、Sビデオ信号、コンポーネントビデオ信号、HDMI等のデジタルビデオ信号、H.264等のデジタルストリーム信号等、撮像装置100に接続する表示装置の信号フォーマットに応じた信号を出力する。なお、撮像装置100が対応する信号フォーマットはここで列挙されたものに限定されない。
　図2は撮像素子102の画素配置の一例を示したものである。
　同一の撮像素子102上に、Rに主な感度を持つ画素201と、Gに主な感度を持つ画素202と、Bに主な感度を持つ画素203と、近赤外光に主な感度を持つ画素204と、が格子状に配置されている。図2に示す通り、画素201～画素204の組合せは、撮像素子102上に繰り返し配置される。
　図3は、図2で示した各画素201～画素204の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において、301は画素201(図2)の分光特性であり、302は画素202(図2)の分光特性であり、303は画素203(図2)の分光特性であり、304は画素204(図2)の分光特性である。
　分光特性301,302,303はそれぞれR,G,Bの可視光である波長域に加えて、近赤外光の波長域にも感度を持つものである。通常の可視光域のみを撮像するカメラもこれらの分光特性をもつ画素を有する撮像素子を備えて構成されるが、近赤外光の部分の影響をなくすために、近赤外光の波長域を遮断する光学的なフィルターが撮像素子とレンズの光軸上に挿入されている。本実施例に係る撮像装置100では、このようなフィルターは利用されない。
　分光特性304は近赤外光のみに感度を持つものであり、この画素と可視光域の感度を持つ画素とを撮像素子102に持たせることにより、可視光域（R,G,B)の色成分及び輝度成分と、近赤外光による輝度成分と、を同時に撮像可能となる。 
　図4は、図2で示した各画素201～画素204の光の波長に対する感度特性、すなわち分光特性のその他の一例を示したものである。同図において、401は画素201(図2)の分光特性であり、402は画素202(図2)の分光特性であり、403は画素203(図2)の分光特性であり、404は画素204(図2)の分光特性である。分光特性401,402,403はそれぞれR,G,Bの可視光である波長域のみに感度を持つものである。分光特性404は近赤外光のみに感度を持つものであり、この画素と可視光域の感度を持つ画素とを撮像素子102に持たせることでも、可視光域（R,G,B)の色成分及び輝度成分と、近赤外光による輝度成分と、を同時に撮像可能となる。
　図5は撮像素子102の画素配置のその他の一例を示したものである。
　同一の撮像素子102上に、Rに主な感度を持つ画素501と、Gに主な感度を持つ画素502と、Bに主な感度を持つ画素503と、R、G、B、及び近赤外光にすべて感度を持つ画素504と、が格子状に配置されている。図5に示す通り、画素501～画素504の組合せが撮像素子102上に繰り返し配置されている。
　図6は、図5で示した各画素501～画素504の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において、601は画素501(図5)の分光特性であり、602は画素502(図5)の分光特性であり、603は画素503(図5)の分光特性であり、604は画素504(図5)の分光特性である。分光特性601,602,603はそれぞれR,G,Bの可視光である波長域に加えて、近赤外光の波長域にも感度を持つものである。
　図7は、図5で示した各画素501～画素504の光の波長に対する感度特性、すなわち分光特性のその他の一例を示したものである。同図において、701は画素501(図5)の分光特性であり、702は画素502(図5)の分光特性であり、703は画素503(図5)の分光特性であり、704は画素504(図5)の分光特性である。分光特性701,702,703はそれぞれR,G,Bの可視光である波長域のみに感度を持つものである。分光特性704はR,G,B,及び近赤外光のすべてに感度を持つものである。 
　図8に、本実施例による具体的な効果の一例を示す。
　本実施例では、近赤外光による輝度信号、並びに可視光の輝度信号及び色差信号を合成することにより、色のついた画像を得ることが出来る。その結果、例えば、夜間であっても、標識801の色や歩行者802の衣服の色を再現した画像を実現することができ、暗い環境下における視認性を向上させることが可能となる。
　以下、本実施例に係る撮像装置100を、車両に搭載されるナイトビジョンカメラ（車載装置）900に適用した例について説明する。図9は、ナイトビジョンカメラ900のブロック図である。本実施例に係るナイトビジョンカメラ900は、撮像装置100の他に、表示部901と、画像認識部902と、音声出力部903と、を有する。画像認識部902は、撮像装置100から出力された画像に基づいて、人物、標識、車線、及び信号機など、ユーザが車両を運転する上で必要な対象物を認識し、表示部901が、画像認識部902が認識した対象物を強調するような識別情報を画像に重ねて表示を行い、音声出力部903が警告音を出力する。これにより、運転者に注意を促すことが出来る。
　図10は、ナイトビジョンカメラ900の表示部901における表示画像の例である。ここでは、画像認識部902により標識1001及び人物1102が認識され、識別情報の一例であるマーク1003が、これら対象物に重畳して表示されている。
　図9のナイトビジョンカメラ900に、近赤外光を発生し、外に放射するIR光源部1101を更に追加しても良い。図11は、このようなナイトビジョンカメラ1100のブロック図である。例えば、車両のヘッドライトから照射されるハイビームに近赤外光が含まれ、その反射光を近赤外光として受光できる場合があるため、IR光源部1101は必須ではないが、IR光源部1101を備えたナイトビジョンカメラ1100によれば、より感度を向上させることができる効果がある。
　図12は、制御部106(図1)が行う処理の一例を示すフローチャートである。本フローチャートの始めから終わりまでの処理は、1画像フレームを取得するごとに行われる。
　ステップ1201にて、制御部106(図1)は、まず可視光の輝度評価値を可視光信号処理部103(図1)より取得する。
　ステップ1202にて、輝度評価値が所定の閾値aより大きいか等しい場合はステップ1204に進み、可視光の輝度信号のみを用いて画像が出力されるように、制御部106(図1)は可視光の輝度成分と近赤外光の輝度成分との合成比率を決定し、この合成比率を合成処理部105(図1)に設定する。なお、ここでの合成比率は「可視光の輝度成分：近赤外光の輝度成分＝１００：０」となる。但し、近赤外光の輝度成分が多少含まれていても良い。
　また、ステップ1202にて、輝度評価値が所定の閾値aより小さい場合は、可視光域の画像が暗いことを示していることになるので、制御部106(図1)は、ステップ1203にて、可視光の輝度信号と近赤外光の輝度信号との合成比率を５０：５０と決定し、合成部処理部105（図1)に設定する。
　なお、ここでの合成比率は固定されたものであっても、輝度評価値と合成比率との関係を定めたテーブルを有するなどして、輝度評価値に応じて変化するものであっても良い。
　ステップ1205にて、制御部106(図1)は、出力する色差信号の色利得を上げるように、可視光信号処理部103(図1)を設定する。
　以上の処理により、暗い夜道でも人物の画像と標識の色の判別ができる画像を得ることができる。
　図13は、制御部106(図1)が行う処理の他の一例を示すフローチャートである。本フローチャートの始めから終わりまでの処理は、1画像フレームを取得するごとに行われる。 
　ステップ1301にて、制御部106(図1)は、まず可視光の輝度積分値を可視光信号処理部103(図1)より取得する。
　ステップ1302にて、輝度評価値が所定の閾値bより大きいか等しい場合はステップ1304に進み、可視光の輝度信号のみを用いて画像が出力されるように、制御部106(図1)は可視光の輝度成分と近赤外光の輝度成分との合成比率を決定し、この合成比率を合成処理部105(図1)に設定する。ここでの合成比率は「可視光の輝度成分：近赤外光の輝度成分＝１００：０」とする。
　また、ステップ1302にて輝度積分値が所定の閾値bより小さい場合は、可視光域の画像が暗いことを示していることになるので、制御部106(図1)は、ステップ1303にて、可視光の輝度信号と近赤外光の輝度信号との合成比率を５０：５０と決定し、合成処理部105（図1)に設定する。
　また、ステップ1305にて、たとえば信号機などが画面上部に表示されやすいなどの点から、画面上部を所定の位置とし、制御部106(図1)は、所定の位置の輝度信号の最大値を可視光信号処理部103(図1)より取得する。ステップ1306で、輝度信号の最大値が閾値cより大きいか等しい値と判定すれば、制御部106(図1)は、ステップ1307にて露光時間を所定値短縮するように撮像素子102(図1)を設定する。
　このように制御すれば、例えば、図14に示したように、夜の暗い中での信号機1401の色が飽和しないので、色判定ができる露光レベルに抑えることができ、加えて周辺の人物1402などの被写体は近赤外光の輝度成分で補うことができ、信号機の色と周辺の物体の双方を認識できる画像を提供できる。
　なお、所定の位置は、画面全体でもよいが、画面上部とした場合はそれ以外の場所の強い輝度を持つ被写体などの影響を除外することができる。
　以上の通り、本実施例に係る撮像装置100は、可視光に主な感度を持つ画素（以下、可視光画素）と近赤外光に主な感度を持つ画素（以下、近赤外光画素）とを有する撮像素子102を備え、撮像素子102から出力される可視光信号と近赤外光信号とを合成して出力することにより、可視光による画像と近赤外光による画像とが合成された画像が出力可能となり、色の再現性を高めることができる。その結果、夜などの暗い環境下や、霧や黄砂などによる視界不良の環境下においても、視認性の良い画像を得ることができる。
　また、備える撮像素子を一つとすることで、撮像素子を複数備えた場合に生じ得るような、複数画像の位置合わせを不要とすることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、本実施例に係る撮像素子102は、可視光画素と近赤外光画素とを有することとしたが、近赤外光画素の代わりに、近赤外光と同様に非可視光である赤外光に主な感度を持つ画素を適用しても良い。また、近赤外光画素の代わりに、白色光に主な感度を持つ画素を適用しても良い。
　また、撮像装置100（ナイトビジョンカメラ900、1100）は、SSD(Solid State Drive)やHDD(Hard Disk Drive)など、撮像された画像などの情報を記憶可能な記憶部を備えるようにしても良い。この場合、車両周囲の鮮明な画像が記憶されるので、例えば、事故が起きたときにおける信号機の色などを後に確認することができ、事故原因の解明に貢献することができる場合がある。なお、より詳細な事故分析ができるように、撮像された画像と共に撮像日時を記憶するようにしても良い。
　また、撮像装置100により出力される画像は動画であっても静止画であっても良い。
　上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100　撮像装置
101　レンズ
102　撮像素子
103　可視光信号処理部
104　IR信号処理部
105　合成処理部
106　制御部
107　画像出力部

Claims (6)

  1. 　可視光の波長領域と赤外光または近赤外光の波長領域とに感度を持ち、可視光信号と赤外光信号または近赤外光信号とを生成する撮像部と、
    　前記可視光信号に基づいて、輝度信号と色差信号とを生成する第一信号処理部と、
    　前記赤外光信号または近赤外光信号に基づいて、輝度信号を生成する第二信号処理部と、
    　前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成して合成輝度信号を生成する合成処理部と、
    　前記合成処理部により生成された合成輝度信号と前記第一信号処理部により生成された前記色差信号とを出力する画像出力部と、
    　を備えることを特徴とする撮像装置。
  2. 　請求項１記載の撮像装置において、
    　前記撮像部は、可視光の波長領域に感度を持つ可視光画素と、赤外光または近赤外光の波長領域に感度を持つ非可視光画素と、を有することを特徴とする撮像装置。
  3. 　請求項１記載の撮像装置において、
    　前記第一信号処理部により生成された色差信号の利得を上げるように制御する色差制御手段を備えることを特徴とする撮像装置。
  4. 　請求項１記載の撮像装置において、
    　前記合成処理部は、前記第一信号処理部により生成された輝度信号の評価値に基づいた比率で、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成することを特徴とする撮像装置。
  5. 　請求項４記載の撮像装置において、
    　前記合成処理部は、前記第一信号処理部により生成された輝度信号の評価値が所定値以上のとき、前記第一信号処理部により生成された輝度信号の成分が、前記第二信号処理部により生成された輝度信号の成分よりも高い比率で、前記第一信号処理部により生成された輝度信号と前記第二信号処理部により生成された輝度信号とを合成することを特徴とする撮像装置。
  6. 　請求項１記載の撮像装置において、
    　前記第一信号処理部により生成された輝度信号の最大値が所定値以上の場合には、前記撮像部の露光時間を短縮するように制御する露光制御手段を備えることを特徴とする撮像装置。
PCT/JP2013/056889 2012-06-08 2013-03-13 撮像装置 WO2013183330A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012130385A JP2013255144A (ja) 2012-06-08 2012-06-08 撮像装置
JP2012-130385 2012-06-08

Publications (1)

Publication Number Publication Date
WO2013183330A1 true WO2013183330A1 (ja) 2013-12-12

Family

ID=49711732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/056889 WO2013183330A1 (ja) 2012-06-08 2013-03-13 撮像装置

Country Status (2)

Country Link
JP (1) JP2013255144A (ja)
WO (1) WO2013183330A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151287A (zh) * 2018-10-30 2019-01-04 泰州市华润纺织品有限公司 一种军用车载辅助夜视仪系统
CN110557526A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像采集方法和系统
US20200045211A1 (en) * 2016-10-08 2020-02-06 Hangzhou Hikvision Digital Technology Co., Ltd. Camera lens and camera
US10574910B2 (en) 2015-02-26 2020-02-25 Sony Semiconductor Solutions Corporation Method and apparatus for controlling a luminance composition unit
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
US10694118B2 (en) 2016-02-29 2020-06-23 Sony Corporation Signal processing apparatus, imaging apparatus, and signal processing method
JP7244129B1 (ja) 2021-10-13 2023-03-22 株式会社クロスエッジラボ ナイトビジョンカメラ

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111197A1 (ja) * 2014-01-24 2015-07-30 日立マクセル株式会社 撮像装置及び車載撮像システム
CN106165398B (zh) * 2014-04-04 2019-07-02 株式会社尼康 摄像元件、摄像装置以及图像处理装置
JP6677172B2 (ja) 2015-01-16 2020-04-08 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
JP6459809B2 (ja) * 2015-07-08 2019-01-30 オムロン株式会社 画像処理装置およびこれを備えた交通管理システム、画像処理方法
JP6439763B2 (ja) * 2016-08-23 2018-12-19 トヨタ自動車株式会社 画像処理装置
CN107845083B (zh) * 2016-09-19 2019-12-20 杭州海康威视数字技术股份有限公司 分光融合的图像采集设备
WO2018220780A1 (ja) 2017-06-01 2018-12-06 日本電気株式会社 画像生成装置、画像生成方法およびプログラムを記憶する記憶媒体
US11284044B2 (en) * 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
JP7232014B2 (ja) 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
CN110493579B (zh) * 2019-03-14 2022-07-29 杭州海康威视数字技术股份有限公司 一种彩色透雾方法、装置、摄像机及图像处理系统
JP7299762B2 (ja) 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
KR102463585B1 (ko) * 2020-11-30 2022-11-09 주식회사 앤씨앤 차량용 블랙박스 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007300463A (ja) * 2006-05-01 2007-11-15 Opt Kk カメラ装置および画像処理方法
WO2009133931A1 (ja) * 2008-04-30 2009-11-05 コニカミノルタオプト株式会社 撮像装置及び撮像素子
JP2010178111A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 撮像装置およびテレビドアホン装置
JP2011015086A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007300463A (ja) * 2006-05-01 2007-11-15 Opt Kk カメラ装置および画像処理方法
WO2009133931A1 (ja) * 2008-04-30 2009-11-05 コニカミノルタオプト株式会社 撮像装置及び撮像素子
JP2010178111A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 撮像装置およびテレビドアホン装置
JP2011015086A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
US10574910B2 (en) 2015-02-26 2020-02-25 Sony Semiconductor Solutions Corporation Method and apparatus for controlling a luminance composition unit
US10694118B2 (en) 2016-02-29 2020-06-23 Sony Corporation Signal processing apparatus, imaging apparatus, and signal processing method
US20200045211A1 (en) * 2016-10-08 2020-02-06 Hangzhou Hikvision Digital Technology Co., Ltd. Camera lens and camera
CN110557526A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像采集方法和系统
US11290646B2 (en) 2018-06-04 2022-03-29 Hangzhou Hikvision Digital Technology Co., Ltd. Image capturing
CN109151287A (zh) * 2018-10-30 2019-01-04 泰州市华润纺织品有限公司 一种军用车载辅助夜视仪系统
JP7244129B1 (ja) 2021-10-13 2023-03-22 株式会社クロスエッジラボ ナイトビジョンカメラ
JP2023058116A (ja) * 2021-10-13 2023-04-25 株式会社クロスエッジラボ ナイトビジョンカメラ

Also Published As

Publication number Publication date
JP2013255144A (ja) 2013-12-19

Similar Documents

Publication Publication Date Title
WO2013183330A1 (ja) 撮像装置
US11244209B2 (en) Image processing device, imaging device, and image processing method
US20170330053A1 (en) Color night vision system and operation method thereof
US8767074B2 (en) System and method of assisting visibility of driver
WO2012067028A1 (ja) 画像入力装置および画像処理装置
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
US20200045247A1 (en) Imaging apparatus, control method, recording medium, and information processing apparatus
JPWO2019146226A1 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
JP2017011633A (ja) 撮像装置
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
CN107871346B (zh) 行车记录仪
JP2015195489A (ja) 衝突防止システム、衝突防止方法およびコンピュータプログラム
KR101070050B1 (ko) 복합 기능 카메라 모듈
JP2018023077A (ja) ビデオカメラ撮像装置
JP6155674B2 (ja) 車両用視認装置
JP2007045336A (ja) 障害物検出システム及び障害物検出方法
US10063827B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP2012008845A (ja) 画像処理装置
JP2012010141A (ja) 画像処理装置
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
De Locht et al. Complementary metal-oxide-semiconductor (CMOS) image sensors for automotive applications
CN107872616B (zh) 行车记录方法及装置
JP2012010282A (ja) 撮像装置、露光制御方法及び露光制御プログラム
JP4795813B2 (ja) 車両周囲監視装置
KR20100019605A (ko) 후방 카메라 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13800943

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13800943

Country of ref document: EP

Kind code of ref document: A1