JP5464008B2 - Image input device - Google Patents

Image input device Download PDF

Info

Publication number
JP5464008B2
JP5464008B2 JP2010077457A JP2010077457A JP5464008B2 JP 5464008 B2 JP5464008 B2 JP 5464008B2 JP 2010077457 A JP2010077457 A JP 2010077457A JP 2010077457 A JP2010077457 A JP 2010077457A JP 5464008 B2 JP5464008 B2 JP 5464008B2
Authority
JP
Japan
Prior art keywords
light
image
signal
pixel
sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010077457A
Other languages
Japanese (ja)
Other versions
JP2011211497A (en
Inventor
淳 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2010077457A priority Critical patent/JP5464008B2/en
Publication of JP2011211497A publication Critical patent/JP2011211497A/en
Application granted granted Critical
Publication of JP5464008B2 publication Critical patent/JP5464008B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、画像入力装置に関し、可視光から赤外光までを受光して、画像を形成するために用いられる画像入力装置に関するものである。   The present invention relates to an image input device, and more particularly to an image input device that receives visible light to infrared light and forms an image.

例えば、夜間の監視用の監視カメラとして、赤外線を投射して被写体からの反射光を受光しモノクロ画像を形成するものが知られている。一方、昼間の監視用の監視カメラとしては、被写体から反射した自然光を受光してカラー画像を形成するものが知られている。しかるに、従来の監視カメラにおいては、夜間撮影用の撮像素子と昼間撮影用の撮像素子とで異なるものを用いているために、コストが高くなるという問題がある。   For example, a surveillance camera for monitoring at night is known that forms infrared images and receives reflected light from a subject to form a monochrome image. On the other hand, as a daytime monitoring camera, a camera that receives natural light reflected from a subject and forms a color image is known. However, the conventional surveillance camera has a problem in that the cost increases because different imaging devices are used for night photography and daytime photography.

これに対し特許文献1には、RGBフィルタの他にIRフィルタを有し、可視光から赤外光までの広帯域の光を受光する撮像素子を用いて、1度の撮影で、RGBフィルタを透過した光を用いて色情報を取得し、同時にIRフィルタを通過した光を用いて輝度情報を取得できるカラー画像再生装置が開示されている。   On the other hand, Patent Document 1 has an IR filter in addition to the RGB filter, and transmits the RGB filter in one shooting using an image sensor that receives a broadband light from visible light to infrared light. A color image reproducing device is disclosed that can acquire color information using the light that has been obtained and simultaneously acquire luminance information using the light that has passed through the IR filter.

特開2007−184805号公報JP 2007-184805 A

特許文献1の技術によれば、1つの撮像素子を用いて夜間撮影も昼間撮影も可能になり、モノクロ画像とカラー画像を重ね合わせることも可能になる。しかしながら、例えばハロゲンランプなどが被写体となる場合もあるが、図1に示すように、ハロゲンランプから投射されるハロゲン光は可視光成分に比べ赤外光成分が極端に多いため、同じ撮像素子で撮影を行うと、ハロゲンランプからの投射光を受光した画素において露光オーバーが生じる恐れがある。これを回避すべく全体の露光量を絞ると、可視光成分(RGB)の信号量が顕著に低下してしまい、その結果として色度信号のS/N比が大きく低下し、ノイズの多いざらついた低品質の画像を形成する恐れがある。又、特許文献1に開示されたフィルタは、それぞれR+IRのみ、G+IRのみ、B+IRのみ、IRのみ透過するという分光特性を有しているが、このような特性を有するフィルタを形成することは、現状ではかなり困難であるといえる。   According to the technique of Patent Document 1, it is possible to perform night shooting and daytime shooting using one image sensor, and it is also possible to superimpose a monochrome image and a color image. However, for example, a halogen lamp may be an object, but as shown in FIG. 1, the halogen light projected from the halogen lamp has an extremely large amount of infrared light component compared to the visible light component. When photographing is performed, overexposure may occur in the pixel that receives the projection light from the halogen lamp. If the entire exposure amount is reduced to avoid this, the signal amount of the visible light component (RGB) is remarkably reduced, and as a result, the S / N ratio of the chromaticity signal is greatly reduced and the noise is rough. There is a risk of forming a low-quality image. Further, the filter disclosed in Patent Document 1 has spectral characteristics such that only R + IR, only G + IR, only B + IR, and only IR are transmitted. However, forming a filter having such characteristics is not possible at present. It can be said that it is quite difficult.

本発明は、上述の問題に鑑みてなされたものであり、可視光から赤外光までの広帯域の光を受光する撮像素子を用いて、撮影条件に応じて適切な画像を得ることができる画像入力装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an image that can obtain an appropriate image according to shooting conditions using an imaging element that receives broadband light from visible light to infrared light. An object is to provide an input device.

第1の本発明の画像入力装置は、可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも3種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
撮影条件に応じて、前記画素のうち特定画素において、赤外光が含まれる波長帯域の光束を受光する感度を変化させることを特徴とする。
The image input device of the first aspect of the present invention receives at least three types of optical filters that transmit light beams in different wavelength bands in a wavelength region including visible light and infrared light, and light beams that have passed through the optical filter. An image sensor including a plurality of pixels that output a signal corresponding to the amount of received light; and an arithmetic unit that performs an arithmetic process on the signal from the image sensor. An image input device for inputting,
The sensitivity of receiving a light beam in a wavelength band including infrared light is changed in a specific pixel among the pixels in accordance with imaging conditions.

第2の本発明の画像入力装置は、可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも3種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
第1の画素群における赤外光の感度と、第2の画素群における赤外光の感度とを異ならせたことを特徴とする。
An image input device according to a second aspect of the present invention receives at least three types of optical filters that transmit light beams in different wavelength bands in a wavelength region including visible light and infrared light, and light beams that have passed through the optical filter. An image sensor including a plurality of pixels that output a signal corresponding to the amount of received light; and an arithmetic unit that performs an arithmetic process on the signal from the image sensor. An image input device for inputting,
The infrared light sensitivity in the first pixel group is different from the infrared light sensitivity in the second pixel group.

第1の本発明の画像入力装置によれば、撮影条件に応じて、前記画素のうち特定画素において、赤外光が含まれる波長帯域の光束を受光する感度を変化させるので、例えば昼間撮影の場合には一般的に可視光の入射が多いことから、特定画素としての全画素について、赤外光が含まれる波長帯域の光束を受光する感度を低下させ、それによりS/N比の良い高画質なカラー画像を形成し、一方、夜間撮影の場合には一般的に赤外光の入射が多いことから、特定画素としての全画素について、赤外光が含まれる波長帯域の光束を受光する感度を増大させ、それにより暗いシーンでも明瞭に被写体を撮影できる。更に、例えば夜間撮影において一部にハロゲンランプ等を含む被写体を撮影する場合もあるが、かかる場合、赤外光成分が多いハロゲン光を受光する画素を特定画素として、その特定画素のみ赤外光が含まれる波長帯域の光束を受光する感度を低減させることで適量の可視光を受光させ、他の画素については適量の赤外光を受光させることが出来、それにより単一の撮像素子を用いた場合でも、撮影条件に関わらず適正な色度情報と輝度情報とを得ることができる。   According to the image input device of the first aspect of the present invention, the sensitivity of receiving a light flux in a wavelength band including infrared light is changed in a specific pixel among the pixels according to shooting conditions. In general, since the incidence of visible light is large, the sensitivity of receiving a light flux in a wavelength band including infrared light is reduced for all pixels as a specific pixel, thereby increasing the S / N ratio. A high-quality color image is formed. On the other hand, in the case of night photography, since infrared light is generally incident, light beams in a wavelength band including infrared light are received for all pixels as specific pixels. Sensitivity is increased, so that the subject can be clearly photographed even in a dark scene. Furthermore, for example, a subject that partially includes a halogen lamp or the like may be shot at night shooting. In such a case, a pixel that receives halogen light having a large infrared light component is set as a specific pixel, and only the specific pixel is irradiated with infrared light. By reducing the sensitivity to receive the light flux in the wavelength band that contains, it is possible to receive an appropriate amount of visible light, and to receive an appropriate amount of infrared light for other pixels, thereby using a single image sensor Even in such a case, appropriate chromaticity information and luminance information can be obtained regardless of the shooting conditions.

尚、「異なる波長帯域の光束を透過させる光学フィルタ」とは、透過させる光の波長帯域が完全に一致していない光学フィルタをいい、透過させる光の波長帯域が部分的に異なるものを含む。このような光学フィルタとしては、例えば可視光領域と赤外光領域全域を透過するWフィルタ、可視光領域のうち緑色成分と赤色成分の領域と赤外光領域を透過するYeフィルタ、可視光領域のうち赤色成分の領域と赤外光領域を透過するRiフィルタ、赤外光領域のみを透過するIRフィルタの組み合わせがある。また例えば、通常の撮像素子で用いられるRGBフィルタに、赤外光領域のみを透過するIRフィルタを組み合わせて用いることもできる。更に、「赤外光が含まれる波長帯域の光束を受光する感度を変化させる」とは、例えば赤外光が画素に入射して電荷に変換されるとき、かかる電荷の排出量(捨てる量)を受光面からの深さに応じて変化させることをいい、具体的にはより浅いところからの電荷を排出するようにすれば当該感度は低下する。   The “optical filter that transmits light beams having different wavelength bands” refers to an optical filter in which the wavelength bands of light to be transmitted do not completely match, and includes those in which the wavelength bands of transmitted light are partially different. Examples of such an optical filter include a W filter that transmits the entire visible light region and the infrared light region, a Ye filter that transmits the green and red component regions and the infrared light region of the visible light region, and the visible light region. Among them, there is a combination of an Ri filter that transmits the red component region and the infrared light region, and an IR filter that transmits only the infrared light region. In addition, for example, an IR filter that transmits only the infrared light region may be used in combination with an RGB filter used in a normal imaging device. Furthermore, “change the sensitivity of receiving a light beam in a wavelength band including infrared light” means that, for example, when infrared light is incident on a pixel and converted into a charge, the amount of discharge (amount discarded) of the charge Is changed according to the depth from the light receiving surface. Specifically, if the electric charge is discharged from a shallower portion, the sensitivity is lowered.

本発明の一態様によれば、被写体から投射される赤外光の量と可視光の量とを比較して評価値を算出し、前記評価値に基づいて前記特定画素の感度を変化させることができる。例えば上述のW、Ye、Ri、IRフィルタを用いる場合、Wフィルタを通過した光を受光した画素から出力される可視光+赤外光の量をAとし、IRフィルタを通過した光を受光した画素から出力される赤外光の量をBとしたときに、B/Aを評価値として、かかる評価値が0.5より大きい場合には、IRフィルタを通過した光を受光する画素(特定画素)の感度を、それ以外の画素の感度より低くし、一方、評価値が0.5より小さい場合には、特定画素の感度を、それ以外の画像の感度より高くすることができる。   According to an aspect of the present invention, the evaluation value is calculated by comparing the amount of infrared light projected from the subject and the amount of visible light, and the sensitivity of the specific pixel is changed based on the evaluation value. Can do. For example, when using the above-described W, Ye, Ri, and IR filters, the amount of visible light + infrared light output from a pixel that receives light that has passed through the W filter is A, and light that has passed through the IR filter is received. When the amount of infrared light output from a pixel is B, if B / A is an evaluation value and the evaluation value is greater than 0.5, a pixel that receives light that has passed through an IR filter (specification) If the evaluation value is smaller than 0.5, the sensitivity of the specific pixel can be made higher than the sensitivity of the other image.

本発明の一態様によれば、被写体の明るさの度合いに基づいて前記特定画素の感度を変化させることができる。例えば被写体の照度が高い場合、昼間の撮影であるとして、前記特定画素として全ての画素の前記感度を低下させ、一方、被写体の照度が低い場合、夜間の撮影であるとして、前記特定画素として全ての画素の前記感度を増大させることができる。又、被写体の一部の明るさの度合いが高い場合、明るさの度合いの高い被写体からの光束を受光する画素を前記特定画素として前記感度を低下させて、適量の可視光を受光させ、前記特定画素以外の画素においては、前記特定画素よりも高い前記感度により適量の赤外光を受光させることが出来る。被写体の明るさの度合いは、露出制御等を行う過程で推定でき、それにより評価値を算出することもできる。   According to one aspect of the present invention, the sensitivity of the specific pixel can be changed based on the brightness level of the subject. For example, when the illuminance of the subject is high, the sensitivity of all the pixels is reduced as the specific pixel, assuming that the shooting is during the daytime. The sensitivity of the pixels can be increased. Further, when the brightness level of a part of the subject is high, the sensitivity is reduced by using a pixel that receives a light beam from a subject with a high brightness level as the specific pixel, and an appropriate amount of visible light is received. In pixels other than the specific pixel, an appropriate amount of infrared light can be received with the sensitivity higher than that of the specific pixel. The degree of brightness of the subject can be estimated in the process of performing exposure control and the like, and an evaluation value can be calculated accordingly.

本発明の一態様によれば、被写体から投射される光に含まれる自然光の量と人工光の量との割合を算出し、前記割合に基づいて前記特定画素の感度を変化させることができる。自然光の量と人工光の量との割合を表す値としては、前記評価値を用いることができるが、それに限られない。   According to one aspect of the present invention, it is possible to calculate the ratio between the amount of natural light and the amount of artificial light included in the light projected from the subject, and change the sensitivity of the specific pixel based on the ratio. The evaluation value can be used as a value representing the ratio between the amount of natural light and the amount of artificial light, but is not limited thereto.

本発明の一態様によれば、前記光学フィルタの種類に応じて前記特定画素の感度を変化させることができる。例えば赤外光のみを透過するIRフィルタを設けた画素の感度を変化させると好ましい。   According to one aspect of the present invention, the sensitivity of the specific pixel can be changed according to the type of the optical filter. For example, it is preferable to change the sensitivity of a pixel provided with an IR filter that transmits only infrared light.

本発明の一態様によれば、前記特定画素は、前記撮像素子の受光面における一部の領域に配置されることができる。例えば、定点監視カメラのような場合、ハロゲンランプが常に撮影画面上の特定位置にあるようなシーンを監視する場合もあるが、その場合、ハロゲン光が入射する画素の感度のみを低減させるようにすれば、夜間でも高画質なカラー画像を撮影できる。   According to an aspect of the present invention, the specific pixel can be arranged in a partial region on the light receiving surface of the imaging element. For example, in the case of a fixed point monitoring camera, there may be a case where a scene where the halogen lamp is always at a specific position on the shooting screen may be monitored. In such a case, only the sensitivity of the pixels to which the halogen light is incident is reduced. If so, you can shoot high-quality color images at night.

本発明の一態様によれば、撮影条件に応じて、前記撮像素子の受光面上における前記特定画素の位置を変更可能とできる。例えば、パンやチルトが可能な監視カメラの場合、カメラの移動に応じて、ハロゲンランプなどが撮影画面上を移動するので、その移動に応じて特定画素を変えることで、ハロゲン光が入射する特定画素の感度のみを低減させることで、カメラの移動に関わらず高画質なカラー画像を撮影できる。   According to one aspect of the present invention, the position of the specific pixel on the light receiving surface of the image sensor can be changed in accordance with shooting conditions. For example, in the case of a surveillance camera capable of panning and tilting, a halogen lamp moves on the shooting screen according to the movement of the camera. By reducing only the pixel sensitivity, a high-quality color image can be taken regardless of the movement of the camera.

本発明の一態様によれば、前記特定画素の感度を変化させながら、連続的に被写体を撮像することにより複数のフレームからなる動画を形成することができる。前記感度の変化は連続的でも良いしステップ的でも良く、更に1枚もしくは複数のフレーム毎に周期的に全期間度を変化させても良い。   According to one aspect of the present invention, a moving image including a plurality of frames can be formed by continuously capturing an image of a subject while changing the sensitivity of the specific pixel. The change in sensitivity may be continuous or stepwise, and the entire period may be changed periodically for one or more frames.

本発明の一態様によれば、前記特定画素の感度を変化させながら、連続的に被写体を撮像することにより、異なる条件で撮像した複数の画像から一つの画像を形成することを連続して行って動画を形成することができる。   According to an aspect of the present invention, a single image is continuously formed from a plurality of images captured under different conditions by continuously capturing a subject while changing the sensitivity of the specific pixel. Video can be formed.

本発明の一態様によれば、前記特定画素毎に、感度を異ならせることができる。かかる場合、特定画素は全画素であっても良く、また個々の特定画素毎に前記感度を変えても良く、或いは画素のグループ毎に前記感度を変えても良い。   According to one aspect of the present invention, it is possible to vary the sensitivity for each specific pixel. In this case, the specific pixels may be all pixels, the sensitivity may be changed for each specific pixel, or the sensitivity may be changed for each group of pixels.

本発明の一態様によれば、一画素毎に感度を異ならせることができる。   According to one embodiment of the present invention, the sensitivity can be varied for each pixel.

本発明の一態様によれば、前記撮像素子は、境界波長未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段と、前記境界波長以上の光を受光することによって発生した電荷を排出する排出手段とを有する画素を含むことができる。境界波長としては、赤外光と可視光とを区分する700nm前後の波長がある。   According to an aspect of the present invention, the imaging device captures charges generated by receiving light having a wavelength less than the boundary wavelength, converts the charges into a signal, and outputs the signal, and receives light having the wavelength longer than the boundary wavelength. Thus, a pixel having discharge means for discharging the electric charge generated by doing so can be included. As the boundary wavelength, there is a wavelength of around 700 nm that separates infrared light and visible light.

本発明の一態様によれば、前記排出手段は、前記捕捉手段よりも光の入射面から深い位置に設けられている。   According to an aspect of the present invention, the discharge unit is provided at a position deeper than the light incident surface than the capturing unit.

本発明の一態様によれば、前記排出手段が排出する電荷の排出量は、外部から入力されるバイアス電圧制御信号に応じて可変となっている。   According to one aspect of the present invention, the discharge amount of the charge discharged by the discharging means is variable according to a bias voltage control signal input from the outside.

第2の本発明によれば、第1の画素群における赤外光の感度と、第2の画素群における赤外光の感度とを異ならせたので、例えば固定された監視カメラ等でハロゲンランプ等を含む被写体を撮影する場合には、撮影画面上ハロゲンランプ等の位置が固定されるので、赤外光成分が多いハロゲン光を受光する画素を第1の画素群とし、それ以外の画素を第2の画素群として、第1の画素群のみの感度を低減させることで露出オーバーを抑制しつつ、他の画素については十分な露光量の可視光を受光させることが出来、それにより単一の撮像素子を用いた場合でも、撮影条件に関わらず適正な色度情報と輝度情報とを得ることができる。   According to the second aspect of the present invention, since the sensitivity of the infrared light in the first pixel group is different from the sensitivity of the infrared light in the second pixel group, for example, a halogen lamp is used with a fixed surveillance camera or the like. When photographing a subject including the above, the position of a halogen lamp or the like is fixed on the photographing screen. Therefore, the pixels that receive halogen light having a large infrared light component are set as the first pixel group, and the other pixels are set. As the second pixel group, by reducing the sensitivity of only the first pixel group, it is possible to receive visible light with a sufficient exposure amount for the other pixels while suppressing overexposure, thereby allowing a single pixel. Even when this image sensor is used, appropriate chromaticity information and luminance information can be obtained regardless of the photographing conditions.

本発明の一態様によれば、前記第1の画素群における赤外光の感度は、前記第2の画素群における赤外光の感度より低く、前記第1の画素群の周囲に、前記第2の画素群が配置されているようにできる。例えば監視カメラにおいて、夜間時被写体に対してライトを点灯する場合もあるが、かかる場合、被写体の中央からは可視光が反射されるが、周囲は暗いままであることが多い。そこで、被写体の中央からの可視光を受光する前記第1の画素群の感度を低くし、周囲からの光を受光する前記第2の画素群の感度を高くすることで、明るい被写体も暗い被写体も同時に監視することが可能になる。   According to an aspect of the present invention, the sensitivity of the infrared light in the first pixel group is lower than the sensitivity of the infrared light in the second pixel group, and the first pixel group is surrounded by the first pixel group. Two pixel groups can be arranged. For example, in a surveillance camera, a light may be lit on a subject at night. In such a case, visible light is reflected from the center of the subject, but the surroundings often remain dark. Therefore, by reducing the sensitivity of the first pixel group that receives visible light from the center of the subject and increasing the sensitivity of the second pixel group that receives light from the surroundings, a bright subject can be a dark subject. Can be monitored simultaneously.

本発明の一態様によれば、連続的に被写体を撮像する場合において、前記第1の画素群からの信号と、前記第2の画素群からの信号とを交互に出力し、それにより主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成できるようになっている。   According to one aspect of the present invention, in the case of continuously capturing an image of a subject, a signal from the first pixel group and a signal from the second pixel group are alternately output, and thereby mainly visible. A moving image composed of a plurality of frames alternately including images based on light and images mainly based on infrared light can be formed.

以下、図面を参照して本発明の実施の形態を詳細に説明する。図2は、本実施の形態に係る画像入力装置MGの概略図である。かかる画像入力装置MGは、監視カメラに用いることができるが、用途はそれに限られない。画像入力装置MGは、レンズ101、撮像素子102、A/D変換部103,画像処理部104、制御部105,電圧制御部106、及び電圧発生部107を備えている。レンズ101は、制御部105により制御される不図示の絞りやシャッタを備えている。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 2 is a schematic diagram of the image input device MG according to the present embodiment. Such an image input device MG can be used for a surveillance camera, but its application is not limited thereto. The image input device MG includes a lens 101, an image sensor 102, an A / D converter 103, an image processor 104, a controller 105, a voltage controller 106, and a voltage generator 107. The lens 101 includes a diaphragm and a shutter (not shown) controlled by the control unit 105.

詳細は後述する撮像素子102は、PD(フォトダイオード)からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子102を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子102としては、CMOSイメージセンサ、VMlSイメージセンサ、及びCCDイメージセンサ等の種々の撮像センサを採用することができる。   The image pickup element 102, which will be described in detail later, includes a light receiving unit composed of a PD (photodiode), an output circuit that outputs a signal photoelectrically converted by the light receiving unit, and a drive circuit that drives the image pickup element 102. Original image data having different levels is generated. Here, as the image sensor 102, various image sensors such as a CMOS image sensor, a VMlS image sensor, and a CCD image sensor can be employed.

本実施の形態において、撮像素子102は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、素通しのフィルタを備えた又はフィルタのない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する機能を有する。   In the present embodiment, the image sensor 102 captures a visible color image component with a pixel including a color filter, captures an infrared image component with a pixel including an infrared filter, and includes a transparent filter or no filter. The pixel has a function of capturing a luminance image component including a visible luminance image component and an infrared image component.

演算手段である画像処理部104は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子102から出力されたアナログ信号をA/D変換部103でA/D変換したデジタル信号を入力して、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する機能を有する。   The image processing unit 104 serving as a calculation means includes a calculation circuit and a memory used as a work area of the calculation circuit, and is a digital signal obtained by A / D converting the analog signal output from the image sensor 102 by the A / D conversion unit 103. , And after executing image processing to be described later, for example, it has a function of outputting to an unillustrated memory or display device.

制御部105は、CPU及びCPUが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置MGの全体制御を司る機能を有する。   The control unit 105 includes a CPU and a memory that stores a program executed by the CPU, and has a function of controlling the entire image input device MG in response to an external control signal.

画像入力装置MGの動作を説明する。被写体光は、レンズ101を介して撮像素子102の受光面に受光される。被写体光は、撮像素子102の画素で光電変換され、入射光量に応じたアナログ信号となってA/D変換部103に入力され、デジタル信号に変換される。A/D変換部103のデジタル信号は、画像処理部104に入力され、画像信号(RGB、YCC等)として出力され、不図示のモニタに表示されたり、メモリに記憶される。   The operation of the image input device MG will be described. Subject light is received by the light receiving surface of the image sensor 102 via the lens 101. Subject light is photoelectrically converted by the pixels of the image sensor 102, converted into an analog signal corresponding to the amount of incident light, input to the A / D converter 103, and converted into a digital signal. The digital signal of the A / D conversion unit 103 is input to the image processing unit 104, output as an image signal (RGB, YCC, etc.), displayed on a monitor (not shown), or stored in a memory.

一方、画像処理部104は、被写体の明るさ情報(明るさの度合い)や波長情報に基づいて、撮像素子のポテンシャルを制御するための露光データや光源データを作成し、制御部105に入力する。露光データや光源データに基づいて、制御部105は、電圧制御部106を駆動制御して、電圧発生部107に所定のバイアス電圧を発生させ、撮像素子に供給するようになっている。   On the other hand, the image processing unit 104 creates exposure data and light source data for controlling the potential of the imaging element based on the brightness information (brightness level) and wavelength information of the subject, and inputs them to the control unit 105. . Based on the exposure data and the light source data, the control unit 105 drives and controls the voltage control unit 106 to generate a predetermined bias voltage in the voltage generation unit 107 and supply it to the image sensor.

図3は、本実施の形態に係る撮像素子102の1画素の断面構造を模式的に示す図である。この画素構造では、第1の導電体であるp型の基板2の表面において、素子分離領域3によって1画素分に区画された領域に、光電変換部となる第2の導電体であるn型のフォトダイオード4を形成したCMOSイメージセンサの例を示している。本実施の形態では、前記各フォトダイオード4の基板深部に、第2の導電体であるn型のキャリア排出領域5が埋込まれている。そのキャリア排出領域5は、バイアス電圧Bを印加するために、基板2の表面のコンタクト部6まで、垂直にn型領域7で接続されている。図3では、フォトダイオード4と転送ゲート8との境界部と、キャリア排出領域5の端部とが一致しているが、これに限らない。転送ゲート8によるキャリアのフローティングディフュージョン(以下、FDと略称)9への完全転送が可能であれば、キャリア排出領域5は、図3よりも転送ゲート8方向に伸延されていてもよい。   FIG. 3 is a diagram schematically showing a cross-sectional structure of one pixel of the image sensor 102 according to the present embodiment. In this pixel structure, on the surface of the p-type substrate 2 that is the first conductor, an n-type that is the second conductor serving as a photoelectric conversion portion is provided in a region partitioned by one element isolation region 3. 2 shows an example of a CMOS image sensor in which the photodiode 4 is formed. In the present embodiment, an n-type carrier discharge region 5, which is a second conductor, is embedded in the substrate deep portion of each photodiode 4. The carrier discharge region 5 is vertically connected to the contact portion 6 on the surface of the substrate 2 by an n-type region 7 in order to apply a bias voltage B. In FIG. 3, the boundary between the photodiode 4 and the transfer gate 8 coincides with the end of the carrier discharge region 5, but this is not restrictive. As long as the carrier can be completely transferred to the floating diffusion (hereinafter abbreviated as FD) 9 by the transfer gate 8, the carrier discharge region 5 may be extended in the direction of the transfer gate 8 as compared with FIG.

図4は、撮像素子102の全体の電気的構成を示す図であり、図5はその1画素分の回路構成を示す図である。図6は、撮像素子102の有するフィルタFの一部を示す概略図である。図7は、撮像素子の分光感度特性を含むフィルタFの分光特性を示す図である。これら図3〜図7で示す構成と同等の機能を有するものであれば、図に示す構成に限らない。   FIG. 4 is a diagram showing an overall electrical configuration of the image sensor 102, and FIG. 5 is a diagram showing a circuit configuration for one pixel. FIG. 6 is a schematic diagram illustrating a part of the filter F included in the image sensor 102. FIG. 7 is a diagram illustrating the spectral characteristics of the filter F including the spectral sensitivity characteristics of the image sensor. Any structure having the same functions as those shown in FIGS. 3 to 7 is not limited to the structure shown in the figure.

図6に示すように、画素単位にマトリクス状に繰り返し配設される画素フィルタは、4種類のフィルタ(光学フィルタともいう)W、Ye、Ri、IRからなっている。より具体的には、第1行第1列にフィルタRiが配列され、第2行第1列にフィルタIRが配列され、第1行第2列にフィルタWが配列され、第2行第2列にフィルタYeが配列されるというように、フィルタR、フィルタIR、フィルタW,及びフィルタYeは干鳥状に配列されている。但し、これは一例であり、他のパターンでフィルタR、フィルタIR、フィルタW、及びフィルタYeを千鳥状に配列してもよい。尚、フィルタWは素通しでもよく、その場合にはフィルタFは3種類の光学フィルタからなる。   As shown in FIG. 6, the pixel filter repeatedly arranged in a matrix for each pixel is composed of four types of filters (also referred to as optical filters) W, Ye, Ri, and IR. More specifically, the filter Ri is arranged in the first row and the first column, the filter IR is arranged in the second row and the first column, the filter W is arranged in the first row and the second column, and the second row second The filter R, the filter IR, the filter W, and the filter Ye are arranged in a zigzag manner so that the filter Ye is arranged in a row. However, this is an example, and the filter R, the filter IR, the filter W, and the filter Ye may be arranged in a zigzag pattern in other patterns. Note that the filter W may be transparent, and in this case, the filter F includes three types of optical filters.

フィルタWは、可視光と赤外光を全て透過し、フィルタYeは緑色光から赤外光までを透過し、フィルタRiは赤色と赤外光とを透過し、フィルタIRは赤外光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。図7において、フィルタ(W,Ye,Ri,IR)の分光特性の一例を示しているが、例えばフィルタYeは500nm前後のカットオフ周波数を持ち、フィルタRiは600nm前後にカットオフ周波数を持ち、フィルタIRは700nm前後にカットオフ周波数を持つ。フィルタWはカットオフ周波数を有していない。この様なフィルタFは、通常、撮像装置のレンズと受光素子との間に挿入配置される。ここでは、400nm〜700nmを可視光波長領域とし、700nm〜1100nmを赤外光波長領域とする。   The filter W transmits all visible light and infrared light, the filter Ye transmits green light to infrared light, the filter Ri transmits red light and infrared light, and the filter IR transmits only infrared light. To Penetrate. Each of these filters corresponds to one pixel. FIG. 7 shows an example of the spectral characteristics of the filter (W, Ye, Ri, IR). For example, the filter Ye has a cutoff frequency of around 500 nm, the filter Ri has a cutoff frequency of around 600 nm, The filter IR has a cutoff frequency around 700 nm. The filter W does not have a cutoff frequency. Such a filter F is usually inserted and disposed between the lens of the imaging device and the light receiving element. Here, the visible light wavelength region is 400 nm to 700 nm, and the infrared light wavelength region is 700 nm to 1100 nm.

以上の構成のフィルタの代わりにYe、M(マゼンタ)+IR、C(シアン)十IR(但し、M+IRは、緑色光のみを遮蔽し、C+IRは赤色光のみを遮蔽する。)でも実現可能である。ただし、フィルタ(Ye,Ri,IR)は、分光透過特性が急峻にすることができ、例えば、M+IRフィルタやC+IRフィルタに比べて、分光透過特性が良好である。つまり、M+IRフィルタ及びC+IRフィルタは、それぞれ、可視光波長+赤外光波長帯域のうち、中央の一部の領域である緑色光領域及び赤色光領域のみを遮蔽する特性を有しており、このようなフィルタに、フィルタ(Ye,Ri,IR)のような急峻な分光透過特性を持たせることは困難である。そのため、M+IRフィルタ及びC+IRフィルタは、それぞれ、演算してもRGB画像成分を精度良く抽出することができない。よって、フィルタ(W,Ye,Ri,IR)を用いて撮像素子102を構成することで、撮像素子102の高性能化を図ることができる。   Instead of the filter configured as described above, Ye, M (magenta) + IR, C (cyan) + IR (where M + IR blocks only green light and C + IR blocks only red light) can be realized. . However, the filter (Ye, Ri, IR) can have a steep spectral transmission characteristic, and has a better spectral transmission characteristic than, for example, an M + IR filter or a C + IR filter. That is, each of the M + IR filter and the C + IR filter has a characteristic of shielding only the green light region and the red light region, which are partial regions in the center, of the visible light wavelength + infrared light wavelength band. It is difficult for such a filter to have a steep spectral transmission characteristic such as a filter (Ye, Ri, IR). Therefore, each of the M + IR filter and the C + IR filter cannot extract the RGB image components with high accuracy even if the calculation is performed. Therefore, by configuring the image sensor 102 using the filters (W, Ye, Ri, IR), the performance of the image sensor 102 can be improved.

図8は、画像処理部104の詳細な構成を示すブロック図である。画像処理部104は、露出補正部104a、色補間部104b、色信号生成部104c、色空間変換部104d、及び光源検出部104eを備えている。   FIG. 8 is a block diagram illustrating a detailed configuration of the image processing unit 104. The image processing unit 104 includes an exposure correction unit 104a, a color interpolation unit 104b, a color signal generation unit 104c, a color space conversion unit 104d, and a light source detection unit 104e.

露出補正部104aは、撮像素子102からの信号を入力して、露光データを生成して制御部105に出力する。制御部105(図2)は、露光データに基づき、露出が適正になるように撮像素子の露光時間等を調整する。   The exposure correction unit 104 a receives a signal from the image sensor 102, generates exposure data, and outputs it to the control unit 105. Based on the exposure data, the control unit 105 (FIG. 2) adjusts the exposure time of the image sensor so that the exposure is appropriate.

色補間部104bは、フィルタYeを通過した光束を受光した画素の出力信号である画像成分Ye、フィルタRiを通過した光束を受光した画素の出力信号である画像成分Ri、フィルタIRを通過した光束を受光した画素の出力信号である画像成分IR、及びフィルタWを通過した光束を受光した画素の出力信号である画像成分Wのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ri、画像成分IR、画像成分W、及び画像成分Yeのそれぞれを撮像素子102の画素数と同一画素数からなる画像データにする。なお、画像成分Ye、Ri、IR、Wに欠落画素データが発生するのは、フィルタ(W,Ye,Ri,IR)が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。   The color interpolation unit 104b receives an image component Ye that is an output signal of a pixel that has received a light beam that has passed through the filter Ye, an image component Ri that is an output signal of a pixel that has received the light beam that has passed through a filter Ri, and a light beam that has passed through a filter IR. Interpolation processing for interpolating the missing pixel data is performed on each of the image component IR that is an output signal of the pixel that has received the light and the image component W that is the output signal of the pixel that has received the light beam that has passed through the filter W, and the image component Each of Ri, image component IR, image component W, and image component Ye is converted into image data having the same number of pixels as the number of pixels of the image sensor 102. Note that missing pixel data is generated in the image components Ye, Ri, IR, and W because the filters (W, Ye, Ri, and IR) are arranged in a staggered pattern. Also. As the interpolation process, for example, a linear interpolation process may be employed.

光源検出部104eは、色補間部104bにより補間処理が施された画像成分Yeと、画像成分Riと、画像成分IRと、画像成分Wとを入力して、これらを比較することで、評価値を算出し、これを光源データとして制御部105に出力する。一例として、例えば画像成分Wの値をAとし、画像成分IRの値をBとしたときに、B/Aを評価値とできる。制御部105は、評価値に基づき後述するバイアス電圧の値を変更して、撮像素子のポテンシャルを制御する。   The light source detection unit 104e receives the image component Ye, the image component Ri, the image component IR, and the image component W that have been subjected to the interpolation processing by the color interpolation unit 104b, and compares them to obtain an evaluation value. Is output to the control unit 105 as light source data. As an example, for example, when the value of the image component W is A and the value of the image component IR is B, B / A can be the evaluation value. The control unit 105 controls the potential of the image sensor by changing a bias voltage value to be described later based on the evaluation value.

色信号生成部104cは、色補間部104bにより補間処理が施された画像成分Yeと、画像成分Riと、画像成分IRと、画像成分Wとを式(1)により合成して、色信号dR、dG、dB(RGB色信号)を生成する。
dR=Ri−IR
dG=Ye−Ri ・・・・・(1)
dB=W−Ye
The color signal generation unit 104c synthesizes the image component Ye, the image component Ri, the image component IR, and the image component W that have been subjected to the interpolation processing by the color interpolation unit 104b, using the equation (1), and the color signal dR , DG, dB (RGB color signal) are generated.
dR = Ri-IR
dG = Ye-Ri (1)
dB = W-Ye

色空間変換部104dは、式(2)に示すように、色信号dR,dG,dBを、輝度信号Y(第2の強度信号の一例)と色差信号Cb、Cr(色度信号の一例)とを含む色空間に変換する、ここで、色差信号Cbは青の色差信号を示し、色差信号Crは赤の色差信号を示す。
Y=0.3dR+0.59dG+0.11dB
Cb=dB−Y ・・・・・(2)
Cr=dR−Y
The color space conversion unit 104d converts the color signals dR, dG, and dB into a luminance signal Y (an example of a second intensity signal) and color difference signals Cb and Cr (an example of a chromaticity signal), as shown in Expression (2). The color difference signal Cb indicates a blue color difference signal, and the color difference signal Cr indicates a red color difference signal.
Y = 0.3dR + 0.59dG + 0.11dB
Cb = dB-Y (2)
Cr = dR−Y

また、色空間変換部104dは、式(3)に示すように、画像成分Ye、Ri、IR、Wを加算することで得られ輝度信号Yadd(第1の強度信号の一例)を、変換対象となる色空間の輝度信号として算出する。
Yadd=(1/4)x(Ri十IR十W十Ye) ・・・・・(3)
Further, the color space conversion unit 104d converts the luminance signal Yadd (an example of the first intensity signal) obtained by adding the image components Ye, Ri, IR, and W, as shown in Expression (3), into the conversion target. Is calculated as a luminance signal of the color space.
Yadd = (1/4) x (Ri + IR + W + Ye) (3)

ここで、輝度信号Yaddは、加算処理により算出されているため。減算処理により輝度信号Yを算出した場合に比べてノイズ成分を低くすることができる。   Here, the luminance signal Yadd is calculated by the addition process. The noise component can be reduced as compared with the case where the luminance signal Y is calculated by the subtraction process.

更に図8において、色空間変換部104dは、式(2)で求めた色差信号Cb、Crをスムージング処理し、色差信号Cbs、Crsを算出する。ここで,スムージング処理としては、例えば、5×5等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Cb、Crを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。   Further, in FIG. 8, the color space conversion unit 104d performs the smoothing process on the color difference signals Cb and Cr obtained by Expression (2) to calculate the color difference signals Cbs and Crs. Here, as the smoothing process, for example, a cascade filter process, which is a filter process that multi-resolutions the color difference signals Cb and Cr by repeatedly using a relatively small size low-pass filter such as 5 × 5, is adopted. Also good. Further, a filter process using a low-pass filter of a predetermined size having a relatively large size may be employed.

また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ(画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ)処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。   Also, an edge-preserving filter that smoothes areas other than edges without blurring the subject that emits light (smoothing when the signal level difference between pixels is smaller than a certain reference value, and smoothing the part larger than the reference value Filter) processing that does not enable conversion may be employed. Note that it can be estimated that light emission is detected by comparing an infrared component and a visible light component.

このように、色差信号Cb,Crにスムージング処理を行うことで、色差信号Cb、Crに含まれるノイズ成分がぼかされ、色差信号Cb、CrのS/N比を向上させることができる。   As described above, by performing the smoothing process on the color difference signals Cb and Cr, the noise components included in the color difference signals Cb and Cr are blurred, and the S / N ratio of the color difference signals Cb and Cr can be improved.

また、色空間変換部104dは、式(4)に示すように、式(2)で求めた輝度信号Yに対する式(3)で求めた輝度信号Yaddの割合RT1(第1の割合:RT1=Yadd/Y)に応じて色差信号Crs、Cbsを補正し、色差信号Crm、Cbmを求める。
Crm=Crs×Yadd/Y
Cbm=Cbs×Yadd/Y ・・・・・(4)
Further, as shown in the equation (4), the color space conversion unit 104d has a ratio RT1 of the luminance signal Yadd obtained by the equation (3) to the luminance signal Y obtained by the equation (2) (first ratio: RT1 = The color difference signals Crs and Cbs are corrected according to Yadd / Y) to obtain the color difference signals Crm and Cbm.
Crm = Crs × Yadd / Y
Cbm = Cbs × Yadd / Y (4)

このように割合RT1を用いて色差信号Crs,Cbsを補正することで、変換対象となる色空間における色差信号と輝度信号とをバランス良く算出することができる。この処理を行なわないと、色信号dR´、dG´、dB´を計算したとき、輝度信号Yaddが輝度信号Yよりも大きい場合には鮮やかさが矢われ、輝度信号Yaddが輝度信号Yよりも小さい場合には鮮やかさが過剰になる問題を引き起こす。   In this way, by correcting the color difference signals Crs and Cbs using the ratio RT1, the color difference signal and the luminance signal in the color space to be converted can be calculated with good balance. Without this processing, when the color signals dR ′, dG ′, and dB ′ are calculated, if the luminance signal Yadd is larger than the luminance signal Y, the vividness will be lost, and the luminance signal Yadd will be greater than the luminance signal Y. If it is small, it causes the problem of excessive vividness.

次に、画像入力装置MGの動作について説明する。図9は、第1の実施の形態にかかる画像入力装置MGの動作を示すフローチャートである。まず、制御部105は、撮像素子102に1フレームの原画像データを撮像させる。これにより。画像成分Ye、Ri、IR、Wが得られる(ステップS1)。   Next, the operation of the image input device MG will be described. FIG. 9 is a flowchart illustrating the operation of the image input device MG according to the first embodiment. First, the control unit 105 causes the image sensor 102 to capture one frame of original image data. By this. Image components Ye, Ri, IR, and W are obtained (step S1).

ここで、撮像素子102は、フィルタYeを通過した光束を受光する画素により画像成分Yeを撮像し、フィルタRiを通過した光束を受光する画素により画像成分Riを撮像し、フィルタIRを通過した光束を受光する画素により画像成分IRを撮像し、フィルタWを通過した光束を受光する画素により画像成分Wを撮像する。なお、画像入力装置MGが動画像を撮像する場合、制御部105は、30fps、60fps等のフレームレートで撮像素子102に原画像データを撮像させればよい。また、画像入力装置MGが静止画像を撮像する場合、制御部105は、ユーザによりレリーズボタンが押されたときに、撮像素子102に原画像データを撮像させればよい。   Here, the image sensor 102 captures the image component Ye with a pixel that receives the light beam that has passed through the filter Ye, images the image component Ri with a pixel that receives the light beam that has passed through the filter Ri, and the light beam that has passed through the filter IR. The image component IR is picked up by the pixels that receive the light, and the image component W is picked up by the pixels that receive the light flux that has passed through the filter W. When the image input device MG captures a moving image, the control unit 105 may cause the image sensor 102 to capture the original image data at a frame rate such as 30 fps or 60 fps. When the image input device MG captures a still image, the control unit 105 may cause the image sensor 102 to capture the original image data when the user presses the release button.

次に、画像処理部104における色補間部104bにより、画像成分Ye,Ri,IR,Wに色補間処理が施される。次に、色信号生成部104cは、式(1)に示すdR=Ri−IR、dG=Ye−Ri、dB=W−Yeの演算を行い色信号dR、dG、dBを算出する(ステップS2)。   Next, color interpolation processing is performed on the image components Ye, Ri, IR, and W by the color interpolation unit 104 b in the image processing unit 104. Next, the color signal generation unit 104c calculates the color signals dR, dG, and dB by calculating dR = Ri-IR, dG = Ye-Ri, and dB = W-Ye shown in Expression (1) (Step S2). ).

次に、色信号生成部104cは、式(2)に示すY=0.3dR+0.59dG+0.11dB、Cb=dB−Y、Cr=dR−Yの演算を行い、輝度信号Y、色差信号Cr,Cbを算出する(ステップS3)。   Next, the color signal generation unit 104c calculates Y = 0.3dR + 0.59dG + 0.11dB, Cb = dB−Y, and Cr = dR−Y shown in Expression (2), thereby obtaining the luminance signal Y, the color difference signal Cr, Cb is calculated (step S3).

次に、色空間変換部104dは、色差信号Cr、Cbにスムージング処理を行い、色差信号Crs、Cbsを算出する(ステップS4)。   Next, the color space conversion unit 104d performs a smoothing process on the color difference signals Cr and Cb to calculate the color difference signals Crs and Cbs (step S4).

次に、色空間変換部104dは、式(1)に示すYadd=(1/4)×(Ri+IR+W+Ye)の演算を行い、輝度信号Yaddを算出する(ステップS5)。   Next, the color space conversion unit 104d calculates Yadd = (1/4) × (Ri + IR + W + Ye) shown in Expression (1) to calculate the luminance signal Yadd (step S5).

なお、本実施の形態では、式(1)に示すように、画像成分Ri、IR、W、Yeを加算することで輝度信号Yaddを算出したが、これに限定されず、例えば式(1)´に示すように重み付け加算することで輝度信号Yaddを算出してもよい。
Yadd=a・Ri+β・IR+γ・W+s・Ye ・・・・(1)´
In the present embodiment, the luminance signal Yadd is calculated by adding the image components Ri, IR, W, and Ye as shown in Expression (1). However, the present invention is not limited to this. For example, Expression (1) The luminance signal Yadd may be calculated by weighted addition as indicated by '.
Yadd = a · Ri + β · IR + γ · W + s · Ye (1) ′

ここで、a、β、γ、sは重み付け係数であり、a+β+γ+s=1である。また、a、β、γ、sとしては、例えば予め定められた値を採用すればよい。   Here, a, β, γ, and s are weighting coefficients, and a + β + γ + s = 1. As a, β, γ, and s, for example, predetermined values may be adopted.

次に、色空間変換部104dは、式(4)に示す演算を行って色差信号Crm、Cbmを算出する(ステップS6)。なお、図9では、色差信号Crm、Cbmを纏めてCmと表し、色差信号CrS、Cbsを纏めてCsと表している。 Next, the color space conversion unit 104d calculates the color difference signals Crm and Cbm by performing the calculation shown in Expression (4) (step S6). In FIG. 9, the color difference signals Crm and Cbm are collectively expressed as Cm, and the color difference signals CrS and Cbs are collectively expressed as Cs.

尚、不図示のRGB色信号生成部が、式(2)を逆変換することで、輝度信号Yadd、色差信号Crm、Cbmから色信号dR´、dG´、dB´を算出する(ステップS7)。   Note that the RGB color signal generation unit (not shown) inversely converts Equation (2) to calculate the color signals dR ′, dG ′, and dB ′ from the luminance signal Yadd and the color difference signals Crm and Cbm (Step S7). .

このように画像入力装置MGによれば、式(1)を用いて輝度信号Yaddを算出しているため、夜間であってもS/N比の高い輝度信号Yaddを算出することができる。また、色差信号Cr、Cbをスムージング処理しているため、夜間であってもS/N比の高い色差信号Crs、Cbsを算出することができる。   As described above, according to the image input device MG, the luminance signal Yadd is calculated using the equation (1). Therefore, the luminance signal Yadd having a high S / N ratio can be calculated even at night. Further, since the color difference signals Cr and Cb are smoothed, the color difference signals Crs and Cbs having a high S / N ratio can be calculated even at night.

更に図5を参照して、撮像素子102の構成を詳述する。前記フォトダイオード4で得られた電荷は、前記転送ゲート8にハイレベルの転送パルスφTXが与えられることで、転送トランジスタ11がONしてFD9へ転送され、このFD9における容量で電圧値に変換されて、増幅トランジスタ12に入力される。増幅トランジスタ12において、電源電圧VDDを用いて増幅された電圧は、行選択信号線LHから行選択トランジスタ13のゲートに選択信号φVが与えられることで、該行選択トランジスタ13がONして、垂直信号線LVへ出力される。一方、前記FD9に蓄積された電荷は、行選択信号線LHからリセットトランジスタ14のリセットゲート19へハイレベルのリセットパルスφRSTが与えられることで、該リセットトランジスタ14がONしてリセット電圧VRSBにリセットされる。   Further, the configuration of the image sensor 102 will be described in detail with reference to FIG. The charge obtained by the photodiode 4 is transferred to the FD 9 by applying a high-level transfer pulse φTX to the transfer gate 8 and is transferred to the FD 9, and is converted into a voltage value by the capacitance in the FD 9. And input to the amplification transistor 12. In the amplification transistor 12, the voltage amplified using the power supply voltage VDD is supplied to the selection signal φV from the row selection signal line LH to the gate of the row selection transistor 13. It is output to the signal line LV. On the other hand, the charge accumulated in the FD 9 is supplied with a high level reset pulse φRST from the row selection signal line LH to the reset gate 19 of the reset transistor 14, whereby the reset transistor 14 is turned on and reset to the reset voltage VRSB. Is done.

図4を参照して、撮像素子102の中央部(受光面)には、多数の画素が二次元に配列されており、周縁部に配置された垂直走査回路15が前記行選択信号線LHに選択出力を与え、それによって各画素から前記垂直信号線LVに出力された電圧は、水平走査回路16の選択走査によって、読出し回路17から順次読出される。前記垂直走査回路15および水平走査回路16は、シフトレジスタなどで実現される。   Referring to FIG. 4, a large number of pixels are two-dimensionally arranged in the center (light receiving surface) of the image sensor 102, and the vertical scanning circuit 15 arranged at the peripheral edge is connected to the row selection signal line LH. The selection output is given, and the voltage outputted from each pixel to the vertical signal line LV is sequentially read out from the readout circuit 17 by the selective scanning of the horizontal scanning circuit 16. The vertical scanning circuit 15 and the horizontal scanning circuit 16 are realized by a shift register or the like.

前記読出し回路17は、各列、すなわち前記垂直信号線LVに接続される2つのサンプルホールド回路SH1,SH2と、負荷トランジスタQとを備えて構成される。前記サンプルホールド回路SH1,SH2は、スイッチS1,S2と、容量C1,C2と、アンプA1,A2とを備えて構成される。前記各垂直信号線LVは、スイッチS1,S2を介して容量C1,C2に接続され、そのホールド電圧がアンプA1,A2を介して引算器18に与えられる。前記各列の各アンプA1,A2は、前記水平走査回路16によって駆動される。   The readout circuit 17 includes two sample and hold circuits SH1 and SH2 connected to each column, that is, the vertical signal line LV, and a load transistor Q. The sample and hold circuits SH1 and SH2 include switches S1 and S2, capacitors C1 and C2, and amplifiers A1 and A2. Each vertical signal line LV is connected to capacitors C1 and C2 via switches S1 and S2, and the hold voltage is applied to the subtractor 18 via amplifiers A1 and A2. The amplifiers A1 and A2 in each column are driven by the horizontal scanning circuit 16.

このような読出し回路17において、相関二重サンプルを行うために、スイッチS1,S2の一方がONし、各画素に前記転送パルスφTXが与えられることで容量C1,C2の一方に前記各画素からの出力電圧がホールドされる。また、前記スイッチS1,S2の他方は、各画素に前記リセットパルスφRSTが与えられたときにONし、各画素からの出力電圧がホールドされる。そのホールド電圧は、前記水平走査回路16によって、各アンプA1,A2が一対で選択されて引算器18に与えられ、こうして引算器18からは、ノイズの影響の少ない前記相関二重サンプル値が順次出力されてゆく。   In such a readout circuit 17, in order to perform correlated double sampling, one of the switches S1 and S2 is turned on, and the transfer pulse φTX is applied to each pixel, so that one of the capacitors C1 and C2 is supplied from each pixel. Output voltage is held. The other of the switches S1 and S2 is turned on when the reset pulse φRST is applied to each pixel, and the output voltage from each pixel is held. The hold voltage is supplied to the subtractor 18 by selecting a pair of the amplifiers A1 and A2 by the horizontal scanning circuit 16, and thus the subtractor 18 provides the correlated double sample value with less influence of noise. Are output sequentially.

図10には、列選択期間内における上述のような画素駆動タイミングを詳細に示す。図10(a)は、いわゆるローリングシャッタ駆動におけるタイミングを示す。列選択期間中は、先ずリセットゲート19をONすることで、FD9の電位がリセットされる。そのときの電位を、スイッチS1をONすることで容量C1にサンプルホールドする。次に、転送ゲート8をONすることでフォトダイオード4の蓄積時間を終了させ、蓄積電荷をFD9に転送する。そのときのFD9の電位を、スイッチS2をONすることで容量C2にサンプルホールドする。電荷を転送するためにONした転送ゲート8を転送後にOFFしてから、次のフレームで再び電荷を転送するためにONして再度OFFするまでの期間が、フォトダイオード4の電荷蓄積期間になる。   FIG. 10 shows the pixel drive timing in the column selection period in detail. FIG. 10A shows the timing in so-called rolling shutter drive. During the column selection period, first, the reset gate 19 is turned on to reset the potential of the FD 9. The potential at that time is sampled and held in the capacitor C1 by turning on the switch S1. Next, the transfer gate 8 is turned on to end the accumulation time of the photodiode 4 and the accumulated charge is transferred to the FD 9. The potential of the FD 9 at that time is sampled and held in the capacitor C2 by turning on the switch S2. The charge accumulation period of the photodiode 4 is a period from when the transfer gate 8 turned on to transfer the charge is turned off after the transfer is turned on to when it is turned on and turned off again to transfer the charge in the next frame. .

一方、図10(b)は、いわゆるグローバルリセット駆動におけるタイミングを示すものである。図10(a)のローリングシャッタ駆動では、撮像期間のほぼ全期間がフォトダイオード4の電荷蓄積期間となるのに対して、このグローバルリセット駆動では、機械シャッタが併用され、図10(b)で示すように、撮像期間において、シャッタが開放している一部の期間が前記電荷蓄積期間となる。したがって、この電荷蓄積期間のみに前記バイアス電圧Bを印加することで、その電荷蓄積期間以降での転送動作や、画素部の回路特性を全画素で安定させることができる。このため、このローリングシャッタ駆動では、前記バイアス電圧Bの印加期間は、少なくともこの電荷蓄積期間とすればよい。   On the other hand, FIG. 10B shows timing in so-called global reset driving. In the rolling shutter drive of FIG. 10A, almost the entire imaging period is the charge accumulation period of the photodiode 4, whereas in this global reset drive, a mechanical shutter is used together, and in FIG. As shown, in the imaging period, a part of the period during which the shutter is open is the charge accumulation period. Therefore, by applying the bias voltage B only during this charge accumulation period, the transfer operation after the charge accumulation period and the circuit characteristics of the pixel portion can be stabilized in all pixels. Therefore, in this rolling shutter drive, the application period of the bias voltage B may be at least this charge accumulation period.

上述のように構成される撮像素子102において、ここでは各画素を複数のグループに分割するものとし、そのグループ間で、相互に異なるバイアス電圧Bを、前記コンタクト部6から与えるようにする。図11は、そのグループ分けの様子を説明するための図である。この例は、可視光に基づくカラー画像と、赤外光に基づくモノクロ画像とを実現する場合の例を示しており、二次元配列が4n行であり、4行毎の画素行がそれぞれグループを形成しており、コンタクト部6W,6Ye,6Ri、6IRからは、バイアス電圧BW,BYe,BRi、BIRがそれぞれ与えられる。   In the imaging device 102 configured as described above, each pixel is divided into a plurality of groups, and different bias voltages B are applied from the contact portion 6 between the groups. FIG. 11 is a diagram for explaining the grouping. This example shows an example of realizing a color image based on visible light and a monochrome image based on infrared light. The two-dimensional array has 4n rows, and each pixel row has a group. The bias voltages BW, BYe, BRi, and BIR are applied from the contact portions 6W, 6Ye, 6Ri, and 6IR, respectively.

図12は、図3に示す1画素をA−A’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。実線はバイアス電圧Bの低いときのポテンシャル曲線であり、これに対して点線はバイアス電圧Bの高いときのポテンシャル曲線を示している。フォトダイオード4には、表面(入射光表面)付近のn型領域ポテンシャル井戸21と、それより深い位置(入射光表面から遠い位置)のn型領域ポテンシャル井戸23が設けられており、両者は、フォトダイオード4のn型領域とその下のp型領域22との境界d1で区分けされ、光電変換して発生した電荷はいずれかのポテンシャル井戸21、23に蓄積される。しかるに、波長の短い光は基板2の表面近くで吸収され、波長の長い光は基板2の深い部分まで浸透し吸収されるという特性があるので、n型領域ポテンシャル井戸21には主として可視光の電荷が蓄積され、n型領域ポテンシャル井戸23には主として赤外光の電荷が排出されることとなる。ここで、境界d1は外部から供給されるバイアス電圧によって位置が変化する。境界d1の位置が変化すると、より長波長側の光によって発生した電荷がポテンシャル井戸21に蓄積されることになり、それにより分光感度が異なるようになる。尚、ポテンシャル井戸21に電荷が蓄積される光束の波長と、ポテンシャル井戸23に電荷が蓄積される光束の波長との境界を、境界波長といい、ここでは700nm前後である。   FIG. 12 is a diagram schematically showing the energy potential distribution in a state where one pixel shown in FIG. 3 is cut along the A-A ′ section. The solid line shows the potential curve when the bias voltage B is low, while the dotted line shows the potential curve when the bias voltage B is high. The photodiode 4 is provided with an n-type region potential well 21 near the surface (incident light surface) and an n-type region potential well 23 at a deeper position (position far from the incident light surface). Charges generated by photoelectric conversion, which are divided by a boundary d1 between the n-type region of the photodiode 4 and the p-type region 22 thereunder, are accumulated in one of the potential wells 21 and 23. However, since light having a short wavelength is absorbed near the surface of the substrate 2 and light having a long wavelength penetrates and is absorbed to a deep portion of the substrate 2, the n-type region potential well 21 mainly transmits visible light. Charges are accumulated and mainly infrared light charges are discharged to the n-type region potential well 23. Here, the position of the boundary d1 changes depending on the bias voltage supplied from the outside. When the position of the boundary d1 is changed, the charges generated by the light on the longer wavelength side are accumulated in the potential well 21, and thus the spectral sensitivity becomes different. The boundary between the wavelength of the light beam in which charges are accumulated in the potential well 21 and the wavelength of the light beam in which charges are accumulated in the potential well 23 is referred to as a boundary wavelength, which is about 700 nm here.

図12に示すように、分光感度に影響を与える境界は、バイアス電圧Bが低いときは比較的深いd1の位置となり、バイアス電圧Bが高いときは比較的浅いd2の位置となる。すなわち、バイアス電圧Bを高くすると境界がd1より浅いd2に移動し、それにより図13で実線から点線に示すように、より長波長側の光によって発生した電荷がポテンシャル井戸23に蓄積されるようになり、分光感度における長波長側の感度が相対的に低くなる。従って、バイアス電圧Bを高くすることで、フィルタFの分光特性は、図7に示すものから図14に示すものへと変化する。尚、バイアス電圧は無段階に変化させることも出来、それによりポテンシャル井戸21、23の境界はd1〜d2の間で無段階に変化する。   As shown in FIG. 12, the boundary that affects the spectral sensitivity is a relatively deep d1 position when the bias voltage B is low, and a relatively shallow d2 position when the bias voltage B is high. That is, when the bias voltage B is increased, the boundary moves to d2, which is shallower than d1, and as a result, as shown by the solid line to the dotted line in FIG. Thus, the sensitivity on the long wavelength side in the spectral sensitivity becomes relatively low. Therefore, by increasing the bias voltage B, the spectral characteristics of the filter F change from those shown in FIG. 7 to those shown in FIG. Note that the bias voltage can be changed steplessly, whereby the boundary between the potential wells 21 and 23 changes steplessly between d1 and d2.

これを利用して、例えば可視光が支配的である昼間撮影時には、バイアス電圧Bを高く設定すれば、各画素の赤外光の感度が相対的に低くなるので、S/N比の良い高画質なカラー画像を得ることが出来、一方、撮影を赤外光に頼らざるを得ない夜間撮影時には、バイアス電圧Bを高く設定すれば、各画素の赤外光の感度を相対的に高めることが出来、暗い被写体も明瞭に撮影することができる。即ち、同一の撮像素子を可視光に基づくカラー画像と、赤外光を加えた感度の高いカラー画像の作成に用いることができ、コスト低減に寄与する。尚、昼間撮影か夜間撮影かは、以下のようにして判定できる。例えば画像処理部104の光源検出部104eが、全体の画素について、画像成分Wの値をAとし、画像成分IRの値をBとしたときに、B/Aを評価値として、制御部105に出力する。制御部105は、かかる評価値が0.5より大きい場合、赤外光が多いものとして夜間撮影であると判定し、かかる評価値が0.5以下である場合、比較的可視光が多いものとして昼間撮影であると判定できる。露出データを利用することも可能。   By utilizing this, for example, during daytime photography in which visible light is dominant, if the bias voltage B is set high, the sensitivity of the infrared light of each pixel becomes relatively low, so that the S / N ratio is high. A high-quality color image can be obtained. On the other hand, when shooting at night, when shooting must rely on infrared light, if the bias voltage B is set high, the sensitivity of infrared light in each pixel is relatively increased. Can capture dark subjects clearly. In other words, the same image sensor can be used to create a color image based on visible light and a highly sensitive color image to which infrared light is added, which contributes to cost reduction. Whether it is daytime shooting or nighttime shooting can be determined as follows. For example, when the light source detection unit 104e of the image processing unit 104 sets the value of the image component W as A and the value of the image component IR as B for all pixels, the control unit 105 sets B / A as an evaluation value. Output. When the evaluation value is greater than 0.5, the control unit 105 determines that the night-time shooting is performed with a large amount of infrared light. When the evaluation value is 0.5 or less, the control unit 105 has a relatively large amount of visible light. It can be determined that it is daytime shooting. Exposure data can also be used.

図15は、別な実施の形態に係る撮像素子102の1画素の断面構造を模式的に示す図である。図16は、図15に示す1画素をA−A’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。実線はバイアス電圧Bの低いときのポテンシャル曲線であり、これに対して点線はバイアス電圧Bの高いときのポテンシャル曲線を示している。上述の実施の形態では、p基板にn領域を形成して電荷排出領域を設けているが、本実施の形態では、n基板の入射表面側に近い側にp層を形成すると共に、n基板を電荷排出領域として利用している。尚、境界d1(d2)の位置を制御するバイアス電圧はn基板に印加するようになっている。それ以外は上述した実施の形態と同様であるため、説明を省略する。尚、ポテンシャル井戸21が、バイアス電圧により変化する境界波長(例えば700nm)未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段を構成し、ポテンシャル井戸23が、境界波長以上の光を受光することによって発生した電荷を排出する排出手段を構成する。   FIG. 15 is a diagram schematically showing a cross-sectional structure of one pixel of an image sensor 102 according to another embodiment. FIG. 16 is a diagram schematically showing the energy potential distribution in a state where one pixel shown in FIG. 15 is cut along the A-A ′ section. The solid line shows the potential curve when the bias voltage B is low, while the dotted line shows the potential curve when the bias voltage B is high. In the above embodiment, the n region is formed on the p substrate to provide the charge discharging region. However, in this embodiment, the p layer is formed on the side closer to the incident surface side of the n substrate and the n substrate is formed. Is used as a charge discharge region. A bias voltage for controlling the position of the boundary d1 (d2) is applied to the n substrate. Since other than that is the same as that of embodiment mentioned above, description is abbreviate | omitted. The potential well 21 constitutes a capturing means that captures charges generated by receiving light having a wavelength less than the boundary wavelength (for example, 700 nm) that changes depending on the bias voltage, converts the charges into a signal, and outputs the signal. The discharge means for discharging the charges generated by receiving the light having the boundary wavelength or more is configured.

本実施の形態におけるバイアス電圧Bの、更に別な制御例について説明する。例えば夜間撮影時に、赤外光成分を多く含むハロゲンランプなどの被写体が、撮影画面内に含まれるような場合がある。かかる場合、画像処理部104の光源検出部104eが、画素毎に評価値を求め、制御部105は、かかる評価値が0.5以下の画素(特定画素)には、夜間撮影でありながら比較的可視光が入射するものとして、制御部105は印加するバイアス電圧Bを高く設定し、特定画素の赤外光の感度を相対的に低めることで、ハロゲン光の色を再現したS/N比の良い高画質なカラー画像を得ることが出来る。一方、評価値が0.5より大きな画素(特定画素以外の画素)には、赤外光が多く入射するものとして、制御部105は印加するバイアス電圧Bを低く設定し、特定画素以外の画素の赤外光の感度を相対的に高めたままとできる。更に、光学フィルタの種類に応じて特定画素の感度を変化させることもできる。即ち赤外光のみを透過するIRフィルタを設けた特定画素の感度を、それ以外のフィルタを設けた画素の感度と異ならせても良い。評価値の値に応じた設定とすることも出来る。   Another example of controlling the bias voltage B in the present embodiment will be described. For example, when shooting at night, a subject such as a halogen lamp containing a large amount of infrared light may be included in the shooting screen. In such a case, the light source detection unit 104e of the image processing unit 104 obtains an evaluation value for each pixel, and the control unit 105 compares a pixel (specific pixel) with the evaluation value of 0.5 or less while performing night shooting. Assuming that the visible light is incident, the control unit 105 sets the bias voltage B to be applied high and relatively reduces the sensitivity of the infrared light of the specific pixel, thereby reproducing the S / N ratio of the color of the halogen light. A good, high-quality color image can be obtained. On the other hand, assuming that a large amount of infrared light is incident on a pixel having an evaluation value larger than 0.5 (a pixel other than the specific pixel), the control unit 105 sets the bias voltage B to be applied to be low and pixels other than the specific pixel. The sensitivity of infrared light can be kept relatively high. Furthermore, the sensitivity of a specific pixel can be changed according to the type of optical filter. That is, the sensitivity of a specific pixel provided with an IR filter that transmits only infrared light may be different from the sensitivity of a pixel provided with other filters. It can also be set according to the value of the evaluation value.

更に別の制御例によれば、被写体の輝度又は照度に基づいて特定画素の感度を変化させることができる。例えば被写体の照度が高い場合、昼間の撮影であるとして、全ての画素の前記感度を低下させ、一方、被写体の照度が低い場合、夜間の撮影であるとして、全ての画素の前記感度を増大させることができる。又、被写体の一部の輝度が高い場合、輝度の高い被写体からの光束を受光する画素を特定画素として前記感度を低下させて、適量の可視光を受光させ、特定画素以外の画素においては、特定画素よりも高い前記感度により適量の赤外光を受光させることが出来る。被写体の輝度や照度は、露出制御等を行う過程で推定でき、それにより評価値を算出することもできる。   According to yet another control example, the sensitivity of a specific pixel can be changed based on the luminance or illuminance of the subject. For example, when the illuminance of the subject is high, the sensitivity of all the pixels is reduced as it is shooting in the daytime, while when the illuminance of the subject is low, the sensitivity of all the pixels is increased as it is shooting at night be able to. Further, when the luminance of a part of the subject is high, the sensitivity is reduced by using a pixel that receives a light beam from the subject with high luminance as a specific pixel, and an appropriate amount of visible light is received. An appropriate amount of infrared light can be received by the sensitivity higher than that of the specific pixel. The luminance and illuminance of the subject can be estimated in the process of performing exposure control and the like, and the evaluation value can be calculated accordingly.

更に別の制御例によれば、被写体から投射される光に含まれる自然光の量と人工光の量との割合を算出し、この割合に基づいて前記特定画素の感度を変化させることができる。自然光の量と人工光の量との割合を表す値としては、上記評価値を用いることができる。例えば自然光の割合が高い場合、上記評価値の全画素についての総和が小さくなるから、特定画素としての全体の画素における赤外光感度を低くするようにバイアス電圧を変更する。一方、人工光の割合が高い場合、上記評価値の全画素についての総和が大きくなるから、特定画素としての全体の画素における赤外光感度を高くするようにバイアス電圧を変更する。   According to yet another control example, the ratio of the amount of natural light and the amount of artificial light included in the light projected from the subject can be calculated, and the sensitivity of the specific pixel can be changed based on this ratio. The above evaluation value can be used as a value representing the ratio between the amount of natural light and the amount of artificial light. For example, when the ratio of natural light is high, the total sum of the evaluation values for all the pixels is small, so the bias voltage is changed so as to reduce the infrared light sensitivity of all the pixels as the specific pixels. On the other hand, when the proportion of artificial light is high, the sum of all the evaluation values for all pixels increases, so the bias voltage is changed so as to increase the infrared light sensitivity of all the pixels as the specific pixels.

更に別の制御例によれば、特定画素として、撮像素子102の受光面における一部の領域に配置された画素の赤外光感度を、それ以外の画素の赤外光感度に対して異ならせるようにバイアス電圧を印加することができる。例えば、定点監視カメラのような場合、ハロゲンランプが常に撮影画面上の特定位置にあるようなシーンを監視する場合もあるが、その場合、ハロゲン光が入射する中央の画素を特定画素として、その赤外光感度のみを低減させるようにすれば、夜間でも高画質なカラー画像を撮影できる。   According to another control example, the infrared light sensitivity of pixels arranged in a part of the light receiving surface of the image sensor 102 as the specific pixel is made different from the infrared light sensitivity of other pixels. Thus, a bias voltage can be applied. For example, in the case of a fixed point monitoring camera, there is a case where a scene where the halogen lamp is always at a specific position on the shooting screen is sometimes monitored. If only the infrared light sensitivity is reduced, a high-quality color image can be taken even at night.

更に別の制御例によれば、撮影条件に応じて、撮像素子102の受光面上における特定画素の位置を変更可能とできる。例えば、パンやチルトが可能な監視カメラの場合、カメラの移動に応じて、ハロゲンランプなどが撮影画面上を移動する。そこで、上記評価値に基づいてハロゲン光等が入射する画素を特定画素として判断し、カメラの移動に応じて特定画素を変えることで、ハロゲン光等が入射する特定画素の赤外光感度のみを低減させることで、カメラの移動に関わらず高画質なカラー画像を撮影できる。   According to yet another control example, the position of the specific pixel on the light receiving surface of the image sensor 102 can be changed in accordance with the shooting conditions. For example, in the case of a surveillance camera capable of panning and tilting, a halogen lamp or the like moves on the shooting screen as the camera moves. Therefore, a pixel on which halogen light or the like is incident is determined as a specific pixel based on the evaluation value, and only the infrared light sensitivity of the specific pixel on which the halogen light or the like is incident is changed by changing the specific pixel according to the movement of the camera. By reducing it, a high-quality color image can be taken regardless of the movement of the camera.

更に別の制御例によれば、連続的に被写体を撮像する場合において、赤外光感度を高めた特定画素からの信号と、特定画素よりも赤外光感度を低めた画素(特定画素以外の画素)からの信号とを交互に出力することができる。図17において、nを自然数としたときに、2n番目のフレームについては、赤外光感度を高めた特定画素からの信号に基づき主として赤外光に基づく画像とし、2n+1番目のフレームについては、特定画素以外の画素からの信号に基づき主として可視光に基づく画像とすることで、複数の画像からなる動画を形成できるようになっている。これにより可視光を受光した画素からの信号に基づくカラー画像と、赤外光を受光した画素からの信号に基づくモノクロ画像とを交互のフレームとする動画を形成できる。これらを合成することで、被写体毎に最適な分光感度特性で撮影した動画を提供できる。   According to yet another control example, in the case of continuously capturing an image of a subject, a signal from a specific pixel with increased infrared light sensitivity and a pixel with a lower infrared light sensitivity than the specific pixel (other than the specific pixel) Signal from the pixel) can be output alternately. In FIG. 17, when n is a natural number, the 2n-th frame is an image mainly based on infrared light based on a signal from a specific pixel with increased infrared light sensitivity, and the 2n + 1-th frame is specified. By making an image mainly based on visible light based on signals from pixels other than pixels, a moving image composed of a plurality of images can be formed. As a result, a moving image can be formed in which a color image based on a signal from a pixel receiving visible light and a monochrome image based on a signal from a pixel receiving infrared light are alternating frames. By combining these, it is possible to provide a moving image shot with an optimum spectral sensitivity characteristic for each subject.

更に別の実施の形態によれば、図18に示すように、撮像素子102の画素を第1の画素群PX1と第2の画素群PX2の2つに分け、第1の画素群PX1における赤外光の感度を、第2の画素群PX2における赤外光の感度より低く、且つ第1の画素群PX1の周囲に、第2の画素群PX2が配置されているようにできる。例えば監視カメラにおいて、夜間時被写体に対してライトを点灯する場合もあるが、かかる場合、被写体の中央からは可視光が反射されるが、周囲は暗いままであることが多い。そこで、被写体の中央からの可視光を受光する第1の画素群PX1の感度を低くし、周囲からの光を受光する第2の画素群PX2の感度を高くすることで、明るい被写体も暗い被写体も同時に監視することが可能になる。尚、特定画素毎のみならず、一画素毎に感度を異ならせても良い。   According to yet another embodiment, as shown in FIG. 18, the pixels of the image sensor 102 are divided into two groups, a first pixel group PX1 and a second pixel group PX2, and red pixels in the first pixel group PX1. The sensitivity of the external light can be made lower than the sensitivity of the infrared light in the second pixel group PX2, and the second pixel group PX2 can be arranged around the first pixel group PX1. For example, in a surveillance camera, a light may be lit on a subject at night. In such a case, visible light is reflected from the center of the subject, but the surroundings often remain dark. Therefore, by reducing the sensitivity of the first pixel group PX1 that receives visible light from the center of the subject and increasing the sensitivity of the second pixel group PX2 that receives light from the surroundings, a bright subject can be a dark subject. Can be monitored simultaneously. The sensitivity may be varied not only for each specific pixel but also for each pixel.

更に別の実施の形態によれば、連続的に被写体を撮像する場合において、第1の画素群PX1からの信号と、第2の画素群PX2からの信号とを交互に出力し、それにより図17に示すような、主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成できる。特定画素の感度を変化させながら、連続的に被写体を撮像することにより、異なる条件で撮像した複数の画像から一つの画像を形成することを連続して行って動画を形成することもできる。   According to yet another embodiment, when continuously imaging a subject, a signal from the first pixel group PX1 and a signal from the second pixel group PX2 are alternately output. As shown in FIG. 17, a moving image composed of a plurality of frames alternately including an image mainly based on visible light and an image mainly based on infrared light can be formed. By continuously capturing the subject while changing the sensitivity of the specific pixel, it is possible to form a moving image by continuously forming one image from a plurality of images captured under different conditions.

上述した実施の形態では、画素フィルタW、Ye、Ri、IRからなるフィルタを示したが、このフィルタからR、G、B、IRを演算処理により求めた分光特性を図19,20に示す。バイアス電圧Bを高くすることで、フィルタの分光特性は、図19に示すものから図20に示すものへと変化する。   In the above-described embodiment, the filter including the pixel filters W, Ye, Ri, and IR is shown. Spectral characteristics obtained by calculating R, G, B, and IR from this filter are shown in FIGS. By increasing the bias voltage B, the spectral characteristic of the filter changes from that shown in FIG. 19 to that shown in FIG.

第2の実施の形態にかかる画像入力装置MGは、色差信号Crm、Cbmの算出手法が、第1の実施の形態と相違する点を特徴としている。なお、第1の実施の形態と同様な構成は説明を省略する。また、画像処理部104の構成は第1の実施の形態と同一であるため、図8を用いて説明する。   The image input device MG according to the second embodiment is characterized in that the calculation method of the color difference signals Crm and Cbm is different from that of the first embodiment. Note that the description of the same configuration as that of the first embodiment is omitted. The configuration of the image processing unit 104 is the same as that of the first embodiment, and will be described with reference to FIG.

本実施の形態において図8に示す色空間変換部104dは、式(2)で求めた輝度信号Yにスムージング処理を施し、輝度信号Ysを求める。また、式(3)で求めた輝度信号Yaddにスムージング処理を施し、輝度信号Yaddsを算出する。ここで、スムージング処理としては、カスケードフィルタ処理や、通常のフィルタ処理を採用すればよい、   In this embodiment, the color space conversion unit 104d shown in FIG. 8 performs a smoothing process on the luminance signal Y obtained by Expression (2) to obtain the luminance signal Ys. Further, the luminance signal Yadds obtained by Expression (3) is subjected to smoothing processing to calculate the luminance signal Yadds. Here, as the smoothing process, a cascade filter process or a normal filter process may be employed.

そして、色空間変換部104dは、式(5)に示すように、スムージング処理を施した輝度信号Yaddsに対するスムージング処理を施した輝度信号Ysの割合RT2(第2の割合:RT2=Ys/Yadds)に応じて輝度信号Yaddを補正し、補正した輝度信号Yadd´を変換対象となる色空間の輝度信号として算出する。
Yadd´=Yadd×Ys/Yadds ・・・・・(5)
Then, the color space conversion unit 104d, as shown in Expression (5), the ratio RT2 of the luminance signal Ys subjected to the smoothing process to the luminance signal Yadds subjected to the smoothing process (second ratio: RT2 = Ys / Yadds). Accordingly, the luminance signal Yadd is corrected, and the corrected luminance signal Yadd ′ is calculated as the luminance signal of the color space to be converted.
Yadd ′ = Yadd × Ys / Yadds (5)

輝度信号Yは、式(2)に示す色空間変換処理により求められているため、人間が視認する画像の輝度を精度良く再現した信号となっている。一方、輝度信号Yaddは、式(3)に示す加算処理により算出されているため、式(2)に比べて人間が視認する画像の輝度を精度良く再現できていない。したがって、輝度信号Y3に比べて輝度信号Yaddsが大きくなるにつれて、すなわち、割合RT2が1から小さくなるにつれて、輝度信号Yaddは、人間が視認する画像の輝度を精度良く再現することができなくなってしまう。そこで、式(5)を用いて輝度信号Yadd´を求めることで、輝度信号Yaddを人間が視認する画像の輝度を精度良く再現した信号にすることができる。なお、ここで、Ysはスムージングされた値を用いているため、ノイズ成分が低減されている。ただし、絵柄によってはエッジ部で不自然なアーチファクトが発生する場合がある。   Since the luminance signal Y is obtained by the color space conversion process shown in Expression (2), the luminance signal Y is a signal that accurately reproduces the luminance of the image visually recognized by humans. On the other hand, since the luminance signal Yadd is calculated by the addition process shown in Expression (3), the luminance of the image viewed by humans cannot be accurately reproduced as compared with Expression (2). Therefore, as the luminance signal Yadds increases compared to the luminance signal Y3, that is, as the ratio RT2 decreases from 1, the luminance signal Yadd cannot accurately reproduce the luminance of the image viewed by humans. . Therefore, by obtaining the luminance signal Yadd ′ using the equation (5), the luminance signal Yadd can be converted into a signal that accurately reproduces the luminance of an image viewed by a human. Here, since the smoothed value is used for Ys, the noise component is reduced. However, unnatural artifacts may occur at the edge depending on the pattern.

また、色空間変換部104dは。式(6)に示すように上述の割合RT1に応じて色差信号Crs、Cbsを補正し、色差信号Crm´、Cbm´を算出する。なお、ここでは、Yaddの代わりにYadd´を用いるのがよい。
Crm´=Crs×Yadd/Y
Cbm´=Cbs×Yadd/Y ・・・・・ (6)
Also, the color space conversion unit 104d. As shown in Expression (6), the color difference signals Crs and Cbs are corrected according to the above-described ratio RT1, and the color difference signals Crm ′ and Cbm ′ are calculated. Here, Yadd ′ is preferably used instead of Yadd.
Crm ′ = Crs × Yadd / Y
Cbm ′ = Cbs × Yadd / Y (6)

これにより、変換対象となる色空間における輝度信号と色差信号とのバランスが保たれ、後段のRGB色信号生成部(不図示)により生成される色信号dR´、dG´、dB´の算出精度を高めることができる。   Thereby, the balance between the luminance signal and the color difference signal in the color space to be converted is maintained, and the calculation accuracy of the color signals dR ′, dG ′, and dB ′ generated by the RGB color signal generation unit (not shown) in the subsequent stage is maintained. Can be increased.

また、色空間変換部104dは、赤外光の強度と可視光の強度とを比較し、赤外光の強度が強い場合、輝度信号Yaddの重み付けが小さくなるように、輝度信号Yaddと画像成分Ye、Ri、IR、Wをそのまま用いた信号Ytとを重み付け加算して色空間の輝度信号を算出してもよい。   In addition, the color space conversion unit 104d compares the intensity of the infrared light and the intensity of the visible light. When the intensity of the infrared light is high, the luminance signal Yadd and the image component are reduced so that the weighting of the luminance signal Yadd is reduced. The luminance signal of the color space may be calculated by weighting and adding the signal Yt using Ye, Ri, IR, and W as they are.

この場合、色空間変換部104dは、上記の割合RT2が、輝度信号Yaddsが支配的であることを示す閾値Th1より小さい場合、赤外光の強度が可視光の強度よりも強いと判定すればよい。そして、式(7)に示すように輝度信号Y旦ddの重み付けが小さくなるように、輝度信号Yaddと信号Ytとを重み付け加算することで、輝度信号Yadd´を算出すればよい。
Yadd´=Yt×(1−Ys/Yadds)+Yadd×(Ys/Yadds) ・・・・(7)
In this case, if the color space conversion unit 104d determines that the ratio RT2 is smaller than the threshold Th1 indicating that the luminance signal Yadds is dominant, the intensity of infrared light is determined to be higher than the intensity of visible light. Good. Then, the luminance signal Yadd ′ may be calculated by weighted addition of the luminance signal Yadd and the signal Yt so that the weighting of the luminance signal Yday dd becomes small as shown in Expression (7).
Yadd ′ = Yt × (1−Ys / Yadds) + Yadd × (Ys / Yadds) (7)

但し、Ytは、画像成分Ye、Ri、IR、Wのいずれかをそのまま用いた信号を表す。具体的には、ある画素の輝度信号Yadd´を算出する場合に当該画素が、Wフィルタに対応する場合はYt=Wとし、Yeフィルタに対応する場合はYt=Yeとし、Riフィルタに対応する場合はYt=Riとし、IRフィルタに対応する場合はYt=IRとする。   Yt represents a signal using any one of the image components Ye, Ri, IR, and W as they are. Specifically, when calculating the luminance signal Yadd ′ of a certain pixel, if the pixel corresponds to the W filter, Yt = W, and if it corresponds to the Ye filter, Yt = Ye, corresponding to the Ri filter. In this case, Yt = Ri, and in the case of corresponding to the IR filter, Yt = IR.

割合RT2において、輝度信号Yaddsが支配的である場合、輝度信号Yadd´は人間が目視する画像の輝度と大きく相違する可能性がある。そこで、輝度信号Yadd´が大きい場合は、輝度信号Yaddに対して信号Ytの割合が大きくなるように、輝度信号Yadd´を算出することで、輝度信号Yadd´を人間が目視する画像の輝度により近い信号にすることができる。   When the luminance signal Yadds is dominant at the ratio RT2, the luminance signal Yadd ′ may greatly differ from the luminance of the image viewed by humans. Therefore, when the luminance signal Yadd ′ is large, the luminance signal Yadd ′ is calculated so that the ratio of the signal Yt to the luminance signal Yadd is large, whereby the luminance signal Yadd ′ is determined according to the luminance of the image viewed by humans. It can be a close signal.

また、割合RT2において、輝度信号Yaddsが支配的である場合は、赤外光が支配的であることを示しているため、Ye、Ri、IR、Wの画素間での被写体の色による信号のレベル差が無視できる。すなわち、モノクロセンサの場合と同等とみなせる。したがって、Ye、Ri、IR、Wの画素を加算せず、それぞれ独立した信号として扱うことで、解像度(分解能)を最大とすることができる。   In addition, when the luminance signal Yadds is dominant at the ratio RT2, it indicates that infrared light is dominant. Therefore, the signal of the subject color between the pixels of Ye, Ri, IR, and W is displayed. Level difference can be ignored. That is, it can be regarded as equivalent to the case of the monochrome sensor. Therefore, the resolution (resolution) can be maximized by treating the pixels of Ye, Ri, IR, and W as independent signals without adding them.

更に、色空間変換部104dは、画像成分Wと画像成分IRとの差又は比を用いて、赤外光の強度と可視光の強度とを比較してもよい。この場合、IR/Wが、1に近い所定の値より大きいときは赤外光の強度が可視光の強度よりも強いと判定し、0に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。   Furthermore, the color space conversion unit 104d may compare the intensity of infrared light and the intensity of visible light using the difference or ratio between the image component W and the image component IR. In this case, when IR / W is larger than a predetermined value close to 1, it is determined that the intensity of infrared light is stronger than the intensity of visible light, and when it is smaller than a predetermined value close to 0, the intensity of visible light is What is necessary is just to determine with it being stronger than the intensity | strength of infrared light.

また、W−IRがDに近い所定の値より小さいときは赤外光の強度が可視光の強度よりも強いと判定し、IRが0に近い所定の値より小さいときは可視光の強度が赤外光の強度よりも強いと判定すればよい。   When W-IR is smaller than a predetermined value close to D, it is determined that the intensity of infrared light is stronger than the intensity of visible light. When IR is smaller than a predetermined value close to 0, the intensity of visible light is What is necessary is just to determine with it being stronger than the intensity | strength of infrared light.

更に、IR/W又はIR−Wの値が大きくなるほど、赤外光の強度が可視光の強度より強くなるため、IR/W又はIR−Wの値に応じて信号Ytの重み付け係数を定め、式(7)´の演算を行い輝度信号Yadd´を算出してもよい。
Yadd´=k・Yt+Yadd・(1−k) ・・・・・(7)´
Furthermore, since the intensity of infrared light becomes stronger than the intensity of visible light as the value of IR / W or IR-W increases, the weighting coefficient of the signal Yt is determined according to the value of IR / W or IR-W, The luminance signal Yadd ′ may be calculated by performing the calculation of Expression (7) ′.
Yadd ′ = k · Yt + Yadd · (1-k) (7) ′

但し、k≦1であり、kはIR/W又はIR−Wが大きくなるにつれて値が大きくなる予め定められた信号Ytの重み係数を示す。   However, k ≦ 1, and k represents a weighting factor of a predetermined signal Yt that increases as IR / W or IR-W increases.

次に、RGB色信号生成部(不図示)は、式(2)を逆変換することで、輝度信号Yadd´と色差信号Crm´、Cbm´とから色信号dR´、dG´、dB´を算出する。   Next, the RGB color signal generation unit (not shown) reversely converts the equation (2) to obtain the color signals dR ′, dG ′, and dB ′ from the luminance signal Yadd ′ and the color difference signals Crm ′ and Cbm ′. calculate.

次に、画像入力装置MGの動作について説明する。図21は、第2の実施の形態にかかる画像入力装置MGの動作を示すフローチヤートである。   Next, the operation of the image input device MG will be described. FIG. 21 is a flowchart showing the operation of the image input apparatus MG according to the second embodiment.

ステップS11〜S15は、図9に示すステップS1〜S5と同一であるため、説明を省く。ステップS16において、色空間変換部104dは、輝度信号Yaddにスムージング処理を施し、輝度信号Yaddsを算出すると共に、輝度信号Yにスムージング処理を施し、輝度信号Ysを算出する。   Steps S11 to S15 are the same as steps S1 to S5 shown in FIG. In step S16, the color space conversion unit 104d performs a smoothing process on the luminance signal Yadd to calculate the luminance signal Yadds, and also performs a smoothing process on the luminance signal Y to calculate the luminance signal Ys.

次に、色空間変換部104dは、割合RT2が閾値Th1以上の場合、式(5)の演算により輝度信号Yadd´を算出し、割合RT2が閾値Th1未満の場合、式(7)の演算により輝度信号Yadd´を算出する(ステップS17)。   Next, the color space conversion unit 104d calculates the luminance signal Yadd ′ by the calculation of Expression (5) when the ratio RT2 is equal to or greater than the threshold Th1, and when the ratio RT2 is less than the threshold Th1, the calculation of the Expression (7). A luminance signal Yadd ′ is calculated (step S17).

次に、色空間変換部104dは、式(6)の演算により、色差信号Crm´、Cbm´を求める(ステップS18)。次に、RGB色信号生成部(不図示)は、式(2)を逆変換し、色信号dR´、dG´、dB´を求める(ステップS19)。   Next, the color space conversion unit 104d obtains the color difference signals Crm ′ and Cbm ′ by the calculation of Expression (6) (Step S18). Next, the RGB color signal generation unit (not shown) inversely converts the equation (2) to obtain the color signals dR ′, dG ′, and dB ′ (step S19).

このように、第2の実施の形態による画像入力装置MGによれば、第1の実施の形態の効果に加え、割合RT2が閾値Th1以上の場合は、式(5)を用いて輝度信号Yadd´を算出し、割合RT2が閾値Th1未満の場合は、式(7)を用いて輝度信号Yadd´を算出しているため、人間が視認する画像の輝度を精度良く再現した輝度信号を生成することができる。   As described above, according to the image input device MG according to the second embodiment, in addition to the effect of the first embodiment, when the ratio RT2 is equal to or greater than the threshold Th1, the luminance signal Yadd is expressed using Expression (5). ′ Is calculated, and when the ratio RT2 is less than the threshold Th1, the luminance signal Yadd ′ is calculated using the equation (7), and thus a luminance signal that accurately reproduces the luminance of the image visually recognized by humans is generated. be able to.

また、式(6)を用いて色差信号Crs、Cbsを補正して。色差信号Crm´、Cbm´を算出しているため、変換対象となる色空間において輝度信号と色差信号とをバランス良く求めることができる。   Further, the color difference signals Crs and Cbs are corrected using the equation (6). Since the color difference signals Crm ′ and Cbm ′ are calculated, the luminance signal and the color difference signal can be obtained in a balanced manner in the color space to be converted.

なお,色空間変換部104dは、赤外光の強度が可視光の強度に近づくにつれて、色差信号Crm´、Cbm´が低くなるように色差信号Crm´、Cbm´を補正してもよい。   The color space conversion unit 104d may correct the color difference signals Crm ′ and Cbm ′ so that the color difference signals Crm ′ and Cbm ′ become lower as the intensity of infrared light approaches the intensity of visible light.

この場合、色空間変換部104dは、例えば式(6)に代えて、式(8)により色差信号Crm´、Cbm´を算出すればよい。
Crm´=Crs×Yadd×RT2/Y
Cbm´=Cbs×Yadd×RT2/Y ・・・・・(8)
In this case, for example, the color space conversion unit 104d may calculate the color difference signals Crm ′ and Cbm ′ using Expression (8) instead of Expression (6).
Crm ′ = Crs × Yadd × RT2 / Y
Cbm ′ = Cbs × Yadd × RT2 / Y (8)

つまり、割合RT2が閾値TH1より小さい場合は、輝度信号Yに対して輝度信号Yadd´が支配的となり、夜間を撮影している可能性が高く、色情報が不足するため色差信号が精度良く算出できていない可能性がある。そこで、式(8)を採用することで色差信号が低くなり、算出精度の低い色差信号の影響が低くなるように、色信号dR´、dG´、dB´を算出することができ、色信号dR´、dG´、dB´を視覚的に違和感なく算出することができる。さらに、色信号dR´、dG´、dB´は、標準的なディスプレイ(倒えば、IEC 61966−2−1 sRGB規格)に合うようにさらに色変換されてもよい。   That is, when the ratio RT2 is smaller than the threshold value TH1, the luminance signal Yadd ′ is dominant with respect to the luminance signal Y, and there is a high possibility that the night is being photographed. It may not be possible. Therefore, the color signals dR ′, dG ′, and dB ′ can be calculated so that the color difference signal is lowered by adopting the equation (8), and the influence of the color difference signal with low calculation accuracy is reduced. dR ′, dG ′, and dB ′ can be calculated visually without a sense of incongruity. Furthermore, the color signals dR ′, dG ′, and dB ′ may be further color-converted so as to be compatible with a standard display (for example, the IEC 61966-2-1 sRGB standard).

また、割合RT2を閾値と比校することで使用する数式を(6)又は(8)に切り替えることに限定されず、割合RT2が小さくなるにつれて、色差信号Crs,Cbsを小さくするような予め定められた補正値を記憶しておき、この補正値を用いて色差信号Crm´、Cbm´を算出してもよい。この場合、式(8)において、RT2に代えて、この補正値を採用すればよい。   Further, the formula used by comparing the ratio RT2 with the threshold is not limited to switching to (6) or (8), and the color difference signals Crs and Cbs are reduced in advance as the ratio RT2 decreases. The obtained correction value may be stored, and the color difference signals Crm ′ and Cbm ′ may be calculated using the correction value. In this case, in the equation (8), this correction value may be adopted instead of RT2.

なお、上記実施の形態では、第2〜第3の画素として、Ri画素、IR画素を用いたが、これに限定されず、シアン(C)画素、及びマゼンタ(M)画素を採用してもよいことは前述の通りである。すなわち、第1−第4の画素をYe、M、C、W画素としてもよい、この場合、入射光をより有効利用でき、ショットノイズが低くなり、原画像データに含まれるノイズ成分をより低くすることができる。   In the above embodiment, Ri pixels and IR pixels are used as the second to third pixels. However, the present invention is not limited to this, and cyan (C) pixels and magenta (M) pixels may be adopted. The good thing is as described above. That is, the first to fourth pixels may be Ye, M, C, and W pixels. In this case, incident light can be used more effectively, shot noise becomes lower, and noise components included in the original image data become lower. can do.

また、この場合、Ye、C、M、W画索により得られる画像成分を画像成分Ye、C、M、Wとすると、RGB色信号生成部は、式(1)に代えて、式(9)により色信号dR、dG、dBを求めればよい。
dR=W−C
dG=W−M ・・・・・(9)
dB=W−Ye
Further, in this case, assuming that image components obtained by Ye, C, M, and W image search are image components Ye, C, M, and W, the RGB color signal generation unit replaces Equation (1) with Equation (9). ) To obtain the color signals dR, dG, dB.
dR = W-C
dG = WM (9)
dB = W-Ye

また、色空間変換部104dは、式(3)に代えて、式(10)により輝度信号Yaddを求めればよい。
Yadd=(1/4)×(Ye+C+M+W) ・・・・・(10)
In addition, the color space conversion unit 104d may obtain the luminance signal Yadd using Expression (10) instead of Expression (3).
Yadd = (1/4) × (Ye + C + M + W) (10)

ここで、式(10)のように単純加算平均ではなく、式(1)´と同様に重み付け加算を採用してもよい。また、上記実施の形態では、色空間変換部104dが色差信号Cb、Crをスムージング処理したが、これに限定されない。すなわち、色補間部104bの前段にスムージング処理部を設け、スムージング処理部に画像成分Ye、Ri、IR、Wをスムージング処理させることで、色空間変換部104dによるスムージング処理を省略してもよい。   Here, weighted addition may be employed in the same manner as in equation (1) ′ instead of simple averaging as in equation (10). In the above embodiment, the color space conversion unit 104d performs the smoothing process on the color difference signals Cb and Cr. However, the present invention is not limited to this. That is, a smoothing processing unit may be provided before the color interpolation unit 104b, and the smoothing processing may be performed on the image components Ye, Ri, IR, and W so that the smoothing process by the color space conversion unit 104d may be omitted.

更にスムージング処理は、色信号dR、dG、dBが算出されるまでであれば、どこで実施しても構わない。   Further, the smoothing process may be performed anywhere as long as the color signals dR, dG, and dB are calculated.

また、上記実施の形態では、撮像素子102は、第1〜第4の画素の4種類の画素を備えているが、これに限定されず、少なくとも3種類の画素を備えるものであればよい。   Moreover, in the said embodiment, although the image pick-up element 102 was provided with four types of pixels, the 1st-4th pixel, it is not limited to this, What is necessary is just to be provided with at least 3 types of pixels.

この場合、撮像素子102を構成する画素の種類として、各画素の分光透過特性からR、G、Bの色信号を生成することができる種類のものを採用すればよい。   In this case, a type that can generate R, G, and B color signals from the spectral transmission characteristics of each pixel may be employed as the type of pixels that form the image sensor 102.

図22は、第2の実施の形態の変形例にかかるフローチャートである。この変形例では、赤外光が支配的(割合が高い)ときは、輝度信号に画素データをそのまま重み付けして加算し(11)、色度信号のゲインを下げている(12)。
Yadd’=Yadds×Ys/Yadds
Yadd“=Yt×(1−Ys/Yadds)+Yadd‘×(Ys/Yadds)・・・(11)
Cadd’=Cadd×Ys/Yadds・・・(12)
FIG. 22 is a flowchart according to a modification of the second embodiment. In this modification, when infrared light is dominant (the ratio is high), pixel data is weighted and added as it is to the luminance signal (11), and the gain of the chromaticity signal is lowered (12).
Yadd ′ = Yadds × Ys / Yadds
Yadd “= Yt × (1−Ys / Yadds) + Yadd ′ × (Ys / Yadds) (11)
Cadd ′ = Cadd × Ys / Yadds (12)

本発明は、監視カメラ等に適用可能であるが、用途はそれに限られない。   The present invention can be applied to surveillance cameras and the like, but the application is not limited thereto.

ハロゲンランプの分光特性を示す図であり、縦軸は発光強度、横軸は波長である。It is a figure which shows the spectral characteristics of a halogen lamp, A vertical axis | shaft is light emission intensity and a horizontal axis is a wavelength. 本実施の形態に係る画像入力装置MGの概略図である。It is a schematic diagram of image input device MG concerning this embodiment. 本実施の形態に係る撮像素子102の1画素の断面構造を模式的に示す図である。It is a figure which shows typically the cross-section of 1 pixel of the image pick-up element 102 which concerns on this Embodiment. 撮像素子102の全体の電気的構成を示す図である。2 is a diagram illustrating an overall electrical configuration of an image sensor 102. FIG. 撮像素子102の1画素分の回路構成を示す図である。2 is a diagram illustrating a circuit configuration of one pixel of the image sensor 102. FIG. 撮像素子102の有するフィルタFの一部を示す概略図である。3 is a schematic diagram illustrating a part of a filter F included in the image sensor 102. FIG. フィルタFの分光特性を示す図である。6 is a diagram illustrating spectral characteristics of a filter F. FIG. 画像処理部104の詳細な構成を示すブロック図である。3 is a block diagram illustrating a detailed configuration of an image processing unit 104. FIG. 第1の実施の形態にかかる画像入力装置MGの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image input device MG concerning 1st Embodiment. 列選択期間内における画素駆動タイミングを示すタイミングチャートである。It is a timing chart which shows the pixel drive timing in a column selection period. バイアス電圧を印加する画素グループ分けの様子を説明するための図である。It is a figure for demonstrating the mode of the pixel group division which applies a bias voltage. 図3に示す1画素をA−A’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。FIG. 4 is a diagram schematically showing an energy potential distribution in a state where one pixel shown in FIG. 3 is cut along an A-A ′ section. バイアス電圧変更による分光特性の変化を示す図である。It is a figure which shows the change of the spectral characteristics by a bias voltage change. バイアス変更後のフィルタFの分光特性を示す図である。It is a figure which shows the spectral characteristic of the filter F after a bias change. 別な例に係る撮像素子102の1画素の断面構造を模式的に示す図である。It is a figure which shows typically the cross-sectional structure of 1 pixel of the image pick-up element 102 which concerns on another example. 図15に示す1画素をA−A’断面で切断した状態で、そのエネルギーポテンシャル分布を概略的に示す図である。FIG. 16 is a diagram schematically showing an energy potential distribution in a state where one pixel shown in FIG. 15 is cut along an A-A ′ section. 複数のフレーム例を示す模式図である。It is a schematic diagram which shows the some example of a frame. 撮影画面例を示す模式図であるIt is a schematic diagram which shows an example of a photography screen 別なフィルタの分光特性を示す図である。It is a figure which shows the spectral characteristic of another filter. バイアス変更後の別なフィルタの分光特性を示す図である。It is a figure which shows the spectral characteristic of another filter after a bias change. 第2の実施の形態にかかる画像入力装置MGの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image input device MG concerning 2nd Embodiment. 第2の実施の形態の変形例にかかる画像入力装置MGの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image input device MG concerning the modification of 2nd Embodiment.

3 素子分離領域
4 フォトダイオード
5 キャリア排出領域
6 コンタクト部
6W,6Ye,6Ri コンタクト部
7 n型領域
8 転送ゲート
11 転送トランジスタ
12 増幅トランジスタ
13 行選択トランジスタ
14 リセットトランジスタ
15 垂直走査回路
16 水平走査回路
17 回路
18 引算器
19 リセットゲート
21 ポテンシャル井戸
21 n型領域ポテンシャル井戸
23 n型領域ポテンシャル井戸
101 レンズ
102 撮像素子
103 変換部
104 画像処理部
104a 露出補正部
104b 色補間部
104c 色信号生成部
104d 色空間変換部
104e 光源検出部
105 制御部
106 電圧制御部
107 電圧発生部
F フィルタ
LH 行選択信号線
LV 垂直信号線
MG 画像入力装置
PX1 第1の画素群
PX2 第2の画素群
SH1,SH2 サンプルホールド回路
VDD 電源電圧
3 element isolation region 4 photodiode 5 carrier discharge region 6 contact portion 6W, 6Ye, 6Ri contact portion 7 n-type region 8 transfer gate 11 transfer transistor 12 amplification transistor 13 row selection transistor 14 reset transistor 15 vertical scanning circuit 16 horizontal scanning circuit 17 Circuit 18 Subtractor 19 Reset gate 21 Potential well 21 n-type region potential well 23 n-type region potential well 101 Lens 102 Image sensor 103 Conversion unit 104 Image processing unit 104a Exposure correction unit 104b Color interpolation unit 104c Color signal generation unit 104d Color Spatial conversion unit 104e Light source detection unit 105 Control unit 106 Voltage control unit 107 Voltage generation unit F Filter LH Row selection signal line LV Vertical signal line MG Image input device PX1 First pixel group PX2 Second pixel group SH1, SH2 Sample hold circuit VDD Power supply voltage

Claims (6)

可視光と赤外光を含む波長領域において、異なる波長帯域の光束を透過させる少なくとも3種類の光学フィルタと、前記光学フィルタを透過した光束を受光して受光量に応じた信号を出力する複数の画素とを備えた撮像素子と、前記撮像素子からの信号を演算処理する演算手段とを有し、被写体から投射される光を受光して画像信号を入力する画像入力装置であって、
第1の画素群における赤外光の感度と、第2の画素群における赤外光の感度とを異ならせ
連続的に被写体を撮像する場合において、前記第1の画素群からの信号と、前記第2の画素群からの信号とを交互に出力し、それにより主として可視光に基づく画像と、主として赤外光に基づく画像とを交互に含む複数のフレームからなる動画を形成することを特徴とする画像入力装置。
In a wavelength region including visible light and infrared light, at least three types of optical filters that transmit light fluxes in different wavelength bands, and a plurality of light filters that receive the light fluxes that have passed through the optical filter and output a signal corresponding to the amount of received light An image input device that includes an image pickup device including pixels and a calculation unit that performs calculation processing on a signal from the image pickup device, receives light projected from a subject, and inputs an image signal;
Differentiating the sensitivity of the infrared light in the first pixel group and the sensitivity of the infrared light in the second pixel group ;
When the subject is continuously imaged, the signal from the first pixel group and the signal from the second pixel group are alternately output, whereby an image mainly based on visible light and mainly infrared An image input apparatus that forms a moving image including a plurality of frames alternately including images based on light .
前記第1の画素群における赤外光の感度は、前記第2の画素群における赤外光の感度より低く、前記第1の画素群の周囲に、前記第2の画素群が配置されていることを特徴とする請求項に記載の画像入力装置。 The sensitivity of the infrared light in the first pixel group is lower than the sensitivity of the infrared light in the second pixel group, and the second pixel group is arranged around the first pixel group. The image input apparatus according to claim 1 . 一画素毎に感度を異ならせることができることを特徴とする請求項1又は2に記載の画像入力装置。 The image input apparatus according to claim 1 or 2, characterized in that it is possible to vary the sensitivity for each one pixel. 前記撮像素子は、境界波長未満の光を受光することによって発生した電荷を捕捉して信号に変換して出力する捕捉手段と、前記境界波長以上の光を受光することによって発生した電荷を排出する排出手段とを有する画素を含むことを特徴とする請求項1〜3のいずれかに記載の画像入力装置。 The imaging device captures a charge generated by receiving light having a wavelength less than the boundary wavelength, converts it into a signal and outputs the signal, and discharges the charge generated by receiving light having the wavelength longer than the boundary wavelength. the image input apparatus according to claim 1, characterized in that it comprises pixels having the discharge means. 前記排出手段は、前記捕捉手段よりも光の入射面から深い位置に設けられていることを特徴とする請求項に記載の画像入力装置。 The image input apparatus according to claim 4 , wherein the discharging unit is provided at a position deeper than a light incident surface than the capturing unit. 前記排出手段が排出する電荷の排出量は、外部から入力されるバイアス電圧制御信号に応じて可変となっていることを特徴とする請求項4又は5に記載の画像入力装置。 6. The image input apparatus according to claim 4, wherein the discharge amount of the charge discharged by the discharge means is variable according to a bias voltage control signal input from the outside.
JP2010077457A 2010-03-30 2010-03-30 Image input device Expired - Fee Related JP5464008B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010077457A JP5464008B2 (en) 2010-03-30 2010-03-30 Image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010077457A JP5464008B2 (en) 2010-03-30 2010-03-30 Image input device

Publications (2)

Publication Number Publication Date
JP2011211497A JP2011211497A (en) 2011-10-20
JP5464008B2 true JP5464008B2 (en) 2014-04-09

Family

ID=44942091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010077457A Expired - Fee Related JP5464008B2 (en) 2010-03-30 2010-03-30 Image input device

Country Status (1)

Country Link
JP (1) JP5464008B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6373577B2 (en) * 2013-12-25 2018-08-15 ザインエレクトロニクス株式会社 Imaging control device
JP6975896B2 (en) * 2017-02-03 2021-12-01 パナソニックIpマネジメント株式会社 Control method of image pickup device and image pickup device
WO2019224936A1 (en) * 2018-05-23 2019-11-28 オリンパス株式会社 Solid-state image capture device and image capture device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000133791A (en) * 1998-10-26 2000-05-12 Sony Corp Solid-state image-pickup device
JP5002242B2 (en) * 2006-11-02 2012-08-15 キヤノン株式会社 Imaging apparatus and control method thereof
JP2009005061A (en) * 2007-06-21 2009-01-08 Konica Minolta Holdings Inc Solid-state imaging device and imaging apparatus employing the same
JP5299002B2 (en) * 2009-03-23 2013-09-25 ソニー株式会社 Imaging device

Also Published As

Publication number Publication date
JP2011211497A (en) 2011-10-20

Similar Documents

Publication Publication Date Title
JP5206796B2 (en) Image input device
WO2021208593A1 (en) High dynamic range image processing system and method, electronic device, and storage medium
US6734905B2 (en) Dynamic range extension for CMOS image sensors
JP5168353B2 (en) Imaging device and imaging device
JP5152114B2 (en) Image processing apparatus, image processing method, imaging apparatus, and computer program
KR101639382B1 (en) Apparatus and method for generating HDR image
KR100827238B1 (en) Apparatus and method for supporting high quality image
JP5397788B2 (en) Image input device
JP5663564B2 (en) Imaging apparatus, captured image processing method, and captured image processing program
US20080068477A1 (en) Solid-state imaging device
EP3270587A1 (en) Image processing device, image processing method, and program
JP2011239252A (en) Imaging device
JP2011166477A (en) Solid-state imaging element and image input device
JP6622481B2 (en) Imaging apparatus, imaging system, signal processing method for imaging apparatus, and signal processing method
JP2009194604A (en) Imaging apparatus and method of driving the same
JP2009049525A (en) Imaging apparatus and method for processing signal
JPWO2016143134A1 (en) Image processing apparatus, image processing method, and program
JP4678218B2 (en) Imaging apparatus and image processing method
JP6303689B2 (en) Electronics
JP5464008B2 (en) Image input device
JP2009005061A (en) Solid-state imaging device and imaging apparatus employing the same
JP5098908B2 (en) Image input device
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP2010171950A (en) Imaging apparatus and color correcting method of imaging apparatus
JP2009290795A (en) Image processor, image processing method, image processing program, recording medium, and electronic information device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120810

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees