JP6717660B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP6717660B2
JP6717660B2 JP2016097097A JP2016097097A JP6717660B2 JP 6717660 B2 JP6717660 B2 JP 6717660B2 JP 2016097097 A JP2016097097 A JP 2016097097A JP 2016097097 A JP2016097097 A JP 2016097097A JP 6717660 B2 JP6717660 B2 JP 6717660B2
Authority
JP
Japan
Prior art keywords
infrared light
transmittance
color
signal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016097097A
Other languages
Japanese (ja)
Other versions
JP2017204824A (en
Inventor
崇英 小島
崇英 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2016097097A priority Critical patent/JP6717660B2/en
Publication of JP2017204824A publication Critical patent/JP2017204824A/en
Application granted granted Critical
Publication of JP6717660B2 publication Critical patent/JP6717660B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタを備えた撮像装置に関するものである。 The present invention relates to an image pickup apparatus having a plurality of optical filters each having a transmission region in a wavelength region different from each other in a visible light region and a transmission region in a near infrared light region and arranged in a predetermined pattern.

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯(ヘッドライトなど)とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、高い監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、広いダイナミックレンジと暗視性能と人間の色覚特性と合致した色再現性を両立することが課題となっている。 In recent years, interest in preventive safety of traffic accidents has been increasing, and research and development of an imaging device for vehicle-mounted monitoring have been actively conducted as an elemental technology in a driving support system of a vehicle. Among them, to ensure high monitoring performance in a situation in which darkness at night and high-brightness signal lights and vehicle lights (headlights, etc.) exist at the same time, and the difference in light and dark can be very large, resulting in poor visibility, that is, In order to be able to discriminate the color of a signal or a lane even in a situation where visibility may be poor, it is an issue to achieve a wide dynamic range, night-vision performance, and color reproducibility matching human color vision characteristics. There is.

このような暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタ(光学フィルタ)を用いて、近赤外光領域に感度を持ったまま色再現を行うIRカラーカメラ技術の開発が行われている。 In such darkness, a color filter (optical filter) that transmits near infrared rays is used as a means for improving the performance of monitoring pedestrians and lanes, and color reproduction is performed with sensitivity in the near infrared light region. Development of IR color camera technology to be carried out is underway.

IRカラーカメラは、赤外線除去フィルタ(IRカットフィルタ)を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または赤外投光器によって照射された近赤外光の反射光をIRカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能となる。 Since the IR color camera does not have an infrared ray removal filter (IR cut filter), it has sensitivity to light in the near infrared light region, and the near infrared light emitted from the observation target, or By observing the reflected light of the near-infrared light emitted by the infrared projector with an IR color camera, it is possible to perform imaging even in a dark area where the vehicle headlight is not illuminated.

そして、このようなIRカラーカメラで撮像された画像の中から、可視光と近赤外光をともに含む輝度信号と、可視光と近赤外光をともに含む色信号の中から近赤外光成分のみを除去する除去処理によって色信号を得て、この輝度信号と色信号を適切に再合成することによって、暗視性能(暗所での撮像性能)と人間の視覚に近い色再現性を両立した出力信号を得る撮像装置が提案されている(例えば、特許文献1)。 Then, from an image captured by such an IR color camera, a near-infrared light is selected from a luminance signal including both visible light and near-infrared light and a color signal including both visible light and near-infrared light. A color signal is obtained by a removal process that removes only the component, and the luminance signal and the color signal are appropriately recombined to achieve night-vision performance (imaging performance in a dark place) and color reproducibility similar to human vision. An imaging device that obtains compatible output signals has been proposed (for example, Patent Document 1).

特開2014−165528号公報JP, 2014-165528, A

一般的な撮像装置に適用される光学フィルタの分光感度特性は、当該光学フィルタを透過する色ごと(波長域ごと)に異なっている。そこで、従来の撮像装置では、色ごとに異なる分光感度の差を補正する処理が行われている。以下では、当該補正処理の具体例を説明する。 Spectral sensitivity characteristics of an optical filter applied to a general image pickup apparatus are different for each color (wavelength range) transmitted through the optical filter. Therefore, in the conventional image pickup apparatus, a process of correcting a difference in spectral sensitivity that differs for each color is performed. Hereinafter, a specific example of the correction process will be described.

まず、説明の前提として、可視光領域においては各色(R,G,B)で異なる透過域を有するが、近赤外光領域においては各色で同じ透過域を有する赤色フィルタR,緑色フィルタG,青色フィルタBを用いて被写体を撮像する場合を想定する。可視光領域における分光感度は、各光学フィルタのうち、特定の光学フィルタ(例えば緑色フィルタG)が最も大きい。そのため、各色(R,G,B)で異なる分光感度の差を補正する処理は、赤色フィルタR,青色フィルタB,緑色フィルタGの夫々の可視光領域における分光感度を上記特定の光学フィルタに揃えるように行われる。具体的に、この補正処理は、可視光分光感度補正用の補正係数を赤色フィルタR,緑色フィルタG,青色フィルタB夫々の分光感度に乗算することによって行われる。 First, as a premise of the description, a red filter R, a green filter G, which have different transmission regions for each color (R, G, B) in the visible light region, but have the same transmission region for each color in the near infrared light region, It is assumed that the subject is imaged using the blue filter B. The spectral sensitivity in the visible light region is highest in a specific optical filter (for example, green filter G) among the optical filters. Therefore, in the process of correcting the difference in spectral sensitivity different for each color (R, G, B), the spectral sensitivities in the visible light region of the red filter R, the blue filter B, and the green filter G are aligned with the specific optical filter. Is done like. Specifically, this correction processing is performed by multiplying the spectral sensitivity of each of the red filter R, the green filter G, and the blue filter B by a correction coefficient for correcting visible light spectral sensitivity.

上述のとおり、赤色フィルタR,緑色フィルタG,青色フィルタBの夫々は、近赤外光領域においては等しい透過域を有する。従って、近赤外光領域における分光感度は各光学フィルタで同じ値となる。それにもかかわらず、従来の撮像装置では、近赤外光領域における分光感度の補正処理が可視光分光感度補正用の補正係数と同じ補正係数を用いて行われていた。即ち、近赤外光領域において同じ値を持つ分光感度に対して、可視光分光感度補正用の補正係数を乗算する処理が行われていた。 As described above, each of the red filter R, the green filter G, and the blue filter B has the same transmission range in the near infrared light region. Therefore, the spectral sensitivity in the near infrared light region has the same value for each optical filter. Nevertheless, in the conventional imaging device, the correction processing of the spectral sensitivity in the near infrared light region is performed using the same correction coefficient as the correction coefficient for visible light spectral sensitivity correction. That is, the processing of multiplying the spectral sensitivity having the same value in the near infrared light region by the correction coefficient for visible light spectral sensitivity correction has been performed.

その結果、可視光成分では画像が正しく色再現されるが、近赤外光成分では分光感度のバランスが各色で崩れ、画像の色がマゼンタに寄ってしまう。そのため、人間の視覚とずれて画像が表現されるため、違和感のある画像に仕上がってしまう問題がある。 As a result, the color of the image is correctly reproduced with the visible light component, but the balance of the spectral sensitivities is broken for each color with the near infrared light component, and the color of the image tends to magenta. As a result, the image is expressed in a manner that is different from the human visual sense, and there is a problem that the image is finished with a feeling of strangeness.

さらに、画像の色がマゼンタに寄ってしまうことによる影響は、既存の車載のナイトビジョン装置で撮像された映像にも見受けられる。既存の車載のナイトビジョン装置では、色情報が無い近赤外線の映像は、白と黒との混合で得られる無彩色としてカラーディスプレイ上で表現されることがスタンダードとなっている。しかし、近赤外光成分の影響で画像の色が無彩色以外のマゼンタに寄ってしまうと、画像に色ずれが生じてしまう問題がある。 Furthermore, the effect of the color of the image being closer to magenta can be seen in the image captured by the existing vehicle-mounted night vision device. In existing vehicle-mounted night vision devices, it is standard that near-infrared images without color information are represented on a color display as achromatic colors obtained by mixing white and black. However, when the color of the image approaches the magenta other than the achromatic color due to the influence of the near-infrared light component, there is a problem that the color shift occurs in the image.

本発明は、上記課題に鑑みてなされたもので、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an imaging device capable of preventing the spectral sensitivity balance in the near-infrared light component from being destroyed in each wavelength range and obtaining an image in which the color balance is appropriately adjusted. The purpose is to provide.

本発明に係る撮像装置は、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができるものである。 The image pickup apparatus according to the present invention can prevent the spectral sensitivity balance in the near-infrared light component from being broken in each wavelength range, and can obtain an image in which the color balance is appropriately adjusted.

すなわち、本発明に係る撮像装置は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタと、前記複数の光学フィルタを透過した光を前記複数の光学フィルタ毎に電気信号に変換して、画像を生成する撮像素子と、前記画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率が予め記憶された透過率記憶部と、前記画素毎に含まれる可視光成分が同じになるように前記可視光成分を前記波長域毎に補正するために予め設定された補正係数を予め記憶した補正係数記憶部と、前記補正係数記憶部に記憶された前記補正係数で前記透過率を除し、前記波長域毎の前記透過率を調整する近赤外光透過率調整部と、前記近赤外光透過率調整部により調整された透過率で前記画素毎に含まれる近赤外光成分を重み付ける赤外分離部と、を有することを特徴とする。 That is, the imaging device according to the present invention has a plurality of optical filters each having a transmission region in a wavelength region different from each other in a visible light region and a transmission region in a near infrared light region, and a plurality of optical filters arranged in a predetermined pattern, The light transmitted through the optical filter is converted into an electric signal for each of the plurality of optical filters, and is associated with an image sensor that generates an image and a ratio of near-infrared light components included in each pixel that configures the image. The visible light component contained in each pixel is equal to the visible light component contained in each pixel, and the visible light component contained in each pixel is equal to the visible light component contained in each pixel. A correction coefficient storage unit that stores in advance a correction coefficient that is preset for correction, and the transmittance is divided by the correction coefficient stored in the correction coefficient storage unit to obtain the transmittance for each wavelength range. A near-infrared light transmittance adjusting unit for adjusting; and an infrared separating unit for weighting the near-infrared light component included in each pixel with the transmittance adjusted by the near-infrared light transmittance adjusting unit. It is characterized by

このように構成された本発明に係る撮像装置によれば、近赤外光透過率調整部は、可視光成分(可視光分光感度)が大きい波長域ほど画素に含まれる近赤外光成分の透過率を小さく調整でき、可視光成分(可視光分光感度)が小さい波長域ほど画素に含まれる近赤外光成分の透過率を大きく調整できる。そして、赤外分離部は、調整された近赤外光成分の透過率を用いて画素毎に含まれる近赤外光成分を重み付けることができる。これによって、各波長域で近赤外光成分の透過率を同じ値に近づけることができる。そのため、近赤外光成分における分光感度のバランスが各波長域で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる。 According to the imaging device of the present invention thus configured, the near-infrared light transmittance adjusting unit controls the near-infrared light component included in the pixel in a wavelength range having a larger visible light component (visible light spectral sensitivity). The transmittance can be adjusted to be small, and the transmittance of the near-infrared light component included in the pixel can be adjusted to be large as the wavelength range in which the visible light component (visible light spectral sensitivity) is small. Then, the infrared separation unit can weight the near-infrared light component included in each pixel using the adjusted transmittance of the near-infrared light component. As a result, the transmittance of the near infrared light component can be brought close to the same value in each wavelength range. Therefore, it is possible to prevent the spectral sensitivity balance in the near-infrared light component from being broken in each wavelength range, and to obtain an image in which the color balance is appropriately adjusted.

本発明の実施例1に係る撮像装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment of the present invention. 本発明を適用するシーンの一例を示す図である。It is a figure which shows an example of the scene to which this invention is applied. 撮像素子の入出力特性の概要を説明する図である。It is a figure explaining the outline of the input-output characteristic of an image sensor. 本発明の実施例1で使用される撮像素子の入出力特性の一例を示す図である。FIG. 3 is a diagram showing an example of input/output characteristics of the image sensor used in Example 1 of the present invention. 図4Aの横軸を対数目盛とした図である。It is the figure which made the horizontal axis of FIG. 4A logarithmic scale. 本発明の実施例1で使用される撮像素子の色フィルタの配列の一例を示す図である。FIG. 3 is a diagram showing an example of an array of color filters of the image sensor used in Example 1 of the present invention. 図5Aの色フィルタに、赤色光,緑色光,青色光,可視光全体をそれぞれ選択的に透過する色フィルタを当てはめたときのフィルタの配置例を示す図である。It is a figure which shows the example of arrangement|positioning of the filter when the color filter which selectively transmits red light, green light, blue light, and whole visible light is respectively applied to the color filter of FIG. 5A. 図5Bの色フィルタを通して撮像された色信号に基づいて、欠落した色信号を算出する方法を説明する図である。It is a figure explaining the method of calculating the missing color signal based on the color signal imaged through the color filter of FIG. 5B. 本発明の実施例1において、出力信号線形変換部で行われる信号変換処理について説明する図である。FIG. 6 is a diagram illustrating a signal conversion process performed by an output signal linear conversion unit in the first embodiment of the present invention. 本発明の実施例1で使用される光学フィルタの分光透過率特性の一例を示す図である。It is a figure which shows an example of the spectral transmittance characteristic of the optical filter used in Example 1 of this invention. 図7Aに示した分光透過率特性を、撮像素子の入力輝度と出力信号が線形関係になるように階調変換した後の分光透過率特性の一例を示す図である。It is a figure which shows an example of the spectral transmittance characteristic after carrying out the gradation conversion of the spectral transmittance characteristic shown in FIG. 7A so that the input luminance and output signal of an image sensor may become a linear relationship. 図7Bの信号から近赤外光成分を分離した後の分光透過率特性の一例を示す図である。It is a figure which shows an example of the spectral transmittance characteristic after isolate|separating a near-infrared light component from the signal of FIG. 7B. 本発明の実施例1における色信号生成部の詳細構成を説明する図である。It is a figure explaining the detailed structure of the color signal generation part in Example 1 of this invention. 本発明の実施例1における近赤外透過信号補正部の色信号補正処理の詳細構成を説明する図である。FIG. 6 is a diagram illustrating a detailed configuration of a color signal correction process of a near infrared transmission signal correction unit according to the first exemplary embodiment of the present invention. 本発明の実施例1における処理の流れを示すフローチャートである。6 is a flowchart showing a flow of processing in the first embodiment of the present invention.

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像または撮像された画像の認識結果に基づく警報や警告灯を、車両の乗員に提示する周囲監視装置に適用した例である。 Hereinafter, embodiments of an image pickup apparatus according to the present invention will be described with reference to the drawings. The present embodiment monitors the surroundings of a vehicle using the imaging device according to the present invention, and presents a warning or a warning light based on a captured image or a recognition result of the captured image to a vehicle occupant. It is an example applied to.

(撮像装置の概略構成の説明)
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置10は、図1に示すように車両(図示省略)に設置されて、被写体を観測する光学系101と、撮像素子102(撮像素子)と、信号分離部103と、出力信号線形変換部104と、色信号生成部105aと、輝度信号生成部107と、輝度信号補正部108と、色輝度合成部109と、画像出力部110を備えている。
(Explanation of schematic configuration of imaging device)
First, the configuration of the device will be described with reference to the drawings. The imaging device 10 according to the present embodiment is installed in a vehicle (not shown) as illustrated in FIG. An output signal linear conversion unit 104, a color signal generation unit 105a, a luminance signal generation unit 107, a luminance signal correction unit 108, a color luminance synthesis unit 109, and an image output unit 110 are provided.

光学系101は、レンズやミラー等の光学素子から構成されて、被写体から出射した光または被写体で反射した光を、後述する撮像素子102上に導く光学系である。光学系101は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。 The optical system 101 is an optical system including an optical element such as a lens and a mirror, and guides the light emitted from the subject or the light reflected by the subject onto an image pickup element 102 described later. The optical system 101 generally uses a pan-focus lens having a narrow angle, a wide angle, a fisheye, or the like in the case of an imaging device for in-vehicle monitoring. Furthermore, a lens system provided with a zoom mechanism or an autofocus mechanism may be used, or a lens system provided with a diaphragm or a shutter may be used. Further, in order to improve the image quality and color reproducibility, a lens system provided with various filters such as an optical low pass filter, a band separation filter, a polarization filter, etc. may be used.

撮像素子102は、複数の光学フィルタを透過した光を複数の光学フィルタ毎に電気信号に変換して、画像を生成する。撮像素子102は、複数の画素から構成されており、光学系101を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号eに光電変換する。光電変換された出力電圧信号eは、撮像素子102の内部に備えられたアンプ(図示省略)、更に同じく撮像素子102の内部に備えたADコンバータ(図示省略)を通してデジタル化されて、出力信号RAW0が生成される。出力信号RAW0として、例えば、12ビット(0〜4095)にデジタル化された信号が出力される。撮像素子102としては、最大120dB程度の入力輝度のダイナミックレンジを有する、CMOSイメージセンサやCCDイメージセンサ等の光電変換素子が用いられる。なお、撮像素子102を構成する各画素の上には、後述するように、透過する波長帯域が異なる4種類のフィルタ(赤色フィルタR,緑色フィルタG,青色フィルタB,透明フィルタC)が、それぞれ規則的に配列された光学フィルタを形成している。 The image sensor 102 converts light transmitted through the plurality of optical filters into electric signals for each of the plurality of optical filters to generate an image. The image sensor 102 is composed of a plurality of pixels, forms an image of a subject observed through the optical system 101, and photoelectrically converts the input light into an output voltage signal e corresponding to the brightness thereof. The photoelectrically converted output voltage signal e is digitized through an amplifier (not shown) provided inside the image pickup device 102 and an AD converter (not shown) also provided inside the image pickup device 102 to output the output signal RAW0. Is generated. As the output signal RAW0, for example, a 12-bit (0 to 4095) digitized signal is output. As the image sensor 102, a photoelectric conversion element such as a CMOS image sensor or a CCD image sensor having a dynamic range of input luminance of about 120 dB at maximum is used. As will be described later, four types of filters (red filter R, green filter G, blue filter B, transparent filter C) having different wavelength bands to be transmitted are provided on each pixel constituting the image sensor 102, respectively. The regularly arranged optical filters are formed.

信号分離部103は、撮像素子102に対して撮像を行うタイミングを指示するとともに、撮像素子102で撮像された出力信号RAW0を受けて、同一の2つの出力信号RAW0、RAW0に分離する。 The signal separation unit 103 instructs the image pickup element 102 when to perform image pickup, receives the output signal RAW0 picked up by the image pickup element 102, and separates the same output signal RAW0 and RAW0.

出力信号線形変換部104は、信号分離部103で分離された信号のうち一方の出力信号RAW0に対して階調変換(線形化)処理を行い、線形性を有する線形化出力信号RAW1に変換する。ここで行われる変換処理の内容は後述する。 The output signal linear conversion unit 104 performs gradation conversion (linearization) processing on one output signal RAW0 of the signals separated by the signal separation unit 103 and converts it into a linearized output signal RAW1 having linearity. .. The contents of the conversion process performed here will be described later.

色信号生成部105aは、出力信号線形変換部104で変換された線形化出力信号RAW1を、R,G,B,Cの各色フィルタを透過した光にそれぞれ対応する4つの信号に分離する。このとき、撮像素子102のうち、例えば赤色フィルタRが配置された画素Eからは赤色成分のみしか得られないため、画素Eの近傍の画素の出力を用いて線形補間を行い、画素Eにおける線形色信号(R0,G0,B0,C0)を予測する。そして、線形色信号(R0,G0,B0,C0)の中に含まれる近赤外光成分の比率Rを求めて、求められた近赤外光成分の比率Rに応じた量の近赤外光成分を分離して、線形性を有する近赤外透過信号を生成する。さらに、近赤外透過信号の色補正を行って線形補正色信号(R1,G1,B1)を生成する。 The color signal generation unit 105a separates the linearized output signal RAW1 converted by the output signal linear conversion unit 104 into four signals corresponding to the lights transmitted through the R, G, B, and C color filters, respectively. At this time, in the image sensor 102, for example, only the red component is obtained from the pixel E in which the red filter R is arranged, and therefore linear interpolation is performed using the outputs of the pixels in the vicinity of the pixel E, and the linear The color signals (R0, G0, B0, C0) are predicted. Then, the ratio R of the near-infrared light components included in the linear color signals (R0, G0, B0, C0) is obtained, and the amount of near-infrared light corresponding to the obtained ratio R of the near-infrared light components is obtained. The light component is separated to generate a linear near infrared transmission signal. Further, the near infrared transmission signal is color-corrected to generate a linear correction color signal (R1, G1, B1).

また、色信号生成部105aは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号(R1,G1,B1)を出力する。なお、色信号生成部105aは、図8に示す詳細構成を有しているが、その内容と、色信号生成部105aで行われる具体的な処理内容については後述する。 In addition, the color signal generation unit 105a performs clipping processing on saturated pixels and also detects a saturated region where color saturation has occurred. Then, an appropriate linear correction color signal (R1, G1, B1) is output depending on whether or not the pixel is a pixel forming a saturated region. Although the color signal generation unit 105a has the detailed configuration shown in FIG. 8, the details thereof and the specific processing contents performed by the color signal generation unit 105a will be described later.

輝度信号生成部107は、信号分離部103で分離された信号のうち他方の出力信号RAW0から輝度信号Y1を生成する。ここで行われる処理の内容は後述する。 The luminance signal generation unit 107 generates the luminance signal Y1 from the other output signal RAW0 of the signals separated by the signal separation unit 103. The contents of the processing performed here will be described later.

輝度信号補正部108は、輝度信号生成部107で生成された輝度信号Y1を必要に応じて補正して、輝度補正信号Y2を生成する。ここで行われる処理の内容は後述する。 The brightness signal correction unit 108 corrects the brightness signal Y1 generated by the brightness signal generation unit 107 as necessary to generate a brightness correction signal Y2. The contents of the processing performed here will be described later.

色輝度合成部109は、線形補正色信号(R1,G1,B1)と輝度補正信号Y2を合成して映像信号(R2,G2,B2)を生成する。ここで行われる処理の内容は後述する。 The color/luminance synthesis unit 109 synthesizes the linear correction color signals (R1, G1, B1) and the luminance correction signal Y2 to generate a video signal (R2, G2, B2). The contents of the processing performed here will be described later.

画像出力部110は、例えば表示用モニタからなり、色輝度合成部109で合成された映像信号(R2,G2,B2)を視認可能な形で出力する。 The image output unit 110 includes, for example, a display monitor, and outputs the video signals (R2, G2, B2) synthesized by the color/luminance synthesis unit 109 in a visually recognizable form.

以下、撮像装置10の作用について、図面を用いて順に説明する。まず、図2に基づいて、撮像装置10の具体的な利用シーンについて説明する。図2は、撮像装置10を用いて夜間の道路を撮影したときに得られる画像の一例を表したものである。すなわち、道路上に存在する先行車201や対向車203・道路標識等による反射装置205,206・信号機207・歩行者208・レーンマーカ209などが撮像されて画像化された様子を示している。 Hereinafter, the operation of the imaging device 10 will be sequentially described with reference to the drawings. First, based on FIG. 2, a specific usage scene of the imaging device 10 will be described. FIG. 2 shows an example of an image obtained when a road at night is photographed using the image pickup device 10. That is, it shows a state in which the preceding vehicle 201, the oncoming vehicle 203, the reflection devices 205 and 206, the traffic signal 207, the pedestrian 208, the lane marker 209, and the like existing on the road are imaged and imaged.

図3は、線形の入出力特性を持つ一般的な撮像素子を用いて、図2に示す道路を撮像して画像化したときの入力輝度Iと出力電圧信号eの関係を表している。 FIG. 3 shows the relationship between the input luminance I and the output voltage signal e when the road shown in FIG. 2 is imaged and imaged using a general image sensor having a linear input/output characteristic.

すなわち、撮像素子102に対して、異なる2つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性301と、露光時間が短いときの入出力特性302、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性303を示している。 That is, as the input/output characteristics when two different exposure times are given to the image sensor 102, the input/output characteristics 301 when the exposure time is long, the input/output characteristics 302 when the exposure time is short, and the on-road characteristics. The input/output characteristic 303 is considered to be capable of generating an appropriate color image without causing overexposure or underexposure when all the subjects are imaged and all the subjects are imaged.

図2に示したような夜間のシーンは、被写体の明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。 In the nighttime scene as shown in FIG. 2, the difference in light and darkness of the subject is very large, and if the image is picked up by an image pickup device having a linear input/output characteristic, the limit of the dynamic range will be exceeded. There was a problem that a phenomenon called black crush occurred.

すなわち、図3に示した入力輝度帯域304のように、自車両のヘッドライトや道路照明が当たっていない領域、および自車両のヘッドライトや道路照明を反射し難い、レーンマーカ209や歩行者208の領域が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性301を設定するのが望ましい。しかし、入出力特性301を設定すると、ヘッドライト204に照らされた高輝度領域が多い入力輝度帯域307やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが飽和してしまうため、所謂「白飛び」と呼ばれる現象が生じてしまう(図3に示した領域X1が白飛びを起こす領域を表す)。 That is, as in the input luminance band 304 shown in FIG. 3, it is difficult to reflect the headlight of the own vehicle or the road lighting, and the headlight of the own vehicle or the road lighting, and the lane marker 209 or the pedestrian 208 is difficult to reflect. It is desirable to set the input/output characteristics 301 when the exposure time is determined and the image is taken so that the area is displayed with the brightness that is easy to see. However, when the input/output characteristic 301 is set, the output voltage signal e in the input luminance band 307 having a high luminance region illuminated by the headlight 204 and the input luminance band 305 having a high distribution frequency of the taillight 202 is saturated. A so-called “whiteout” phenomenon occurs (the region X1 shown in FIG. 3 represents a region causing whiteout).

逆に、最も明るいヘッドライト204に照らされた高輝度領域が多い入力輝度帯域307が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性302を設定するのが望ましい。しかし、入出力特性302を設定すると、レーンマーカ209や歩行者208の分布頻度が多い入力輝度帯域304やテールライト202の分布頻度が多い入力輝度帯域305における出力電圧信号eが黒潰れのラインを下回ってしまうため、所謂「黒潰れ」と呼ばれる現象が生じてしまう(図3に示した領域X2が黒潰れを起こす領域を表す)。 On the contrary, it is desirable to set the input/output characteristic 302 when the exposure time is determined and the image is taken so that the input brightness band 307 having many high brightness areas illuminated by the brightest headlight 204 is displayed with a brightness that is easy to see. However, when the input/output characteristic 302 is set, the output voltage signal e in the input luminance band 304 in which the lane marker 209 or the pedestrian 208 is frequently distributed or the input luminance band 305 in which the tail light 202 is frequently distributed is below the line that is crushed by black. As a result, a so-called “black crush” phenomenon occurs (the region X2 shown in FIG. 3 represents a region causing black crush).

これに対して、図3に示した入出力特性303を設定して撮影すると、出力電圧信号eは、最も暗いレーンマーカ209から最も明るいヘッドライト204まで、一つの入出力特性303の白飛びも黒潰れもしない範囲に収めることができる。実施例1で用いる撮像素子102の入出力特性は、このような入出力特性303を有しているものとする。 On the other hand, when the input/output characteristic 303 shown in FIG. 3 is set and the image is taken, the output voltage signal e is from the darkest lane marker 209 to the brightest headlight 204 to one input/output characteristic 303 with overexposure and black. It can fit within the range that does not collapse. The input/output characteristics of the image sensor 102 used in the first embodiment are assumed to have such input/output characteristics 303.

(撮像素子の入出力特性の説明)
次に、撮像装置10の作用について、順を追って説明する。撮像素子102は、図4Aに示すように複数の入出力特性を備えており、入射光を受光した撮像素子102の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。
(Explanation of input/output characteristics of image sensor)
Next, the operation of the image pickup apparatus 10 will be described step by step. The image pickup device 102 has a plurality of input/output characteristics as shown in FIG. 4A, and by changing the reset timing and the reset voltage of the charge accumulated in each pixel of the image pickup device 102 that receives incident light, The output characteristics can be changed.

そして、この入出力特性は図4Aに示すように、入力輝度Iに対して出力電圧信号eが非線形に変化する特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。 As shown in FIG. 4A, this input/output characteristic has a characteristic that the output voltage signal e changes non-linearly with respect to the input luminance I. This is well known as a typical input/output characteristic of a logarithmic conversion type photoelectric conversion element.

なお、図4Bは、図4Aのグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Iのダイナミックレンジが変化することを示している。 Note that FIG. 4B is a graph in which the horizontal axis of the graph of FIG. 4A is converted into a logarithmic scale, and the dynamic range of the input luminance I that can be output without blown-out highlights or blackouts varies depending on the difference in input/output characteristics. Is shown.

すなわち、図4A,図4Bにあっては、各入出力特性に付与した番号が大きいほど、入力輝度Iのダイナミックレンジが広い特性を有している。 That is, in FIGS. 4A and 4B, the larger the number assigned to each input/output characteristic, the wider the dynamic range of the input luminance I has.

なお、図4Aに示した複数の入出力特性は、撮像シーンに応じて、撮像素子102に内蔵された露光制御部(非図示)によって1つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。 It should be noted that one of the plurality of input/output characteristics shown in FIG. 4A is selected by an exposure control unit (not shown) built in the image sensor 102 according to the image capturing scene. For example, based on the brightness of the imaged scene, the input/output characteristic that an image with the highest possible contrast is captured without causing overexposure or blackout is selected and imaged.

具体的には、撮像素子102に内蔵された露光制御部において、1フレーム毎に画像の出力統計情報が算出されて、白飛びや黒潰れの画素数が計測される。そして、白飛びが検出された場合には、よりダイナミックレンジが広い入出力特性が選択されて、白飛びが検出されない場合には、よりダイナミックレンジが狭い入出力特性が選択される。 Specifically, in the exposure control unit built in the image sensor 102, the output statistical information of the image is calculated for each frame, and the number of pixels with overexposure or underexposure is measured. Then, when the whiteout is detected, the input/output characteristic having a wider dynamic range is selected, and when the whiteout is not detected, the input/output characteristic having a narrower dynamic range is selected.

一方、黒潰れが検出された場合には、よりダイナミックレンジが狭い入出力特性が選択されて、黒潰れが検出されない場合には、よりダイナミックレンジが広い入出力特性が選択される。 On the other hand, when the black crush is detected, the input/output characteristic having a narrower dynamic range is selected, and when the black crush is not detected, the input/output characteristic having a wider dynamic range is selected.

(撮像素子のフィルタ構成の説明)
撮像素子102は、図4Aまたは図4Bに示す出力電圧信号eを出力する複数の画素を二次元的に備えている。各画素の受光面の上には、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタが形成されている。実施例1では、図5Aに示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ3種類のフィルタX,Y,Zと可視光の波長毎の透過率を3種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては3種類のフィルタと等しい透過率をもつ第4のフィルタTが規則的に配列された光学フィルタが形成されている。
(Explanation of the filter configuration of the image sensor)
The image pickup element 102 two-dimensionally includes a plurality of pixels that output the output voltage signal e shown in FIG. 4A or 4B. On the light-receiving surface of each pixel, a plurality of optical filters each having a different wavelength region in the visible light region and a transmission region in the near-infrared light region and arranged in a predetermined pattern are formed. There is. In the first embodiment, as shown in FIG. 5A, three types of filters X, Y, and Z that selectively transmit visible light for each wavelength and have equal transmissivity to near infrared light are visible. The transmittance for each wavelength of light can be represented by a linear sum of the transmittances of three types of filters, and for near infrared light, the fourth filter T having the same transmittance as the three types of filters is a rule. Optical filters are arranged in a linear fashion.

図7Aは、このような特性を有する光学フィルタの例として、多くの撮像素子に用いられているRGBフィルタを配列した撮像素子102の波長毎の出力値である分光感度Sを示している。すなわち、図5Bのように、前述した3種類のフィルタX,Y,Zが、それぞれ、赤色フィルタR,緑色フィルタG,青色フィルタBに対応し、第4のフィルタTに対応するフィルタとして、近赤外光を含む可視光全体を透過する透明フィルタCを適用した例である。 As an example of an optical filter having such characteristics, FIG. 7A shows the spectral sensitivity S which is the output value for each wavelength of the image sensor 102 in which RGB filters used in many image sensors are arranged. That is, as shown in FIG. 5B, the three types of filters X, Y, and Z described above correspond to the red filter R, the green filter G, and the blue filter B, respectively, and are close to each other as filters corresponding to the fourth filter T. This is an example in which a transparent filter C that transmits the entire visible light including infrared light is applied.

図7Aにおいて、可視光と近赤外光の境目は曖昧であるが、一般的に約700nm〜約850nmの波長領域と考えてよく、この波長領域よりも高波長領域では、4種類のフィルタの分光透過率に差がないため、4種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。 In FIG. 7A, the boundary between visible light and near-infrared light is ambiguous, but it can be generally considered to be in the wavelength region of about 700 nm to about 850 nm, and in the wavelength region higher than this wavelength region, four types of filters are used. Since there is no difference in the spectral transmittance, the output values of the pixels on which the light transmitted through the four types of filters respectively enter are asymptotic to each other.

本発明は、このような4種類のフィルタの特性を活用したものであり、撮像素子102の特性に基づき4種類の色フィルタの出力値が十分に漸近して一致するとみなした点(図7Aの例では、波長840nm付近)を可視光領域と近赤外光領域の境界とみなして、撮像素子102の出力信号の中から、可視光領域に占める成分(可視光成分)を保持して、近赤外光領域に占める成分(近赤外光成分)のみを分離、除去することを特徴としている。 The present invention utilizes the characteristics of these four types of filters, and it is considered that the output values of the four types of color filters are asymptotic enough and match based on the characteristics of the image sensor 102 (see FIG. 7A). In the example, the wavelength (near 840 nm) is regarded as the boundary between the visible light region and the near-infrared light region, and the component (visible light component) occupying the visible light region is retained from the output signal of the image sensor 102, and The feature is that only the component (near infrared light component) occupying the infrared light region is separated and removed.

次に、この4種類のフィルタの特性に関して説明する。4種類のフィルタX,Y,Z,Tの可視光領域の任意の波長における透過率を、それぞれXT,YT,ZT,TTとすると、それらの関係は式1のように表せる。
[式1]
Next, the characteristics of these four types of filters will be described. Letting XT, YT, ZT, and TT be the transmittances of the four types of filters X, Y, Z, and T at arbitrary wavelengths in the visible light region, respectively, the relationship between them can be expressed by Equation 1.
[Formula 1]

このように、第4のフィルタTの透過率TTは3種類のフィルタX,Y,Zの各透過率XT,YT,ZTの線形和で表すことができ、正負を問わない係数α,係数β,係数γが一意に定まるものとする。すなわち、撮像装置10は式2〜式5の条件を満たす4色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に利用されているRGBフィルタを用いることによって実現できる。そして、さらに、第4のフィルタTとして、近赤外光を含む可視光領域全体を透過する透明(Clear)フィルタCを用いればよい。
[式2]
[式3]
[式4]
[式5]
As described above, the transmittance TT of the fourth filter T can be represented by a linear sum of the transmittances XT, YT, and ZT of the three types of filters X, Y, and Z, and the coefficient α and the coefficient β can be positive or negative. , The coefficient γ is uniquely determined. That is, the image pickup apparatus 10 needs to use filters of four colors that satisfy the conditions of Expressions 2 to 5, which is achieved by using the RGB filters used in many image pickup elements as described above. realizable. Further, as the fourth filter T, a transparent (Clear) filter C that transmits the entire visible light region including near infrared light may be used.
[Formula 2]
[Formula 3]
[Formula 4]
[Formula 5]

ここで、NIRは近赤外光成分を表し、r,g,bは可視光の各色成分を表している。また、N_R,N_G,N_B,N_Cは、色信号(R,G,B,C)にそれぞれ含まれるノイズ成分を表している。なお、各ノイズ成分(N_R,N_G,N_B,N_C)の中には、定常的に発生する光電変換時の残留電荷やショットノイズ等と、画素毎にランダムに発生する電荷漏れや非線形センサにおける圧縮ノイズ等が含まれている。 Here, NIR represents a near-infrared light component, and r, g, and b represent each color component of visible light. Further, N_R, N_G, N_B, and N_C represent noise components included in the color signals (R, G, B, C), respectively. In addition, in each noise component (N_R, N_G, N_B, N_C), a residual charge at the time of photoelectric conversion that occurs steadily, shot noise, and the like, a charge leak that randomly occurs in each pixel, and a compression in the nonlinear sensor are generated. It contains noise.

これら4種類のフィルタの波長λに対する分光特性から、図7Aに示すような、撮像素子102の分光感度Sが得られる。そして、後述する階調変換処理によって、撮像素子102に対する入力輝度Iと撮像素子102から出力される出力電圧信号eとの関係を線形関係に変換することによって、図7Bに示す分光感度Sが得られる。そして、図7Bに示す分光感度Sから、式1に示した係数α,β,γの値を算出することができる。 From the spectral characteristics of these four types of filters with respect to the wavelength λ, the spectral sensitivity S of the image sensor 102 as shown in FIG. 7A can be obtained. Then, the spectral sensitivity S shown in FIG. 7B is obtained by converting the relationship between the input luminance I to the image sensor 102 and the output voltage signal e output from the image sensor 102 into a linear relationship by a gradation conversion process described later. To be Then, the values of the coefficients α, β, and γ shown in Expression 1 can be calculated from the spectral sensitivity S shown in FIG. 7B.

係数α,β,γの値は、複数の異なる波長λの光に対して計測された分光感度Sから、最小二乗法を用いて、真値に対して許容範囲内に収まるような値を設定することができる。そして、実施例1は、RGBCフィルタ配列に限らず、式2〜式5の関係式で表すことができる任意の4種類のフィルタ配列に適用することができる。 The values of the coefficients α, β, and γ are set so that the true value falls within the allowable range from the spectral sensitivity S measured for a plurality of lights having different wavelengths λ, using the least square method. can do. The first embodiment is not limited to the RGBC filter array, and can be applied to any four types of filter arrays that can be expressed by the relational expressions of Expressions 2 to 5.

前記RGBCフィルタを通して撮像素子102から出力された出力信号RAW0(12ビット)は、まず、信号分離部103において色信号処理と輝度信号処理に用いるための2つの信号に分離される分離処理が行われる。分離後の2つの信号は、分離前の出力信号RAW0と全く同一のものである。 The output signal RAW0 (12 bits) output from the image sensor 102 through the RGBC filter is first subjected to separation processing in the signal separation unit 103, which is separated into two signals to be used for color signal processing and luminance signal processing. .. The two signals after separation are exactly the same as the output signal RAW0 before separation.

(線形変換処理の説明)
次に、信号分離部103によって分離された2つの出力信号RAW0,RAW0のうち、色信号処理に用いられる出力信号RAW0に対して、出力信号線形変換部104において線形変換処理(線形化)を行う。すなわち、図6に示すように、入力輝度Iに対して、
撮像素子102の出力電圧信号eが線形に変化する予測線形特性612を有するものと仮定して、入力輝度Iと出力電圧信号eとが非線形関係にある領域を、線形関係を有する信号になるように変換する。
(Explanation of linear conversion process)
Next, of the two output signals RAW0 and RAW0 separated by the signal separation unit 103, the output signal linear conversion unit 104 performs linear conversion processing (linearization) on the output signal RAW0 used for color signal processing. .. That is, as shown in FIG. 6, with respect to the input luminance I,
Assuming that the output voltage signal e of the image sensor 102 has a predictive linear characteristic 612 that changes linearly, the region where the input luminance I and the output voltage signal e have a non-linear relationship becomes a signal having a linear relationship. Convert to.

撮像素子102は、図6の入出力特性600に示すように、入力輝度Iが小さい領域では線形特性601を有し、この領域では、入力輝度Iに対して線形に変化する出力信号を出力する。 As shown by the input/output characteristic 600 of FIG. 6, the image sensor 102 has a linear characteristic 601 in a region where the input luminance I is small, and outputs an output signal that linearly changes with the input luminance I in this region. ..

また、入力輝度Iが大きい領域では非線形特性602を有し、この領域では、入力輝度Iに対して非線形に変化する出力信号を出力する。 Further, the region having a large input luminance I has a non-linear characteristic 602, and in this region, an output signal which changes non-linearly with respect to the input luminance I is output.

そして、線形特性601を有する領域と非線形特性602を有する領域とは、接続点605において連続している。なお、撮像素子102が出力する非線形特性602を有する出力電圧信号eを第1の出力信号S1とする。 The region having the linear characteristic 601 and the region having the nonlinear characteristic 602 are continuous at the connection point 605. The output voltage signal e having the non-linear characteristic 602 output from the image sensor 102 is referred to as a first output signal S1.

ここで、撮像素子102の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、図6の点線で示すように、入出力特性が予測線形特性612を呈すると仮定する。そして、撮像素子102から、この予測線形特性612に基づいて出力されると予測される出力電圧信号eを第2の出力信号S2とする。 Here, it is assumed that the input/output characteristics are linear over the entire input luminance range of the image sensor 102. That is, it is assumed that the input/output characteristic exhibits the predicted linear characteristic 612 as shown by the dotted line in FIG. Then, the output voltage signal e predicted to be output from the image sensor 102 based on the predicted linear characteristic 612 is set as the second output signal S2.

出力信号線形変換部104では、撮像素子102が出力した第1の出力信号S1を、入出力特性が予測線形特性612をなすと仮定したときに、撮像素子102が出力すると予測される第2の出力信号S2に変換する処理を行う。 In the output signal linear conversion unit 104, when it is assumed that the input/output characteristic of the first output signal S1 output from the image sensor 102 has the predicted linear characteristic 612, the second output signal predicted to be output from the image sensor 102 is obtained. Processing for converting to the output signal S2 is performed.

すなわち、図6の場合、入力輝度I1に対して入出力特性600によって得られた出力電圧信号がe1であり、入出力特性が予測線形特性612をなすと仮定したときに、入力輝度I1に対して予測される出力電圧信号がe2であるとすると、出力電圧信号e1をe2/e1倍する処理が行われる。 That is, in the case of FIG. 6, assuming that the output voltage signal obtained by the input/output characteristic 600 with respect to the input luminance I1 is e1 and the input/output characteristic has the predicted linear characteristic 612, with respect to the input luminance I1, If the predicted output voltage signal is e2, a process of multiplying the output voltage signal e1 by e2/e1 is performed.

線形化を行う方法には様々なものが考えられるが、例えば、LUT(Look Up Table)を用いて変換すればよい。すなわち、あらかじめ撮像素子102の入出力特性を、図4Aに示したような全ての入出力特性の数だけ測定しておき、ある入力輝度Iのときに得られた出力電圧信号e1と、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号e2の対応関係をLUTに記憶しておく。階調変換処理時には、現在の入出力特性の番号と実際に計測された出力電圧信号e1の値から、そこに対応するLUTに記憶された出力電圧信号e2の値を参照して階調変換を行えばよい。 Various methods are conceivable for performing the linearization, and for example, conversion may be performed using a LUT (Look Up Table). That is, the input/output characteristics of the image sensor 102 are measured in advance for all the input/output characteristics as shown in FIG. 4A, and the output voltage signal e1 obtained at a certain input luminance I and the input/output characteristics The correspondence relationship of the output voltage signal e2 expected when the characteristics are assumed to be linear characteristics is stored in the LUT. During the gradation conversion processing, the gradation conversion is performed by referring to the value of the output voltage signal e2 stored in the LUT corresponding to the current input/output characteristic number and the actually measured value of the output voltage signal e1. Just go.

なお、撮像装置10における出力信号RAW0および階調変換を行うために用いるLUTに記憶される情報は、いずれもデジタル情報として取り扱う。実施例1において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば図4Aの入出力特性を有する撮像素子102を用いる場合、入出力特性の総数は10通りであるので、入出力特性の形態を漏れなく表現するのに必要なビット数は4ビット、撮像素子102の出力信号RAW0は12ビット、そして、LUTに必要なビット数(線形変換後の出力電圧値)は、入力輝度のダイナミックレンジが最大120dB(1:106)程度であることを考慮して、20ビット(>120dB)となる。 It should be noted that the output signal RAW0 and the information stored in the LUT used for performing gradation conversion in the imaging device 10 are both treated as digital information. In the first embodiment, the total number of input/output characteristics is 10 when the image sensor 102 having the input/output characteristics shown in FIG. , The number of bits required to fully express the form of the input/output characteristics is 4 bits, the output signal RAW0 of the image sensor 102 is 12 bits, and the number of bits required for the LUT (output voltage value after linear conversion) is Considering that the dynamic range of the input luminance is about 120 dB (1:106) at maximum, it is 20 bits (>120 dB).

そして、出力信号線形変換部104において行われる線形変換によって、12ビットの出力信号RAW0から、20ビットの線形化出力信号RAW1が得られる。 Then, by the linear conversion performed in the output signal linear conversion unit 104, the 20-bit linearized output signal RAW1 is obtained from the 12-bit output signal RAW0.

なお、この他の線形変換の方法として、撮像素子102の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など様々な方法が考えられ、そのいずれの方法を用いても構わない。 As another linear conversion method, a method of predicting the position of a knee point, which is a bending point in the input/output characteristics of the image pickup element 102, to perform piecewise linear conversion, or a method of approximating logarithmic characteristics to perform conversion by an equation. Various methods such as a method are conceivable, and any method may be used.

(色信号の線形補間処理の説明)
次に、色信号生成部105aで行わる色再現処理の内容について、図8を用いて説明する。図8は、色信号生成部105aの詳細な構成を示す図である。すなわち、色信号生成部105aは、第1色分離部1051と、第1線形補間処理部1052と、近赤外光比率算出部1060(近赤外光比率算出部)と、近赤外光成分透過率テーブル1062(透過率記憶部)と、色信号補正係数レジスタ1063(補正係数記憶部)と、近赤外光透過率調整部1064(近赤外光透過率調整部)と、赤外分離部1053(赤外分離部)と、近赤外透過信号補正部1054と、第2色分離部1055と、第2線形補間処理部1056と、赤外含有色信号補正部1057と、飽和領域判定部1058aと、色信号選択部1059を備えている。
(Explanation of color signal linear interpolation processing)
Next, the content of the color reproduction processing performed by the color signal generation unit 105a will be described with reference to FIG. FIG. 8 is a diagram showing a detailed configuration of the color signal generation unit 105a. That is, the color signal generation unit 105a includes a first color separation unit 1051, a first linear interpolation processing unit 1052, a near infrared light ratio calculation unit 1060 (near infrared light ratio calculation unit), and a near infrared light component. Transmittance table 1062 (transmittance storage unit), color signal correction coefficient register 1063 (correction coefficient storage unit), near infrared light transmittance adjusting unit 1064 (near infrared light transmittance adjusting unit), and infrared separation Unit 1053 (infrared separation unit), near-infrared transmission signal correction unit 1054, second color separation unit 1055, second linear interpolation processing unit 1056, infrared-containing color signal correction unit 1057, and saturation region determination The unit 1058a and the color signal selection unit 1059 are provided.

出力信号線形変換部104(図1参照)によって変換された線形化出力信号RAW1(20ビット)は3つの信号に分離されて、第1色分離部1051と、第2色分離部1055、および飽和領域判定部1058aに入力される。このとき、分離後の3つの信号は、分離前の線形化出力信号RAW1と全く同一のものである。 The linearized output signal RAW1 (20 bits) converted by the output signal linear conversion unit 104 (see FIG. 1) is separated into three signals, the first color separation unit 1051, the second color separation unit 1055, and the saturation. It is input to the area determination unit 1058a. At this time, the three signals after separation are exactly the same as the linearized output signal RAW1 before separation.

第1色分離部1051は、線形化出力信号RAW1を、線形化出力信号RAW1を構成する各色に対応する4つの線形色信号(R0,G0,B0,C0)に分離する。このとき、信号がない画素は出力を0(空白)とする。 The first color separation unit 1051 separates the linearized output signal RAW1 into four linear color signals (R0, G0, B0, C0) corresponding to each color forming the linearized output signal RAW1. At this time, the output of the pixel having no signal is set to 0 (blank).

第1線形補間処理部1052は、第1色分離部1051において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ4つの線形色信号(R0,G0,B0,C0)を生成する。 The first linear interpolation processing unit 1052 linearly interpolates a pixel value expected to be observed in a blank pixel generated when the signal is separated in the first color separation unit 1051 using neighboring pixel values. Then, four linear color signals (R0, G0, B0, C0) are generated in each of the pixels.

この線形補間の方法について、図5Cを用いて具体的に説明する。図5Cのように配列されたフィルタにおいて、例えば、B22で示される画素には、青色光を透過するフィルタが配列されている。したがって、B22で示される画素からは、青色に対応する出力電圧信号eのみが得られる。 This linear interpolation method will be specifically described with reference to FIG. 5C. In the filters arranged as shown in FIG. 5C, for example, a pixel B22 is arranged with a filter that transmits blue light. Therefore, only the output voltage signal e corresponding to blue is obtained from the pixel indicated by B22.

したがって、B22で示される画素から出力されると予想される赤色光,緑色光,白色光に対応する信号は、B22で示される画素の周囲の出力電圧信号eを補間して予測する必要がある。 Therefore, the signals corresponding to red light, green light, and white light expected to be output from the pixel indicated by B22 must be predicted by interpolating the output voltage signal e around the pixel indicated by B22. ..

例えば、B22で示される画素から出力されると予想される赤色光成分は、B22で示される画素に隣接する画素のうち、赤色フィルタRが配列された画素であるR11,R13,R31,R33で示されるそれぞれの画素の出力電圧信号eの平均値を当てはめることによって予測する。 For example, the red light component expected to be output from the pixel indicated by B22 is R11, R13, R31, R33 which is the pixel in which the red filter R is arranged among the pixels adjacent to the pixel indicated by B22. Prediction is done by fitting the average value of the output voltage signal e of each pixel shown.

また、B22で示される画素から出力されると予想される緑色光成分は、B22で示される画素に隣接する画素のうち、緑色フィルタGが配列された画素であるG12,G32で示されるそれぞれの画素の出力電圧信号eの平均値を当てはめることによって予測する。 The green light components expected to be output from the pixel indicated by B22 are the respective pixels indicated by G12 and G32 which are the pixels in which the green filters G are arranged among the pixels adjacent to the pixel indicated by B22. Prediction is performed by fitting the average value of the output voltage signal e of the pixel.

そして、B22で示される画素から出力されると予想される白色光成分は、B22で示される画素に隣接する画素のうち、透明フィルタCが配列された画素であるC21,C23で示されるそれぞれの画素の出力電圧信号eの平均値を当てはめることによって予測する。 Then, the white light components expected to be output from the pixel indicated by B22 are the respective pixels indicated by C21 and C23 which are the pixels in which the transparent filter C is arranged among the pixels adjacent to the pixel indicated by B22. Prediction is performed by fitting the average value of the output voltage signal e of the pixel.

なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。 At this time, not only interpolation but also digital filtering for frequency selection may be performed using a digital filter such as a low pass filter or a band pass filter.

(赤外光分離処理の説明)
続いて、赤外光分離処理の内容について、図8を用いて説明する。まず、近赤外光比率算出部1060は、以下に示す式6によって、線形色信号(R0,G0,B0,C0)の中に含まれる近赤外光成分の比率Rを算出する。
[式6]
(Explanation of infrared light separation processing)
Next, the content of the infrared light separation process will be described with reference to FIG. First, the near-infrared light ratio calculation unit 1060 calculates the ratio R of the near-infrared light components included in the linear color signals (R0, G0, B0, C0) by the following Expression 6.
[Formula 6]

近赤外光成分透過率テーブル1062は、画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて画素毎に含まれる近赤外光成分の透過率βが予め記憶したものである。近赤外光成分透過率テーブル1062は、近赤外光比率算出部1060により算出された近赤外光成分の比率Rに対応付けて、線形色信号(R0,G0,B0,C0)の中に含まれる近赤外光成分の透過率βが記憶されている。 The near infrared light component transmittance table 1062 is a table in which the transmittance β of the near infrared light component included in each pixel is stored in advance in association with the ratio of the near infrared light component included in each pixel forming the image. Is. The near-infrared light component transmittance table 1062 is associated with the near-infrared light component ratio R calculated by the near-infrared light ratio calculation unit 1060, and is included in the linear color signals (R0, G0, B0, C0). The transmittance β of the near-infrared light component included in is stored.

色信号補正係数レジスタ1063は、センサ感度補正係数(補正係数)(Rr,Rg,Rb)を予め記憶したものである。当該センサ感度補正係数(Rr,Rg,Rb)は、画素毎に含まれる可視光成分(可視光分光感度)が同じになるように当該可視光成分(可視光分光感度)を波長域毎に補正するために予め設定されたものである。なお、当該センサ感度補正係数(Rr,Rg,Rb)は、部品の特性に応じて撮像装置10の生産時に調整されて予め実験されたテストデータとして設定されているものである。 The color signal correction coefficient register 1063 stores sensor sensitivity correction coefficients (correction coefficients) (Rr, Rg, Rb) in advance. The sensor sensitivity correction coefficient (Rr, Rg, Rb) corrects the visible light component (visible light spectral sensitivity) for each wavelength range so that the visible light component (visible light spectral sensitivity) included in each pixel becomes the same. It is set in advance to do so. The sensor sensitivity correction coefficients (Rr, Rg, Rb) are set as test data that has been adjusted and preliminarily tested at the time of production of the imaging device 10 according to the characteristics of the parts.

例えば、図7Bに示す分光感度特性を有する光学フィルタ(R,G,B,C)を用いて撮像素子102により被写体が撮像されるような場合、センサ感度補正係数(Rr,Rg,Rb)は、光学フィルタ(R,G,B)毎の分光感度のピーク値に応じて設定される。図7Bでは、光学フィルタ(R,G,B)のうち、光学フィルタGにおけるピーク値が最も大きいので、他の光学フィルタR,B夫々におけるピーク値を光学フィルタGにおけるピーク値に揃えるように設定される。具体的に、可視光分光感度補正用のセンサ感度補正係数は、(1.15,1.0,1.69)のように設定される。なお、光学フィルタGにおけるピーク値に揃えるようにセンサ感度補正係数を設定する手法は、各光学フィルタ(R,G,B)間で分光感度のピーク値に差があることを示す一例に過ぎない。例えば、光学フィルタRにおけるピーク値が最も大きい場合でも、同様の考え方でセンサ感度補正係数の設定が可能である。 For example, when a subject is imaged by the image sensor 102 using the optical filters (R, G, B, C) having the spectral sensitivity characteristics shown in FIG. 7B, the sensor sensitivity correction coefficient (Rr, Rg, Rb) is , Is set according to the peak value of the spectral sensitivity of each optical filter (R, G, B). In FIG. 7B, of the optical filters (R, G, B), the peak value of the optical filter G is the largest, so the peak values of the other optical filters R and B are set to be the same as the peak values of the optical filter G. To be done. Specifically, the sensor sensitivity correction coefficient for visible light spectral sensitivity correction is set as (1.15, 1.0, 1.69). It should be noted that the method of setting the sensor sensitivity correction coefficient so as to be aligned with the peak value in the optical filter G is merely an example showing that there is a difference in the peak value of the spectral sensitivity between the optical filters (R, G, B). .. For example, even when the peak value in the optical filter R is the largest, the sensor sensitivity correction coefficient can be set by the same idea.

近赤外光透過率調整部1064は、色信号補正係数レジスタ1063に記憶されたセンサ感度補正係数(Rr,Rg,Rb)の夫々で透過率βを除し、各波長域の透過率(βR,βG,βB)を算出する。具体的には、透過率(βR,βG,βB)はセンサ感度補正係数(Rr,Rg,Rb)を用いて、式7,式8,式9によって算出することができる。
[式7]
[式8]
[式9]
The near-infrared light transmittance adjusting unit 1064 divides the transmittance β by each of the sensor sensitivity correction coefficients (Rr, Rg, Rb) stored in the color signal correction coefficient register 1063 to obtain the transmittance (βR in each wavelength range. , ΒG, βB) are calculated. Specifically, the transmittance (βR, βG, βB) can be calculated by Equations 7, 8, and 9 using the sensor sensitivity correction coefficients (Rr, Rg, Rb).
[Formula 7]
[Formula 8]
[Formula 9]

赤外分離部1053は、近赤外光透過率調整部1064により調整された透過率(βR,βG,βB)で画素毎に含まれる近赤外光成分IRinを重み付けることによって、近赤外透過信号(Rout,Gout,Bout)を算出する。具体的に、赤外分離部1053は、第1線形補間処理部1052において得られた4つの線形色信号(R0,G0,B0,C0)の中に含まれる近赤外光成分IRinを、透過率(βR,βG,βB)を用いて重み付けることによって、近赤外透過信号(Rout,Gout,Bout)を生成する。赤外分離部1053は、当該近赤外透過信号(Rout,Gout,Bout)を近赤外透過信号補正部1054に出力する。近赤外透過信号(Rout,Gout,Bout)は近赤外光成分の透過率(βR,βG,βB)を用いて、式10,式11,式12によって算出することができる。なお、Rin,Gin,Binは画像を構成する画素毎に含まれる可視光成分を表す。
[式10]
[式11]
[式12]
次に、近赤外透過信号補正部1054による色信号補正処理の内容について、図9を用いて説明する。
The infrared separation unit 1053 weights the near-infrared light component IRin included in each pixel by the transmittances (βR, βG, βB) adjusted by the near-infrared light transmittance adjustment unit 1064 to obtain the near-infrared light. The transmission signals (Rout, Gout, Bout) are calculated. Specifically, the infrared separation unit 1053 transmits the near infrared light component IRin included in the four linear color signals (R0, G0, B0, C0) obtained by the first linear interpolation processing unit 1052. A near-infrared transmission signal (Rout, Gout, Bout) is generated by weighting using the rate (βR, βG, βB). The infrared separation unit 1053 outputs the near infrared transmission signals (Rout, Gout, Bout) to the near infrared transmission signal correction unit 1054. The near-infrared transmission signals (Rout, Gout, Bout) can be calculated by the equations (10), (11) and (12) using the transmittance (βR, βG, βB) of the near-infrared light component. Note that Rin, Gin, and Bin represent visible light components included in each pixel forming an image.
[Formula 10]
[Formula 11]
[Formula 12]
Next, the content of the color signal correction processing by the near infrared transmission signal correction unit 1054 will be described with reference to FIG.

近赤外透過信号補正部1054は、一般的な線形特性を持つ撮像素子を用いた撮像装置10で実施されている技術により、撮像装置10によって再現される色がターゲットカラーとなるように色信号補正処理を行う。具体的には、近赤外透過信号補正部1054において、赤外分離部1053から出力された近赤外透過信号(Rout,Gout,Bout)に対して、式13〜式15を用いて演算を行い、近赤外光成分IRinの項が同じ式(IRin*Rg*β)になるように補正して、補正された3つの線形補正色信号(Rr*Rout,Rg*Gout,Rb*Bout)を生成する。
[式13]
[式14]
[式15]
The near-infrared transmission signal correction unit 1054 uses a technique implemented in the image pickup apparatus 10 using an image pickup element having a general linear characteristic so that the color reproduced by the image pickup apparatus 10 becomes a target color. Perform correction processing. Specifically, in the near-infrared transmission signal correction unit 1054, the near-infrared transmission signals (Rout, Gout, Bout) output from the infrared separation unit 1053 are calculated using Equations 13 to 15. The three linear correction color signals (Rr*Rout, Rg*Gout, Rb*Bout) are corrected by correcting the terms of the near-infrared light component IRin to be the same formula (IRin*Rg*β). To generate.
[Formula 13]
[Formula 14]
[Formula 15]

なお、一般的にセンサ感度の補正は、感度の絶対量補正と、色相空間での回転(微調整レベル)の両方が行われるため、3×3の行列演算が行われる。しかし、実施例1の処理の影響範囲は感度の絶対量補正のみであるため、単純な係数乗算として説明した。勿論、3×3の行列演算を行った場合でも、同様の考え方でパラメータの算出が可能である。 Note that, in general, the correction of the sensor sensitivity involves both the correction of the absolute amount of the sensitivity and the rotation (fine adjustment level) in the hue space, and therefore a 3×3 matrix calculation is performed. However, since the range of influence of the processing of the first embodiment is only the correction of the absolute amount of sensitivity, it has been described as a simple coefficient multiplication. Of course, even when a 3×3 matrix operation is performed, the parameters can be calculated in the same way.

(クリッピング処理の説明)
第2色分離部1055は、第1色分離部1051と同様に、線形化出力信号RAW1が入力されて、4つの色信号に分離(信号がない部分は空白0を挿入)されるが、分離前に、飽和信号レベル(12ビットの場合は4095)に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。
(Explanation of clipping process)
Similarly to the first color separation unit 1051, the second color separation unit 1055 receives the linearized output signal RAW1 and separates it into four color signals (a blank 0 is inserted in a portion having no signal). Before, clipping is performed on the saturation signal level (4095 in the case of 12 bits) using a predetermined clip level for each color signal.

クリッピング処理とは、線形化出力信号RAW1が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。 The clipping process is a process of setting the pixel value to a predetermined value determined when the linearized output signal RAW1 exceeds a predetermined value determined in advance.

その後、第2線形補間処理部1056で第1線形補間処理部1052と同様の線形補間処理を行う。また、赤外含有色信号補正部1057は、第2線形補間処理部1056から出力される近赤外光を含む4つの色信号に対して、リニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された4つの線形補正色信号(Xs,Ys,Zs,Ts)のうち、(Xs,Ys,Zs)の3信号を出力する。 After that, the second linear interpolation processing unit 1056 performs the same linear interpolation processing as the first linear interpolation processing unit 1052. Further, the infrared-containing color signal correction unit 1057 performs a linear matrix operation on the four color signals including the near-infrared light output from the second linear interpolation processing unit 1056, and the color reproduced in the saturation region. Of the four corrected linear correction color signals (Xs, Ys, Zs, Ts), and outputs three signals (Xs, Ys, Zs).

なお、前述したRGBCフィルタを備えた撮像素子102の場合、式1において、X=R,Y=G,Z=B,T=Cと置き換えることによって、線形補正色信号(R1,G1,B1)が算出される。こうして算出される線形補正色信号(R1,G1,B1)は、近赤外光が分離されていない赤外未分離色信号である。 In the case of the image sensor 102 including the RGBC filter described above, the linear correction color signals (R1, G1, B1) can be obtained by replacing X=R, Y=G, Z=B, and T=C in Expression 1. Is calculated. The linear correction color signals (R1, G1, B1) calculated in this way are infrared unseparated color signals in which near infrared light is not separated.

(飽和領域判定処理の説明)
色信号選択部1059は、画素単位で並行して生成される前記2種類の線形補正色信号のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部1058aにおいて、線形化出力信号RAW1に対して、飽和画素、または飽和画素の周辺画素(線形補間で飽和画素の影響を受けている画素)のみを表わす二値信号を生成する。
(Explanation of saturated region determination processing)
The color signal selection unit 1059 makes a determination for selecting which of the two types of linear correction color signals to be used in parallel, which is generated in parallel for each pixel. Therefore, first, in the saturated region determination unit 1058a, a binary signal representing only the saturated pixel or a peripheral pixel of the saturated pixel (pixel affected by the saturated pixel in the linear interpolation) is added to the linearized output signal RAW1. To generate.

具体的には、飽和信号レベル以上で飽和と判定された画素を1とし、それ以外を0とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション(膨張)処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部1059へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。 Specifically, for a binary image in which pixels that are determined to be saturated at a saturation signal level or higher are set to 1, and other pixels are set to 0, dilation (expansion) according to the kernel size when linear interpolation processing is performed is performed. ) Processing, and the binary image signal obtained as a result of this dilation processing is input to the color signal selection unit 1059 as a saturated pixel signal representing a saturated pixel. At this time, since the region expansion process is performed, not only the saturated pixels but also the peripheral pixels considered to be affected by the saturated pixels are also extracted.

色信号選択部1059は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、2種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が0のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号(R1,G1,B1)が選択される。 The color signal selection unit 1059 selects which of the two types of color signals is to be output, depending on whether the pixel of interest is extracted as a saturated pixel or a peripheral pixel thereof. That is, when the above-mentioned binary image signal is 0, it is determined that the pixel is neither a saturated pixel nor a peripheral pixel of the saturated pixel, and the infrared-corrected linear correction color signal (R1, G1, B1) is selected. To be done.

一方、二値画像信号が1のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号(R1,G1,B1)が選択される。 On the other hand, when the binary image signal is 1, it is determined that the pixel is a saturated pixel or a peripheral pixel of the saturated pixel, and the infrared non-separated linear correction color signal (R1, G1, B1) subjected to clipping processing is selected. ..

以上により、線形化出力信号RAW1(20ビット)から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された3つの線形補正色信号(R1,G1,B1)(符号付き21ビット)が選択されて出力される。 As described above, from the linearized output signal RAW1 (20 bits), three near-infrared light components are separated so as to match human color vision characteristics, and three linear correction color signals (saturation, hue, etc. are adjusted ( R1, G1, B1) (21 bits with a sign) are selected and output.

(色輝度合成による色再現処理の説明)
信号分離部103によって分離された2つの出力信号RAW0のうち、色信号処理に用いない出力信号RAW0は、輝度信号処理に利用される。
(Explanation of color reproduction processing by color luminance synthesis)
Of the two output signals RAW0 separated by the signal separation unit 103, the output signal RAW0 not used for color signal processing is used for luminance signal processing.

輝度信号生成部107は、出力信号RAW0から輝度信号Y1(12ビット)を生成す
る。処理の内容は、出力信号線形変換部104で行う処理と、色分離をしない点以外は同
様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて
周波数選択のためのディジタルフィルタリングを実施することも可能である。
The luminance signal generator 107 generates a luminance signal Y1 (12 bits) from the output signal RAW0. The content of the processing is the same as the processing performed by the output signal linear conversion unit 104, except that color separation is not performed, and digital filtering for frequency selection is performed using a digital filter such as a low-pass filter or a band-pass filter. It is also possible to do so.

輝度信号補正部108は、輝度信号Y1に対してガンマ補正やヒストグラム補正等のコ
ントラスト調整を実施して、輝度補正信号Y2(12ビット)を生成する。
The brightness signal correction unit 108 performs contrast adjustment such as gamma correction and histogram correction on the brightness signal Y1 to generate a brightness correction signal Y2 (12 bits).

そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部109おいて、画像出力部110に出力する映像信号を生成する。 Then, using the linear correction color signal and the brightness correction signal, the color/luminance combining unit 109 generates a video signal to be output to the image output unit 110.

(処理の流れの説明) (Explanation of processing flow)

次に、図10のフローチャートを用いて、実施例1の一連の処理の流れを説明する。 Next, the flow of a series of processes of the first embodiment will be described using the flowchart of FIG.

(ステップS10)信号分離部103から撮像素子102に対して、撮像タイミングが指示されて、撮像が行われる。 (Step S10) The signal separation unit 103 instructs the image pickup device 102 to set an image pickup timing, and an image is picked up.

(ステップS12)撮像素子102は、光学系101を透過した光を受光して、光電変換を行い、出力信号RAW0を出力する。 (Step S12) The image sensor 102 receives the light transmitted through the optical system 101, performs photoelectric conversion on the light, and outputs an output signal RAW0.

(ステップS14)信号分離部103において、出力信号RAW0を同一の2つの出力信号RAW0,RAW0に分離する。 (Step S14) The signal separation unit 103 separates the output signal RAW0 into two identical output signals RAW0 and RAW0.

(ステップS16)出力信号線形変換部104において、一方の出力信号RAW0を、線形性を有する線形化出力信号RAW1に変換する。 (Step S16) The output signal linear conversion unit 104 converts one output signal RAW0 into a linearized output signal RAW1 having linearity.

(ステップS18)第1色分離部1051において、線形化出力信号RAW1をRGBC各色に対応する4つの信号に分離する。さらに、第1線形補間処理部1052において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号(R0,G0,B0)を生成する。 (Step S18) The first color separation unit 1051 separates the linearized output signal RAW1 into four signals corresponding to the RGBC colors. Further, in the first linear interpolation processing unit 1052, a blank pixel generated at the time of separation is linearly interpolated using the values of neighboring pixels to generate a linear color signal (R0, G0, B0). ..

(ステップS20)近赤外光比率算出部1060において、線形色信号(R0,G0,B0,C0)の中に含まれる近赤外光成分の比率Rを算出する。 (Step S20) The near infrared light ratio calculation unit 1060 calculates the ratio R of the near infrared light components included in the linear color signals (R0, G0, B0, C0).

(ステップS22)近赤外光透過率調整部1064は、近赤外光成分透過率テーブル1062および色信号補正係数レジスタ1063を参照して、センサ感度補正係数(Rr,Rg,Rb)の夫々で比率Rに対応する透過率βを除し、各波長域の透過率(βR,βG,βB)を算出する。 (Step S22) The near-infrared light transmittance adjusting unit 1064 refers to the near-infrared light component transmittance table 1062 and the color signal correction coefficient register 1063 to determine the sensor sensitivity correction coefficient (Rr, Rg, Rb). The transmittance β corresponding to the ratio R is divided to calculate the transmittance (βR, βG, βB) in each wavelength range.

(ステップS24)赤外分離部1053において、近赤外光透過率調整部1064により調整された透過率(βR,βG,βB)で画素毎に含まれる近赤外光成分IRinを重み付けることによって、近赤外透過信号(Rout,Gout,Bout)を算出する。さらに、近赤外透過信号補正部1054で、近赤外透過信号(Rout,Gout,Bout)に対して色補正を行って、線形補正色信号(Rr*Rout,Rg*Gout,Rb*Bout)を生成する。 (Step S24) In the infrared separation unit 1053, the near infrared light component IRin included in each pixel is weighted by the transmittance (βR, βG, βB) adjusted by the near infrared light transmittance adjusting unit 1064. , Near infrared transmission signals (Rout, Gout, Bout) are calculated. Further, the near infrared transmission signal correction unit 1054 performs color correction on the near infrared transmission signals (Rout, Gout, Bout) to obtain a linear correction color signal (Rr*Rout, Rg*Gout, Rb*Bout). To generate.

(ステップS26)第2色分離部1055において、クリッピング処理を行い、さらに、第2線形補間処理部1056において、線形色信号(R0,G0,B0,C0)を生成する。 (Step S26) The second color separation unit 1055 performs clipping processing, and further, the second linear interpolation processing unit 1056 generates linear color signals (R0, G0, B0, C0).

(ステップS28)赤外含有色信号補正部1057において、第2線形補間処理部1056から出力される4つの色信号に対してリニアマトリクス演算を行い、色補正された4つの線形補正色信号を生成する。 (Step S28) In the infrared-containing color signal correction unit 1057, a linear matrix operation is performed on the four color signals output from the second linear interpolation processing unit 1056 to generate four color-corrected linear correction color signals. To do.

(ステップS30)飽和領域判定部1058aにおいて、線形化出力信号RAW1に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。 (Step S30) The saturated region determination unit 1058a performs a saturation determination on the linearized output signal RAW1 to generate a binary image representing only the saturated pixels or the peripheral pixels of the saturated pixels.

(ステップS32)輝度信号生成部107において、出力信号RAW0から輝度信号Y1を生成する。 (Step S32) The luminance signal generator 107 generates the luminance signal Y1 from the output signal RAW0.

(ステップS34)輝度信号補正部108において、輝度信号Y1に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Y2を生成する。 (Step S34) The brightness signal correction unit 108 performs contrast adjustment such as gamma correction and histogram correction on the brightness signal Y1 to generate a brightness correction signal Y2.

(ステップS36)色輝度合成部109において、線形補正色信号(R1,G1,B1)と輝度補正信号Y2を合成して映像信号(R2,G2,B2)を生成する。 (Step S36) In the color/luminance combining unit 109, the linear correction color signals (R1, G1, B1) and the brightness correction signal Y2 are combined to generate a video signal (R2, G2, B2).

(ステップS38)生成された映像信号(R2,G2,B2)を、画像出力部110に出力する。 (Step S38) The generated video signal (R2, G2, B2) is output to the image output unit 110.

以上、説明したように、実施例1に係る撮像装置10によれば、近赤外光透過率調整部1064は、可視光成分(可視光分光感度)が大きい波長域ほど画素に含まれる近赤外光成分の透過率を小さく調整でき、可視光成分(可視光分光感度)が小さい波長域ほど画素に含まれる近赤外光成分の透過率を大きく調整できる。そして、赤外分離部1053は、このように調整された近赤外光成分の透過率(βR,βG,βB)を用いて画素毎に含まれる近赤外光成分IRinを重み付けることができる。これによって、各波長域で近赤外光成分IRinの透過率(IRin*Rg*β)を同じ値に近づけることができる。そのため、近赤外光成分IRinにおける分光感度のバランスが各波長域(R,G,B)で崩れることを防ぎ、色バランスが適切に調整された画像を得ることができる。 As described above, according to the image pickup apparatus 10 according to the first embodiment, the near-infrared light transmittance adjusting unit 1064 includes the near-red light included in the pixel in a wavelength range having a larger visible light component (visible light spectral sensitivity). The transmittance of the external light component can be adjusted to be small, and the transmittance of the near infrared light component included in the pixel can be adjusted to be large as the visible light component (visible light spectral sensitivity) is reduced. Then, the infrared separation unit 1053 can weight the near-infrared light component IRin included in each pixel by using the transmittance (βR, βG, βB) of the near-infrared light component thus adjusted. .. As a result, the transmittance (IRin*Rg*β) of the near-infrared light component IRin can be brought close to the same value in each wavelength range. Therefore, it is possible to prevent the balance of the spectral sensitivity in the near-infrared light component IRin from being destroyed in each wavelength range (R, G, B), and to obtain an image in which the color balance is appropriately adjusted.

さらに、上記式13および式15夫々の中辺において、近赤外光成分IRinの項に注目する。式13の中辺では、センサ感度補正係数Rrと透過率βの前にある係数(Rg/Rr)との乗算によってセンサ感度補正係数Rrが打ち消される。即ち、式13の右辺に示すように、近赤外光成分IRinの項はセンサ感度補正係数Rgに依存する値となる。その結果、近赤外光成分IRinの項は式14の右辺に示す近赤外光成分IRinの項と同じ式になる。 Further, pay attention to the term of the near-infrared light component IRin on the median side of each of the equations 13 and 15. In the middle side of Expression 13, the sensor sensitivity correction coefficient Rr is canceled by the multiplication of the sensor sensitivity correction coefficient Rr and the coefficient (Rg/Rr) preceding the transmittance β. That is, as shown on the right side of Expression 13, the term of the near-infrared light component IRin has a value that depends on the sensor sensitivity correction coefficient Rg. As a result, the term of the near infrared light component IRin becomes the same equation as the term of the near infrared light component IRin shown on the right side of the equation 14.

同様に、上記式15の中辺においても、センサ感度補正係数Rbと透過率βの前にある係数(Rg/Rb)との乗算によってセンサ感度補正係数Rbが打ち消される。即ち、式15の右辺に示すように、近赤外光成分IRinの項はセンサ感度補正係数Rgに依存する値となる。その結果、近赤外光成分IRinの項は上記式14の右辺に示す近赤外光成分IRinの項と同じ式になる。 Similarly, in the middle side of the above equation 15, the sensor sensitivity correction coefficient Rb is canceled by the multiplication of the sensor sensitivity correction coefficient Rb and the coefficient (Rg/Rb) before the transmittance β. That is, as shown on the right side of Expression 15, the term of the near-infrared light component IRin has a value that depends on the sensor sensitivity correction coefficient Rg. As a result, the term of the near-infrared light component IRin becomes the same expression as the term of the near-infrared light component IRin shown on the right side of the above equation 14.

これにより、3つの線形補正色信号(Rr*Rout,Rg*Gout,Rb*Bout)の夫々で、近赤外光成分IRinの項が同じ式になる。 As a result, the term of the near-infrared light component IRin becomes the same expression in each of the three linear correction color signals (Rr*Rout, Rg*Gout, Rb*Bout).

なお、式13〜式15夫々の右辺において、可視光成分の項(Rr*Rin),(Rg*Gin),(Rb*Bin)に示すように、可視光成分については従来同様、センサ感度係数(Rr,Rg,Rb)の夫々が、夫々の可視光成分(Rin,Gin,Bin)に乗算されることで、可視光成分(Rin,Gin,Bin)夫々における分光感度の差が補正されている。 As shown in the visible light component terms (Rr*Rin), (Rg*Gin), and (Rb*Bin) on the right side of each of Expressions 13 to 15, the visible light component has the same sensor sensitivity coefficient as in the conventional case. By multiplying each of the visible light components (Rin, Gin, Bin) by each of (Rr, Rg, Rb), the difference in spectral sensitivity between the visible light components (Rin, Gin, Bin) is corrected. There is.

従って、実施例1では、センサ感度係数(Rr,Rg,Rb)の夫々は可視光成分のみに効果を与え、近赤外光成分には影響を及ぼさない。このため、近赤外光成分における分光感度のバランスが線形補正色信号(Rr*Rout,Rg*Gout,Rb*Bout)の夫々で崩れてしまうことを防止できる。 Therefore, in Example 1, each of the sensor sensitivity coefficients (Rr, Rg, Rb) exerts an effect only on the visible light component, and does not affect the near infrared light component. Therefore, it is possible to prevent the balance of the spectral sensitivity in the near-infrared light component from being broken by each of the linear correction color signals (Rr*Rout, Rg*Gout, Rb*Bout).

なお、実施例1は、撮像素子102が、4種類のフィルタ(赤色フィルタR,緑色フィルタG,青色フィルタB,透明フィルタC)からなる光学フィルタを有するものとして説明したが、この光学フィルタは、例えば、近赤外光を含む可視光全体を透過する透明フィルタCの代わりに、近赤外光のみを透過する近赤外フィルタIrを有する構成としても同様の効果を奏する。 Although the image sensor 102 is described as having the optical filter including the four types of filters (red filter R, green filter G, blue filter B, transparent filter C) in the first embodiment, this optical filter is For example, instead of the transparent filter C that transmits the entire visible light including the near-infrared light, the same effect can be obtained even if the configuration has the near-infrared filter Ir that transmits only the near-infrared light.

さらに、実施例1は撮像素子102が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。 Further, although the image sensor 102 has been described as having the primary color system color filter in the first embodiment, this can also be realized by using a complementary color system color filter.

また、実施例1は赤外含有色信号補正部1057において色補正処理を行い、輝度信号補正部108において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。 In the first embodiment, the infrared-containing color signal correction unit 1057 performs color correction processing and the luminance signal correction unit 108 performs luminance correction processing. However, the color correction and the luminance correction are appropriately performed as necessary. It should be carried out.

さらに、実施例1は、可視光領域における互いに異なる波長域と近赤外光領域とに透過域を夫々有する光学フィルタを、可視光領域でR+G+B=C、近赤外光領域でR=G=B=Cとなるベイヤ配列のフィルタで構成したが、他のフィルタで構成してもよい。 Further, in the first embodiment, an optical filter having a wavelength range different from each other in the visible light region and a transmission region in the near infrared light region is provided, and R+G+B=C in the visible light region and R=G= in the near infrared light region. Although the filter is composed of the Bayer array with B=C, it may be composed of other filters.

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎない
ものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を
逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
Although the embodiments of the present invention have been described in detail above with reference to the drawings, the present invention is not limited to the configurations of the embodiments because the embodiments are merely examples of the present invention. Needless to say, even if the design is changed without departing from the spirit of the present invention, it is included in the present invention.

X,Y,Z,T(R,G,B,C)・・・・・フィルタ(光学フィルタ)
10・・・・・・・・・・・・撮像装置
102・・・・・・・・・・・撮像素子
1053・・・・・・・・・・赤外分離部
1060・・・・・・・・・・近赤外光比率算出部
1062・・・・・・・・・・近赤外光成分透過率テーブル(透過率記憶部)
1063・・・・・・・・・・色信号補正係数レジスタ(補正係数記憶部)
1064・・・・・・・・・・近赤外光透過率調整部
β・・・・・・・・・・・・・透過率
(βR,βG,βB)・・・・透過率
R・・・・・・・・・・・・・比率
X, Y, Z, T (R, G, B, C)... Filter (optical filter)
Image pickup device 102... Image pickup element 1053... Infrared separation unit 1060... ......Near infrared light ratio calculation unit 1062 ......Near infrared light component transmittance table (transmittance storage unit)
1063... Color signal correction coefficient register (correction coefficient storage unit)
1064... Near-infrared light transmittance adjuster β... Transmittance (βR, βG, βB)... Transmittance R. ············ratio

Claims (3)

可視光領域における互いに異なる波長域と近赤外光領域において互いに等しい透過率の透過域を夫々有し、かつ、所定のパターンで配列された複数の光学フィルタと、
前記複数の光学フィルタを透過した光を前記複数の光学フィルタ毎に電気信号に変換して、画像を生成する撮像素子と、
前記画像を構成する画素毎に含まれる近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率が予め記憶された透過率記憶部と、
前記画素毎に含まれる可視光成分の分光感度のピーク値が揃うように設定された補正係数を予め記憶した補正係数記憶部と、
前記補正係数記憶部に記憶された前記補正係数で前記透過率を除し、前記波長域毎の前記透過率を調整する近赤外光透過率調整部と、
前記近赤外光透過率調整部により調整された透過率で前記画素毎に含まれる近赤外光成分を重み付ける赤外分離部と、を有することを特徴とする撮像装置。
Having respectively a transparently pass each other equal transmittance in mutually different wavelength regions and near-infrared light area in the visible light region, and a plurality of optical filters arranged in a predetermined pattern,
An image sensor that converts light transmitted through the plurality of optical filters into electric signals for each of the plurality of optical filters to generate an image,
A transmittance storage unit in which the transmittance of the near-infrared light component included in each pixel is stored in advance in association with the ratio of the near-infrared light component included in each pixel forming the image,
A correction coefficient storage unit for previously storing a correction coefficient which is set so that the peak value is aligned in the spectral sensitivity of the visible Mitsunari component contained in each pixel,
A near-infrared light transmittance adjustment unit that divides the transmittance by the correction coefficient stored in the correction coefficient storage unit and adjusts the transmittance for each wavelength range,
An infrared separation unit that weights the near-infrared light component included in each pixel with the transmittance adjusted by the near-infrared light transmittance adjusting unit.
前記複数の光学フィルタは、互いに異なる波長域を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい透過率を持つ3種類のフィルタと、可視光領域の透過率が前記3種類のフィルタの各透過率の線形和で表わされて、かつ、近赤外光領域において、前記3種類のフィルタの透過率と等しい透過率を持つ1種類のフィルタと、が前記所定のパターンで配列されたことを特徴とする請求項1に記載の撮像装置。 The plurality of optical filters selectively transmit light in the visible light region having different wavelength regions from each other, and have three kinds of filters having the same transmittance in the near infrared light region and a visible light region. One kind of filter whose transmittance is represented by a linear sum of the respective transmittances of the three types of filters and which has a transmittance equal to the transmittances of the three types of filters in the near infrared light region; The image pickup apparatus according to claim 1, wherein are arranged in the predetermined pattern. 前記画像を構成する画素毎に含まれる近赤外光成分の比率を算出する近赤外光比率算出部を備え、
前記透過率記憶部は、前記近赤外光比率算出部により算出された前記近赤外光成分の比率に対応付けて前記画素毎に含まれる近赤外光成分の透過率を予め記憶することを特徴とする請求項1又は2に記載の撮像装置。
A near-infrared light ratio calculation unit for calculating a ratio of near-infrared light components included in each pixel forming the image,
The transmittance storage unit stores in advance the transmittance of the near-infrared light component included in each pixel in association with the ratio of the near-infrared light component calculated by the near-infrared light ratio calculation unit. The image pickup apparatus according to claim 1 or 2, characterized in that.
JP2016097097A 2016-05-13 2016-05-13 Imaging device Active JP6717660B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016097097A JP6717660B2 (en) 2016-05-13 2016-05-13 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016097097A JP6717660B2 (en) 2016-05-13 2016-05-13 Imaging device

Publications (2)

Publication Number Publication Date
JP2017204824A JP2017204824A (en) 2017-11-16
JP6717660B2 true JP6717660B2 (en) 2020-07-01

Family

ID=60322981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016097097A Active JP6717660B2 (en) 2016-05-13 2016-05-13 Imaging device

Country Status (1)

Country Link
JP (1) JP6717660B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082717A1 (en) 2017-10-23 2019-05-02 四国化成工業株式会社 Epoxy-oxetane compound, method for synthesizing same, and use of said compound

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867448B2 (en) * 2006-04-18 2012-02-01 ソニー株式会社 Physical information acquisition method and physical information acquisition device
JP2008289000A (en) * 2007-05-18 2008-11-27 Sony Corp Image input processing device, and method thereof
JP2013121132A (en) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd Imaging apparatus and imaging method
CN105453532B (en) * 2013-07-31 2019-03-01 麦克赛尔株式会社 Photographic device, image capture method and automotive camera system
JP6291048B2 (en) * 2014-06-24 2018-03-14 マクセル株式会社 Imaging processing apparatus and imaging processing method

Also Published As

Publication number Publication date
JP2017204824A (en) 2017-11-16

Similar Documents

Publication Publication Date Title
US9906766B2 (en) Imaging device
JP6441771B2 (en) Imaging device
US9131199B2 (en) Imaging apparatus capable of generating an appropriate color image
US9294740B2 (en) Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient
EP2418856A1 (en) Image input device
JP4250506B2 (en) Image processing method, image processing apparatus, image processing program, and imaging system
US10326947B2 (en) Image processing device, imaging device, image processing method, and program
JP6000133B2 (en) Imaging apparatus, imaging system, and imaging method
JP5228717B2 (en) Image input device
JP2005341470A (en) Imaging apparatus and signal processing method
JP6717660B2 (en) Imaging device
US20130083157A1 (en) Imaging Device
JP7121538B2 (en) Imaging device and imaging method
JP2012010141A (en) Image processing apparatus
JP4530149B2 (en) High dynamic range camera system
JP2010171950A (en) Imaging apparatus and color correcting method of imaging apparatus
JP2012015834A (en) Imaging device
JP7203441B2 (en) Image generating device and imaging device
KR100999885B1 (en) Apparatus for Processing Image Siganls, Method for Reducing Chrominamce Noise in the Image Signal Processing Apparatus and Record Medium for Performing Method of Reducing Chrominance Noise
JP5920144B2 (en) Imaging apparatus and imaging method
WO2011162155A1 (en) Image capturing device
CN116668657A (en) Solid-state imaging element, camera module, image processing device, and imaging method
JP2019212937A (en) Image display device and image display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200611

R150 Certificate of patent or registration of utility model

Ref document number: 6717660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150