JP5904825B2 - Image processing apparatus - Google Patents

Image processing apparatus

Info

Publication number
JP5904825B2
JP5904825B2 JP2012048638A JP2012048638A JP5904825B2 JP 5904825 B2 JP5904825 B2 JP 5904825B2 JP 2012048638 A JP2012048638 A JP 2012048638A JP 2012048638 A JP2012048638 A JP 2012048638A JP 5904825 B2 JP5904825 B2 JP 5904825B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012048638A
Other languages
Japanese (ja)
Other versions
JP2013187574A (en )
Inventor
允彦 安達
允彦 安達
忠彦 加納
忠彦 加納
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

本発明はカラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルターを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有するカメラの撮像データを処理する画像処理装置に関する。 The present invention relates to an image processing apparatus for processing a plurality of color light-receiving pixels for receiving light through the color filter, the imaging data of a camera having an imaging device formed by arranging a plurality of transparent light receiving pixels that receive without passing through the color filter on.

従来、カラーフィルタを介して受光する画素(カラー受光画素)と、カラーフィルタを介さずに受光する画素(透明受光画素)とを配置して構成される撮像素子を用いることにより、カラー画像の感度を改善する手法が提案されている(例えば、特許文献1を参照)。 Conventionally, a pixel (color light receiving pixels) for receiving through a color filter, by using the composed image sensor by arranging the pixel which receives without passing through the color filter (transparent light receiving pixels), the sensitivity of a color image method for improving has been proposed (e.g., see Patent Document 1).

また、例えば車両の前方等を撮像するカメラを車両に搭載し、その搭載したカメラの撮像画像を用いて、車両の周辺の状況を監視する装置が従来より知られている(例えば、特許文献2を参照) Further, for example, equipped with a camera for imaging the front of the vehicle to the vehicle, by using the captured image of the mounted camera, a device for monitoring conditions around the vehicle has been known (e.g., Patent Document 2 see)

特表2008−507908号公報 JP-T 2008-507908 JP 特開2004−247921号公報 JP 2004-247921 JP

ところで、例えば車両においては、他車あるいは道路脇の通信設備などから出力される通信信号や、車両の環境情報に関するセンシング信号等を、赤外領域等の所定の波長帯域の無線信号によって受信する場合がある。 Incidentally, for example in a vehicle, and the communication signal output from such another vehicle or a roadside communication equipment, if a sensing signal concerning environmental information of the vehicle, is received by the wireless signal of a predetermined wavelength band such as infrared region there is.

このような場合には、通常、それらの信号を受信するための専用的な受信機が車両に搭載される。 In such a case, usually, exclusively a receiver for receiving the signals is mounted on a vehicle. しかるに、このように専用的な受信機を車両に搭載すると、車両の軽量化やコスト低減の妨げとなるという不都合がある。 However, in this way to mount a dedicated specific receiver on the vehicle, there is a disadvantage that hinder weight reduction and cost reduction of the vehicle.

一方、本願発明者は、前記カラー受光画素と透明受光画素とを有するカメラでは、車両周辺の可視映像等の外界映像の画像を取得できるだけでなく、該カメラの撮像データ(各画素の出力データ)を利用することで、専用的な受信機を用いずとも、上記通信信号等の所定の波長域の信号を検出することが可能であることを知見した。 On the other hand, the inventors have, in a camera having said color light receiving pixels and a transparent light receiving pixels, not only obtain an image of the outside world image visible image such as around the vehicle, image pickup data of the camera (the output data of each pixel) by using, without using a dedicated specific receiver it was found that it is possible to detect a signal of a predetermined wavelength range, such as the communication signal.

本発明はかかる背景に鑑みてなされたものであり、カラー受光画素と透明受光画素とを配置して構成された撮像素子を有するカメラを用いて、外界の映像を示す画像を取得することと、所定の波長域の信号を検出することとを行なうことができる画像処理装置を提供することを目的とする。 The present invention has been made in view of such background, and be obtained using a camera having an imaging element configured by arranging a color light receiving pixels and a transparent light receiving pixels, the image showing the outside world image, and an object thereof is to provide an image processing apparatus capable of performing and detecting a signal of a predetermined wavelength range.

本発明の画像装置は、かかる目的を達成するために、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有し、車両に搭載されたカメラと、 Image apparatus of the present invention, in order to achieve the above object, an imaging device formed by arranging a plurality of color light-receiving pixels for receiving light through the color filters, and a plurality of transparent light receiving pixels that receive without passing through the color filter have a, a camera mounted on the vehicle,
該カメラにより撮像された原画像であって、各カラー受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数のカラー画素と各透明受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数の透明画素とを配置してなる原画像から、外界の映像を示すカラー又はモノトーンの外界画像を生成する外界画像生成手段と、 The imaging original image by the camera, tone value tone values ​​corresponding to the received light level corresponding to the received light level of a plurality of color pixels and the transparent light-receiving pixels assigned each of the color light-receiving pixels respectively from an original image formed by arranging a plurality of transparent pixels assigned, and the outside world image generating means for generating an external image of a color or black and white showing the outside world image,
前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、該検出対象領域での受光成分のうち、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域の受光成分を強調した画像である信号検出用画像を生成する信号検出用画像生成手段と、 The gradation value of the color pixels in the detection target region is a region of part of the original image, based on the tone value of the transparent pixel in the detection target area, among the light receiving component in the detection target region in the image, each of said plurality of color light receiving pixel emphasized the receiving components in a predetermined wavelength region that deviates from the predetermined wavelength range or wavelength range of the entire end side of the wavelength range of the total detectable wavelength region and a signal detection image generation means for generating a certain signal detection image,
該信号検出用画像から前記所定の波長域に含まれる信号成分を検出する信号検出手段とを備え And a signal detecting means for detecting a signal component contained from the signal detection image in the predetermined wavelength range,
前記信号検出用画像生成手段は、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域を前記検出対象領域として設定するように構成されていることを特徴とする(第1発明)。 The signal detection image generation means, of the original image, and is configured to running vehicle or area roadside communication equipment is present before a transmission source of the signal component so as to set as the detection target area characterized in that (first invention).
なお、前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている領域であるか(第2発明)、あるいは、前記原画像中で前記前走車又は道路脇の通信設備が写っている可能性が高い領域である(第3発明)。 Incidentally, wherein the front vehicle or an area where a roadside communication equipment is present, the or a region where the front running vehicle or a roadside communication equipment in the original image is captured (second invention), or, wherein a leading vehicle or a roadside likely communications equipment is captured area in the original image (third invention).

かかる第1〜第3発明によれば、前記外界画像生成手段によって、前記原画像から、外界の映像を示す外界画像が生成される。 According to the first to third invention, by the external image generating unit, from the original image, the external image showing the outside of the image is generated. この外界画像により外界の状況を認識することが可能となる。 It is possible to recognize the external world situation by the outside world image. この場合、外界画像は、カラー及びモノトーンのいずれの画像であってもよい。 In this case, the outside world image can be any image color and black and white. また、前記カメラの撮像素子が、透明受光画素を有するので、高感度な外界画像や、広ダイナミックレンジの外界画像を生成することもできる。 The imaging element of the camera, since a transparent light receiving pixels, and high sensitivity external image, it is also possible to generate an external image of a wide dynamic range.

さらに、 第1〜第3発明では、前記外界画像とは別に、前記信号検出用画像生成手段によって、前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、前記所定の波長域の受光成分を強調した画像である信号検出用画像が生成される Further, the first to third invention, separately from the external image, by the signal detection image generation means, a gradation value of the color pixels in the detection target region is a realm of part of the original image, based on the gradation value of the transparent pixel in the detection target area, the predetermined signal detection image is emphasized image receiving component wavelength range is generated.
この場合、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域が前記検出対象領域として設定される。 In this case, of the original image, a region where communication equipment is present of a leading vehicle or a roadside, which is the transmission source of the signal component is set as the detection target region.

そして、前記信号検出手段によって、この信号検出用画像から前記所定の波長域に含まれる信号成分が検出される。 Then, by the signal detection means, the signal components contained from the signal detection image in the predetermined wavelength range is detected.

なお、前記所定の波長域の受光成分を強調した画像(信号検出用画像)というのは、より詳しくは、前記撮像素子の全体のうち、該検出対象領域に対応する箇所(該撮像素子の全体又はその一部の箇所)に含まれるカラー受光画素及び透明受光画素で受光される光(電磁波)のうち、前記所定の波長域の光(電磁波)に対する感度を他の波長域に比して相対的に高めた画像を意味する。 The overall of the because predetermined emphasized image receiving components in a wavelength range (signal detection image), and more particularly, of the total of the image pickup device, a portion corresponding to the detection target region (the image sensor or of the light (electromagnetic wave) that is received by the color receiving pixels and a transparent light receiving pixels included in the partial portion), relative than the sensitivity to light (electromagnetic wave) of the predetermined wavelength range in other wavelength bands It means to enhance the image.

ここで、各カラー受光画素は、カラーフィルタを介して受光するものであるので、該カラー受光画素が検出可能な波長域は、該カラーフィルタを透過可能な波長域内に制限されたものとなる。 Wherein each color light receiving pixel, since those for receiving through a color filter, the color light-receiving pixels wavelength range detectable becomes that limited the color filter capable of transmitting wavelength region.

これに対して、各透明受光画素は、カラーフィルタを介さずに受光するものであるので、該透明受光画素が検出可能な波長域は、各カラー受光画素が検出可能な波長域の全体の波長域を逸脱した波長域も含む。 In contrast, the transparent light-receiving pixels, since those receiving without passing through the color filter, transparent light receiving pixels wavelength range detectable, the wavelength of the entirety of each color light receiving pixel detectable wavelength region wavelength range deviates from the range also includes.

なお、カラー受光画素又は透明受光画素が検出可能な波長域というのは、各画素の受光感度(該画素がカラーフィルタ又は透明のフィルタを介して受光する場合には、該フィルタを含めた受光感度)と受光波長との関係を示すスペクトル特性において、該受光感度が相対的に高感度となる波長域を意味する。 Note that because the color light-sensitive pixels or transparent light-receiving pixels detectable wavelength range, the light receiving sensitivity receiving sensitivity of each pixel (pixel is in the case of receiving through a color filter or a transparent filter, including the filter ) and the spectral characteristics showing the relationship between the light-receiving wavelength means a wavelength range of the light receiving sensitivity is relatively high sensitivity.

また、各カラー受光画素が検出可能な波長域の全体の波長域は、前記撮像素子に含まれる複数のカラー受光画素のそれぞれが検出可能な波長域を合成した波長域を意味する。 Further, the wavelength range of the whole of the color light-receiving pixels detectable wavelength region means a wavelength region, each of the plurality of color light receiving pixels included in the imaging element was synthesized wavelength range detectable.

そして、前記所定の波長域は、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域であるので、該所定の波長域においては、各カラー受光画素が検出可能な波長域の中央付近の波長域に較べて、カラー受光画素の受光感度との差が大きなものとなる。 Then, the predetermined wavelength range, the predetermined wavelength range respectively deviates from the predetermined wavelength range or wavelength range of the entire end side of the wavelength range of the total detectable wavelength region of the plurality of color light-receiving pixels since it is, in the predetermined wavelength range, as compared with the wavelength region near the center of each of the color light-receiving pixels detectable wavelength range, the difference between the light reception sensitivity of the color light-receiving pixels becomes large.

従って、前記検出対象領域で、前記所定の波長域の光が受光された場合と、受光されない場合とを比較すると、該検出対象領域におけるカラー受光画素の受光レベル(ひいては前記ガラー画素の階調値)は、両方の場合で大きな差異を生じ難いものとなる一方、該検出対象領域における透明受光画素の受光レベル(ひいては前記透明画素の階調値)は、両方の場合で比較的顕著な差異を生じやすい。 Accordingly, in the detection target area, and when the predetermined wavelength band light is received, is compared with the case where not received, the light receiving level of the color light receiving pixels in the detection target region (and hence the gradation value of the Gara pixels ), while the ones hardly occurs a large difference in both cases, the gradation value of the received light level (and thus the transparent pixel transparent light receiving pixels in the detection target region), a relatively significant difference in both cases likely to occur.

このため、前記原画像の検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、前記所定の波長域の受光成分を強調した画像である信号検出用画像が生成することができることとなる。 Therefore, the gradation value of the color pixel in the detection target area of ​​the original image, based on the tone value of the transparent pixel in the detection target area, an image that emphasizes the light receiving component of said predetermined wavelength range so that the can is signal detection image produced. ひいては、この信号検出用画像から、前記所定の波長域に含まれる信号成分を検出することができることとなる。 Therefore, from this signal detection image, it becomes possible to detect the signal component included in the predetermined wavelength range.

よって、本発明によれば、カラー受光画素と透明受光画素とを配置して構成された撮像素子を有するカメラを用いて、外界の映像を示す画像(前記外界画像)を取得することと、所定の波長域の信号を検出することとを行なうことができる。 Therefore, according to the present invention, and that using a camera having an imaging element configured by arranging a color light receiving pixels and a transparent light receiving pixel, and acquires an image (the outside world image) showing the outside world image, predetermined it can be carried out and detecting the signal wavelength range.

上記第1発明では、前記所定の波長域は、例えば、赤外領域内の波長域である( 第4発明 )。 In the first invention, the predetermined wavelength range, for example, a wavelength range of infrared region (fourth invention). カラーフィルタは、通常、近赤外領域等、赤外領域の一部の波長の光を透過し難いので、該赤外領域の一部の波長域に対するカラー受光画素の受光感度は低い。 The color filter is generally a near-infrared region and the like, since it is difficult to transmit the light of some wavelengths in the infrared region, light reception sensitivity of the color light-receiving pixels for some wavelength range of the infrared region is low.

これに対して、透明受光画素は、通常、該赤外領域の波長域に対する受光感度は、カラー受光画素の受光感度に比して十分に高い。 In contrast, the transparent light-receiving pixels are typically light-receiving sensitivity with respect to the wavelength band of the infrared region is sufficiently higher than the light receiving sensitivity of the color light-receiving pixels.

従って、前記所定の波長域として、カラーフィルタの有無で受光感度が異なる赤外領域内の波長域を採用することで、該赤外領域内の波長域の信号成分を適切に検出することができることとなる。 Therefore, as the predetermined wavelength region, by employing the wavelength range of infrared region of the light receiving sensitivity is different with and without color filters, that can appropriately detect the signal component of the wavelength range of the infrared region to become.

また、赤外領域内の波長域は、通信や、センシング(例えば雨滴検知や、赤外線画像の検知等)等に広く活用し得る波長域である。 Further, the wavelength range of the infrared region, communication and sensing (or e.g. raindrop detect, detection, etc. of the infrared image) is a wavelength region that can utilize widely like. このため、 第4発明によれば、前記外界画像を取得することと併せて、外部との通信や、センシングなどを行なうことができる。 Therefore, according to the fourth aspect of the present invention, together with obtaining the external image can be performed and communicating with the outside, the sensing and the like.

上記第1発明又は第4発明では、前記信号検出用画像生成手段は、例えば次のような手法によって、前記信号検出用画像を生成することができる。 In the first invention or the fourth invention, the signal detection image generation means, for example by the following method, it is possible to generate the signal detection image.

すなわち、前記信号検出用画像生成手段は、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記透明画素の階調値に応じて設定してなる第1参照画像を生成する第1参照画像生成手段と、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記カラー画素の階調値に応じて設定してなる第2参照画像を生成する第2参照画像生成手段とを備え、該第1参照画像と第2参照画像との階調値の差の画像を前記信号検出用画像として生成する( 第5発明 )。 That is, the signal detection image generation means, a gradation value of each pixel in the detection target region, set in accordance with the gradation value of a plurality of the transparent pixel is included in at least the detection target region first a first reference image generating means for generating a first reference image, the gradation value of each pixel in the detection target area, set according to the gradation values ​​of a plurality of the color pixels included in at least the detection target area the second reference image comprising Te and a second reference image generation means for generating, to generate an image of the difference between the tone value of the first reference picture and a second reference picture as said signal detection image (fifth invention).

この第5発明によれば、前記各カラー受光画素が検出可能な波長域の全体の波長域に関して、前記カメラの撮像素子に入射される外界の映像(当該全体の波長域に属する波長の映像)によらずに、第1参照画像と第2参照画像との階調値の一致度合いができるだけ高くなるように、該第1参照画像と第2参照画像とを生成することができる。 According to the fifth aspect of the invention, the with respect to the wavelength range of the whole of the color light-receiving pixels detectable wavelength range, external video (video of a wavelength belonging to a wavelength range of the total) to be incident on the image sensor of the camera in regardless, as the degrees of the tone value of the first reference picture and the second reference image is as high as possible, it is possible to generate a first reference picture and a second reference picture. このため、第1参照画像と第2参照画像との階調値の差の画像(詳しくは各画素の階調値として、第1参照画像と第2参照画像との階調値の差を割り当てた画像)は、前記所定の波長域の受光強度に対する依存性の高いものとなる。 Therefore, the image of the difference in gray scale value between the first reference picture and the second reference image (specifically as tone value of each pixel, assigns a difference between the tone value of the first reference picture and a second reference image image) is assumed high dependence on the received light intensity of the predetermined wavelength range. 従って、当該差の画像を、所定の波長域の受光成 分を強調した前記信号検出用画像として得ることができる。 Thus, the image of the difference can be obtained as the signal detection image that emphasizes the light receiving Ingredient a predetermined wavelength range.

本発明の一実施形態の画像処理装置の構成を示す図。 Diagram showing the configuration of an image processing apparatus according to an embodiment of the present invention. 図2(a)は実施形態におけるカメラのカラーフィルタの配置例を示す図、図2(b)は実施形態のカメラの撮像素子から得られる撮像画像(原画像)を説明するための図。 2 (a) is diagram showing an example of the arrangement of color filters of the camera in the embodiment, and FIG. 2 (b) are diagrams for explaining the captured image (original image) obtained from the imaging device of the camera of the embodiment. 図1に示す外界画像生成部に関する処理を示すフローチャート。 Flowchart showing processing relating to the external image generator shown in FIG. 図1に示す外界画像生成部で生成される色別画像(G画像)を説明するための図。 Diagram for explaining a color-based image (G image) generated by the external image generator shown in FIG. 図1に示す外界画像生成部で生成される色別画像(R画像)を説明するための図。 Diagram for explaining a color-based image (R image) generated by the external image generator shown in FIG. 図1に示す外界画像生成部で生成される色別画像(B画像)を説明するための図。 Diagram for explaining a color-based image (B picture) generated by the external image generator shown in FIG. 図1に示す外界画像生成部で生成される色別画像(W画像)を説明するための図。 Diagram for explaining a color-based image (W image) generated by the external image generator shown in FIG. 図1に示す外界画像生成部で生成されるカラー画像を説明するための図。 Diagram for explaining a color image generated by the external image generator shown in FIG. 図1に示す外界画像生成部で生成される広ダイナミックレンジ画像を説明するための図。 Diagram for explaining the wide dynamic range image generated by the external image generator shown in FIG. 実施形態のカメラの受光画素の感度を例示するグラフ。 Graph illustrating the camera sensitivity of the light receiving pixels embodiment. 図1に示す通信信号生成部に関する処理を示すフローチャート。 Flowchart illustrating a process related to the communication signal generator shown in FIG. 図12(a),(b),(c)は、それぞれ図1に示す信号検出用画像生成部で生成される第1参照画像、第2参照画像、信号検出用画像を説明するための図。 Figure 12 (a), (b), (c), the first reference image generated by the signal detection image generation unit shown in FIG. 1, respectively, second reference image, diagram for explaining a signal detection image . 図13(a),(b)はそれぞれ、カメラのカラーフィルタの他の配置例を示す図。 Figure 13 (a), (b) is a diagram showing another example of arrangement of each camera color filter.

本発明の画像処理装置の一実施形態を、図1〜図12を参照して説明する。 An embodiment of the image processing apparatus of the present invention will be described with reference to FIGS. 1-12. 図1を参照して、本実施形態の画像処理装置は、車両1に搭載されたカメラ2と、カメラ2と接続された画像コントローラ3とにより構成されている。 Referring to FIG. 1, the image processing apparatus of this embodiment includes a camera 2 mounted on the vehicle 1, is constituted by an image controller 3 connected to the camera 2.

カメラ2は、フィルタ21が組み込まれた撮像素子22(CCD、CMOS等)により、車両1の周囲を撮像し、撮像データを画像コントローラ3の制御回路30に出力する。 Camera 2, the image pickup element 22 filter 21 is incorporated (CCD, CMOS, etc.), by imaging the surroundings of the vehicle 1, and outputs the imaging data to the control circuit 30 of the image controller 3. 撮像素子22は、m×n個の複数の受光素子をm行n列の配列パターンで2次元状に配列して構成されている。 Imaging device 22 is constructed by arranging the m × n plurality of light receiving elements are two-dimensionally array pattern of m rows and n columns.

図2(a)を参照して、カメラ2のフィルタ21は、R(赤)、G(緑)、B(青)の3原色のカラーフィルタ、すなわち、R、G、Bの波長域の光(可視光)をそれぞれ透過可能な3種類のカラーフィルタにより構成される。 Referring to FIG. 2 (a), the filter 21 of the camera 2, R (red), G (green), three primary color filters of B (blue), i.e., R, G, light in the wavelength range of B It constituted by respective permeable three color filters (visible light). これらの3原色のカラーフィルターのうちのいずれかの色のカラーフィルタが、撮像素子22のm×n個の受光画素のうちの、所定割合の個数の受光画素の受光経路側に装着されている。 One of color filters of the color filter of the three primary colors, among the m × n light receiving pixels of the image sensor 22, is mounted on the light-receiving path side of the light receiving pixels of the number of predetermined ratio . これにより、カラーフィルタが装着された各受光画素は、それぞれに対応する色のカラーフィルタを介して受光する。 Accordingly, each light receiving pixel color filter is mounted, it is received through a color filter of a color corresponding to each.

なお、これらの受光画素(上記所定割合の個数の受光画素)に装着されたカラーフィルタの全体には、R、G、Bの全ての色のカラーフィルタが含まれる。 Note that the entire color filter mounted on these light-sensitive pixels (light receiving pixels of the number of the predetermined ratio), R, G, includes all color filters of B. 従って、カラーフィルタが装着された受光画素の全体は、Rの色のカラーフィルタ(以降、Rフィルタという)が装着された受光画素(以降、R受光画素という)と、Gの色のカラーフィルタ(以降、Gフィルタという)が装着された受光画素(以降、G受光画素という)と、Bの色のカラーフィルタ(以降、Bフィルタという)が装着された受光画素(以降、B受光画素という)とから構成される。 Thus, the entire light-receiving pixels which color filters are mounted, color filters (hereinafter, referred to as R filter) of the R light receiving pixels is mounted (hereinafter, referred to as R light receiving pixels) and, color filters of G ( thereafter, the light receiving pixels that G filter) is attached (hereinafter, a) that G light receiving pixels, color filters (later the B light-receiving pixels (later called the B filter) is attached, that B light receiving pixels) and It consists of. これらのR受光画素、G受光画素、B受光画素は、本発明におけるカラー受光画素に相当するものである。 These R light receiving pixels, G light receiving pixel, B light-receiving pixel is equivalent to the color light-receiving pixels in the present invention.

また、m×n個の受光画素のうちの、残りの受光画素には、カラーフィルタが省略された(装着されていない)ものとなっている。 Also, among the m × n light receiving pixels, the remaining light receiving pixels, the color filter is omitted (not attached) has become one. このため、この受光画素のそれぞれは、カラーフィルタを介さずに受光する。 Therefore, each of the light receiving pixel is received without passing through the color filter. 以降、この受光画素をW受光画素という。 And later, the light-receiving pixels that W light receiving pixel. 該W受光画素は、本発明における透明受光画素に相当するものである。 The W light-receiving pixel is equivalent to the transparent light-receiving pixel of the present invention.

カメラ2は、R受光画素(図中R11,R15,…で示している)、G受光画素(図中G12,G14,…で示している)、B受光画素(図中B13,B31,…で示している)、及び受光画素(図中 22, 24,…で示している)の出力信号を撮像データとして画像コントローラ3に出力する。 Camera 2, R light receiving pixels (in the drawing R11, R15, shows ... in), G light receiving pixels (in the drawing G12, G14, show ... in), B light receiving pixels (figure B13, B31, ... in shows), and W and outputs the output signal of the light receiving pixels (figure W 22, W 24, is shown ... in) the image controller 3 as imaging data. 各受光画素の出力信号は、該受光画素での所定時間あたりの受光レベルに応じた強度(大きさ)を有する信号である。 The output signal of each light receiving pixel is a signal having an intensity (magnitude) according to the received light level per predetermined time in the light receiving pixels.

なお、各受光画素の受光レベルは、カメラ2の撮像素子22に入射した光のうち、その受光画素で受光した光の強度に相当する。 The light receiving level of the light receiving pixels, of the light incident on the image sensor 22 of the camera 2, which corresponds to the intensity of light received by the light receiving pixels.

なお、カラーフィルタとして、RGB以外の他の種類のカラーフィルタ(Cy(シアン)、Mg(マゼンタ)、Ye(イエロー)の補色系3原色のフィルタ等)を用いてもよい。 Incidentally, as a color filter, other types of color filters other than RGB may be used (Cy (cyan), Mg (magenta), Ye (like the complementary colors of three primary colors yellow) filter).

画像コントローラ3は、図示しないCPU、メモリ、入出力回路等により構成された制御回路30と、画像メモリ40と、CAN(Controller Area Network)ドライバ50とを有している。 Image controller 3 has a CPU, a memory, a control circuit 30 constituted by input and output circuits and the like, an image memory 40, and a CAN (Controller Area Network) driver 50.

制御回路30は、メモリに保持された画像処理用プログラムをCPUで実行することにより、原画像取得部31、外界画像生成部32、通信信号検出部33、対象物検知部35として機能する。 The control circuit 30 executes a program for image processing stored in the memory by a CPU, a source image acquisition unit 31, the external image generation unit 32, a communication signal detection unit 33, which functions as an object detection unit 35. なお、原画像取得部31、外界画像生成部32、通信信号検出部33、対象物検知部35の一部又は全部をハードウェアにより構成してもよい。 Incidentally, an original image obtaining unit 31, the external image generation unit 32, a communication signal detection unit 33, a part or all of the object detection unit 35 may be constituted by hardware.

原画像取得部31は、カメラ2に制御信号を出力して車両1の周囲を撮像させ、カメラ2から出力される撮像データ(各受光画素の出力信号)により、原画像41のデータを取得して画像メモリ40に保持する。 Original image acquiring unit 31 outputs a control signal to the camera 2 is capturing the surroundings of the vehicle 1, the imaging data outputted from the camera 2 (the output signal of the light receiving pixels), acquires data of the original image 41 It is held in the image memory 40 Te.

原画像41は、図2(b)に示したように、図2(a)に示した撮像素子22の各受光画素(R受光画素、G受光画素、B受光画素、W受光画素)の出力信号の強度を示す階調値を、対応する配置位置の画素(配置位置が同じ画素)の階調値として個別に割り当てたものになっている。 Original image 41, as shown in FIG. 2 (b), each of the light receiving pixels of the image sensor 22 shown in FIG. 2 (a) (R light receiving pixels, G light receiving pixel, B light receiving pixels, W light receiving pixels) output the tone value indicating the strength of the signal, the pixels of the corresponding positions (positions are the same pixel) have become those assigned individually as the gradation value of. 図2(b)においては、各画素の階調値を、S(大文字)と、小文字r,g,b,wのいずれかと、添え字i,j(i=1,2…,m、j=1,2,…,n)との組により構成される変数により示している。 In FIG. 2 (b), the gradation value of each pixel, and S (uppercase), lowercase r, g, b, and either w, subscript i, j (i = 1,2 ..., m, j = 1,2, ..., it is shown by the variable constituted by a set of n).

ここで、Srijは図2(a)のR受光画素に対応した配置位置の画素(以下、R画素という)の階調値を示し、Sgijは図2(a)のG受光画素に対応した配置位置の画素(以下、G画素という)の階調値を示し、Sbijは図2(a)のB受光画素に対応した配置位置の画素(以下、B画素という)の階調値を示し、Swijは図2(a)のW受光画素に対応した配置位置の画素(以下、W画素という)の階調値であることを示している。 Here, Srij Figure 2 pixels of the arrangement position corresponding to the R light-receiving pixels (a) (hereinafter, referred to as R pixels) shows a tone value of the arrangement Sgij is corresponding to the G light receiving pixel shown in FIG. 2 (a) the position of the pixel (hereinafter, referred to as G pixels) shows a tone value of, Sbij the FIGS. 2 (a) of the B light-receiving pixel of the position corresponding to the pixel (hereinafter, B referred pixel) shows a tone value of, SWij indicates that the gradation value of the pixels of the arrangement position W corresponding to the light receiving pixel in FIG. 2 (a) (hereinafter, referred to as W pixels).

なお、W画素は、本発明における透明画素に相当し、R画素、G画素及びB画素は、本発明におけるカラー画素に相当する。 Incidentally, W pixel corresponds to transparent pixels in the present invention, R pixels, G pixels and B pixels corresponding to the color pixels in the present invention.

外界画像生成部32は、本発明の外界画像生成手段に相当する機能部である。 Outside image generating unit 32 is a functional unit corresponding to the external image producing means of the present invention. この外界画像生成部32は、R受光画素、G受光画素、B受光画素、W受光画素のそれぞれに対応する4種類の色別画像42と、カラー画像43と、広ダイナミックレンジ画像44とを外界画像として生成し、それらの画像を画像メモリ40に保持する。 The outside image generating unit 32, R light receiving pixel, G light receiving pixel, B light receiving pixel, the four kinds of Color image 42 corresponding to each of the W light receiving pixel, outside the color image 43, and a wide dynamic range image 44 generating an image retain their image in the image memory 40.

通信信号検出部33は、本発明の通信信号検出手段に相当する機能部である。 Communication signal detection unit 33 is a functional unit corresponding to the communication signal detecting means of the present invention. この通信信号検出部33は、本実施形態では、車両1の外部の他車両から出力される車車間通信用の通信信号、あるいはビーコン等の道路脇の通信設備から出力される通信信号を検出する。 The communication signal detector 33, in this embodiment, to detect the communication signal output communication signal for inter-vehicle communication which is outputted from the other vehicle of the vehicle 1 outside or from a roadside communication equipment such as a beacon, . これらの通信信号は、例えば近赤外領域の波長域の通信信号(ON・OFFのパルス列からなる信号)である。 These communication signals is a communication signal having a wavelength range of near infrared region (signal consisting of a pulse train of ON · OFF).

この場合、通信信号検出部33は、本発明における信号検出用画像生成手段に相当する信号検出用画像生成部34としての機能を含んでおり、この信号検出用画像生成部34で後述する如く生成した信号検出用画像45を画像メモリ40に保持する。 In this case, the communication signal detection unit 33 includes a function as a signal detection image generation unit 34 corresponding to the signal detection image generation unit in the present invention, generation as described later in this signal detection image generation unit 34 holding a signal detection image 45 in the image memory 40. そして、通信信号検出部33は、信号検出用画像45から、通信信号を検出する。 Then, the communication signal detector 33, from the signal detection image 45, to detect the communication signal.

なお、通信信号検出部33の信号検出用画像生成部34は、本発明における第1参照画像生成手段、第2参照画像生成手段としての機能を含んでいる。 The signal detection image generation unit 34 of the communication signal detection unit 33 includes first reference image producing means of the present invention, a function as a second reference image generation means.

対象物検知部35は、色別画像42、カラー画像43、及び広ダイナミックレンジ画像44を用いて、車両1が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ6に対して各種の制御信号を送信する。 Object detecting unit 35 detects Color image 42, the color image 43, and using a wide dynamic range image 44, the lane mark vehicle 1 is laid on the road during travel, other vehicles, traffic lights, pedestrian, etc. and transmits various control signals to the vehicle controller 6 in accordance with the detection result.

車両コントローラ6は、図示しないCPU、メモリ、入出力回路等により構成された電子回路ユニットである。 Vehicle controller 6, CPU (not shown), a memory, an electronic circuit unit constituted by input and output circuits and the like. そして、車両コントローラ6は、メモリに保持された車両1の制御用プログラムをCPUで実行することによって、操舵装置71の作動を制御する操舵制御部61、制動装置72の作動を制御する制動制御部62、及びディスプレイ73の表示を制御するディスプレイ表示制御部63として機能する。 Then, the vehicle controller 6, by executing the control program of the vehicle 1 which is held in the memory by a CPU, a steering control unit 61 for controlling the operation of the steering device 71, the brake control unit for controlling the operation of the brake device 72 62, and functions as a display a display control unit 63 for controlling the display of the display 73.

なお、画像コントローラ3と車両コントローラ6とは、CANドライバ50,64を介して相互に通信を行う。 Note that the image controller 3 and the vehicle controller 6, communicate with each other via a CAN driver 50, 64.

次に、外界画像生成部32の処理(原画像取得部31の処理を含む)を図3〜図9を参照して詳細に説明する。 Next, the processing of the external image generating unit 32 (including the processing of the original image acquiring unit 31) with reference to FIGS. 3 to 9 will be described in detail. 外界画像生成部32は、原画像取得部31の処理を含めて図3のフローチャートに示す処理を実行することで、外界画像としての色別画像42、カラー画像43、広ダイナミックレンジ画像44を生成する。 Outside image generating unit 32, by executing the processing shown in the flowchart of FIG. 3, including the processing of the original image acquiring unit 31, generates a Color image 42, the color image 43, the wide dynamic range image 44 as external image to.

図3のSTEP1は原画像取得部31による処理である。 STEP1 in FIG. 3 is a processing by the original image obtaining unit 31. 原画像取得部31は、カメラ2から出力される撮像データにより、原画像41(図2(b)参照)を取得して画像メモリ40に保持する。 Original image acquiring unit 31, the imaging data output from the camera 2 acquires and holds the original image 41 (see FIG. 2 (b)) in the image memory 40.

続くSTEP2において、外界画像生成部32は、原画像から4種類の色別画像42を生成して、それらの色別画像42を画像メモリ40に保持する。 In subsequent STEP2, the external image generation unit 32 generates four kinds of Color image 42 from the original image, to retain their color based image 42 in the image memory 40.

上記4種類の色別画像42は、より詳しくは、R受光画素に対応する色(赤)の色別画像42であるR画像(以降、参照符号42rを付する)と、G受光画素に対応する色(緑)の色別画像42であるG画像(以降、参照符号42gを付する)と、B受光画素に対応する色(緑)の色別画像42であるB画像(以降、参照符号42bを付する)と、W受光画素に対応する色(グレー)の色別画像42であるW画像(以降、参照符号42wを付する)とから構成される。 The above four kinds of Color image 42, more specifically, a color corresponding to the R light-receiving pixel is a color based image 42 (red) R image (hereinafter, denoted by the reference numeral 42r), corresponding to the G light-receiving pixel color (green) G image (hereinafter, reference numerals 42g subjecting a) is a color based image 42 with, B image (hereinafter a color image 42 of colors corresponding to the B light-receiving pixel (green), reference numeral 42b and the subjecting), W image (hereinafter a color image 42 of color corresponding to the W light-sensitive pixels (gray), denoted by the reference numeral 42w) from the constructed.

R画像42rは、その各画素の階調値が、原画像41のうちの、少なくともR画素の階調値を基にデモザイキング処理により決定される赤色階調のモノトーン画像(赤色の輝度分布を示す画像)である。 R image 42r is the gray level value of the each pixel, among the original image 41, a monotone image (red luminance distribution of the red gradation determined by the demosaicing process based on the tone value of at least R pixel is an image) that shows.

また、G画像42gは、その各画素の階調値が、原画像41のうちの、少なくともG画素の階調値を基にデモザイキング処理により決定される緑色階調のモノトーン画像(緑色の輝度分布を示す画像)である。 Also, G image 42g is the gradation value of each pixel is, the original of the image 41, at least G pixel green tone monotone image (green luminance of which is determined by the demosaicing process based on the tone value of distribution is an image) indicating.

また、B画像42bは、その各画素の階調値が、原画像41のうちの、少なくともB画素の階調値を基にデモザイキング処理により決定される青色階調のモノトーン画像(青色の輝度分布を示す画像)である。 Further, B picture 42b is the gray level value of the each pixel, among the original image 41, at least B pixel blue tone monotone image (blue luminance of which is determined by the demosaicing process based on the tone value of distribution is an image) indicating.

また、W画像42wは、その各画素の階調値が、原画像41のうちの、少なくともW画素の階調値を基にデモザイキング処理により決定されるグレー階調のモノトーン画像(グレーの輝度分布を示す画像)である。 Further, W image 42w is the gradation value of each pixel is, the original of the image 41, at least W pixel gray tone monotone image (gray luminance of which is determined by the demosaicing process based on the tone value of distribution is an image) indicating.

これらの4種類の色別画像42(42r,42g,42b,42w)は、本実施形態では、次のように生成される。 These four kinds of Color image 42 (42r, 42g, 42b, 42w), in the present embodiment, is generated as follows.

まず、R画像42r、G画像42r、B画像42b、W画像42wのうちの1つの色別画像42が、基準輝度分布画像として生成される。 First, R image 42r, G image 42r, B image 42b, 1 single Color image 42 of the W image 42w is generated as the reference luminance distribution image. この基準輝度分布画像は、カメラ2の撮影対象の実際の輝度分布に対する適合度合が比較的高いものとなる輝度分布状態を有する画像を意味する。 The reference luminance distribution image is meant an image having a luminance distribution in which adaptation degree to the actual luminance distribution of the imaging target of the camera 2 becomes relatively high.

本実施形態では、例えば、撮像素子22のうち、最も個数の多いG受光画素に対応するG画像42gが基準輝度分布画像として生成される。 In the present embodiment, for example, in the imaging device 22, G image 42g corresponding to the most number of high G light receiving pixels are generated as the reference luminance distribution image. このG画像42gは、図4に示すように、各画素の階調値として、G値(G(緑)の輝度値)を割り当てた画像である。 The G image 42g, as shown in FIG. 4, as the gradation value of each pixel, an image assigned the G value (brightness value of the G (green)). 図4では、各画素の階調値(G値)をG'i,j(i=1,2…,m、j=1,2,…,n)で表している。 In Figure 4, it represents the gradation value of each pixel (G value) G'i, j (i = 1,2 ..., m, j = 1,2, ..., n) in.

基準輝度分布画像としてのG画像42gの各画素のG値G'i,jは、次のよう決定される。 G value of each pixel of the G image 42g as the reference luminance distribution image G'i, j is determined as follows.

G画像42gの画素のうち、原画像41のG画素(階調値がSgi,jである画素)に対応する配置位置の画素(配置位置が同じ画素)については、次式(1)で示す如く、対応する原画像41のG画素の階調値Sgi,jが、そのままG画像42gの当該画素のG値(G'i,j)として決定される。 Among the pixels of the G image 42 g, the G pixel of the original image 41 (gradation value Sgi, is the pixel at j) location of the pixel (position the same pixel) corresponding to the shown in the following formula (1) as the gradation value Sgi the G pixels of the corresponding original image 41, j is determined directly as G value of the pixel of the G image 42g (G'i, j). 例えば、図2(b)に示す原画像41の(i,j)=(2,3)の配置位置の画素の階調値(Sg2,3)が、G画像42gの(i,j)=(2,3)の配置位置の画素のG値(G'2,3)として決定される。 For example, (i, j) of the original image 41 shown in FIG. 2 (b) = the gradation value of the pixel of position of (2,3) (Sg2,3), the G image 42g (i, j) = It is determined as G value of the pixel of position of (2,3) (G'2,3).


G'i,j=Sgi,j ……(1) G'i, j = Sgi, j ...... (1)

また、G画像42gの画素のうち、原画像41のG画素以外の画素(R画素又はB画素又はW画素)に対応する配置位置の画素については、その画素の周囲の配置位置のG画素の階調値を少なくとも用いて補完的に決定される。 Also, among the pixels of the G image 42 g, for the pixels of the arrangement position corresponding to the pixels other than the G pixels of the original image 41 (R pixel or B pixel or W pixels), the G pixel of the position of the periphery of the pixel complementarily determined using at least the tone value.

具体的には、G画像42gの画素のうち、原画像41のR画素又はB画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する4つのG画素の階調値Sgi+1,j、Sgi-1,j、Sgi,j+1、Sgi,j-1を基に、次式(2),(3)のIg、Jgの大小関係に応じて、式(4)又は(5)又は(6)によりG値(G'i,j)が決定される。 Specifically, among the pixels of the G image 42 g, for the pixels of the arrangement position corresponding to the R pixel or the B pixel of the original image 41, tone values ​​of the four G pixels adjacent vertically and horizontally of the pixel Sgi + 1, j, Sgi-1, j, Sgi, j + 1, Sgi, based on j-1, the following equation (2), depending on the Ig, magnitude relation between Jg (3), equation (4) or (5) or the G value by (6) (G'i, j) is determined.


Ig=|Sgi+1,j−Sgi-1,j| ……(2) Ig = | Sgi + 1, j-Sgi-1, j | ...... (2)
Jg=|Sgi,j+1−Sgi,j-1| ……(3) Jg = | Sgi, j + 1-Sgi, j-1 | ...... (3)
Ig<Jgである場合 G'i,j=(Sgi+1,j+Sgi-1,j)/2 ……(4) If it is Ig <Jg G'i, j = (Sgi + 1, j + Sgi-1, j) / 2 ...... (4)
Ig>Jgである場合 G'i,j=(Sgi,j+1+Sgi,j-1)/2 ……(5) If it is Ig> Jg G'i, j = (Sgi, j + 1 + Sgi, j-1) / 2 ...... (5)
Ig=Jgである場合 G'i,j=(Sgi,j+1+Sgi,j-1+Sgi+1,j+Sgi-1,j)/4 ……(6) If it is Ig = Jg G'i, j = (Sgi, j + 1 + Sgi, j-1 + Sgi + 1, j + Sgi-1, j) / 4 ...... (6)

また、G画像42gの画素のうち、原画像41のW画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する4つのG画素の階調値Sgi+1,j、Sgi-1,j、Sgi,j+1、Sgi,j-1と、対応するW画素の階調値Swi,jと、その上下及び左右に1画素の間隔をおいて存在する4つのW画素の階調値Swi+2,j、Swi-2,j、Swi,j+2、Swi,j-2とを基に、次式(7),(8)のIg、Jgの大小関係に応じて、式(9)又は(10)又は(11)によりG値(G'i,j)が決定される。 Also, among the pixels of the G image 42 g, for the pixels of the arrangement position corresponding to the W pixel in the original image 41, the gradation value Sgi + 1, j of the four G pixels adjacent vertically and horizontally of the pixel, Sgi -1, j, Sgi, j + 1, Sgi, a j-1, the gradation value Swi corresponding W pixel, j and, of the four W pixels present at intervals of one pixel to the vertical and horizontal gradation value Swi + 2, j, Swi-2, j, Swi, j + 2, Swi, based on the j-2, the following equation (7), depending on the Ig, magnitude relation between Jg (8) , G value by equation (9) or (10) or (11) (G'i, j) is determined.


Ig=|Sgi+1,j−Sgi-1,j|+|2Srxi,j−Srxi+2,j−Srxi-2,j| ……(7) Ig = | Sgi + 1, j-Sgi-1, j | + | 2Srxi, j-Srxi + 2, j-Srxi-2, j | ...... (7)
Jg=|Sgi,j+1−Sgi,j-1|+|2Srxi,j−Srxi,j+2−Srxi,j-2| ……(8) Jg = | Sgi, j + 1-Sgi, j-1 | + | 2Srxi, j-Srxi, j + 2Srxi, j-2 | ...... (8)
Ig<Jgである場合 G'i,j=(Sgi+1,j+Sgi-1,j)/2 Ig <If a Jg G'i, j = (Sgi + 1, j + Sgi-1, j) / 2
+(2Srxi,j−Srxi+2,j−Srxi-2,j)/4 ……(9) + (2Srxi, j-Srxi + 2, j-Srxi-2, j) / 4 ...... (9)
Ig>Jgである場合 G'i,j=(Sgi,j+1+Sgi,j-1)/2 If it is Ig> Jg G'i, j = (Sgi, j + 1 + Sgi, j-1) / 2
+(2Srxi,j−Srxi,j+2−Srxi,j-2)/4 ……(10) + (2Srxi, j-Srxi, j + 2Srxi, j-2) / 4 ...... (10)
Ig=Jgである場合 G'i,j=(Sgi,j+1+Sgi,j-1+Sgi+1,j+Sgi-1,j)/4 If it is Ig = Jg G'i, j = (Sgi, j + 1 + Sgi, j-1 + Sgi + 1, j + Sgi-1, j) / 4
+(4Srxi,j−Srxi+2,j−Srxi-2,j−Srxi,j+2−Srxi,j-2)/8 + (4Srxi, j-Srxi + 2, j-Srxi-2, j-Srxi, j + 2-Srxi, j-2) / 8
……(11) ... (11)

以上の処理(デモザイキング処理)により、原画像41のG画素の階調値(G値)を用いて、G画像42gの各画素に、緑の階調値(輝度値)を示すG値が割り当てられる。 By the above processing (demosaicing processing), using the gradation value of the G pixels of the original image 41 (G value), to each pixel of the G image 42 g, is G value indicating green gradation value (luminance value) assigned. これにより、基準輝度分布画像としてのG画像42g(緑色階調の輝度分布画像)が生成される。 Thus, G image 42g as the reference luminance distribution image (luminance distribution image of the green tone) is generated.

STEP2において、外界画像生成部32は、次に、基準輝度分布画像として生成したG画像42g以外の残りの3つの色別画像42r,42b,42wを生成する。 In STEP2, the external image generation unit 32, then the reference luminance distribution image remaining non generated G image 42g of the three color based image 42r, 42b, and generates a 42w. この場合、本実施形態では、残りの3つの色別画像42r,42b,42wの生成は、以下に説明する如く、基準輝度分布画像の輝度分布を反映させて行なわれる。 In this case, in the present embodiment, the remaining three Color image 42r, 42b, generation of 42w, as will be described hereinbelow, is performed by reflecting the luminance distribution of the reference luminance distribution image.

まず、R画像42rは、図5に示すように、各画素の階調値として、R値(赤の輝度値)を割り当てた画像である。 First, R image 42r, as shown in FIG. 5, as the gradation value of each pixel, an image assigned the R value (luminance value of the red). 図5では、各画素の階調値(R値)をR'i,j(i=1,2…,m、j=1,2,…,n)で表している。 In Figure 5, it represents the gradation value of each pixel (R value) R'i, j (i = 1,2 ..., m, j = 1,2, ..., n) in. このR画像42rの各画素のR値(R'i,j)は、次のよう決定される。 The R value of each pixel of the R image 42r (R'i, j) is determined as follows.

すなわち、R画像42rの各画素のうち、原画像41のR画素に対応する配置位置の画素(配置位置が同じ画素)については、式(12)で示す如く、対応する原画像41のR画素の階調値Sri,jが、R画像42rの当該画素のR値(R'i,j)として決定される。 In other words, among pixels of the R image 42r, for the pixels of the arrangement position corresponding to the R pixel of the original image 41 (position is the same pixel), as shown in equation (12), R pixels corresponding original image 41 tone value Sri, j is, R value of the pixel of the R image 42r (R'i, j) is determined as.


R'i,j=Sri,j ……(12) R'i, j = Sri, j ...... (12)

また、R画像42rの各画素のうち、原画像41のR画素以外の画素(G画素又はB画素又はW画素)に対応する配置位置の画素のR値(R'i,j)は、当該画素の周囲のR画素の階調値(原画像41での階調値)と、当該画素及びその周囲の画素のG値(G画像42gでの階調値(G値))とを用いて決定される。 Also, among the pixels of the R image 42r, R values ​​of the pixels of the arrangement position corresponding to the pixels other than R pixels in the original image 41 (G pixels or B pixels or W pixels) (R'i, j) is the gradation value of R pixels around the pixel and (gradation value of the original image 41), the pixel and G values ​​of the surrounding pixels (tone value of the G image 42 g (G value)) and using It is determined.

具体的には、R画像42rの画素のうち、原画像41のB画素に対応する配置位置の画素については、その画素の上下及び左右に1画素の間隔をおいて存在する4つのR画素(原画像41中のR画素)の階調値Sri+2,j、Sri-2,j、Sri,j+2、Sri,j-2と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その上下及び左右に1画素の間隔をおいて存在する4つの画素(G画像42g中の画素)のG値(輝度値)G'i+2,j、G'i-2,j、G'i,j+2、G'i,j-2とを基に、次式(13),(14)のIr、Jrの大小関係に応じて、式(15)又は(16)又は(17)によりR値(R'i,j)が決定される。 Specifically, among the pixels of the R image 42r, for the pixels of the arrangement position corresponding to the B pixels of the original image 41, four R pixels present at intervals of one pixel vertically and horizontally of the pixel ( gradation value Sri + 2, j of the R pixel) in the original image 41, Sri-2, j, Sri, j + 2, Sri, and j-2, G of the corresponding pixels (pixels in the G image 42 g) value (luminance value) G'i, j and, G values ​​of the four pixels (pixels in the G image 42 g) present at intervals of one pixel to the vertical and horizontal (luminance value) G'i + 2, j, G'i-2, j, G'i, j + 2, G'i, based on the j-2, the following equation (13), depending on the Ir, Jr magnitude relation of (14), R value (R'i, j) is determined by equation (15) or (16) or (17).


Ir=|Sri+2,j−Sri-2,j|+|2G'i,j−G'i+2,j−G'i-2,j| ……(13) Ir = | Sri + 2, j-Sri-2, j | + | 2G'i, j-G'i + 2, j-G'i-2, j | ...... (13)
Jr=|Sri,j+2−Sri,j-2|+|2G'i,j−G'i,j+2−G'i,j-2| ……(14) Jr = | Sri, j + 2-Sri, j-2 | + | 2G'i, j-G'i, j + 2G'i, j-2 | ...... (14)
Ir<Jrである場合 R'i,j=(Sri+2,j+Sri-2,j)/2 Ir <If a Jr R'i, j = (Sri + 2, j + Sri-2, j) / 2
+(2G'i,j−G'i+2,j−G'i-2,j)/2 ……(15) + (2G'i, j-G'i + 2, j-G'i-2, j) / 2 ...... (15)
Ir>Jrである場合 R'i,j=(Sri,j+2+Sri,j-2)/2 Ir> If a Jr R'i, j = (Sri, j + 2 + Sri, j-2) / 2
+(2G'i,j−G'i,j+2−G'i,j-2)/2 ……(16) + (2G'i, j-G'i, j + 2G'i, j-2) / 2 ...... (16)
Ir=Jrである場合 R'i,j=(Sri,j+2+Sri,j-2+Sri+2,j+Sri-2,j)/4 Ir = If a Jr R'i, j = (Sri, j + 2 + Sri, j-2 + Sri + 2, j + Sri-2, j) / 4
+(4G'i,j−G'i+2,j−G'i-2,j−G'i,j+2−G'i,j-2)/4 + (4G'i, j-G'i + 2, j-G'i-2, j-G'i, j + 2-G'i, j-2) / 4
……(17) ... (17)

また、R画像42rの画素のうち、原画像41のG画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する1つのR画素(原画像41中の画素)の階調値Sri+1,j又はSri-1,j又はSri,j+1又はSri,j-1と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その上下左右のいずれかに隣接する1つの画素(G画像42g中の画素)のG値(輝度値)G'i+1,j、G'i-1,j、G'i,j+1、G'i,j-1とを基に、次式(18)又は(19)又は(20)又は(21)によりR値(R'i,j)が決定される。 Also, among the pixels of the R image 42r, for the pixels of the arrangement position corresponding to the G pixels of the original image 41, one adjacent to the left, right, top, or bottom of the pixel R pixels (pixels in the original image 41) gradation value Sri + 1, j or Sri-1, j or Sri, j + 1 or Sri, a j-1, G values ​​of the corresponding pixels (pixels in the G image 42 g) (luminance value) G'i, j and, G value (luminance value) G'i + 1, j of a pixel adjacent to any of the vertical and horizontal (pixel in the G image 42g), G'i-1, j, G'i, j + 1, G'i, based on the j-1, R value (R'i, j) is determined by the following equation (18) or (19) or (20) or (21).


下側にR画素が隣接する場合 R'i,j=Sri+1,j+(G'i,j−G'i+1,j) ……(18) If the R pixel is adjacent to the lower R'i, j = Sri + 1, j + (G'i, j-G'i + 1, j) ...... (18)
上側にR画素が隣接する場合 R'i,j=Sri-1,j+(G'i,j−G'i-1,j) ……(19) If R pixel on the upper side adjacent R'i, j = Sri-1, j + (G'i, j-G'i-1, j) ...... (19)
右側にR画素が隣接する場合 R'i,j=Sri,j+1+(G'i,j−G'i,j+1) ……(20) If R pixel on the right side adjacent R'i, j = Sri, j + 1 + (G'i, j-G'i, j + 1) ...... (20)
左側にR画素が隣接する場合 R'i,j=Sri,j-1+(G'i,j−G'i,j-1) ……(21) If the R pixels adjacent to the left side R'i, j = Sri, j-1 + (G'i, j-G'i, j-1) ...... (21)

また、R画像42rの画素のうち、原画像41のW画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する2つのR画素(原画像41中の画素)の階調値(Sri-1,j+1,Sri+1,j-1)又は(Sri-1,j−1,Sri+1,j+1)と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する2つの画素(G画像42g中の画素)のG値(輝度値)(G'i-1,j+1,G'i+1,j-1)又は(G'i-1,j−1,G'i+1,j+1)とを基に、次式(22)又は(23)によりR値(R'i,j)が決定される。 Also, among the pixels of the R image 42r, for the pixels of the arrangement position corresponding to the W pixel in the original image 41, the oblique upper right and lower left of the pixel, or adjacent to the upper left and lower right 2 One of R pixel gradation value of (the pixel in the original image 41) (Sri-1, j + 1, Sri + 1, j-1) or (Sri-1, j-1, Sri + 1, j + 1) When, G value (luminance value) of the corresponding pixel (pixel in the G image 42 g) G'i, and j, the oblique upper right and lower left, or the two adjacent upper left and lower right G value of the pixel (pixel in the G image 42 g) (the luminance value) (G'i-1, j + 1, G'i + 1, j-1) or (G'i-1, j-1, G 'i + 1, j + 1) and on the basis of, R value by the following equation (22) or (23) (R'i, j) is determined.


右斜め上及び左斜め下にR画素が隣接する場合 R'i,j=(Sri+1,j-1+Sri-1,j+1)/2 Upper right and if R pixels adjacent R'i under left oblique, j = (Sri + 1, j-1 + Sri-1, j + 1) / 2
+(2G'i,j−G'i+1,j-1−G'i-1,j+1)/2 ……(22) + (2G'i, j-G'i + 1, j-1-G'i-1, j + 1) / 2 ...... (22)
左斜め上及び右斜め下にR画素が隣接する場合 R'i,j=(Sri+1,j+1+Sri-1,j-1)/2 If R pixel upper left and lower right diagonally adjacent R'i, j = (Sri + 1, j + 1 + Sri-1, j-1) / 2
+(2G'i,j−G'i+1,j+1−G'i-1,j-1)/2 ……(23) + (2G'i, j-G'i + 1, j + 1-G'i-1, j-1) / 2 ...... (23)

以上のようにして、R画像42rの各画素のうち、原画像41のR画素に対応する配置位置の画素以外の各画素のR値(R'i,j)は、当該画素の周囲のR画素の階調値(原画像41における階調値)に応じて決定される基本値(式(15)〜(23)のそれぞれの右辺の第1項)を、当該画素及びその周囲の画素のG値(G画像42gにおけるG値)に応じて決定される補正値(式(15)〜(23)のそれぞれの右辺の第2項)により補正することによって、決定される。 As described above, among the pixels of the R image 42r, R values ​​of the pixels other than the position corresponding to the R pixel of the original image 41 (R'i, j) is the periphery of the pixel R basic value determined according to the gradation value of the pixel (grayscale value in the original image 41) (formula (15) to the first term of each of the right-hand side (23)), of the pixel and the surrounding pixels thereof by correcting the correction value determined in accordance with the G value (G value in the G image 42 g) (the second term of each of the right side of equation (15) to (23)), is determined.

そして、R画像42rの各画素のうち、原画像41のR画素に対応する配置位置の各画素のR値(R'i,j)は、当該画素に対応する原画像41のR画素の階調値Sri,jに一致するように決定される。 Then, among the pixels of the R image 42r, R value of each pixel of the position corresponding to the R pixel of the original image 41 (R'i, j) is the floor of the R pixel of the original image 41 corresponding to the pixel tone value Sri, is determined to match the j.

これによりR画像42rが、基準輝度分布画像としてのG画像42gの輝度分布を反映させて生成される。 Thus R image 42r is generated by reflecting the luminance distribution of the G image 42g as the reference luminance distribution image.

次に、B画像42bは、図6に示すように、各画素の階調値として、B値(青の輝度値)を割り当てた画像である。 Next, B image 42b, as shown in FIG. 6, as the gradation value of each pixel, an image assigned a B value (luminance value of blue). 図6では、各画素の階調値(B値)をB'i,j(i=1,2…,m、j=1,2,…,n)で表している。 In Figure 6, it represents the gradation value of each pixel (B value) B'i, j (i = 1,2 ..., m, j = 1,2, ..., n) in. このB画像42bの各画素のB値(B'i,j)は、R画像42rの各画素のR値(R'i,j)と同様の仕方で決定される。 B value of each pixel of the B image 42b (B'i, j) is, R value of each pixel of the R image 42r (R'i, j) is determined in a similar manner to.

すなわち、B画像42bの各画素のうち、原画像41のB画素に対応する配置位置の画素(配置位置が同じ画素)については、式(24)で示す如く、対応する原画像41のB画素の階調値Sbi,jが、B画像42bの当該画素のB値(B'i,j)として決定される。 In other words, among pixels of the B image 42b, for the pixels of the arrangement position corresponding to the B pixels of the original image 41 (position is the same pixel), as shown in equation (24), of the corresponding original image 41 B pixel tone value Sbi, j is, B values ​​of the pixel of the B image 42b (B'i, j) is determined as.


B'i,j=Sbi,j ……(24) B'i, j = Sbi, j ...... (24)

また、B画像42bの各画素のうち、原画像41のB画素以外の画素(R画素又はG画素又はW画素)に対応する配置位置の画素のB値(B'i,j)は、当該画素の周囲のB画素の階調値(原画像41での階調値)と、当該画素及びその周囲の画素のG値(G画像42gでの階調値(G値))とを用いて決定される。 Also, among the pixels of the B image 42b, B values ​​of the pixels of the arrangement position corresponding to the pixels other than B pixels of the original image 41 (R pixel or a G pixel or W pixels) (B'i, j) is the gradation value of B pixels around the pixel and (gradation value of the original image 41), the pixel and G values ​​of the surrounding pixels (tone value of the G image 42 g (G value)) and using It is determined.

具体的には、B画像42bの画素のうち、原画像41のR画素に対応する配置位置の画素については、その画素の上下及び左右に1画素の間隔をおいて存在する4つのB画素(原画像41中のB画素)の階調値Sbi+2,j、Sbi-2,j、Sbi,j+2、Sbi,j-2と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その上下及び左右に1画素の間隔をおいて存在する4つの画素(G画像42g中の画素)のG値(輝度値)G'i+2,j、G'i-2,j、G'i,j+2、G'i,j-2とを基に、次式(25),(26)のIb、Jbの大小関係に応じて、式(27)又は(28)又は(29)によりB値(B'i,j)が決定される。 Specifically, among the pixels of the B image 42b, for the pixels of the arrangement position corresponding to the R pixel of the original image 41, four B pixels present at intervals of one pixel vertically and horizontally of the pixel ( gradation value Sbi + 2, j and B pixels) in the original image 41, Sbi-2, j, Sbi, j + 2, Sbi, a j-2, G of the corresponding pixels (pixels in the G image 42 g) value (luminance value) G'i, j and, G values ​​of the four pixels (pixels in the G image 42 g) present at intervals of one pixel to the vertical and horizontal (luminance value) G'i + 2, j, G'i-2, j, G'i, j + 2, G'i, based on the j-2, the following equation (25), according to Ib, the magnitude relation of Jb (26), B value by the formula (27) or (28) or (29) (B'i, j) is determined.


Ib=|Sbi+2,j−Sbi-2,j|+|2G'i,j−G'i+2,j−G'i-2,j| ……(25) Ib = | Sbi + 2, j-Sbi-2, j | + | 2G'i, j-G'i + 2, j-G'i-2, j | ...... (25)
Jb=|Sbi,j+2−Sbi,j-2|+|2G'i,j−G'i,j+2−G'i,j-2| ……(26) Jb = | Sbi, j + 2-Sbi, j-2 | + | 2G'i, j-G'i, j + 2G'i, j-2 | ...... (26)
Ib<Jbである場合 B'i,j=(Sbi+2,j+Sbi-2,j)/2 Ib <If a Jb B'i, j = (Sbi + 2, j + Sbi-2, j) / 2
+(2G'i,j−G'i+2,j−G'i-2,j)/2 ……(27) + (2G'i, j-G'i + 2, j-G'i-2, j) / 2 ...... (27)
Ib>Jbである場合 B'i,j=(Sbi,j+2+Sbi,j-2)/2 Ib> If it is Jb B'i, j = (Sbi, j + 2 + Sbi, j-2) / 2
+(2G'i,j−G'i,j+2−G'i,j-2)/2 ……(28) + (2G'i, j-G'i, j + 2G'i, j-2) / 2 ...... (28)
Ib=Jbである場合 B'i,j=(Sbi,j+2+Sbi,j-2+Sbi+2,j+Sbi-2,j)/4 If a Ib = Jb B'i, j = (Sbi, j + 2 + Sbi, j-2 + Sbi + 2, j + Sbi-2, j) / 4
+(4G'i,j−G'i+2,j−G'i-2,j−G'i,j+2−G'i,j-2)/4 + (4G'i, j-G'i + 2, j-G'i-2, j-G'i, j + 2-G'i, j-2) / 4
……(29) ... (29)

また、B画像42bの画素のうち、原画像41のG画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する1つのB画素(原画像41中のB画素)の階調値Sbi+1,j又はSbi-1,j又はSbi,j+1又はSbi,j-1と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その上下左右のいずれかに隣接する1つの画素(G画像42g中の画素)のG値(輝度値)G'i+1,j、G'i-1,j、G'i,j+1、G'i,j-1とを基に、次式(30)又は(31)又は(32)又は(33)によりB値(B'i,j)が決定される。 Also, among the pixels of the B image 42b, for the pixels of the arrangement position corresponding to the G pixels of the original image 41, one B pixel (B pixel in the original image 41) adjacent to one of the vertical and horizontal of the pixel gradation value Sbi + 1, j or Sbi-1, j or Sbi, j + 1 or Sbi, a j-1, G values ​​of the corresponding pixels (pixels in the G image 42 g) (the luminance value) G'i , j and, G value (luminance value) G'i + 1, j of a pixel adjacent to any of the vertical and horizontal (pixel in the G image 42g), G'i-1, j, G'i , j + 1, G'i, based on the j-1, B values ​​by the following equation (30) or (31) or (32) or (33) (B'i, j) is determined.


下側にB画素が隣接する場合 B'i,j=Sbi+1,j+(G'i,j−G'i+1,j) ……(30) If B pixels on the lower side is adjacent B'i, j = Sbi + 1, j + (G'i, j-G'i + 1, j) ...... (30)
上側にB画素が隣接する場合 B'i,j=Sbi-1,j+(G'i,j−G'i-1,j) ……(31) If B pixels on the upper side adjacent B'i, j = Sbi-1, j + (G'i, j-G'i-1, j) ...... (31)
右側にB画素が隣接する場合 B'i,j=Sbi,j+1+(G'i,j−G'i,j+1) ……(32) B'i If B pixels on the right side adjacent, j = Sbi, j + 1 + (G'i, j-G'i, j + 1) ...... (32)
左側にR画素が隣接する場合 B'i,j=Sbi,j-1+(G'i,j−G'i,j-1) ……(33) If the R pixels adjacent to the left side B'i, j = Sbi, j-1 + (G'i, j-G'i, j-1) ...... (33)

また、B画像42bの画素のうち、原画像41のW画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する2つのB画素(原画像41中のB画素)の階調値(Sbi-1,j+1,Sbi+1,j-1)又は(Sbi-1,j−1,Sbi+1,j+1)と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する2つの画素(G画像42g中の画素)のG値(輝度値)(G'i-1,j+1,G'i+1,j-1)又は(G'i-1,j−1,G'i+1,j+1)とを基に、次式(34)又は(35)によりB値(B'i,j)が決定される。 Also, among the pixels of the B image 42b, for the pixels of the arrangement position corresponding to the W pixel in the original image 41, the oblique upper right and lower left of the pixel, or adjacent to the upper left and lower right 2 One of the B pixel gradation value of (B pixels in the original image 41) (Sbi-1, j + 1, Sbi + 1, j-1) or (Sbi-1, j-1, Sbi + 1, j + 1 ) and, G value (luminance value of the corresponding pixel (pixel in the G image 42 g)) G'i, and j, the upper right and lower left, or adjacent to the upper left and lower right 2 One of the G values ​​of the pixels (pixels in the G image 42 g) (the luminance value) (G'i-1, j + 1, G'i + 1, j-1) or (G'i-1, j-1, G'i + 1, j + 1) and on the basis of, B values ​​by the following equation (34) or (35) (B'i, j) is determined.


右斜め上及び左斜め下にB画素が隣接する場合 B'i,j=(Sbi+1,j-1+Sbi-1,j+1)/2 Upper right and if the B pixel adjacent B'i under left oblique, j = (Sbi + 1, j-1 + Sbi-1, j + 1) / 2
+(2G'i,j−G'i+1,j-1−G'i-1,j+1)/2 ……(34) + (2G'i, j-G'i + 1, j-1-G'i-1, j + 1) / 2 ...... (34)
左斜め上及び右斜め下にB画素が隣接する場合 B'i,j=(Sbi+1,j+1+Sbi-1,j-1)/2 B'i If B pixel upper left and lower right are adjacent, j = (Sbi + 1, j + 1 + Sbi-1, j-1) / 2
+(2G'i,j−G'i+1,j+1−G'i-1,j-1)/2 ……(35) + (2G'i, j-G'i + 1, j + 1-G'i-1, j-1) / 2 ...... (35)

以上のようにして、B画像42bの各画素うち、原画像41のB画素に対応する配置位置の画素以外の各画素のB値(B'i,j)は、当該画素の周囲のB画素の階調値(原画像41における階調値)に応じて決定される基本値(式(27)〜(35)のそれぞれの右辺の第1項)を、当該画素及びその周囲の画素のG値(G画像42gにおけるG値)に応じて決定される補正値(式(27)〜(35)のそれぞれの右辺の第2項)により補正することによって、決定される。 As described above, among the pixels of the B image 42b, B values ​​of each pixel other than the pixel placement position corresponding to the B pixels of the original image 41 (B'i, j) is the periphery of the pixel B pixel basic value determined according to the gradation value (gradation value in the original image 41) (the first term of each of the right side of the equation (27) - (35)), the pixel and G pixel in the surrounding by correcting the value correction value determined in accordance with (G value in the G image 42 g) (the second term of each of the right side of the equation (27) - (35)), it is determined.

そして、B画像42bの各画素のうち、原画像41のB画素に対応する配置位置の各画素のB値(B'i,j)は、当該画素に対応する原画像41のB画素の階調値Sbi,jに一致するように決定される。 Then, among the pixels of the B image 42b, B values ​​of each pixel of the position corresponding to the B pixels of the original image 41 (B'i, j) is the floor of the B pixel of the original image 41 corresponding to the pixel tone value Sbi, is determined to match the j.

これによりB画像42bが、基準輝度分布画像としてのG画像42gの輝度分布を反映させて生成される。 Thus B image 42b is generated by reflecting the luminance distribution of the G image 42g as the reference luminance distribution image.

次に、W画像42wは、図7に示すように、各画素の階調値として、W値(グレー階調の輝度値)を割り当てた画像である。 Then, W image 42w, as shown in FIG. 7, as the gradation value of each pixel, an image assigned a W value (brightness value of the gray level). 図7では、各画素の階調値(W値)をW'i,j(i=1,2…,m、j=1,2,…,n)で表している。 In Figure 7, it represents the gradation value of each pixel (W value) W'i, j (i = 1,2 ..., m, j = 1,2, ..., n) in. このW画像42wの各画素のW値(W'i,j)は、次のように決定される。 W value of each pixel of the W image 42w (W'i, j) is determined as follows.

すなわち、W画像42wの各画素のうち、原画像41のW画素に対応する配置位置の画素(配置位置が同じ画素)については、式(36)で示す如く、対応する原画像41のW画素の階調値Swi,jが、W画像42wの当該画素のW値(W'i,j)として決定される。 In other words, among pixels of the W image 42w, with regards to the pixel at position corresponding to W pixels of an original image 41 (position is the same pixel), as shown in equation (36), W pixels corresponding original image 41 tone value Swi, j is, W value of the pixel of the W image 42w (w'i, j) is determined as.


W'i,j=Swi,j ……(36) W'i, j = Swi, j ...... (36)

また、W画像42wの各画素のうち、原画像41のW画素以外の画素(R画素又はG画素又はB画素)に対応する配置位置の画素のW値(W'i,j)は、当該画素の周囲のW画素の階調値(原画像41での階調値)と、当該画素及びその周囲の画素のG値(G画像42gでの階調値(G値))とを用いて決定される。 Also, among the pixels of the W image 42w, W values ​​of the pixels of the arrangement position corresponding to the pixels other than the W pixel in the original image 41 (R pixel or a G pixel or the B pixel) (W'i, j) is the the W-scale value of pixels around the pixel and (gradation value of the original image 41), the pixel and G values ​​of the surrounding pixels (tone value of the G image 42 g (G value)) and using It is determined.

具体的には、W画像42wの画素のうち、原画像41のR画素又はB画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する4つのW画素(原画像中のW画素)の階調値Swi-1,j+1、Swi+1,j+1、Swi-1,j-1、Swi+1,j-1と、対応する画素(G画像中の画素)のG値G'i,jと、その右斜め上、右斜め下、左斜め上、左斜め下に隣接する4つの画素(G画像42g中の画素)のG値G'i-1,j+1、G'i+1,j+1、G'i-1,j-1、G'i+1,j-1とを基に、次式(37),(38)のIw、Jwの大小関係に応じて、式(39)又は(40)又は(41)によりW値(W'i,j)が決定される。 Specifically, W among the pixels of the image 42w, with regards to the pixel at position corresponding to the R pixel or the B pixel of the original image 41, upper right of the pixel, lower right, upper left, lower left gradation value Swi-1 of the four W pixels adjacent (W pixels in the original image) in, j + 1, Swi + 1, j + 1, Swi-1, j-1, Swi + 1, j-1 When, G value G'i of the corresponding pixels (pixels in the G image), and j, on its right oblique, lower right, upper left, four adjacent lower left oblique pixel (in G image 42g G value G'i-1, j + 1 pixel), G'i + 1, j + 1, G'i-1, j-1, based on the G'i + 1, j-1, the following equation (37), according to Iw, magnitude relation of Jw of (38), W value by equation (39) or (40) or (41) (w'i, j) is determined.


Iw=|Swi+1,j+1−Swi-1,j-1| Iw = | Swi + 1, j + 1-Swi-1, j-1 |
+|2G'i,j−G'i+1,j+1−G'i-1,j-1| ……(37) + | 2G'i, j-G'i + 1, j + 1-G'i-1, j-1 | ...... (37)
Jw=|Swi+1,j-1−Swi-1,j+1| Jw = | Swi + 1, j-1-Swi-1, j + 1 |
+|2G'i,j−G'i+1,j-1−G'i-1,j+1| ……(38) + | 2G'i, j-G'i + 1, j-1-G'i-1, j + 1 | ...... (38)
Iw<Jwである場合 W'i,j=(Swi+1,j+1+Swi-1,j-1)/2 Iw <If a Jw W'i, j = (Swi + 1, j + 1 + Swi-1, j-1) / 2
+(2G'i,j−G'i+1,j+1−G'i-1,j-1)/2 ……(39) + (2G'i, j-G'i + 1, j + 1-G'i-1, j-1) / 2 ...... (39)
Iw>Jwである場合 W'i,j=(Swi+1,j-1+Swi-1,j+1)/2 Iw> If a Jw W'i, j = (Swi + 1, j-1 + Swi-1, j + 1) / 2
+(2G'i,j−G'i+1,j-1−G'i-1,j+1)/2 ……(40) + (2G'i, j-G'i + 1, j-1-G'i-1, j + 1) / 2 ...... (40)
Iw=Jwである場合 W'i,j=(Swi+1,j+1+Swi+1,j-1+Swi-1,j+1+Swi-1,j-1)/4 Iw = If a Jw W'i, j = (Swi + 1, j + 1 + Swi + 1, j-1 + Swi-1, j + 1 + Swi-1, j-1) / 4
+(4G'i,j−G'i+1,j+1−G'i+1,j-1−G'i-1,j+1−G'i-1,j-1)/4 + (4G'i, j-G'i + 1, j + 1-G'i + 1, j-1-G'i-1, j + 1-G'i-1, j-1) / 4
……(41) ... (41)

また、W画像42wの画素のうち、原画像41のG画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する2つのW画素(原画像41中の画素)の階調値(Swi-1,j、Swi+1,j)又は(Swi,j-1、Swi,j+1)と、対応する画素(G画像42g中の画素)のG値(輝度値)G'i,jと、その上下又は左右に隣接する2つの画素(G画像42g中の画素)のG値(輝度値)(G'i-1,j、G'i+1,j)又は(G'i,j-1、G'i,j+1)とを基に、次式(42)又は(43)によりW値(W'i,j)が決定される。 Also, among the pixels of the W image 42w, with regards to the pixel at position corresponding to the G pixels of the original image 41, the tone of the two W pixels adjacent vertically or horizontally to the pixel (pixel in the original image 41) value (Swi-1, j, Swi + 1, j) or (Swi, j-1, Swi, j + 1) and, G values ​​of the corresponding pixels (pixels in the G image 42 g) (the luminance value) G ' i, j and, G value (luminance value) (G'i-1, j, G'i + 1, j) of the two pixels adjacent to the vertical or horizontal (pixel in the G image 42 g) or (G 'i, j-1, G'i, based on j + 1) and, W value (w'i, j) is determined by the following equation (42) or (43).


上下にW画素が隣接する場合 W'i,j=(Swi+1,j+Swi-1,j)/2 If W pixels vertically adjacent W'i, j = (Swi + 1, j + Swi-1, j) / 2
+(2G'i,j−G'i+1,j−G'i-1,j)/2 ……(42) + (2G'i, j-G'i + 1, j-G'i-1, j) / 2 ...... (42)
左右にW画素が隣接する場合 W'i,j=(Swi,j+1+Swi,j-1)/2 If W pixel to the left and right are adjacent W'i, j = (Swi, j + 1 + Swi, j-1) / 2
+(2G'i,j−G'i,j+1−G'i,j-1)/2 ……(43) + (2G'i, j-G'i, j + 1-G'i, j-1) / 2 ...... (43)

以上のようにして、W画像42wの各画素うち、原画像41のW画素に対応する配置位置の画素以外の各画素のW値(W'i,j)は、当該画素の周囲のW画素の階調値(原画像41における階調値)に応じて決定される基本値(式(39)〜(43)のそれぞれの右辺の第1項)を、当該画素及びその周囲の画素のG値(G画像42gにおけるG値)に応じて決定される補正値(式(39)〜(43)のそれぞの右辺の第2項)により補正することによって、決定される。 As described above, among the pixels of the W image 42w, W values ​​of the pixels other than the positions corresponding to W pixels of an original image 41 (W'i, j) is, W pixels around the pixel basic value determined according to the gradation value (gradation value in the original image 41) to (each of the first term on the right hand side of (39) - (43)), the pixel and G pixel in the surrounding by correcting the value correction value determined in accordance with (G value in the G image 42 g) (formula (39) - (the second term of each of the right-hand side of 43)), is determined.

そして、W画像42wの各画素のうち、原画像41のW画素に対応する配置位置の各画素のW値(W'i,j)は、当該画素に対応する原画像41のW画素の階調値Swi,jに一致するように決定される。 Then, among the pixels of the W image 42w, W value of each pixel of the position corresponding to the W pixel in the original image 41 (w'i, j) is floor W pixels of an original image 41 corresponding to the pixel tone value Swi, is determined to match the j.

これによりW画像42wが、基準輝度分布画像としてのG画像42gの輝度分布を反映させて生成される。 Thus W image 42w is generated by reflecting the luminance distribution of the G image 42g as the reference luminance distribution image.

以上が、STEP2において、外界画像生成部32が4種類の色別画像42r,42g,42b,42wを生成する処理(デモザイキング処理)の詳細である。 Or, in STEP2, the external image generation unit 32 is a detail of the four kinds of Color image 42r, 42 g, 42b, the process of generating a 42w (demosaicing processing).

補足すると、G画像42g以外の色別画像42を基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて他の3種類の色別画像を生成するようにしてもよい。 To supplement, may be the color based image 42 other than the G image 42g generates as the reference luminance distribution image to generate the three other Color image by reflecting the luminance distribution of the reference luminance distribution image. 例えば、原画像41におけるG画素の全体のうち、階調値が所定値以下の微小値となっているG画素(所謂、黒つぶれ状態のG画素)が比較的多いような場合には、W画像42wを基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて他の3種類の色別画像(R画像42r、G画増42g、B画像42b)を生成するようにしてもよい。 For example, among the whole of the G pixels in the original image 41, when the gradation value such as G pixels and has a very small value less than a predetermined value (so-called, G pixel underexposure state) is relatively large, W the image 42w generates as the reference luminance distribution image, the reference luminance distribution reflecting the luminance distribution of the image by three other color image so as to generate an (R image 42r, G Ezo 42 g, B image 42b) it may be.

また、原画像41の全体を複数の領域に区分けし、各領域毎に、4種類の色別画像42のうちのいずれか1つを基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて残りの3種類の色別画像42を生成するようにしてもよい。 Moreover, the entire original image 41 is divided into a plurality of regions, each region, four kinds of any one of Color image 42 is generated as the reference luminance distribution image, the luminance of the reference luminance distribution image to reflect the distribution may be generated a color image 42 of the remaining three.

STEP2に続くSTEP3では、外界画像生成部32は、カラー画像43を生成する。 In STEP3 followed STEP2, external image generation unit 32 generates the color image 43. このカラー画像43は、図8に示すように、その各画素に、R(赤)の階調値であるR値(Ci,j_r)と、G(緑)の階調値であるG値(Ci,j_g)と、B(青)の階調値であるB値(Ci,j_b)との組(3色の階調値の組)として構成される階調値Ci,jが割り当てられた画像である。 The color image 43, as shown in FIG. 8, in each pixel, a gradation value is R values ​​of R (red) (Ci, J_r) and, G value is a gradation value of G (green) ( Ci, and J_g), B (gradation value at which B value of blue) (Ci, tone values ​​Ci configured as a set (three colors set of gradation values) between j_B), j is assigned is an image.

このカラー画像43は、色別画像42のうちのR画像42r、G画増42b、B画像42bの合成画像として生成される。 The color image 43, R image 42r of Color image 42, G Ezo 42b, is produced as a composite image of the B image 42b. 具体的には、次式(44a)〜(44c)で示す如く、カラー画像43の各画素の階調値Ci,jのうちのR値(Ci,j_r)、G値(Ci,j_g)、B値(Ci,j_b)として、それぞれ、R画像42rの対応画素のR値(R'i,j)、G画像42gの対応画素のG値(G'i,j)、B画像42bの対応画素のB値(B'i,j)がそのまま設定される。 More specifically, as shown in the following equation (44a) ~ (44c), the gradation value Ci, R value of j for each pixel of a color image 43 (Ci, j_r), G value (Ci, j_g), B values ​​(Ci, j_B) as, respectively, R values ​​of the corresponding pixels of the R image 42r (R'i, j), G values ​​of the corresponding pixels of the G image 42g (G'i, j), the corresponding B picture 42b B value of the pixel (B'i, j) is set as it is.


Ci,j_r=R'i,j ……(44a) Ci, j_r = R'i, j ...... (44a)
Ci,j_g=G'i,j ……(44b) Ci, j_g = G'i, j ...... (44b)
Ci,j_b=B'i,j ……(44c) Ci, j_b = B'i, j ...... (44c)

これにより、カラー画像43が生成される。 Thus, the color image 43 is generated.

STEP3に続くSTEP4では、外界画像生成部32は、広ダイナミックレンジ画像44を生成する。 In STEP4 followed STEP3, external image generation unit 32 generates a wide dynamic range image 44.

広ダイナミックレンジ画像44は、前記色別画像42やカラー画像43よりもダイナミックレンジを拡張させた画像である。 Wide dynamic range image 44 is an image obtained by expanding the dynamic range than the Color image 42 and a color image 43. この広ダイナミックレンジ画像44は、図9に示すように、その各画素に、階調値Di,jを割り当てたモノトーン画像である。 The wide dynamic range image 44, as shown in FIG. 9, each of its pixels is a monotone image assigned gradation value Di, the j.

この場合、広ダイナミックレンジ画像44の各画素の階調値Di,jは、次のように決定される。 In this case, the gradation value Di, j of each pixel of the wide dynamic range image 44 is determined as follows.

外界画像生成部32は、まず、カラー画像43の各画素の3種類の階調値(Ci,j_r、Ci,j_g、Ci,j_b)(又はR画像42r、G画像42g、及びB画像42bのそれぞれの対応画素の階調値R'i,j、G'i,j、B'i,j)から、カラー画像43の各画素の輝度値に相当する参照階調値Yi,jを以下の式(45)により算出する。 Outside image generation unit 32 first three tone values ​​for each pixel of a color image 43 (Ci, j_r, Ci, j_g, Ci, j_b) (or R image 42r, the G image 42 g, and B image 42b gradation value R'i each corresponding pixel, j, G'i, j, B'i, from j), the reference grayscale value Yi corresponding to the luminance value of each pixel of the color image 43, below j It is calculated by the equation (45).


Yi,j=0.3×Ci,jr+0.59×Ci,jg+0.11×Ci,jb ……(45) Yi, j = 0.3 × Ci, jr + 0.59 × Ci, jg + 0.11 × Ci, jb ...... (45)

従って、Yi,jは、Ci,jr(=R'i,j)、Ci,jg(=G'i,j)、Ci,jb(=B'i,j)の線形結合値として算出される。 Therefore, Yi, j is calculated Ci, jr (= R'i, j), Ci, jg (= G'i, j), Ci, as a linear combination value of jb (= B'i, j) . この場合、各項の重み付け係数(0.3,0.59,0.11)は、実験等により決定したものである。 In this case, the weighting coefficient of each term (0.3,0.59,0.11) are those determined by experiments or the like. ただし、これらの重み係数は、他の値を用いてもよい。 However, these weighting factors, other values ​​may be used.

次いで、外界画像生成部32は、以下の式(46)により、原画像41の各W画素の階調値Swi,jと、各W画素に対応する配置位置のカラー画像43の画素の参照階調値Yijとの比ai,jを、感度差補正係数として算出する。 Then, the external image generating unit 32, by the following equation (46), tone values ​​of the W pixel in the original image 41 Swi, and j, the reference floor of the pixels of the color image 43 in position corresponding to each W pixel the ratio ai, j of the tone values ​​Yij, is calculated as a sensitivity difference correction coefficient.


ai,j=Swi,j/Yi,j ……(46) ai, j = Swi, j / Yi, j ...... (46)

そして、外界画像生成部32は、以下の式(47)の重み付け関数w(x)を用いて、広ダイナミックレンジ画像44の各画素に割り当てる階調値(Di,j)を算出する。 Then, the external image generating unit 32 uses the weighting function w (x) of the formula (47), calculates the gradation value assigned to each pixel of the wide dynamic range image 44 (Di, j).


w(x)=1/(1+exp(g×(0.5−x))) ……(47) w (x) = 1 / (1 + exp (g × (0.5-x))) ...... (47)

但し、w(x)はシグモイド関数、gはゲイン、exp( )は自然対数の底eの指数関数である。 However, w (x) is the sigmoid function, g is the gain, exp () is an exponential function of the base of the natural logarithm e.

具体的には、外界画像生成部32は、色別画像42のうちのW画像42wの階調値(W'i,j)を最大階調値(分解能が8bitであれば255、10bitであれば1023)に対して規格化した規格化階調値(hi,j)と、カラー画像43から上記式(45)により算出した参照階調値(Yi,j)を、最大階調値で規格化した規格化階調値(yi,j)とから、以下の式(48)により、規格化合成階調値(hdri,j)を算出する。 Specifically, the external image generator 32, any gradation value of W image 42w of Color image 42 (w'i, j) in 255,10bit if the maximum tone value (resolution 8bit if normalized grayscale values ​​were normalized to 1023) (hi, and j), the reference grayscale value calculated by the equation (45) from the color image 43 (Yi, j), normalized at the maximum tone value since phased normalized grayscale value (yi, j) and, by the following equation (48), calculates the normalized synthesized tone values ​​(HDRI, j). なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味する。 Note that the normalized relative to the maximum tone value of the tone values, means dividing the gray scale values ​​in the maximum tone value. 例えば、W'i,j=200,Yi,j=65で、最大階調値が255であるときには、hi,j=200/255,yi,j=65/255となる。 For example, W'i, j = 200, Yi, with j = 65, when the maximum gradation value is 255, hi, j = 200/255, yi, a j = 65/255.


hdri,j=((1−w(hi,j))×hi,j+w(hi,j)×a'×yi,j)/a' hdri, j = ((1-w (hi, j)) × hi, j + w (hi, j) × a '× yi, j) / a'
……(48) ... (48)

但し、a'は、原画像41のW画素に対応する画素を対象とするときは、上記式(46)により算出した当該画素の感度差補正係数ai,j、原画像41のR画素又はG画素又はB画素に対応する画素を対象とするときは、周囲に配置されたW画素に対応する画素の感度差補正係数ai,jである。 However, a ', when the target pixel corresponding to W pixels of the original image 41, the sensitivity difference correction coefficient of the pixels calculated by the equation (46) ai, j, R pixels of the original image 41 or G when the target pixel corresponding to the pixel or the B pixel is a sensitivity difference correction coefficient ai, j of the pixels corresponding to W pixels arranged around.

そして、外界画像生成部32は、低階調のコントラスを保つために、以下の式(49)により規格化合成階調値(hdri,j)にγ変換処理を施すことで、広ダイナミックレンジ画像44の対象画素に割り当てる階調値(Di,j)を決定する。 Then, the external image generator 32, in order to maintain the contrast of the low gradation, by performing γ conversion processing for normalization synthesis gradation value (HDRI, j) by the following equation (49), wide dynamic range image gradation value assigned to the pixel of interest 44 determine the (Di, j).


Di,j=Mb×(hdri,j) (1/γ) ……(49) Di, j = Mb × (hdri , j) (1 / γ) ...... (49)

但し、Mbは広ダイナミックレンジ画像44の最大階調値である。 However, Mb is the maximum tone value of the wide dynamic range image 44.

このように各画素の階調値(Di,j)を決定することで、広ダイナミックレンジ画像44が生成される。 Thus gradation value of each pixel (Di, j) by determining the, is wide dynamic range image 44 is generated.

広ダイナミックレンジ画像44を生成するために用いた上記式(47)のシグモイド関数は、重み付け関数の一例であり、他の重み付け関数を用いてもよい。 Sigmoid function of the above formula (47) used to generate the wide dynamic range image 44 is an example of a weighting function, it may use other weighting functions.

本実施形態では、以上説明した外界画像生成部32の処理によって、4種類の色別画像42(42r,42g,42b,42w)と、カラー画像43と、広ダイナミックレンジ画像44とが外界画像として生成される。 In the present embodiment, the processing of the external image generation unit 32 described above, four kinds of Color image 42 (42r, 42g, 42b, 42w) and a color image 43, as a wide dynamic range image 44 outside image It is generated. この場合、色別画像42のうちのW画像42wは、カラーフィルタを介さずに受光するW受光画素の出力信号の強度を示すW画素の階調値Swi,jを用いて生成される画像であるので、R画像42rや、G画像42g、B画像42bに比して高感度な画像としての意味を持つ。 In this case, W images 42w of Color image 42, the gradation value Swi of W pixels representing the intensity of the output signal of the W light receiving pixels that receive without passing through the color filter, an image generated using the j since, with or R image 42r, G image 42 g, meant as highly sensitive image than the B image 42b.

なお、外界画像生成部32は、4種類の色別画像42(42r,42g,42b,42w)と、カラー画像43と、広ダイナミックレンジ画像44との全ての画像を生成せずともよく、いずれかの外界画像の生成を省略してもよい。 Incidentally, the external image generating unit 32 may four Color image 42 (42r, 42g, 42b, 42w) and a color image 43, without generating any image with wide dynamic range image 44, either the generation of Kano external image may be omitted. 例えば、広ダイナミックレンジ画像44の生成を省略してもよい。 For example, it may be omitted generation of wide dynamic range image 44.

次に、通信信号検出部33の処理を図10及び図11を参照して説明する。 Next, processing of the communication signal detection unit 33 with reference to FIGS.

まず、図10を参照して通信信号検出部33の処理に関する基礎的事項を説明すると、カメラ2の撮像素子22のW受光画素は、カラーフィルタを介さずにカメラ2への入射光(これは一般に可視光以外の波長域の電磁波を含む)を受光する。 First, to describe the basic matters relating to the processing of the communication signal detection unit 33 with reference to FIG. 10, W light receiving pixels of the image sensor 22 of the camera 2, the incident light to the camera 2 without passing through the color filter (this is generally comprises an electromagnetic wave in a wavelength region other than visible light) to receive. このため、W受光画素の受光感度(入射光の強度に対する受光画素の受光レベル(出力信号の強度)の比率)と、入射光の波長との関係(スペクトル特性)は、W受光画素を構成する受光素子自体の構造や材質に依存したものとなる。 Therefore, the light receiving sensitivity of the W light-sensitive pixels (the ratio of the light receiving level of the light receiving pixels to the intensity of the incident light (the intensity of the output signal)), the relationship between the wavelength of the incident light (spectral characteristic) constitutes a W light receiving pixels It becomes dependent on the structure and material of the light receiving element itself.

従って、W受光画素の受光感度のスペクトル特性は、一般に、例えば図10の実線のグラフawで示すような特性となる。 Therefore, the spectral characteristics of the light-receiving sensitivity of the W light receiving pixels, generally, a characteristic as shown by the solid line in the graph aw in FIG. 10, for example. この場合、W受光画素は、可視光域の波長はもちろん、近赤外領域の波長を含む幅広い波長域において感度を有し、当該幅広い波長域の入射光を検出可能である。 In this case, W light receiving pixel, the wavelength of the visible light region, of course, has a sensitivity in a wide wavelength range including a wavelength in the near infrared region, it is possible to detect incident light from the wide wavelength range.

一方、カメラ2への入射光をR,G,Bの各色のカラーフィルターを介して受光するR受光画素、G受光画素、B受光画素は、カメラ2への入射光のうち、それぞれに対応するカラーフィルタを透過可能な波長域の光だけを受光する。 On the other hand, R light receiving pixels that the incident light to the camera 2 for receiving through the R, G, and each color filter of B, G light receiving pixel, B light receiving pixels, the incident light to the camera 2, corresponding to It receives only the light of the transmissive wavelength range of the color filter.

このため、R受光画素、G受光画素、B受光画素のそれぞれの受光感度と、入射光の波長との関係(スペクトル特性)は、受光素子自体の特性と、それぞれに対応するカラーフィルタの透過特性とに依存したものとなる。 Therefore, the relationship between R light receiving pixels, and each of the light-receiving sensitivity of the G light-receiving pixel, B light receiving pixel, the wavelength of the incident light (spectral characteristic), the characteristic of the light receiving element itself, the transmission characteristics of the color filters corresponding to the respective a thing that depends on the door.

この場合、R受光画素、G受光画素、B受光画素のそれぞれの受光感度のスペクトル特性は、それぞれ、一般に、図10の実線のグラフar,ag,abで例示するような特性となる。 In this case, R light receiving pixels, G light receiving pixels, the spectral characteristics of each light-receiving sensitivity of the B light-receiving pixels, respectively, in general, solid line graph ar in FIG 10, ag, a characteristic as illustrated in ab. この場合、R受光画素、G受光画素、B受光画素の受光感度は、それぞれ赤色の波長、緑色の波長、青色の波長の近辺の比較的狭い波長域で感度を有するような凸波形の特性となる。 In this case, R light receiving pixels, G light receiving pixel, the light receiving sensitivity of the B light-receiving pixels, red wavelength, green wavelength, and characteristics of the projection waveform having sensitivity in a relatively narrow wavelength region around blue wavelength Become.

従って、R受光画素、G受光画素、B受光画素のそれぞれが検出可能な波長域(それぞのれ受光画素の受光感度が相対的に高感度となる波長域)は、W受光画素よりも狭く、その大部分が可視光域内の波長となる。 Accordingly, R light receiving pixels, G light receiving pixels, detectable wavelength ranges each of B light-receiving pixels (wavelength region where the light receiving sensitivity of their respective goodwill receiving pixel becomes relatively high sensitivity) is narrower than W light receiving pixels the most part the wavelength of visible light region. そして、R受光画素、G受光画素、B受光画素のそれぞれの受光感度は、近赤外領域など、可視光域から逸脱した波長域では、可視光域での最大の受光感度に比して小さなものとなる。 Then, each of the light-receiving sensitivity of the R light receiving pixels, G light receiving pixel, B light receiving pixels, such as near-infrared region, the wavelength region that deviates from the visible light region, small in comparison with the maximum light receiving sensitivity in the visible light region the things.

このため、W受光画素で検出可能な波長域(W受光画素の受光感度が相対的に高感度となる波長域)のうち、本実施形態における通信信号の波長域としての近赤外領域に着目すると、該近赤外領域は、R受光画素、G受光画素、B受光画素の全体が検出可能な波長域(図10に示すWL)、すなわち、R受光画素、G受光画素、B受光画素のそれぞれが検出可能な波長域を合成した波長域WLの端部寄りの波長域、もしくは、該波長域WLから逸脱した波長域となる。 Therefore, W of the detectable wavelength region in the light receiving pixel (wavelength range where the light receiving sensitivity is relatively high sensitivity of the W light receiving pixels), focused on the near-infrared region of the wavelength range of the communication signal in the present embodiment Then, the near infrared region, R light receiving pixel, G light receiving pixel, the entire detectable wavelength region of B light receiving pixels (WL shown in FIG. 10), ie, R light receiving pixels, G light receiving pixels, the B light-receiving pixel wavelength region of the end side of the wavelength range WL to which each synthesized wavelength range detectable, or a wavelength region that deviates from the wavelength range WL.

従って、近赤外領域の波長では、W受光画素の受光感度と、R受光画素、G受光画素、B受光画素のそれぞの受光感度との差(相違度合い)は、R受光画素、G受光画素、B受光画素のそれぞの受光感度が比較的大きなものとなる波長域に較べて、顕著なものとなる。 Thus, the wavelength in the near infrared region, W and the light receiving sensitivity of the light receiving pixels, R light receiving pixels, the difference between the light receiving sensitivity of each its G light receiving pixel, B light-receiving pixel (difference degree) is, R light receiving pixel, G light pixel, compared to the wavelength range where the light receiving sensitivity is relatively large in each its B light receiving pixels, the prominent.

通信信号検出部33は、上記の如き特性を利用して、近赤外領域の波長域の通信信号を検出する。 Communication signal detecting section 33 utilizes the above-described characteristics, detects a communication signal wavelength range in the near infrared region. その検出のための処理を、図11のフローチャートの従って以下に説明する。 The process for the detection, described below Thus the flowchart of FIG.

なお、通信信号検出部33に関する図11のフローチャートの処理には、外界画像生成部32に関する図3のフローチャートの一部の処理と同じ処理が含まれる。 Incidentally, the processing of the flowchart of FIG. 11 relates to the communication signal detector 33, it contains the same processing as part of the processing of the flowchart of FIG. 3 relating to the external image generating unit 32. この場合、図3と図11とで互いに同じ処理は、通信信号検出部33及び外界画像生成部32の両方で各別に実行する必要はなく、一方だけで実行するようにしてもよい。 In this case, the same process together with FIGS. 3 and 11 need not be performed separately on both of the communication signal detection unit 33 and the outside image generation unit 32, may be executed by only one. その場合、通信信号検出部33及び外界画像生成部32は、互いに共通の処理機能を有することとなる。 In that case, the communication signal detection unit 33 and the outside image generating unit 32 will have a common processing functions to each other.

以下、図11のフローチャートの処理を説明すると、まず、STEP11において、原画像取得部31により原画像41(図2(b)参照)を取得して画像メモリ40に保持する。 Explaining the processing of the flowchart of FIG. 11, first, in STEP 11, the original image acquiring unit 31 acquires the original image 41 (see FIG. 2 (b)) held in the image memory 40. このSTEP11の処理は、前記STEP1の処理と同じである。 Process in STEP11 is identical to the processing of the STEP1. 従って、既にSTEP1の処理が実行されている場合には、STEP11の処理を改めて行う必要はない。 Therefore, if it is already running process STEP1 is not necessary to perform again the processing of STEP 11.

次いで、STEP12〜16の処理が、通信信号検出部33の信号検出用画像生成部34により実行される。 Then, the processing of STEP12~16 is executed by the signal detection image generation unit 34 of the communication signal detector 33.

STEP12では、信号検出用画像生成部34は、前記STEP2と同じ処理によって、原画像から4種類の色別画像42(R画像42r、G画像42g、B画像42b、W画像42w)を生成し、それらの色別画像42を画像メモリ40に保持する。 In STEP 12, the signal detection image generation unit 34, the by the same process as STEP2, generate from the original image four Color image 42 (R image 42r, G image 42 g, B image 42b, W image 42w), retain their color based image 42 in the image memory 40. なお、前記STEP2の処理により既に色別画像42が生成されている場合には、STEP12の処理を改めて行なう必要はない。 In the case where the already color-coded image 42 by treatment STEP2 is generated, it is not necessary to perform again the processing of STEP 12.

次いで、STEP13において、信号検出用画像生成部34は、原画像41内に、通信信号を検出しようとする検出対象領域を設定する。 Then, in STEP 13, the signal detection image generation unit 34, the original image 41, sets the detection target region to be detected communication signals. 例えば、前走車から送信される通信信号を受信しようとする場合、原画像41中で、前走車が写っているか、もしくは写っている可能性の高い領域(自車両1とほぼ同じ高さの領域等)が検出対象領域として設定される。 For example, before when attempting to receive a communication signal transmitted from the running vehicle, in the original image 41, before substantially the same height as running vehicle is either reflected or the reflected and are likely regions (the vehicle 1 area, etc.) is set as the detection target region.

また、道路脇の通信設備から送信される通信信号を受信するような場合には、該通信設備の送信部が写っているか、もしくは、写っている可能性の高い領域が検出対象領域として設定される。 Further, in the case to receive a communication signal transmitted from the roadside communication equipment, or the transmitting unit of the communication equipment is captured, or is likely to have captured area is set as the detection target area that.

なお、検出対象領域は受信しようとする通信信号の送信元の種別に応じてあらかじめ定めれた所定の領域であってもよい。 The detection target area according to the type of transmission source of the communication signal to be received may be predetermined region set in advance.

あるいは、前記外界画像生成部32で生成された外界画像(色別画像42、カラー画像43、広ダイナミックレンジ画像44)のうちのいずれか1つ以上の画像から、受信しようとする通信信号の送信元の存在箇所を特定した上で、それに応じて検出対象領域を設定するようにしてもよい。 Alternatively, the transmission of any of one or more images, communication signals to be received of the outside image the generated at ambient image generation unit 32 (Color image 42, the color image 43, the wide dynamic range image 44) on identifying the original existence locations, it may be set a target detection area accordingly. あるいは、原画像41の全体の領域を検出対象領域として設定するようにしてもよい。 Alternatively, it is also possible to set the entire area of ​​the original image 41 as a detection target region.

次いで、信号検出用画像生成部34は、STEP14の処理を実行する。 Then, the signal detection image generation unit 34 performs the process of STEP 14. このSTEP14では、信号検出用画像生成部34は、検出対象領域におけるW画像42w(詳しくは、STEP12(又はSTEP2)で先に生成されたW画像42wのうちの検出対象領域内の画像)を第1参照画像として得る。 In the STEP 14, the signal detection image generation unit 34, W image 42w in the detection target area (specifically, STEP 12 (or the image of the detection target area among the W image 42w previously generated in STEP2)) the first obtained as a reference image. 従って、この第1参照画像は、図12(a)に示す如く、その各画素の階調値として、前記した如く決定されるグレー階調の階調値W'i,jを割り当てた画像である。 Accordingly, the first reference picture, as shown in FIG. 12 (a), as the gradation value of each pixel, tone values ​​W'i shades of gray to be as determined above, in the image assigned the j is there.

補足すると、色別画像42を生成する前に、検出対象領域を設定するようにしてもよい。 Supplementally, before generating the color-based image 42, may be set a detection target region. その場合、信号検出用画像生成部34の処理では、設定した検出対象領域においてのみ、色別画像42を生成するようにしてもよい。 In that case, the processing of the signal detection image generation unit 34, only in the detection target area set, may generate the color-based image 42. なお、この場合には、色別画像42のうちのW画像42wは、第1参照画像として生成されることとなる。 In this case, W images 42w of Color image 42, and thus generated as a first reference picture.

次いで、信号検出用画像生成部34は、STEP15の処理を実行する。 Then, the signal detection image generation unit 34 performs the process of STEP 15. このSTEP15では、信号検出用画像生成部34は、検出対象領域におけるR画像42r、G画像42g及びB画像42b(詳しくは、STEP12(又はSTEP2)で先に生成されたR画像42r、G画像42g及びB画像42bのそれぞれの検出対象領域内の画像)から、検出対象領域の各画素に階調値(モノトーンの階調値)を割り当ててなる第2参照画像を生成する。 In the STEP 15, the signal detection image generation unit 34, an R image 42r in the detection subject region, G image 42g, and B image 42b (details, STEP 12 (or STEP2) with previously generated an R image 42r, G picture 42g and from the image) of each of the detection target area of ​​the B image 42b, to generate a second reference image comprising assigning to each pixel of the detection target region gradation value (gradation value of monotone). 以降、図12(b)に示す如く、第2参照画像の各画素(配置位置が(i,j)である画素)の階調値をPYi,jと表記する。 Thereafter, as shown in FIG. 12 (b), each pixel of the second reference image (disposed position (i, j) is a pixel) the tone value of PYi, denoted as j.

この第2参照画像は、例えば次のように生成される。 The second reference image is generated, for example, as follows. 信号検出用画像生成部34は、まず、第2参照画像の前画像としてのモノトーン階調のベース第2参照画像を生成する。 Signal detection image generation unit 34 first generates a base second reference picture of monotone gradation as the previous image of the second reference image. 以降、ベース第2参照画像の各画素(配置位置が(i,j)である画素)の階調値をPY0i,jと表記する。 Thereafter, each pixel of the base second reference image (disposed position (i, is the pixel at j)) the tone value of PY0i, denoted as j.

このベース第2参照画像の各画素の階調値PY0i,jは、R画像42r中の対応画素(配置位置が同じ画像)の階調値R'i,jと、G画像42g中の対応画素の階調値G'i,jと、B画像42b中の対応画素の階調値B'i,jとを次式(50)により線形結合することにより、決定される。 Gradation value of each pixel of the base second reference image PY0i, j is the gradation value of the corresponding pixel (position the same image) in the R image 42r R'i, and j, the corresponding pixel in the G image 42g tone value G'i, and j, the gradation value B'i of the corresponding pixel in the B image 42b, by linearly combining the following equation and j (50), is determined.


PY0i,j=αr×R'i,j+αg×G'i,j+αb×B'i,j ……(50) PY0i, j = αr × R'i, j + αg × G'i, j + αb × B'i, j ...... (50)

αr,αg,αbは、既定値の重み付け係数である。 .alpha.r, .alpha.g, .alpha.b is the weighting factor for the default value. それらの値としては、例えば前記式(45)と同じ値(0.3,0.59,0.11)を用いることができる。 As those values ​​can be used, for example the expression equal to the (45) (0.3,0.59,0.11). ただし、αr,αg,αbの値を、式(45)に示す値と異ならせてもよい。 However, αr, αg, the values ​​of .alpha.b, may be different from the value shown in equation (45).

このようにして算出される階調値PY0i,jは、R画像42r、G画像42g及びB画像42bのそれぞれの互いに対応する配置位置の画素の階調値R'i,j、G'i,j、B'i,jの線形結合値であるので、カメラ2の入射光に対する該階調値PY0i,jの感度特性(入射光の波長に対するスペクトル特性)は、R受光画素、G受光画素、B受光画素のそれぞれの受光感度の特性を合成した特性を有する。 Thus gradation value is calculated PY0i, j is, R image 42r, the gradation value R'i of pixels each corresponding positions to each other of the G image 42g, and B image 42b, j, G'i, j, B'i, since a linear combination value of j, (spectral characteristics with respect to the wavelength of the incident light) grayscale value PY0i, sensitivity characteristic of j with respect to the incident light of the camera 2, R light receiving pixel, G light receiving pixels, having synthesized characteristics the characteristics of each of the light-receiving sensitivity of the B light-receiving pixels. 例えば、入射光の波長に対する該階調値PY0i,jの感度特性は、図10の実線のグラフayで例示するような特性となる。 For example, the sensitivity characteristics of the grayscale values ​​PY0i, j with respect to the wavelength of the incident light, a characteristic as illustrated by the solid line in the graph ay in Fig. この場合、R受光画素、G受光画素、B受光画素の全体が検出可能な波長域WLにおいて、階調値PY0i,jが感度を有するものとなる。 In this case, R light receiving pixels, G light receiving pixel, the entire detectable wavelength ranges WL of B light receiving pixel, the gradation values ​​PY0i, j is assumed to have the sensitivity.

そして、信号検出用画像生成部34は、検出対象領域における各画素の階調値PYi,jを、次式(51)によりPY0i,jに応じて決定してなる画像を、第2参照画像として生成する。 Then, the signal detection image generation unit 34, each pixel of the gray scale values ​​PYi in the detection target area, the j, PY0i by the following equation (51), an image composed determined depending on j, as the second reference picture generated. すなわち、信号検出用画像生成部34は、第2参照画像の各画素の階調値PYi,jを、その配置位置に対応する上記ベース第2参照画像の画素の階調値PY0i,jに所定のゲイン係数βを乗じてなる値とすることで、第2参照画像を生成する。 That is, the signal detection image generation unit 34, a predetermined gradation value of each pixel in the second reference picture PYi, the j, the gradation value PY0i of pixels of the base second reference image corresponding to the arrangement position, the j with made by multiplying the gain coefficient β value, to generate a second reference image.


PYi,j=β×PY0i,j ……(51) PYi, j = β × PY0i, j ...... (51)

ここで、上記ゲイン係数βは、あらかじめ実験等に基づいて定められた値の係数である。 Here, the gain coefficient beta, is a coefficient value determined on the basis of pre-experiments. その値は、第1参照画像の各画素の階調値W'i,jに含まれる、可視光領域の波長に対応する成分と、第2参照画像の各画素の階調値PYi,jに含まれる、可視光領域の波長に対応する成分とをほぼ一致させることができるように設定されている。 Its value, tone values ​​of the pixels in the first reference image w'i, contained in j, the component corresponding to the wavelength of visible light region, the gradation value of each pixel in the second reference picture PYi, the j contained, it is set to be able to substantially coincide with the component corresponding to the wavelength of visible light range.

以上のように第2参照画像は、その各画素の階調値PYi,jが、検出対象領域におけるR画像42r、G画像42g及びB画像42bのそれぞれの互いに対応する配置位置の画素の階調値R'i,j、G'i,j、B'i,jを線形結合してなる値(該画素の合成輝度値に相当する値)に、ゲイン係数βを乗じてなる値となるように生成される。 Or the second reference picture as the gradation value PYi for each pixel, j is, R image 42r in the detection target area, the tone of the pixel of each of the corresponding positions to each other of the G image 42g, and B image 42b value R'i, j, G'i, j, B'i, the comprising the j linear combination value (a value corresponding to the composite luminance value of the pixel), to be a value that is multiplied by the gain factor β It is generated.

なお、第2参照画像は、第1参照画像よりも前に生成するようにしてもよい。 Note that the second reference picture may be generated before the first reference image.

次に、信号検出用画像生成部34は、STEP16の処理を実行する。 Then, the signal detection image generation unit 34 performs the process of STEP 16. このSTEP16では、信号検出用画像生成部34は、上記の如く生成した第1参照画像と第2参照画像との差の画像を信号検出用画像45として生成する。 In the STEP 16, the signal detection image generation unit 34 generates an image of the difference between the first reference picture and a second reference image generated as described above as a signal detection image 45. 以降、図12(c)に示す如く、信号検出用画像45の各画素(配置位置が(i,j)である画素)の階調値をDfi,jと表記する。 Thereafter, as shown in FIG. 12 (c), each pixel of the signal detection image 45 (disposed position (i, j) is a pixel) the tone value of Dfi, denoted as j.

この信号検出用画像45は、その各画素((i,j)の位置の画素)の階調値Dfi,jを、次式(52)に示す如く、第1参照画像の対応する位置の画素の階調値W'i,jと、第2参照画像の対応する位置の画素の階調値PYi,jとの偏差に一致させた画像である。 The signal detection image 45, the gray scale value Dfi of each pixel ((i, the pixel position j)), the j, as shown in the following equation (52), the corresponding position of the pixel of the first reference image tone value w'i, and j, the gradation value of the corresponding position of the pixel in the second reference image PYi, an image obtained by matching the deviation between the j.


Dfi,j=W'i,j−PYi,j ……(52) Dfi, j = W'i, j-PYi, j ...... (52)

以上のSTEP12〜16の信号検出用画像生成部34の処理により、信号検出用画像45が生成される。 The processing of the signal detection image generation unit 34 of the above STEP12~16, signal detection image 45 is generated.

次いで、STEP17において、通信信号検出部33は、上記の如く生成した信号検出用画像45を基に、通信信号を検出する。 Next, in STEP 17, the communication signal detection unit 33, based on the signal detection image 45 generated as described above, to detect the communication signal.

ここで、第1参照画像の各画素の階調値W'i,jと、これに対応する第2参照画像の各画素の階調値PYi,jとは、それぞれに含まれる可視光領域の波長に対応する成分がほぼ一致するので、原画像41の検出対象領域に対応するカメラ2の撮像素子22の箇所に近赤外領域の波長の通信信号が入射している場合には、上記信号検出用画像45において、通信信号の入射箇所の画素の階調値Dfi,jがその周囲の箇所に較べて比較的顕著に大きなものとなる。 Here, the gradation value of each pixel of the first reference image w'i, j and the gradation value PYi of each pixel in the second reference picture corresponding thereto, and the j, in the visible region included in each since components corresponding to the wavelength substantially coincides, when the communication signal wavelength in the near infrared region is incident on the position of the imaging device 22 of the camera 2 corresponding to the detection target area of ​​the original image 41, the signal in detection image 45, the gradation value Dfi of pixels of the incident portion of the communication signal, j is relatively remarkably large compared to locations around the.

これに対して、検出対象領域に対応する箇所に通信信号が入射していない場合には、一般に、上記信号検出用画像45には、階調値Dfi,jが顕著に大きなものとなるような箇所は生じ難い。 On the contrary, when the communication signal at a position corresponding to the detection target region is not incident is generally in the above-mentioned signal detection image 45, such as tone value Dfi, j becomes significantly large location is unlikely to occur.

従って、信号検出用画像45は、近赤外領域の波長の受光成分を強調した画像となる。 Therefore, the signal detection image 45 is an image that emphasizes the light receiving component of a wavelength in the near infrared region.

そこで、通信信号検出部33は、上記信号検出用画像45における階調値Dfi,jの分布に基づいて、撮像素子22の検出対象領域に対応する箇所に通信信号が入射したか否かを検出する。 Therefore, the communication signal detector 33, tone value Dfi in the signal detecting image 45, based on the distribution of j, detects whether the communication signal is incident on a portion corresponding to the detection target area of ​​the imaging device 22 to. 例えば、該階調値Dfi,jが所定値以上となるような所定面積以上の箇所が、上記信号検出用画像45中に存在する場合には、撮像素子22の検出対象領域に対応する箇所に通信信号が入射したことを検出する。 For example, the grayscale value Dfi, j is the more points given area, such as equal to or greater than a predetermined value, when present in the signal detection image 45, the portion corresponding to the detection target area of ​​the imaging device 22 communication signal to detect that the incident. そして、通信信号検出部33は、そのような箇所が信号検出用画像45中で検出されない場合には、撮像素子22の検出対象領域に対応する箇所への通信信号の入射が無いものと判断する。 Then, the communication signal detector 33, if such portion is not detected in the signal detection image 45 judges that there is no incidence of the communication signal to the portion corresponding to the detection target area of ​​the imaging device 22 .

これにより、ON・OFFのパルス列により構成される近赤外領域の波長の通信信号を高い信頼性で検出することができる。 This makes it possible to reliably detect the communication signals of a wavelength in the near infrared region composed of a pulse train of ON · OFF.

なお、上記信号検出用画像45において所定値以上の階調値Dfi,jを有する箇所における階調値Dfi,jの大きさの変化に基づいて、カメラ2の撮像素子22に入射した通信信号の強度の変化を検出するようにすることも可能である。 Note that the gradation value equal to or greater than a predetermined value in the signal detection image 45 Dfi, tone value Dfi at a point having j, based on the change in the size of the j, the communication signal incident on the image sensor 22 of the camera 2 it is also possible to detect a change in intensity.

また、色別画像42、カラー画像43、広ダイナミックレンジ画像44などの可視画像で通信を行う対象を検知し、信号検出用画像45(通信信号強調画像)の対応する位置の階調値及び該階調値の変化を用いて通信信号の検出を行なってもよい。 Further, Color image 42, the color image 43, detects the target that communicates with the visible image, such as a wide dynamic range image 44, the corresponding position of the tone value and said signal detecting image 45 (communication signals weighted images) it may perform detection of the communication signal using the variation in gray values.

以上が、通信信号検出部33の処理の詳細である。 The detailed description of the processing of the communication signal detector 33.

なお、前記式(51)におけるゲイン係数βは、本実施形態では、一定値としたが、カメラ2の撮像条件に応じて適宜変化させるようにしてもよい。 Incidentally, the formula gain coefficient β in (51), in the present embodiment, a constant value may be changed as appropriate depending on the imaging conditions of the camera 2. 例えば、周囲の光環境の状態(昼間、夕方、夜間、日陰、日なた等)や、カメラ2の露出などに応じてゲイン係数βの値を変化させるようにしてもよい。 For example, the state (Day, evening, night, shade, sun, etc.) of the ambient light environment or, depending on the exposure of the camera 2 may be changing the value of the gain coefficient beta. また、可視光の影響を受け難い夜間においては、第1参照画像と第2参照画像とのいずれにおいても、それらの画素の階調値に含まれる可視光域の成分が微小なものとなるので、例えば第1参照画像だけを用いて(換言すれば、式(51)のβを“0”として)、近赤外領域の波長の通信信号を検出するようにすることも可能である。 In the night when less susceptible to visible light, in any of the first reference picture and a second reference picture, since the components in the visible light region which is included in the gradation values ​​of these pixels becomes very small , for example (in other words, as the beta "0" equation (51)) using only the first reference image, it is also possible so as to detect the communication signals of a wavelength in the near infrared region.

また、第1参照画像の階調値と、R画像42rの階調値R'i,j又はG画像42gの階調値G'i,j又はB画像42bの階調値B'i,jとを比較することで、通信信号を検出するようにすることも可能である。 The gradation value of the gradation values ​​of the first reference image, the gradation value of the gradation values ​​R'i, j or G image 42g of the R image 42r G'i, j or B image 42b B'i, j by comparing the bets, it is also possible to detect the communication signal.

次に、前記対象物検知部35の処理を説明する。 Next, processing of the object detecting unit 35. 対象物検知部35は、検出しようとする対象物の種別や、夜間であるか否か(もしくは周囲環境が暗いか否か)等に応じて、色別画像42、カラー画像43、及び広ダイナミックレンジ画像44のいずれかの1つ以上の外界画像を選択し、その選択した外界画像を用いて車両1の周辺に存在する対象物を検知する。 Object detection unit 35, the type and the object to be detected, whether or not the night (or ambient environment is dark or not) in accordance with such, Color image 42, the color image 43, and the wide dynamic select one of the one or more external image of the range image 44 to detect an object existing around the vehicle 1 by using the selected external image.

例えば、歩行者は比較的低輝度である場合が多いため、対象物検知部35は高感度な画像であるW画像42wから歩行者を検知する。 For example, a pedestrian because often a relatively low intensity, the object detection unit 35 detects the pedestrian W image 42w a sensitive images.

また、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要があることから、対象物検知部35は、広ダイナミックレンジ画像44から、歩行者や他車等を検知する。 In the night, until bright objects from a dark object, it is necessary to detect an object of the luminance of a wide range, the object detecting portion 35, the wide dynamic range image 44, detects a pedestrian or another vehicle, etc. to.

また、夜間でない場合には、カラー画像43により物体の色を認識できることから、レーンマークや、他車、信号機等をカラー画像43から検出する。 Also, if not at night, since it can recognize the color of an object by the color image 43, to detect the lane mark and the other vehicles, a traffic signal or the like from the color image 43.

このように、対象物の種別や、周囲環境の明るさなどに応じて対象物の検出のために用いる画像を選択することで、種々様々な環境下で、種々様々の対象物を高い信頼性で検出することができる。 Thus, the type and the object, by selecting the image used for the detection of an object depending on the ambient brightness, a wide variety of in the environment, a wide variety of objects with high reliability in can be detected.

なお、対象物検知部35は、歩行者や他車を検出した場合に、該歩行者や他車と車両1(自車両)との接触の可能性を判断し、接触の可能性が有ると判断した場合には、車両コントローラ6に対して接触回避処理の実施を指示する制御信号を送信する。 Incidentally, the object detection unit 35, when detecting a pedestrian or another vehicle, determining the possibility of contact between the pedestrian and another vehicle and the vehicle 1 (vehicle), the possibility of contact there when it is determined sends a control signal for instructing the implementation of the contact avoidance processing to the vehicle controller 6. このとき、車両コントローラ6のディスプレイ表示制御部63は、ディスプレイ73に警報表示を行う。 At this time, display the display control unit 63 of the vehicle controller 6, an alarm display on the display 73. また、制動制御部62は、必要に応じて、制動装置72を作動させて接触を回避する処理を行う。 Further, the braking control unit 62, if necessary, performs processing to avoid contact by operating the braking device 72.

また、対象物検知部35は、レーンマークの検知位置から車両1(自車両)を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ6に送信する。 Further, the object detecting unit 35 transmits a control signal for the lane keep control for running the vehicle 1 from the detection position of the lane mark (vehicle) was maintained in the lane to the vehicle controller 6. このとき、操舵制御部61が操舵装置71の作動を制御することで、レーンキープ制御を行なう。 At this time, the steering control unit 61 controls the operation of the steering device 71, performs lane keeping control.

以上説明した実施形態によれば、透明画素であるW画素と、カラー画素であるR画素、G画素及びB画素とにより構成される原画像41から、複数種類の外界画像としての色別画像42、カラー画像43及び広ダイナミックレンジ画像44を生成することができる。 According to the embodiment described above, and W pixels is a transparent pixel, R pixel is a color pixel from the original image 41 constituted by the G pixel and B pixel, a plurality of types of color-based image as outside image 42 , it is possible to generate a color image 43 and wide dynamic range image 44.

そして、このように可視光域での外界画像を生成しながら、信号検出用画像45を生成して、該信号検出用画像45を基に、近赤外領域の波長域の通信信号を高い信頼性で検出することができる。 Then, while thus generate the external image in the visible light region, and generates a signal detection image 45, based on the signal detection image 45, a high communication signals wavelength band in the near infrared region trust it can be detected in sex.

なお、以上説明した実施形態では、近赤外領域の波長域の通信信号を通信信号検出部33で検出するようにしたが、近赤外領域以外の波長、例えば近赤外領域よりも波長の長い赤外領域の通信信号を検出するようにしてもよい。 In the above-described embodiment, the near-infrared has been communication signals wavelength band region to detect the communication signal detection unit 33, a wavelength other than the near-infrared region, for example, the near-infrared region of wavelengths than it may be detected communication signals long infrared.

また、本実施形態では、通信信号を検出する場合を例にとって説明したが、通信用以外の用途の信号を検出するようにすることも可能である。 Further, in the present embodiment, although the case of detecting a communication signal described as an example, it is also possible to detect a signal other than the communication applications. 例えば、カメラ2を車両1の車室内に配置して、車両1のウィンドウガラスに付着する雨滴を検出するための信号を検出するようにすることも可能である。 For example, the camera 2 disposed in the passenger compartment of the vehicle 1, it is also possible to detect a signal for detecting the raindrop adhering to the windshield of the vehicle 1.

この場合には、例えば、近赤外光LED等の光源からウィンドウガラスの雨滴検出対象の領域に近赤外光を照射しつつ、該領域での近赤外光の反射光をカメラ2に入射するように該カメラ2を車室内に配置する。 In this case, for example, while irradiating near infrared light from a light source such as near-infrared light LED for rain detection target area of ​​the window glass, the incident light reflected near-infrared light in the region to the camera 2 the camera 2 is arranged in the passenger compartment so as to. そして、前記実施形態の通信信号検出部33と同様の手法によって、カメラ2に入射した近赤外光(反射光)を検出する。 Then, by the same method as the communication signal detection unit 33 of the embodiment, for detecting near-infrared light entering the camera 2 (reflected light).

この場合、ウィンドウガラスの雨滴検出対象の領域に雨滴が付着している場合と、付着していない場合とで、近赤外光の反射率が相違するので、上記反射光の検出によって、雨滴の有無を検出することができる。 In this case, a case where raindrops raindrop detection target area of ​​the window glass is attached, in a case where unattached since different reflectance of near infrared light, the detection of the reflected light, the raindrop it is possible to detect the presence or absence.

また、夜間等においては、カメラ2に入射する不可視領域の光、例えば近赤外光等の赤外領域の光を通信信号検出部33と同様の手法で検出することで、カメラ2に赤外線カメラとしての機能を持たせるようにすることもできる。 In the nighttime or the like, the light of an invisible region which enters the camera 2, by detecting, for example, near-infrared light or the like infrared same manner as the communication signal detector 33 the light areas of the infrared camera to the camera 2 it is also possible to make have a function as a. これによって、赤外領域の光成分を強調した赤外画像(前記通信信号検出用画像45と同様の画像)と、可視画像(前記色別画像42、カラー画像43、広ダイナミックレンジ画像44等)とを同時に取得できる。 Thus, the infrared image that emphasizes a light component of the infrared region (same image as the communication signal detection image 45), the visible image (the Color image 42, the color image 43, the wide dynamic range image 44, etc.) door at the same time can be obtained. また、このとき、例えば赤外線投光装置などの光源を用いて、カメラ2の撮像領域(カメラ2の画角の範囲)の一部又は全体に赤外光を投光するようにしてもよい。 At this time, for example, using a light source such as an infrared light emitting device, a part or the whole of the imaging area of ​​the camera 2 (the range of the angle of view of the camera 2) may be projected infrared light.

また、このとき、カメラ2の露出制御と光源の発光周期との同期をとることによって、カメラ2をTOF(Time of Flight)方式を用いた距離画像センサとして用い、距離検出を行なうようにしてもよい。 At this time, by synchronizing with the light emission period of the exposure control and the light source of the camera 2, using the camera 2 as a distance image sensor using a TOF (Time of Flight) method, be performed with distance detection good.

また、カメラ2の撮像素子22の受光画素の配列パターンは、図2(a)に示したパターンに限られるものではない。 The arrangement pattern of the light receiving pixels of the image sensor 22 of the camera 2 is not limited to the pattern shown in FIG. 2 (a). 例えば、カメラ2の撮像素子22の受光画素の配列パターンとして、図13(a)又は図13(b)に示すようパターンを採用してもよい。 For example, the arrangement pattern of the light receiving pixels of the image sensor 22 of the camera 2 may be employed a pattern as shown in FIG. 13 (a) or FIG. 13 (b).

2…カメラ、22…撮像素子、32…外界画像生成部(外界画像生成手段)、33…通信信号検出部(通信信号検出手段)、34…信号検出用画像生成部(信号検出用画像生成手段)、STEP12,14…第1参照画像生成手段、STEP12,15…第2参照画像生成手段。 2 ... camera, 22 ... imaging device, 32 ... external image generator (outside image generating means), 33 ... communication signal detecting section (the communication signal detecting means), 34 ... signal detection image generation unit (signal detection image generation means ), STEP12,14 ... first reference image generating unit, STEP12,15 ... second reference image generation means.

Claims (5)

  1. カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有し、車両に搭載されたカメラと、 A plurality of color light-receiving pixels for receiving light through the color filters, have a imaging device formed by arranging a plurality of transparent light receiving pixels that receive without passing through the color filter, and a camera mounted on the vehicle,
    該カメラにより撮像された原画像であって、各カラー受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数のカラー画素と各透明受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数の透明画素とを配置してなる原画像から、外界の映像を示すカラー又はモノトーンの外界画像を生成する外界画像生成手段と、 The imaging original image by the camera, tone value tone values ​​corresponding to the received light level corresponding to the received light level of a plurality of color pixels and the transparent light-receiving pixels assigned each of the color light-receiving pixels respectively from an original image formed by arranging a plurality of transparent pixels assigned, and the outside world image generating means for generating an external image of a color or black and white showing the outside world image,
    前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、該検出対象領域での受光成分のうち、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域の受光成分を強調した画像である信号検出用画像を生成する信号検出用画像生成手段と、 The gradation value of the color pixels in the detection target region is a region of part of the original image, based on the tone value of the transparent pixel in the detection target area, among the light receiving component in the detection target region in the image, each of said plurality of color light receiving pixel emphasized the receiving components in a predetermined wavelength region that deviates from the predetermined wavelength range or wavelength range of the entire end side of the wavelength range of the total detectable wavelength region and a signal detection image generation means for generating a certain signal detection image,
    該信号検出用画像から前記所定の波長域に含まれる信号成分を検出する信号検出手段とを備え And a signal detecting means for detecting a signal component contained from the signal detection image in the predetermined wavelength range,
    前記信号検出用画像生成手段は、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域を前記検出対象領域として設定するように構成されていることを特徴とする画像処理装置。 The signal detection image generation means, of the original image, and is configured to running vehicle or area roadside communication equipment is present before a transmission source of the signal component so as to set as the detection target area the image processing apparatus characterized by.
  2. 請求項1記載の画像処理装置において、 The image processing apparatus according to claim 1,
    前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている領域であることを特徴とする画像処理装置。 The front and running vehicle or an area where a roadside communication equipment is present, the image processing apparatus, wherein the is an area where the front running vehicle or a roadside communication equipment in the original image is captured.
  3. 請求項1記載の画像処理装置において、 The image processing apparatus according to claim 1,
    前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている可能性が高い領域であることを特徴とする画像処理装置。 Wherein the front vehicle or an area where a roadside communication equipment is present, the image processing, wherein the potential that is reflected is the leading vehicle or a roadside communication equipment in the original image is a high area apparatus.
  4. 請求項1記載の画像処理装置において、 The image processing apparatus according to claim 1,
    前記所定の波長域は、赤外領域内の波長域であることを特徴とする画像処理装置。 The predetermined wavelength range, an image processing apparatus which is a wavelength region in the infrared region.
  5. 請求項1又は記載の画像処理装置において、 The image processing apparatus according to claim 1 or 4, wherein,
    前記信号検出用画像生成手段は、前記検出対象領域における各画素の階調値を、少なくとも前記検出対象領域に含まれる複数の前記透明画素の階調値に応じて設定してなる第1参照画像を生成する第1参照画像生成手段と、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記カラー画素の階調値に応じて設定してなる第2参照画像を生成する第2参照画像生成手段とを備え、該第1参照画像と第2参照画像との階調値の差の画像を前記信号検出用画像として生成することを特徴とする画像処理装置。 The signal detection image generation means, a gradation value of each pixel in the detection target area, at least the detection of the plurality of the transparent pixel included in the target region first reference image obtained by set according to the tone value a first reference image generating means for generating a tone value of each pixel in the detection target region, set in accordance with the gradation value of a plurality of the color pixels included in at least the detection target region first and a second reference image generating means for generating a second reference picture, picture images of the difference of the gradation values ​​of the first reference picture and a second reference image and generates as the signal detection image processing apparatus.
JP2012048638A 2012-03-05 2012-03-05 Image processing apparatus Active JP5904825B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012048638A JP5904825B2 (en) 2012-03-05 2012-03-05 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012048638A JP5904825B2 (en) 2012-03-05 2012-03-05 Image processing apparatus

Publications (2)

Publication Number Publication Date
JP2013187574A true JP2013187574A (en) 2013-09-19
JP5904825B2 true JP5904825B2 (en) 2016-04-20

Family

ID=49388690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012048638A Active JP5904825B2 (en) 2012-03-05 2012-03-05 Image processing apparatus

Country Status (1)

Country Link
JP (1) JP5904825B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180187A (en) * 2002-11-29 2004-06-24 Hitachi Ltd Spatial division infrared communication system
JP4665422B2 (en) * 2004-04-02 2011-04-06 ソニー株式会社 Imaging device
JP4867448B2 (en) * 2006-04-18 2012-02-01 ソニー株式会社 Physical information acquisition method and physical information acquisition device
JP2008288629A (en) * 2007-05-15 2008-11-27 Sony Corp Image signal processing apparatus, imaging device, image signal processing method, and computer program
JP2009089158A (en) * 2007-10-01 2009-04-23 Panasonic Corp Imaging apparatus
JP2012008845A (en) * 2010-06-25 2012-01-12 Konica Minolta Opto Inc Image processor

Also Published As

Publication number Publication date Type
JP2013187574A (en) 2013-09-19 application

Similar Documents

Publication Publication Date Title
US20120050074A1 (en) Automatic vehicle equipment monitoring, warning, and control system
KR100822053B1 (en) Apparatus and method for taking a picture
US20080143844A1 (en) White balance correction using illuminant estimation
US20080218597A1 (en) Solid-state imaging device and imaging apparatus
US20020163583A1 (en) System and method for capturing color images that extends the dynamic range of an image sensor
US7149613B2 (en) Image processing system to control vehicle headlamps or other vehicle equipment
US20070145273A1 (en) High-sensitivity infrared color camera
JP2000316163A (en) Color image pickup element and device
US20130002911A1 (en) Imaging device and image processing method
US20070047803A1 (en) Image processing device with automatic white balance
JP2003199117A (en) Image pickup device and signal processing method for solid-state imaging element
JP2006026234A (en) Apparatus and system for imaging inside of living body
WO2006022630A1 (en) Panoramic vision system and method
JP2007286943A (en) Signal light detection apparatus
US20140354811A1 (en) Vehicle vision system with enhanced low light capabilities
US7235775B2 (en) Infrared imaging apparatus for processing emissions in infrared and visible spectrum
US8666153B2 (en) Image input apparatus
US20080088826A1 (en) Target detection apparatus
JP2006148690A (en) Imaging device
WO2013070539A1 (en) Vehicle vision system with color correction
US20050134697A1 (en) Imaging device and method of creating image file
US20080024608A1 (en) Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image
JP2005341470A (en) Imaging apparatus and signal processing method
JP2007074070A (en) Vehicle surrounding visual recognition apparatus
US20100066857A1 (en) Methods, systems and apparatuses for white balance calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160315

R150 Certificate of patent or registration of utility model

Ref document number: 5904825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150