JP5338762B2 - White balance coefficient calculation device and program - Google Patents

White balance coefficient calculation device and program Download PDF

Info

Publication number
JP5338762B2
JP5338762B2 JP2010160048A JP2010160048A JP5338762B2 JP 5338762 B2 JP5338762 B2 JP 5338762B2 JP 2010160048 A JP2010160048 A JP 2010160048A JP 2010160048 A JP2010160048 A JP 2010160048A JP 5338762 B2 JP5338762 B2 JP 5338762B2
Authority
JP
Japan
Prior art keywords
area
white balance
representing
region
balance coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010160048A
Other languages
Japanese (ja)
Other versions
JP2012023572A (en
Inventor
文洋 奥村
清澄 城殿
好克 木村
Original Assignee
株式会社豊田中央研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田中央研究所 filed Critical 株式会社豊田中央研究所
Priority to JP2010160048A priority Critical patent/JP5338762B2/en
Publication of JP2012023572A publication Critical patent/JP2012023572A/en
Application granted granted Critical
Publication of JP5338762B2 publication Critical patent/JP5338762B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To enable calculation of a proper white balance coefficient. <P>SOLUTION: An imaging device 12 takes a color image, and a reference article detecting portion 22 detects an area indicating a reference article on the basis of a shape or a structure of a reference article whose light reflection characteristics are obtained in advance, from the taken color image. A reference article assessing portion 24 assessing whether the area indicating the reference article is suitable for an area to be referred when calculating a white balance coefficient or not, on the basis of the intensity distribution of color components of the area indicating the detected reference article. When the area indicating the reference article is assessed to be suitable for the area to be referred, a white balance calculating portion 28 calculates a white balance coefficient of the imaging device 12, on the basis of the light reflection characteristics obtained in advance about the reference article and the intensity distribution of the color components of the area indicating the reference article. <P>COPYRIGHT: (C)2012,JPO&amp;INPIT

Description

本発明は、ホワイトバランス係数算出装置及びプログラムに係り、特に、撮像手段のホワイトバランス係数を算出するホワイトバランス係数算出装置及びプログラムに関する。   The present invention relates to a white balance coefficient calculation apparatus and program, and more particularly to a white balance coefficient calculation apparatus and program for calculating a white balance coefficient of an imaging unit.
従来より、電子カラーカメラに備えた、4方向のフォトダイオードの大きさから、順光・逆光・曇りを判定し、また現在の日付・時刻で夕焼け・朝焼けが発生するかどうかを判定し、判定結果より、「朝焼け順光または夕焼け順光」の時には、赤味除去フィルタを電子カラーカメラの入射端面に装着し、「曇りまたは日中逆光」の時には青味除去フィルタを電子カラーカメラの入射端面に装着するホワイトバランス調整装置が知られている(特許文献1)。   Conventionally, from the size of the photodiodes in the four directions provided in the electronic color camera, it is judged whether there is a sunset, a sunrise, or whether there is sunset / morning from the current date / time. According to the results, a redness removal filter is attached to the entrance end face of the electronic color camera when "sunlight or sunset sunset" is selected, and a blueness removal filter is attached to the entrance end face of the electronic color camera when "cloudy or daylight backlight". There is known a white balance adjusting device to be attached to a camera (Patent Document 1).
また、撮像手段を介して道路のカラー画像を取得し、取得された道路のカラー画像から、色の特徴量が近似する領域を抽出し、抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施す路面標示認識装置が知られている(特許文献2)。   Further, a color image of the road is acquired via the imaging unit, a region where the color feature amount is approximated is extracted from the acquired color image of the road, and the extracted region is extracted for each extracted region. In accordance with the level balance between the color components of the pixel data in the road marking, a road marking that performs white balance processing that corrects each pixel data in the extracted area so as to reduce the level deviation between the color components A recognition device is known (Patent Document 2).
また、白に近いブロックの色評価値に基づいて、ホワイトバランスゲインを算出するホワイトバランス制御装置が知られている(特許文献3)。   Further, a white balance control device that calculates a white balance gain based on a color evaluation value of a block close to white is known (Patent Document 3).
特開2007−329522号公報JP 2007-329522 A 特開2006−338555号公報JP 2006-338555 A 特開2009−164837号公報JP 2009-164837 A
しかしながら、上記の特許文献1に記載の技術では、ホワイトバランスの補正パターンが順光・逆光・曇りなどの数パターンに限定されているため、環境光のスペクトル強度を正しく推定することは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。   However, in the technique described in Patent Document 1, the white balance correction pattern is limited to several patterns such as forward light, backlight, and fogging, and thus it is difficult to correctly estimate the spectrum intensity of ambient light. There is a problem that an appropriate white balance coefficient cannot be calculated.
また、上記の特許文献2に記載の技術では、色の特徴量が近似する領域を抽出して環境光のホワイトバランスを補正しており、色の特徴量が近似しているという条件だけでは、どのような物体を撮像したか正確には分からないため、環境光のスペクトル強度を正しく推定することは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。   Further, in the technique described in Patent Document 2 described above, a region where the color feature amount approximates is extracted to correct the white balance of the ambient light, and only the condition that the color feature amount approximates is obtained. Since it is not known exactly what kind of object was imaged, it is difficult to correctly estimate the spectral intensity of the ambient light, and there is a problem that an appropriate white balance coefficient cannot be calculated.
また、上記の特許文献3に記載の技術では、色信号で白色領域を抽出しているが、環境光によって影響を受ける白色領域を精度良く抽出するのは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。   In the technique described in Patent Document 3, a white region is extracted using a color signal. However, it is difficult to accurately extract a white region affected by ambient light, and an appropriate white balance coefficient is set. There is a problem that it cannot be calculated.
本発明は、上記の問題点を解決するためになされたもので、適切なホワイトバランス係数を算出することができるホワイトバランス係数算出装置及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide a white balance coefficient calculation apparatus and program capable of calculating an appropriate white balance coefficient.
上記の目的を達成するために本発明に係るホワイトバランス係数算出装置は、カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、を含んで構成されている。 In order to achieve the above object, the white balance coefficient calculating apparatus according to the present invention has a shape or structure of a reference object whose light reflection characteristics are obtained in advance from a color image captured by an imaging unit that captures a color image. Based on the reference object detection means for detecting the area representing the reference object, and the intensity distribution variation of the color component in the area representing the reference object detected by the reference object detection means is greater than or equal to a threshold value Whether or not the region representing the reference object is suitable as a region to be referred to when calculating the white balance coefficient, and the region representing the reference object by the evaluation unit is When it is evaluated that it is suitable as the reference region, the light reflection characteristics obtained in advance for the reference object and the reference object are displayed. Based on the intensity distribution of the color components to regions it is configured to include a calculating means for calculating a white balance coefficient of the imaging means.
本発明に係るプログラムは、コンピュータを、カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段として機能させるためのプログラムである。 The program according to the present invention is an area that represents a reference object on the basis of the shape or structure of the reference object for which a light reflection characteristic is obtained in advance from a color image captured by an image capturing unit that captures a color image. Reference object detection means for detecting the reference object, based on whether or not the magnitude of variation in the intensity distribution of the color component in the region representing the reference object detected by the reference object detection means is greater than or equal to a threshold value An evaluation means for evaluating whether or not the area representing the reference object is suitable as a reference area when calculating the white balance coefficient, and the evaluation means evaluates that the area representing the reference object is suitable as the reference area. The light reflection characteristics obtained in advance for the reference object and the intensity component of the color component of the area representing the reference object. Based on the bets, a program to function as a calculating means for calculating a white balance coefficient of the imaging means.
本発明によれば、撮像手段によってカラー画像を撮像し、基準物体検出手段によって、撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、基準物体を表わす領域を検出する。   According to the present invention, a color image is picked up by the image pickup means, and the reference object is extracted from the color image picked up by the reference object detection means on the basis of the shape or structure of the reference object whose light reflection characteristics are obtained in advance. Detect the area to represent.
そして、評価手段によって、基準物体検出手段によって検出された基準物体を表わす領域のカラー成分の強度分布に基づいて、基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する。算出手段によって、評価手段によって基準物体を表わす領域が参照する領域として適していると評価された場合、基準物体について予め求められた光の反射特性と、基準物体を表わす領域のカラー成分の強度分布とに基づいて、撮像手段のホワイトバランス係数を算出する。   Then, based on the intensity distribution of the color component of the region representing the reference object detected by the reference object detection unit by the evaluation unit, the region representing the reference object is suitable as a region to be referred to when calculating the white balance coefficient. Evaluate whether or not. When the calculation means evaluates that the area representing the reference object is suitable as the reference area by the evaluation means, the light reflection characteristic obtained in advance for the reference object and the intensity distribution of the color component of the area representing the reference object Based on the above, the white balance coefficient of the imaging means is calculated.
このように、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像手段のホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる。   In this way, an area representing a reference object detected based on the shape or structure of the reference object, and an area representing a reference object evaluated as being suitable as a reference area when calculating the white balance coefficient By using the white balance coefficient of the image pickup means, an appropriate white balance coefficient can be calculated.
本発明に係る評価手段は、基準物体検出手段によって検出された基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価する。 The evaluation means according to the present invention is suitable as an area to be referred to by the area representing the reference object based on the magnitude of variation in the intensity distribution of the color component of the area representing the reference object detected by the reference object detecting means. assess whether.
また、上記の評価手段は、基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。   Further, the evaluation means described above is the magnitude of variation in the intensity distribution of the color component in the area representing the reference object, and the magnitude of variation in the intensity distribution of the color component in the peripheral area set around the area representing the reference object. Based on the above, it is possible to evaluate whether or not the region representing the reference object is suitable as a region to be referred to.
また、上記の評価手段は、基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布と基準物体を表わす領域のカラー成分の強度分布との間の距離に基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。   The evaluation means represents the intensity distribution of the color component intensity distribution in the area representing the reference object, and the intensity distribution of the color component in the peripheral area set around the area representing the reference object and the reference object. Based on the distance between the intensity distribution of the color components of the area, it can be evaluated whether or not the area representing the reference object is suitable as the area to be referred to.
本発明に係る評価手段は、検出された基準物体を表わす領域の少なくとも一部分と基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された強度分布間の距離に基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。   The evaluation means according to the present invention performs clustering on the intensity distribution of the color component of the setting area for the setting area set including at least a part of the area representing the detected reference object and the area around the area representing the reference object. It is possible to classify by processing, and evaluate whether or not the region representing the reference object is suitable as a region to be referenced based on the distance between the classified intensity distributions.
また、上記の評価手段は、分類された強度分布間の距離、及び分類された強度分布の各々のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。   Further, the evaluation means described above determines whether or not the region representing the reference object is suitable as a reference region based on the distance between the classified intensity distributions and the magnitude of variation of each of the classified intensity distributions. Can be evaluated.
また、上記の評価手段は、分類された強度分布間の距離、及び分類された強度分布の数が予め定められた数であるか否かに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。   In addition, the evaluation means described above is based on the distance between the classified intensity distributions and whether or not the number of the classified intensity distributions is a predetermined number as an area to which the area representing the reference object refers. It can be evaluated whether it is suitable or not.
本発明に係るホワイトバランス係数算出装置は、カラー画像について、輝度に応じて領域分割する領域分割手段を更に含み、基準物体検出手段は、基準物体を表わす領域を複数検出し、算出手段は、領域分割手段によって分割された領域の各々について、該領域内で検出され、かつ、参照する領域として適していると評価された基準物体を表わす領域のカラー成分の強度分布を用いて、ホワイトバランス係数を算出するようにすることができる。   The white balance coefficient calculation apparatus according to the present invention further includes a region dividing unit that divides a color image according to luminance, the reference object detection unit detects a plurality of regions representing the reference object, and the calculation unit includes a region. For each of the areas divided by the dividing means, the white balance coefficient is calculated using the intensity distribution of the color component of the area representing the reference object detected in the area and evaluated as being suitable as the reference area. It can be calculated.
上記の撮像手段は、走路を含む領域を撮像するようにすることができる。   Said imaging means can image the area | region containing a runway.
上記の基準物体を、無彩色の物体とすることができる。   The reference object can be an achromatic object.
上記のホワイトバランス係数算出装置は、撮像手段によって撮像されたカラー画像に含まれる特定の物体を示す画像を認識する認識手段を更に含むようにすることができる。   The white balance coefficient calculation apparatus may further include a recognition unit that recognizes an image indicating a specific object included in the color image captured by the imaging unit.
以上説明したように、本発明のホワイトバランス係数算出装置及びプログラムによれば、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像手段のホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる、という効果が得られる。   As described above, according to the white balance coefficient calculation apparatus and program of the present invention, a region representing a reference object detected based on the shape or structure of the reference object, which is referred to when calculating the white balance coefficient. By calculating the white balance coefficient of the imaging means using the area representing the reference object that is evaluated as being suitable as the area to be used, an effect that the appropriate white balance coefficient can be calculated is obtained.
本発明の第1の実施の形態に係る対象物認識装置の構成を示す概略図である。It is the schematic which shows the structure of the target object recognition apparatus which concerns on the 1st Embodiment of this invention. 撮像画像から白線を検出した結果を示す図である。It is a figure which shows the result of having detected the white line from the captured image. 基準物体の評価領域、及び背景物体の評価領域の例を示す図である。It is a figure which shows the example of the evaluation area | region of a reference | standard object, and the evaluation area | region of a background object. 基準物体の評価領域及び背景物体の評価領域の各々のカラー成分の強度分布を示すグラフである。It is a graph which shows intensity distribution of each color component of an evaluation field of a standard object, and an evaluation field of a background object. 本発明の第1の実施の形態に係る対象物認識装置のコンピュータにおけるホワイトバランス補正処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the white balance correction | amendment processing routine in the computer of the target object recognition apparatus which concerns on the 1st Embodiment of this invention. 評価領域の例を示す図である。It is a figure which shows the example of an evaluation area | region. 評価領域のカラー成分の強度分布を示すグラフである。It is a graph which shows intensity distribution of the color component of an evaluation area. 基準物体としての速度標識を撮像した画像における評価領域の例を示す図である。It is a figure which shows the example of the evaluation area | region in the image which imaged the speed marker as a reference | standard object. 評価領域のカラー成分の強度分布を示すグラフである。It is a graph which shows intensity distribution of the color component of an evaluation area. 本発明の第2の実施の形態に係る対象物認識装置の構成を示す概略図である。It is the schematic which shows the structure of the target object recognition apparatus which concerns on the 2nd Embodiment of this invention. (A)カラー画像の例を示す図、(B)矩形領域を説明するための図、及び(C)領域分割された結果を示す図である。(A) A diagram showing an example of a color image, (B) a diagram for explaining a rectangular area, and (C) a diagram showing a result of area division. (A)複数の基準物体が検出された様子を示す図、(B)領域分割された結果を示す図、及び(C)局所的なホワイトバランスを示すイメージ図である。(A) The figure which shows a mode that the some reference | standard object was detected, (B) The figure which shows the result of area | region division, (C) The image figure which shows local white balance. 本発明の第3の実施の形態に係る対象物認識装置のコンピュータにおけるホワイトバランス補正処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the white balance correction | amendment processing routine in the computer of the target object recognition apparatus which concerns on the 3rd Embodiment of this invention.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像から、認識対象物としての歩行者を示す画像を認識する対象物認識装置に本発明を適用した場合を例に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the case where this invention is applied to the target object recognition apparatus which recognizes the image which shows the pedestrian as a recognition target object from a captured image is demonstrated to an example.
図1に示すように、第1の実施の形態に係る対象物認識装置10は、車両(図示省略)に取り付けられ、かつ、走路を含む車両の前方を撮像してカラー画像(マルチスペクトル画像)を生成する撮像装置12と、撮像装置12から得られるカラー画像から歩行者を示す画像を認識するコンピュータ14と、コンピュータ14の認識結果を表示する表示装置16とを備えている。   As shown in FIG. 1, the object recognition apparatus 10 according to the first embodiment is attached to a vehicle (not shown) and images the front of the vehicle including a running road to obtain a color image (multispectral image). An imaging device 12 that generates a pedestrian, a computer 14 that recognizes an image indicating a pedestrian from a color image obtained from the imaging device 12, and a display device 16 that displays a recognition result of the computer 14.
撮像装置12は、車両の前方を撮像し、カラー画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。   The imaging device 12 images the front of the vehicle and generates an image signal of a color image (not shown), and an A / D conversion unit (not shown) that A / D converts the image signal generated by the imaging unit. ) And an image memory (not shown) for temporarily storing the A / D converted image signal.
また、撮像装置12の撮像部に設定されているホワイトバランス係数は、コンピュータ14からの制御により更新される。   In addition, the white balance coefficient set in the imaging unit of the imaging device 12 is updated by control from the computer 14.
コンピュータ14は、CPUと、RAMと、後述するホワイトバランス補正処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ14は、撮像装置12により撮像されたカラー画像を取得する画像取得部20と、画像取得部20により取得したカラー画像から、光の反射特性が既知の基準物体を表わす領域を検出する基準物体検出部22と、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かの評価を示す評価値を算出する基準物体評価部24と、基準物体の光の反射特性を予め記憶した反射特性記憶部26と、反射特性記憶部26に記憶された反射特性、及び評価値の高い基準物体を表わす領域のカラー成分の強度分布に基づいて、ホワイトバランス係数を算出するホワイトバランス算出部28と、撮像装置12に設定されたホワイトバランス係数を、算出されたホワイトバランス係数に更新するホワイトバランス設定部30とを備えている。   The computer 14 includes a CPU, a RAM, and a ROM that stores a program for executing a white balance correction processing routine to be described later, and is functionally configured as follows. The computer 14 includes an image acquisition unit 20 that acquires a color image captured by the imaging device 12, and a reference object that detects a region representing a reference object with a known light reflection characteristic from the color image acquired by the image acquisition unit 20. A detection unit 22; a reference object evaluation unit 24 for calculating an evaluation value indicating whether or not the detected region representing the reference object is suitable as a reference region for white balance correction; and a light reflection characteristic of the reference object The white balance coefficient is calculated based on the reflection characteristic storage unit 26 that stores in advance, the reflection characteristic stored in the reflection characteristic storage unit 26, and the intensity distribution of the color component in the region representing the reference object having a high evaluation value. A white rose that updates the white balance coefficient set in the balance calculating unit 28 and the imaging device 12 to the calculated white balance coefficient. And a scan setting section 30.
基準物体検出部22は、スペクトル反射特性を手がかりとした物体認識は行わず、物体の形状やパターンなどに基づいて、予め決められた基準物体を表わす領域を検出する。基準物体として白色の路面標示の走路境界線(以下、白線とも称する)を用いる場合を例に、以下の処理手順で基準物体を表わす領域を検出する。   The reference object detection unit 22 does not perform object recognition using the spectral reflection characteristic as a clue, but detects a region representing a predetermined reference object based on the shape or pattern of the object. Using a road boundary line (hereinafter also referred to as a white line) with a white road marking as a reference object, an area representing the reference object is detected by the following processing procedure.
まず、カラー画像からグレースケール画像を生成する。例えば、カラー画像の各カラー成分(RGB)の平均値をとることでグレースケール画像を生成する。なお、生成されたグレースケール画像は、形状やパターンを用いた物体識別に利用するため、入力となるカラー画像のホワイトバランス係数が正確に補正されている必要は無い。   First, a gray scale image is generated from a color image. For example, a gray scale image is generated by taking an average value of each color component (RGB) of the color image. Since the generated gray scale image is used for object identification using a shape or pattern, the white balance coefficient of the input color image does not need to be accurately corrected.
次に、エッジ検出、及びハフ変換による直線あてはめによって、走路の左右に存在する、白色又は黄色の実線、破線、又は複合線を検出する。   Next, a white or yellow solid line, a broken line, or a composite line existing on the left and right sides of the runway is detected by edge detection and straight line fitting by Hough transform.
次に、走路の幅や、検出された線の形状、線の構造から、白色の実線・破線の位置を特定する。さらに、「道路の中央にある複合線は白線・黄線・白線が複合している」等の構造に関する事前知識により、複合線の個別の線も判別する。そして、以上の処理結果に基づいて、図2に示すように、白色の実線・破線を表わす領域を検出する。   Next, the positions of the white solid line and the broken line are specified from the width of the runway, the shape of the detected line, and the line structure. Furthermore, individual lines of the composite line are also determined based on prior knowledge about the structure such as “the composite line in the center of the road is a combination of a white line, a yellow line, and a white line”. Based on the above processing results, a region representing a white solid line / broken line is detected as shown in FIG.
なお、カメラのホワイトバランスがある程度正確に補正できている場合には、色情報を更に用いて、白線を検出するようにしてもよい。これは、スペクトル反射特性からの物体識別では厳密なホワイトバランス補正が必要なのに対して、検出された走路境界線が白線か黄線かを判別することは容易であり、厳密なホワイトバランス補正が必要とならないためである。   If the white balance of the camera can be corrected to some extent accurately, the white line may be detected by further using color information. This is because strict white balance correction is necessary for object identification from spectral reflection characteristics, but it is easy to determine whether the detected road boundary line is a white line or a yellow line, and strict white balance correction is required. It is because it does not become.
なお、基準物体が白色の走路境界線である場合を例に説明したが、これに限定されるものではなく、基準物体が、横断歩道など白色の路面標示や、標識の白色部分などあってもよい。   Although the case where the reference object is a white road boundary line has been described as an example, the present invention is not limited to this, and the reference object may be a white road marking such as a pedestrian crossing or a white portion of a sign. Good.
基準物体評価部24は、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを、以下に説明するように評価する。基準物体評価部24による処理は、汚れやかすれが生じていない基準物体を表わす領域を用いてホワイトバランス補正を精度良く行うために、行われる。   The reference object evaluation unit 24 evaluates whether or not the area representing the detected reference object is suitable as a reference area for white balance correction as described below. The processing by the reference object evaluation unit 24 is performed in order to accurately perform white balance correction using a region representing a reference object in which no dirt or fading has occurred.
まず、図3(A)に示すように、検出された白線などの基準物体を表わす領域の位置を元に、基準物体の評価領域(図3(A)、(B)中に実線で表示された矩形)を設定すると共に、検出された基準物体を表わす領域の周辺に、背景物体の評価領域(図3(A)、(B)中に破線で表示された矩形)を設定する。   First, as shown in FIG. 3A, based on the position of the area representing the reference object such as the detected white line, the evaluation area of the reference object (displayed as a solid line in FIGS. 3A and 3B). And a background object evaluation area (rectangles indicated by broken lines in FIGS. 3A and 3B) are set around the area representing the detected reference object.
そして、図4(A)、(B)に示すように、基準物体の評価領域のカラー成分の強度分布(スペクトル強度分布)を求めると共に、背景物体の評価領域のカラー成分の強度分布を求める。上記図4(A)、(B)において、○と□の点はそれぞれ基準物体と背景物体の評価領域内の画素のカラー成分の強度である。なお、カラー成分の強度は、通常1画素あたり数次元のデータであるが、ここでは説明のため2次元で表現できるとする。   4A and 4B, the intensity distribution (spectral intensity distribution) of the color component in the evaluation area of the reference object is obtained, and the intensity distribution of the color component in the evaluation area of the background object is obtained. In FIGS. 4A and 4B, the points ◯ and □ are the intensity of the color components of the pixels in the evaluation area of the reference object and the background object, respectively. The intensity of the color component is usually several dimensional data per pixel, but here it is assumed that it can be expressed in two dimensions for the sake of explanation.
そして、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び背景物体の評価領域のカラー成分の強度分布のばらつきの大きさを算出する。また、基準物体の評価領域のカラー成分の強度分布と、背景物体の評価領域のカラー成分の強度分布との間の距離を算出する。   Then, the magnitude of variation in the intensity distribution of the color component in the evaluation area of the reference object and the magnitude of variation in the intensity distribution of the color component in the evaluation area of the background object are calculated. Also, the distance between the intensity distribution of the color component in the evaluation area of the reference object and the intensity distribution of the color component in the evaluation area of the background object is calculated.
ここで、基準物体に内接する領域のカラー成分の強度分布のばらつきを考えた場合、図3(A)、図4(A)に示すように、基準物体に汚れやかすれが生じていない場合にはばらつきが小さい。一方、図3(B)、図4(B)に示すように、基準物体に汚れやかすれが生じていない場合にはばらつきが大きい。   Here, when considering variations in the intensity distribution of the color components in the area inscribed in the reference object, as shown in FIGS. 3A and 4A, when the reference object is not soiled or blurred. The variation is small. On the other hand, as shown in FIGS. 3B and 4B, the variation is large when the reference object is not soiled or blurred.
更に、基準物体の近傍(背景)の周辺領域に対しても、汚れやかすれが生じていない場合にはばらつきが小さく、一方、汚れやかすれが生じていない場合にはばらつきが大きい。   Further, the variation in the vicinity of the reference object (background) is small when no dirt or fading has occurred, and on the other hand, when there is no dirt or fading, the variation is large.
また、上記図3(A)に示すような良好な状態の白線の場合では、上記図4(A)に示すように、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離(分離度)が大きくなっている。一方、上記図3(B)に示すような、かすれが生じた白線では、上記図4(B)に示すように、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が小さくなっている。   In the case of a white line in a good state as shown in FIG. 3A, as shown in FIG. 4A, the intensity distribution of the color component in the evaluation area of the reference object and the evaluation area of the background object The distance (separation) between the intensity distribution of the color components is large. On the other hand, as shown in FIG. 3B, in the white line where the blur has occurred, as shown in FIG. 4B, the intensity distribution of the color component of the evaluation area of the reference object and the color of the evaluation area of the background object The distance between the component intensity distributions is small.
なお、カラー成分の強度分布のばらつきの大きさとして、正規分布を当てはめた場合の標準偏差などを算出すればよく、また、カラー成分の強度分布間の距離(分離度)として、クラス間分散などを算出すればよい。   In addition, it is only necessary to calculate the standard deviation when the normal distribution is applied as the magnitude of the variation in the intensity distribution of the color component, and the distance between the intensity distributions of the color component (separation degree) is the variance between classes. May be calculated.
そこで、基準物体評価部24は、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて、評価値を算出する。基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、かつ、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であれば、高い評価値が算出される。   Therefore, the reference object evaluation unit 24 determines whether the intensity distribution variation of the color component in the evaluation area of the reference object is greater than or equal to a threshold value, and the intensity distribution variation of the color component in the evaluation area of the background object. Is greater than or equal to a threshold, and whether or not the distance between the intensity distribution of the color component in the evaluation area of the reference object and the intensity distribution of the color component in the evaluation area of the background object is greater than or equal to the threshold, An evaluation value is calculated. The intensity distribution variation of the color component in the evaluation area of the reference object is less than the threshold, the intensity distribution variation of the color component in the evaluation area of the background object is less than the threshold, and the evaluation of the reference object If the distance between the intensity distribution of the color component in the area and the intensity distribution of the color component in the evaluation area of the background object is greater than or equal to the threshold value, a high evaluation value is calculated.
反射特性記憶部26には、白線などの基準物体について予め求められた光の反射特性(スペクトル反射特性)が記憶されている。   The reflection characteristic storage unit 26 stores light reflection characteristics (spectral reflection characteristics) obtained in advance for a reference object such as a white line.
ホワイトバランス算出部28は、反射特性記憶部26に記憶されている基準物体の光の反射特性と、カラー画像から検出された基準物体を表わす領域のカラー成分の強度分布とに基づいて、新たなホワイトバランス係数を算出する。なお、ホワイトバランス係数の算出方法としては、従来既知の手法を用いればよいため、詳細な説明を省略する。   The white balance calculation unit 28 creates a new based on the light reflection characteristic of the reference object stored in the reflection characteristic storage unit 26 and the intensity distribution of the color component of the region representing the reference object detected from the color image. Calculate the white balance coefficient. As a method for calculating the white balance coefficient, a conventionally known method may be used, and detailed description thereof is omitted.
ホワイトバランス設定部30は、撮像装置12に設定されているホワイトバランス係数を、算出された新たなホワイトバランス係数に更新するように設定する。   The white balance setting unit 30 sets the white balance coefficient set in the imaging device 12 to be updated to the calculated new white balance coefficient.
また、コンピュータ14は、更に、画像取得部20によって取得された、認識対象のカラー画像に含まれる特定の物体(例えば、歩行者)を示す画像を認識する特定物体認識部32を備える。   The computer 14 further includes a specific object recognition unit 32 that recognizes an image indicating a specific object (for example, a pedestrian) included in the color image to be recognized, which is acquired by the image acquisition unit 20.
特定物体認識部32は、認識対象のカラー画像から、所定領域のウインドウ画像を抽出し、抽出されたウインドウ画像の画像特徴量(例えば、カラー成分の強度分布におけるカラー成分毎の強度の差又は比)と予め記憶された識別モデルとを比較することにより、ウインドウ画像が特定の物体か否かを認識し、認識結果をカラー画像に重畳して表示するように表示装置16を制御する。   The specific object recognition unit 32 extracts a window image of a predetermined region from the color image to be recognized, and an image feature amount of the extracted window image (for example, an intensity difference or ratio for each color component in the intensity distribution of the color component). ) And the previously stored identification model, it is recognized whether or not the window image is a specific object, and the display device 16 is controlled to display the recognition result superimposed on the color image.
ウインドウ画像を抽出する際には、カラー画像から予め定められたサイズのウインドウを1ステップにつき、予め定められた移動量だけ移動させながら画像を切り取る。ウインドウサイズは様々なサイズの物体を認識するために複数種設定されている。   When extracting a window image, a window having a predetermined size is cut from the color image while moving by a predetermined movement amount per step. A plurality of window sizes are set to recognize objects of various sizes.
ウインドウ画像が特定の物体を示す画像であるか否かを認識する際には、例えば、SVM(Support Vector Machine)やHOG(Histogram of Oriented Gradient)等の手法を用いればよい。   When recognizing whether the window image is an image indicating a specific object, for example, a method such as SVM (Support Vector Machine) or HOG (Histogram of Oriented Gradient) may be used.
識別モデルとしては、認識の手法に応じて予め学習により生成されたモデルが記憶されている。   As the identification model, a model generated by learning in advance according to the recognition method is stored.
なお、上記では、識別モデルを用いた認識手法によって、画像認識を行う場合を例に説明したが、これに限定されるものではなく、例えば、認識対象のカラー画像の画素毎に、色成分毎の強度の差や比を算出し、算出された結果に対して閾値判定を行い、画素がどのような物体か認識するようにしてもよい。   In the above description, the case where image recognition is performed by a recognition method using an identification model has been described as an example. However, the present invention is not limited to this. For example, for each pixel of a color image to be recognized, for each color component It is also possible to calculate the difference or ratio of the intensity and perform threshold determination on the calculated result to recognize what kind of object the pixel is.
次に、本実施の形態に係る対象物認識装置10の作用について説明する。   Next, the operation of the object recognition device 10 according to the present embodiment will be described.
対象物認識装置10を搭載した車両の走行中に、所定時間毎に、撮像装置12によって車両の前方の所定領域が撮像され、コンピュータ14において、図5に示すホワイトバランス補正処理ルーチンが実行される。   While the vehicle on which the object recognition device 10 is mounted is traveling, a predetermined area in front of the vehicle is imaged by the imaging device 12 every predetermined time, and the computer 14 executes a white balance correction processing routine shown in FIG. .
まず、ステップ100において、撮像装置12からカラー画像を取得し、ステップ102において、上記ステップ100で取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を検出する。   First, in step 100, a color image is acquired from the imaging device 12, and in step 102, a grayscale image is generated from the color image acquired in step 100, and a region representing a reference object is detected from the grayscale image. .
そして、ステップ104では、上記ステップ102で検出された基準物体を表わす領域内から基準物体の評価領域を設定すると共に、基準物体を表わす領域の周辺から、背景物体の評価領域を設定する。   In step 104, an evaluation area for the reference object is set from the area representing the reference object detected in step 102, and an evaluation area for the background object is set from the periphery of the area representing the reference object.
次のステップ106において、上記ステップ104で設定された基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との距離に基づいて、上記ステップ102で検出された基準物体を表わす領域について、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。   In the next step 106, the magnitude of variation in the intensity distribution of the color component in the evaluation area of the reference object set in step 104, the magnitude of variation in the intensity distribution of the color component in the evaluation area of the background object, and the reference object Based on the distance between the intensity distribution of the color component in the evaluation area and the intensity distribution of the color component in the evaluation area of the background object, the area representing the reference object detected in step 102 is suitable as a reference area for white balance correction. An evaluation value indicating whether or not the
そして、ステップ108において、上記ステップ106で算出された評価値が閾値以上であるか否かを判定し、評価値が閾値未満である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していないと判断し、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。   In step 108, it is determined whether or not the evaluation value calculated in step 106 is equal to or greater than a threshold value. If the evaluation value is less than the threshold value, the area representing the detected reference object is white balance. The white balance correction processing routine is terminated without determining that the reference area is not suitable for correction and performing white balance correction.
一方、上記ステップ108で、評価値が閾値以上である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していると判断し、ステップ110で、反射特性記憶部26から、基準物体の光の反射特性を読み込む。そして、ステップ112において、上記ステップ102で検出された基準物体を表わす領域から、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、上記ステップ110で読み込んだ基準物体の光の反射特性とに基づいて、ホワイトバランス係数を算出する。   On the other hand, if the evaluation value is equal to or greater than the threshold value in step 108, it is determined that the area representing the detected standard object is suitable as a reference area for white balance correction. In step 110, the reflection characteristic storage unit 26, the light reflection characteristic of the reference object is read. In step 112, the intensity distribution of the color component is calculated from the area representing the reference object detected in step 102, and the intensity distribution of the color component in the area representing the calculated reference object is read in step 110. The white balance coefficient is calculated based on the light reflection characteristics of the reference object.
そして、ステップ114において、撮像装置12に設定されているホワイトバランス係数を、上記ステップ112で算出したホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。   In step 114, the white balance coefficient set in the imaging device 12 is set to be updated to the white balance coefficient calculated in step 112, and the white balance correction processing routine is terminated.
また、対象物認識装置10を搭載した車両の走行中に、上述したようにホワイトバランス係数が更新された撮像装置12によって、カラー画像が撮像されると、コンピュータ14によって、カラー画像から、予め求められた識別モデル及びSVM識別器を用いて、歩行者を示す画像を認識する。そして、認識結果が表示装置16に表示される。   Further, when a color image is captured by the imaging device 12 whose white balance coefficient has been updated as described above while the vehicle on which the object recognition device 10 is mounted, the computer 14 obtains the color image from the color image in advance. An image showing a pedestrian is recognized using the identified model and the SVM classifier. Then, the recognition result is displayed on the display device 16.
以上説明したように、第1の実施の形態に係る対象物認識装置によれば、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像装置に設定する新たなホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる。   As described above, according to the object recognition apparatus according to the first embodiment, when calculating a white balance coefficient, which is a region representing a reference object detected based on the shape or structure of the reference object. An appropriate white balance coefficient can be calculated by calculating a new white balance coefficient to be set in the imaging apparatus using an area representing a reference object evaluated as being suitable as an area to be referred to.
カラー画像のカラー成分のスペクトル特性に基づいた物体認識において、物体を照明する環境光のスペクトル強度は重要な情報である。しかし、環境光は、太陽や光源からの直接光のみならず、周囲の物体で反射された間接光が混合された状態になっているため、環境光のスペクトル強度を知ることは困難である。一般的に、環境光のスペクトル強度はスペクトル反射特性が既知な参照物体を撮影することで推定される。そこで、走行環境に多く存在し、画像から検出しやすい路面標示などを基準物体として、環境光のスペクトル強度を推定する。撮影されたスペクトル強度とあらかじめ既知な基準物体のスペクトル反射特性から、環境光のスペクトル強度を推定することができ、ホワイトバランス補正が可能となる。このとき、本実施の形態では、基準物体の汚れやかすれ具合を評価することで、汚れなどがある基準物体による誤ったホワイトバランス補正を抑制することができる。   In object recognition based on spectral characteristics of color components of a color image, the spectral intensity of ambient light that illuminates the object is important information. However, since ambient light is in a state where not only direct light from the sun or light source but also indirect light reflected by surrounding objects is mixed, it is difficult to know the spectral intensity of ambient light. In general, the spectral intensity of ambient light is estimated by photographing a reference object having a known spectral reflection characteristic. Therefore, the spectral intensity of the ambient light is estimated using a road marking that is present in a large amount in the driving environment and is easy to detect from the image as a reference object. The spectral intensity of the ambient light can be estimated from the captured spectral intensity and the spectral reflection characteristics of a known reference object in advance, and white balance correction can be performed. At this time, in the present embodiment, it is possible to suppress erroneous white balance correction caused by a reference object having dirt or the like by evaluating the dirt or faintness of the reference object.
また、カラー画像からの物体認識において、環境光のスペクトル強度が未知の場合には安定した物体認識を実現することができない。本実施の形態では、環境中に存在する物体のうち光の反射特性が既知で、かつ汚れやかすれなどが軽微な基準物体を表わす領域を用いて、ホワイトバランス補正を行うことで、様々な環境光の下でも安定した物体認識が実現できる。   Further, in object recognition from a color image, stable object recognition cannot be realized if the spectral intensity of ambient light is unknown. In the present embodiment, various environments can be obtained by performing white balance correction using a region representing a reference object having a known light reflection characteristic and being lightly soiled or blurred among objects existing in the environment. Stable object recognition can be realized even under light.
なお、上記の実施の形態では、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて、ホワイトバランス補正の参照領域として適しているか否かを評価する場合を例に説明したが、これに限定されるものではない。例えば、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否かに基づいて評価してもよく、また、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否かに基づいて評価してもよい。また、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて評価してもよい。   In the above embodiment, whether or not the intensity distribution variation of the color component in the evaluation area of the reference object is equal to or larger than the threshold value, or the intensity distribution variation of the color component in the evaluation area of the background object. Is greater than or equal to a threshold, and whether or not the distance between the intensity distribution of the color component in the evaluation area of the reference object and the intensity distribution of the color component in the evaluation area of the background object is greater than or equal to the threshold, Although the case where it is evaluated whether or not it is suitable as a reference area for white balance correction has been described as an example, the present invention is not limited to this. For example, the evaluation may be performed based on whether or not the magnitude distribution variation of the color component in the evaluation area of the reference object is equal to or greater than a threshold value, or the intensity distribution variation of the color component in the evaluation area of the reference object. Evaluation may be performed based on whether or not the size of the color component is greater than or equal to a threshold and whether or not the magnitude of variation in the intensity distribution of the color component in the evaluation region of the background object is greater than or equal to the threshold. In addition, whether or not the magnitude of variation in the intensity distribution of the color component in the evaluation area of the reference object is equal to or greater than a threshold, the intensity distribution of the color component in the evaluation area of the reference object and the intensity of the color component in the evaluation area of the background object You may evaluate based on whether the distance between distribution is more than a threshold value.
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る対象物認識装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。   Next, a second embodiment will be described. In addition, since the structure of the target object recognition apparatus which concerns on 2nd Embodiment is the same as that of 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第2の実施の形態では、基準物体を表わす領域と周辺の領域とを含む領域を、評価領域として設定し、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを評価している点が、第1の実施の形態と異なっている。   In the second embodiment, an area including an area representing a reference object and a peripheral area is set as an evaluation area, and whether or not the detected area representing the reference object is suitable as a reference area for white balance correction. This point is different from the first embodiment.
第2の実施の形態に係る対象物認識装置では、基準物体評価部24によって、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを、以下に説明するように評価する。   In the target object recognition device according to the second embodiment, whether or not the region representing the reference object detected by the reference object evaluation unit 24 is suitable as a reference region for white balance correction will be described below. To evaluate.
まず、図6(A)、(B)に示すように、検出された基準物体としての白線を表わす領域の位置を元に、基準物体を表わす領域の少なくとも一部分と、検出された基準物体を表わす領域の周辺の背景物体の領域と含む領域を、評価領域(図6(A)、(B)中に実線で表示された矩形)として設定する。   First, as shown in FIGS. 6A and 6B, based on the position of the area representing the white line as the detected reference object, at least a part of the area representing the reference object and the detected reference object are represented. The area including the area of the background object around the area is set as an evaluation area (a rectangle displayed with a solid line in FIGS. 6A and 6B).
そして、図7(A)、(B)に示すように、評価領域のカラー成分の強度分布(スペクトル強度分布)を求める。   Then, as shown in FIGS. 7A and 7B, the intensity distribution (spectral intensity distribution) of the color component in the evaluation region is obtained.
そして、評価領域のカラー成分の強度分布に対してクラスタリング処理を行い、カラー成分の強度分布を分類する。次に、分類されたカラー成分の強度分布の各々について、ばらつきの大きさを算出すると共に、分類されたカラー成分の強度分布間の距離を算出する。   Then, clustering processing is performed on the intensity distribution of the color component in the evaluation region, and the intensity distribution of the color component is classified. Next, the magnitude of variation is calculated for each of the classified color component intensity distributions, and the distance between the classified color component intensity distributions is calculated.
ここで、上記図6(A)に示すように、基準物体としての白線に汚れやかすれが生じていない場合には、上記図7(A)に示すように、カラー成分の強度分布は、クラスタリングを行った際にクラス数が2となり、かつクラス内分散が小さく、クラス間分散(クラス間の距離)が大きくなる。   Here, as shown in FIG. 6A, when the white line as the reference object is not soiled or blurred, the intensity distribution of the color component is clustered as shown in FIG. 7A. , The number of classes is 2, the intra-class variance is small, and the inter-class variance (distance between classes) is large.
一方、上記図6(B)に示すような、かすれが生じた白線(基準物体)では、上記図7(B)に示すように、2クラスの分離が困難であり、仮に分離できた場合であってもクラス内分散が大きく、クラス間分散(クラス間の距離)が小さくなる。これは、かすれなどが生じた物体を撮影した場合には、基準物体と背景物体の中間のスペクトル強度が得られてしまうためである。   On the other hand, as shown in FIG. 6B, the white line (reference object) in which the blur has occurred is difficult to separate into two classes as shown in FIG. 7B. Even within this, the intra-class variance is large, and the inter-class variance (distance between classes) is small. This is because when an object with fading or the like is photographed, a spectrum intensity intermediate between the reference object and the background object is obtained.
そこで、基準物体評価部24では、評価領域について分類されたカラー成分の強度分布の数が2つであるか、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価値を算出する。分類されたカラー成分の強度分布の数が2つであり、分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値未満であり、かつ、分類されたカラー成分の強度分布間の距離が閾値以上であれば、高い評価値が算出される。   Therefore, in the reference object evaluation unit 24, the number of intensity distributions of the color components classified for the evaluation region is two, or the magnitude of each variation of the intensity distribution of the color components classified for the evaluation region is equal to or greater than a threshold value. And an evaluation value is calculated based on whether or not the distance between the intensity distributions of the classified color components is equal to or greater than a threshold value. The number of intensity distributions of the classified color components is two, the magnitude of each variation of the intensity distribution of the classified color components is less than a threshold, and the distance between the intensity distributions of the classified color components If is greater than or equal to the threshold value, a high evaluation value is calculated.
第2の実施の形態に係るホワイトバランス補正処理ルーチンでは、まず、撮像装置12からカラー画像を取得し、取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を検出する。   In the white balance correction processing routine according to the second embodiment, first, a color image is acquired from the imaging device 12, a grayscale image is generated from the acquired color image, and a region representing a reference object is generated from the grayscale image. Is detected.
そして、検出された基準物体を表わす領域の一部分と、周辺の領域とを含む評価領域を設定する。次に、設定された評価領域のカラー成分の強度分布についてクラスタリング処理を行い、分類されたクラス数、各クラスのばらつきの大きさ、及びクラス間の距離に基づいて、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。   Then, an evaluation area including a part of the area representing the detected reference object and the surrounding area is set. Next, clustering processing is performed on the intensity distribution of the color components in the set evaluation region, and the white balance correction reference region is determined based on the number of classified classes, the magnitude of variation in each class, and the distance between classes. An evaluation value indicating whether or not it is suitable is calculated.
そして、算出された評価値が閾値以上であるか否かを判定し、評価値が閾値未満である場合には、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。一方、評価値が閾値以上である場合には、反射特性記憶部26から、基準物体の光の反射特性を読み込む。そして、検出された基準物体を表わす領域から、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、読み込んだ基準物体の光の反射特性とに基づいて、ホワイトバランス係数を算出する。   Then, it is determined whether or not the calculated evaluation value is greater than or equal to the threshold value. If the evaluation value is less than the threshold value, the white balance correction processing routine is terminated without performing white balance correction. On the other hand, when the evaluation value is equal to or greater than the threshold value, the reflection characteristic of the light of the reference object is read from the reflection characteristic storage unit 26. Then, an intensity distribution of the color component is calculated from the detected area representing the reference object, and based on the calculated intensity distribution of the color component in the area representing the reference object and the light reflection characteristic of the read reference object. The white balance coefficient is calculated.
そして、撮像装置12に設定されているホワイトバランス係数を、算出したホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。   Then, the white balance coefficient set in the imaging device 12 is set to be updated to the calculated white balance coefficient, and the white balance correction processing routine is ended.
このように、評価領域のカラー成分の強度分布についてクラスタリングを行い、クラス数、クラス内分散、及びクラス間分散に基づいて、基準物体の汚れやかすれ具合を評価することで、汚れなどがある基準物体による誤ったホワイトバランス補正を抑制することができる。   In this way, clustering is performed on the intensity distribution of the color components in the evaluation area, and by evaluating the dirt and faintness of the reference object based on the number of classes, intra-class variance, and inter-class variance, a standard with dirt, etc. Incorrect white balance correction by an object can be suppressed.
なお、上記の実施の形態では、基準物体を表わす領域が、ホワイトバランス補正に適している場合、評価領域のカラー成分の強度分布に対してクラスタリングを行った結果、クラスタ数が2つになる場合を例に説明したが、これに限定されるものではなく、評価領域内の物体の種類が既知であれば、クラスタリングする際のクラスタ数は3つ以上であってもよい。例えば、図8に示すように、基準物体として速度標識を選んだ場合には、速度標識が、赤色の外周円、青色の文字、白色の地の3つの領域から構成されているため、図9に示すように、クラスタリングを行った際のクラスタ数は3つ以上となり、かつクラス内分散が小さく、クラス間分散が大きくなっていれば、ホワイトバランス補正に適していると評価される。さらに、基準物体が標識である場合には、青色、白色、赤色部分の面積比がおよそ決まっているため、領域の面積比を用いて、算出されたクラス内分散を正規化するようにしてもよい。   In the above-described embodiment, when the region representing the reference object is suitable for white balance correction, the number of clusters is two as a result of clustering the intensity distribution of the color component in the evaluation region. However, the present invention is not limited to this, and the number of clusters for clustering may be three or more as long as the types of objects in the evaluation region are known. For example, as shown in FIG. 8, when a speed sign is selected as the reference object, the speed sign is composed of three regions of a red outer circle, a blue character, and a white ground. As shown in FIG. 5, if the number of clusters when clustering is performed is three or more, the intra-class variance is small, and the inter-class variance is large, it is evaluated that it is suitable for white balance correction. Furthermore, when the reference object is a sign, the area ratio of the blue, white, and red portions is approximately determined, so the calculated intra-class variance may be normalized using the area ratio of the region. Good.
また、評価領域について分類されたカラー成分の強度分布の数が所定数であるか、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、ホワイトバランス補正の参照領域として適しているか否かを評価する場合を例に説明したが、これに限定されるものではない。例えば、分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよく、又は、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよい。あるいは、評価領域について分類されたカラー成分の強度分布の数が所定数であるか、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよい。   In addition, the number of intensity distributions of the color components classified for the evaluation region is a predetermined number, whether the magnitude of variation of each of the intensity distributions of the color components classified for the evaluation region is greater than or equal to a threshold, and Although an example has been described in which it is evaluated whether it is suitable as a reference area for white balance correction based on whether the distance between the intensity distributions of the classified color components is equal to or greater than a threshold value, the present invention is not limited thereto. It is not something. For example, the evaluation may be performed based on whether or not the distance between the intensity distributions of the classified color components is greater than or equal to a threshold value, or the magnitude of variation in each of the intensity distributions of the color components classified for the evaluation region is large. Evaluation may be performed based on whether or not the distance is greater than or equal to a threshold and whether or not the distance between the intensity distributions of the classified color components is greater than or equal to the threshold. Alternatively, the evaluation may be performed based on whether the number of intensity distributions of the color components classified for the evaluation region is a predetermined number and whether the distance between the intensity distributions of the classified color components is equal to or greater than a threshold value. Good.
次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。   Next, a third embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第3の実施の形態では、撮像された画像を領域分割し、分割された領域毎に、ホワイトバランス係数を算出している点が、第1の実施の形態と異なっている。   The third embodiment is different from the first embodiment in that a captured image is divided into regions and a white balance coefficient is calculated for each divided region.
図10に示すように、第3の実施の形態に係る対象物認識装置310の撮像装置12は、撮像する画像の局所領域毎に、異なるホワイトバランス係数を設定できるように構成されている。   As shown in FIG. 10, the imaging device 12 of the target object recognition device 310 according to the third embodiment is configured so that a different white balance coefficient can be set for each local region of an image to be captured.
コンピュータ314は、画像取得部20と、画像取得部20により取得したカラー画像から、基準物体を表わす領域を1つ又は複数検出する基準物体検出部322と、検出された基準物体を表わす領域の各々が、ホワイトバランス補正の参照領域として適しているか否かの評価を示す評価値を各々算出する基準物体評価部324と、画像取得部20により取得したカラー画像を、輝度に応じて領域分割する領域分割部325と、反射特性記憶部26と、反射特性記憶部26に記憶された反射特性、及び評価値の高い基準物体を表わす領域に基づいて、分割された領域毎に、ホワイトバランス係数を算出するホワイトバランス算出部328と、撮像装置12に設定されたホワイトバランス係数を、分割された領域毎に算出されたホワイトバランス係数に更新するホワイトバランス設定部330と、特定物体認識部32とを備えている。   The computer 314 includes an image acquisition unit 20, a reference object detection unit 322 that detects one or more regions representing a reference object from the color image acquired by the image acquisition unit 20, and each of the regions that represent the detected reference object. Is a reference object evaluation unit 324 that calculates an evaluation value indicating whether or not it is suitable as a reference region for white balance correction, and a region in which the color image acquired by the image acquisition unit 20 is divided into regions according to luminance Based on the division unit 325, the reflection characteristic storage unit 26, the reflection characteristic stored in the reflection characteristic storage unit 26, and the area representing the reference object having a high evaluation value, a white balance coefficient is calculated for each divided area. The white balance calculation unit 328 and the white balance coefficient set for the imaging device 12 are calculated for each divided area. A white balance setting section 330 for updating the coefficients, and a specific object recognition unit 32.
基準物体検出部322は、画像取得部20により取得したカラー画像が、複数の基準物体を表している場合には、上記の第1の実施の形態と同様の方法により、基準物体を表わす領域を複数検出する。   In the case where the color image acquired by the image acquisition unit 20 represents a plurality of reference objects, the reference object detection unit 322 uses the same method as that in the first embodiment to select an area representing the reference object. Detect multiple.
基準物体評価部324は、基準物体検出部322によって基準物体を表わす領域が複数検出された場合、基準物体を表わす領域の各々について、上記の第1の実施の形態と同様の方法により、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。   When a plurality of regions representing the reference object are detected by the reference object detection unit 322, the reference object evaluation unit 324 performs white balance for each of the regions representing the reference object by the same method as in the first embodiment. An evaluation value indicating whether it is suitable as a reference area for correction is calculated.
領域分割部325は、カラー画像を複数の領域に分割する。領域分割は、シーン中で照明条件が似ている部分を決定するために行う。図11(A)〜(C)に領域分割の結果例を示す。例えば、図11(A)に示すようなカラー画像を、図11(B)に示すように、複数の矩形領域に分割し、それぞれの矩形領域内の画素の平均輝度を求め、平均輝度が閾値以上となる矩形領域と閾値未満となる矩形領域とに分ける。分割する矩形領域の大きさを小さくしながら、上記の処理を繰り返し行うことで、領域が分割され、図11(C)に示すような領域分割結果を得ることができる。図11(C)において、白色で示された部分は日向の領域であり、黒色で示された部分は日陰の領域である。なお、領域分割は、局所領域の平均明るさやテクスチャの具合などを更に考慮して行うようにしてもよい。   The area dividing unit 325 divides the color image into a plurality of areas. The area division is performed to determine a part with similar lighting conditions in the scene. FIGS. 11A to 11C show examples of region division results. For example, a color image as shown in FIG. 11A is divided into a plurality of rectangular areas as shown in FIG. 11B, and the average luminance of the pixels in each rectangular area is obtained. The rectangular area is divided into a rectangular area that is the above and a rectangular area that is less than the threshold value. By repeatedly performing the above processing while reducing the size of the rectangular area to be divided, the area is divided, and an area division result as shown in FIG. 11C can be obtained. In FIG. 11C, the portion shown in white is a sunny region, and the portion shown in black is a shaded region. Note that the region division may be performed in consideration of the average brightness of the local region, the condition of the texture, and the like.
また、領域分割部325は、図12(B)に示すように、カラー画像を複数の領域に分割することができ、かつ基準物体評価部24によって、図12(A)に示すように、複数の基準物体の領域が、ホワイトバランス補正の参照領域として適していると評価された場合には、評価された基準物体の領域と、分割された領域との対応関係を決定する。対応関係は、分割された領域内に含まれる、高い評価値を持つ基準物体の領域を、当該分割された領域に対応付けるように決定される。また、分割された領域内に、高い評価値を持つ複数の基準物体の領域が含まれる場合には、何れか1つの基準物体の領域を、当該分割された領域に対応付ければよい。   Further, the area dividing unit 325 can divide the color image into a plurality of areas as shown in FIG. 12B, and the reference object evaluating unit 24 uses the plurality of areas as shown in FIG. When it is evaluated that the standard object region is suitable as a reference region for white balance correction, the correspondence relationship between the evaluated standard object region and the divided regions is determined. The correspondence relationship is determined so that the area of the reference object having a high evaluation value included in the divided area is associated with the divided area. Further, when a plurality of reference object areas having high evaluation values are included in the divided area, any one reference object area may be associated with the divided area.
ホワイトバランス算出部28は、図12(C)に示すように、分割された領域毎に、対応付けられた、高い評価値を持つ基準物体の領域を用いて、上記の第1の実施の形態と同様の方法により、局所的なホワイトバランス係数を算出する。   As shown in FIG. 12C, the white balance calculation unit 28 uses the reference object region having a high evaluation value, which is associated with each divided region, as described in the first embodiment. The local white balance coefficient is calculated by the same method as described above.
なお、算出された局所的なホワイトバランス係数を、ぼかし処理などによって、ホワイトバランス係数が不連続となる部分が発生しないように補正してもよい。   The calculated local white balance coefficient may be corrected by blurring processing or the like so that a portion where the white balance coefficient is discontinuous does not occur.
ホワイトバランス設定部30は、撮像装置12に設定されているホワイトバランス係数を、算出された局所領域毎のホワイトバランス係数に更新するように設定する。   The white balance setting unit 30 sets the white balance coefficient set in the imaging device 12 to be updated to the calculated white balance coefficient for each local region.
次に、第3の実施の形態に係るホワイトバランス補正処理ルーチンについて図13を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。   Next, a white balance correction processing routine according to the third embodiment will be described with reference to FIG. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
まず、ステップ100において、撮像装置12からカラー画像を取得し、ステップ350において、上記ステップ100で取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を1つ又は複数検出する。   First, in step 100, a color image is acquired from the imaging device 12, and in step 350, a grayscale image is generated from the color image acquired in step 100, and one region representing a reference object is generated from the grayscale image. Or multiple detections.
そして、ステップ352では、上記ステップ350で検出された基準物体を表わす領域の各々について、基準物体の評価領域を設定すると共に、背景物体の評価領域を設定する。   In step 352, for each of the areas representing the reference object detected in step 350, an evaluation area for the reference object is set and an evaluation area for the background object is set.
次のステップ354において、検出された基準物体を表わす領域の各々について、上記ステップ352で設定された基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との距離に基づいて、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を各々算出する。   In the next step 354, for each of the regions representing the detected reference object, the magnitude of the variation in the intensity distribution of the color component of the evaluation region of the reference object set in step 352, the color component of the evaluation region of the background object Is suitable as a reference area for white balance correction based on the magnitude of variation in intensity distribution and the distance between the intensity distribution of the color component in the evaluation area of the reference object and the intensity distribution of the color component in the evaluation area of the background object An evaluation value indicating whether or not is calculated.
そして、ステップ356において、上記ステップ100で取得したカラー画像を、輝度に応じて領域分割する。また、分割された領域毎に、評価値が閾値以上となる基準物体の領域を対応付ける。   In step 356, the color image acquired in step 100 is divided into regions according to the luminance. In addition, a reference object region having an evaluation value equal to or greater than a threshold is associated with each divided region.
次のステップ358では、上記ステップ356における対応付けの結果に基づいて、複数の領域に分割され、かつ、各分割領域内に、閾値以上の評価値を持つ基準物体が存在するか否かを判定する。複数の領域に分割され、各分割領域内に、閾値以上の評価値を持つ基準物体が存在する場合には、ステップ110で、反射特性記憶部26から、基準物体の光の反射特性を読み込む。そして、ステップ360において、上記ステップ350で検出され、かつ、閾値以上の評価値を持つ基準物体を表わす領域の各々について、カラー成分の強度分布を算出し、分割された領域毎に、対応付けられた基準物体を表わす領域のカラー成分の強度分布と、上記ステップ110で読み込んだ基準物体の光の反射特性とに基づいて、局所的なホワイトバランス係数を各々算出して、ステップ366へ移行する。   In the next step 358, it is determined whether or not there is a reference object that is divided into a plurality of regions and has an evaluation value equal to or greater than a threshold value in each divided region based on the result of the association in step 356. To do. When there is a reference object that is divided into a plurality of regions and has an evaluation value equal to or greater than the threshold value in each divided region, the reflection characteristic of the reference object is read from the reflection characteristic storage unit 26 in step 110. In step 360, the color component intensity distribution is calculated for each of the regions representing the reference object detected in step 350 and having an evaluation value equal to or greater than the threshold value, and is associated with each divided region. Based on the intensity distribution of the color component in the area representing the reference object and the light reflection characteristics of the reference object read in step 110, local white balance coefficients are calculated, and the process proceeds to step 366.
一方、上記ステップ358において、複数の領域に分割されなかった場合、または、何れかの分割領域内に、閾値以上の評価値を持つ基準物体が存在しなかった場合には、ステップ362へ移行し、検出された少なくとも1つの基準物体の評価値が閾値以上であるか否かを判定する。検出された何れの基準物体についても、評価値が閾値未満である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していないと判断し、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。   On the other hand, if it is not divided into a plurality of areas in the above step 358, or if there is no reference object having an evaluation value equal to or greater than the threshold value in any of the divided areas, the process proceeds to step 362. Then, it is determined whether or not the detected evaluation value of at least one reference object is equal to or greater than a threshold value. For any detected reference object, if the evaluation value is less than the threshold value, it is determined that the area representing the detected reference object is not suitable as a reference area for white balance correction, and white balance correction is performed. The white balance correction processing routine is terminated.
一方、上記ステップ362において、少なくとも1つの基準物体の評価値が閾値以上である場合には、ステップ110で、反射特性記憶部26から、基準物体の光の反射特性を読み込む。そして、ステップ364において、検出された基準物体を表わす領域のうち、最も評価値の高い基準物体を表わす領域について、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、上記ステップ110で読み込んだ基準物体の光の反射特性とに基づいて、画像全体に対するホワイトバランス係数を算出する。   On the other hand, if the evaluation value of at least one reference object is equal to or greater than the threshold value in step 362, the reflection characteristic of the reference object is read from the reflection characteristic storage unit 26 in step 110. In step 364, the intensity distribution of the color component is calculated for the area representing the reference object having the highest evaluation value among the areas representing the detected reference object, and the color component in the area representing the calculated reference object is calculated. Based on the intensity distribution and the light reflection characteristics of the reference object read in step 110, a white balance coefficient for the entire image is calculated.
そして、ステップ366において、撮像装置12に設定されているホワイトバランス係数を、上記ステップ360で算出した局所領域毎のホワイトバランス係数、又は上記ステップ364で算出した画像全体に対するホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。   In step 366, the white balance coefficient set in the imaging device 12 is updated to the white balance coefficient for each local region calculated in step 360 or the white balance coefficient for the entire image calculated in step 364. To complete the white balance correction processing routine.
以上説明したように、第3の実施の形態に係る対象物認識装置によれば、撮像画像から複数の基準物体を検出可能な場合には、撮像画像を複数の領域に分割して、それぞれの領域で、環境光のスペクトル強度を推定することで、環境光が不均一である場合でも、それぞれの局所領域に応じてホワイトバランスを補正できる。また、局所領域毎にホワイトバランスを適切に補正することで、カラー画像からの物体認識性能を向上させることができる。   As described above, according to the target object recognition apparatus according to the third embodiment, when a plurality of reference objects can be detected from a captured image, the captured image is divided into a plurality of regions, By estimating the spectral intensity of the ambient light in the region, the white balance can be corrected according to each local region even when the ambient light is non-uniform. Moreover, the object recognition performance from a color image can be improved by correct | amending white balance appropriately for every local area | region.
また、認識しようとする物体に空間的に近い位置に存在する基準物体が、基準物体が存在する位置近傍の環境光のスペクトル強度を代表していると見なして、輝度に応じて分割された領域に含まれる基準物体を用いて算出された局所的なホワイトバランス係数を設定しているため、不均一な環境光の下など、複雑な照明環境においても、安定した物体認識が可能である。   Also, a reference object that is spatially close to the object to be recognized is considered to represent the spectral intensity of ambient light in the vicinity of the position where the reference object exists, and is divided according to the brightness. Since the local white balance coefficient calculated using the reference object included in is set, stable object recognition is possible even in a complicated illumination environment such as under non-uniform ambient light.
なお、上記の実施の形態では、画像の局所領域毎に異なるホワイトバランス係数を設定する場合を例に説明したが、これに限定されるものではなく、画像全体で1つのホワイトバランス係数を設定しておき、撮像装置で取得されたカラー画像に対してカラー成分毎の強度を、ソフトウェアなどを用いて局所的に変更する後処理を加えることで、局所領域毎のホワイトバランス補正を実現するようにしてもよい。   In the above embodiment, the case where a different white balance coefficient is set for each local region of the image has been described as an example. However, the present invention is not limited to this, and one white balance coefficient is set for the entire image. In addition, white balance correction for each local region is realized by adding post-processing that locally changes the intensity of each color component using a software or the like to the color image acquired by the imaging device. May be.
また、上記の第1の実施の形態〜第3の実施の形態では、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する場合を例に説明したが、これに限定されるものではなく、評価値を算出せずに、ホワイトバランス補正の参照領域として適しているか否かを判定するようにしてもよい。例えば、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、かつ、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上である、という条件を満たした場合に、ホワイトバランス補正の参照領域として適していると判定するようにしてもよい。   In the first to third embodiments, the case where the evaluation value indicating whether or not it is suitable as the reference region for white balance correction has been described as an example. However, the present invention is not limited to this. Instead of calculating the evaluation value, it may be determined whether it is suitable as a reference area for white balance correction. For example, the intensity distribution variation of the color component in the evaluation area of the reference object is less than the threshold, the intensity distribution variation of the color component in the evaluation area of the background object is less than the threshold, and the reference object Is suitable as a reference area for white balance correction when the condition that the distance between the intensity distribution of the color component in the evaluation area and the intensity distribution of the color component in the evaluation area of the background object is equal to or greater than a threshold value is satisfied. May be determined.
また、基準物体として、白色の走路境界線や、横断歩道など白色の路面標示、標識の白色部分を用いた場合を例に説明したが、これに限定されるものではなく、無彩色の他の特定物体を、基準物体として用いてもよい。   In addition, the case where a white road boundary line, a white road marking such as a pedestrian crossing, and a white portion of a sign are used as a reference object has been described as an example, but the present invention is not limited to this, and other achromatic colors A specific object may be used as a reference object.
また、認識対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を認識対象物としてもよい。   Moreover, although the case where the recognition target object is a person has been described as an example, the present invention is not limited to this, and an object other than a person may be used as the recognition target object.
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをCDROM等の記憶媒体に格納して提供することも可能である。   In the specification of the present application, the embodiment has been described in which the program is installed in advance. However, the program may be provided by being stored in a storage medium such as a CDROM.
10、310 対象物認識装置
12 撮像装置
14、314 コンピュータ
22、322 基準物体検出部
24、324 基準物体評価部
26 反射特性記憶部
28、328 ホワイトバランス算出部
30、330 ホワイトバランス設定部
32 特定物体認識部
325 領域分割部
10, 310 Object recognition device 12 Imaging device 14, 314 Computer 22, 322 Reference object detection unit 24, 324 Reference object evaluation unit 26 Reflection characteristic storage unit 28, 328 White balance calculation unit 30, 330 White balance setting unit 32 Specific object Recognition unit 325 Region division unit

Claims (12)

  1. カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、
    を含むホワイトバランス係数算出装置。
    Reference object detection means for detecting a region representing the reference object based on the shape or structure of the reference object whose light reflection characteristics are obtained in advance from a color image picked up by an image pickup means for picking up a color image;
    Based on whether or not the intensity distribution variation of the color component in the region representing the reference object detected by the reference object detection means is greater than or equal to a threshold value, the region representing the reference object has a white balance coefficient. Evaluation means for evaluating whether or not it is suitable as an area to be referred to when calculating
    When the evaluation unit evaluates that the area representing the reference object is suitable as the reference area, the light reflection characteristic obtained in advance for the reference object and the intensity of the color component of the area representing the reference object Calculating means for calculating a white balance coefficient of the imaging means based on the distribution;
    White balance coefficient calculation device including
  2. 前記評価手段は、前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び前記基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布のばらつきの大きさに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項記載のホワイトバランス係数算出装置。 The evaluation means determines the magnitude of variation in the intensity distribution of the color component in the area representing the reference object, and the magnitude of variation in the intensity distribution of the color component in the peripheral area set around the area representing the reference object. The white balance coefficient calculation device according to claim 1 , wherein the white balance coefficient calculation device evaluates whether or not a region representing the reference object is suitable as the reference region.
  3. 前記評価手段は、前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び前記基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布と前記基準物体を表わす領域のカラー成分の強度分布との間の距離に基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項又は記載のホワイトバランス係数算出装置。 The evaluation means represents the magnitude of variation in the intensity distribution of the color component in the area representing the reference object, and the intensity distribution of the color component in the peripheral area set around the area representing the reference object and the reference object. 3. The white balance coefficient calculation apparatus according to claim 1 , wherein the white balance coefficient calculating device evaluates whether or not a region representing the reference object is suitable as the reference region based on a distance between the intensity distribution of the color components of the region.
  4. カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布に基づいて、前記検出された前記基準物体を表わす領域の少なくとも一部分と前記基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、前記設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された前記強度分布間の距離に基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、
    を含むホワイトバランス係数算出装置。
    Reference object detection means for detecting a region representing the reference object based on the shape or structure of the reference object whose light reflection characteristics are obtained in advance from a color image picked up by an image pickup means for picking up a color image;
    Based on the intensity distribution of the color component of the region representing the reference object detected by the reference object detection means , at least a part of the region representing the detected reference object and a region around the region representing the reference object Are classified by performing a clustering process on the intensity distribution of the color component of the setting area, and the area representing the reference object is white based on the distance between the classified intensity distributions. An evaluation means for evaluating whether it is suitable as an area to be referred to when calculating the balance coefficient;
    When the evaluation unit evaluates that the area representing the reference object is suitable as the reference area, the light reflection characteristic obtained in advance for the reference object and the intensity of the color component of the area representing the reference object Calculating means for calculating a white balance coefficient of the imaging means based on the distribution;
    White balance coefficient calculation device including
  5. 前記評価手段は、分類された前記強度分布間の距離、及び前記分類された前記強度分布の各々のばらつきの大きさに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項記載のホワイトバランス係数算出装置。 The evaluation means determines whether or not a region representing the reference object is suitable as the reference region based on a distance between the classified intensity distributions and a magnitude of variation of each of the classified intensity distributions. The white balance coefficient calculation apparatus according to claim 4 , wherein the white balance coefficient is evaluated.
  6. 前記評価手段は、分類された前記強度分布間の距離、及び前記分類された前記強度分布の数が予め定められた数であるか否かに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項又は記載のホワイトバランス係数算出装置。 The evaluation means refers to the region representing the reference object based on a distance between the classified intensity distributions and whether or not the number of the classified intensity distributions is a predetermined number. white balance coefficient calculation device according to claim 4 or 5, wherein assessing whether suitable as an area.
  7. 前記カラー画像について、輝度に応じて領域分割する領域分割手段を更に含み、
    前記基準物体検出手段は、前記基準物体を表わす領域を複数検出し、
    前記算出手段は、前記領域分割手段によって分割された領域の各々について、該領域内で検出され、かつ、前記参照する領域として適していると評価された前記基準物体を表わす領域のカラー成分の強度分布を用いて、前記ホワイトバランス係数を算出する請求項1〜請求項の何れか1項記載のホワイトバランス係数算出装置。
    The color image further includes area dividing means for dividing the area according to luminance,
    The reference object detection means detects a plurality of regions representing the reference object,
    For each of the areas divided by the area dividing means, the calculating means detects the intensity of the color component of the area representing the reference object detected in the area and evaluated as being suitable as the reference area The white balance coefficient calculation apparatus according to any one of claims 1 to 6 , wherein the white balance coefficient is calculated using a distribution.
  8. 前記撮像手段は、走路を含む領域を撮像する請求項1〜請求項の何れか1項記載のホワイトバランス係数算出装置。 Said imaging means, white balance coefficient calculation device according to any one of claims 1 to 7 for imaging a region containing the runway.
  9. 前記基準物体を、無彩色の物体とした請求項1〜請求項の何れか1項記載のホワイトバランス係数算出装置。 The white balance coefficient calculation apparatus according to any one of claims 1 to 8 , wherein the reference object is an achromatic object.
  10. 前記撮像手段によって撮像されたカラー画像に含まれる特定の物体を示す画像を認識する認識手段を更に含む請求項1〜請求項の何れか1項記載のホワイトバランス係数算出装置。 Further comprising Claim 1 white balance coefficient calculation device according to any one of claims 9 to recognizing means an image showing a specific object included in a color image captured by the imaging means.
  11. コンピュータを、
    カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段
    として機能させるためのプログラム。
    Computer
    Reference object detection means for detecting a region representing the reference object based on the shape or structure of the reference object whose light reflection characteristics are obtained in advance from a color image picked up by an image pickup means for picking up a color image;
    Based on whether or not the intensity distribution variation of the color component in the region representing the reference object detected by the reference object detection means is greater than or equal to a threshold value, the region representing the reference object has a white balance coefficient. Evaluation means for evaluating whether or not the reference object is suitable as a reference area when calculating the reference object, and when the evaluation means evaluates that the area representing the reference object is suitable as the reference area, the reference object A program for functioning as a calculation unit that calculates a white balance coefficient of the imaging unit based on a reflection characteristic of light obtained in advance and an intensity distribution of a color component of a region representing the reference object.
  12. コンピュータを、
    カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布に基づいて、前記検出された前記基準物体を表わす領域の少なくとも一部分と前記基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、前記設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された前記強度分布間の距離に基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段
    として機能させるためのプログラム。
    Computer
    Reference object detection means for detecting a region representing the reference object based on the shape or structure of the reference object whose light reflection characteristics are obtained in advance from a color image picked up by an image pickup means for picking up a color image;
    Based on the intensity distribution of the color component of the region representing the reference object detected by the reference object detection means , at least a part of the region representing the detected reference object and a region around the region representing the reference object Are classified by performing a clustering process on the intensity distribution of the color component of the setting area, and the area representing the reference object is white based on the distance between the classified intensity distributions. An evaluation unit that evaluates whether or not the region representing the reference object is suitable as the reference region when the evaluation unit evaluates whether or not the region representing the reference object is suitable as the reference region. Based on the light reflection characteristics obtained in advance for the object and the intensity distribution of the color component in the region representing the reference object. And a program for causing the imaging means to function as a calculating means for calculating a white balance coefficient.
JP2010160048A 2010-07-14 2010-07-14 White balance coefficient calculation device and program Expired - Fee Related JP5338762B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010160048A JP5338762B2 (en) 2010-07-14 2010-07-14 White balance coefficient calculation device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010160048A JP5338762B2 (en) 2010-07-14 2010-07-14 White balance coefficient calculation device and program

Publications (2)

Publication Number Publication Date
JP2012023572A JP2012023572A (en) 2012-02-02
JP5338762B2 true JP5338762B2 (en) 2013-11-13

Family

ID=45777459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010160048A Expired - Fee Related JP5338762B2 (en) 2010-07-14 2010-07-14 White balance coefficient calculation device and program

Country Status (1)

Country Link
JP (1) JP5338762B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921983B2 (en) * 2012-08-03 2016-05-24 クラリオン株式会社 In-vehicle imaging device
JP5982323B2 (en) * 2013-05-16 2016-08-31 日本電信電話株式会社 Receiving device, receiving method, and program thereof
KR101836768B1 (en) 2017-06-22 2018-03-08 한양대학교 산학협력단 System and method for object recognition based automatic picture color balance, recording medium thereof
WO2020090154A1 (en) * 2018-10-29 2020-05-07 パナソニックIpマネジメント株式会社 Information presentation method, information presentation device, and information presentation system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
JP4239219B2 (en) * 2004-08-23 2009-03-18 富士フイルム株式会社 Auto white balance adjustment method and apparatus
JP4556133B2 (en) * 2005-07-19 2010-10-06 本田技研工業株式会社 vehicle
JP5092612B2 (en) * 2007-08-03 2012-12-05 株式会社ニコン Color imaging device
JP2009171122A (en) * 2008-01-15 2009-07-30 Denso Corp Optical source color temperature estimation method, white balance adjustment apparatus, and image recognition apparatus
JP5215775B2 (en) * 2008-08-20 2013-06-19 キヤノン株式会社 White balance control device, imaging device using the same, and white balance control method

Also Published As

Publication number Publication date
JP2012023572A (en) 2012-02-02

Similar Documents

Publication Publication Date Title
US7639878B2 (en) Shadow detection in images
US8294794B2 (en) Shadow removal in an image captured by a vehicle-based camera for clear path detection
US8036427B2 (en) Vehicle and road sign recognition device
EP2959454B1 (en) Method, system and software module for foreground extraction
JP4825473B2 (en) Face orientation discrimination device
US10032088B2 (en) Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device
JP2013203374A (en) Display device for vehicle, control method therefor, and program
JP2011053953A (en) Image processing apparatus and program
US10354413B2 (en) Detection system and picture filtering method thereof
JP5338762B2 (en) White balance coefficient calculation device and program
CN108197546B (en) Illumination processing method and device in face recognition, computer equipment and storage medium
US9361527B1 (en) Method and system for classifying painted road markings in an automotive driver vehicle-assistance device
DE112014000910T5 (en) Road sign recognition device
TWI498830B (en) A method and system for license plate recognition under non-uniform illumination
JP2011165170A (en) Object detection device and program
JP4941843B2 (en) Road marking image processing apparatus, road marking image processing method, and road marking image processing program
JP2018055591A (en) Information processing apparatus, information processing method and program
JP2015176252A (en) Image processor and image processing method
KR101407070B1 (en) Method of extracting feature for human detection and apparatus for performing the same
JP5172995B2 (en) Face orientation discrimination device and computer program
US10803625B2 (en) Detection system and picturing filtering method thereof
KR101875786B1 (en) Method for identifying vehicle using back light region in road image
JP2019020956A (en) Vehicle surroundings recognition device
JP2019117438A (en) Image recognition system
JP2018072884A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R151 Written notification of patent or utility model registration

Ref document number: 5338762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees