JP4283266B2 - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP4283266B2 JP4283266B2 JP2005346012A JP2005346012A JP4283266B2 JP 4283266 B2 JP4283266 B2 JP 4283266B2 JP 2005346012 A JP2005346012 A JP 2005346012A JP 2005346012 A JP2005346012 A JP 2005346012A JP 4283266 B2 JP4283266 B2 JP 4283266B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- state quantity
- vehicle
- periphery monitoring
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
この発明は、赤外線カメラにより撮影された画像の2値化処理により対象物抽出を行う車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring apparatus that extracts an object by binarization processing of an image photographed by an infrared camera.
従来、赤外線カメラの撮影により得られた自車両周辺の赤外線画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、この対象物の情報を自車両の運転者に提供する表示処理装置が知られている(例えば、特許文献1参照)。
この表示処理装置では、赤外線画像を2値化処理して明部が集中している領域(2値化対象物)を探索し、2値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、2値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
In this display processing device, binarization processing is performed on the infrared image to search for a region where the bright portion is concentrated (binarization target object), and the aspect ratio and sufficiency ratio of the binarization target object, as well as the actual area And the distance calculated by the center of gravity position on the infrared image, it is determined whether or not the binarized object is a pedestrian's head. Then, from the distance of the pedestrian's head region from the infrared camera and the average height of the adult, the height of the pedestrian on the infrared image is calculated, and a body region including the pedestrian's body is set, By displaying the body region and the body region separately from other regions, the driver's visual assistance for the pedestrian is performed.
ところで、上記従来技術の一例に係る表示処理装置においては、赤外線画像上での頭部領域や身体領域に対する形状判定に基づいて歩行者を検知していることから、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と、歩行者とを識別することが困難になる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。
By the way, in the display processing device according to an example of the above prior art, since the pedestrian is detected based on the shape determination for the head region and the body region on the infrared image, the shape of the pedestrian, particularly the head There is a risk that it may be difficult to distinguish a pedestrian from an artificial structure having a size and height similar to the shape of the heat generating and generating heat.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a vehicle periphery monitoring device capable of accurately distinguishing and extracting a pedestrian and an artificial structure on an infrared image.
上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の車両周辺監視装置は、赤外線撮像手段(例えば、実施の形態での赤外線カメラ2R,2L)の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、前記画像のグレースケール画像を2値化処理して得た画像データから2値化対象物を抽出する2値化対象物抽出手段(例えば、実施の形態でのステップS7)と、前記グレースケール画像上に、前記2値化対象物抽出手段により抽出された前記2値化対象物の少なくとも一部を含む領域(例えば、実施の形態でのマスクOA)を設定する領域設定手段(例えば、実施の形態でのステップS34)と、前記領域設定手段により設定された前記領域の輝度状態量(例えば、実施の形態での横平均輝度プロジェクションF(J)、微分係数S(J))を算出する輝度状態量算出手段(例えば、実施の形態でのステップS34が兼ねる)と、前記輝度状態量算出手段により算出された前記輝度状態量に基づき前記領域内での最大輝度値の位置(例えば、実施の形態での最大ピーク位置j_en)と最小輝度値の位置(例えば、実施の形態での最小ピーク位置j_st)との間の区間に係る区間状態量(例えば、実施の形態での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp})を算出する区間状態量算出手段(例えば、実施の形態でのステップS34が兼ねる)と、前記区間状態量算出手段により算出された前記区間状態量に基づき前記対象物の種別を判定する対象物種別判定手段(例えば、実施の形態でのステップS34が兼ねる)とを備えることを特徴としている。
In order to solve the above problems and achieve the object, the vehicle periphery monitoring device according to the present invention is obtained by imaging by infrared imaging means (for example, the
上記の車両周辺監視装置によれば、輝度状態量算出手段は領域設定手段により設定された領域での輝度状態量として、例えばグレースケール画像上の各縦位置での横方向に沿った輝度値の平均値(横平均輝度)の変化等を算出する。区間状態量算出手段は、輝度状態量に基づき領域内での最大輝度値の位置と最小輝度値の位置との間の区間に係る区間状態量として、例えば区間の長さや区間内での輝度値の分布状態等を算出する。そして、算出した区間状態量が人体の身体的特徴として許容される所定範囲の値を超える場合、例えば区間の長さが過剰に長い場合には、人工構造物であると的確に判別することができる。 According to the above-described vehicle periphery monitoring apparatus, the luminance state quantity calculating unit calculates, for example, the luminance value in the horizontal direction at each vertical position on the grayscale image as the luminance state quantity in the region set by the region setting unit. A change in average value (horizontal average luminance) is calculated. The section state quantity calculating means calculates, for example, the length of the section or the brightness value in the section as the section state quantity related to the section between the position of the maximum brightness value and the position of the minimum brightness value in the area based on the brightness state quantity. The distribution state etc. are calculated. Then, when the calculated section state quantity exceeds a value in a predetermined range that is allowed as a physical feature of the human body, for example, when the section length is excessively long, it can be accurately determined as an artificial structure. it can.
さらに、請求項2に記載の本発明の車両周辺監視装置では、前記区間状態量は前記区間の長さであることを特徴としている。
Furthermore, in the vehicle periphery monitoring apparatus according to the present invention as set forth in
上記の車両周辺監視装置によれば、領域内での輝度値の絶対的な値に関わらずに相対的な値の分布状態に応じた区間の長さに基づき人工構造物と人工構造物以外とを的確に区別することができる。 According to the vehicle periphery monitoring device described above, the artificial structure and other than the artificial structure based on the length of the section according to the distribution state of the relative value regardless of the absolute value of the luminance value in the region. Can be accurately distinguished.
さらに、請求項3に記載の本発明の車両周辺監視装置は、前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段(例えば、実施の形態でのステップS35)を備え、該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴としている。 Furthermore, the vehicle periphery monitoring device according to the third aspect of the present invention includes pedestrian recognition means (for example, step S35 in the embodiment) for recognizing a pedestrian existing in the outside of the host vehicle based on the image. The pedestrian recognition means is characterized in that a pedestrian recognition process is performed on the object determined to be a pedestrian other than an artificial structure by the object type determination means.
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して歩行者認識処理を実行することにより、歩行者の認識精度を向上させることができる。 According to the vehicle periphery monitoring device, in addition to the object determined to be a pedestrian, walking is performed by performing a pedestrian recognition process on the object determined to be other than an artificial structure. The recognition accuracy of the person can be improved.
さらに、請求項4に記載の本発明の車両周辺監視装置は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段(例えば、実施の形態でのステップS19)を備えることを特徴としている。 Furthermore, the vehicle periphery monitoring device of the present invention according to claim 4 is an alarm output means for outputting an alarm to the object determined to be a pedestrian other than an artificial structure by the object type determining means. (For example, step S19 in the embodiment).
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して警報を出力することから、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。 According to the above vehicle periphery monitoring device, in addition to the object determined to be a pedestrian, an alarm is output for an object determined to be other than an artificial structure. It is possible to prevent an unnecessary alarm from being output.
以上説明したように、請求項1に記載の本発明の車両周辺監視装置によれば、区間状態量が人体の身体的特徴として許容される所定範囲の値を超える場合、例えば区間の長さが過剰に短いあるいは長い場合には、人工構造物であると的確に判別することができる。
さらに、請求項2に記載の本発明の車両周辺監視装置によれば、領域内での輝度値の絶対的な値に関わらずに相対的な値の分布状態に応じた区間の長さに基づき人工構造物と人工構造物以外とを的確に区別することができる。
さらに、請求項3に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項4に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
As described above, according to the vehicle periphery monitoring device of the first aspect of the present invention, when the section state quantity exceeds a value within a predetermined range that is allowed as a physical feature of the human body, for example, the length of the section is If it is excessively short or long, it can be accurately determined that it is an artificial structure.
Furthermore, according to the vehicle periphery monitoring device of the present invention described in
Furthermore, according to the vehicle periphery monitoring apparatus of the present invention as set forth in
Furthermore, according to the vehicle periphery monitoring device of the present invention described in claim 4 , it is possible to prevent an unnecessary alarm from being output to the artificial structure.
以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置は、例えば図1に示すように、車両周辺監視装置を制御するCPU(中央演算装置)を備えた画像処理ユニット1と、遠赤外線を検出可能な2つの赤外線カメラ2R,2Lと、自車両のヨーレートを検出するヨーレートセンサ3と、自車両の走行速度(車速)を検出する車速センサ4と、運転者によるブレーキ操作の有無を検出するブレーキセンサ5と、スピーカ6と、表示装置7とを備えて構成され、例えば、画像処理ユニット1は2つの赤外線カメラ2R,2Lの撮影により得られる自車両周辺の赤外線画像と、各センサ3,4,5により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ6または表示装置7を介して警報を出力するようになっている。
なお、表示装置7は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するHUD(Head Up Display)7a等を備えて構成されている。
Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
As shown in FIG. 1, for example, the vehicle periphery monitoring device according to the present embodiment includes an
For example, the display device 7 is a display device integrated with instruments that display various travel state quantities of the host vehicle, a display device of a navigation device, and various information at a position that does not obstruct the driver's front view in the front window. HUD (Head Up Display) 7a and the like are displayed.
また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うCPU(中央演算装置)と、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)と、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)と、スピーカ6の駆動信号やHUD7a等の表示信号などを出力する出力回路とを備えており、赤外線カメラ2R,2Lおよび各センサ3,4,5から出力される信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
The
なお、例えば図2に示すように、赤外線カメラ2R,2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対象な位置に配置されており、2つの赤外線カメラ2R,2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R,2Lは、対象物の温度が高いほど、出力信号レベルが高くなる(つまり、輝度が増大する)特性を有している。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
For example, as shown in FIG. 2, the
Further, the
本実施の形態による車両周辺監視装置は上記構成を備えており、次に、この車両周辺監視装置の動作について添付図面を参照しながら説明する。
以下に、画像処理ユニット1における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図3に示すステップS1において、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得する。
次に、ステップS2においては、取得した赤外線画像をA/D変換する。
次に、ステップS3においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(つまり、視差)により自車両10から対象物までの距離を算出することができる。
The vehicle periphery monitoring apparatus according to the present embodiment has the above-described configuration. Next, the operation of the vehicle periphery monitoring apparatus will be described with reference to the accompanying drawings.
Below, the operation | movement of target object detection, such as a pedestrian, and alarm output in the
First, in step S1 shown in FIG. 3, the
Next, in step S2, the acquired infrared image is A / D converted.
Next, in step S3, a grayscale image including halftone information is acquired and stored in the image memory. Here, the right image is obtained by the
次に、ステップS4においては、赤外線カメラ2Rにより得られた右画像を基準画像とし、この画像信号の2値化処理、すなわち所定輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う。
なお、以下のステップS4〜ステップS9の処理は、2値化処理により得た基準画像(例えば、右画像)について実行する。
次に、ステップS5においては、赤外線画像に2値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、2値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはy方向に1画素の幅を有し、x方向に適宜の画素数の長さを有するように設定されている
Next, in step S4, the right image obtained by the
In addition, the process of the following step S4-step S9 is performed about the reference | standard image (for example, right image) obtained by the binarization process.
Next, in step S5, image data obtained by performing binarization processing on the infrared image is converted into run-length data. In the run-length data, an area that has become white by binarization processing is displayed as a line at the pixel level, and each line has a width of one pixel in the y direction and an appropriate number of pixels in the x direction. Is set to
次に、ステップS6においては、ランレングスデータに変換された画像データにおいて、対象物のラベリングを行う。
次に、ステップS7においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のx方向座標を含むライン同士がy方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップS8においては、抽出した対象物の重心Gと、面積Sと、外接四角形の縦横比ASPECTとを算出する。
Next, in step S6, the object is labeled in the image data converted into run-length data.
Next, in step S7, the object is extracted according to the labeling of the object. Here, among the lines in the run-length data, when the lines including the equivalent x-direction coordinates are adjacent in the y direction, the adjacent lines are regarded as constituting a single object.
Next, in step S8, the center of gravity G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle are calculated.
ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,…,N−1;Nは任意の自然数)とすると、各ランレングスデータの長さ(run[i]−1)を同一対象物において積算することにより算出する。
また、ラベルAの対象物の重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と、各ランレングスデータの座標x[i]またはy[i]とを乗算して得た値(つまり、(run[i]−1)×x[i]または(run[i]−1)×y[i])を同一対象物において積算して得た値を、面積Sで除算することにより算出する。
さらに、縦横比ASPECTは、ラベルAの対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する必要がある(=run[i]−1)。また、重心Gの座標は、外接四角形の重心座標で代用してもよい。
Here, the area S is the run length data of the object of the label A (x [i], y [i], run [i], A) (i = 0, 1, 2,..., N−1; If N is an arbitrary natural number), the length (run [i] -1) of each run-length data is calculated by integrating the same object.
The coordinates (xc, yc) of the center of gravity G of the object of label A are the length (run [i] -1) of each run-length data and the coordinates x [i] or y [i] of each run-length data. ] (Ie, (run [i] −1) × x [i] or (run [i] −1) × y [i]) obtained by multiplying the same object. The value is calculated by dividing by the area S.
Further, the aspect ratio ASPECT is calculated as a ratio Dy / Dx between the length Dy in the vertical direction and the length Dx in the horizontal direction of the circumscribed rectangle of the object of label A.
Since the run length data is indicated by the number of pixels (number of coordinates) (= run [i]), the actual length needs to be “−1” (= run [i] −1). Further, the coordinates of the center of gravity G may be replaced by the center of gravity coordinates of a circumscribed rectangle.
次に、ステップS9およびステップS10の処理と、ステップS11〜ステップS13の処理とを並行して実行する。
まず、ステップS9においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出した場合、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定された場合には、対象物C、Dのラベルをそれぞれ対象物A、Bのラベルに変更する。そして、認識された各対象物の位置座標(例えば、重心等)を、時系列位置データとして適宜のメモリに格納する。
Next, the process of step S9 and step S10 and the process of step S11-step S13 are performed in parallel.
First, in step S9, the object is tracked between times, that is, the same object is recognized for each sampling period. In this inter-time tracking, k is a time obtained by discretizing time t as an analog quantity with a sampling period. For example, when objects A and B are extracted at time k, the objects C and D extracted at time (k + 1) are extracted. And the objects A and B are determined. If it is determined that the objects A and B and the objects C and D are the same, the labels of the objects C and D are changed to the labels of the objects A and B, respectively. Then, the position coordinates (for example, the center of gravity, etc.) of each recognized object are stored in an appropriate memory as time series position data.
次に、ステップS10においては、車速センサ4により検出された車速VCARおよびヨーレートセンサ3より検出されたヨーレートYRを取得し、ヨーレートYRを時間積分して、自車両10の回頭角θrを算出する。
Next, in step S10, the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the
一方、ステップS9およびステップS10の処理に並行して実行されるステップS11〜ステップS13においては、対象物と自車両10との距離zを算出する。なお、このステップS11の処理は、ステップS9およびステップS10の処理よりも長い演算時間を要することから、ステップS9およびステップS10よりも長い周期(例えば、ステップS1〜ステップS10の実行周期の3倍程度の周期等)で実行されるようになっている。
先ず、ステップS11においては、基準画像(例えば、右画像)を2値化処理して得た画像データ上で追跡される複数の対象物のうちから1つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像R1として基準画像(例えば、右画像)から抽出する。
On the other hand, in steps S11 to S13 executed in parallel with the processes of steps S9 and S10, a distance z between the object and the
First, in step S11, one object is selected from a plurality of objects tracked on image data obtained by binarizing a reference image (for example, the right image). The entire region surrounding the object with a circumscribed rectangle is extracted from the reference image (for example, the right image) as the search image R1.
次に、ステップS12においては、基準画像(例えば、右画像)に対応する画像(例えば、左画像)中から探索画像R1に対応する画像(対応画像)R2を探索する探索領域を設定し、相関演算を実行して対応画像R2を抽出する。ここでは、例えば探索画像R1の各頂点座標に応じて、左画像中に探索領域を設定し、探索領域内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b)が最小となる領域を対応画像R2として抽出する。なお、この相関演算は、2値化処理して得た画像データではなく、グレースケール画像に対して実行する。また、同一対象物についての過去の位置データが存在する場合には、過去の位置データに基づいて探索領域を狭めることが可能である。 Next, in step S12, a search area for searching for an image (corresponding image) R2 corresponding to the search image R1 from an image (for example, the left image) corresponding to the reference image (for example, the right image) is set and correlated. An operation is executed to extract the corresponding image R2. Here, for example, a search area is set in the left image according to each vertex coordinate of the search image R1, and the luminance difference sum C (a, b) indicating the level of correlation with the search image R1 in the search area. And the region where the total value C (a, b) is minimum is extracted as the corresponding image R2. This correlation calculation is performed not on the image data obtained by the binarization process but on the gray scale image. In addition, when past position data for the same object exists, the search area can be narrowed based on the past position data.
次に、ステップS13においては、探索画像R1の重心位置と、対応画像R2の重心位置と、画素数単位での視差Δdとを算出し、さらに、自車両10と対象物との距離つまり赤外線カメラ2R,2Lのレンズと対象物との距離(対象物距離)z(m)を、例えば下記数式(1)に示すように、カメラ基線長、つまり赤外線カメラ2R,2Lの各撮像素子の中心位置間の水平距離D(m)と、カメラ焦点距離、つまり赤外線カメラ2R,2Lの各レンズの焦点距離f(m)と、画素ピッチp(m/pixel)と、視差Δd(pixel)とに基づき算出する。
Next, in step S13, the centroid position of the search image R1, the centroid position of the corresponding image R2, and the parallax Δd in units of the number of pixels are calculated, and the distance between the
そして、ステップS14においては、ステップS10での回頭角θrの算出と、ステップS13での距離zの算出との完了後に、例えば下記数式(2)に示すように、画像データ上での対象物の座標(x,y)および距離zを実空間座標(X,Y,Z)に変換する。
ここで、実空間座標(X,Y,Z)は、例えば図2に示すように、自車両10の前部における赤外線カメラ2R,2Lの取り付け位置の中点の位置を原点Oとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をx方向、垂直方向をy方向として設定されている。また、座標(xc,yc)は、基準画像(例えば、右画像)上の座標(x,y)を、赤外線カメラ2Rの取付位置と、実空間の原点Oとの相対位置関係に基づいて、実空間の原点Oと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
In step S14, after the calculation of the turning angle θr in step S10 and the calculation of the distance z in step S13, for example, as shown in the following formula (2), the object on the image data is calculated. The coordinates (x, y) and the distance z are converted into real space coordinates (X, Y, Z).
Here, the real space coordinates (X, Y, Z), for example, as shown in FIG. 2, are set with the origin O as the midpoint position of the attachment positions of the
次に、ステップS15においては、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。この回頭角補正は、時刻kから時刻(k+1)までの期間中に自車両10が、例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像データ上では、画像データの範囲がΔxだけx方向にずれるのことを補正する処理であり、例えば下記数式(3)に示すように、実空間座標(X,Y,Z)を補正して得た補正座標(Xr,Yr,Zr)を、新たに実空間座標(X,Y,Z)として設定する。
Next, in step S15, the turning angle correction for correcting the positional deviation on the image due to the turning of the
次に、ステップS16においては、同一対象物について所定時間ΔTのモニタ期間内に得られた回頭角補正後のN(例えば、N=10程度)個の時系列データをなす実空間位置データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを算出する。
このステップS16においては、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(つまり、所定時間ΔT前)の位置座標P(N−1)=(X(N−1),Y(N−1),Z(N−1))とを、近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))およびPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を算出する。
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔTのモニタ期間内の複数(例えば、N個)の実空間位置データから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両10と対象物との接触発生の可能性を精度良く予測することが可能となる。
Next, in step S16, from the real space position data forming N (for example, about N = 10) time-series data after the turning angle correction obtained within the monitoring period of the predetermined time ΔT for the same object, An approximate straight line LMV corresponding to the relative movement vector between the object and the
In this step S16, the latest position coordinates P (0) = (X (0), Y (0), Z (0)) and the position before (N−1) samples (that is, before a predetermined time ΔT). Coordinate P (N-1) = (X (N-1), Y (N-1), Z (N-1)) is corrected to a position on the approximate straight line LMV, and the corrected position coordinate Pv ( 0) = (Xv (0), Yv (0), Zv (0)) and Pv (N−1) = (Xv (N−1), Yv (N−1), Zv (N−1)). calculate.
Thereby, a relative movement vector is obtained as a vector from the position coordinates Pv (N−1) to Pv (0).
In this way, by calculating an approximate straight line that approximates the relative movement locus of the object with respect to the
次に、ステップS17においては、例えば検出した対象物と自車両10との接触発生の可能性の有無等に応じた警報判定処理において、検出した対象物が警報対象であるか否かを判定する。
この判定結果が「NO」の場合には、ステップS1へ戻り、上述したステップS1〜ステップS17の処理を繰り返す。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
そして、ステップS18においては、例えばブレーキセンサ5の出力BRに基づく自車両10の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップS18の判定結果が「NO」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTHよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップS1へ戻り、上述したステップS1〜ステップS18の処理を繰り返す。
一方、ステップS18の判定結果が「YES」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTH以下である場合、あるいは、自車両10の運転者がブレーキ操作を行っていない場合には、 一方、ステップS18の判定結果が「YES」の場合には、接触発生の可能性が高いと判断して、ステップS19に進む。
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsが維持された場合に、対象物と自車両10との間の距離が所定の距離Zv(0)以下で自車両10が停止する状態に対応する値である。
Next, in step S17, it is determined whether or not the detected object is an alarm target in an alarm determination process according to, for example, the possibility of contact between the detected object and the
If this determination is “NO”, the flow returns to step
On the other hand, if the determination is “YES”, the flow proceeds to step S18.
In step S18, for example, it is determined whether or not an alarm output is necessary in an alarm output determination process according to whether or not the driver of the
When the determination result of step S18 is “NO”, for example, when the acceleration Gs generated when the driver of the
On the other hand, when the determination result of step S18 is “YES”, for example, when the acceleration Gs (deceleration direction is positive) generated when the driver of the
The predetermined threshold GTH corresponds to a state in which the
そして、ステップS19においては、例えばスピーカ6を介した音声等の聴覚的警報や、例えば表示装置7を介した表示等の視覚的警報や、例えばシートベルトに所定の張力を発生させて運転者が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに運転者が触覚的に知覚可能な振動(ステアリング振動)を発生させることによる触覚的警報を出力する。
次に、ステップS20においては、表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。
In step S19, the driver generates an audible alarm such as a sound via the speaker 6, a visual alarm such as a display via the display device 7, or a predetermined tension on the seat belt, for example. A tactile alarm is output by applying a tactilely perceptible tightening force or by generating vibration (steering vibration) that can be perceived by the driver tactilely on the steering wheel.
Next, in step S20, for example, image data obtained by the
以下に、上述したステップS17における警報判定処理について添付図面を参照しながら説明する。
この警報判定処理は、例えば図4に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両10と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図5に示すように、自車両10の進行方向(例えば、Z方向)に対してほぼ直交する方向において速度Vpで移動する対象物20が存在する場合を参照して説明する。
Hereinafter, the alarm determination process in step S17 described above will be described with reference to the accompanying drawings.
For example, as shown in FIG. 4, the alarm determination process includes a collision determination process, a determination process as to whether or not the vehicle is within the approach determination area, an approach collision determination process, an artificial structure determination process, and a pedestrian determination process. This is a process for determining the possibility of occurrence of contact between the
まず、図4に示すステップS31においては、衝突判定処理を行う。この衝突判定処理では、例えば図5において、対象物20が所定時間ΔTの間に、自車両10の進行方向に平行な方向に沿って距離Zv(N−1)から距離Zv(0)に接近した場合に、自車両10のZ方向での相対速度Vsを算出し、自車両10と対象物20とが所定地上高H以内で相対速度Vsを維持して移動すると仮定した場合に、所定の余裕時間Ts以内に自車両10と対象物20とが接触するか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS37に進む。
一方、この判定結果が「YES」の場合には、ステップS32に進む。
なお、余裕時間Tsは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Tsだけ以前のタイミングで判定するための時間であって、例えば2〜5秒程度に設定される。また、所定地上高Hは、例えば自車両10の車高の2倍程度の値に設定される。
First, in step S31 shown in FIG. 4, a collision determination process is performed. In this collision determination process, for example, in FIG. 5, the
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S32.
The margin time Ts is a time for determining the possibility of occurrence of contact at a timing earlier than the predicted contact occurrence time by a predetermined time Ts, and is set to about 2 to 5 seconds, for example. Further, the predetermined ground height H is set to a value that is about twice the vehicle height of the
次に、ステップS32においては、検出した対象物が所定の接近判定領域内に存在するか否かを判定する。この判定処理では、例えば図6に示すように、赤外線カメラ2R,2Lで監視可能な領域AR0内において、自車両10から距離(Vs×Ts)だけ前方の位置Z1よりも手前の領域であって、車両横方向(つまり、X方向)において自車両10の車幅αの両側に所定幅β(例えば、50〜100cm程度)を加算して得た幅(α+2β)を有する所定地上高Hの領域AR1、すなわち対象物が存在し続ければ自車両10との接触発生の可能性が極めて高い接近判定領域AR1内に対象物が存在するか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS34に進む。
一方、この判定結果が「NO」の場合には、ステップS33に進む。
Next, in step S32, it is determined whether or not the detected object exists within a predetermined approach determination area. In this determination process, for example, as shown in FIG. 6, in the area AR <b> 0 that can be monitored by the
If this determination is “YES”, the flow proceeds to step
On the other hand, if this determination is “NO”, the flow proceeds to step S33.
そして、ステップS33においては、対象物が接近判定領域内に進入して自車両10と接触する可能性があるか否かを判定する進入衝突判定処理を行う。この進入衝突判定処理では、例えば図6に示すように、車両横方向(つまり、X方向)において接近判定領域AR1の外側に存在する所定地上高Hの進入判定領域AR2、AR3内に存在する対象物が、移動して接近判定領域AR1に進入すると共に自車両10と接触する可能性があるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS36に進む。
一方、この判定結果が「NO」の場合には、後述するステップS37に進む。
And in step S33, the approach collision determination process which determines whether a target object enters into an approach determination area | region and may contact with the
If this determination is “YES”, the flow proceeds to step S 36 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step
そして、ステップS34においては、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。この人工構造物判定処理では、後述するように、例えば歩行者にはあり得ない特徴が検出された場合に対象物は人工構造物であると判定し、警報の対象から除外する。
この判定結果が「NO」の場合には、ステップS35に進む。
一方、この判定結果が「YES」の場合には、ステップS37に進む。
そして、ステップS35においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップS35の判定結果が「YES」の場合には、ステップS36に進む。
一方、ステップS35の判定結果が「NO」の場合には、後述するステップS37に進む。
And in step S34, the artificial structure determination process which determines whether a target object is an artificial structure is performed. In this artificial structure determination process, as described later, for example, when a feature that is impossible for a pedestrian is detected, it is determined that the target object is an artificial structure, and is excluded from the alarm target.
If this determination is “NO”, the flow proceeds to step S35.
On the other hand, if this determination is “YES”, the flow proceeds to step
And in step S35, the pedestrian determination process which determines whether there exists a possibility that a target object is a pedestrian is performed.
If the determination result of step S35 is “YES”, the process proceeds to step S36.
On the other hand, when the determination result of step S35 is “NO”, the process proceeds to step S37 described later.
そして、ステップS36においては、上述したステップS33において対象物が接近判定領域内へ進入して自車両10と接触する可能性がある場合(ステップS33のYES)、あるいは、ステップS35において人工構造物ではないと判定された対象物が歩行者であると判定された場合(ステップS35のYES)には、検出した対象物と自車両10との接触発生の可能性があると判断して、対象物は警報の対象であると判定し、一連の処理を終了する。
一方、ステップS37においては、上述したステップS31において所定の余裕時間Ts以内に自車両10と対象物とが接触する可能性がない場合(ステップS31のNO)、あるいは、ステップS33において対象物が接近判定領域内へ進入して自車両10と接触する可能性がない場合(ステップS33のNO)、あるいは、ステップS34において対象物が人工構造物であると判定された場合(ステップS34のYES)、あるいはステップS34において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合(ステップS35のNO)には、検出した対象物と自車両10との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。
In step S36, if the object may enter the approach determination area and come into contact with the
On the other hand, in step S37, when there is no possibility that the
以下に、上述したステップS34での人工構造物判定処理として、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と歩行者とを判別する処理について説明する。 Hereinafter, as the artificial structure determination process in step S34 described above, an artificial structure and a pedestrian having a size and height position similar to the shape of the pedestrian, particularly the shape of the head, are distinguished. Processing to be performed will be described.
この人工構造物判定処理では、例えば図7に示すように、基準画像(例えば、赤外線カメラ2Rにより得られた右画像)上において、2値化対象物OBの少なくとも一部を含む領域であって、輝度状態量の算出対象となる対象領域(マスク)OAを設定する。
例えば2値化対象物OBの外接四角形QBの左上頂点QLの座標(xb,yb)と、外接四角形の幅Wbと、外接四角形の高さHbとに対して、マスクOAの幅dxPを所定値(例えば、2pixel)とし、マスクOAの高さdyPを所定値(例えば、外接四角形の高さHbの2倍の値=2×Hb)とすれば、マスクOAの左上頂点ALの座標(xP,yP)は、(xP=xb+Wb/2−1,yP=yb−Hb)となる。
そして、縦方向(つまりy方向であって、鉛直方向下方が正方向)の各縦位置J(Jは適宜の整数)毎での横方向(つまりx方向)に沿った輝度値の平均値(横平均輝度)の縦位置Jに応じた変化(横平均輝度プロジェクション)F(J)を算出する。
In this artificial structure determination process, for example, as shown in FIG. 7, an area including at least a part of the binarized object OB on a reference image (for example, the right image obtained by the
For example, the width dxP of the mask OA is a predetermined value with respect to the coordinates (xb, yb) of the upper left vertex QL of the circumscribed rectangle QB of the binarized object OB, the width Wb of the circumscribed rectangle, and the height Hb of the circumscribed rectangle. (For example, 2 pixels) and the height dyP of the mask OA is a predetermined value (for example, a value twice the height Hb of the circumscribed square = 2 × Hb), the coordinates (xP, yP) becomes (xP = xb + Wb / 2-1, yP = yb−Hb).
The average value of luminance values along the horizontal direction (that is, the x direction) at each vertical position J (where J is an appropriate integer) in the vertical direction (that is, the y direction and the vertical direction is the positive direction) ( A change (horizontal average luminance projection) F (J) corresponding to the vertical position J of (horizontal average luminance) is calculated.
そして、例えば図8に示すように、横平均輝度プロジェクションF(J)に対して、縦位置Jに応じた傾きの変化(微分係数)S(J)を算出する。ここでは、例えば各縦位置Jでの所定縦幅毎に横平均輝度プロジェクションF(J)の一次近似直線の傾きを算出し、各縦位置Jでの微分係数S(J)として設定する。
そして、横平均輝度プロジェクションF(J)が略最大値となる位置(最大ピーク位置)j_enと、略最小値となる位置(最小ピーク位置)j_stとを検知する。
ここで、最大ピーク位置j_enを検知する際には、先ず、第1の判定処理として、横平均輝度プロジェクションF(J)に適宜のエッジフィルタを作用させて得たエッジフィルタ出力値eg_calが所定閾値EG_TH(例えば、10)よりも大きいか否かを判定する。
さらに、第2の判定処理として、横平均輝度プロジェクションF(J)において、隣り合う縦位置での輝度差{F(J)−F(J−1)}が所定差KDIFF_TH(例えば、−10)よりも大きいか否かを判定する。
そして、第1の判定処理の判定結果および第2の判定処理の判定結果が「YES」である場合、つまり
eg_cal>EG_TH、かつ、
{F(J)−F(J−1)}>KDIFF_TH
である場合には、例えば図9に示すように、エッジフィルタ出力値eg_calが最大となる位置を最大ピーク位置j_enとして設定する。
一方、少なくとも第1の判定処理または第2の判定処理の何れかの判定結果が「NO」である場合には、最大ピーク位置j_enが存在しないとする。
Then, for example, as shown in FIG. 8, a change in slope (differential coefficient) S (J) corresponding to the vertical position J is calculated for the horizontal average luminance projection F (J). Here, for example, the slope of the primary approximate line of the horizontal average luminance projection F (J) is calculated for each predetermined vertical width at each vertical position J, and set as the differential coefficient S (J) at each vertical position J.
Then, a position (maximum peak position) j_en at which the horizontal average luminance projection F (J) has a substantially maximum value and a position (minimum peak position) j_st at which the lateral average luminance projection F (J) has a substantially minimum value are detected.
Here, when the maximum peak position j_en is detected, first, as a first determination process, an edge filter output value eg_cal obtained by applying an appropriate edge filter to the horizontal average luminance projection F (J) is a predetermined threshold value. It is determined whether it is larger than EG_TH (for example, 10).
Further, as the second determination process, in the horizontal average luminance projection F (J), the luminance difference {F (J) −F (J−1)} at adjacent vertical positions is a predetermined difference KDIFF_TH (for example, −10). It is judged whether it is larger than.
When the determination result of the first determination process and the determination result of the second determination process are “YES”, that is, eg_cal> EG_TH, and
{F (J) -F (J-1)}> KDIFF_TH
In this case, for example, as shown in FIG. 9, the position where the edge filter output value eg_cal is maximized is set as the maximum peak position j_en.
On the other hand, if at least the determination result of either the first determination process or the second determination process is “NO”, it is assumed that the maximum peak position j_en does not exist.
また、最小ピーク位置j_stを検知する際には、最大ピーク位置j_enよりも縦位置Jが小さい領域において、先ず、第3の判定処理として、隣り合う縦位置での微分係数S(J)および微分係数S(J―1)が所定閾値SMIN_THよりも小さいか否かを判定する。
さらに、第4の判定処理として、第3の判定処理での縦位置Jに対して横平均輝度プロジェクションF(J)が所定閾値KIDO_TH(例えば、100階調)よりも小さいか否かを判定する。
そして、第3の判定処理の判定結果および第4の判定処理の判定結果が「YES」である場合、つまり
S(J)<SMIN_TH、かつ、
S(J―1)<SMIN_TH、かつ、
F(J)<KIDO_TH
である場合には、例えば図9に示すように、対応する縦位置Jを最小ピーク位置j_stとして設定する。
一方、少なくとも第3の判定処理または第4の判定処理の何れかの判定結果が「NO」である場合には、最小ピーク位置j_stが存在しないとする。
When the minimum peak position j_st is detected, in a region where the vertical position J is smaller than the maximum peak position j_en, first, as a third determination process, the differential coefficient S (J) and the differential at the adjacent vertical positions. It is determined whether the coefficient S (J-1) is smaller than a predetermined threshold value SMIN_TH.
Further, as the fourth determination process, it is determined whether or not the horizontal average luminance projection F (J) is smaller than a predetermined threshold KIDO_TH (for example, 100 gradations) with respect to the vertical position J in the third determination process. .
When the determination result of the third determination process and the determination result of the fourth determination process are “YES”, that is, S (J) <SMIN_TH, and
S (J-1) <SMIN_TH, and
F (J) <KIDO_TH
In this case, for example, as shown in FIG. 9, the corresponding vertical position J is set as the minimum peak position j_st.
On the other hand, if at least the determination result of either the third determination process or the fourth determination process is “NO”, it is assumed that the minimum peak position j_st does not exist.
そして、最大ピーク位置j_enと最小ピーク位置j_stとの差分に対応する実空間での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp}が所定長さSLOPE_TH(例えば、1m)よりも長いか否かを判定する。
この判定結果が「YES」の場合、つまり
{|j_en−j_st|×p}>SLOPE_TH
である場合には、例えば縦方向における熱分布が相対的に緩やかであると判断して、2値化対象物が人工構造物であると判定して、一連の処理を終了する。
一方、この判定結果が「NO」の場合、つまり
{|j_en−j_st|×p}≦SLOPE_TH
である場合には、例えば縦方向における熱分布が相対的に急峻であり、2値化対象物が縦方向に伸びる人工構造物以外であって、例えば2値化対象物が相対的に縦方向に伸びない歩行者等であると判定して、一連の処理を終了する。
The section length {| maximum peak position j_en−minimum peak position j_st | × pixel pitch p} in the real space corresponding to the difference between the maximum peak position j_en and the minimum peak position j_st is a predetermined length SLOPE_TH (for example, 1 m ) To determine whether it is longer.
When this determination result is “YES”, that is, {| j_en−j_st | × p}> SLOPE_TH
If it is, for example, it is determined that the heat distribution in the vertical direction is relatively gentle, it is determined that the binarized object is an artificial structure, and the series of processing ends.
On the other hand, when the determination result is “NO”, that is, {| j_en−j_st | × p} ≦ SLOPE_TH.
For example, the heat distribution in the vertical direction is relatively steep, and the binarized object is other than an artificial structure extending in the vertical direction. For example, the binarized object is relatively long in the vertical direction. It is determined that the person is a pedestrian or the like that does not stretch, and the series of processing ends.
上述したように、本実施の形態による車両周辺監視装置によれば、最大ピーク位置j_enと最小ピーク位置j_stとの差分に対応する実空間での区間長さが人体の身体的特徴として許容される所定長さSLOPE_TH(例えば、1m)よりも長い場合には、縦方向における熱分布が過剰に緩やかであると判断して、人工構造物であると的確に判別することができる。 As described above, according to the vehicle periphery monitoring device according to the present embodiment, the section length in the real space corresponding to the difference between the maximum peak position j_en and the minimum peak position j_st is allowed as a physical feature of the human body. When the length is longer than a predetermined length SLOPE_TH (for example, 1 m), it can be determined that the heat distribution in the vertical direction is excessively gentle, and can be accurately determined as an artificial structure.
なお、上述した実施の形態においては、実空間での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp}が所定長さSLOPE_TH(例えば、1m)よりも長い場合には、2値化対象物が人工構造物であると判定したが、これに限定されず、さらに、グレースケール画像上において、2値化対象物に係る相対的に高輝度の領域の縦横比が所定上限値以上あるいは所定下限値以下であるか否かを判定し、この判定結果に応じて2値化対象物が人工構造物であるか否か(例えば、歩行者等であるか否か)を判定してもよい。 In the above-described embodiment, when the section length {| maximum peak position j_en−minimum peak position j_st | × pixel pitch p} in the real space is longer than a predetermined length SLOPE_TH (for example, 1 m). Although it has been determined that the binarized object is an artificial structure, the present invention is not limited to this, and the aspect ratio of a relatively bright area related to the binarized object is predetermined on the grayscale image. It is determined whether it is greater than or equal to the upper limit value or less than the predetermined lower limit value, and whether or not the binarized object is an artificial structure (for example, whether it is a pedestrian or the like) according to the determination result. You may judge.
この変形例では、例えば図10に示すように、2値化対象物に係る相対的に高輝度の領域の縦幅c_Hおよび横幅c_Wを算出する際に、先ず、横平均輝度プロジェクションF(J)と最大ピーク位置j_enと最小ピーク位置j_stとに基づき、横平均輝度プロジェクションF(J)の平均値(平均輝度値)AVE_H(={F(j_st)+…+F(j_en)}/{(j_st)−(j_en+1)})を算出する。
そして、横平均輝度プロジェクションF(J)において輝度値が平均輝度値AVE_Hよりも大きい領域の幅の約2倍の値を縦幅c_Hとして設定する。
In this modification, for example, as shown in FIG. 10, when calculating the vertical width c_H and the horizontal width c_W of the relatively high luminance area related to the binarized object, first, the horizontal average luminance projection F (J) , Average value (average luminance value) AVE_H (= {F (j_st) +... + F (j_en)} / {(j_st) of the horizontal average luminance projection F (J) based on the maximum peak position j_en and the minimum peak position j_st. -(J_en + 1)}).
Then, in the horizontal average luminance projection F (J), a value that is approximately twice the width of the region where the luminance value is larger than the average luminance value AVE_H is set as the vertical width c_H.
次に、最大ピーク位置j_enを中心として、幅dyAが所定値(例えば、2pixel)、かつ、高さdxAが所定値(例えば、外接四角形の幅Wbの2倍の値=2×Wb)のマスクCAを設定し、横方向(つまりx方向)の各横位置I(Iは適宜の整数)毎での縦方向(つまりy方向)に沿った輝度値の平均値(縦平均輝度)の横位置Iに応じた変化(縦平均輝度プロジェクション)W(I)を算出する。
そして、縦平均輝度プロジェクションW(I)において輝度値が平均輝度値AVE_Hよりも大きい領域の幅の値を横幅c_Wとして設定する。
そして、縦横比(=縦幅c_H/横幅c_W)が所定上限値R_THU(例えば、2等)よりも大きいか否か、あるいは、縦横比(=縦幅c_H/横幅c_W)が所定下限値R_THL(例えば、0.5等)よりも小さいか否かを判定する。
Next, with the maximum peak position j_en as the center, the width dyA is a predetermined value (for example, 2 pixels), and the height dxA is a predetermined value (for example, a value twice the width Wb of the circumscribed rectangle = 2 × Wb). CA is set, and the horizontal position of the average value (vertical average luminance) of the luminance values along the vertical direction (that is, y direction) for each horizontal position I (I is an appropriate integer) in the horizontal direction (that is, x direction) A change (vertical average luminance projection) W (I) corresponding to I is calculated.
Then, in the vertical average luminance projection W (I), the value of the width of the region where the luminance value is larger than the average luminance value AVE_H is set as the horizontal width c_W.
Then, whether the aspect ratio (= vertical width c_H / horizontal width c_W) is larger than a predetermined upper limit value R_THU (for example, 2 etc.), or the aspect ratio (= vertical width c_H / horizontal width c_W) is a predetermined lower limit value R_THL ( For example, it is determined whether it is smaller than 0.5.
この判定結果が「YES」の場合、つまり実空間での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp}が所定長さSLOPE_TH(例えば、1m)よりも長い状態であって、かつ、2値化対象物に係る相対的に高輝度の領域が過剰に縦長あるいは横長である場合には、2値化対象物が人工構造物であると判定して、一連の処理を終了する。
一方、この判定結果が「NO」の場合、つまり実空間での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp}が所定長さSLOPE_TH(例えば、1m)よりも長い状態であっても、縦横比が所定下限値R_THL(例えば、0.5等)以上かつ所定上限値R_THU(例えば、2等)以下の所定範囲内であれば、2値化対象物が縦方向に伸びる人工構造物あるいは横方向に伸びる人工構造物ではなく、例えば2値化対象物が相対的に縦方向に伸びない特徴を有する歩行者等であると判定して、一連の処理を終了する。
この変形例においては、最大ピーク位置j_enと最小ピーク位置j_stとの差分に対応する実空間での区間長さに加えて、2値化対象物に係る相対的に高輝度の領域の縦横比に基づき人工構造物であるか否かを判定することにより、対象物の種別を判定する際の信頼度を向上させることができる。
If the determination result is “YES”, that is, the section length {| maximum peak position j_en−minimum peak position j_st | × pixel pitch p} in the real space is longer than a predetermined length SLOPE_TH (for example, 1 m). If the relatively high brightness area of the binarized object is excessively vertically or horizontally long, it is determined that the binarized object is an artificial structure, and a series of processes Exit.
On the other hand, when the determination result is “NO”, that is, the section length {| maximum peak position j_en−minimum peak position j_st | × pixel pitch p} in the real space is longer than a predetermined length SLOPE_TH (for example, 1 m). Even in the state, if the aspect ratio is within a predetermined range not less than a predetermined lower limit value R_THL (for example, 0.5) and not more than a predetermined upper limit value R_THU (for example, 2), the binarized object is in the vertical direction. For example, it is determined that the object to be binarized is not a man-made structure extending in the horizontal direction or an artificial structure extending in the horizontal direction, such as a pedestrian having a characteristic that the binarized object does not relatively extend in the vertical direction, and the series of processing ends. .
In this modification, in addition to the section length in the real space corresponding to the difference between the maximum peak position j_en and the minimum peak position j_st, the aspect ratio of the relatively high brightness area related to the binarized object is set. By determining whether or not the structure is an artificial structure, the reliability when determining the type of the object can be improved.
なお、上述した実施の形態においては、最大ピーク位置j_enと最小ピーク位置j_stとの差分に対応する実空間での区間に対して判定処理を実行したが、これに限定されず、例えば最大ピーク位置j_enを含む所定範囲内の位置と、最小ピーク位置j_stを含む所定範囲内の位置との差分に対応する実空間での区間等のように、対象物の種別を判定可能な略最大輝度値の位置と略最小輝度値の位置との間の区間に対して判定処理を実行してもよい。 In the above-described embodiment, the determination process is performed on the section in the real space corresponding to the difference between the maximum peak position j_en and the minimum peak position j_st. A substantially maximum luminance value that can determine the type of an object, such as a section in a real space corresponding to a difference between a position within a predetermined range including j_en and a position within a predetermined range including the minimum peak position j_st. The determination process may be executed for a section between the position and the position of the substantially minimum luminance value.
1 画像処理ユニット
2R,2L 赤外線カメラ(赤外線撮像手段)
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 表示装置
10 自車両
ステップS7 2値化対象物抽出手段
ステップS19 警報出力手段
ステップS34 領域設定手段、輝度状態量算出手段、区間状態量算出手段、対象物種別判定手段、所定領域設定手段、縦横比算出手段、縦横比判定手段
ステップS35 歩行者認識手段
1
3 yaw rate sensor 4
Claims (4)
前記画像のグレースケール画像を2値化処理して得た画像データから2値化対象物を抽出する2値化対象物抽出手段と、
前記グレースケール画像上に、前記2値化対象物抽出手段により抽出された前記2値化対象物の少なくとも一部を含む領域を設定する領域設定手段と、
前記領域設定手段により設定された前記領域の輝度状態量を算出する輝度状態量算出手段と、
前記輝度状態量算出手段により算出された前記輝度状態量に基づき前記領域内での最大輝度値の位置と最小輝度値の位置との間の区間に係る区間状態量を算出する区間状態量算出手段と、
前記区間状態量算出手段により算出された前記区間状態量に基づき前記対象物の種別を判定する対象物種別判定手段と
を備えることを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device that extracts an object existing in the outside of the host vehicle as an object based on an image obtained by imaging by an infrared imaging means,
Binarization object extraction means for extracting a binarization object from image data obtained by binarizing the grayscale image of the image;
An area setting unit that sets an area including at least a part of the binarized object extracted by the binarized object extracting unit on the grayscale image;
A luminance state quantity calculating means for calculating the luminance state quantity of the area set by the area setting means;
Section state quantity calculating means for calculating a section state quantity relating to a section between the position of the maximum luminance value and the position of the minimum luminance value in the area based on the luminance state quantity calculated by the luminance state quantity calculating means. When,
A vehicle periphery monitoring device comprising: an object type determining unit that determines a type of the object based on the section state amount calculated by the section state amount calculating unit.
該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項1または請求項2に記載の車両周辺監視装置。 Pedestrian recognition means for recognizing pedestrians existing in the external world of the vehicle based on the image,
The pedestrian recognition means performs a pedestrian recognition process on the object that is determined to be other than an artificial structure or a pedestrian by the object type determination means. Item 3. The vehicle periphery monitoring device according to Item 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005346012A JP4283266B2 (en) | 2004-11-30 | 2005-11-30 | Vehicle periphery monitoring device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347330 | 2004-11-30 | ||
JP2005346012A JP4283266B2 (en) | 2004-11-30 | 2005-11-30 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006185429A JP2006185429A (en) | 2006-07-13 |
JP4283266B2 true JP4283266B2 (en) | 2009-06-24 |
Family
ID=36738460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005346012A Expired - Fee Related JP4283266B2 (en) | 2004-11-30 | 2005-11-30 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4283266B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5399887B2 (en) * | 2009-12-28 | 2014-01-29 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
-
2005
- 2005-11-30 JP JP2005346012A patent/JP4283266B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006185429A (en) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4410292B1 (en) | Vehicle periphery monitoring device | |
US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
JP3934119B2 (en) | Vehicle periphery monitoring device | |
US7561719B2 (en) | Vehicle surroundings monitoring apparatus | |
US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4104867B2 (en) | Night vision system | |
US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
US20060115119A1 (en) | Vehicle surroundings monitoring apparatus | |
JP2003284057A (en) | Vehicle periphery monitoring unit | |
US7403639B2 (en) | Vehicle surroundings monitoring apparatus | |
US7526104B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4425852B2 (en) | Vehicle periphery monitoring device | |
US7515737B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4298699B2 (en) | Vehicle periphery monitoring device | |
JP5291524B2 (en) | Vehicle periphery monitoring device | |
JP4283266B2 (en) | Vehicle periphery monitoring device | |
JP3898157B2 (en) | Infrared image recognition device | |
JP4358183B2 (en) | Vehicle periphery monitoring device | |
US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4372746B2 (en) | Vehicle periphery monitoring device | |
JP5339969B2 (en) | Vehicle periphery monitoring device | |
JP2004348645A (en) | Infrared image recognition apparatus and alarm equipment using the same | |
JP4472623B2 (en) | Vehicle periphery monitoring device | |
JP2011048650A (en) | Vehicle surrounding monitoring apparatus | |
JP2003309843A (en) | Obstacle warning device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090318 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |