JP5927110B2 - Vehicle external recognition device - Google Patents

Vehicle external recognition device Download PDF

Info

Publication number
JP5927110B2
JP5927110B2 JP2012283337A JP2012283337A JP5927110B2 JP 5927110 B2 JP5927110 B2 JP 5927110B2 JP 2012283337 A JP2012283337 A JP 2012283337A JP 2012283337 A JP2012283337 A JP 2012283337A JP 5927110 B2 JP5927110 B2 JP 5927110B2
Authority
JP
Japan
Prior art keywords
obstacle
saliency
image
vehicle
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012283337A
Other languages
Japanese (ja)
Other versions
JP2014127032A (en
Inventor
健人 緒方
健人 緒方
隆 筒井
隆 筒井
將裕 清原
將裕 清原
冬樹 井上
冬樹 井上
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to JP2012283337A priority Critical patent/JP5927110B2/en
Publication of JP2014127032A publication Critical patent/JP2014127032A/en
Application granted granted Critical
Publication of JP5927110B2 publication Critical patent/JP5927110B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、カメラ等の画像センサからの情報に基づいて障害物との衝突を回避するための警報や自動ブレーキ等を実施する自動車のための車両用外界認識装置に関する。   The present invention relates to a vehicle external environment recognition device for an automobile that implements an alarm, an automatic brake, or the like for avoiding a collision with an obstacle based on information from an image sensor such as a camera.
交通事故による死傷者数を低減するため、事故を未然に防ぐための予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車両前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、さらに衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
ここで、障害物に対する前記警報や前記自動ブレーキなどは、運転者が障害物に気づいていない場合には、運転者が障害物に気づいている場合よりも早いタイミングで実施することが望ましいと考えられる。以降、本書ではドライバの気づきやすさに関する指標を「視認性」と呼ぶ。視認性は、脳波等から直接センシングすることは困難であるため、視認性に基づくアプリケーションを提供するためには、これを間接的に推測する必要がある。
In order to reduce the number of casualties due to traffic accidents, the development of preventive safety systems to prevent accidents is in progress. A preventive safety system is a system that operates in a situation where there is a high possibility of an accident. For example, when a collision with an obstacle in front of the host vehicle occurs, the driver is alerted, and a collision occurs. A pre-crash safety system has been put into practical use that reduces the damage to passengers by automatic braking when it becomes inevitable.
Here, it is considered that the warning and the automatic brake for the obstacle are preferably performed at an earlier timing when the driver is not aware of the obstacle than when the driver is aware of the obstacle. It is done. Hereinafter, in this document, an indicator relating to the driver's awareness is referred to as “visibility”. Since it is difficult to directly sense visibility from an electroencephalogram or the like, it is necessary to indirectly estimate this in order to provide an application based on visibility.
特許文献1には、カメラやレーダ等の障害物センサにより障害物までの距離を検出し、赤外光カメラにより障害物が人間に対応する輻射温度範囲内にあるか否かを判定し、障害物が人間であり、かつ、障害物との距離が所定距離以下である場合には、クラクションをオンさせると共に障害物の方向に前照灯の光軸を向けて配光量を増加すること、及び、フォグランプのオン/オフやワイパ速度によって視認性を判定して視認性が悪いほど前記所定距離を長くすること、が記載されている。   In Patent Document 1, a distance to an obstacle is detected by an obstacle sensor such as a camera or a radar, and it is determined whether or not the obstacle is within a radiation temperature range corresponding to a human by an infrared light camera. If the object is a human and the distance to the obstacle is less than or equal to the predetermined distance, turn on the horn and increase the light distribution by directing the optical axis of the headlamp in the direction of the obstacle, and In addition, it is described that visibility is determined based on fog lamp on / off and a wiper speed, and the predetermined distance is increased as visibility decreases.
特許文献2には、横移動する前方物体の横移動速度、位置及び大きさに基づいて当該物体の危険度を判定し、危険度が所定値よりも大きいときに警報によって運転者の注意を喚起すること、及び、視認性の悪い雨天時や夜間時には前記所定値を小さくするように補正して前記警報が行われる易くすること、が記載されている。   In Patent Document 2, the degree of danger of the object is judged based on the lateral movement speed, position and size of the forward moving object, and the driver's attention is alerted when the degree of danger is greater than a predetermined value. And making it easier to perform the alarm by correcting the predetermined value to be small during rainy weather or nighttime when visibility is poor.
特許文献3には、ドライバの視線を検出し、遠赤外線カメラで歩行者を検出し、可視光カメラで歩行者の位置における画像の明るさと背景を比較し、そのコントラストが所定値以下であれば視認性不良と判定し、視認性不良の場合には歩行者の位置に相当する視点の位置に輝度の明るい丸い枠を表示することが記載されている。   In Patent Document 3, a driver's line of sight is detected, a pedestrian is detected with a far-infrared camera, and the brightness and background of the image at the position of the pedestrian are compared with a visible light camera. It is described that it is determined that the visibility is poor, and in the case where the visibility is poor, a bright round frame is displayed at the position of the viewpoint corresponding to the position of the pedestrian.
特開2001−91618号公報JP 2001-91618 A 特開2000−251200号公報JP 2000-251200 A 特開2005−135037号公報JP 2005-135037 A
しかし、特許文献1,2に記載の技術は、雨天時や夜間時などは一律に視認性が悪いと判定しており、障害物毎の視認性が考慮されていない点で問題がある。例えば、自車両前方の歩行者が明るい色等の服を着ている場合には、雨天時や夜間時であっても運転者が当該歩行車に気づく可能性が高いと考えられるが、このような場合にまで警報等を早めに実施してしまうと、却って運転者に煩わしさを与えたり、運転の妨げとなったりするおそれがある。   However, the techniques described in Patent Documents 1 and 2 have a problem in that the visibility is uniformly poor during rainy weather or nighttime, and the visibility for each obstacle is not considered. For example, if a pedestrian in front of the host vehicle is wearing bright clothes, the driver is likely to notice the pedestrian even when it is raining or at night. If the warning is given early in such a case, the driver may be bothered or disturbed.
一方、特許文献3に記載の技術は、歩行者(障害物)の位置における画像の明るさと背景とを比較しており、障害物毎の視認性が考慮されているように見える。しかし、歩行者の服装の色等によっては、歩行者の位置における画像の明るさと背景との差が小さくても運転者が当該歩行者に容易に気づくことができる場合があり、逆に、歩行者の位置における画像の明るさと背景との差が大きくても運転者が歩行者に気づきにくい場合もある。したがって、障害物の視認性を精度よく判定しているとは言えず、単に表示を変化させるだけであれば特に問題とならないと考えられるが、警報等を実施する場合には、警報等の適切な実施及び運転者への煩わしさの抑制という点で改良の余地がある。   On the other hand, the technique described in Patent Document 3 compares the brightness of the image at the position of the pedestrian (obstacle) with the background, and it seems that the visibility for each obstacle is taken into consideration. However, depending on the color of the pedestrian's clothes, the driver may be able to easily recognize the pedestrian even if the difference between the brightness of the image at the pedestrian's position and the background is small. Even if the difference between the brightness of the image at the person's position and the background is large, the driver may not be able to notice the pedestrian. Therefore, it cannot be said that the visibility of obstacles is accurately determined, and it is considered that there is no particular problem if the display is simply changed. There is room for improvement in terms of efficient implementation and suppression of inconvenience to the driver.
そこで、本発明は、障害物個別の認知のしやすさ(以後、本書では「顕著性」と呼ぶ)の推定精度を向上させ、運転者が気づいていない可能性の高い障害物と、運転者が気づきやすい又は気づいている可能性の高い障害物とで、警報や自動ブレーキなどの車両における障害物回避制御のタイミングを変更させることのできる車両用外界認識装置を提供することを目的とする。   Therefore, the present invention improves the accuracy of estimating the ease of recognition of individual obstacles (hereinafter referred to as “saliency” in this document), the obstacles that the driver is not likely to notice, and the driver It is an object of the present invention to provide a vehicle external recognition device capable of changing the timing of obstacle avoidance control in a vehicle such as an alarm or an automatic brake with an obstacle that is likely to be noticed or highly likely to be noticed.
そのため、本発明の一側面による車両用外界認識装置は、自車両周囲の画像を取得する画像取得部と、自車両周囲の障害物の位置情報を取得する情報取得部と、前記画像における前記障害物を含む所定領域の色情報に基づく当該所定領域の輝度成分に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有する。前記障害物顕著性推定部は、画像の前記所定領域の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて障害物の画像顕著性を算出し、その算出結果に基づいて障害物の顕著性を推定する。前記車両制御判定部は、自車両が前記障害物に衝突するまでの衝突時間を算出し、当該衝突時間が閾値以下の場合に前記障害物回避制御の実行指令を出力すると共に、前記障害物の顕著性が高いほど前記閾値を小さく設定する。 Therefore, an external environment recognition device for a vehicle according to one aspect of the present invention includes an image acquisition unit that acquires an image around the host vehicle, an information acquisition unit that acquires position information of an obstacle around the host vehicle, and the obstacle in the image. Based on the luminance component of the predetermined area based on the color information of the predetermined area including the obstacle, based on the obstacle saliency estimation unit that estimates the saliency of the obstacle, and based on the estimated saliency of the obstacle, to have a, and the vehicle control determination unit determines the output necessity or the output timing of the execution command of the obstacle avoidance control in a vehicle. The obstacle saliency estimating unit calculates an image saliency of an obstacle using a saliency map based on at least one of a luminance component, a color component, and an edge angle component of the predetermined region of the image, The saliency of the obstacle is estimated based on the calculation result. The vehicle control determination unit calculates a collision time until the host vehicle collides with the obstacle, and outputs an execution command of the obstacle avoidance control when the collision time is equal to or less than a threshold, The higher the saliency, the smaller the threshold is set.
また、本発明の他の側面による車両用外界認識装置は、自車両周囲の画像を取得する画像取得部と、前記画像全体の色情報に基づく輝度成分に基づいて、前記画像の各画素の顕著性を推定する画素顕著性推定部と、自車両周囲の障害物の位置情報を取得する位置情報取得部と、前記画像における前記障害物の位置の各画素の顕著性に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、前記画素顕著性推定部は、前記画像全体の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記画像の各画素の画像顕著性を算出する。前記車両用外界認識装置は、前記画像から画像処理によって前記障害物を検出可能な障害物検出部をさらに有し、前記障害物検出部は、前記画像の各画素の顕著性に基づいて算出された前記画像の顕著性の低い領域から障害物を検出し、当該障害物の位置情報を前記位置情報取得部に出力する。 According to another aspect of the present invention, there is provided an external environment recognition apparatus for a vehicle, wherein an image acquisition unit that acquires an image around the host vehicle and a luminance component based on color information of the entire image are used to recognize each pixel of the image. A pixel saliency estimating unit for estimating the position, a position information acquiring unit for acquiring position information of an obstacle around the host vehicle, and the obstacle based on the saliency of each pixel at the position of the obstacle in the image. An obstacle saliency estimating unit that estimates the saliency of the vehicle, and a vehicle control determination unit that determines whether or not an execution command for executing obstacle avoidance control in the vehicle is output based on the estimated saliency of the obstacle. And the pixel saliency estimation unit uses the saliency map based on at least one of the luminance component, the color component, and the edge angle component of the entire image, and the image saliency of each pixel of the image. Calculate gender. The vehicle external environment recognition apparatus further includes an obstacle detection unit capable of detecting the obstacle by image processing from the image, and the obstacle detection unit is calculated based on the saliency of each pixel of the image. In addition, an obstacle is detected from the low-saliency area of the image, and the position information of the obstacle is output to the position information acquisition unit.
前記車両用外界認識装置は、従来技術に比べて自車両周囲の障害物の顕著性を精度よく推定し、運転者が気づいていない可能性の高い障害物と、運転者が気づきやすい又は気づいている可能性の高い障害物とで、警報や自動ブレーキなどの車両における障害物回避制御のタイミングを変更させることができる。   The vehicle external environment recognition device accurately estimates the saliency of obstacles around the host vehicle compared to the prior art, and is likely to be noticed by the driver and obstacles that are likely not noticed by the driver. It is possible to change the timing of obstacle avoidance control in a vehicle such as an alarm or an automatic brake with an obstacle that is likely to be present.
本発明の第1実施形態による車両用外界認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the external field recognition apparatus for vehicles by 1st Embodiment of this invention. 障害物顕著性推定部における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in an obstacle saliency estimation part. 顕著性マップを用いた障害物の画像顕著性の算出例を示すフローチャートである。It is a flowchart which shows the example of calculation of the image saliency of an obstruction using a saliency map. 障害物顕著性推定部における処理の他の例を示すフローチャートである。It is a flowchart which shows the other example of the process in an obstacle saliency estimation part. 車両制御判定部における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in a vehicle control determination part. 本発明の第2実施形態による車両用外界認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the external field recognition apparatus for vehicles by 2nd Embodiment of this invention. 本発明の第3実施形態による車両用外界認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the external field recognition apparatus for vehicles by 3rd Embodiment of this invention. 本発明の第4実施形態による車両用外界認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the external field recognition apparatus for vehicles by 4th Embodiment of this invention. 障害物検出部における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in an obstruction detection part. 顕著性マップを用いた画像顕著性の算出の流れを示す図である。It is a figure which shows the flow of calculation of the image saliency using a saliency map.
以下、添付図面を参照しつつ本発明の実施形態について説明する。
<第1実施形態>
図1は、本発明の第1実施形態による車両用外界認識装置1000の構成を示すブロック図である。車両用外界認識装置1000は、自動車に搭載されるカメラ装置内もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ1010で撮影した画像内から物体を検出するためのものであり、本実施形態では、自車両周囲の障害物を検知するように構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
<First Embodiment>
FIG. 1 is a block diagram showing the configuration of a vehicle external environment recognition apparatus 1000 according to the first embodiment of the present invention. The vehicle external environment recognition device 1000 is incorporated in a camera device or an integrated controller mounted on an automobile and detects an object from an image captured by the camera 1010 of the camera device. It is configured to detect obstacles around the host vehicle.
車両用外界認識装置1000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Tで繰り返し処理を実行する。   The vehicle external environment recognition apparatus 1000 is configured by a computer having a CPU, a memory, an I / O, and the like. A predetermined process is programmed and the process is repeatedly executed at a predetermined cycle T.
車両用外界認識装置1000は、図1に示すように、画像取得部1011と、障害物情報取得部1021と、障害物顕著性推定部1031と、車両制御判定部1041と、を有する。   As shown in FIG. 1, the vehicle external environment recognition apparatus 1000 includes an image acquisition unit 1011, an obstacle information acquisition unit 1021, an obstacle saliency estimation unit 1031, and a vehicle control determination unit 1041.
画像取得部1011は、自車両の前方を撮像可能な位置に取り付けられたカメラ1010から、自車両周囲を撮影した画像IMGSRC[x][y][c]を取得してRAM上に記憶する。ここで、画像IMGSRC[x][y][c]は2次元配列であり、x、yはそれぞれ画像の座標を示し、cはR,G,B成分(色情報)を示している。   The image acquisition unit 1011 acquires an image IMGSRC [x] [y] [c] obtained by capturing the surroundings of the host vehicle from a camera 1010 attached to a position where the front of the host vehicle can be imaged, and stores the acquired image on the RAM. Here, the image IMGSRC [x] [y] [c] is a two-dimensional array, x and y indicate image coordinates, and c indicates R, G, and B components (color information).
障害物情報取得部1021は、ソナー、レーダ又はステレオカメラなどの自車両周囲の障害物の存在及びその位置を検出可能な装置から、障害物の位置情報PX[b]、PY[b]を取得する。ここで、PXは自車両の左右方向の位置を示し、PYは自車両の前後方向の位置を示している。また、bは複数の障害物が検出された場合の各障害物のID番号である。障害物情報取得部1021は、前記装置からの信号を直接入力することによって障害物の位置情報PX[b],PY[b]を取得してもよいし、LAN(Local Area Network)を用いた通信を行うことによって取得してもよい。   The obstacle information acquisition unit 1021 acquires obstacle position information PX [b] and PY [b] from a device capable of detecting the presence and position of an obstacle around the host vehicle such as a sonar, radar, or stereo camera. To do. Here, PX indicates the position in the left-right direction of the host vehicle, and PY indicates the position in the front-rear direction of the host vehicle. Further, b is the ID number of each obstacle when a plurality of obstacles are detected. The obstacle information acquisition unit 1021 may acquire obstacle position information PX [b], PY [b] by directly inputting a signal from the device, or using a LAN (Local Area Network). You may acquire by performing communication.
障害物顕著性推定部1031は、画像IMGSRC[x][y][c]及び障害物の位置情報PX[b]、PY[b]を入力し、入力した画像及び位置情報に基づいて各障害物の顕著性VSBLT[b]を推定する。なお、障害物顕著性推定部1031における処理の詳細については後述する。
なお、本実施例における顕著性とは、カメラ画像から得られる情報を用いてドライバの見えやすさを数値化したものであり、実際のドライバの顕著性を直接脳波から計測したような値ではない。本実施例では、例えば暗い背景の中で明るい色の服を着た歩行者に対しては高く、暗い背景で黒い服を着た歩行者に対しては低くなるような指標を採用しており、具体的な算出方法については後述する。
The obstacle saliency estimating unit 1031 inputs the image IMGSRC [x] [y] [c] and the obstacle position information PX [b] and PY [b], and each obstacle is based on the input image and position information. Estimate the saliency VSBLT [b] of the object. Details of the processing in the obstacle saliency estimating unit 1031 will be described later.
Note that the saliency in this embodiment is obtained by quantifying the visibility of a driver using information obtained from a camera image, and is not a value obtained by directly measuring the saliency of an actual driver from an electroencephalogram. . In this embodiment, for example, an indicator is adopted that is high for a pedestrian wearing a light color in a dark background and low for a pedestrian wearing a black background in a dark background. A specific calculation method will be described later.
車両制御判定部1041は、各障害物の顕著性VSBLT[b]及び障害物の位置情報PX[b]、PY[b]を入力し、車両における障害物回避制御の実施要否を判定し、障害物回避制御が必要な場合にはその実行指令の出力タイミングを判定する。ここで、前記車両における障害物回避制御は、自車両と障害物との衝突を回避するための制御はもちろん、障害物との衝突による被害を軽減するための制御をも含み、例えば、自車両と衝突する可能性のある障害物の存在を警報によって運転者に知らせること、障害物としての歩行者等に自車両の接近を認知させること、自動ブレーキによって障害物との衝突を回避し又は衝突による被害を軽減すること、などが該当する。車両制御判定部1041における処理の詳細ついては後述する。   The vehicle control determination unit 1041 inputs the saliency VSBLT [b] of each obstacle and the position information PX [b], PY [b] of the obstacle, determines whether or not the obstacle avoidance control in the vehicle is necessary, When obstacle avoidance control is necessary, the output timing of the execution command is determined. Here, the obstacle avoidance control in the vehicle includes not only control for avoiding a collision between the host vehicle and the obstacle, but also control for reducing damage caused by the collision with the obstacle. Inform the driver of the presence of obstacles that may collide with the vehicle, make pedestrians, etc., as obstacles recognize the approach of the vehicle, avoid or collide with obstacles by automatic braking This includes reducing the damage caused by Details of the processing in the vehicle control determination unit 1041 will be described later.
[障害物顕著性推定部]
図2〜図4を用いて、障害物顕著性推定部1031における処理の内容について説明する。図2は、障害物顕著性推定部1031において実施される障害物の顕著性VSBLT[b]の算出処理を示すフローチャートである。
[Obstacle saliency estimation unit]
The contents of processing in the obstacle saliency estimation unit 1031 will be described with reference to FIGS. FIG. 2 is a flowchart showing the calculation process of the obstacle saliency VSBLT [b] performed by the obstacle saliency estimation unit 1031.
図2において、ステップS201では、b=0として初期化する。
ステップS202では、障害物情報取得部1021より取得した障害物の位置情報PX[b]、PY[b]から、画像IMGSRC[x][y][c]上の当該障害物に対応する領域(以下「障害物領域」という)R[b]を算出する。この演算は、空間中の3次元位置を画像上の領域へ変換するものであり、例えば、車両に搭載されたカメラの内部パラメータおよび外部パラメータを事前に計測しておき、この事前に計測されたパラメータや当該カメラの幾何情報(カメラの設置角度や距離と大きさとの関係など)を用いて実施される。障害物領域R[b]は、例えば、前記画像IMGSRC[x][y][c]上の障害物を内包する最小矩形領域として算出される。
In FIG. 2, in step S201, initialization is performed with b = 0.
In step S202, from the obstacle position information PX [b], PY [b] acquired from the obstacle information acquisition unit 1021, an area corresponding to the obstacle on the image IMGSRC [x] [y] [c] ( R [b] (hereinafter referred to as “obstacle region”) is calculated. This calculation is to convert a three-dimensional position in the space to an area on the image. For example, the internal parameters and external parameters of a camera mounted on the vehicle are measured in advance, and the pre-measurement is performed. This is implemented using parameters and geometric information of the camera (such as the installation angle of the camera and the relationship between the distance and the size). The obstacle region R [b] is calculated as, for example, a minimum rectangular region including an obstacle on the image IMGSRC [x] [y] [c].
ステップS203では、障害物領域R[b]及びその周囲領域r[b]から障害物の画像顕著性IV[b]を算出する。周囲領域r[b]は、例えば、障害物領域R[b]の1画素又は数画素だけ外側の領域とすることができる。画像顕著性IV[b]の算出方法については後述する。なお、障害物領域R[b]及びその周囲領域r[b]が本発明における「障害物を含む所定領域」に相当する。   In step S203, the image saliency IV [b] of the obstacle is calculated from the obstacle region R [b] and the surrounding region r [b]. The surrounding region r [b] can be, for example, a region that is one pixel or several pixels outside the obstacle region R [b]. A method for calculating the image saliency IV [b] will be described later. The obstacle region R [b] and the surrounding region r [b] correspond to the “predetermined region including the obstacle” in the present invention.
ステップS204では、現在対象としている障害物の1周期前からN周期前までのそれぞれで算出された過去の画像顕著性IV_z1[b]、・・・、IV_zN[b]を取得する。この過去の画像顕著性の取得は、例えば車両用外界認識装置1000がN周期前までの過去の各障害物に関する情報をRAM等に記憶しておくことによって実現できる。   In step S204, the past image saliency IV_z1 [b],..., IV_zN [b] calculated for each of the obstacles that are currently targeted from one cycle before to N cycles before is acquired. The acquisition of the past image saliency can be realized, for example, by the vehicle external environment recognition apparatus 1000 storing information on each past obstacle up to N cycles before in a RAM or the like.
ステップS205では、障害物の顕著性VSBLT[b]を以下の式により求める。
VSBLT[b]=MAX(IV[b],IV_z1[b],…,IV_zN[b])
現在の画像から算出した画像顕著性が低い場合であっても、直前又はそれよりも前に算出した画像顕著性が高かかった場合には、運転者が当該障害物に気づいている可能性が高いと考えられる。そこで、ステップS205では、現在の画像から算出した画像顕著性IV[b]だけでなく、過去に算出した画像顕著性IV_z[b]をも考慮して障害物の顕著性VSBLT[b]し、これにより、運転者が障害物に気づいている可能性が高い障害物について、画像顕著性が低く算出されてしまうことを抑制している。
In step S205, obstacle saliency VSBLT [b] is obtained by the following equation.
VSBLT [b] = MAX (IV [b], IV_z1 [b],..., IV_zN [b])
Even if the image saliency calculated from the current image is low, if the image saliency calculated immediately before or before is high, the driver may be aware of the obstacle. It is considered high. Therefore, in step S205, the obstacle saliency VSBLT [b] is calculated in consideration of not only the image saliency IV [b] calculated from the current image but also the image saliency IV_z [b] calculated in the past. Thereby, it is suppressed that an image saliency is calculated low about an obstacle with a high possibility that the driver is aware of the obstacle.
そして、ステップS206において、bをインクリメントし、bが障害物数B未満であればステップS202へ戻り、障害物数B以上になっていれば、すべての障害物をチェックしたので処理を終了する。   In step S206, b is incremented. If b is less than the number of obstacles B, the process returns to step S202. If it is greater than or equal to the number of obstacles B, all obstacles have been checked, and the process is terminated.
次に、ステップS203で実施される画像顕著性IV[b]の算出について説明する。
本実施形態において、画像顕著性IV[b]は、障害物領域R[b]及びその周囲領域r[b]の輝度成分に基づいて算出される。簡易には、画像IMGSRC[x][y][c]の各画素の色情報(RGB成分)の平均値(加重平均値を含む)を各画素の輝度値とし、障害物領域R[b]の各画素の輝度値の平均値と、周囲領域r[b]の各画素の輝度値の平均値との差を画像顕著性IV[b]とすることができる。
Next, calculation of image saliency IV [b] performed in step S203 will be described.
In the present embodiment, the image saliency IV [b] is calculated based on the luminance components of the obstacle region R [b] and the surrounding region r [b]. For simplicity, the average value (including the weighted average value) of the color information (RGB components) of each pixel of the image IMGSRC [x] [y] [c] is used as the luminance value of each pixel, and the obstacle region R [b] The difference between the average value of the luminance values of the respective pixels and the average value of the luminance values of the respective pixels in the surrounding region r [b] can be set as the image saliency IV [b].
但し、本実施形態では、顕著性マップという技術を用いて画像顕著性IV[b]を算出する。顕著性マップは、画像における人間の視覚的注意を惹きやすい領域を計算するためのモデルであり、論文等にも記載されている公知の技術である。このため、ここでは顕著性マップについての詳しい説明を省略し、顕著性マップを用いた画像顕著性IV[b]の算出の流れを説明する。   However, in this embodiment, the image saliency IV [b] is calculated using a technique called saliency map. The saliency map is a model for calculating a region that easily attracts human visual attention in an image, and is a well-known technique described in papers and the like. Therefore, a detailed description of the saliency map is omitted here, and the flow of calculating the image saliency IV [b] using the saliency map will be described.
図3は、顕著性マップを用いた画像顕著性IV[b]のフローを示しており、図10は、顕著性マップを用いた画像顕著性IV[b]の算出の流れを示す。
ステップS301では、画像IMGSRC[x][y][c]上の障害物領域R[b]及び周囲領域r[b]から部分画像IMGSRC_R[x][y][c][b]を生成し、部分画像から輝度成分、色成分及びエッジ角度成分(方向成分)を抽出した9つの画像を生成する。本実施形態において、輝度成分は、各画素のRGB成分の平均値を各画素の輝度値とした平均値画像Iであり、色成分は、RGB成分から算出したR,G,B,Yの4つの成分である。また、前記輝度成分に0[deg]、45[deg]、90[deg]、135[deg]のガボールフィルタをかけた4つの成分をエッジ角度成分として生成する。
FIG. 3 shows a flow of image saliency IV [b] using a saliency map, and FIG. 10 shows a flow of calculation of image saliency IV [b] using a saliency map.
In step S301, a partial image IMGSRC_R [x] [y] [c] [b] is generated from the obstacle region R [b] and the surrounding region r [b] on the image IMGSRC [x] [y] [c]. Nine images obtained by extracting the luminance component, the color component, and the edge angle component (direction component) from the partial image are generated. In the present embodiment, the luminance component is an average value image I in which the average value of the RGB components of each pixel is the luminance value of each pixel, and the color components are R, G, B, and Y calculated from the RGB components. Is one ingredient. Also, four components obtained by applying Gabor filters of 0 [deg], 45 [deg], 90 [deg], and 135 [deg] to the luminance component are generated as edge angle components.
ステップS302では、部分画像IMGSRC_R[x][y][c][b]から生成した9つの成分(輝度成分、4つの色成分及び4つのエッジ角度成分)を画素値として持つ9つの部分画像について、画像ピラミッド(ガウシアン・ピラミッド)を生成する。画像ピラミッドは、ある画像をぼかして解像度を半分に落とすという作業を繰り返した際に各段階で生成される画像の集合として構成される。本実施形態では、9段の画像ピラミッドを生成する。よって、9つの部分画像からそれぞれ9段の画像ピラミッドを生成するため、この時点で合計81枚の画像が生成される。   In step S302, nine partial images having nine components (luminance component, four color components, and four edge angle components) generated from the partial image IMGSRC_R [x] [y] [c] [b] as pixel values. Generate an image pyramid (Gaussian pyramid). The image pyramid is configured as a set of images generated at each stage when an operation of blurring an image and reducing the resolution to half is repeated. In this embodiment, a nine-stage image pyramid is generated. Therefore, since nine stages of image pyramids are generated from nine partial images, a total of 81 images are generated at this point.
ステップS303では、一つの画像ピラミッド内のスケールの異なる2枚の画像を選択し、小さい方の画像を大きい方の画像サイズに拡大して、これらの差分画像を求める。   In step S303, two images having different scales in one image pyramid are selected, the smaller image is enlarged to the larger image size, and a difference image between them is obtained.
輝度成分については、スケールの異なる2つの画像を選択して以下の式よって輝度成分の差分画像FIを求める。
FI(c,s)=|GI(c)−GI(s)|
ここで、c、sは、画像ピラミッドの段数であり、sはcよりも段数が大きい。すなわち、段数sの画像は、段数cの画像よりサイズが小さい。
As for the luminance component, two images having different scales are selected, and the luminance component difference image FI is obtained by the following equation.
FI (c, s) = | GI (c) −GI (s) |
Here, c and s are the number of stages of the image pyramid, and s is larger than c. In other words, the image of the number of stages s is smaller than the image of the number of stages c.
色成分画像については、RとG,BとYの差分画像を以下の式で求める。
FRG(c,s)=|(GR(c)−GG(c))−(GG(s)−GR(s))|
FBY(c,s)=|(GB(c)−GY(c))−(GY(s)−GB(s))|
For the color component image, a difference image between R and G, B and Y is obtained by the following equation.
FRG (c, s) = | (GR (c) −GG (c)) − (GG (s) −GR (s)) |
FBY (c, s) = | (GB (c) −GY (c)) − (GY (s) −GB (s)) |
エッジ角度成分については、輝度成分と同様に、0[deg]、45[deg]、90[deg]、135[deg]それぞれのピラミッド画像の異なる段数の画像間で対応する画素値の差分を算出して差分画像を求める。   As for the edge angle component, similarly to the luminance component, a difference between corresponding pixel values is calculated between images of different stages in each of the pyramid images of 0 [deg], 45 [deg], 90 [deg], and 135 [deg]. To obtain a difference image.
なお、ここでは、(c=2、s=5)、(c=2、s=6)、(c=3、s=6)、(c=3、s=7)、(c=4、s=7)、(c=4、s=8)の6種類について差分画像を算出する。これにより、輝度成分については6枚、色成分については12枚、エッジ角度成分については24枚の計42枚の差分画像が生成される。   Here, (c = 2, s = 5), (c = 2, s = 6), (c = 3, s = 6), (c = 3, s = 7), (c = 4, Difference images are calculated for six types (s = 7) and (c = 4, s = 8). As a result, a total of 42 difference images are generated: 6 for the luminance component, 12 for the color component, and 24 for the edge angle component.
ステップS304では、輝度成分の6枚の差分画像、色成分の12枚の差分画像、エッジ角度成分の24枚の差分画像をそれぞれ正規化して重ね合わせ、輝度成分の特徴マップFMI[x][y][b]、色成分の特徴マップFMC[x][y][b]、エッジ角度成分の特徴マップFMO[x][y][b]を作成する。   In step S304, 6 difference images of luminance components, 12 difference images of color components, and 24 difference images of edge angle components are normalized and overlaid, and a luminance component feature map FMI [x] [y] ] [B], a color component feature map FMC [x] [y] [b], and an edge angle component feature map FMO [x] [y] [b].
ステップS305では、各成分を正規化して重み付き平均から顕著性マップSM[x][y][b]を作成する。
SM[x][y][b]=k_I×FMI[x][y][b]+k_C×FMC[x][y][b]+k_O×FMO[x][y][b]
ここで、k_I、k_C及びk_Oは、重み係数であり、本実施形態ではすべて0.33に設定している。
以上説明した顕著性マップの生成に関する処理における各段階での出力を図10に示す。最終的に得られる顕著性マップSM[x][y][b]は、画像IMGSRC[x][y][c]から障害物領域R[b]及び周囲領域r[b]を切り出した部分画像IMGSRC_R[x][y][c][b]と同じ大きさの画像であり、各座標(x、y)の画素値はその座標における顕著性を表す。
In step S305, each component is normalized to create a saliency map SM [x] [y] [b] from the weighted average.
SM [x] [y] [b] = k_I × FMI [x] [y] [b] + k_C × FMC [x] [y] [b] + k_O × FMO [x] [y] [b]
Here, k_I, k_C, and k_O are weighting factors, and are all set to 0.33 in this embodiment.
FIG. 10 shows the output at each stage in the processing related to the generation of the saliency map described above. The finally obtained saliency map SM [x] [y] [b] is a portion obtained by cutting out the obstacle region R [b] and the surrounding region r [b] from the image IMGSRC [x] [y] [c]. The image is the same size as the image IMGSRC_R [x] [y] [c] [b], and the pixel value of each coordinate (x, y) represents the saliency at that coordinate.
そして、ステップS306において、以上のようにして作成された顕著性マップSM[x][y][b]の障害物領域R[b]内の値を用いて画像顕著性IV[b]を算出する。本実施例では顕著性マップSM[x][y][b]における障害物領域R[b]内の画素値の最大値を抽出し、それを障害物領域R[b]の画像顕著性IV[b]とする。
以上のような演算処理によって障害物の画像顕著性IV[b]を算出できる。
In step S306, the image saliency IV [b] is calculated using the values in the obstacle region R [b] of the saliency map SM [x] [y] [b] created as described above. To do. In this embodiment, the maximum value of the pixel values in the obstacle region R [b] in the saliency map SM [x] [y] [b] is extracted and is used as the image saliency IV of the obstacle region R [b]. [B].
The image saliency IV [b] of the obstacle can be calculated by the arithmetic processing as described above.
このように、顕著性マップを用いることにより、人間の視覚的注意の惹きやすさを考慮した上で画像顕著性IV[b]を算出できるので、運転者にとっての障害物の顕著性の推定精度を高めることができる。   In this way, by using the saliency map, the image saliency IV [b] can be calculated in consideration of the ease of attracting human visual attention, so the estimation accuracy of the saliency of the obstacle for the driver is calculated. Can be increased.
なお、以上説明した顕著性マップSM[x][y][b]の作成において、画像ピラミッドの段数は、障害物領域R[b]の大きさに応じていくつかを選択する形となっていてもよい。また、ここでは、障害物領域R[b]及び周囲領域r[b]から輝度成分、色成分及びエッジ角度成分の三つの成分を抽出して各成分の特徴マップを作成している。しかし、これに限るものではなく、輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分の特徴マップに基づいて、顕著性マップSMの作成及び画像顕著性IV[b]を算出してもよい。   In creating the saliency map SM [x] [y] [b] described above, the number of image pyramid stages is selected according to the size of the obstacle region R [b]. May be. Further, here, a feature map of each component is created by extracting three components of a luminance component, a color component, and an edge angle component from the obstacle region R [b] and the surrounding region r [b]. However, the present invention is not limited to this, and the generation of the saliency map SM and the image saliency IV [b] are calculated based on the feature map of at least one of the luminance component, the color component, and the edge angle component. Also good.
さらに、障害物顕著性推定部1031は、画像から得られる情報以外の情報を考慮して障害物の顕著性を推定してもよい。ここでは一例として、あらかじめ取得しておいた運転者の死角位置を用いて、画像から算出した障害物の顕著性を変更する方法を説明する。運転者の死角は、例えば、運転席における複数人の着座状態から運転者の目の位置の平均を求め、そこから、当該車両のピラーで影となる領域、及び/又は、ミラーでは見えない領域が、世界座標でどの領域になるかを算出しておくことにより、あらかじめ取得しておくものとする。   Further, the obstacle saliency estimating unit 1031 may estimate the saliency of the obstacle in consideration of information other than information obtained from the image. Here, as an example, a method of changing the saliency of an obstacle calculated from an image using a driver's blind spot position acquired in advance will be described. The driver's blind spot is, for example, an average of the positions of the eyes of the driver based on a plurality of seated states in the driver's seat, and from there, an area that is shaded by the pillar of the vehicle and / or an area that is not visible by the mirror Is obtained in advance by calculating which region is in world coordinates.
図4は、運転者の死角を考慮した障害物の顕著性VSBLT[b]の算出処理を示すフローチャートである。
図4において、ステップS401〜S405は、図2のステップS201〜S205と同様であるため、説明を省略する。
FIG. 4 is a flowchart showing a calculation process of obstacle saliency VSBLT [b] in consideration of the driver's blind spot.
In FIG. 4, steps S401 to S405 are the same as steps S201 to S205 in FIG.
ステップS406では、障害物が運転者の死角に存在するか否か、すなわち、障害物の位置PX[b],PY[b]が運転者の死角位置であるか否を判定する。障害物の位置PX[b],PY[b]が運転者の死角位置であればステップS407に進み、運転者の死角位置でなければステップS408に進む。   In step S406, it is determined whether an obstacle is present in the driver's blind spot, that is, whether the obstacle positions PX [b], PY [b] are the driver's blind spot positions. If the obstacle position PX [b], PY [b] is the driver's blind spot position, the process proceeds to step S407, and if the obstacle position is not the driver's blind spot position, the process proceeds to step S408.
ステップS407では、ステップS405で算出された障害物の顕著性VSBLT[b]から所定値qを減算する。
そして、ステップS408において、bをインクリメントし、bが障害物数B未満であればステップS402へ戻り、障害物数B以上になっていればすべての物体をチェックしたので、処理を終了する。
In step S407, the predetermined value q is subtracted from the obstacle saliency VSBLT [b] calculated in step S405.
In step S408, b is incremented. If b is less than the number of obstacles B, the process returns to step S402. If b is greater than or equal to the number of obstacles B, all objects have been checked, and the process ends.
このように、障害物が運転者の死角に存在する場合には、たとえ画像から算出された顕著性が高くても運転者からは見えないと推定して顕著性を低く設定する。これにより、画像上の顕著性が高くても障害物の顕著性は低いものとして取り扱うことができる。   Thus, when an obstacle is present in the driver's blind spot, even if the saliency calculated from the image is high, it is estimated that the saliency is not visible to the driver, and the saliency is set low. Thereby, even if the saliency on the image is high, the obstacle can be handled as low saliency.
[車両制御判定部]
図5を用いて、車両制御判定部1041における処理の内容について説明する。
図5は、車両制御判定部1041において実施される処理の一例を示すフローチャートである。
[Vehicle control determination unit]
The content of the process in the vehicle control determination part 1041 is demonstrated using FIG.
FIG. 5 is a flowchart illustrating an example of processing performed in the vehicle control determination unit 1041.
図5において、ステップS501では、b=0として初期化する。
ステップS502では、自車両から見た障害物の相対速度VX[b]、VY[b]のベクトル(速度ベクトル)が、自車両方向を向いているか否かを判定する。障害物の相対速度VX[b]、VY[b]は、例えば、障害物の位置PX[b],PY[b]と1周期前の障害物の位置PX_z1[b],PY_z1[b]との差分近似によって算出することができる。前記速度ベクトルが自車両方向を向いているか否かは、例えば、自車両の中心を原点とする座標系を考慮した場合に、障害物の位置PX[b],PY[b]と自車両の四隅とを結ぶ直線の間に、前記速度ベクトルの向きが入っているかを見ることで判定することができる。前記速度ベクトルが自車両方向を向いている場合にはステップS503へ進み、向いていない場合はステップS511に進む。
In FIG. 5, in step S501, initialization is performed with b = 0.
In step S502, it is determined whether or not the vector (speed vector) of the relative speeds VX [b] and VY [b] of the obstacle viewed from the own vehicle is directed toward the own vehicle. The relative speeds VX [b] and VY [b] of the obstacles are, for example, the positions PX [b] and PY [b] of the obstacles and the positions PX_z1 [b] and PY_z1 [b] of the obstacles one cycle ago. It can be calculated by the difference approximation. Whether or not the speed vector is directed in the direction of the host vehicle is determined by, for example, considering the position PX [b], PY [b] of the obstacle and the position of the host vehicle when a coordinate system with the center of the host vehicle as the origin is considered. It can be determined by checking whether the direction of the velocity vector is between straight lines connecting the four corners. If the speed vector is facing the direction of the host vehicle, the process proceeds to step S503, and if not, the process proceeds to step S511.
ステップS503では、衝突時間TTC[b]を算出する。この衝突時間TTC[b]は、自車両が障害物に何秒後に衝突するかを表すパラメータである。ここでは、自車両方向へ向かってくる障害物のみを扱うため、以下の式より求めることができる。
PL[b]=SQRT(PX[b]×PX[b]+PY[b]×PY[b])
VL[b]=SQRT(VX[b]×VX[b]+VY[b]×VY[b])
TTC[b]=PL[b]/VL[b]
ここで、SQRT( )は平方根を算出する関数である。
In step S503, the collision time TTC [b] is calculated. The collision time TTC [b] is a parameter that represents how many seconds the host vehicle collides with an obstacle. Here, in order to handle only obstacles that are heading toward the host vehicle, the following equation can be used.
PL [b] = SQRT (PX [b] × PX [b] + PY [b] × PY [b])
VL [b] = SQRT (VX [b] × VX [b] + VY [b] × VY [b])
TTC [b] = PL [b] / VL [b]
Here, SQRT () is a function for calculating the square root.
ステップS504では、障害物の顕著性VSBLT[b]と第1閾値THV_Hとを比較する。障害物の顕著性VSBLT[b]>第1閾値THV_HであればステップS508に進み、障害物の顕著性VSBLT[b]≦第1閾値THV_HであればステップS505に進む。   In step S504, the saliency VSBLT [b] of the obstacle is compared with the first threshold value THV_H. If the obstacle saliency VSBLT [b]> the first threshold THV_H, the process proceeds to step S508. If the obstacle saliency VSBLT [b] ≦ the first threshold THV_H, the process proceeds to step S505.
ステップS505では、障害物の顕著性VSBLT[b]と第2閾値THV_L(<第1閾値THV_H)とを比較する。障害物の顕著性VSBLT[b]>第2閾値THL_LであればステップS507に進み、障害物の顕著性VSBLT[b]≦第2閾値THL_LであればステップS506に進む。   In step S505, the saliency VSBLT [b] of the obstacle is compared with the second threshold value THV_L (<first threshold value THV_H). If the obstacle saliency VSBLT [b]> second threshold THL_L, the process proceeds to step S507. If the obstacle saliency VSBLT [b] ≦ second threshold THL_L, the process proceeds to step S506.
ステップS506〜S508では、ステップS503で算出された衝突時間TTC[b]と比較する閾値THTを設定する。すなわち、ステップS506では、閾値THT=THT_H(上側閾値)とし、ステップS507では、閾値THT=THT_M(中間閾値)とし、ステップS508では、閾値THT=THT_L(下側閾値)とする。ここで、THT_H>THT_M>THT_Lである。   In steps S506 to S508, a threshold value THT to be compared with the collision time TTC [b] calculated in step S503 is set. That is, in step S506, the threshold value THT = THT_H (upper threshold value) is set, in step S507, the threshold value THT = THT_M (intermediate threshold value) is set, and in step S508, the threshold value THT = THT_L (lower threshold value) is set. Here, THT_H> THT_M> THT_L.
ステップS509では、衝突時間TTC[b]と閾値THTを比較する。衝突時間TTC[b]>閾値THTであればステップS511に進み、衝突時間TTC[b]≦閾値THTであればS510に進む。   In step S509, the collision time TTC [b] is compared with the threshold value THT. If the collision time TTC [b]> the threshold value THT, the process proceeds to step S511, and if the collision time TTC [b] ≦ the threshold value THT, the process proceeds to S510.
ステップS510では、車両の警報を作動させるためのフラグ(警報作動フラグ)をONに設定する。このフラグは、例えば、図示省略した警報装置に直接入力され、又は、LAN(Local Area Network)を用いて前記警報装置へと伝達されて、警報を作動させる。   In step S510, a flag (alarm activation flag) for operating a vehicle alarm is set to ON. For example, the flag is directly input to an alarm device (not shown) or is transmitted to the alarm device using a LAN (Local Area Network) to activate the alarm.
そして、ステップS511において、bをインクリメントし、bが障害物数B未満であればステップS502へ戻り、障害物数B以上になっていればすべての物体をチェックしたので、処理を終了する。   In step S511, b is incremented. If b is less than the number of obstacles B, the process returns to step S502. If b is greater than or equal to the number of obstacles B, all objects have been checked, and the process ends.
以上説明したように、車両制御判定部1041は、障害物の顕著性VSBLT[b]が高い場合には衝突時間TTC[b]と比較する閾値THTを小さく、障害物の顕著性VSBLT[b]が低い場合には衝突時間TTC[b]と比較する閾値THTを大きく設定しており、これにより、障害物の顕著性が低いほど早いタイミングから警報を作動させる。この結果、障害物との衝突をより確実に回避できると共に、必要以上に早くから警報を作動させて運転者に煩わしさを与えてしまうことを抑制できる。
なお、ここでは、前記車両における障害物回避制御として警報を作動させているが、警報以外の自動ブレーキ等についても同様に適用できることはもちろんである。
As described above, the vehicle control determination unit 1041 reduces the threshold THT compared with the collision time TTC [b] when the obstacle saliency VSBLT [b] is high, and the obstacle saliency VSBLT [b]. Is low, the threshold value THT to be compared with the collision time TTC [b] is set to be large, and as a result, the alarm is activated at an earlier timing as the obstacle becomes less noticeable. As a result, a collision with an obstacle can be avoided more reliably, and an alarm can be activated earlier than necessary to prevent the driver from being bothered.
Here, the alarm is activated as the obstacle avoidance control in the vehicle, but it is needless to say that the present invention can be similarly applied to an automatic brake other than the alarm.
第1実施形態による車両用外界認識装置1000は、顕著性マップを用いて障害物の顕著性を推定し、その推定結果及び障害物の位置情報に基づいて車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する。これにより、人間の視覚的注意の惹きやすさを考慮して上で障害物の顕著性を推定することができ、例えば、運転者にとって気づきにくい障害物であるほど早いタイミングから車両における障害物回避制御を実行させる一方、運転者が気づきやすい又は気づいている可能性が高い障害物については可能な限り前記障害物回避制御の実行を遅らせることができる。このため、運転者に与える煩わしさを大幅に低減できると共に、適切かつ効果的に前記障害物回避制御を実行することができる。   The vehicle external environment recognition apparatus 1000 according to the first embodiment estimates the saliency of an obstacle using a saliency map, and executes an obstacle avoidance control execution command in the vehicle based on the estimation result and the position information of the obstacle. Determine whether output is necessary or output timing. This makes it possible to estimate the saliency of the obstacle in consideration of the ease of attracting human visual attention.For example, the obstacle avoidance in the vehicle from the earlier timing as the obstacle is hard to notice for the driver. While the control is executed, the execution of the obstacle avoidance control can be delayed as much as possible for an obstacle that the driver is likely to notice or is likely to notice. For this reason, the troublesomeness given to the driver can be greatly reduced, and the obstacle avoidance control can be executed appropriately and effectively.
<第2実施形態>
つぎに、本発明の第2実施形態について説明する。
図6は、本発明の第2実施形態による車両用外界認識装置2000の構成を示すブロック図である。なお、以下の説明においては、第1実施形態による車両用外界認識装置1000と共通する要素については同一の番号を付し、その機能も同じであるものとする。
Second Embodiment
Next, a second embodiment of the present invention will be described.
FIG. 6 is a block diagram showing a configuration of a vehicle external environment recognition device 2000 according to the second embodiment of the present invention. In the following description, elements common to the vehicle external environment recognition apparatus 1000 according to the first embodiment are denoted by the same reference numerals and the functions thereof are also the same.
第2実施形態における特徴は、車両用外界認識装置2000が、画像取得部で取得した画像IMGSRC[x][y][c]から画像処理によって障害物を検出可能な障害物検出部を有しており、障害物検出部で検出した情報(障害物画像位置)を障害物情報取得部2012に出力している点である。   A feature of the second embodiment is that the vehicle external environment recognition device 2000 includes an obstacle detection unit that can detect an obstacle by image processing from the images IMGSRC [x] [y] [c] acquired by the image acquisition unit. The information (obstacle image position) detected by the obstacle detection unit is output to the obstacle information acquisition unit 2012.
車両用外界認識装置2000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車両前方の障害物を検知するように構成されている。   The vehicle external environment recognition device 2000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and is used to detect an object from an image captured by the camera 1010. An obstacle in front of the vehicle is detected.
車両用外界認識装置2000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。   The vehicle external environment recognition apparatus 2000 is configured by a computer having a CPU, a memory, an I / O, and the like. A predetermined process is programmed and the process is repeatedly executed at a predetermined cycle.
車両用外界認識装置2000は、図6に示すように、画像取得部1011と、障害物検出部2012と、障害物情報取得部2021と、障害物顕著性推定部1031と、車両制御判定部1041と、を有する。   As shown in FIG. 6, the vehicle external environment recognition apparatus 2000 includes an image acquisition unit 1011, an obstacle detection unit 2012, an obstacle information acquisition unit 2021, an obstacle saliency estimation unit 1031, and a vehicle control determination unit 1041. And having.
障害物検出部2012は、画像IMGSRC[x][y][c]を処理し、所定の障害物を検出してその位置を出力する。本実施形態においては、障害物として歩行者を検出するものとし、障害物検出部2012は、画像IMGSRC[x][y][c]から歩行者を検出し、当該歩行者の画像上の位置IX[b],IY[b]を求めて障害物情報取得部2021に出力する。なお、本実施形態において、画像から歩行者を検出するためのアルゴリズムに特殊な処理を追加等する必要はなく、公知のアルゴリズムを適用可能であるため、その詳細な説明は省略する。   The obstacle detection unit 2012 processes the image IMGSRC [x] [y] [c], detects a predetermined obstacle, and outputs the position. In this embodiment, a pedestrian is detected as an obstacle, and the obstacle detection unit 2012 detects a pedestrian from the image IMGSRC [x] [y] [c], and the position of the pedestrian on the image. IX [b] and IY [b] are obtained and output to the obstacle information acquisition unit 2021. In the present embodiment, it is not necessary to add special processing to an algorithm for detecting a pedestrian from an image, and a known algorithm can be applied. Therefore, detailed description thereof is omitted.
障害物情報取得部2021は、障害物検出部2012で求めた画像上の歩行者の位置IX[b],IY[b]から、当該歩行者の世界座標PX[b],PY[b]を算出する。かかる算出は、例えば、あらかじめ測定可能なカメラ1010の内部パラメータ・外部パラメータを用いたカメラ幾何演算によって行う。
なお、その他の処理等については、第1実施形態による車両用外界認識装置1000と同様である。
The obstacle information acquisition unit 2021 obtains the world coordinates PX [b] and PY [b] of the pedestrian from the positions IX [b] and IY [b] of the pedestrian on the image obtained by the obstacle detection unit 2012. calculate. Such calculation is performed, for example, by camera geometric calculation using internal parameters and external parameters of the camera 1010 that can be measured in advance.
Other processes and the like are the same as those of the vehicle external environment recognition apparatus 1000 according to the first embodiment.
第2実施形態による車両用外界認識装置2000では、障害物検出部2012が画像IMGSRC[x][y][c]を処理することによって歩行者等の障害物の存在及びその位置を検出する。これにより、障害物までの距離等を検出できるソナー、レーダ、ステレオカメラのような装置がない場合であっても、第1実施形態による車両用外界認識装置1000と同様の効果が得られる。   In the vehicle external environment recognition device 2000 according to the second embodiment, the obstacle detection unit 2012 detects the presence and position of an obstacle such as a pedestrian by processing the images IMGSRC [x] [y] [c]. Thereby, even if there is no device such as a sonar, radar, or stereo camera that can detect the distance to the obstacle, the same effect as the vehicle external environment recognition device 1000 according to the first embodiment can be obtained.
<第3実施形態>
つぎに、本発明の第3実施形態について説明する。
図7は、本発明の第3実施形態による車両用外界認識装置3000の構成を示すブロック図である。なお、以下の説明においては、第1、第2実施形態による車両用外界認識装置1000,2000と共通する要素については同一の番号を付し、その機能も同じであるものとする。
<Third Embodiment>
Next, a third embodiment of the present invention will be described.
FIG. 7 is a block diagram showing a configuration of a vehicle external environment recognition device 3000 according to the third embodiment of the present invention. In the following description, elements common to the vehicle external environment recognition apparatuses 1000 and 2000 according to the first and second embodiments are denoted by the same reference numerals and the functions thereof are also the same.
第3実施形態における特徴は、車両用外界認識装置3000が、画像IMGSRC[x][y][c]の各画素の顕著性を推定する画素顕著性推定部を有しており、画像全体の顕著性から障害物の顕著性を推定している点である。   A feature of the third embodiment is that the vehicle external environment recognition device 3000 includes a pixel saliency estimation unit that estimates the saliency of each pixel of the image IMGSRC [x] [y] [c]. It is a point that the saliency of the obstacle is estimated from the saliency.
車両用外界認識装置3000は、自動車に搭載されたカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車両の前方の障害物を検知するように構成されている。   The vehicle external environment recognition device 3000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and is used for detecting an object from an image captured by the camera 1010. An obstacle in front of the vehicle is detected.
車両用外界認識装置3000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。   The vehicle external environment recognition device 3000 is configured by a computer having a CPU, a memory, an I / O, and the like. A predetermined process is programmed, and the process is repeatedly executed at a predetermined cycle.
車両用外界認識装置3000は、図7に示すように、画像取得部1011と、画素顕著性推定部3012と、障害物情報取得部1021と、障害物顕著性推定部3031と、車両制御判定部1041と、を有する。   As shown in FIG. 7, the vehicle external environment recognition device 3000 includes an image acquisition unit 1011, a pixel saliency estimation unit 3012, an obstacle information acquisition unit 1021, an obstacle saliency estimation unit 3031, and a vehicle control determination unit. 1041.
画素顕著性推定部3012は、画像IMGSRC[x][y][c]の全体から当該画像の各画素の顕著性を示した顕著性マップIMGVSB[x][y]を生成する。具体的には、図3に示すフローチャートを画像全体に適用し、画像全体についてステップS301からステップS305までを実施して得られた顕著性マップを顕著性マップIMGVSB[x][y]とすることができる。   The pixel saliency estimation unit 3012 generates a saliency map IMGVSB [x] [y] indicating the saliency of each pixel of the image from the entire image IMGSRC [x] [y] [c]. Specifically, the flowchart shown in FIG. 3 is applied to the entire image, and the saliency map obtained by performing steps S301 to S305 for the entire image is defined as the saliency map IMGVSB [x] [y]. Can do.
障害物顕著性推定部3031は、顕著性マップIMGVSB[x][y]と、障害物情報取得部1021で取得した障害物の位置PX[b],PY[b]とを用いて、障害物の顕著性VSBLT[b]を算出する。この障害物顕著性推定部3031における障害物の顕著性VSBLT[b]の算出は、図2及び図4に示すフローチャートとほぼ同様にして行われるが、画像顕著性IV[b]の算出手順が異なる。具体的には、第1、第2実施形態においては、ステップS202、S402で障害物の位置PX[b],PY[b]から画像IMGSRC[x][y][c]上の障害物領域R[b]を算出し、その後、ステップS203、S403で障害物領域R[b]及び周囲領域r[b]から画像顕著性IV[b]を算出している。すなわち、IMGSRC[x][y][c]から画像顕著性IV[b]を算出する。これに対し、本実施形態では、画像IMGSRC[x][y][c]から画像顕著性IV[b]を求めるのではなく、画像IMGSRC[x][y][c]から顕著性マップIMGVSB[x][y]を生成し、この顕著性マップIMGVSB[x][y]における障害物領域R[b]内の値を合計することにより画像顕著性IV[b]を求める。   The obstacle saliency estimation unit 3031 uses the saliency map IMGVSB [x] [y] and the obstacle positions PX [b] and PY [b] acquired by the obstacle information acquisition unit 1021 to check the obstacles. The saliency VSBLT [b] is calculated. The obstacle saliency estimating unit 3031 calculates the obstacle saliency VSBLT [b] in substantially the same manner as the flowcharts shown in FIGS. 2 and 4, but the procedure for calculating the image saliency IV [b] is as follows. Different. Specifically, in the first and second embodiments, the obstacle region on the image IMGSRC [x] [y] [c] from the obstacle positions PX [b] and PY [b] in steps S202 and S402. R [b] is calculated, and then image saliency IV [b] is calculated from the obstacle region R [b] and the surrounding region r [b] in steps S203 and S403. That is, the image saliency IV [b] is calculated from IMGSRC [x] [y] [c]. In contrast, in this embodiment, the image saliency IV [b] is not obtained from the image IMGSRC [x] [y] [c], but the saliency map IMGVSB is obtained from the image IMGSRC [x] [y] [c]. [X] [y] is generated, and the image saliency IV [b] is obtained by summing the values in the obstacle region R [b] in the saliency map IMGVSB [x] [y].
この第3実施形態による車両用外界認識装置3000おいても、第1、第2実施形態による車両用外界認識装置1000,2000と同様の効果が得られる。特に、第3実施形態による車両用外界認識装置3000では、画像全体についての顕著性マップを作成し、この顕著性マップにおける障害物領域の各画素の顕著性に基づいて障害物の顕著性を推定するので、画像全体における障害物の顕著性が考慮されることなり、障害物の顕著性の推定精度がさらに向上する。   In the vehicle external environment recognition device 3000 according to the third embodiment, the same effects as those of the vehicle external environment recognition devices 1000 and 2000 according to the first and second embodiments can be obtained. In particular, the vehicle external environment recognition device 3000 according to the third embodiment creates a saliency map for the entire image, and estimates the saliency of the obstacle based on the saliency of each pixel in the obstacle region in the saliency map. Therefore, the saliency of the obstacle in the entire image is taken into consideration, and the estimation accuracy of the saliency of the obstacle is further improved.
<第4実施形態>
つぎに、本発明の第4実施形態について説明する。
図8は、本発明の第4実施形態による車両用外界認識装置4000の構成を示すブロック図である。なお、以下の説明においては、第1〜第3実施形態による車両用外界認識装置1000,2000,3000と共通する要素については同一の番号を付し、その機能も同じであるものとする。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described.
FIG. 8 is a block diagram showing a configuration of a vehicle external environment recognition device 4000 according to the fourth embodiment of the present invention. In addition, in the following description, the same number is attached | subjected about the element which is common in the external field recognition apparatuses 1000, 2000, and 3000 for vehicles by 1st-3rd embodiment, and the function shall also be the same.
第4実施形態おける特徴は、画像から画像処理によって障害物を検出可能な障害物検出部を有しており、画像全体の各画素の顕著性を推定する画素顕著性推定部の推定結果を前記障害物検出部で参照している点である。   The feature in the fourth embodiment includes an obstacle detection unit that can detect an obstacle from an image by image processing, and the estimation result of the pixel saliency estimation unit that estimates the saliency of each pixel of the entire image This is the point referenced by the obstacle detection unit.
車両用外界認識装置4000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車周囲の障害物を検知するように構成されている。   The vehicle external environment recognition device 4000 is incorporated in a camera device mounted on an automobile, an integrated controller, or the like, and is for detecting an object from an image captured by the camera 1010. It is configured to detect obstacles around the vehicle.
車両用外界認識装置4000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。   The vehicle external environment recognition device 4000 is configured by a computer having a CPU, a memory, an I / O, and the like. A predetermined process is programmed, and the process is repeatedly executed at a predetermined cycle.
車両用外界認識装置4000は、図8に示すように、画像取得部1011と、画素顕著性推定部3012と、障害物検出部4013と、障害物情報取得部2021と、障害物顕著性推定部3031と、車両制御判定部1041と、を有する。   As shown in FIG. 8, the vehicle external environment recognition apparatus 4000 includes an image acquisition unit 1011, a pixel saliency estimation unit 3012, an obstacle detection unit 4013, an obstacle information acquisition unit 2021, and an obstacle saliency estimation unit. 3031 and a vehicle control determination unit 1041.
障害物検出部4013は、画素顕著性推定部3012によって生成された顕著性マップIMGVSB[x][y]を用いて処理を動的に変更し、画像IMGSRC[x][y][c]から障害物を検出する。ここでは、障害物検出部4013が障害物として歩行者を検出するものとし、その処理の一例を説明する。   The obstacle detection unit 4013 dynamically changes the processing using the saliency map IMGVSB [x] [y] generated by the pixel saliency estimation unit 3012 and uses the image IMGSRC [x] [y] [c]. Detect obstacles. Here, it is assumed that the obstacle detection unit 4013 detects a pedestrian as an obstacle, and an example of the processing will be described.
図9は、障害物検出部4013が実施する処理の一例を示すフローチャートである。
図9において、ステップS901では、画像IMGSRC[x][y][c]内を探索するウィンドウサイズ(w,h)を初期化する。
ステップS902では、画像内探索座標(x,y)を初期化する。本実施形態では、ウィンドウの左上端座標を画像内探索座標(x、y)としている。
FIG. 9 is a flowchart illustrating an example of processing performed by the obstacle detection unit 4013.
In FIG. 9, in step S901, the window size (w, h) for searching the image IMGSRC [x] [y] [c] is initialized.
In step S902, the search coordinates (x, y) in the image are initialized. In the present embodiment, the upper-left corner coordinates of the window are set as in-image search coordinates (x, y).
ステップS903では、ウィンドウサイズ(w,h)及び画像内探索座標(x,y)によって定まる矩形領域内の各画素の顕著性の平均値(画素顕著性平均値)VSB(x、y、w、h)を算出する。この算出は、顕著性マップIMGVSB[x][y]を参照することによって行われる。   In step S903, the average value (pixel saliency average value) VSB (x, y, w, saliency) of each pixel in the rectangular area determined by the window size (w, h) and the search coordinates (x, y) in the image. h) is calculated. This calculation is performed by referring to the saliency map IMGVSB [x] [y].
ステップS904では、画素顕著性平均値VSB(x、y、w、h)と閾値THV_Dとを比較する。そして、画素顕著性平均値VSB(x,y,w,h)>閾値THV_DであればステップS906に進み、画素顕著性平均値VSB(x,y,w,h)≦閾値THV_DであればステップS905に進む。   In step S904, the pixel saliency average value VSB (x, y, w, h) is compared with a threshold value THV_D. If the pixel saliency average value VSB (x, y, w, h)> threshold value THV_D, the process proceeds to step S906, and if the pixel saliency average value VSB (x, y, w, h) ≦ threshold value THV_D, step is performed. The process proceeds to S905.
ステップS905では、ウィンドウサイズ(w,h)及び画像内探索座標(x,y)によって定まる矩形領域内にて、画像IMGSRC[x][y][c]から歩行者を検出する。なお、本実施形態において、歩行者を検出するためのアルゴリズムに特殊な処理は必要なく、公知のアルゴリズムを適用可能であるため、その説明は省略する。   In step S905, a pedestrian is detected from the image IMGSRC [x] [y] [c] within a rectangular area determined by the window size (w, h) and the in-image search coordinates (x, y). In the present embodiment, a special process is not necessary for the algorithm for detecting a pedestrian, and a known algorithm can be applied, and thus the description thereof is omitted.
ステップS906では、画像内探索座標(x,y)を更新する。本実施形態では、ラスタスキャン方式で画像内探索座標(x,y)更新する。ラスタスキャンは、まずxを初期値から所定のステップ数dxだけ進めていき、x+wが画像の横幅を超えたら、xを初期値に戻し、yを所定のステップ数dy進め、またxを所定のステップ数dxだけ進める、という処理を繰り返すものである。本実施形態においてはdx=dy=1としている。   In step S906, the search coordinates (x, y) in the image are updated. In this embodiment, the search coordinates (x, y) in the image are updated by a raster scan method. In raster scanning, x is first advanced by a predetermined number of steps dx from the initial value, and when x + w exceeds the horizontal width of the image, x is returned to the initial value, y is advanced by a predetermined number of steps dy, and x is increased by a predetermined number of steps. The process of advancing by the number of steps dx is repeated. In this embodiment, dx = dy = 1.
ステップS907では、ウィンドウサイズ(w,h)での画像内探索が終了したか否か、すなわち、画像内探索座標(x,y)のラスタスキャンが最後まで終わったかを判定する。画像内探索が終了していなければステップS903に戻り、画像内探索が終了していればステップS908に進む。   In step S907, it is determined whether or not the intra-image search with the window size (w, h) is completed, that is, whether or not the raster scan of the intra-image search coordinates (x, y) has been completed. If the search within the image is not completed, the process returns to step S903, and if the search within the image is completed, the process proceeds to step S908.
ステップS908では、ウィンドウサイズ(w,h)を更新する。本実施形態では、ウィンドウサイズ(w,h)の双方に所定係数αを乗じた値を新しいウィンドウサイズ(w、h)に設定する。なお、本実施形態では、所定係数α=1.2としている。   In step S908, the window size (w, h) is updated. In the present embodiment, a value obtained by multiplying both of the window sizes (w, h) by a predetermined coefficient α is set as a new window size (w, h). In the present embodiment, the predetermined coefficient α = 1.2.
ステップS909では、ウィンドウサイズ(w、h)のいずれかが所定の閾値、もしくは画像サイズより大きくなっているか否かを判定する。大きくなっていなければステップS902に戻り、大きくなっていれば画像内探索が終了したので、処理を終了する。   In step S909, it is determined whether any of the window sizes (w, h) is larger than a predetermined threshold value or image size. If it is not larger, the process returns to step S902. If it is larger, the intra-image search is terminated, and the process is terminated.
以上説明したように、障害物検知部4013は、画像IMGSRC[x][y][c]から生成された顕著性マップIMGVSBL[x][y]に基づいて、画像上の顕著性が低い領域から歩行者を検出する。これにより、画像から歩行者を検出する場合に、歩行者検出アルゴリズムの実施回数を抑制しつつ、運転者が気づきにくい歩行者をより早く検出することができる。   As described above, the obstacle detection unit 4013 is a region with low saliency on the image based on the saliency map IMGVSBL [x] [y] generated from the image IMGSRC [x] [y] [c]. To detect pedestrians. Thereby, when detecting a pedestrian from an image, it is possible to detect a pedestrian that is difficult for the driver to notice while suppressing the number of executions of the pedestrian detection algorithm.
第4実施形態による車両用外界認識装置4000においても、第1〜3実施形態による車両用外界認識装置1000,2000,3000と同様の効果が得られる。特に、第4実施形態による車両用外界認識装置4000によれば、画像上の顕著性の低い領域から歩行者を検出するので、運転者が気づきにくい歩行者をより早く検出することができ、当該歩行者との衝突を効果的に回避することができる。なお、歩行者検出アルゴリズムに代えて又は加えて歩行者以外の障害物検出アルゴリズムを適用することにより、歩行者以外の障害物についても同様の効果が得られる。   In the vehicle external environment recognition device 4000 according to the fourth embodiment, the same effects as those of the vehicle external environment recognition device 1000, 2000, 3000 according to the first to third embodiments can be obtained. In particular, according to the vehicle external environment recognition device 4000 according to the fourth embodiment, since a pedestrian is detected from a region with low saliency on the image, a pedestrian that is difficult for the driver to notice can be detected earlier, A collision with a pedestrian can be effectively avoided. The same effect can be obtained for obstacles other than pedestrians by applying an obstacle detection algorithm other than pedestrians instead of or in addition to the pedestrian detection algorithm.
以上、本発明の好ましい実施形態をいくつか説明したが、本発明は上述の各実施形態に限定されるものではなく、本発明の技術的思想に基づいて種々の変形及び変更が可能であることはもちろんである。   As mentioned above, although several preferable embodiment of this invention was described, this invention is not limited to each above-mentioned embodiment, A various deformation | transformation and change are possible based on the technical idea of this invention. Of course.
1000 車両用外界認識装置
1010 カメラ
1011 画像取得部
1021 障害物情報取得部
1031 障害物顕著性推定部
1041 車両制御判定部
2000 車両用外界認識装置
2012 障害物検出部
2021 障害物情報取得部
3000 車両用外界認識装置
3012 画素顕著性推定部
3031 障害物顕著性推定部
4000 車両用外界認識装置
4013 障害物検出部
1000 Vehicle external recognition device 1010 Camera 1011 Image acquisition unit 1021 Obstacle information acquisition unit 1031 Obstacle saliency estimation unit 1041 Vehicle control determination unit 2000 Vehicle external recognition device 2012 Obstacle detection unit 2021 Obstacle information acquisition unit 3000 For vehicles External recognition device 3012 Pixel saliency estimation unit 3031 Obstacle saliency estimation unit 4000 External recognition device for vehicle 4013 Obstacle detection unit

Claims (6)

  1. 自車両周囲の画像を取得する画像取得部と、
    自車両周囲の障害物の位置情報を取得する情報取得部と、
    前記画像における前記障害物を含む所定領域の色情報に基づく当該所定領域の輝度成分に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、
    推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、
    前記障害物顕著性推定部は、前記画像の前記所定領域の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記障害物の画像顕著性を算出し、その算出結果に基づいて前記障害物の顕著性を推定
    前記車両制御判定部は、自車両が前記障害物に衝突するまでの衝突時間を算出し、当該衝突時間が閾値以下の場合に前記障害物回避制御の実行指令を出力すると共に、前記障害物の顕著性が高いほど前記閾値を小さく設定する、
    車両用外界認識装置。
    An image acquisition unit for acquiring an image around the host vehicle;
    An information acquisition unit for acquiring position information of obstacles around the host vehicle;
    An obstacle saliency estimating unit that estimates the saliency of the obstacle based on the luminance component of the predetermined area based on the color information of the predetermined area including the obstacle in the image;
    A vehicle control determination unit that determines whether or not output of an execution command for obstacle avoidance control in the vehicle is based on the estimated saliency of the obstacle, and an output timing;
    The obstacle saliency estimating unit calculates an image saliency of the obstacle using a saliency map based on at least one of a luminance component, a color component, and an edge angle component of the predetermined region of the image. to estimate the salience of the obstacle on the basis of the calculation results,
    The vehicle control determination unit calculates a collision time until the host vehicle collides with the obstacle, and outputs an execution command of the obstacle avoidance control when the collision time is equal to or less than a threshold, The higher the saliency, the smaller the threshold is set.
    Vehicle external recognition device.
  2. 前記車両制御判定部は、自車両から見た前記障害物の位置及び前記障害物の相対速度に基づいて前記衝突時間を算出する、請求項1に記載の車両用外界認識装置。The vehicle external environment recognition device according to claim 1, wherein the vehicle control determination unit calculates the collision time based on a position of the obstacle and a relative speed of the obstacle viewed from the host vehicle.
  3. 前記障害物顕著性推定部は、前記障害物の画像顕著性と、前記障害物が運転者の死角に位置するか否かの判定結果とに基づいて、前記障害物の顕著性を推定する、請求項1又は2に記載の車両用外界認識装置。 The obstacle saliency estimating unit estimates the saliency of the obstacle based on the image saliency of the obstacle and a determination result of whether or not the obstacle is located in a driver's blind spot. The external environment recognition device for a vehicle according to claim 1 or 2 .
  4. 自車両周囲の画像を取得する画像取得部と、
    前記画像全体の色情報に基づく輝度成分に基づいて、前記画像の各画素の顕著性を推定する画素顕著性推定部と、
    自車両周囲の障害物の位置情報を取得する位置情報取得部と、
    前記画像における前記障害物の位置の各画素の顕著性に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、
    推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、
    前記画素顕著性推定部は、前記画像全体の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記画像の各画素の画像顕著性を算出するように構成され、
    前記画像から画像処理によって前記障害物を検出可能な障害物検出部をさらに有し、
    前記障害物検出部は、前記画像の各画素の顕著性に基づいて算出された前記画像の顕著性の低い領域から障害物を検出し、当該障害物の位置情報を前記位置情報取得部に出力する、
    車両用外界認識装置。
    An image acquisition unit for acquiring an image around the host vehicle;
    A pixel saliency estimation unit that estimates saliency of each pixel of the image based on a luminance component based on color information of the entire image;
    A position information acquisition unit for acquiring position information of obstacles around the host vehicle;
    An obstacle saliency estimating unit that estimates the saliency of the obstacle based on the saliency of each pixel at the position of the obstacle in the image;
    A vehicle control determination unit that determines whether or not output of an execution command for obstacle avoidance control in the vehicle is based on the estimated saliency of the obstacle, and an output timing;
    The pixel saliency estimation unit, the entire image of the luminance component, so as to calculate the image saliency of each pixel of the image using the saliency map based on at least one component of the color components and the edge angle component Configured,
    An obstacle detection unit capable of detecting the obstacle by image processing from the image;
    The obstacle detection unit detects an obstacle from a low-salience area of the image calculated based on the saliency of each pixel of the image, and outputs the position information of the obstacle to the position information acquisition unit To
    Vehicle external recognition device.
  5. 前記障害物顕著性推定部は、前記画像における前記障害物の位置の各画素の顕著性に基づいて算出した前記障害物の画像顕著性と、前記障害物が運転者の死角に位置するか否かの判定結果とに基づいて、前記障害物の顕著性を推定する、請求項に記載の車両用外界認識装置。 The obstacle saliency estimation unit calculates the image saliency of the obstacle calculated based on the saliency of each pixel at the position of the obstacle in the image, and whether or not the obstacle is located in a driver's blind spot. The vehicle external environment recognition device according to claim 4 , wherein the saliency of the obstacle is estimated based on the determination result.
  6. 前記車両制御判定部は、前記障害物の位置情報及び前記障害物の顕著性に基づいて、前記車両における障害物回避制御の実行指令の出力タイミングを変更する、請求項4又は5に記載の車両用外界認識装置。 The vehicle according to claim 4 or 5 , wherein the vehicle control determination unit changes an output timing of an obstacle avoidance control execution command in the vehicle based on the position information of the obstacle and the saliency of the obstacle. External environment recognition device.
JP2012283337A 2012-12-26 2012-12-26 Vehicle external recognition device Active JP5927110B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012283337A JP5927110B2 (en) 2012-12-26 2012-12-26 Vehicle external recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012283337A JP5927110B2 (en) 2012-12-26 2012-12-26 Vehicle external recognition device

Publications (2)

Publication Number Publication Date
JP2014127032A JP2014127032A (en) 2014-07-07
JP5927110B2 true JP5927110B2 (en) 2016-05-25

Family

ID=51406464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012283337A Active JP5927110B2 (en) 2012-12-26 2012-12-26 Vehicle external recognition device

Country Status (1)

Country Link
JP (1) JP5927110B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016086355A (en) * 2014-10-28 2016-05-19 株式会社デンソー Gaze guide device
JP2016152018A (en) * 2015-02-19 2016-08-22 トヨタ自動車株式会社 Alarm device
CN105573318B (en) * 2015-12-15 2018-06-12 中国北方车辆研究所 environment construction method based on probability analysis
JP6519499B2 (en) * 2016-02-23 2019-05-29 株式会社デンソー Vehicle system and computer program
KR101994699B1 (en) * 2017-09-15 2019-07-01 엘지전자 주식회사 Driver assistance apparatus and vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030212A (en) * 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc Information providing apparatus for vehicle
JP5573418B2 (en) * 2010-06-29 2014-08-20 トヨタ自動車株式会社 Alarm device
JP2012247847A (en) * 2011-05-25 2012-12-13 Denso Corp Information transmission control device for vehicle and information transmission control device

Also Published As

Publication number Publication date
JP2014127032A (en) 2014-07-07

Similar Documents

Publication Publication Date Title
JP5927110B2 (en) Vehicle external recognition device
JP4267657B2 (en) Vehicle periphery monitoring device
JP4456086B2 (en) Vehicle periphery monitoring device
JP5577398B2 (en) Vehicle periphery monitoring device
JP5639283B2 (en) Vehicle periphery monitoring device
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
JP4872245B2 (en) Pedestrian recognition device
JP5503728B2 (en) Vehicle periphery monitoring device
JP5687702B2 (en) Vehicle periphery monitoring device
US20150183373A1 (en) Vehicle information display device and vehicle information display method
JP5482737B2 (en) Visual load amount estimation device, driving support device, and visual load amount estimation program
JP5809751B2 (en) Object recognition device
US10866416B2 (en) Display control device and display control method
JP2007323578A (en) Vehicle periphery monitoring device
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
JP5192007B2 (en) Vehicle periphery monitoring device
JP5502149B2 (en) Vehicle periphery monitoring device
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP5345992B2 (en) Vehicle periphery monitoring device
JP5430213B2 (en) Vehicle periphery monitoring device
JP4694441B2 (en) Vehicle perimeter monitoring system
JP5907849B2 (en) Vehicle periphery monitoring device
JP5785515B2 (en) Pedestrian detection device and method, and vehicle collision determination device
JP2015156191A (en) Warning device and program
JP4496383B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, vehicle periphery monitoring program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20140703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

R150 Certificate of patent or registration of utility model

Ref document number: 5927110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250