JP5240149B2 - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP5240149B2 JP5240149B2 JP2009223423A JP2009223423A JP5240149B2 JP 5240149 B2 JP5240149 B2 JP 5240149B2 JP 2009223423 A JP2009223423 A JP 2009223423A JP 2009223423 A JP2009223423 A JP 2009223423A JP 5240149 B2 JP5240149 B2 JP 5240149B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- feature point
- image
- processing unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、自車両に対する障害物の俯瞰映像上の領域を表示する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that displays an area on an overhead view image of an obstacle with respect to a host vehicle.
従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある。
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、それら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰映像を生成する。
このようにして生成された俯瞰映像は俯瞰映像表示画面へ表示され、運転操作の支援に
活用される。
Conventionally, a vehicle is provided with a plurality of imaging devices, and images taken by the imaging devices are combined, an overhead view image of the entire circumference of the vehicle is generated and displayed on a driver's seat monitor, thereby enabling driving operations in a parking lot or the like. There is a vehicle periphery monitoring device that can be easily and safely performed.
In such a conventional vehicle periphery monitoring device, a front camera, a rear camera, a right camera, and a left camera are attached to the vehicle.
Then, the viewpoint images of the images captured by the front camera, the rear camera, the right camera, and the left camera are converted, and further, the images are synthesized to generate an overhead image.
The overhead view video generated in this way is displayed on the overhead view video display screen, and is used to support driving operations.
このような車両周辺監視装置として、撮像部と、運転者に情報を提供する表示部とを有し、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えたものが提供されている。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。(特許文献1参照)。
As such a vehicle periphery monitoring device, it has an imaging unit, a display unit that provides information to the driver, a start scene selection unit, a vehicle speed sensor, a shift position detection unit, a winker detection unit, a steering angle, A device including a sensor and a screen mode switching unit is provided.
The vehicle periphery monitoring device can change the rear side area based on the blinker information and the steering wheel steering angle information. In particular, when the blinker input is detected in the high speed mode, the turn signal direction synthesis is performed. Zoom in on the image.
In addition, the said imaging part images the vehicle periphery with each camera attached to the several camera installation part installed in the vehicle, and the said display part provides a driver | operator with information.
The start scene selection unit selects a normal travel scene from a plurality of driving scenes when starting the engine, the vehicle speed sensor detects a vehicle speed, and the shift position detection unit detects a shift position.
The winker detection unit detects the direction of the winker, the steering angle sensor detects a steering angle of the steering wheel, and the screen mode switching unit switches a display screen configuration based on information detected by each sensor and each detection unit. (See Patent Document 1).
したがって、従来の車両周辺監視装置では、着目したい目標物、特に立体的な目標物に関しては、その映像は視点変換され画像合成された処理段階で画像が歪んでしまい、俯瞰映像表示画面へ表示される目標物の距離感がつかみにくいという課題があった。 Therefore, in the conventional vehicle periphery monitoring device, for the target to be focused on, particularly the three-dimensional target, the image is distorted at the processing stage where the viewpoint is converted and the image is synthesized, and the image is displayed on the overhead view video display screen. There was a problem that it was difficult to grasp the sense of distance of the target.
本発明は、このような事情に鑑みてなされたものであり、俯瞰映像上の障害物を強調して表示し、前記俯瞰映像上で歪んで表示される障害物の把握を容易にした車両周辺監視装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and highlights obstacles on a bird's-eye view image, and facilitates the understanding of obstacles displayed distorted on the bird's-eye view image. An object is to provide a monitoring device.
請求項1に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する特徴点抽出処理部と、前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰映像上での位置の変化をもとに前記特徴点の三次元座標における高さを含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、前記映像合成手段により合成された俯瞰映像を表示する表示部と、前記障害物検知処理部で障害物と判定した前記画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画する強調領域描画処理部と、前記強調領域を前記俯瞰映像に重畳して前記表示部に表示させる強調領域加算部とを備え、前記強調領域は、前記障害物検知処理部で前記障害物と判定した画像を撮像するカメラ位置から前記障害物と判定した画像領域に対する外接線と、前記画像領域と前記カメラ位置との間の前記俯瞰映像上の距離である奥行をもとに決定されることを特徴とする。 According to the first aspect of the present invention, the vehicle is mounted from a plurality of imaging devices that are mounted at a plurality of locations in the vehicle and that images the surroundings of the vehicle in different directions from the locations, and the vehicle surroundings captured by the imaging devices. A video synthesizing unit that synthesizes a bird's-eye view image centered on the image, and a feature that makes it relatively easy to track a change in position on an image processing technique such as an image corner or an image edge on the bird's-eye view image synthesized by the video synthesizing unit A feature point extraction processing unit that extracts a point having a feature point as a feature point, and a feature that tracks a change in the position of the feature point on the overhead view video extracted by the feature point extraction processing unit from the time-series video of the overhead view video And calculating feature point information including the height of the feature point in three-dimensional coordinates based on a change in position of the feature point tracked by the feature point tracking processing unit and the feature point tracking processing unit on the overhead view video. A three-dimensional measurement processing unit, and an obstacle detection processing unit that determines whether the image from which the feature point is extracted is an obstacle based on the feature point information calculated by the three-dimensional measurement processing unit A display unit that displays a bird's-eye view image synthesized by the image synthesizing unit, and an area that includes the image determined as an obstacle by the obstacle detection processing unit according to an imaging position of the image determined as the obstacle determined, with the enhancement region rendering unit that renders a highlight region to emphasize the regions the decision, the enhancement region addition unit for displaying the enhancement region on the display unit is superimposed on the bird's-eye-view video, the enhancement The area is a circumscribing line for the image area determined as the obstacle from the camera position that captures the image determined as the obstacle by the obstacle detection processing unit, and the overhead view video between the image area and the camera position. On the distance Characterized in that it is determined based on the depth.
本発明によれば、俯瞰映像上の障害物が前記俯瞰映像上で歪んで表示される特性に従って、前記俯瞰映像上の障害物を強調して表示できるため、前記俯瞰映像上の障害物の歪んでいる状態が明確化されて前記俯瞰映像上で歪んで表示される障害物を容易に把握できる車両周辺監視装置を提供できる効果がある。 According to the present invention, since the obstacle on the overhead image can be displayed in an emphasized manner according to the characteristic that the obstacle on the overhead image is distorted and displayed on the overhead image, the obstacle on the overhead image is distorted. There is an effect that it is possible to provide a vehicle periphery monitoring device that makes it possible to easily grasp an obstacle that is distorted and displayed on the bird's-eye view image by clarifying the state in which the vehicle is standing.
以下、本発明の実施の形態について説明する。図1は、本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。この車両周辺監視装置は、俯瞰映像1の時系列映像取り込み部2、取り込んだ俯瞰映像をフレーム単位で一時的に記憶するフレームメモリ3、特徴点抽出処理部4、特徴点追跡処理部5、三次元計測処理部6、障害物検知処理部7、強調領域描画処理部8、強調領域加算部9および表示部10を備えている。
俯瞰映像1は、車両に取り付けられた前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して生成したものである。
Embodiments of the present invention will be described below. FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring apparatus according to an embodiment of the present invention. This vehicle periphery monitoring apparatus includes a time-series
The bird's-
図2は、車両11に取り付けられた前方カメラ114、後方カメラ112、右カメラ111および左カメラ113により撮像される撮像範囲と、これら撮像範囲の映像を視点変換し画像合成して生成された、自車両を中心としてモニタ装置に表示される俯瞰映像を示す説明図である。
前方カメラ114は、例えば車両11前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ112は、例えばリアウィンドウが設けられた車両11後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ111は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両11の右側方を撮像するカメラである。
左カメラ113は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両11の左側方を撮像するカメラである。
符号12は前方カメラ114による撮像範囲、符号13は右カメラ111による撮像範囲、符号14は後方カメラ112による撮像範囲、符号15は左カメラ113による撮像範囲を示す。
また、符号22は前方カメラ114の撮像範囲12の映像から図示していない視点変換手段により視点変換され前記モニタ装置に表示された前方部分俯瞰映像を示す。符号23は右カメラ111の撮像範囲13の映像から同様に視点変換され前記モニタ装置に表示された右側方部分俯瞰映像を示す。符号24は後方カメラ112の撮像範囲14の映像から同様に視点変換され前記モニタ装置に表示された後方部分俯瞰映像を示す。符号25は左カメラ113の撮像範囲15の映像から同様に視点変換され前記モニタ装置に表示された左側方部分俯瞰映像を示す。
これら前方部分俯瞰映像22、右側方部分俯瞰映像23、後方部分俯瞰映像24および左側方部分俯瞰映像25は、自車両11を中心としてその上方から自車両周囲を俯瞰したときの俯瞰映像として図示していない画像合成手段により画像合成される。
FIG. 2 shows an imaging range captured by the
The
The
The
The
The front partial
図1に戻り、時系列映像取り込み部2は、図2で説明した前記画像合成手段により画像合成された俯瞰映像を所定の時間間隔で時系列映像1として取り込む。
フレームメモリ3は、取り込んだ俯瞰映像をフレーム単位で一時的に記憶するメモリである。
特徴点抽出処理部4は、前記俯瞰映像の時系列映像1に対し、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部5は、前記俯瞰映像上で時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部6は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式(1)、(2)を用いて算出する。
Returning to FIG. 1, the time-series
The
The feature point
The feature point
The three-dimensional measurement processing unit 6 calculates relative motion information and three-dimensional coordinate information of the feature point from a change in the movement position of the feature point on the overhead view video.
The relative motion information and the three-dimensional coordinate information are calculated using equations (1) and (2) that model the movement of the target object on the overhead image shown below.
そして、この運転支援装置では、単眼のカメラ映像の俯瞰画像では視点つまりカメラの高さに応じて対象物体の動きが異なるため、カメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い障害物を検知する。 In this driving support device, since the movement of the target object varies depending on the viewpoint, that is, the height of the camera in the overhead image of the monocular camera image, the movement of the target object on the overhead image corresponding to the camera height is modeled. The model is estimated with respect to the actual video, and the target object is three-dimensionally measured to detect the obstacle.
障害物検知処理部7は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。この障害物の判定は、自車両に対する距離による障害物エリアと、衝突予想時間による障害物エリアとにおける特徴点から障害物の検知を行う。
強調領域描画処理部8は、障害物検知処理部7で障害物と判定した画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画するための処理を行う。
強調領域加算部9は、強調領域を俯瞰映像に重畳して表示部10に表示させる。
前記視点変換手段および前記画像合成手段と、時系列映像取り込み部2、特徴点抽出処理部4、特徴点追跡処理部5、三次元計測処理部6および障害物検知処理部7、強調領域描画処理部8および強調領域加算部9は、各部を制御するマイクロコンピュータにより構成されたECUにより実現される。
このECUは、前方カメラ114、後方カメラ112、右カメラ111および左カメラ113により撮像した映像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
表示部10は、前記映像合成手段により合成された俯瞰映像を表示する。
The obstacle
The enhancement region
The enhancement region adding unit 9 causes the
The viewpoint converting means and the image synthesizing means, a time-series
This ECU performs various processes for realizing functions unique to the vehicle periphery monitoring device, including viewpoint conversion processing and image synthesis processing of images captured by the
The
次に動作について説明する。
図3において、符号201は取り付け位置Hの高さに取り付けられているカメラを示している。同図(A)は、カメラ201から撮像された立体物202の画像の一例を示す。また同図(B)は、同図(A)に示した画像を俯瞰映像として視点変換したときの画像を示しており、同図(A)に示した画像の立体物には歪みが顕著に表れている。
図7に示すように、カメラ201はz軸上の高さHの位置に配置されている。図7において、符号300は対象物を示しその三次元空間座標は[Xp ,Yp ,Zp ]T である。また、符号301は俯瞰映像上の対象物映像であり、その三次元空間座標は[xp ,yp ,0]T である。符号302は撮像された対象物が含まれた平面的な俯瞰映像を示している。
この実施の形態の車両周辺監視装置の動作を図10に示すフローチャートを参照して説明すると、対象物と自車両とが相対速度[VX,VY]T 、ヨーレートωで相対運動をしていたとき、上述した式(2)で示す関係が成立する。
式(2)のベクトルm(t+Δt)、n(t+Δt)は相対速度とヨーレートとを格納する相対運動であり、ベクトルSPは上述した式(1)から、特徴点Pの三次元座標への変換が一意に可能である。
この実施の形態では、式(1)および式(2)の関係を用いて、俯瞰映像上の特徴点Pを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物の画像を撮像したカメラ位置をもとに俯瞰映像上で強調領域を決定し、前記俯瞰映像上へ前記決定した強調領域を重畳して描画する。
Next, the operation will be described.
In FIG. 3,
As shown in FIG. 7, the
The operation of the vehicle periphery monitoring apparatus according to this embodiment will be described with reference to the flowchart shown in FIG. 10. The object and the host vehicle are in relative motion at a relative speed [V X , V Y ] T and yaw rate ω. Then, the relationship shown by the above-described equation (2) is established.
The vectors m (t + Δt) and n (t + Δt) in equation (2) are relative motions that store the relative velocity and yaw rate, and the vector SP is obtained from the above equation (1) to the three-dimensional coordinates of the feature point P. Conversion is possible uniquely.
In this embodiment, the feature point P on the bird's-eye view image is converted into three-dimensional coordinates using the relationship of the expressions (1) and (2), and the obstacle is detected by determining the three-dimensional object with respect to the host vehicle. Do. Then, an emphasis area is determined on the overhead view video based on the camera position where the detected obstacle image is captured, and the determined emphasis area is superimposed on the overhead image and drawn.
以下、図10に示すフローチャートを参照しながら障害物の検知と、前記検知した障害物について俯瞰映像上での強調領域の決定、描画について動作を説明する。
図2に示すように視点変換され画像合成された俯瞰映像は、一定の時間間隔Δtごとに時系列映像取り込み部2から取り込まれる(ステップS1)。時系列映像取り込み部2から取り込まれた俯瞰映像はフレームメモリ3へ一時的に格納される。
そして、特徴点抽出処理部4において前記俯瞰映像から特徴点Pを抽出する(ステップS2)。特徴点抽出処理部4における特徴点Pの抽出は、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点Pとして抽出する。
Hereinafter, the operation for detecting an obstacle and determining and drawing an emphasis area on the overhead view video for the detected obstacle will be described with reference to a flowchart shown in FIG.
As shown in FIG. 2, the bird's-eye view video that has undergone viewpoint conversion and image synthesis is captured from the time-series
And the feature point
図11は、俯瞰映像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰映像上の画像が図11に示すように画像データの左上を原点として横軸をx軸、縦軸をy軸と定めた座標上にあるものとする。
特徴点抽出処理部4は、図15に示すように画像Iのx軸およびy軸方向に対する偏微分Aおよび偏微分Bをそれぞれ求める。次いでこの画像Iでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部4は、空間配列行列に対する固有値を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。次いで、上述したようにして得られた俯瞰映像上の画像における特徴点の時間変化を特徴点追跡処理部5が追跡する。
FIG. 11 is an explanatory diagram illustrating an example of an image on the overhead view video.
For example, as shown in FIG. 11, it is assumed that an image on a bird's-eye view image captured by a camera is on coordinates where the upper left corner of the image data is the origin and the horizontal axis is the x axis and the vertical axis is the y axis.
The feature point
Then, the feature point
図8は、この実施の形態の車両周辺監視装置における時系列映像取り込み部2から取り込まれる時系列映像1である時刻tにおける俯瞰映像と時刻t+FΔtにおける俯瞰映像との一例を示す説明図である。
図8(A)、(B)に示されているように、特徴点抽出処理部4において抽出された特徴点Pがどのような動きをするかを特徴点追跡処理部5において追跡処理する。
この特徴点追跡処理部5の追跡処理は次のように行う。
つまり、図8(A)に示す時刻tにおける俯瞰映像上の特徴点Pと、同図(B)に示す時刻t+FΔtにおける俯瞰映像上の特徴点Pとの位置関係から、特徴点Pがどのような動きをしてどのような位置へ移動したかを追跡処理する(ステップS3)。
この特徴点Pの追跡処理では、特徴点Pのオプティカルフローを計算することで、その動きベクトルを求める。
図9は、図8に示すこの実施の形態の車両周辺監視装置における俯瞰映像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Pのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰映像上の、互いに共通する特徴点Pの座標変化を検出し、その特徴点Pが移動しているか否か、座標が変化している場合には、特徴点Pの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。
FIG. 8 is an explanatory diagram showing an example of the bird's-eye view video at time t and the bird's-eye view video at time t + FΔt, which is the time-
As shown in FIGS. 8A and 8B, the feature point
The tracking process of the feature point
That is, what is the feature point P from the positional relationship between the feature point P on the overhead image at time t shown in FIG. 8A and the feature point P on the overhead image at time t + FΔt shown in FIG. A tracking process is performed to determine the position of the movement (step S3).
In the tracking process of the feature point P, the motion vector is obtained by calculating the optical flow of the feature point P.
FIG. 9 is an explanatory diagram showing motion vectors of feature points extracted from a bird's-eye view video in the vehicle periphery monitoring device of this embodiment shown in FIG.
The calculation process of the optical flow of the feature point P is performed as follows.
When a coordinate change of a feature point P that is common to each other is detected on the bird's-eye view image captured at a predetermined cycle and time interval, whether the feature point P is moving or not, Then, the movement of the feature point P, the direction of the coordinate change and the extent of the magnitude are calculated.
次に、三次元計測処理部6において、式(1)、(2)を用いて俯瞰映像上の特徴点Pの位置の変化から自車両と特徴点Pとの相対運動情報と、前記特徴点Pの三次元座標情報を算出する(ステップS4)。 Next, in the three-dimensional measurement processing unit 6, relative motion information between the host vehicle and the feature point P is calculated from the change in the position of the feature point P on the overhead view video using the equations (1) and (2), and the feature point. P three-dimensional coordinate information is calculated (step S4).
さらに、障害物検知処理部7において、前記三次元計測処理部6で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する(ステップS5)。そして、前記検知した障害物について俯瞰映像上で障害物検知処理部7において障害物領域を決定する。さらに、前記決定された障害物領域に対し、強調領域描画処理部8は前記障害物領域の画像を撮像したカメラ位置をもとに強調領域を決定し強調して描画する。そして、強調領域加算部9は前記強調領域を前記俯瞰映像へ重ねて描画し、表示部10により表示する(ステップS6)。
図4は、この実施の形態の車両周辺監視装置の俯瞰映像における強調領域の決定方法を示す説明図である。
図4では、符号311がカメラ位置を示し、符号312はカメラと障害物との距離、奥行を示している。また、符号313は障害物領域を示し、符号314は障害物を含む強調域を示している。この強調領域314は枠315により囲まれて表示される。この強調領域314の決定方法は次のようにして行われる。
まず、障害物検知処理部7において俯瞰映像上での障害物領域313を決定する。
次に、俯瞰映像上でカメラ位置311を端点として障害物領域313に対する2本の外接線501,502を決定する。
さらに、俯瞰映像上でカメラ位置311に対する障害物の奥行312、つまりカメラ位置311と障害物領域313の障害物との間の距離の最小値を決定する。
次に、前記決定した2本の外接線501,502と、前記カメラ位置311と障害物領域313の障害物との間の距離の最小値とから、強調領域314を囲む枠315を決定する。このとき、前記枠315の表示は、図5に示すように、カメラ位置311と障害物領域313の障害物との間の距離に応じてその表示色を異ならせて表示出力する。例えば、奥行が大(車両から離間)であれば、オレンジ、奥行が小(車両に近接)であれば、赤で表示する。
図5は、この実施の形態の車両周辺監視装置の俯瞰映像における強調領域314を示す枠表示の一例を示す説明図である。
なお、図5に示すように、強調領域314全体を囲むように枠315を決定し表示出力するのではなく、図6に示すように強調領域314のカメラ側の枠部分のみを表示するようにしてもよい。図6は、強調領域314を示す枠315の他の表示形態の一例を示す説明図である。
Further, the obstacle
FIG. 4 is an explanatory diagram illustrating a method for determining an emphasis region in the overhead view image of the vehicle periphery monitoring device according to this embodiment.
In FIG. 4,
First, the obstacle
Next, two circumscribed
Furthermore, the minimum depth of the
Next, a
FIG. 5 is an explanatory diagram showing an example of a frame display showing the
As shown in FIG. 5, the
次に、カメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い、障害物を検知するときの俯瞰映像上の3次元物体の動きモデルを示す式(2)の導出と、式(2)からの式(3)の導出を説明する。 Next, the movement of the target object on the overhead image according to the height of the camera is modeled, and the model is estimated from the actual video, so that the target object is three-dimensionally measured and the obstacle image is detected Derivation of Expression (2) indicating the motion model of the upper three-dimensional object and derivation of Expression (3) from Expression (2) will be described.
図3に示すように、特徴点pの3次元実空間上の位置ベクトルXpを[Xp ,Yp ,Zp ]T とし、時刻tにてカメラは[0,0,H]の位置にあるとする。ここで,Hはカメラの路面に対する高さである。
特徴点pの俯瞰映像上の位置ベクトルxp を[xp ,yp ,0]T としたとき、ベクトルXp=[Xp ,Yp ,Zp ]T とベクトルxp =[xp ,yp ,0]T との間には式(1)が成立する。
ここでkp =H/(H−Zp )とおけば、式(1)は以下に示す式(4)のように書き換えることができる。
As shown in FIG. 3, [X p, Y p , Z p] the position vector Xp of a three-dimensional real space of the feature point p is T, the camera at time t [0,0, H] to the position of Suppose there is. Here, H is the height of the camera with respect to the road surface.
[X p, y p, 0 ] position vector x p on the overhead image of the feature point p when T, the vector Xp = [X p, Y p , Z p] T and the vector x p = [x p, Equation (1) holds between y p , 0] and T.
Here, if k p = H / (H−Z p ), the equation (1) can be rewritten as the following equation (4).
一方、真の俯瞰映像とはカメラは無限の高さにあるときで(H=∞)、kp =1となり、式(4)より、式(5)のようになる。 On the other hand, a true bird's-eye view image is when the camera is at an infinite height (H = ∞), and k p = 1, and from Equation (4), Equation (5) is obtained.
つまり、俯瞰映像に映る特徴点位置ベクトルxp =[xp ,yp ,0]T は、真の俯瞰映像の位置[Xp ,Yp ,0]T に対して、カメラ高と特徴点の高さに応じた係数kp だけ乗じたものである。
今、対象物pはカメラに対して、時刻tにおいて3次元実空間ではベクトルXp=[Xp ,Yp ,Zp ]T の位置にあり、ヨーレートω、相対速度VX 、VY の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻t+Δtでの対象物pの3次元実空間上の位置ベクトルXp(t+Δt)=[Xp (t+Δt),Yp (t+Δt),Zp (t+Δt)]T は、以下のように式(6)で与えられる。
That is, the feature point position vector x p = [x p , y p , 0] T reflected in the overhead view video is the camera height and the feature point with respect to the true overhead view position [X p , Y p , 0] T. Is multiplied by a coefficient k p corresponding to the height of.
Now, the object p is at the position of the vector Xp = [X p , Y p , Z p ] T in the three-dimensional real space at time t with respect to the camera, and is relative to the yaw rate ω and the relative velocities V X and V Y. Suppose you were moving by exercise. It is assumed that there was no bouncing, roll, or pitching movement.
At this time, the position vector Xp (t + Δt) of the object p at the time t + Δt in the three-dimensional real space = [X p (t + Δt), Y p (t + Δt), Z p (t + Δt)] T is given by equation (6) as follows.
式(6)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Zp (t)=Zp (t+Δt)であり、kp =H/(H−Zp )より、係数kp は時間によらず一定となる。式(6)は以下のように式(7)のように書き換えることができる。 From Equation (6), if there is no bouncing, roll, or pitching motion, Z p (t) = Z p (t + Δt), and k p = H / (H−Z p ), the coefficient k p Is constant regardless of time. Equation (6) can be rewritten as Equation (7) as follows.
ところで、時刻tとt+Δtでの対象物pの俯瞰映像上の位置ベクトルxp =[xp (t),yp (t),0]T 、ベクトルxp =[xp (t+Δt),yp (t+Δt),0]T は、係数kp は時間によらず一定となるため、式(5)より以下の式(8)のように与えられる。 By the way, the position vector x p = [x p (t), y p (t), 0] T on the bird's-eye view image of the object p at time t and t + Δt, the vector x p = [x p (t + Δt). , Y p (t + Δt), 0] T is given by the following equation (8) from equation (5) because the coefficient k p is constant regardless of time.
時刻t+Δtでの対象物pの俯瞰映像上の位置ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T を、式(7),(8)に代入すると、式(9)に示すようになる。 A position vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] T on the bird's-eye view image of the object p at time t + Δt is expressed by Equation (7). , (8), the result is as shown in equation (9).
この結果、時刻tとt+Δtでの対象物pの俯瞰映像上の位置ベクトルxp (t)=[xp (t),yp (t),0]T 、ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T には、以下の関係式(10)が成立する。 As a result, the position vector x p (t) = [x p (t), y p (t), 0] T on the bird's-eye view image of the object p at the times t and t + Δt, the vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] The following relational expression (10) holds for T.
さて、対象物pのカメラに対する相対運動は、実際には対象物pは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物pの他に、全部でP個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻tとt+Δtでの特徴点の俯瞰映像上の位置ベクトルxp (t)=[xp (t),yp (t),0]T 、ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T 、1<p<Pは式(10)より以下のように式(11)で与えられる。
Now, it is assumed that the relative motion of the object p with respect to the camera is caused by the fact that the object p is a stationary object and the camera moves. In other words, it is caused by the movement of the host vehicle. Further, it is assumed that there are P feature points in the stationary object shown in the overhead view video in addition to the object p.
At this time, since the relative motion to the stationary object is common, the position vector x p (t) = [x p (t), y p (t), 0] T , vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] T , 1 <p <P is obtained from equation (10) as follows: It is given by (11).
式(11)は以下のように式(12)に書き換えることができる。 Equation (11) can be rewritten as Equation (12) as follows.
ここで、次に示す式(13)、式(14)であり、ベクトルm(t+Δt)、n(t+Δt)およびcx (t+Δt)、cy (t+Δt)は時刻tから時刻t+Δtでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルsp (t)は式(4)から実質上は時刻tでの特徴点pの3次元実空間上の位置と見なすことができる。 Here, the following expressions (13) and (14) are satisfied , and the vectors m (t + Δt), n (t + Δt), c x (t + Δt), and cy (t + Δt) are times. It shows the relative movement rotational motion and the translational motion of the camera and the object at time t + Delta] t from t, the vector s p (t) is the three-dimensional feature point p at substantially time t from equation (4) It can be regarded as a position in real space.
ところで、時刻tから時刻t+2Δtでのカメラと対象物との相対運動情報m(t+2Δt)、n(t+2Δt)、cx (t+2Δt)、cy (t+2Δt)を得たならば、時刻t+2Δtでの、俯瞰映像上の特徴点の位置ベクトルxp (t+2Δt)=[xp (t+2Δt),yp (t+2Δt),0]T 、1<p<Pは式(12)より、以下のように式(15)で与えられる。 By the way, relative motion information m (t + 2Δt), n (t + 2Δt), c x (t + 2Δt), and c y (t + 2Δt) between the camera and the object from time t to time t + 2Δt are obtained. If obtained, the position vector x p (t + 2Δt) = [x p (t + 2Δt), y p (t + 2Δt), 0] T at the time t + 2Δt, 1 <p <P is given by equation (15) as follows from equation (12).
式(12)、(15)をまとめると、次に示す式(16)となる。 When formulas (12) and (15) are put together, formula (16) shown below is obtained.
今、時間間隔Δtで時刻tからt+FΔtにわたり、俯瞰映像上において、全部でP個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(16)を拡張して、以下の関係式(17)が得られる。 Now, it is assumed that the positions of P feature points in total are observed on the bird's-eye view video from time t to t + FΔt at time interval Δt. This observation is performed by extracting and tracking feature points. Then, equation (16) is expanded to obtain the following relational equation (17).
式(17)が俯瞰映像上の3次元物体の動きの数式モデルである。
なお、式(17)は以下に示す式(18)のように行列の積として書き換えることができる。
Expression (17) is a mathematical model of the movement of the three-dimensional object on the overhead view video.
Equation (17) can be rewritten as a matrix product as shown in Equation (18) below.
ここで、行列W、M、Sは以下に示す式(19)のように与えられ、行列Wは特徴点抽出・追跡で得られた時刻tからt+FΔtの俯瞰映像上の各特徴点の位置を示し、行列Mは時刻tからt+FΔtの相対運動を示し、行列Sは時刻tでの各特徴点の3次元実空間上の位置を示す。 Here, the matrices W, M, and S are given as shown in the following equation (19), and the matrix W represents the feature points on the overhead video from time t to t + FΔt obtained by feature point extraction / tracking. The matrix M represents the relative motion from time t to t + FΔt, and the matrix S represents the position of each feature point in the three-dimensional real space at time t.
式(18)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と3次元実空間の位置を得る。 Using the relational expression of Expression (18), the relative motion and the position of the three-dimensional real space are obtained from the change of the position of the feature point on the overhead image.
次に、モデル推定方法の概略について説明する。
式(18)に示すW=MSより、俯瞰映像上の特徴点の位置の変化を示す行列Wから、相対運動を示す行列Mと3次元形状を示す行列Sに分割するには以下の手順で行う。
式(19)より、行列Wは2F×Pの大きさの行列である。行列Mは、ベクトルm、n
が2次元であるため2F×3の大きさの行列であり、行列Sはベクトルsが3次元であるため3×Pの大きさの行列である。つまり、行列Wは階数3の行列である。そこで、以下のように、一旦、行列Wに対して特異値分解を行う。
Next, an outline of the model estimation method will be described.
In order to divide the matrix W indicating the change of the position of the feature point on the overhead view video into the matrix M indicating the relative motion and the matrix S indicating the three-dimensional shape from W = MS shown in Expression (18), the following procedure is used. Do.
From Equation (19), the matrix W is a matrix having a size of 2F × P. The matrix M is a vector m, n
Is a two-dimensional matrix, and the matrix S is a 3 × P matrix because the vector s is three-dimensional. That is, the matrix W is a
ここで、Uは2F×Hの直交行列、ΣはH×Hの対角行列、VT はH×Pの直交行列であり、HはH=min{2F,P}と与えられる。また、Σの対角要素は
σ1 >σ2 >…σp と降順に並んでいるとする。
行列Wは階数3の行列となるため、σ4 以降はノイズ成分とみなせることより、式(21)に示すように行列Uの3列分を抽出する。
Here, U is a 2F × H orthogonal matrix, Σ is a H × H diagonal matrix, VT is a H × P orthogonal matrix, and H is given as H = min {2F, P}. Further, it is assumed that diagonal elements of Σ are arranged in descending order as σ 1 > σ 2 >... Σ p .
Since the matrix W is a matrix of
ここから、式(22)に示すように仮の分解結果を得ることができる。 From this, a temporary decomposition result can be obtained as shown in equation (22).
次に拘束行列の計算を行う。式(22)の分解結果は図14の(式1)を満たすが、得られた図14の行列(1)は、一般には図14の(式2)を満たさない。例えば、適当な3×3の大きさの行列Aを用いて、図14の(行列1)を以下に示す式(23)のように変換しても、W=MSを満たしてしまう。つまり、行列Aを適切に選択する必要がある。
Next, the constraint matrix is calculated. The decomposition result of Expression (22) satisfies (Expression 1) of FIG. 14, but the obtained matrix (1) of FIG. 14 generally does not satisfy (Expression 2) of FIG. For example, even if (matrix 1) in FIG. 14 is converted as shown in the following equation (23) using a
行列Aを適切に選択するため、以下の拘束条件を導入する。
(a)回転成分の拘束条件
式(19)より行列Mは以下の式(24)で示すように構成される。
In order to select the matrix A appropriately, the following constraint conditions are introduced.
(A) From the constraint equation (19) of the rotation component, the matrix M is configured as shown by the following equation (24).
ここで、ベクトルmnは式(13)を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。 Here, since the vector mn indicates a rotational component as shown in the equation (13), the following constraint condition exists.
(b)路面の拘束条件
式(19)より行列Sは以下のように構成される。
(B) Road surface constraint condition From equation (19), the matrix S is constructed as follows.
また、ベクトルSP (t)は式(14)よりSP (t)=[xp (t) yp (t)
kp ]T であり、kp はkp =H/(H-Zp )と与えられる。ここで、kp はZp <Hの条件で、Zp が増加すれば、kp も増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、kp は大きな値を有する。
kp が最小となるのは、対象物が路面にあるとき、つまりZp =0であり、そのときkp =1となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、kp =1
を満たす特徴点が必ず存在する。すなわち、kp に対して以下の拘束条件が存在する。
Further, the vector S P (t) is expressed as S P (t) = [x p (t) y p (t) from the equation (14).
k p ] T , where k p is given by k p = H / (H−Z p ). Here, k p is a condition of Z p <H, and if Z p increases, k p also increases. That is, as long as the object is below the camera, the higher the object, the greater the value of k p .
k p is minimized when the object is on the road surface, that is, Z p = 0, and then k p = 1. Since the bird's-eye view video always shoots the road surface, k p = 1 on the bird's-eye view image
There is always a feature point that satisfies. That is, the following constraints exist for k p.
以上、式(25)および式(27)を満たすように、行列Aを定めればよい。 As described above, the matrix A may be determined so as to satisfy the expressions (25) and (27).
次に、三次元計測処理部6の三次元計測処理および障害物検知処理部7の障害物検知処理についてさらに説明する。
図12は、俯瞰映像から得られた立体物の三次元情報と相対運動情報とから検知した自車両11に対する距離による障害物エリアAと、衝突予想時間による障害物エリアBとを示す説明図である。
図13は、この実施の形態の車両周辺監視装置における三次元計測処理部6および障害物検知処理部7の動作を示すフローチャートである。
三次元計測処理部6の三次元計測処理では、俯瞰映像上の特徴点の三次元座標情報と、前記特徴点と自車両11との相対運動情報とを前述したように式(1)および式(2)から算出する(ステップS41)。
この特徴点の三次元座標情報は、三次元位置行列Sとして求められ(ステップS42)
、また前記特徴点と自車両11との相対運動情報とは、相対運動行列Mとして求められる(ステップS43)。
そして、三次元位置行列Sとして求めた特徴点の三次元座標情報に対してはz軸方向の高さによる閾値処理を行う(ステップS44)。
この閾値処理では、z軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし(ステップS45)、またz軸方向の高さ情報が零である特徴点を非障害物特徴点とする(ステップS46)。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両11との間の距離が明らかになることから、自車両11と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う(ステップS47)。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う(ステップS48、ステップS49)
。
近距離障害物特徴点として識別した特徴点は、例えば図12に示す障害物エリアAに含まれる特徴点である。
また、遠距離障害物特徴点として識別した特徴点については、ステップS43において求めた相対運動行列Mをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う(ステップS51)。そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する(ステップS52、ステップS53)。
早期到達障害物特徴点は、例えば図12に示す障害物エリアBに含まれる特徴点である
。
Next, the three-dimensional measurement processing of the three-dimensional measurement processing unit 6 and the obstacle detection processing of the obstacle
FIG. 12 is an explanatory diagram showing an obstacle area A based on the distance to the
FIG. 13 is a flowchart showing the operations of the three-dimensional measurement processing unit 6 and the obstacle
In the three-dimensional measurement process of the three-dimensional measurement processing unit 6, as described above, the three-dimensional coordinate information of the feature points on the overhead image and the relative motion information between the feature points and the
The three-dimensional coordinate information of this feature point is obtained as a three-dimensional position matrix S (step S42).
Moreover, the relative motion information between the feature point and the
Then, threshold processing based on the height in the z-axis direction is performed on the three-dimensional coordinate information of the feature points obtained as the three-dimensional position matrix S (step S44).
In this threshold value processing, feature points having a value whose height information in the z-axis direction is not zero are determined as obstacle candidate feature points based on a predetermined height reference value (step S45). A feature point whose direction height information is zero is set as a non-obstacle feature point (step S46).
And about the said obstacle candidate feature point, since the distance between the
.
The feature points identified as short-distance obstacle feature points are, for example, feature points included in the obstacle area A shown in FIG.
For the feature points identified as long-distance obstacle feature points, threshold processing is performed based on a predetermined expected collision time reference value for the expected collision time based on the relative motion matrix M obtained in step S43. (Step S51). Then, the feature points are identified as low-risk obstacle feature points and early-arrival obstacle feature points (steps S52 and S53).
The early-arrival obstacle feature points are, for example, feature points included in the obstacle area B shown in FIG.
以上説明したように、この実施の形態の車両周辺監視装置では、前記識別した低危険度障害物特徴点、早期到達障害物特徴点をもとに障害物を検知する。そして、強調領域描画処理部8は、低危険度障害物であるか、あるいは早期到達障害物であるかに応じて、前記障害物を含む強調領域を囲む枠の表示色を異ならせ、前記強調領域を俯瞰映像上へ表示出力することが可能である。
As described above, the vehicle periphery monitoring device according to the present embodiment detects an obstacle based on the identified low risk obstacle feature point and early arrival obstacle feature point. Then, the emphasis area
また、この実施の形態によれば、俯瞰映像上の障害物が歪んで表示される特性に従って前記俯瞰映像上の障害物領域を強調して表示できるため、前記俯瞰映像上の障害物の歪んでいる状態が明確化されて前記俯瞰映像上で歪んで表示される障害物を容易に把握できる車両周辺監視装置を提供できる効果がある。
また、俯瞰映像上で歪んで表示される障害物を枠で囲むようにして明確化し強調して表示するため、前記俯瞰映像上の障害物の歪んで表示される個所や状態が容易に把握できる車両周辺監視装置を提供できる効果がある。
また、カメラ位置301と障害物との間の距離、前記障害物が低危険度障害物であるか、あるいは早期到達障害物であるかに応じて、強調領域304を囲む枠305の表示色を異ならせて表示出力できる。このため、俯瞰映像上で歪んで表示される障害物が明確化され強調されるだけでなく、障害物が自車両に対し近い距離にあるか離れた位置にあるかを俯瞰映像上で直観的に把握できる車両周辺監視装置を提供できる効果がある。また、障害物と自車両との相対運動を考慮した障害物と自車両との位置関係を俯瞰映像上で直観的に把握できる車両周辺監視装置を提供できる効果がある。
Further, according to this embodiment, since the obstacle area on the overhead image can be emphasized and displayed according to the characteristic that the obstacle on the overhead image is distorted and displayed, the obstacle on the overhead image is distorted. There is an effect that it is possible to provide a vehicle periphery monitoring device that can easily grasp an obstacle that is distorted and displayed on the bird's-eye view image.
In addition, because the obstacle displayed on the bird's-eye-view video is clarified and emphasized by surrounding it with a frame, it is easy to grasp the location and state of the obstacle displayed on the bird's-eye-view video as distorted There is an effect that a monitoring device can be provided.
The display color of the frame 305 surrounding the emphasis region 304 is changed according to the distance between the
4……特徴点抽出処理部、5……特徴点追跡処理部、6……三次元計測処理部、7……障害物検知処理部、8……強調領域描画処理部、9……強調領域加算部、10……表示部、11……自車両、114……前方カメラ(撮像装置)、112……後方カメラ(撮像装置)、111……右カメラ(撮像装置)、113……左カメラ(撮像装置)。 4 ... Feature point extraction processing unit, 5 ... Feature point tracking processing unit, 6 ... 3D measurement processing unit, 7 ... Obstacle detection processing unit, 8 ... Emphasis area drawing processing unit, 9 ... Enhancement area Adder unit, 10... Display unit, 11 .. own vehicle, 114... Front camera (imaging device), 112 .. rear camera (imaging device), 111... Right camera (imaging device), 113. (Imaging device).
Claims (7)
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、
前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する特徴点抽出処理部と、
前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰映像上での位置の変化をもとに前記特徴点の三次元座標における高さを含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
前記映像合成手段により合成された俯瞰映像を表示する表示部と、
前記障害物検知処理部で障害物と判定した前記画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画する強調領域描画処理部と、
前記強調領域を前記俯瞰映像に重畳して前記表示部に表示させる強調領域加算部とを備え、
前記強調領域は、前記障害物検知処理部で前記障害物と判定した画像を撮像するカメラ位置から前記障害物と判定した画像領域に対する外接線と、前記画像領域と前記カメラ位置との間の前記俯瞰映像上の距離である奥行をもとに決定される、
ことを特徴とする車両周辺監視装置。 A plurality of imaging devices that are mounted in a plurality of locations of the vehicle and that image the vehicle periphery in different directions from those locations;
Video synthesizing means for synthesizing a bird's-eye view image centered on the vehicle from a video around the vehicle imaged by each imaging device;
A feature point extraction processing unit for extracting, as a feature point, a portion having a feature that makes it relatively easy to track a change in position on an image processing technique such as an image corner or an image edge on an overhead video synthesized by the video synthesis means. When,
A feature point tracking processing unit that tracks a change in the position of the feature point on the overhead view video extracted by the feature point extraction processing unit from the time-series video of the overhead view video;
A three-dimensional measurement processing unit that calculates feature point information including a height of the feature point in three-dimensional coordinates based on a change in a position of the feature point tracked by the feature point tracking processing unit on the overhead view image; ,
Based on the feature point information calculated by the three-dimensional measurement processing unit, an obstacle detection processing unit that determines whether the image from which the feature point has been extracted is an obstacle,
A display unit for displaying an overhead video synthesized by the video synthesizing unit;
An area including the image determined to be an obstacle by the obstacle detection processing unit is determined according to an imaging position of the image determined to be the obstacle, and the determined area is emphasized and drawn as an emphasized area A drawing processing unit;
An emphasis area adding unit that superimposes the emphasis area on the overhead view video and displays it on the display unit ,
The enhancement region includes a circumscribed line for an image region determined as the obstacle from a camera position that captures an image determined as the obstacle by the obstacle detection processing unit, and the image region and the camera position. Determined based on depth, which is the distance on the bird's-eye view,
The vehicle periphery monitoring apparatus characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223423A JP5240149B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223423A JP5240149B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011070593A JP2011070593A (en) | 2011-04-07 |
JP5240149B2 true JP5240149B2 (en) | 2013-07-17 |
Family
ID=44015790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223423A Active JP5240149B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5240149B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303957B2 (en) | 2016-05-26 | 2019-05-28 | Hyundai Motor Company | Vehicle control system based on user input and method thereof |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013239015A (en) * | 2012-05-15 | 2013-11-28 | Sharp Corp | Parking support device, and parking support method and program |
KR101896715B1 (en) | 2012-10-31 | 2018-09-07 | 현대자동차주식회사 | Apparatus and method for position tracking of peripheral vehicle |
JP5964379B2 (en) | 2014-10-07 | 2016-08-03 | ファナック株式会社 | Cleaning device and system including cleaning device |
KR102329110B1 (en) | 2015-05-30 | 2021-11-18 | 레이아 인코포레이티드 | Vehicle monitoring system |
JP6595401B2 (en) * | 2016-04-26 | 2019-10-23 | 株式会社Soken | Display control device |
CN106899834B (en) * | 2017-03-11 | 2019-03-29 | 王昶皓 | A kind of tracing type astronomy bird appreciation system |
CN106878684B (en) * | 2017-03-11 | 2019-12-03 | 邱昰霖 | A kind of astronomy bird appreciation platform |
JP7005978B2 (en) * | 2017-07-19 | 2022-02-10 | 日産自動車株式会社 | Trajectory estimation method and trajectory estimation device |
JP7287355B2 (en) * | 2020-06-26 | 2023-06-06 | トヨタ自動車株式会社 | Vehicle perimeter monitoring device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004104478A (en) * | 2002-09-10 | 2004-04-02 | Auto Network Gijutsu Kenkyusho:Kk | Device and method for assisting parking |
JP4830380B2 (en) * | 2005-07-13 | 2011-12-07 | 日産自動車株式会社 | Vehicle periphery monitoring device and vehicle periphery monitoring method |
JP4816923B2 (en) * | 2006-03-01 | 2011-11-16 | 日産自動車株式会社 | Vehicle peripheral image providing apparatus and method |
JP4797877B2 (en) * | 2006-08-14 | 2011-10-19 | 日産自動車株式会社 | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD |
JP2008219063A (en) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | Apparatus and method for monitoring vehicle's surrounding |
JP5003395B2 (en) * | 2007-10-05 | 2012-08-15 | 日産自動車株式会社 | Vehicle periphery image processing apparatus and vehicle periphery state presentation method |
-
2009
- 2009-09-28 JP JP2009223423A patent/JP5240149B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303957B2 (en) | 2016-05-26 | 2019-05-28 | Hyundai Motor Company | Vehicle control system based on user input and method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2011070593A (en) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5240149B2 (en) | Vehicle periphery monitoring device | |
JP5187292B2 (en) | Vehicle periphery monitoring device | |
JP5418661B2 (en) | Vehicle periphery monitoring device | |
JP4899424B2 (en) | Object detection device | |
JP5706874B2 (en) | Vehicle periphery monitoring device | |
JP4355341B2 (en) | Visual tracking using depth data | |
JP3764086B2 (en) | Vehicle information providing device | |
JP5109691B2 (en) | Analysis device | |
US8406472B2 (en) | Method and system for processing image data | |
JP2001213254A (en) | Side monitoring device for vehicle | |
JP2009060499A (en) | Driving support system, and combination vehicle | |
JP4797877B2 (en) | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD | |
JP6171593B2 (en) | Object tracking method and system from parallax map | |
JP5003395B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
JP2013008328A (en) | Vehicle periphery monitoring system | |
JP6708730B2 (en) | Mobile | |
JP4609603B2 (en) | 3D information display device and 3D information display method | |
JP2011048520A (en) | Device and method for monitoring vehicle periphery | |
JP2010218226A (en) | Measurement map generation device and traveling environment confirmation device | |
JP2008158640A (en) | Moving object detection apparatus | |
JP4721278B2 (en) | Lane departure determination device, lane departure prevention device, and lane tracking support device | |
JP4967758B2 (en) | Object movement detection method and detection apparatus | |
JP5251814B2 (en) | Driving assistance device | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP4553071B1 (en) | 3D information display device and 3D information display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5240149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |