JP5718080B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP5718080B2
JP5718080B2 JP2011025615A JP2011025615A JP5718080B2 JP 5718080 B2 JP5718080 B2 JP 5718080B2 JP 2011025615 A JP2011025615 A JP 2011025615A JP 2011025615 A JP2011025615 A JP 2011025615A JP 5718080 B2 JP5718080 B2 JP 5718080B2
Authority
JP
Japan
Prior art keywords
display
vehicle
moving body
detection frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011025615A
Other languages
Japanese (ja)
Other versions
JP2012162212A (en
Inventor
重信 三枝
重信 三枝
武井 且行
且行 武井
義貴 横尾
義貴 横尾
八州志 照田
八州志 照田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2011025615A priority Critical patent/JP5718080B2/en
Publication of JP2012162212A publication Critical patent/JP2012162212A/en
Application granted granted Critical
Publication of JP5718080B2 publication Critical patent/JP5718080B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、車両に搭載された撮像部により取得された画像中、前記車両への接近物を表示枠で囲んで前記車両の表示部に表示する車両用周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that surrounds an approaching object to a vehicle in an image acquired by an imaging unit mounted on the vehicle and displays the object on a display unit of the vehicle.

従来から、車両に搭載されたカメラにより取得された画像中、前記車両への接近物を、表示枠で囲んで前記車両の表示部に表示する車両用周辺監視装置が提案されている(特許文献1及び特許文献2参照)。   2. Description of the Related Art Conventionally, there has been proposed a vehicle periphery monitoring device that displays an approaching object to the vehicle in a display frame surrounded by a display frame in an image acquired by a camera mounted on the vehicle (Patent Document). 1 and Patent Document 2).

特許文献1に係る車両用周辺監視装置には、車両に搭載したカメラにより後方を撮影し、後方から接近する他車両の輪郭を微分画像により生成し、前記微分画像の重心点又は中心点を中心として、接近する前記他車両の大きさに同期して大きくなる表示枠を、前記他車両の画像に重畳表示する技術が記載されている。   The vehicle periphery monitoring device according to Patent Document 1 captures the rear by a camera mounted on the vehicle, generates a contour of another vehicle approaching from the rear by a differential image, and centers the center of gravity or the center point of the differential image. As a technique, a display frame that increases in synchronization with the size of the approaching other vehicle is superimposed on the image of the other vehicle.

特許文献2に係る車両用周辺監視装置には、第1及び第2カメラの搭載車両に相対的に接近する立体物を前記第1及び第2カメラにより障害物として検出し、検出した前記障害物を囲む枠を生成して合成画像として表示する技術が記載されている。   In the vehicle periphery monitoring device according to Patent Document 2, a solid object that is relatively close to the vehicle on which the first and second cameras are mounted is detected as an obstacle by the first and second cameras, and the detected obstacle is detected. A technique for generating a frame surrounding the image and displaying it as a composite image is described.

特開2001−216520号公報([0037]、[0039]、[0058]、図10)JP 2001-216520 A ([0037], [0039], [0058], FIG. 10) 特開2006−252389号公報([0026]、[0027]、[0041]、[0042]、[0043]、[0046]、図12)JP 2006-252389 A ([0026], [0027], [0041], [0042], [0043], [0046], FIG. 12)

一般に、カメラでは、撮像レンズと撮像素子とにより決まる画角範囲(撮影視野範囲という。)で被写体が撮影されるが、車両では、撮影レンズとして、広い視野範囲を撮影できる、例えば、魚眼レンズ等の超広角レンズが使用される。   In general, in a camera, a subject is photographed in an angle of view range (referred to as a photographing field range) determined by an imaging lens and an image sensor, but in a vehicle, a wide field range can be photographed as a photographing lens. An ultra-wide-angle lens is used.

この場合、表示部には、前記超広角レンズの撮影視野範囲に対応する広い表示視野範囲である、いわゆるワイドビューの画面表示モードで表示される。   In this case, the display is displayed in a so-called wide view screen display mode, which is a wide display field range corresponding to the photographing field range of the super-wide-angle lens.

ところで、表示部に画像を表示する際、ワイドビューの画面表示モードでは、撮影視野範囲が広い分、対象物が小さく表示される。   By the way, when an image is displayed on the display unit, in the wide-view screen display mode, the object is displayed smaller as the photographing field of view is wider.

そこで、撮影視野範囲は広いままとして、表示部に表示される表示視野範囲を狭め、いわゆる標準レンズに近い画角範囲に対応するノーマルビューの画面表示モードとし、撮影視野範囲全体を表示することはできないものの、前記対象物を大きく表示させることが考えられる。   Therefore, it is possible to display the entire shooting field range by narrowing the display field range displayed on the display unit while keeping the shooting field range wide, and setting the normal view screen display mode corresponding to the field angle range close to the so-called standard lens. Although not possible, it is conceivable to display the object in a large size.

しかしながら、ノーマルビューの画面表示モードとした場合には、上記従来技術に係る車両用周辺監視装置において、前記撮影視野範囲内の前記対象物中、表示視野範囲外に存在する接近物が表示されなくなるので検知枠が表示されなくなり、表示視野範囲と検知枠との表示対応について改良の余地がある。   However, in the normal view screen display mode, in the vehicle periphery monitoring device according to the above-described prior art, the approaching object that is outside the display visual field range is not displayed in the object within the photographing visual field range. Therefore, the detection frame is not displayed, and there is room for improvement in the display correspondence between the display visual field range and the detection frame.

この発明はこのような課題を考慮してなされたものであり、表示視野範囲と移動体を知らせる検知枠との表示対応について最適な表示形態を提供することを可能とする車両用周辺監視装置を提供することを目的とする。   The present invention has been made in consideration of such a problem, and provides a vehicle periphery monitoring device that can provide an optimal display form for display correspondence between a display visual field range and a detection frame that notifies a moving body. The purpose is to provide.

この発明に係る車両用周辺監視装置は、車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、前記撮像画像に基づき、移動体を検出する移動体検出部と、前記移動体検出部で検出された移動体を囲む検知枠を生成する検知枠生成部と、表示部と、前記撮像画像に対し前記検知枠を重ね合わせて前記表示部に表示させる表示処理部と、からなる車両用周辺監視装置であって、前記撮像画像の表示視野範囲を切り替える切替部を有し、前記表示処理部は、前記切替部による前記表示視野範囲の切り替えに応じて、前記検知枠の表示と非表示とを切り替え、さらに、前記表示処理部は、前記検知枠を非表示としたとき、前記移動体の移動方向を示す矢印を表示することを特徴とする。
A vehicle periphery monitoring device according to the present invention is mounted on a vehicle, and an imaging unit that acquires a captured image around the vehicle, a mobile body detection unit that detects a mobile body based on the captured image, and the mobile body detection A vehicle comprising: a detection frame generation unit that generates a detection frame surrounding a moving body detected by the unit; a display unit; and a display processing unit that displays the detection frame on the display unit by superimposing the detection frame on the captured image. A peripheral monitoring device having a switching unit that switches a display visual field range of the captured image, wherein the display processing unit displays and hides the detection frame according to the switching of the display visual field range by the switching unit. switch between display and further, the display processing section, when the non-displaying the detection frame, characterized that you display an arrow indicating the moving direction of the moving body.

この発明によれば、表示処理部が、切替部による表示視野範囲の切り替えに応じて、移動体を囲む検知枠の表示と非表示とを切り替えるようにしたので、表示視野範囲に応じて、最適な検知枠の表示・非表示とすることができる。   According to this invention, the display processing unit switches between display and non-display of the detection frame surrounding the moving body in accordance with switching of the display visual field range by the switching unit. The detection frame can be displayed / hidden.

この場合、前記表示処理部は、前記検知枠を非表示としたとき、前記移動体の移動方向を示す矢印を表示部内に表示するようにすることで、たとえ、表示視野範囲に、移動体が表示されない場合でも、撮影視野範囲に移動体が存在する場合には、ユーザ(表示を見る人)に前記移動体の存在方向を認識させることができる。   In this case, when the display processing unit hides the detection frame, the display processing unit displays an arrow indicating the moving direction of the moving body in the display unit. Even when the moving object is not displayed, if the moving object is present in the photographing visual field range, the user (the person who sees the display) can recognize the direction in which the moving object exists.

なお、前記撮像部は、前記車両の後方の撮像画像を取得するように設けられることが好ましい。検知枠や移動方向を示す矢印(移動体が接近していることを示す矢印)の表示は、車両後退運転時における後方視認支援等として有用である。   In addition, it is preferable that the said imaging part is provided so that the captured image of the back of the said vehicle may be acquired. The display of the detection frame and the arrow indicating the moving direction (the arrow indicating that the moving body is approaching) is useful as a rearward visual recognition support during the vehicle reverse operation.

後方視認支援として撮像部を使用するとき、前記切替部は、前記車両の後方の所定範囲を表示する第1表示視野範囲と、前記所定範囲より広い範囲を表示する第2表示視野範囲とを切り替え、前記表示処理部は、前記第1表示視野範囲の場合は前記検知枠を非表示とし、前記第2表示視野範囲の場合は前記検知枠を表示するようにすることで、相対的に移動体等の対象物が小さく表示される第2表示視野範囲では検知枠が表示されて前記移動体の特定がより容易となり、相対的に移動体が大きく表示される第1表示視野範囲では、検知枠がなくても、ユーザは、移動体を的確に視認することができる。   When the imaging unit is used as a rear viewing support, the switching unit switches between a first display visual field range that displays a predetermined range behind the vehicle and a second display visual field range that displays a range wider than the predetermined range. In the first display visual field range, the display processing unit does not display the detection frame, and in the second display visual field range, the display processing unit displays the detection frame. In the second display visual field range in which the object such as a small object is displayed, a detection frame is displayed so that the moving object can be specified more easily. In the first display visual field range in which the mobile object is displayed relatively large, the detection frame is displayed. Even if there is no, the user can visually recognize the moving body accurately.

さらに、前記表示処理部は、前記移動体が前記車両の後方の所定距離以内に接近すると、前記検知枠を非表示とすることで、ユーザは、前記移動体のみを視認することができる。   Furthermore, when the moving body approaches within a predetermined distance behind the vehicle, the display processing unit hides the detection frame, so that the user can visually recognize only the moving body.

この発明によれば、表示処理部が、切替部による表示視野範囲の切り替えに応じて、移動体の検知枠の表示と非表示とを切り替えるようにしたので、表示視野範囲に応じて、最適な検知枠の表示・非表示とすることができる。すなわち、表示視野範囲と検知枠との表示対応について最適な表示形態とすることができる。   According to the present invention, the display processing unit switches between display and non-display of the detection frame of the moving body in accordance with switching of the display visual field range by the switching unit. The detection frame can be displayed / hidden. That is, it is possible to obtain an optimum display form for display correspondence between the display visual field range and the detection frame.

この実施形態に係る車両用周辺監視装置が搭載された車両の模式的ブロック図である。It is a typical block diagram of the vehicle by which the vehicle periphery monitoring apparatus which concerns on this embodiment is mounted. 撮影視野範囲と表示視野範囲との対応関係の一例の説明図である。It is explanatory drawing of an example of the correspondence of a photography visual field range and a display visual field range. 図1例の車両用周辺監視装置による画像処理フローの基本的な説明図である。FIG. 2 is a basic explanatory diagram of an image processing flow by the vehicle periphery monitoring device of FIG. 1 example. 移動体を検出するフレーム間差分処理の説明図である。It is explanatory drawing of the inter-frame difference process which detects a mobile body. ギアポジションスイッチと表示切替スイッチとソナースイッチの各選択位置に対応する画面表示の説明図である。It is explanatory drawing of the screen display corresponding to each selection position of a gear position switch, a display switch, and a sonar switch. 図6Aは、画面に表示されるガイド線の説明図である。図6Bは、ガイド線位置と車両位置との一例の対応説明図である。FIG. 6A is an explanatory diagram of guide lines displayed on the screen. FIG. 6B is a corresponding explanatory diagram of an example of the guide line position and the vehicle position. 移動体の検知枠が表示されたワイドビュー画面表示モードでの画面表示図である。It is a screen display figure in the wide view screen display mode in which the detection frame of the moving body is displayed. 検知矢印が表示されたノーマルビュー画面表示モードでの画面表示図である。It is a screen display figure in the normal view screen display mode in which the detection arrow was displayed. ノーマルビュー画面表示モードで画面の左側と右側に表示される検知矢印の説明図である。It is explanatory drawing of the detection arrow displayed on the left side and the right side of a screen in normal view screen display mode. 検知矢印が表示されたトップダウンビュー画面表示モードでの画面表示図である。It is a screen display figure in the top down view screen display mode in which the detection arrow was displayed. ワイドビュー画面表示モードでの検知枠の表示領域と非表示領域の一例の説明図である。It is explanatory drawing of an example of the display area and non-display area | region of a detection frame in wide view screen display mode. ワイドビュー画面表示モードでの検知枠の表示領域と非表示領域の他の例の説明図である。It is explanatory drawing of the other example of the display area of a detection frame in a wide view screen display mode, and a non-display area. ワイドビュー画面表示モードでの検知枠の表示領域と非表示領域のさらに他の例の説明図である。It is explanatory drawing of the further another example of the display area and non-display area | region of a detection frame in wide view screen display mode. ワイドビュー画面表示モードでソナーの感知範囲を、検知枠の非表示領域にすることの説明図である。It is explanatory drawing of making the detection range of a sonar into the non-display area | region of a detection frame in wide view screen display mode.

以下、この発明の実施形態について図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、この実施形態に係る車両用周辺監視装置10が搭載された車両11の模式的ブロック図である。   FIG. 1 is a schematic block diagram of a vehicle 11 equipped with a vehicle periphery monitoring device 10 according to this embodiment.

車両用周辺監視装置10は、移動体等を撮影する撮像部としてのカメラ(リアカメラ)12と、障害物等を検出する超音波センサ(音波探知部)としてのソナー(バックソナー)14とを備える。   The vehicle periphery monitoring apparatus 10 includes a camera (rear camera) 12 as an imaging unit that captures a moving body and the like, and a sonar (back sonar) 14 as an ultrasonic sensor (acoustic wave detection unit) that detects an obstacle or the like. Prepare.

この実施形態において、カメラ12は、ミニバン等のテールゲートの外側中央部近傍又はセダン等のトランクの後面側中央部近傍に設けられる。ソナー14は、リアバンパーの両角部に設けられたソナー14cと、リアバンパーの中央部に2個設けられたソナー14mとから構成されている。   In this embodiment, the camera 12 is provided in the vicinity of an outer central portion of a tailgate such as a minivan, or in the vicinity of a rear central portion of a trunk such as a sedan. The sonar 14 includes a sonar 14c provided at both corners of the rear bumper and two sonars 14m provided at the center of the rear bumper.

両角のソナー14cは、車両11の後側方に中心角90゜程度で半径60[cm]程度までの扇形状の破線で示す感知範囲102を有する。中央部の2つのソナー14mは、車両11の後方に1.5[m]程度までの台形状の破線で示す感知範囲104を有する。カメラ12の撮影視野範囲については後述する。   The sonar 14 c at both angles has a sensing range 102 indicated by a fan-shaped broken line having a central angle of about 90 ° and a radius of about 60 [cm] on the rear side of the vehicle 11. The two sonars 14m in the central portion have a sensing range 104 indicated by a trapezoidal broken line up to about 1.5 [m] behind the vehicle 11. The shooting field range of the camera 12 will be described later.

車両用周辺監視装置10は、マイクロコンピュータを含む計算機としてのECU(Electronic Control Unit:電子制御ユニット)として、画像処理ECU16、ナビゲーションECU(ナビECUという。)18、メータECU20、及びソナーECU22を備える。   The vehicle periphery monitoring device 10 includes an image processing ECU 16, a navigation ECU (navigation ECU) 18, a meter ECU 20, and a sonar ECU 22 as an ECU (Electronic Control Unit) as a computer including a microcomputer.

各ECU16、18、20、22は、CPU(中央処理装置)、メモリであるROM(EEPROMも含む。)、RAM(ランダムアクセスメモリ)、その他、A/D変換器、D/A変換器等の入出力装置、計時部としてのタイマ等を有しており、CPUがROMに記録されているプログラムを読み出し実行することで各種機能実現部(機能実現手段)、たとえば制御部、演算部、及び処理部等として機能する。   Each of the ECUs 16, 18, 20, and 22 includes a CPU (central processing unit), a ROM (including an EEPROM) that is a memory, a RAM (random access memory), an A / D converter, a D / A converter, and the like. It has an input / output device, a timer as a timing unit, etc., and the CPU reads and executes a program recorded in the ROM so that various function realizing units (function realizing means), for example, a control unit, a calculation unit, and a process It functions as a part.

この実施形態において、画像処理ECU16は、移動体検出部52、検知枠生成部54、及び表示処理部56等として機能する。なお、検知枠生成部54は、後述するように、検知矢印生成部としても機能する。   In this embodiment, the image processing ECU 16 functions as a moving body detection unit 52, a detection frame generation unit 54, a display processing unit 56, and the like. The detection frame generator 54 also functions as a detection arrow generator as will be described later.

これらECU16、18、20、22は、CAN(Controller Area Network)等の通信ネットワークに係る通信線24を通じて相互に通信可能に接続されている。   The ECUs 16, 18, 20, and 22 are connected to be communicable with each other through a communication line 24 related to a communication network such as a CAN (Controller Area Network).

ソナーECU22には、ソナー14の検出機能をオンオフさせるソナースイッチ26が接続されている。   A sonar switch 26 is connected to the sonar ECU 22 to turn on and off the detection function of the sonar 14.

メータECU20には、ギアポジションスイッチ28と、図示しないメータ類(計器類)と、警報器等として機能するスピーカ34等と、が接続されている。メータECU20は、主に、ダッシュボード上の上記メータ類の表示制御等を司る。   The meter ECU 20 is connected to a gear position switch 28, meters (instruments) (not shown), a speaker 34 that functions as an alarm device, and the like. The meter ECU 20 mainly controls display control of the above meters on the dashboard.

カメラ(リアカメラ)12と画像処理ECU16とが接続線33を介して接続され、リアカメラ12で撮像された映像(画像)が、NTSC信号等の映像信号Sv1として接続線33を通じて画像処理ECU16に伝送される。   The camera (rear camera) 12 and the image processing ECU 16 are connected via a connection line 33, and a video (image) captured by the rear camera 12 is transmitted to the image processing ECU 16 via the connection line 33 as a video signal Sv1 such as an NTSC signal. Is transmitted.

画像処理ECU16には、液晶ディスプレイ等の表示部30が接続されるとともに、カメラ12により撮像し取得した画像(撮像画像)の画面表示モードを切り替える切替部としての表示切替スイッチ32が接続されている。   A display unit 30 such as a liquid crystal display is connected to the image processing ECU 16, and a display changeover switch 32 is connected as a switching unit that switches a screen display mode of an image (captured image) captured and acquired by the camera 12. .

さらに、車両11の位置検出装置としてのGPS受信機を含むナビECU18から画像処理ECU16に対して地図画像等の画像信号Sqが入力されている。   Further, an image signal Sq such as a map image is inputted from the navigation ECU 18 including a GPS receiver as a position detection device of the vehicle 11 to the image processing ECU 16.

ギアポジションスイッチ28がリア位置(車両11の後退位置であるリバースポジション)に切り替えられたことが、メータECU20により検出され、通信線24を介して、画像処理ECU16に伝達されると、表示部30には、地図画像等に係る画像信号Sqに優先して、カメラ12の映像信号Sv1が画像処理ECU16で処理された映像信号Sv2が供給される。   When the meter ECU 20 detects that the gear position switch 28 has been switched to the rear position (reverse position, which is the reverse position of the vehicle 11), and is transmitted to the image processing ECU 16 via the communication line 24, the display unit 30. Is supplied with a video signal Sv2 obtained by processing the video signal Sv1 of the camera 12 by the image processing ECU 16 in preference to the image signal Sq related to the map image or the like.

すなわち、ギアポジションスイッチ28がリア位置に切り替えられると、表示部30上には、カメラ(リアカメラ)12により撮像された映像(画像)が優先的にリアルタイムに表示される。   That is, when the gear position switch 28 is switched to the rear position, a video (image) captured by the camera (rear camera) 12 is preferentially displayed on the display unit 30 in real time.

この実施形態において、表示切替スイッチ32が操作される毎に、表示部30に表示される表示視野範囲として、ワイドビュー(リアワイドビュー)画面表示モード、ノーマルビュー(リアノーマルビュー)画面表示モード、又はトップダウンビュー(リアトップダウンビュー)画面表示モードがシーケンシャルに切り替えられる。表示切替スイッチ32は、上記いずれかの画面表示モードでの表示視野範囲を選択する選択部として機能する。   In this embodiment, each time the display changeover switch 32 is operated, the display field range displayed on the display unit 30 is a wide view (rear wide view) screen display mode, a normal view (rear normal view) screen display mode, Alternatively, the top-down view (rear top-down view) screen display mode is switched sequentially. The display changeover switch 32 functions as a selection unit that selects the display visual field range in any one of the screen display modes.

表示切替スイッチ32により選択されたビュー(表示視野範囲)に応じて、表示処理部56は、カメラ12からの映像信号Sv1を加工して(画像処理して)、ビューに対応した映像信号Sv2を生成し、表示部30に供給する。表示部30に映像信号Sv2に対応する撮像画像を表示する際に、後述する検知枠、検知矢印、ガイド線等の画像を撮像画像に合成して重畳して表示する。   In accordance with the view (display visual field range) selected by the display changeover switch 32, the display processing unit 56 processes (image-processes) the video signal Sv1 from the camera 12, and outputs the video signal Sv2 corresponding to the view. Generated and supplied to the display unit 30. When a captured image corresponding to the video signal Sv2 is displayed on the display unit 30, images such as a detection frame, a detection arrow, and a guide line, which will be described later, are combined with the captured image and displayed.

この実施形態において、カメラ12は、広い視野範囲で撮像が可能な、いわゆる魚眼レンズ等の水平方向で約180゜程度の画角を持つ超広角レンズが装着されている。つまり、カメラ12から出力される映像信号Sv1は、撮影視野範囲が表示視野範囲のワイドビュー画面表示モードに対応した信号となっている。   In this embodiment, the camera 12 is equipped with a super-wide-angle lens having a field angle of about 180 ° in the horizontal direction, such as a so-called fish-eye lens, which can image in a wide field of view. In other words, the video signal Sv1 output from the camera 12 is a signal corresponding to the wide view screen display mode in which the photographing visual field range is the display visual field range.

図2は、各画面表示モードでの表示部30に対する概略表示範囲を示している。   FIG. 2 shows a schematic display range for the display unit 30 in each screen display mode.

ワイドビュー画面表示モードでの表示視野範囲44は、カメラ12の撮影視野範囲に対応し、車両11の背面40より後方であって、地面を含む両側方水平線が見える範囲、かつ地面を含む後方水平線が見える範囲である。   The display visual field range 44 in the wide view screen display mode corresponds to the photographing visual field range of the camera 12, is behind the rear surface 40 of the vehicle 11, is a range where both lateral horizontal lines including the ground can be seen, and a rear horizontal line including the ground It is the range where can be seen.

ノーマルビュー画面表示モードでの表示視野範囲42は、撮影視野範囲中、実線の枠で示すように、車両側面41から外方に0.25[m]以上、車両背面40から少なくとも0.3[m]〜4.2[m]までの範囲で、表示視野範囲42の上方の範囲は、地面を含み2〜4[m]程度の高さまでの範囲である。よって、通常、ノーマルビュー画面表示モードにおいても、後方水平線が見える範囲を含んで画像が表示される。   The display visual field range 42 in the normal view screen display mode is 0.25 [m] or more outward from the vehicle side surface 41 and at least 0.3 [ m] to 4.2 [m], and the range above the display visual field range 42 is the range up to about 2 to 4 [m] including the ground. Therefore, normally, even in the normal view screen display mode, an image is displayed including a range where the rear horizontal line can be seen.

トップダウンビュー画面表示モードでの表示視野範囲46は、破線の枠で示すように、車両側面41から外方に略0.25[m]、車両背面40方向で0.3[m]〜1.2[m]程度までの範囲で、表示視野範囲46の上方の範囲は、地面を含み1[m](カメラ12の取付位置)程度以下の範囲である。よって、地面(路面)以外の物体が存在しない場合、通常、地面(路面)のみの画像が表示される。   The display visual field range 46 in the top-down view screen display mode is approximately 0.25 [m] outward from the vehicle side surface 41 and 0.3 [m] to 1 in the vehicle rear surface 40 direction, as indicated by the dashed frame. In the range up to about 2 [m], the range above the display visual field range 46 is the range of about 1 [m] (mounting position of the camera 12) or less including the ground. Therefore, when there is no object other than the ground (road surface), an image of only the ground (road surface) is usually displayed.

[基本的な画像処理]
ここで、この実施形態に係る車両用周辺監視装置10における基本的な画像処理について図3及び図4に基づき説明する。
[Basic image processing]
Here, basic image processing in the vehicle periphery monitoring apparatus 10 according to this embodiment will be described with reference to FIGS. 3 and 4.

図3は、画像処理フローの説明図である。   FIG. 3 is an explanatory diagram of an image processing flow.

ギアポジションスイッチ28が後退位置に切り替えられると、カメラ12により、車両11の後方の画像が撮像され、NTSC信号のフレームレートで1/30秒毎に映像信号Sv1が、接続線33を通じて画像処理ECU16に順次供給される。   When the gear position switch 28 is switched to the reverse position, an image behind the vehicle 11 is picked up by the camera 12, and the video signal Sv 1 is obtained every 1/30 seconds at the frame rate of the NTSC signal through the connection line 33. Are sequentially supplied.

図3中、左側に示すカメラ画像iaは、映像信号Sv1による画像(撮影視野範囲≒表示視野範囲)を示している。カメラ画像iaに対して、画像処理ECU16の移動体検出部52により移動体60の後述する検出処理が行われて、中央下に示す差分画像(第2差分画像)icが生成され、差分画像icを利用して検出された移動体60を囲む検知枠62が検知枠生成部54により生成される。   A camera image ia shown on the left side in FIG. 3 shows an image (shooting field range≈display field range) based on the video signal Sv1. A detection process to be described later of the moving object 60 is performed on the camera image ia by the moving object detection unit 52 of the image processing ECU 16 to generate a difference image (second difference image) ic shown in the lower center, and the difference image ic A detection frame 62 surrounding the moving body 60 detected using the detection frame is generated by the detection frame generation unit 54.

図3例でのカメラ画像iaには、常時映る車両11のリアバンパー80の画像の他、移動体60の画像と、水平線84を含む背景86の画像が映されている。   In the camera image ia in the example of FIG. 3, the image of the moving body 60 and the image of the background 86 including the horizontal line 84 are shown in addition to the image of the rear bumper 80 of the vehicle 11 that is always shown.

表示切替スイッチ32で選択された画面表示モード{ビュー(表示視野範囲)}に対応する縦横の倍率補正処理が表示処理部56により実行される。この場合、カメラ画像iaが倍率補正処理後の画像ibに変換される。   The display processing unit 56 executes vertical and horizontal magnification correction processing corresponding to the screen display mode {view (display visual field range)} selected by the display changeover switch 32. In this case, the camera image ia is converted into the image ib after the magnification correction process.

図3例では、表示切替スイッチ32により選択された倍率補正処理後の画像ibを、カメラ画像iaと略同一の視野範囲のワイドビュー画面表示モードに係る画像として描いている。   In the example of FIG. 3, the image ib after the magnification correction process selected by the display changeover switch 32 is drawn as an image related to the wide view screen display mode having the substantially same visual field range as the camera image ia.

移動体検出部52による移動体60の検出処理は、公知の要領にて、カメラ画像iaに対して、例えば、フレーム間差分法により実行される。   The detection process of the moving body 60 by the moving body detection unit 52 is performed on the camera image ia in a known manner, for example, by an inter-frame difference method.

図4は、フレーム間差分法による移動体検出処理の説明図である。シーンイメージは、図4中、左側の平面図に示されるが、図4中、中央部の画像に示すように、車両11のカメラ12で、時刻t0、時刻t0+1(1は、微小時間Δt、ここでは、1/30秒)、及び時刻t0+2で、3枚のカメラ画像i0、i1、i2を順次得る。   FIG. 4 is an explanatory diagram of the moving object detection process by the inter-frame difference method. The scene image is shown in the plan view on the left side in FIG. 4. As shown in the center image in FIG. 4, the camera 12 of the vehicle 11 uses the camera 12 at time t0, time t0 + 1 (1 is a minute time Δt, Here, three camera images i0, i1, and i2 are sequentially obtained at 1/30 seconds) and at time t0 + 2.

カメラ12の模式的に描いた撮像視野範囲92中には、時刻t0において、他車両である移動体90が存在していない(撮像されていない)ことに留意する。時刻t0+1において、カメラ12により移動体90が撮像され、時刻t0+2において、車両(自車両)11に接近する移動体90′がより大きく撮像される。   Note that the moving body 90 that is another vehicle does not exist (not imaged) at time t0 in the imaging view field range 92 schematically drawn by the camera 12. At time t0 + 1, the moving body 90 is imaged by the camera 12, and at time t0 + 2, the moving body 90 'approaching the vehicle (own vehicle) 11 is imaged larger.

ここでは、理解の便宜のために、3枚のカメラ画像i0、i1、i2において、背景の変化がないものとする。実用上は、車両11の後退速度が5[km/h]以下で、この実施形態に係る移動体検出処理のシステムが動作するように設定しているので、移動体90に対して背景を静止物体とみなすことができる。   Here, for convenience of understanding, it is assumed that there is no background change in the three camera images i0, i1, and i2. In practice, the vehicle 11 is set to operate at a reverse speed of 5 [km / h] or less and the moving body detection processing system according to this embodiment operates. It can be regarded as an object.

移動体検出部52は、まず、カメラ画像i0、i1の各画素データの引き算(i01=i1−i0)を行なうことで、背景画像が削除された移動体90の画像(第1差分画像i01)を抽出する。   The moving body detection unit 52 first subtracts each pixel data of the camera images i0 and i1 (i01 = i1−i0), so that the image of the moving body 90 from which the background image is deleted (first difference image i01). To extract.

次に、移動体検出部52は、第2差分画像i02を、i02=i2−i1+i01で得る。この場合、カメラ画像i2からカメラ画像i1を差し引くことで(i2−i1)、背景画像を削除して移動体90、90´の画像を残すが、さらに、残った移動体90、90´中、移動体90の画像i01を(i2−i1)+i01として除去することで、第2差分画像i02には、時刻t0+2における移動体90´の画像のみが抽出される。   Next, the moving body detection unit 52 obtains the second difference image i02 by i02 = i2−i1 + i01. In this case, by subtracting the camera image i1 from the camera image i2 (i2-i1), the background image is deleted and the images of the moving bodies 90 and 90 ′ are left. Further, in the remaining moving bodies 90 and 90 ′, By removing the image i01 of the moving body 90 as (i2-i1) + i01, only the image of the moving body 90 ′ at time t0 + 2 is extracted from the second difference image i02.

図4例のようにフレーム間差分法による移動体検出処理に係る画像処理を、映像信号Sv1による撮影画像iaに実行すれば、図3の中欄(「検知処理+倍率補正」)下方に示す移動体60のみ(の画像)を、第2差分画像i02(移動体90′)として移動体検出部52により検出することができる。   If the image processing related to the moving object detection processing by the inter-frame difference method as shown in FIG. 4 is performed on the captured image ia by the video signal Sv1, it is shown below the middle column (“detection processing + magnification correction”) in FIG. Only (the image of) the moving body 60 can be detected by the moving body detection unit 52 as the second difference image i02 (moving body 90 ').

その図3において、移動体60の画像の検知枠62は、検知枠生成部54により、例えば、特許文献1に示されたような公知の微分処理により第2差分画像icの輪郭画像(微分画像)を得、得られた輪郭画像の外接4角形の各頂点を通る長方形枠(各辺を、水平方向及び垂直方向に平行とする。)を生成し、この長方形枠を、移動体60の画像位置に重ね合わせて検知枠62を描けばよい。この実施形態では、見易さを考慮して、長方形枠を若干拡大した検知枠62として表示するようにしている。   In FIG. 3, the detection frame 62 of the image of the moving body 60 is detected by the detection frame generation unit 54, for example, a contour image (differential image) of the second difference image ic by a known differentiation process as shown in Patent Document 1. ) And a rectangular frame passing through each vertex of the circumscribed square of the obtained contour image (each side is parallel to the horizontal direction and the vertical direction) is generated, and this rectangular frame is used as the image of the moving object 60. What is necessary is just to draw the detection frame 62 superimposed on the position. In this embodiment, the rectangular frame is displayed as a slightly enlarged detection frame 62 in consideration of legibility.

なお、移動体60の走行軌跡(移動軌跡)及び走行軌跡の方向(移動軌跡の方向)は、移動体検出部52又は検知枠生成部54により移動体60の画像の重心をプロットして記憶しておくことにより得ることができる。   Note that the travel locus (movement locus) and the direction of the travel locus (the direction of the movement locus) of the moving body 60 are stored by plotting the center of gravity of the image of the moving body 60 by the moving body detection unit 52 or the detection frame generation unit 54. Can be obtained.

表示処理部56は、図3の右側(右欄)に示す画像idに示すように、例えば、ワイドビュー画面表示モードで移動体60に検知枠62を重畳表示し、さらに、ソナー14の感知範囲102、104で障害物が検出(感知)された場合、検出結果を表示する。   As shown in the image id shown on the right side (right column) of FIG. 3, the display processing unit 56 superimposes the detection frame 62 on the moving body 60 in the wide view screen display mode, and further detects the sensing range of the sonar 14. When an obstacle is detected (sensed) at 102 and 104, the detection result is displayed.

ソナー14の感知範囲102、104内で障害物が検出(感知)されている場合、メータECU20は、スピーカ34を通じて、「ピピピッ」と警報を行う。なお、警報は、移動体60の走行軌跡(の方向)が、車両11に向かう方向である場合にも行ってもよい。   When an obstacle is detected (sensed) within the sensing ranges 102 and 104 of the sonar 14, the meter ECU 20 issues an alarm “beep” through the speaker 34. Note that the alarm may also be performed when the traveling locus (direction) of the moving body 60 is a direction toward the vehicle 11.

以上の説明が、この実施形態に係る車両用周辺監視装置10における基本的な画像処理についての説明である。   The above description is the basic image processing in the vehicle periphery monitoring device 10 according to this embodiment.

[ギアポジションスイッチと表示切替スイッチとソナースイッチと、画面表示モードと、の関係]
次に、ギアポジションスイッチ28と表示切替スイッチ32とソナースイッチ26の各選択位置と、画面表示モードと、の関係について、図5、図6A、及び図6Bを参照して説明する。
[Relationship between gear position switch, display changeover switch, sonar switch, and screen display mode]
Next, the relationship between the selection positions of the gear position switch 28, the display changeover switch 32, and the sonar switch 26 and the screen display mode will be described with reference to FIGS. 5, 6A, and 6B.

上述したように、ギアポジションスイッチ28の選択位置が後退位置以外の位置に選択されている場合には、表示部30には、ナビECU18に係る地図画面等又はAV(オーディオ・ビジュアル)に係るタイトル画面等が表示され、ギアポジションスイッチ28の選択位置が後退位置に切り換えられると、表示部30には、カメラ12による車両11の後方の画像が表示される。   As described above, when the selection position of the gear position switch 28 is selected at a position other than the reverse position, the display unit 30 displays a map screen or the like related to the navigation ECU 18 or a title related to AV (audio / visual). When a screen or the like is displayed and the selection position of the gear position switch 28 is switched to the reverse position, an image behind the vehicle 11 by the camera 12 is displayed on the display unit 30.

このとき、上述した検知枠62等を表示させない比較例の画像は、図5中、左側(左欄)に示すように、表示切替スイッチ32を1回切り換える毎に、表示視野範囲44(図2参照)のワイドビュー画像表示モード画像(ワイドビュー画像)110w(左上)、表示視野範囲42(図2参照)のノーマルビュー画像表示モード画像(ノーマルビュー画像)110n(左中央)、表示視野範囲46(図2参照)のトップダウンビュー画像表示モード画像(トップダウンビュー画像)110t(左下)、ワイドビュー画像110w(左上)、…の順に切り換えられる。   At this time, the image of the comparative example in which the above-described detection frame 62 and the like are not displayed is displayed in the display visual field range 44 (FIG. 2) every time the display changeover switch 32 is switched once, as shown on the left side (left column) in FIG. Wide view image display mode image (wide view image) 110w (upper left), normal view image display mode image (normal view image) 110n (center left) of display visual field range 42 (see FIG. 2), display visual field range 46 The top down view image display mode image (top down view image) 110t (lower left), wide view image 110w (upper left),.

ギアポジションスイッチ28の選択位置が後退位置、かつソナースイッチ26がオン状態にされているときに、後退時車速が5[km/h]未満であるとき、図5中、中央(中欄)に示すように、表示切替スイッチ32を1回切り換える毎に、ワイドビュー画像112w(中央上)、ノーマルビュー画像112n(中央中)、トップダウンビュー画像112t(中央下)、ワイドビュー画像112w(中央上)、…の順に切り換えられる。このとき、各画像112w、112n、112tの右下には、カメラ12及びソナー14による移動体60等の検知が可能であることを示す検知可アイコン120が表示される。また、ソナー14の感知範囲102、104(図1参照)で障害物を検出した場合、検出した感知範囲102、104に対応して図5に示す帯状の検出結果アイコン122、124が表示される。例えば、中央の感知範囲104のみで障害物を検出した場合、中央の検出結果アイコン124のみが表示され、その検出結果アイコン124の色は、検出距離に応じ変えられ、又、検出距離に応じてブリンク表示間隔が変えられる。   When the selected position of the gear position switch 28 is the reverse position and the sonar switch 26 is turned on, and the vehicle speed during reverse is less than 5 km / h, the center (middle column) in FIG. As shown, every time the display changeover switch 32 is switched once, the wide view image 112w (center upper), the normal view image 112n (center middle), the top-down view image 112t (center lower), and the wide view image 112w (center upper) ), ... in this order. At this time, a detectable icon 120 indicating that the moving body 60 and the like can be detected by the camera 12 and the sonar 14 is displayed at the lower right of each of the images 112w, 112n, and 112t. In addition, when an obstacle is detected in the sensing ranges 102 and 104 (see FIG. 1) of the sonar 14, strip-like detection result icons 122 and 124 shown in FIG. 5 are displayed corresponding to the detected sensing ranges 102 and 104, respectively. . For example, when an obstacle is detected only in the center sensing range 104, only the center detection result icon 124 is displayed, and the color of the detection result icon 124 is changed according to the detection distance, and also according to the detection distance. The blink display interval can be changed.

中欄の画像112w、112n、112t中、ワイドビュー画像112wでは、移動体60を囲む検知枠62が、所定領域{ノーマルビュー画像112nの表示視野範囲42(図2参照)外}で表示され、ワイドビュー画像112wの表示中において、移動体60(の一部)が所定領域内{ノーマルビュー画像112nの表示視野範囲42内}に入ってくると、検知枠62の表示が消えるようになっている。検知枠62の表示を消えるようにするのは、運転者は、直接後方を確認しながら運転しているので、移動体60に十分気づくことを考慮し、表示の煩雑さを解消するためである。   Among the middle column images 112w, 112n, and 112t, in the wide view image 112w, the detection frame 62 surrounding the moving body 60 is displayed in a predetermined area {outside the display field range 42 (see FIG. 2) of the normal view image 112n}. While the wide view image 112w is being displayed, if the moving body 60 (a part thereof) enters the predetermined region {within the display field range 42 of the normal view image 112n}, the display of the detection frame 62 disappears. Yes. The reason why the display of the detection frame 62 disappears is that the driver is driving while directly confirming the rear side, so that it is necessary to fully notice the moving body 60 and the display complexity is eliminated. .

一方、中欄の画像112w、112n、112t中、ノーマルビュー画像112n及びトップダウンビュー画像112tでは、検知枠62が表示されずに、移動体60が表示されるか、移動体60が表示視野範囲42外である場合には、ワイドビュー画像112wの範囲(カメラ12の撮影視野範囲)内に移動体60を検出している場合であって、かつ移動体60が車両11(カメラ12)に近づいてきているときに、表示処理部56は、表示画面中、所定位置(詳細を後述するノーマルビュー画像112n中の所定位置)に、検知枠生成部(検知矢印生成部)54によって生成された検知矢印114、116を表示するようにしている。   On the other hand, in the middle column images 112w, 112n, and 112t, in the normal view image 112n and the top-down view image 112t, the detection frame 62 is not displayed and the moving body 60 is displayed or the moving body 60 is displayed in the display visual field range. If it is outside 42, the moving body 60 is detected within the range of the wide-view image 112 w (the shooting field of view of the camera 12), and the moving body 60 approaches the vehicle 11 (camera 12). The display processing unit 56 detects the detection generated by the detection frame generation unit (detection arrow generation unit) 54 at a predetermined position (a predetermined position in the normal view image 112n whose details will be described later) on the display screen. Arrows 114 and 116 are displayed.

また、ワイドビュー画像112w及びノーマルビュー画像112n上に、重畳表示されるガイド線202、204等は、図6Aの画像表示及び図6Bの実際の状況の各説明図から分かるように、車両11の車幅より若干大きめの車幅ガイド線202、204と、トランク開口時ガイド線206(車種によって異なるが、この例では0.5[m])と、約1[m]、約2[m]、約3[m]の各ガイド線208、210、212が半透明の黄色い線で表示される。   Further, the guide lines 202, 204 and the like superimposed on the wide view image 112w and the normal view image 112n can be seen from the image display of FIG. 6A and the explanatory diagrams of the actual situation of FIG. 6B. Vehicle width guide lines 202 and 204 slightly larger than the vehicle width and trunk opening guide line 206 (0.5 [m] in this example, depending on the vehicle type), about 1 [m] and about 2 [m] , Each guide line 208, 210, 212 of about 3 [m] is displayed as a semi-transparent yellow line.

さらに、ギアポジションスイッチ28の選択位置が後退位置、かつソナースイッチ26がオン状態にされているときであっても、車両11の後退時の車速が5[km/h]以上となると、図5中、右側(右欄)に示すように、表示切替スイッチ32を1回切り換える毎に、ワイドビュー画像114w(右上)、ノーマルビュー画像114n(右中央)、トップダウンビュー画像114t(右下)、ワイドビュー画像114w(右上)、…の順に切り換えられるが、このとき、各画像114w、114n、114tの右下には、カメラ12及びソナー14による移動体60等の検知が不可能であることを示す検知不可アイコン121が表示される。すなわち、ワイドビュー画像114wでは、移動体60に対し検知枠62が表示されず、ノーマルビュー画像114n及びトップダウンビュー画像114tでは、検知矢印114、116が表示されない。   Further, even when the selection position of the gear position switch 28 is the reverse position and the sonar switch 26 is turned on, if the vehicle speed when the vehicle 11 is reverse is 5 [km / h] or more, FIG. As shown in the middle, right side (right column), each time the display changeover switch 32 is switched once, the wide view image 114w (upper right), the normal view image 114n (right center), the top down view image 114t (lower right), The wide view image 114w (upper right),... Is switched in this order. At this time, it is impossible to detect the moving body 60 and the like by the camera 12 and the sonar 14 at the lower right of each image 114w, 114n, 114t. An undetectable icon 121 is displayed. That is, the detection frame 62 is not displayed on the moving body 60 in the wide view image 114w, and the detection arrows 114 and 116 are not displayed in the normal view image 114n and the top down view image 114t.

以上の説明が、ギアポジションスイッチ28と表示切替スイッチ32とソナースイッチ26と、画面表示モードと、の関係の説明である。   The above description is the description of the relationship among the gear position switch 28, the display changeover switch 32, the sonar switch 26, and the screen display mode.

次に、第1実施例(表示視野範囲の切り替えに応じた検知枠の表示の仕方)及び第2実施例(移動体の走行軌跡に応じた検知枠の表示の仕方)の順で、動作を説明する。   Next, the operation is performed in the order of the first embodiment (how to display the detection frame according to the switching of the display visual field range) and the second embodiment (how to display the detection frame according to the traveling locus of the moving body). explain.

[第1実施例(表示視野範囲の切り替えに応じた検知枠の表示の仕方)]
図7に示すように、「Wide View」の表示とともにワイドビュー画像112wが表示されるワイドビュー画面モード表示において、想像線である2点鎖線で示すノーマルビュー表示視野範囲の外側(左右外側)に移動体60を検知した場合には、その移動体60に検知枠62を付ける。
[First embodiment (how to display a detection frame in response to switching of the visual field range)]
As shown in FIG. 7, in the wide view screen mode display in which the wide view image 112w is displayed together with the display of “Wide View”, outside the normal view display visual field range indicated by the two-dot chain line, which is an imaginary line. When the moving body 60 is detected, a detection frame 62 is attached to the moving body 60.

この図7のワイドビュー画面モード表示において、表示切替スイッチ32の操作により、図8に示す「Normal View」の表示とともにノーマルビュー画像112nが表示されるノーマルビュー画面モード表示に切り換えられた場合、移動体60は、カメラ12の撮影視野範囲内にあるが(映像信号Sv1には撮像されているが)、ノーマルビュー表示視野範囲に存在しないので、移動体60及び検知枠62が表示されない。   In the wide view screen mode display of FIG. 7, if the display changeover switch 32 is operated to switch to the normal view screen mode display in which the normal view image 112 n is displayed together with the display of “Normal View” shown in FIG. Although the body 60 is within the shooting field of view range of the camera 12 (although it is captured by the video signal Sv1), the body 60 and the detection frame 62 are not displayed because they do not exist within the normal view display field range.

ただし、このノーマルビュー画面モード表示において、移動体60の走行軌跡の方向が、図中、画面の左側から車両11に近づいていることが、移動体検出部52により検出されているとき、左側のガイド線202の左側の所定位置に(ガイド線202の外側に)ガイド線202を指向する検知矢印114を半透明表示するようにしている。   However, in this normal view screen mode display, when the moving object detection unit 52 detects that the direction of the traveling locus of the moving object 60 is approaching the vehicle 11 from the left side of the screen in the drawing, A detection arrow 114 pointing to the guide line 202 is displayed in a translucent manner at a predetermined position on the left side of the guide line 202 (outside the guide line 202).

検知矢印114は、より詳しく説明すると、図8中、車両11の手前から遠方に向かって中央側(右側)に傾いて表示される左側のガイド線202に対し、図8中、左後側方から移動体60が近づいてくることを検出したときには、ガイド線202に略直交するように、検知矢印114L(図9参照)を、その先端がガイド線202に臨むようにしてガイド線202の手前に半透明表示する一方、図8中、車両11の手前から遠方に向かって中央側(左側)に傾いて表示される右側のガイド線204に対し、図8中、右後側方から移動体60が近づいてくることを検出したときには、ガイド線204に略直交するように、検知矢印114R(図9参照)を、その先端がガイド線202に臨むようにしてガイド線204の手前に半透明表示する。   The detection arrow 114 will be described in more detail. In FIG. 8, the left guide line 202 is tilted toward the center side (right side) from the front of the vehicle 11 to the far side in FIG. When detecting that the moving body 60 is approaching, the detection arrow 114L (see FIG. 9) is placed halfway in front of the guide line 202 so that the tip thereof faces the guide line 202 so as to be substantially orthogonal to the guide line 202. On the other hand, the moving body 60 is displayed from the right rear side in FIG. 8 with respect to the right guide line 204 that is displayed tilted toward the center side (left side) from the front of the vehicle 11 to the far side in FIG. When approaching is detected, the detection arrow 114R (see FIG. 9) is displayed semi-transparently in front of the guide line 204 so that the tip thereof faces the guide line 202 so as to be substantially orthogonal to the guide line 204.

図7例の「Wide View」と表示されるワイドビュー画面モード表示において、表示切替スイッチ32の操作により、図8に示す「Normal View」と表示されるノーマルビュー画面モード表示に切り換えられた場合、移動体60は、カメラ12の撮影視野範囲内にあるが(映像信号Sv1には撮像されているが)、ノーマルビュー表示視野範囲に存在しないので、移動体60及び検知枠62が表示されない。   In the wide view screen mode display displayed as “Wide View” in the example of FIG. 7, when the display changeover switch 32 is operated to switch to the normal view screen mode display displayed as “Normal View” shown in FIG. Although the moving body 60 is within the imaging field of view range of the camera 12 (although it is captured in the video signal Sv1), the moving body 60 and the detection frame 62 are not displayed because they do not exist in the normal view display field of view range.

この第1実施例では、たとえ、図8のノーマルビュー画面モード表示状態において、移動体60(の一部)が画面内に表示されるようになったときでも、表示処理部56は、検知枠62を非表示とするように制御している。すなわち、ノーマルビュー画面モード表示状態において、移動体60が表示されていない場合に、その移動体60が車両11に接近しているとき、検知矢印114が表示され、ノーマルビュー画面モード表示状態において、移動体60が表示されるようになった場合には、検知枠62及び検知矢印114がともに表示されないように表示処理している。   In the first embodiment, even in the normal view screen mode display state of FIG. 8, even when the moving body 60 (part) is displayed on the screen, the display processing unit 56 detects the detection frame. Control is performed so that 62 is not displayed. That is, when the moving body 60 is not displayed in the normal view screen mode display state, when the moving body 60 is approaching the vehicle 11, the detection arrow 114 is displayed. In the normal view screen mode display state, When the moving body 60 comes to be displayed, display processing is performed so that both the detection frame 62 and the detection arrow 114 are not displayed.

さらに、図7のワイドビュー画面モード表示から、図10に示すように、「Top Down View」の表示とともにトップダウンビュー画像112tが表示されるトップダウンビュー画面モード表示に切り換えられた場合には、画面の左側から車両11に向かって移動体60が近づいてきていることが検出されたとき、ノーマルビュー画面モード表示と同様に、水平方向で画面中央側を指向する検知矢印116Lを、画面左側の所定位置(概ね画面左端中央位置)に表示する。   Furthermore, when the wide view screen mode display of FIG. 7 is switched to the top down view screen mode display in which the top down view image 112t is displayed together with the display of “Top Down View” as shown in FIG. When it is detected that the moving body 60 is approaching from the left side of the screen toward the vehicle 11, the detection arrow 116L pointing in the horizontal direction toward the center of the screen is displayed on the left side of the screen, as in the normal view screen mode display. It is displayed at a predetermined position (approximately the center position on the left edge of the screen).

このトップダウンビュー画面表示モードにおいて、表示処理部56は、検知矢印116は、図11に示すように、移動体60が、図中、左側から近づいてくるときには、L側を示し画面中央側を指向する検知矢印116Lを画面左側の所定位置に、図中、右側から近づいているときには、R側を示し画面中央側を指向する検知矢印116Rを画面右側の所定位置(概ね画面右端中央位置)に、それぞれ表示する。   In the top-down view screen display mode, the display processing unit 56 indicates that the detection arrow 116 indicates the L side when the moving body 60 approaches from the left side in the figure, as shown in FIG. When the pointing detection arrow 116L is approaching a predetermined position on the left side of the screen, from the right side in the figure, the detection arrow 116R indicating the R side and pointing toward the center side of the screen is at a predetermined position on the right side of the screen (generally the center position on the right end of the screen). , Display each.

以上説明したように、上述した第1実施例に係る車両用周辺監視装置10は、車両11に搭載され、前記車両周辺の撮像画像を取得する撮像部としてのカメラ12と、前記撮像画像に基づき、移動体60を検出する移動体検出部52と、移動体検出部52で検出された移動体60を囲む検知枠62を生成する検知枠生成部54と、表示部30と、前記撮像画像に対し検知枠62を重ね合わせて表示部30に表示させる表示処理部56と、を備える。   As described above, the vehicle periphery monitoring device 10 according to the first embodiment described above is mounted on the vehicle 11 and is based on the camera 12 as an imaging unit that acquires a captured image around the vehicle, and the captured image. A moving body detection unit 52 that detects the moving body 60, a detection frame generation unit 54 that generates a detection frame 62 that surrounds the moving body 60 detected by the moving body detection unit 52, a display unit 30, and the captured image And a display processing unit 56 that causes the detection frame 62 to be superimposed and displayed on the display unit 30.

そして、さらに前記撮像画像の表示視野範囲を切り替える切替部としての表示切替スイッチ32を有し、表示処理部56は、表示切替スイッチ32による前記表示視野範囲の切り替えに応じて、検知枠62の表示と非表示とを切り替えるようにしている。このため、表示視野範囲に応じて、最適な検知枠の表示・非表示とすることができる。すなわち、表示視野範囲と検知枠との表示対応について最適な表示形態とすることができる。   The display switching switch 32 further serves as a switching unit that switches the display visual field range of the captured image, and the display processing unit 56 displays the detection frame 62 in accordance with the switching of the display visual field range by the display switching switch 32. And to hide and display. For this reason, the optimal detection frame can be displayed / hidden according to the display visual field range. That is, it is possible to obtain an optimum display form for display correspondence between the display visual field range and the detection frame.

この場合、表示処理部56は、検知枠62を非表示としたとき、移動体60の移動方向を示す検知矢印114、116を表示するようにすることで、たとえ、表示視野範囲に、移動体60が表示されない場合でも、ユーザ(表示を見る人)に移動体60の存在方向を認識させることができる。   In this case, the display processing unit 56 displays the detection arrows 114 and 116 indicating the moving direction of the moving body 60 when the detection frame 62 is not displayed, so that the moving body is displayed in the display visual field range. Even when 60 is not displayed, it is possible to make the user (the person who sees the display) recognize the direction in which the moving body 60 exists.

なお、カメラ12が、車両11の後方の撮像画像を取得するように設けられているので、車両後退運転時における後方視認支援として有用である。また、車両の後退時には、図7、図8、図10等の画面の下側に表示されるように、直接、後方を確認しながら運転することが基本である。   In addition, since the camera 12 is provided so that the captured image of the back of the vehicle 11 may be acquired, it is useful as back visual recognition assistance at the time of vehicle reverse driving. In addition, when the vehicle is moving backward, it is fundamental to drive while confirming the rear side directly as displayed on the lower side of the screens of FIGS.

カメラ12を後方視認支援として使用するとき、表示切替スイッチ32の選択に応じて、表示処理部56は、車両11の後方の所定範囲を表示する第1表示視野範囲としてのノーマルビュー画面表示モード又はトップダウンビュー画面表示モードと、前記所定範囲より広い範囲を表示する第2表示視野範囲としてのワイドビュー画面表示モードとを切り替え、表示処理部56は、前記第1表示視野範囲(ノーマルビュー画面表示モード又はトップダウンビュー画面表示モード)の場合は検知枠62を非表示とし、前記第2表示視野範囲(ワイドビュー画面表示モード)の場合は検知枠62を表示するようにすることで、相対的に移動体60が小さく表示される第2表示視野範囲(図7に示したワイドビュー画面表示モード)では検知枠62が表示されて移動体60の特定がより容易となり、相対的に移動体60が大きく表示される第1表示視野範囲(例えば、図8に示したノーマルビュー画面表示モード)では、ユーザは、移動体60を的確に視認することができる。   When the camera 12 is used as a rear view assist, the display processing unit 56 displays a normal view screen display mode as a first display visual field range for displaying a predetermined range behind the vehicle 11 according to the selection of the display changeover switch 32. Switching between a top-down view screen display mode and a wide-view screen display mode as a second display visual field range that displays a range wider than the predetermined range, the display processing unit 56 displays the first display visual field range (normal view screen display). Mode or top-down view screen display mode), the detection frame 62 is not displayed, and in the second display visual field range (wide view screen display mode), the detection frame 62 is displayed. In the second display visual field range (the wide view screen display mode shown in FIG. 7) in which the moving body 60 is displayed small, the detection frame 62 is In the first display visual field range (for example, the normal view screen display mode shown in FIG. 8) in which the moving body 60 is identified more easily and the moving body 60 is displayed relatively large, the user can 60 can be accurately recognized.

つまり、表示処理部56は、移動体60が車両11の後方の所定距離以内に接近すると、検知枠62を非表示とすることで、ユーザは、移動体を的確に視認することができる。   That is, when the moving body 60 approaches within a predetermined distance behind the vehicle 11, the display processing unit 56 hides the detection frame 62 so that the user can accurately recognize the moving body.

[第2実施例(移動体の走行軌跡に応じた検知枠の表示の仕方)]
この第2実施例では、車両用周辺監視装置10は、車両11に搭載され、前記車両周辺の撮像画像を取得する撮像部としてのカメラ12と、前記撮像画像に基づき、移動体を検出する移動体検出部52と、移動体検出部52で検出された移動体60を囲む検知枠62を生成する検知枠生成部54と、表示部30と、前記撮像画像に対し検知枠62を重ね合わせて表示部30に表示させる表示処理部56と、を備える。
[Second embodiment (how to display a detection frame according to the traveling locus of a moving object)]
In this second embodiment, a vehicle periphery monitoring device 10 is mounted on a vehicle 11 and moves to detect a moving body based on the camera 12 as an imaging unit that acquires a captured image around the vehicle and the captured image. The body detection unit 52, the detection frame generation unit 54 that generates the detection frame 62 surrounding the moving body 60 detected by the mobile body detection unit 52, the display unit 30, and the detection frame 62 are superimposed on the captured image. A display processing unit 56 to be displayed on the display unit 30.

移動体検出部52は、移動体60の走行軌跡を判定(解析)し、表示処理部56は、判定(解析)された前記走行軌跡(の延長方向)に応じて、検知枠62を非表示とする領域を切り替えるようにしている。このようにすれば、検知枠62で運転者等のユーザに移動体60の存在を知らせる必要のある場合のみ検知枠62が表示されるようになるので、ユーザに、検知枠62の表示が与える煩わしさを軽減することができる。   The moving body detection unit 52 determines (analyzes) the traveling locus of the moving body 60, and the display processing unit 56 hides the detection frame 62 in accordance with the determined (analyzed) traveling locus (extension direction). The area to be changed is switched. In this way, since the detection frame 62 is displayed only when it is necessary to notify the user such as the driver of the presence of the moving body 60 in the detection frame 62, the display of the detection frame 62 is given to the user. Annoyance can be reduced.

この場合においても、カメラ12が、車両11の後方の撮像画像を取得するように設けられているので、車両後退運転時における後方視認支援として有用である。   Also in this case, since the camera 12 is provided so as to acquire a captured image of the rear of the vehicle 11, it is useful as a rear visual recognition support during the vehicle reverse operation.

具体的には、例えば、図12のワイドビュー画像表示モードにおいて、表示処理部56は、移動体検出部52により判定(解析)された走行軌跡(走行軌跡の延長方向)150に示すように、移動体60の走行軌跡150が車両11の後側方領域152から車両11の後方領域154を横切る方向を示している場合、ハッチングで示している車両11の後方領域154、及び後側方領域152と反対側の後側方領域156を検知枠62の非表示領域158とすることで、車両11の方向に接近しない移動体60に係る検知枠62を視認する煩わしさを軽減することができる。なお、バンパー近傍のソナー感知範囲102、104も検知枠62の非表示領域に設定している。   Specifically, for example, in the wide-view image display mode of FIG. 12, the display processing unit 56, as indicated by a travel locus (extended direction of the travel locus) 150 determined (analyzed) by the moving body detection unit 52, When the traveling locus 150 of the moving body 60 indicates a direction crossing the rear region 154 of the vehicle 11 from the rear side region 152 of the vehicle 11, the rear region 154 of the vehicle 11 and the rear side region 152 shown by hatching. By setting the rear side region 156 on the opposite side to the non-display region 158 of the detection frame 62, the troublesomeness of visually recognizing the detection frame 62 related to the moving body 60 that does not approach the direction of the vehicle 11 can be reduced. Note that the sonar detection ranges 102 and 104 near the bumper are also set in the non-display area of the detection frame 62.

図12例の検知枠62の表示・非表示について、より詳しく説明すると、移動体60の走行軌跡150が、車両11の後側方領域152から車両11の後方領域154を横切る方向を示しているので、移動体60が車両11の後側方領域152から後方領域154に近づいてくる間は、運転者等のユーザに移動体60の存在を知らせる必要があるものと判断して、移動体60を囲む検知枠62を表示し、移動体60が車両11の後方領域154を横切るとき及び車両11の反対側の後側方領域156に離れていくときには、運転者等のユーザに移動体60の存在を知らせる必要がないものと判断して、ハッチングした枠内では、移動体60を囲む検知枠62を表示しないようにしたので、検知枠62で運転者等に移動体60の存在を知らせる必要のある場合のみ検知枠62が表示され、運転者等のユーザに、検知枠62の表示が与える煩わしさを軽減することができる。   The display / non-display of the detection frame 62 in the example of FIG. 12 will be described in more detail. The travel locus 150 of the moving body 60 indicates the direction crossing the rear region 154 of the vehicle 11 from the rear side region 152 of the vehicle 11. Therefore, while the moving body 60 approaches the rear area 154 from the rear side area 152 of the vehicle 11, it is determined that it is necessary to notify the user such as a driver of the existence of the moving body 60. When the moving body 60 crosses the rear area 154 of the vehicle 11 and moves away from the rear side area 156 on the opposite side of the vehicle 11, a user such as a driver is informed of the moving body 60. Since it is determined that there is no need to notify the existence, the detection frame 62 surrounding the moving body 60 is not displayed in the hatched frame, so the driver or the like is notified of the presence of the moving body 60 by the detection frame 62. Appears only detection frame 62 when there is a necessity, the user such as the driver, it is possible to reduce the trouble of displaying the detection frame 62 provides.

ただし、表示処理部56は、図13に示すように、移動体検出部52により判定(解析)された走行軌跡(の延長方向)159が、移動体160が車両11の後方(真後ろ)から車両11に接近する方向を示している場合、検知枠162の非表示領域を設けないようにする。この場合には、移動体160が画面中央奥側から画面中央手前側に向かってくるように表示され、検知枠162は、画面上で横方向に移動することなく、開口面積が大きくなるので、移動体160を囲む検知枠162の表示は、移動体160の注意喚起に有用であり、煩わしさを感じさせることが少ない。   However, as shown in FIG. 13, the display processing unit 56 indicates that the traveling locus (extension direction) 159 determined (analyzed) by the moving body detection unit 52 is the vehicle from the rear (directly behind) the vehicle 11. 11, the non-display area of the detection frame 162 is not provided. In this case, the moving body 160 is displayed so as to come from the back side of the center of the screen toward the front side of the center of the screen, and the detection frame 162 has a large opening area without moving laterally on the screen. The display of the detection frame 162 that surrounds the moving body 160 is useful for alerting the moving body 160 and is less likely to cause annoyance.

この場合において、図14に示すように、ソナー感知範囲102、104は、検知枠162の非表示領域としてもよい。   In this case, as shown in FIG. 14, the sonar detection ranges 102 and 104 may be non-display areas of the detection frame 162.

なお、この発明は、上述した車両11の後方の移動体を検出する実施形態に限らず、車両11の前方の移動体を検出する場合に適用する等、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。   The present invention is not limited to the above-described embodiment that detects the moving body behind the vehicle 11, but is applied to the case where the moving body in front of the vehicle 11 is detected. Of course, it is possible to adopt the following configuration.

10…車両用周辺監視装置 11…車両
12…カメラ(撮像部) 30…表示部
32…表示切替スイッチ(切替部) 52…移動体検出部
54…検知枠生成部(検知矢印生成部) 56…表示処理部
60、160…移動体 62、162…検知枠
114、116…検知矢印 150、159…走行軌跡(の方向)
DESCRIPTION OF SYMBOLS 10 ... Vehicle periphery monitoring apparatus 11 ... Vehicle 12 ... Camera (imaging part) 30 ... Display part 32 ... Display change switch (switching part) 52 ... Moving body detection part 54 ... Detection frame production | generation part (detection arrow production | generation part) 56 ... Display processing unit 60, 160 ... moving body 62, 162 ... detection frame 114, 116 ... detection arrow 150, 159 ... travel locus (direction)

Claims (4)

車両に搭載され、前記車両周辺の撮像画像を取得する撮像部と、
前記撮像画像に基づき、移動体を検出する移動体検出部と、
前記移動体検出部で検出された移動体を囲む検知枠を生成する検知枠生成部と、
表示部と、
前記撮像画像に対し前記検知枠を重ね合わせて前記表示部に表示させる表示処理部と、
からなる車両用周辺監視装置であって、
前記撮像画像の表示視野範囲を切り替える切替部を有し、
前記表示処理部は、
前記切替部による前記表示視野範囲の切り替えに応じて、前記検知枠の表示と非表示とを切り替え
さらに、前記表示処理部は、
前記検知枠を非表示としたとき、前記移動体の移動方向を示す矢印を表示す
ことを特徴とする車両用周辺監視装置。
An imaging unit mounted on a vehicle and acquiring a captured image around the vehicle;
A moving body detection unit for detecting a moving body based on the captured image;
A detection frame generation unit that generates a detection frame surrounding the mobile body detected by the mobile body detection unit;
A display unit;
A display processing unit that causes the display unit to display the detection frame superimposed on the captured image;
A vehicle periphery monitoring device comprising:
A switching unit that switches a display visual field range of the captured image;
The display processing unit
In accordance with the switching of the display visual field range by the switching unit, switching between display and non-display of the detection frame ,
Furthermore, the display processing unit
Wherein when the hide detection frame, the vehicle periphery monitoring apparatus, characterized in that that displays an arrow indicating a moving direction of the moving body.
請求項1に記載の車両用周辺監視装置において、
前記撮像部は、前記車両の後方の撮像画像を取得する
ことを特徴とする車両用周辺監視装置。
The vehicle periphery monitoring device according to claim 1 ,
The imaging section acquires a captured image behind the vehicle. A vehicle periphery monitoring device, characterized in that:
請求項に記載の車両用周辺監視装置において、
前記切替部は、
前記車両の後方の所定範囲を表示する第1表示視野範囲と、前記所定範囲より広い範囲を表示する第2表示視野範囲とを切り替え、
前記表示処理部は、
前記第1表示視野範囲の場合は前記検知枠を非表示とし、前記第2表示視野範囲の場合は前記検知枠を表示する
ことを特徴とする車両用周辺監視装置。
The vehicle periphery monitoring device according to claim 2 ,
The switching unit is
Switching between a first display visual field range that displays a predetermined range behind the vehicle and a second display visual field range that displays a range wider than the predetermined range;
The display processing unit
The vehicle periphery monitoring device, wherein the detection frame is not displayed in the case of the first display visual field range, and the detection frame is displayed in the case of the second display visual field range.
請求項1〜のいずれか1項に記載の車両用周辺監視装置において、
前記表示処理部は、
前記移動体が前記車両の後方の所定距離以内に接近すると、前記検知枠を非表示とする
ことを特徴とする車両用周辺監視装置。
In the periphery monitoring device for vehicles according to any one of claims 1 to 3 ,
The display processing unit
The vehicle periphery monitoring device, wherein the detection frame is hidden when the moving body approaches within a predetermined distance behind the vehicle.
JP2011025615A 2011-02-09 2011-02-09 Vehicle periphery monitoring device Active JP5718080B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011025615A JP5718080B2 (en) 2011-02-09 2011-02-09 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011025615A JP5718080B2 (en) 2011-02-09 2011-02-09 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2012162212A JP2012162212A (en) 2012-08-30
JP5718080B2 true JP5718080B2 (en) 2015-05-13

Family

ID=46842059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011025615A Active JP5718080B2 (en) 2011-02-09 2011-02-09 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP5718080B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679388B2 (en) 2016-03-14 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, device control system, imaging apparatus, and recording medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329582B2 (en) * 2011-02-09 2013-10-30 本田技研工業株式会社 Vehicle periphery monitoring device
DE102013015847B3 (en) 2013-09-24 2015-03-05 Mekra Lang Gmbh & Co. Kg vision system
JP6425014B2 (en) * 2014-08-29 2018-11-21 株式会社富士通ゼネラル Mobile object detection device
JP6293089B2 (en) * 2015-05-12 2018-03-14 萩原電気株式会社 Rear monitor
JP5997824B1 (en) * 2015-11-10 2016-09-28 株式会社オプティム Remote terminal, remote instruction method, and program for remote terminal
JP6195960B2 (en) * 2016-08-26 2017-09-13 株式会社オプティム Remote instruction method and remote terminal program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793307B2 (en) * 2007-04-03 2011-10-12 株式会社デンソー Vehicle periphery monitoring device
JP4885793B2 (en) * 2007-05-22 2012-02-29 富士通テン株式会社 Obstacle monitoring device
JP5093611B2 (en) * 2008-12-01 2012-12-12 アイシン精機株式会社 Vehicle periphery confirmation device
JP5271154B2 (en) * 2009-05-29 2013-08-21 富士通テン株式会社 Image generating apparatus and image display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679388B2 (en) 2016-03-14 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, device control system, imaging apparatus, and recording medium

Also Published As

Publication number Publication date
JP2012162212A (en) 2012-08-30

Similar Documents

Publication Publication Date Title
JP5329582B2 (en) Vehicle periphery monitoring device
JP5718080B2 (en) Vehicle periphery monitoring device
JP5099451B2 (en) Vehicle periphery confirmation device
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US8441536B2 (en) Vehicle periphery displaying apparatus
JP6311646B2 (en) Image processing apparatus, electronic mirror system, and image processing method
JP2018157403A (en) On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device
JP2005311868A (en) Vehicle periphery visually recognizing apparatus
JP5471141B2 (en) Parking assistance device and parking assistance method
JP2000295604A (en) Rear and side monitoring device for vehicle
KR20090031997A (en) Perimeter monitoring apparatus and image display method for vehicle
JP2009083764A (en) Driving assisting device, driving assisting method, and computer program
JP2011251681A (en) Image display device and image display method
JP2008279875A (en) Parking support device
JPWO2011013813A1 (en) In-vehicle device and image processing program
JP2008059178A (en) Operation support device and program
JP2013161440A (en) Vehicle surroundings monitoring device
JP2007025739A (en) Image display device for vehicle
JP2007290570A (en) Vehicular display device
JP2007329611A (en) Vehicle perimeter monitoring apparatus, vehicle perimeter monitoring system, and vehicle perimeter monitoring method
JP2004051063A (en) Device for visual recognition around vehicle
JP2005217482A (en) Vehicle periphery monitoring method and apparatus thereof
JP5529097B2 (en) Vehicle driving support device
JP2007015663A (en) Vehicle monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R150 Certificate of patent or registration of utility model

Ref document number: 5718080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150