JP5284206B2 - Driving support device and navigation device - Google Patents

Driving support device and navigation device Download PDF

Info

Publication number
JP5284206B2
JP5284206B2 JP2009163520A JP2009163520A JP5284206B2 JP 5284206 B2 JP5284206 B2 JP 5284206B2 JP 2009163520 A JP2009163520 A JP 2009163520A JP 2009163520 A JP2009163520 A JP 2009163520A JP 5284206 B2 JP5284206 B2 JP 5284206B2
Authority
JP
Japan
Prior art keywords
vehicle
door
obstacle
opened
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009163520A
Other languages
Japanese (ja)
Other versions
JP2011016484A5 (en
JP2011016484A (en
Inventor
勉 松原
光生 下谷
崇 貞廣
正子 太田
剛 泉福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009163520A priority Critical patent/JP5284206B2/en
Publication of JP2011016484A publication Critical patent/JP2011016484A/en
Publication of JP2011016484A5 publication Critical patent/JP2011016484A5/ja
Application granted granted Critical
Publication of JP5284206B2 publication Critical patent/JP5284206B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、車両に搭載され、車両の運転者の運転作業、特に駐停車の運転作業を支援する運転支援装置、およびそれを用いたナビゲーション装置に関する。 The present invention relates to a driving support device that is mounted on a vehicle and supports driving operations of a driver of the vehicle, particularly parking and stopping operations , and a navigation device using the driving support device.

従来の運転支援装置においては、駐車する際、レーザ等を使って障害物までの距離を測定し、3次元座標変換をして、運転者が操縦するのに見易い角度に変換した画像を合成して映像表示部で画面表示する。これにより、運転者は車両と障害物との位置関係を把握できる(例えば、特許文献1参照。)。   In a conventional driving assistance device, when parking, the distance to an obstacle is measured using a laser, etc., three-dimensional coordinate conversion is performed, and an image converted into an angle that is easy to see for the driver to synthesize is synthesized. Display on the screen. Thereby, the driver | operator can grasp | ascertain the positional relationship of a vehicle and an obstruction (for example, refer patent document 1).

特開2001−224013号公報(第7頁、第12頁、第16〜17図)JP 2001-2224013 (7th page, 12th page, FIGS. 16-17)

従来の運転支援装置においては、車両と障害物との関係は把握できるが、車両と障害物が接触していなくても、これらの位置関係によってはドアが開かない、あるいは半開きになるため、車両の搭乗者の乗降や荷物の積み降ろしが制限され、搭乗者の利便性に欠けるといった問題があった。   In the conventional driving support device, the relationship between the vehicle and the obstacle can be grasped, but even if the vehicle and the obstacle are not in contact, the door may not be opened or half-open depending on the positional relationship between the vehicle and the vehicle. Boarding and unloading of passengers and loading and unloading of luggage were restricted, and there was a problem that the convenience of passengers was lacking.

この発明は、上述のような問題点を解決するためになされたもので、駐停車の際のドアの開閉が分かりやすく、搭乗者の利便性に優れた運転支援装置を得るものである。   The present invention has been made to solve the above-described problems, and is intended to provide a driving support device that is easy to understand opening and closing of a door when parking and stopping and is excellent in convenience for passengers.

この発明に係る運転支援装置は、車両のデータを記録した車両データベースと、データ解析部と、表示生成部とを備える。データ解析部は、車両の周辺の障害物を検出する障害物検出部からの障害物データ及び車両データベースからの車両データを用いて、車両のドアを開けた際のドアと障害物との距離を算出する。表示生成部は、車両及び障害物を複数の方向から見た画像を生成して表示部に表示し、ドアの開く幅又はドアと障害物との距離を、数値としてリアルタイムで表示するとともに、車両のドアを開けた際のドアと障害物との距離が所定値以下となったとき、所定値以下となった場所にマークをつけて強調表示を行う。車両及び障害物を複数の方向から見た画像は、車両及び障害物を上方から見た上面図と、車両及び障害物を側方から見た側面図、車両及び障害物を前方から見た前面図又は車両及び障害物を後方から見た後面図とが同時に表示される画像である
The driving support apparatus according to the present invention includes a vehicle database in which vehicle data is recorded, a data analysis unit, and a display generation unit. The data analysis unit uses the obstacle data from the obstacle detection unit that detects obstacles around the vehicle and the vehicle data from the vehicle database to determine the distance between the door and the obstacle when the vehicle door is opened. calculate. The display generation unit generates an image of the vehicle and the obstacle viewed from a plurality of directions and displays the image on the display unit, and displays the width of the door or the distance between the door and the obstacle as a numerical value in real time. When the distance between the door and the obstacle when the door is opened is equal to or less than a predetermined value, a place where the distance is equal to or less than the predetermined value is marked and highlighted. The image of the vehicle and the obstacle viewed from a plurality of directions includes a top view of the vehicle and the obstacle viewed from above, a side view of the vehicle and the obstacle viewed from the side, and a front surface of the vehicle and the obstacle viewed from the front. It is an image in which a figure or a rear view of a vehicle and an obstacle viewed from the rear is displayed at the same time .

この発明によれば、車両及び障害物を複数の方向から見た画像を生成して表示部に表示
し、ドアの開く幅又はドアと障害物との距離を、数値としてリアルタイムで表示するとと
もに、車両のドアを開けた際のドアと障害物との距離が所定値以下となったとき、所定値
以下となった場所にマークをつけて強調表示を行い、車両及び障害物を複数の方向から見た画像は、車両及び障害物を上方から見た上面図と、車両及び障害物を側方から見た側面図、車両及び障害物を前方から見た前面図又は車両及び障害物を後方から見た後面図とが同時に表示される画像であるので、搭乗者の利便性に優れた運転支援装置が得られる。
According to the present invention, an image of a vehicle and an obstacle viewed from a plurality of directions is generated and displayed on the display unit, and the width of the door or the distance between the door and the obstacle is displayed in real time as a numerical value. when the distance between the door and the obstacle when opened the door of the vehicle is equal to or less than a predetermined value, have rows highlight mark the location becomes equal to or less than a predetermined value, the vehicle and obstacle multiple directions The images seen from above are a top view of the vehicle and obstacles viewed from above, a side view of the vehicle and obstacles viewed from the side, a front view of the vehicle and obstacles viewed from the front, or the vehicle and obstacles behind Since the rear view seen from the above is an image that is displayed at the same time , a driving support device that is highly convenient for the passenger can be obtained.

この発明の実施の形態1〜3の運転支援装置を示すブロック図である。It is a block diagram which shows the driving assistance apparatus of Embodiment 1-3 of this invention. この発明の実施の形態1〜3の動作を示すフローチャートである。It is a flowchart which shows operation | movement of Embodiment 1-3 of this invention. この発明の実施の形態1を示す画面表示の例である。It is an example of the screen display which shows Embodiment 1 of this invention. この発明の実施の形態2を示す画面表示の例である。It is an example of the screen display which shows Embodiment 2 of this invention. この発明の実施の形態2を示す別の画面表示の例である。It is an example of another screen display which shows Embodiment 2 of this invention. この発明の実施の形態2を示す別の画面表示の例である。It is an example of another screen display which shows Embodiment 2 of this invention. この発明の実施の形態3を示す画面表示の例である。It is an example of the screen display which shows Embodiment 3 of this invention. この発明の実施の形態3を示す別の画面表示の例である。It is an example of another screen display which shows Embodiment 3 of this invention.

実施の形態1.
図1は、この発明の実施の形態1における運転支援装置を示すブロック図である。操作入力部1は、モニタ等に装着されたタッチパネル等の操作パネルや、リモコン等から構成され、ユーザの操作を受け取る。車両情報取得部2は、半ドア等のドアの開閉の度合いや、バックギアやシフトレバーのパーキングの検出、車速の検出、サイドブレーキ等の検出を行う。車両制御部21は、車両情報取得部2からの車両情報を参考にし、ドアの開閉や車両の停止等の車両の制御を行う。車両DB(Data Base)3は、例えばHDD(Hard Disk Drive)や大容量メモリ等から構成され、車両の外形、車両等の写真や絵、全開時のドアの位置、このドアの開閉時の軌跡の位置、カメラやセンサ等の位置などの車両データを記憶する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a driving support apparatus according to Embodiment 1 of the present invention. The operation input unit 1 includes an operation panel such as a touch panel mounted on a monitor or the like, a remote controller, and the like, and receives user operations. The vehicle information acquisition unit 2 detects the degree of opening and closing of a door such as a half door, detection of parking of a back gear and a shift lever, detection of a vehicle speed, detection of a side brake, and the like. The vehicle control unit 21 refers to the vehicle information from the vehicle information acquisition unit 2 and controls the vehicle such as opening and closing of the door and stopping of the vehicle. The vehicle DB (Data Base) 3 includes, for example, an HDD (Hard Disk Drive), a large-capacity memory, and the like. The outline of the vehicle, photographs and pictures of the vehicle, the position of the door when fully opened, and the locus when the door is opened and closed Vehicle data such as the position of the camera, sensor, etc.

障害物検出部4は、カメラや、超音波センサ、レーザセンサ、車載レーダ等から構成され、自車周辺を撮影したり測定したりして障害物を検出する。データ解析部5と表示生成部6と音声案内生成部7は、例えばマイクロコンピュータとメモリから構成され、アプリケーションプログラムによって動作する。データ解析部5は、この装置の全体を制御すると共に、障害物検出部4からの画像データやセンサの測定データ及び車両DB3からの車両データを用いて、車両並びにこの車両の全開時のドア及びこのドアの開閉の軌跡と、障害物との距離及び位置を立体的に算出する。また、その際、車両の動きから、障害物との距離が0となる場所、つまり衝突や接触予想場所も算出する。   The obstacle detection unit 4 includes a camera, an ultrasonic sensor, a laser sensor, an on-vehicle radar, and the like, and detects an obstacle by photographing and measuring the vicinity of the vehicle. The data analysis unit 5, the display generation unit 6, and the voice guidance generation unit 7 are composed of, for example, a microcomputer and a memory, and operate according to an application program. The data analysis unit 5 controls the entire apparatus and uses the image data from the obstacle detection unit 4 and the sensor measurement data and the vehicle data from the vehicle DB 3, and the vehicle and the door when the vehicle is fully opened. A distance and position between the door opening / closing locus and the obstacle are calculated three-dimensionally. At that time, a place where the distance from the obstacle becomes 0, that is, a collision or predicted contact place is also calculated from the movement of the vehicle.

表示生成部6は、データ解析部5からの車両並びにこの車両の全開時のドア及びこのドアの開閉の軌跡と障害物との位置データと、車両DB3からの車両データ及びここに予め保存してある自車等の写真や絵のデータと、障害物検出部4からの例えばカメラからの実写画像等の障害物データを用い、座標変換をして、自車の側方、上方、前方や後方、斜め方向等の任意の方向から見た、ドアを開けた車両及びこのドアの開閉の軌跡並びに障害物の画像を生成し、モニタ等の表示部8に表示する。また、障害物との距離に応じて、運転支援のため車両の搭乗者への案内表示の生成も行う。表示部8は 例えばLCD(Liquid Crystal Display)から構成され、表示生成部6から送られてくる信号に応じて、ドアを開けたときの自車や、このドアの開閉の軌跡、障害物、案内メッセージ等を画面に表示する。   The display generation unit 6 stores the vehicle from the data analysis unit 5 and the position data of the door when the vehicle is fully opened, the opening / closing locus of the door and the obstacle, the vehicle data from the vehicle DB 3 and the data stored in advance here. Using the photograph or picture data of a certain vehicle etc. and obstacle data such as a photographed image from the obstacle detection unit 4 such as a live-action image, coordinate conversion is performed, and the side, upper, front, and rear of the own vehicle An image of the vehicle with the door opened, the trajectory of opening and closing the door, and an obstacle as viewed from an arbitrary direction such as an oblique direction is generated and displayed on the display unit 8 such as a monitor. In addition, according to the distance from the obstacle, a guidance display for the vehicle occupant is also generated for driving support. The display unit 8 is composed of, for example, an LCD (Liquid Crystal Display), and in response to a signal sent from the display generation unit 6, the vehicle when the door is opened, the opening / closing locus of the door, obstacles, guidance Display messages on the screen.

音声案内生成部7は、データ解析部5からの障害物との距離及び位置のデータを用い、障害物との距離に応じ、表示生成部6の表示と関連させて運転支援のための音声案内を生成し、スピーカ等の音声出力部9に音声を出力する。音声出力部9は、例えばアンプやスピーカから構成され、音声案内生成部7から送られてくる誘導案内メッセージを音声で出力する。   The voice guidance generation unit 7 uses the distance and position data from the data analysis unit 5 to the obstacle, and according to the distance to the obstacle, the voice guidance for driving support in association with the display of the display generation unit 6. And outputs sound to the sound output unit 9 such as a speaker. The voice output unit 9 is composed of, for example, an amplifier and a speaker, and outputs the guidance message sent from the voice guidance generation unit 7 by voice.

なお、この運転支援装置の障害物検出部4、表示部8、音声出力部9は車両に備え付けのカメラやセンサ、モニタ、スピーカ等を使ったり、車両と着脱したり通信したりできる携帯機器等のモニタやスピーカを使っても良い。また、車両情報取得部2も車両に備え付けのドアの開閉位置センサ、トランスミッションのギアのセンサやシフトレバーのセンサ、車速パルス、ブレーキのセンサ等を用いたり、車両制御部21も車両に備え付けのドア開閉モータや車両制御モータや、ブレーキ等を用いたりしても良い。   The obstacle detection unit 4, the display unit 8, and the audio output unit 9 of the driving support device use a camera, a sensor, a monitor, a speaker, or the like provided in the vehicle, or a portable device that can be attached to and detached from or communicated with the vehicle. Other monitors and speakers may be used. Further, the vehicle information acquisition unit 2 uses a door opening / closing position sensor provided in the vehicle, a transmission gear sensor, a shift lever sensor, a vehicle speed pulse, a brake sensor, and the like, and the vehicle control unit 21 also includes a door provided in the vehicle. An opening / closing motor, a vehicle control motor, a brake, or the like may be used.

このように構成された運転支援装置の動作について図2のフローチャートに従って説明する。また、図3には、車両のドアの一例として、車両後部の天井部分に設置された水平芯を中心にこの周りを上下に開く上下開閉式のリアゲート11の場合の画面表示例を示す。   The operation of the driving support apparatus configured as described above will be described with reference to the flowchart of FIG. FIG. 3 shows an example of a screen display in the case of an up-and-down opening / closing type rear gate 11 that opens up and down around a horizontal core installed in a ceiling portion at the rear of the vehicle as an example of a vehicle door.

まず、運転支援装置は、ステップS100において車両情報取得部2からのバックギアの検出待ち、又は、タッチパネル等の操作入力部1からの「駐停車案内」釦の入力待ちを行う。ユーザが後進して駐車する際にバックギアが検出されたり、ユーザが例えば前進しながら路肩等への停車をするため「駐停車案内」釦を押すと、障害物検出部4は、車載カメラや各種センサを用いて自車周辺を撮影したり測定したりして自車周辺の障害物を検出する(ステップS110)。   First, in step S100, the driving support device waits for detection of a back gear from the vehicle information acquisition unit 2 or waits for input of a “parking / stop guidance” button from the operation input unit 1 such as a touch panel. When the user moves backward and parks, when the back gear is detected, or when the user presses the “parking stop guidance” button to stop on the road shoulder or the like while moving forward, the obstacle detection unit 4 An obstacle around the vehicle is detected by photographing or measuring the vehicle periphery using various sensors (step S110).

次に、データ解析部5は、障害物検出部4からの障害物データと車両DB3からの車両データを用いて、自車と障害物との位置及び距離a、並びに、衝突予想場所を立体的に算出する(ステップS120)。また、全開時のドア及びこのドアの開閉の軌跡と障害物との位置及び距離b、接触予想場所、及び、ドアを開けた際に障害物と接触する時は、ドアが半開きとなるため、ドアの開く幅cやドアの開く角度θを算出する(ステップS130)。   Next, the data analysis unit 5 uses the obstacle data from the obstacle detection unit 4 and the vehicle data from the vehicle DB 3 to three-dimensionally determine the position and distance a between the own vehicle and the obstacle and the predicted collision location. (Step S120). In addition, when the door is fully opened and when the door is opened and closed, the position and distance b of the obstacle and the position b, the expected contact location, and when the door is opened, the door is half open, The door opening width c and the door opening angle θ are calculated (step S130).

その後、ステップS140において表示生成部6は、側方や上方、前方、後方や斜め方向など任意の方向から見た自車と障害物とのビュー表示のため、自車位置と、全開時のドア及びこのドアの開閉の軌跡の位置と、障害物の位置の座標変換を行う。この座標変換されたデータを用いて、ドアを開けた自車とこのドアの開閉の軌跡と障害物のビュー表示用の画像を作成し、モニタ等の表示部8に表示する。   Thereafter, in step S140, the display generation unit 6 displays the position of the vehicle and the door when the vehicle is fully opened in order to display a view of the vehicle and an obstacle viewed from an arbitrary direction such as side, upper, front, rear, and diagonal directions. And the coordinate conversion of the position of the opening / closing locus of the door and the position of the obstacle is performed. Using the coordinate-converted data, an image for displaying a view of the own vehicle that has opened the door, the opening / closing locus of the door, and the obstacle is generated and displayed on the display unit 8 such as a monitor.

ビュー表示用の画像の作成は、具体的には、先ず、超音波センサ、車載レーダ、レーザ等の距離測定用のデバイスを使って障害物までの立体的な距離測定をしたり、車両DB3からの車載カメラの位置とこの車載カメラを2台使って画像の対応点の差を用いた画像処理で障害物までの立体的な距離を求めたりする。次に、これらのデータを座標変換して、任意の方向(例えば車の側方や上方)からの画像を作成する。これらの方法は、例えば特許文献1に記載されている方法を用いても良い。この際、ビュー表示用の画像は、車載カメラからの実写の画像を用いても良いし、車両DB3に予め保存してある写真や絵を用いても良い。なお、車載カメラが1台の場合は、このカメラを速く動かして2箇所から撮影した画像を用いたり、プリズムや鏡を用いて2箇所からの光路を速く切り替えて撮影した画像を用いたりしてもよい。   Specifically, the image for view display is created by first measuring a three-dimensional distance to an obstacle using a distance measuring device such as an ultrasonic sensor, an in-vehicle radar, or a laser, or from the vehicle DB 3. The three-dimensional distance to the obstacle is obtained by image processing using the difference between corresponding positions of the image using the position of the in-vehicle camera and the two in-vehicle cameras. Next, these data are coordinate-transformed to create an image from an arbitrary direction (for example, the side or upper side of the car). As these methods, for example, the method described in Patent Document 1 may be used. At this time, the view display image may be a real image from the in-vehicle camera, or may be a photograph or a picture stored in advance in the vehicle DB 3. In addition, when there is one on-vehicle camera, the camera is moved quickly to use images taken from two places, or an image taken by switching light paths from two places fast using a prism or mirror is used. Also good.

ビュー表示画面を作成した例を図3(a)に示す。この図は水平に後進して駐車する途中の車両を側方から見たものである。リアゲート11を開けた場合の先端の軌跡12を点線で表示し、車両後部には木などの障害物10が表示されている。ステップS120でリアゲートを閉じたときの車両と障害物10との水平方向(車両の移動方向)の最短部分aを求め、ステップS130でリアゲートの軌跡12と障害物10の水平方向(車両の移動方向)の最短部分bを求める。 An example of creating a view display screen is shown in FIG. This figure is a side view of a vehicle that is parked while moving backward horizontally. A locus 12 at the tip when the rear gate 11 is opened is displayed with a dotted line, and an obstacle 10 such as a tree is displayed at the rear of the vehicle. Seeking the shortest portion a 1 in the horizontal direction (the moving direction of the vehicle) of the vehicle and the obstacle 10 when closing the rear gate in step S120, the movement in the horizontal direction (vehicle rear gate path 12 and the obstacle 10 in step S130 finding the shortest portion b 1 direction).

車両と障害物との衝突事故を避けるため、データ解析部5はこの判定を優先的に行う。そのため、ステップS150では、車両と障害物との距離aが、衝突警告距離d以下となった場合、ステップS155で案内処理を行う。図3(d)は、車両と障害物との距離a≦衝突警告距離dの場合であり、この時、車両の搭乗者への案内のため、表示生成部6は、モニタ等の表示部8に対して「衝突注意」等の表示を行い、音声案内生成部は表示生成部の表示と関連させ、この「衝突注意」の音声合成を行いスピーカ等の音声出力部9に出力する。また、「あと20cm」のように、障害物との距離をリアルタイムで表示したり、これと関連させて「あと20cmで車体が衝突します。」のように音声案内をしたり警報音を鳴らしたりしても良い。また、衝突予想場所を強調表示したり、この衝突予想場所を音声案内したりしても良い。 In order to avoid a collision accident between the vehicle and the obstacle, the data analysis unit 5 preferentially performs this determination. Therefore, in step S150, when the distance a between the vehicle and the obstacle is equal to or less than the collision warning distance d, guidance processing is performed in step S155. FIG. 3D shows a case where the distance between the vehicle and the obstacle is a 2 ≦ collision warning distance d. At this time, the display generation unit 6 displays a display unit such as a monitor for guidance to the passenger of the vehicle. 8, “Collision notice” or the like is displayed, and the voice guidance generation unit correlates with the display of the display generation unit. In addition, the distance to the obstacle is displayed in real time, such as “20cm left”, and related to this, voice guidance is given and an alarm sound is sounded as “the car body will collide in another 20cm”. You may do it. Further, the predicted collision location may be highlighted, or the predicted collision location may be voice-guided.

なお、この時、データ解析部5は、車両を制御する車両制御部21へ車両停止のためのデータを出力しても良い。車両制御部21は、このデータを元にブレーキをかけて車両を止める。この結果、車両と障害物との衝突事故を防ぐことが出来る。   At this time, the data analysis unit 5 may output data for stopping the vehicle to the vehicle control unit 21 that controls the vehicle. The vehicle control unit 21 applies a brake based on this data to stop the vehicle. As a result, a collision accident between the vehicle and the obstacle can be prevented.

これらにより車両と障害物との衝突事故が減少可能となる。なお、この時、障害物が全開時のドアにも衝突する場合(b≦0)は、開閉可能な限界位置にリアゲート11bを表示しても良い。その後ステップS180へ行く。   As a result, collision accidents between the vehicle and the obstacle can be reduced. At this time, when the obstacle also collides with the door when fully opened (b ≦ 0), the rear gate 11b may be displayed at the limit position where opening and closing is possible. Thereafter, the process goes to step S180.

次に、不用意にドアを全開すると障害物に接触する事故を避けるため、データ解析部5はこの判定を行う。そのため、ステップS150で車両と障害物との距離aが、衝突警告距離dよりも大きい場合は、ステップS160でデータ解析部5が全開時のドア及びこのドアの開閉の軌跡と障害物との距離bが0以下となっているかを判定する。図3(c)は、リアゲートの軌跡と障害物との距離b≦0の場合である。この場合は、ドアが全開しないため、ステップS165で案内処理を行う。 Next, the data analysis unit 5 performs this determination in order to avoid an accident in which the door is inadvertently opened when the door is inadvertently opened. Therefore, when the distance a between the vehicle and the obstacle is larger than the collision warning distance d in step S150, the data analysis unit 5 opens the door when fully opened in step S160 and the distance between the obstacle and the opening / closing locus of the door. It is determined whether b is 0 or less. FIG. 3C shows a case where the distance b 3 ≦ 0 between the locus of the rear gate and the obstacle. In this case, since the door is not fully opened, guidance processing is performed in step S165.

まず、障害物によって開閉可能な限界位置にリアゲート11aを表示する。また、車両の搭乗者への案内のため、表示生成部6は、表示部に対して「リアゲート開閉注意」等の表示を行い、音声案内生成部は、表示生成部の表示と関連させ、この「リアゲート開閉注意」の音声合成を行いスピーカ等の音声出力部9に出力する。また、「リアゲートが30cmしか開きません。」、「リアゲートが30°しか開きません。」のように、リアゲートの開く幅cやこの角度θをリアルタイムで表示したり、これと関連させて音声案内をしたり警報音を鳴らしたりしても良い。また、接触予想場所を強調表示したり、この接触予想場所を音声案内したりしても良い。これにより、車両の搭乗者が不用意にドアを全開することにより障害物に接触する事故が減少可能となる。その後ステップS180へ行く。   First, the rear gate 11a is displayed at a limit position that can be opened and closed by an obstacle. Further, for guidance to the vehicle passenger, the display generation unit 6 displays a “rear gate opening / closing caution” or the like on the display unit, and the voice guidance generation unit correlates with the display of the display generation unit. Speech synthesis of “rear gate opening / closing” is performed and output to the speech output unit 9 such as a speaker. Also, the rear gate opening width c and this angle θ are displayed in real time, such as “The rear gate opens only 30 cm” and “The rear gate opens only 30 °.” You may give guidance or sound an alarm. Further, the predicted contact location may be highlighted, or the predicted contact location may be voice-guided. As a result, it is possible to reduce the number of accidents where the vehicle passenger inadvertently opens the door and touches the obstacle. Thereafter, the process goes to step S180.

なお、この時、データ解析部5は、車両のドアの開閉を制御する車両制御部21へドアが開閉可能な限界位置のデータを出力してもよい。車両制御部21は、このデータを元に、ドアが障害物と接触する直前までドアを自動で開けたり、手動でドアを開ける場合でもドアと障害物とが接触する直前で、それ以上ドアが開かないようにドアをロックしたりドア開閉機構にブレーキをかけたりしても良い。この結果、ドアと障害物との接触事故を防ぐことが出来る。   At this time, the data analysis unit 5 may output data on a limit position at which the door can be opened and closed to the vehicle control unit 21 that controls opening and closing of the door of the vehicle. Based on this data, the vehicle control unit 21 automatically opens the door until just before the door contacts with the obstacle, or even if the door is opened manually, the vehicle control unit 21 immediately before the door contacts with the obstacle. The door may be locked so as not to open, or the door opening / closing mechanism may be braked. As a result, a contact accident between the door and the obstacle can be prevented.

引き続き、全開時のドアが障害物に接触する事故を避けるため、データ解析部5はこの判定を行う。そのため、ステップS160で全開時のドア及びこのドアの開閉の軌跡と障害物との距離bが0よりも大きい場合は、ステップS170でデータ解析部5は、この障害物までの距離bがドア接触警告距離e以下となっているかを判断する。図3(b)は、リアゲートの軌跡と障害物の距離b>0、かつ、b≦eの場合である。この場合、ドアは全開するが、障害物に接触しそうになるため、ステップS175で案内処理を行う。 Subsequently, the data analysis unit 5 performs this determination in order to avoid an accident in which the door when fully opened contacts an obstacle. Therefore, if the distance b between the fully opened door and the opening / closing locus of the door and the obstacle is greater than 0 in step S160, the data analysis unit 5 determines that the distance b to the obstacle is the door contact in step S170. It is determined whether the distance is equal to or less than the warning distance e. FIG. 3B shows a case where the distance between the rear gate trajectory and the obstacle is b 2 > 0 and b 2 ≦ e. In this case, the door is fully opened, but it is likely to come into contact with an obstacle, so guidance processing is performed in step S175.

この時、車両の搭乗者への案内のため、表示生成部6は、表示部に対して「リアゲート接触注意」等の表示を行い、音声案内生成部は、表示生成部の表示と関連させ、この「リアゲート接触注意」の音声合成を行いスピーカ等の音声出力部9に出力する。また、「あと15cmでリアゲートが接触します。」のように、接触までの距離をリアルタイムで表示したり、これと関連させて音声案内をしたり警報音を鳴らしたりしても良い。また、接触予想場所を強調表示したり、この接触予想場所を音声案内したりしても良い。これによりドアと障害物との接触事故が減少可能となる。その後ステップS180へ行く。   At this time, for guidance to the vehicle passenger, the display generation unit 6 displays “rear gate contact caution” or the like on the display unit, and the voice guidance generation unit relates to the display of the display generation unit, This “rear gate contact caution” is synthesized and output to the audio output unit 9 such as a speaker. In addition, the distance to the contact may be displayed in real time, or voice guidance or an alarm sound may be generated in association with the distance, such as “the rear gate will come into contact after 15 cm”. Further, the predicted contact location may be highlighted, or the predicted contact location may be voice-guided. Thereby, the contact accident between a door and an obstacle can be reduced. Thereafter, the process goes to step S180.

ステップS170で全開時のドア及びこのドアの開閉の軌跡と障害物との距離bがドア接触警告距離eを越える場合は障害物と接触する危険性を無視できるため、案内処理は行わずにステップS180へ行く。このステップでは、車両情報取得部2が車速パルス等からの情報により車両の停車を確認した場合や、ギアをパーキングの位置に入れた場合や、サイドブレーキを使った場合や、ユーザが駐停車案内を終了させたいため、例えば「終了」、「戻る」等の釦を押したかを判定する。これらの場合は、駐停車案内を終了する。車両が移動中や「終了」釦等を押下していない場合は、ステップS110に戻り、駐停車案内を継続する。   If the distance b between the fully opened door and the opening / closing locus of the door and the obstacle exceeds the door contact warning distance e in step S170, the risk of contact with the obstacle can be ignored. Go to S180. In this step, when the vehicle information acquisition unit 2 confirms that the vehicle has stopped based on information from the vehicle speed pulse, etc., when the gear is put in the parking position, when the side brake is used, For example, it is determined whether a button such as “End” or “Return” has been pressed. In these cases, parking / stop guidance is terminated. If the vehicle is moving or if the “end” button or the like is not pressed, the process returns to step S110 to continue parking / stop guidance.

なお、ドア全開時の車両の長さや高さを使ってドアの開閉の可否や運転支援の案内をする場合は、例えば、図3(b)のような場合は、障害物にすでに衝突していると判断され、ドアは開かないと判断される。しかし、実際には衝突しておらず、ドアを開くことが出来る。このように、ドア開閉時の軌跡を用いることにより、衝突の判定がより正確になると共に搭乗者は視覚的にもドアの開閉判定を容易に行うことが出来、搭乗者の利便性が向上する。   In addition, in the case of FIG. 3B, for example, in the case of opening / closing of the door and guidance for driving support using the length and height of the vehicle when the door is fully opened, the vehicle has already collided with an obstacle. It is determined that the door is not open. However, there is no actual collision and the door can be opened. Thus, by using the trajectory when the door is opened / closed, the collision can be determined more accurately and the passenger can easily determine whether the door is opened / closed visually, thereby improving the convenience of the passenger. .

図3では、リアゲートの先端の軌跡を点線で表示しているが、実線や破線等でも良いし、色や線の太さを変えても良い。また、見易くするために、リアゲートの先端の軌跡とリアゲートと車両とで構成される扇型の部分に色をつけたり、半透明にしたり、ハッチングやテクスチャー処理を行っても良い。   In FIG. 3, the locus of the tip of the rear gate is indicated by a dotted line, but it may be a solid line, a broken line, or the like, and the color and line thickness may be changed. In order to make it easy to see, the fan-shaped portion formed by the locus of the tip of the rear gate and the rear gate and the vehicle may be colored, semi-transparent, hatched or textured.

なお、案内処理は、搭乗者への注意喚起のため、車両と障害物との距離が短くなるのに対応して、先ずは、障害物とドアとの接触注意の案内を画面に黄色で表示し(ステップS175)、次に、ドア開閉注意の案内を橙色や薄い赤色で表示し(ステップS165)、最後に障害物との衝突注意の案内を赤色で表示しても良い(ステップS155)。この時、表示を点滅させても良いし、点滅速度を3段階で速くしても良い。   In order to alert the passengers, the guidance process first displays the guidance on the contact between the obstacle and the door in yellow on the screen in response to the distance between the vehicle and the obstacle becoming shorter. (Step S175) Next, the door opening / closing caution guidance may be displayed in orange or light red (step S165), and finally the collision caution guidance with an obstacle may be displayed in red (step S155). At this time, the display may blink, or the blinking speed may be increased in three stages.

また、同様に音声案内を行う際は、最初は音量を小さくし(ステップS175)、次に音量を少し上げ(ステップS165)、最後に音量を更に上げても良い(ステップS155)。また、警告音を用いても良く、この場合は、最初は音程を低くしたり、音の間隔を長くしておき(ステップS175)、その後、少し上げたり短くしたり(ステップS165)、最後に更に上げたり更に短くしても良い(ステップS175)。また、ステップS175、ステップS165、ステップS155の各ステップ内及び各ステップ間において、ドアと障害物、及び、車両と障害物との距離に対応させ、音量や音程を連続的に上げても良いし、警告音の間隔や表示の点滅速度を連続的に速くしても良い。これらにより、搭乗者は障害物との距離を感覚的に判断可能となる。   Similarly, when performing voice guidance, the volume may be initially reduced (step S175), then the volume may be slightly increased (step S165), and finally the volume may be further increased (step S155). Also, a warning sound may be used. In this case, the pitch is lowered at the beginning, the interval between sounds is lengthened (step S175), and then raised or shortened slightly (step S165). It may be further increased or shortened (step S175). Further, the volume and the pitch may be continuously increased in correspondence with the distance between the door and the obstacle and between the vehicle and the obstacle within each step of Step S175, Step S165, and Step S155. The interval between warning sounds and the blinking speed of the display may be continuously increased. Thus, the passenger can sensibly determine the distance from the obstacle.

また、音声案内生成部7は、車両並びにこの車両の全開時のドア及びこのドアの開閉の軌跡と障害物との距離が所定値(衝突警告距離d、又は、ドア接触警告距離e)以下となった場所に最も近い音声出力部(スピーカ等)から音声案内を行ったり、音声の位相を調整し、複数の音声出力部を用いて、障害物との距離が所定値以下となった場所の方向から聞こえるように音声案内を行ったりしても良い。また、音声案内生成部7は、全開時のドア及びこのドアの開閉の軌跡と障害物との距離が0以下となったため、ドアを開けると障害物と接触する場合、この接触場所に最も近い音声出力部から音声案内を行ったり、音声の位相を調整し、複数の音声出力部を用いて障害物と接触する場所の方向から聞こえるように音声案内を行ったりしても良い。これらの場合は、衝突や接触する方向が音で分かるため、注意喚起が出来、更に衝突や接触事故が減少可能となる。   Further, the voice guidance generation unit 7 is configured such that the distance between the vehicle and the door when the vehicle is fully opened and the opening / closing locus of the door and the obstacle is equal to or less than a predetermined value (collision warning distance d or door contact warning distance e). Voice guidance is performed from the voice output unit (speaker, etc.) closest to the place where it is located, or the phase of the voice is adjusted, and multiple voice output units are used to Voice guidance may be performed so that it can be heard from the direction. In addition, since the distance between the door when fully opened and the opening / closing locus of the door and the obstacle becomes 0 or less when the voice guidance generation unit 7 is in contact with the obstacle when the door is opened, the voice guidance generation unit 7 is closest to the contact location. Voice guidance may be performed from the voice output unit, or the voice phase may be adjusted, and voice guidance may be performed so that sound can be heard from the direction of the place in contact with the obstacle using a plurality of voice output units. In these cases, since the direction of collision or contact can be known by sound, it is possible to call attention and further reduce collisions and contact accidents.

このように構成された運転支援装置においては、駐停車の際のドアの開閉の軌跡が表示され、車両とドアと障害物との位置関係が分かるので、ドアの全開や半開きといったドアの開き方が認識できる。その結果、搭乗者の乗降や荷物の積み降ろしが可能かどうか容易に判断でき、搭乗者の利便性に優れた運転支援装置が得られる。また、その際、障害物との距離に応じて画面や音声で案内されるので、運転者は障害物との接触やドアの半開きについて認識でき、衝突や接触事故を減少させることが可能となる。また、ドアの開閉可能な限界位置のデータを出力したり、車両停止のデータを出力したりして車両を制御するので、ドアと障害物との接触事故や、車両と障害物との衝突事故が減少可能となる。   In the driving support device configured in this way, the opening / closing locus of the door when parking and stopping is displayed, and the positional relationship between the vehicle, the door, and the obstacle can be understood. Can be recognized. As a result, it is possible to easily determine whether or not passengers can get on and off and load and unload luggage, and a driving assistance device that is highly convenient for passengers can be obtained. At that time, the driver is guided by screen and voice according to the distance to the obstacle, so that the driver can recognize the contact with the obstacle and the half-opening of the door, and the collision and the contact accident can be reduced. . In addition, because the vehicle is controlled by outputting the data of the limit position where the door can be opened and closed, or the data of stopping the vehicle, the contact accident between the door and the obstacle or the collision accident between the vehicle and the obstacle Can be reduced.

実施の形態2.
実施の形態1では、駐車の際に車両の側方から見た側面図を用いて上下開閉式のリアゲートの開閉状況を表示したが、本実施の形態2では、駐車の際に左右に開くドアや、前後にスライドするドアの開閉状態を表示する運転支援装置について述べる。
Embodiment 2. FIG.
In the first embodiment, the open / close state of the up-and-down open / close rear gate is displayed using a side view seen from the side of the vehicle during parking. In the second embodiment, the door that opens to the left and right during parking is displayed. A driving support device that displays the open / closed state of a door that slides back and forth will be described.

装置構成は図1のブロック図と同じであり、処理の流れも図2のフローチャートと同じである。ここでは、左右に開くドアや、前後にスライドするドアの開閉状態を表示するため、車両の上方から見た上面図と、ドア開閉の際の軌跡の表示について、図4〜6を用いて説明する。   The apparatus configuration is the same as the block diagram of FIG. 1, and the process flow is the same as the flowchart of FIG. Here, in order to display the open / closed state of the door that opens to the left and right and the door that slides back and forth, a top view viewed from above the vehicle and the display of the locus when the door is opened and closed will be described with reference to FIGS. To do.

図4は、車両後部の側面部分に設置された垂直芯を中心にこの周りを左右に開く左右開閉式のリアゲート13を有し、後進して駐車する途中の車両を上方から見た画面表示例を示す。まず、ステップS100でバックギア検出、又は、「駐停車案内」釦を押下した後、自車周辺の障害物10の検出を行い(ステップS110)、車両と障害物との位置及び距離a、全開時のリアゲート及びこの開閉の軌跡と障害物との位置及び距離b、衝突や接触予想場所等を求める(ステップS120、S130)。その後、図4(a)に示すように、リアゲート13を開けた場合の先端の軌跡14を点線で表示し、車両後部には木などの障害物10が表示されるビュー表示を行う(ステップS140)。 FIG. 4 shows a screen display example of a vehicle viewed from above, which has a left and right open / closed rear gate 13 that opens to the left and right around a vertical core installed on a side portion of the rear part of the vehicle, and is parked in reverse. Indicates. First, in step S100, after detecting the back gear or pressing the “parking / stop guidance” button, the obstacle 10 around the host vehicle is detected (step S110), and the position and distance a 1 between the vehicle and the obstacle, The position and distance b 1 between the rear gate when fully opened, the opening / closing locus and the obstacle, the predicted location of collision and contact, and the like are obtained (steps S120 and S130). Thereafter, as shown in FIG. 4A, the locus 14 of the tip when the rear gate 13 is opened is displayed with a dotted line, and a view display is displayed in which an obstacle 10 such as a tree is displayed at the rear of the vehicle (step S140). ).

その後、車両が後進し、全開時のリアゲート及びこの開閉の軌跡と障害物との距離bがドア接触警告距離e以下になった場合(ステップS170)、図4(b)のように「リアゲート接触注意」の表示や音声案内を行う(ステップS175)。更に車両が後進し、全開時のリアゲート及びこの開閉の軌跡と障害物との距離bが0以下となった場合(ステップS160)、図4(c)のように「リアゲート開閉注意」の表示や音声案内を行う(ステップS165)。この際、障害物によって開閉可能な限界位置にリアゲート13aを表示すると共に、リアゲートの開く幅cやこの角度θをリアルタイムで表示したり、音声案内したりしてもよい。また、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Thereafter, when the vehicle moves backward, the distance b 2 between the rear gate and trajectory and the obstacle of the opening and closing of the full open is below the door contact warning distance e (step S170), as shown in FIG. 4 (b) "rear gate A “contact caution” is displayed and voice guidance is provided (step S175). Further reverse the vehicle, if the distance b 3 to the rear gate and trajectory and the obstacle of the opening and closing of the full open becomes 0 or less (step S160), the display in the "rear gate opening and closing care" as shown in FIG. 4 (c) And voice guidance is performed (step S165). At this time, the rear gate 13a may be displayed at a limit position that can be opened and closed by an obstacle, and the opening width c of the rear gate and the angle θ may be displayed in real time, or voice guidance may be provided. Further, the vehicle may be controlled so that the door is opened only up to a limit position where opening and closing is possible.

更に車両が後進し、車両と障害物との距離aが衝突警告距離d以下となった場合(ステップS150)、図4(d)のように「衝突注意」の表示や音声案内を行う(ステップS155)。この際、障害物によって開閉可能な限界位置にリアゲート13bを表示すると共に、リアゲートの開く幅cやこの角度θをリアルタイムで表示したり、音声案内したりしてもよい。また、ブレーキをかけて車両を止めたり、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Further the vehicle is backward, when the distance a 2 between the vehicle and the obstacle is equal to or less than the collision warning distance d (step S150), performs display and voice guidance "collision care" as shown in FIG. 4 (d) ( Step S155). At this time, the rear gate 13b may be displayed at a limit position that can be opened and closed by an obstacle, and the opening width c of the rear gate and the angle θ may be displayed in real time, or voice guidance may be provided. Alternatively, the vehicle may be controlled such that the vehicle is stopped by applying a brake or the door is opened only to a limit position where the vehicle can be opened and closed.

なお、リアゲート全開時の車両の長さを使ってリアゲートの開閉の可否や障害物に対する案内をする場合は、例えば、図4(b)のような場合は、障害物にすでに衝突していると判断され、リアゲートは開かないと判断されるが、実際には衝突しておらず、リアゲートを開くことが出来る。このように、ドア開閉時の軌跡を用いることにより、衝突の判定がより正確になると共に搭乗者は視覚的にもドアの開閉判定を容易に行うことが出来、搭乗者の利便性が向上する。   In the case of using the length of the vehicle when the rear gate is fully opened to guide the opening / closing of the rear gate or the obstacle, for example, in the case of FIG. 4B, it has already collided with the obstacle. It is judged that the rear gate is not opened, but it does not actually collide and the rear gate can be opened. Thus, by using the trajectory when the door is opened / closed, the collision can be determined more accurately and the passenger can easily determine whether the door is opened / closed visually, thereby improving the convenience of the passenger. .

図5は、車両の側面部分に設置された垂直芯を中心にこの周りを左右に開く左右開閉式のドア15を有し、後進して駐車する途中の車両を上方から見た画面表示例を示す。この場合も同様に駐車の際に、車両と障害物との距離a、全開時のドア及びこのドアの開閉の軌跡と障害物との距離b、衝突や接触予想場所等を求め、図5(a)のようなドアの先端の軌跡16と障害物10を有するビュー表示を行う。 FIG. 5 shows a screen display example in which a vehicle 15 having a left / right opening / closing type door 15 that opens to the left and right around a vertical core installed on a side surface portion of the vehicle is viewed from above while the vehicle is parked backward. Show. In this case as well, when parking, the distance a 1 between the vehicle and the obstacle, the door when fully opened, the distance b 1 between the opening and closing locus of the door and the obstacle, the predicted location of the collision and contact, etc. are obtained. As shown in FIG. 5A, a view display having the locus 16 of the front end of the door and the obstacle 10 is performed.

その後、車両が後進し、全開時のドア及びこのドアの開閉の軌跡と障害物との距離bがドア接触警告距離e以下になった場合、図5(b)のように「右ドア接触注意」の表示や音声案内を行う。更に車両が後進し、全開時のドア及びこのドアの開閉の軌跡と障害物との距離bが0以下となった場合、図5(c)のように「右ドア開閉注意」の表示や音声案内を行う。この際、開閉可能な限界位置にドア15aを示すと共に、ドアの開く幅cやこのドアの角度θをリアルタイムで表示したり、音声案内したりしてもよい。また、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Then, the vehicle moves backward, when the distance b 2 between the door and the trajectory and the obstacle of the opening and closing of the door when fully open is below the door contact warning distance e, the "right door contact as shown in FIG. 5 (b) Attention "is displayed and voice guidance is given. Further reverse the vehicle, if the distance b 3 of the door and the trajectory and the obstacle of the opening and closing of the door when fully open becomes 0 or less, Ya display of "right door CAUTION" as shown in FIG. 5 (c) Provide voice guidance. At this time, the door 15a may be shown at a limit position where the door can be opened and closed, and the door opening width c and the door angle θ may be displayed in real time, or voice guidance may be provided. Further, the vehicle may be controlled so that the door is opened only up to a limit position where opening and closing is possible.

更に車両が後進し、車両と障害物との距離aが衝突警告距離d以下となった場合、図5(d)のように「衝突注意」の表示や音声案内を行う。この際、開閉可能な限界位置にドア15bを示すと共に、ドアの開く幅cやこのドアの角度θをリアルタイムで表示したり、音声案内したりしてもよい。また、ブレーキをかけて車両を止めたり、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Further the vehicle is backward, when the distance a 2 between the vehicle and the obstacle is equal to or less than the collision warning distance d, to view and voice guidance "collision care" as shown in FIG. 5 (d). At this time, the door 15b may be shown at a limit position where the door can be opened and closed, and the door opening width c and the door angle θ may be displayed in real time or voice guidance may be provided. Alternatively, the vehicle may be controlled such that the vehicle is stopped by applying a brake or the door is opened only to a limit position where the vehicle can be opened and closed.

なお、ドア全開時の車両の幅を使ってドアの開閉の可否や障害物に対するガイダンスをする場合は、例えば、図5(a)、(b)のような場合は、障害物に衝突すると判断され、ドアは開かないと判断されるが、実際には衝突せずにドアを開くことが出来る。このように、ドア開閉時の軌跡を用いることにより、衝突の判定がより正確になると共に搭乗者は視覚的にもドアの開閉判定を容易に行うことが出来、搭乗者の利便性が向上する。   When guidance is given to whether or not the door can be opened / closed and obstacles using the width of the vehicle when the door is fully open, for example, in the case of FIGS. 5A and 5B, it is determined that the vehicle will collide with the obstacle. It is determined that the door will not open, but in reality it can be opened without colliding. Thus, by using the trajectory when the door is opened / closed, the collision can be determined more accurately and the passenger can easily determine whether the door is opened / closed visually, thereby improving the convenience of the passenger. .

図6は、車両の側面部分に設置され、一度横にはみ出した後、前後に開くスライドドア17を有し、後進して駐車する途中の車両を上方から見た画面表示例を示す。この場合も同様に駐車の際に、車両と障害物との距離a、全開時のスライドドア及びこのドアの開閉の軌跡と障害物との距離b、衝突予想位置等を求め、図6(a)のようなスライドドアの軌跡18と障害物10を有するビュー表示を行う。 FIG. 6 shows a screen display example in which a vehicle that is installed on a side surface of the vehicle, has a sliding door 17 that protrudes sideways and opens forward and backward, and is parked in reverse is viewed from above. In this case as well, when parking, the distance a 1 between the vehicle and the obstacle, the sliding door when fully opened, the distance b 1 between the opening / closing locus of the door and the obstacle, the predicted collision position, etc. are obtained. As shown in (a), the view display including the locus 18 of the sliding door and the obstacle 10 is performed.

その後、車両が後進し、全開時のスライドドア及びこのドアの開閉の軌跡と障害物との距離bがドア接触警告距離e以下になった場合、図6(b)のように「右スライドドア接触注意」の表示や音声案内を行う。更に車両が後進し、全開時のスライドドア及びこのドアの開閉の軌跡と障害物との距離bが0以下となった場合、図6(c)のように「右スライドドア開閉注意」の表示や音声案内を行う。この際、開閉可能な限界位置にスライドドア17aを示すと共に、スライドドアの開く幅cをリアルタイムで表示したり、音声案内したりしてもよい。また、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Then, the vehicle moves backward, when the distance b 2 between the fully open time of the sliding door and the trajectory and the obstacle of the opening and closing of the door is below the door contact warning distance e, as shown in FIG. 6 (b) "right slide "Door contact attention" display and voice guidance. Further reverse the vehicle, if the distance b 3 of the sliding door and the trajectory and the obstacle of the opening and closing of the door when fully open becomes 0 or less, as shown in FIG. 6 (c) of the "right slide door CAUTION" Display and voice guidance. At this time, the sliding door 17a may be shown at a limit position where opening and closing is possible, and the opening width c of the sliding door may be displayed in real time, or voice guidance may be provided. Further, the vehicle may be controlled so that the door is opened only up to a limit position where opening and closing is possible.

更に車両が後進し、車両と障害物との距離aが衝突警告距離d以下となった場合、図6(d)のように「衝突注意」の表示や音声案内を行う。この際、開閉可能な限界位置にスライドドア17bを示すと共に、スライドドアの開く幅cをリアルタイムで表示したり、音声案内したりしてもよい。また、ブレーキをかけて車両を止めたり、開閉可能な限界位置までしかドアが開かないように車両を制御しても良い。 Further the vehicle is backward, when the distance a 2 between the vehicle and the obstacle is equal to or less than the collision warning distance d, to view and voice guidance "collision care" as shown in FIG. 6 (d). At this time, the slide door 17b may be shown at the limit position where the door can be opened and closed, and the opening width c of the slide door may be displayed in real time, or voice guidance may be provided. Alternatively, the vehicle may be controlled such that the vehicle is stopped by applying a brake or the door is opened only to a limit position where the vehicle can be opened and closed.

なお、スライドドア全開時の車両の幅を使ってスライドドアの開閉の可否や障害物に対するガイダンスをする場合は、例えば、図6(a)、(b)のような場合は、障害物に衝突すると判断され、ドアは開かないと判断されるが、実際には衝突せずにドアを開くことが出来る。このように、ドア開閉時の軌跡を用いることにより、衝突の判定がより正確になると共に搭乗者は視覚的にもドアの開閉判定を容易に行うことが出来、搭乗者の利便性が向上する。   In addition, in the case of, for example, FIGS. 6A and 6B, when the sliding door is opened / closed or the guidance for the obstacle is given using the width of the vehicle when the sliding door is fully opened, the vehicle collides with the obstacle. The door is determined not to open, but the door can be opened without actually colliding. Thus, by using the trajectory when the door is opened / closed, the collision can be determined more accurately and the passenger can easily determine whether the door is opened / closed visually, thereby improving the convenience of the passenger. .

このように構成された運転支援装置においては、上方から見ることにより、駐車の際のリアゲートやスライドドア等のドアの開閉の軌跡が表示され、車両とドアと障害物との位置関係が分かるので、ドアの全開や半開きといったドアの開き方が認識できる。その結果、搭乗者の乗降や荷物の積み降ろしが可能か容易に判断でき、搭乗者の利便性に優れた運転支援装置が得られる。また、その際、障害物との距離に応じて画面や音声で案内されるので、運転者は障害物との接触やドアの半開きについて認識でき、衝突や接触事故を減少させることが可能となる。また、ドアの開閉可能な限界位置のデータを出力したり、車両停止のデータを出力したりして車両を制御するので、ドアと障害物との接触事故や、車両と障害物との衝突事故が減少可能となる。   In the driving support device configured as described above, when viewed from above, the locus of opening and closing of the door such as the rear gate and the sliding door at the time of parking is displayed, and the positional relationship between the vehicle, the door, and the obstacle can be understood. , How to open the door, such as full open or half open. As a result, it is possible to easily determine whether it is possible for the passenger to get on and off and to load and unload the baggage, and a driving support device excellent in the convenience for the passenger can be obtained. At that time, the driver is guided by screen and voice according to the distance to the obstacle, so that the driver can recognize the contact with the obstacle and the half-opening of the door, and the collision and the contact accident can be reduced. . In addition, because the vehicle is controlled by outputting the data of the limit position where the door can be opened and closed, or the data of stopping the vehicle, the contact accident between the door and the obstacle or the collision accident between the vehicle and the obstacle Can be reduced.

実施の形態3.
実施の形態1、2では、駐車の際、車両の側方から見た側面図、又は、上方から見た上面図を用いてドアの開閉状況を把握したが、本実施の形態3では、立体感を持たせることにより、自車周辺の状況やドアの開閉状況を把握できる運転支援装置について述べる。
Embodiment 3 FIG.
In the first and second embodiments, when the vehicle is parked, the door opening / closing state is grasped by using a side view seen from the side of the vehicle or a top view seen from above. This article describes a driving assistance device that gives you a sense of the situation around your vehicle and the door opening and closing status.

装置構成は図1のブロック図と同じであり、処理の流れも図2のフローチャートと同じである。図7は、車両後部の天井部分に設置された水平芯を中心にこの周りを上下に開く上下開閉式のリアゲート11を有する車両の画面表示例を示す。この図は後進して駐車する途中の車両を上方及び側方から見た図を組み合わせて、サークルビュー表示したものである。ここでは、自車と障害物10とを表示すると共に、ドア開閉時の軌跡12を示すため、リアゲートと車両で囲まれたエリアのハッチング処理を行っている。図2のフローチャートに従って、「リアゲート接触注意」、「リアゲート開閉注意」、「衝突注意」等の表示や音声ガイダンスを行う。また、上面図及び側面図のリアゲート11と障害物10が接触しそうな場所にマークをつけたり、赤等の危険を示す色に変えたり、点滅処理をするなど強調表示をすると良い。   The apparatus configuration is the same as the block diagram of FIG. 1, and the process flow is the same as the flowchart of FIG. FIG. 7 shows a screen display example of a vehicle having an up-and-down open / close-type rear gate 11 that opens up and down around a horizontal core installed in a ceiling portion at the rear of the vehicle. This figure is a circle view display by combining a view of a vehicle that is moving backward and parked from above and from the side. Here, in order to display the own vehicle and the obstacle 10 and to show the trajectory 12 when the door is opened and closed, hatching processing is performed on an area surrounded by the rear gate and the vehicle. According to the flowchart of FIG. 2, “rear gate contact caution”, “rear gate open / close caution”, “collision caution” and the like are displayed and voice guidance is performed. In addition, it is preferable to highlight the place where the rear gate 11 and the obstacle 10 are likely to come into contact with each other in the top view and the side view, change to a color indicating danger such as red, or perform a blinking process.

図8は、車両中央部の天井部分に設置された水平芯を中心にこの周りを上下に開くガルウィングドア19を有する車両の画面表示例を示す。この図は後進して駐車する途中の車両を上方及び前方から見た図を組み合わせて、サークルビュー表示したものである。
ここでは、自車と障害物10とを表示すると共に、ガルウィングドア開閉時の軌跡20を点線で示している。この場合も、図2のフローチャートに従って、「左ドア接触注意」、「左ドア開閉注意」、「衝突注意」等の表示や音声ガイダンスを行う。また、上面図及び前面図のドアと障害物が接触しそうな場所にマークをつけると良い。
FIG. 8 shows a screen display example of a vehicle having a gull wing door 19 that opens up and down around a horizontal core installed in a ceiling portion at the center of the vehicle. This figure is a circle view display that combines a view of a vehicle that is moving backward and parked from above and from the front.
Here, while displaying the own vehicle and the obstacle 10, the locus | trajectory 20 at the time of gull-wing door opening and closing is shown with the dotted line. Also in this case, in accordance with the flowchart of FIG. 2, “left door contact caution”, “left door open / close caution”, “collision caution”, and the like are displayed and voice guidance is performed. Moreover, it is good to mark a place where the door and the obstacle in the top view and the front view are likely to contact each other.

なお、ここでは、上面、側面、前面の中の図を2つ用いたが、後面から見た図を組み合わせても良いし、上面、側面、後面、前面の中から3つ以上組み合わせて表示しても良い。また、斜め方向から見た鳥瞰図を作成し、立体的に見える表示を行っても良い。   In this example, two figures in the top, side, and front are used, but the figures seen from the rear may be combined, or three or more of the figures in the top, side, rear, and front may be combined and displayed. May be. Alternatively, a bird's-eye view viewed from an oblique direction may be created and displayed in a three-dimensional manner.

このように構成された運転支援装置においては、立体的感を持たせる表示をするため、ドアと障害物との接触場所が把握しやすくなる。また、木や看板など高い位置にある障害物を検出し表示させることで接触を未然に防きやすくなる。また、ガルウィングドアの一種で、斜め上方に開くドアのように単純な左右・上下の動きではないドアの場合もドアの開閉と障害物との関係が把握しやすくなる。その結果、搭乗者の利便性に優れた運転支援装置が得られる。   In the driving support device configured as described above, since the display gives a three-dimensional feeling, it is easy to grasp the contact place between the door and the obstacle. Moreover, it becomes easy to prevent contact by detecting and displaying obstacles at high positions such as trees and signboards. Also, it is a kind of gull wing door, and it is easy to grasp the relationship between the opening and closing of the door and the obstacle even in the case of a door that does not move simply left and right and up and down, such as a door that opens obliquely upward. As a result, it is possible to obtain a driving support device that is highly convenient for passengers.

なお、この運転支援装置は、カーナビゲーション装置と組み合わせても良い。この場合、カーナビゲーション装置のナビゲーション機能や現在位置特定機能を用い、現在地や目的地等の駐車場や道路の情報を取得し、これを表示部8で表示したり、音声出力部9で音声案内したりして、運転支援に活用しても良い。この場合、車載カメラや各種のセンサでは得られない情報が得られるため、普段使わないため駐車慣れしていない目的地等の駐車場に駐停車する際に、搭乗者の利便性が更に向上する。   Note that this driving support device may be combined with a car navigation device. In this case, by using the navigation function and the current position specifying function of the car navigation device, information on the parking lot and road such as the current location and the destination is acquired and displayed on the display unit 8 or voice guidance is provided on the voice output unit 9. And may be used for driving support. In this case, since information that cannot be obtained with an in-vehicle camera or various sensors can be obtained, the convenience of the passengers is further improved when parking at a parking lot such as a destination that is not used and is not used to parking. .

1 操作入力部
2 車両情報取得部
3 車両DB
4 障害物検出部
5 データ解析部
6 表示生成部
7 音声案内生成部
8 表示部
9 音声出力部
10 障害物
11、11a、11b リアゲート(上下開閉式)
12 リアゲートの軌跡
13、13a、13b リアゲート(左右開閉式)
14 リアゲートの軌跡
15、15a、15b ドア
16 ドアの軌跡
17、17a、17b スライドドア
18 スライドドアの軌跡
19 ガルウィングドア
20 ガルウィングドアの軌跡
21 車両制御部
1 Operation Input Unit 2 Vehicle Information Acquisition Unit 3 Vehicle DB
4 Obstacle Detection Unit 5 Data Analysis Unit 6 Display Generation Unit 7 Voice Guidance Generation Unit 8 Display Unit 9 Audio Output Unit 10 Obstacle 11, 11a, 11b Rear Gate (Upper / Lower Opening / Closing Type)
12 Rear gate trajectory 13, 13a, 13b Rear gate (left and right open / close type)
14 Rear gate track 15, 15a, 15b Door 16 Door track 17, 17a, 17b Slide door 18 Slide door track 19 Gullwing door 20 Gullwing door track 21 Vehicle control unit

Claims (9)

車両のデータを記録した車両データベースと、
前記車両の周辺の障害物を検出する障害物検出部からの障害物データ及び前記車両データベースからの車両データを用いて、前記車両のドアを開けた際の前記ドアと前記障害物との距離を算出するデータ解析部と、
前記車両及び前記障害物を複数の方向から見た画像を生成し、表示部に表示する表示生成部とを備え、
前記表示生成部は、ドアの開く幅又はドアと障害物との距離を、数値としてリアルタイムで表示するとともに、前記車両のドアを開けた際の前記ドアと前記障害物との距離が所定値以下となったとき、前記所定値以下となった場所にマークをつけて強調表示を行い、
前記車両及び前記障害物を複数の方向から見た画像は、前記車両及び前記障害物を上方から見た上面図と、前記車両及び前記障害物を側方から見た側面図、前記車両及び前記障害物を前方から見た前面図又は前記車両及び前記障害物を後方から見た後面図とが同時に表示される画像である運転支援装置。
A vehicle database that records vehicle data;
Using the obstacle data from the obstacle detection unit that detects obstacles around the vehicle and the vehicle data from the vehicle database, the distance between the door and the obstacle when the door of the vehicle is opened is determined. A data analysis unit to calculate,
A display generation unit that generates an image of the vehicle and the obstacle viewed from a plurality of directions and displays the image on a display unit;
The display generation unit displays the door opening width or the distance between the door and the obstacle in real time as a numerical value, and the distance between the door and the obstacle when the vehicle door is opened is equal to or less than a predetermined value. when it becomes, had rows highlighted with a mark in a location that becomes equal to or less than the predetermined value,
The image of the vehicle and the obstacle viewed from a plurality of directions includes a top view of the vehicle and the obstacle viewed from above, a side view of the vehicle and the obstacle viewed from the side, the vehicle, and the vehicle A driving support device that is an image in which a front view of an obstacle as viewed from the front or a rear view of the vehicle and the obstacle as viewed from the rear is displayed simultaneously .
前記表示生成部は、前記画像として、ドアを開けた前記車両及びこのドアの開閉の軌跡並びに前記障害物を複数の方向から見た画像を生成し、前記表示部に表示することを特徴とする請求項1記載の運転支援装置。   The display generation unit generates, as the image, an image of the vehicle with the door opened, an opening / closing locus of the door, and the obstacle viewed from a plurality of directions, and displayed on the display unit. The driving support apparatus according to claim 1. 前記表示生成部は、前記車両のドアを開けた際の前記ドアと前記障害物との距離が所定値以下となったとき、前記所定値以下となった場所にマークをつけて強調表示を行うとともに、前記ドアと前記障害物との距離表示、及び、前記車両の搭乗者への案内表示の少なくとも1つを行う請求項1又は2記載の運転支援装置。   When the distance between the door and the obstacle when the door of the vehicle is opened is equal to or less than a predetermined value, the display generation unit puts a mark on a place where the distance is equal to or less than the predetermined value and performs highlighting. The driving support device according to claim 1, wherein at least one of a distance display between the door and the obstacle and a guidance display to a passenger of the vehicle is performed. 前記データ解析部は、前記車両のドアを開けた際の前記ドアと前記障害物との距離に基づいて車両のドアの開閉を制御するデータを車両制御部へ出力する請求項1ないし3のいずれか1項に記載の運転支援装置。   The data analysis unit outputs data for controlling opening / closing of the vehicle door to the vehicle control unit based on a distance between the door and the obstacle when the vehicle door is opened. The driving support device according to claim 1. 前記データ解析部は、前記車両のドアを開けた際の前記ドアと前記障害物との距離が0以下となったとき、前記ドアの開閉可能な限界位置のデータを前記車両制御部へ出力する請求項4記載の運転支援装置。   The data analysis unit outputs, to the vehicle control unit, data on a limit position at which the door can be opened and closed when the distance between the door and the obstacle when the vehicle door is opened is 0 or less. The driving support device according to claim 4. 前記表示生成部は、前記車両のドアを開けた際の前記ドアと前記障害物との距離が0以下となったとき、ドアを開けた前記車両及び開閉可能な限界位置のドア並びに前記障害物を複数の方向から見た画像を生成し、前記表示部に表示する請求項1ないし5のいずれか一項に記載の運転支援装置。   When the distance between the door and the obstacle when the door of the vehicle is opened becomes 0 or less, the display generation unit opens the door, the door at the limit position that can be opened and closed, and the obstacle The driving support device according to any one of claims 1 to 5, wherein an image obtained by viewing the vehicle from a plurality of directions is generated and displayed on the display unit. 前記表示生成部は、前記限界位置のドアの開く幅の表示、このドアの開く角度の表示、このドアと前記障害物とが接触する場所の強調表示、及び、前記車両の搭乗者への案内表示の少なくとも1つを行う請求項6記載の運転支援装置。   The display generation unit displays the opening width of the door at the limit position, displays the opening angle of the door, highlights the place where the door contacts the obstacle, and guides the passenger of the vehicle. The driving support device according to claim 6, wherein at least one of the displays is performed. 音声案内を生成し音声出力部に音声を出力する音声案内生成部を備え、
この音声案内生成部は、前記表示生成部の表示と関連させ、前記車両の搭乗者への音声案内を行う請求項1ないし7のいずれか一項に記載の運転支援装置。
A voice guidance generation unit that generates voice guidance and outputs voice to the voice output unit;
The driving assistance device according to any one of claims 1 to 7, wherein the voice guidance generation unit performs voice guidance to a passenger of the vehicle in association with the display of the display generation unit.
請求項1ないし8のいずれか一項に記載の運転支援装置を用いるナビゲーション装置。   A navigation device using the driving support device according to any one of claims 1 to 8.
JP2009163520A 2009-07-10 2009-07-10 Driving support device and navigation device Active JP5284206B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009163520A JP5284206B2 (en) 2009-07-10 2009-07-10 Driving support device and navigation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009163520A JP5284206B2 (en) 2009-07-10 2009-07-10 Driving support device and navigation device

Publications (3)

Publication Number Publication Date
JP2011016484A JP2011016484A (en) 2011-01-27
JP2011016484A5 JP2011016484A5 (en) 2011-10-20
JP5284206B2 true JP5284206B2 (en) 2013-09-11

Family

ID=43594631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009163520A Active JP5284206B2 (en) 2009-07-10 2009-07-10 Driving support device and navigation device

Country Status (1)

Country Link
JP (1) JP5284206B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957827B2 (en) * 2011-08-23 2016-07-27 富士通株式会社 Generating device, generating program, and generating method
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
JP2013100057A (en) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd Driving support device
JP2013239015A (en) * 2012-05-15 2013-11-28 Sharp Corp Parking support device, and parking support method and program
DE102013010010B4 (en) * 2013-06-14 2022-02-10 Audi Ag Method for operating a driver assistance system for maneuvering and/or parking
KR101482171B1 (en) * 2013-09-05 2015-01-13 현대모비스(주) Control method for around view stop mode
KR101611194B1 (en) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 Apparatus and method for peripheral image generation of vehicle
DE102014223742A1 (en) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Door assistance system for a vehicle
KR101860610B1 (en) 2015-08-20 2018-07-02 엘지전자 주식회사 Display Apparatus and Vehicle Having The Same
JP6766557B2 (en) * 2016-09-29 2020-10-14 アイシン精機株式会社 Peripheral monitoring device
KR101949438B1 (en) * 2016-10-05 2019-02-19 엘지전자 주식회사 Display apparatus for vehicle and vehicle having the same
JP2020061646A (en) * 2018-10-10 2020-04-16 市光工業株式会社 Display device for vehicle
KR102566816B1 (en) * 2021-07-16 2023-08-11 현대모비스 주식회사 Apparatus and Method for Preventing Open Door Accident of Car

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0572533U (en) * 1992-03-13 1993-10-05 マツダ株式会社 Vehicle door opening / closing control device
JP3645196B2 (en) * 2001-02-09 2005-05-11 松下電器産業株式会社 Image synthesizer
JP4895147B2 (en) * 2001-09-27 2012-03-14 株式会社エクォス・リサーチ Vehicle door opening support device
JP2003206676A (en) * 2002-01-09 2003-07-25 Mazda Motor Corp Control device for opening/closing body of vehicle
JP2004356846A (en) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd Apparatus for supervising surrounding of vehicle
JP2006319789A (en) * 2005-05-13 2006-11-24 Matsushita Electric Works Ltd Obstacle detection sensor for vehicle
JP2007118762A (en) * 2005-10-27 2007-05-17 Aisin Seiki Co Ltd Circumference monitoring system
JP4648171B2 (en) * 2005-11-29 2011-03-09 株式会社デンソー Vehicle door contact avoidance support device
JP4557302B2 (en) * 2006-01-26 2010-10-06 アルパイン株式会社 Vehicle driving support device
JP4682880B2 (en) * 2006-03-07 2011-05-11 株式会社デンソー Parking assistance device
JP2007245812A (en) * 2006-03-14 2007-09-27 Alpine Electronics Inc Danger preventive alarm device in getting off vehicle
JP4441887B2 (en) * 2006-03-31 2010-03-31 株式会社デンソー Automotive user hospitality system
JP2008002085A (en) * 2006-06-20 2008-01-10 Denso Corp Door control device for automobile
JP4666171B2 (en) * 2006-06-29 2011-04-06 三菱自動車工業株式会社 Door clearance detection device
JP2009114783A (en) * 2007-11-08 2009-05-28 Clarion Co Ltd Vehicular door opening/closing angle control device

Also Published As

Publication number Publication date
JP2011016484A (en) 2011-01-27

Similar Documents

Publication Publication Date Title
JP5284206B2 (en) Driving support device and navigation device
JP4846426B2 (en) Vehicle perimeter monitoring device
EP3367364B1 (en) Parking support information display method and parking support device
JP5120249B2 (en) Monitoring device and monitoring method, control device and control method, and program
JP5019491B2 (en) In-vehicle image display device
CN102783145B (en) Image control apparatus
CN105539287B (en) Periphery monitoring device
CN107463122A (en) Vehicle control system, control method for vehicle and wagon control program product
JP5708669B2 (en) Vehicle display device
CN107074247B (en) Drive assistance device and driving assistance system
JP4867463B2 (en) Driving assistance device
JP2010183170A (en) Display apparatus for vehicle
CN109109800A (en) Car radar warning note method and device
CN108136987A (en) Parking space detection method and device
JPWO2018235274A1 (en) Parking control method and parking control device
WO2019069430A1 (en) Parking control method and parking control device
JP2009078674A (en) Vehicle rear view monitoring device
JP2007091157A (en) Operation assisting device
TW201628887A (en) Control system and control method for collision avoidance when opening the door
JPWO2019082388A1 (en) Parking control method and parking control device
WO2017018073A1 (en) Driving support device
JP6821124B2 (en) Driving support devices, driving support methods and programs
JP2011255812A (en) Parking support device
JP2013086560A (en) Obstacle report system, and obstacle report method
JP6372556B2 (en) In-vehicle image display device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110905

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110905

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120824

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120904

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20121102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130529

R150 Certificate of patent or registration of utility model

Ref document number: 5284206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250