JP5041165B2 - GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM - Google Patents

GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM

Info

Publication number
JP5041165B2
JP5041165B2 JP2008163174A JP2008163174A JP5041165B2 JP 5041165 B2 JP5041165 B2 JP 5041165B2 JP 2008163174 A JP2008163174 A JP 2008163174A JP 2008163174 A JP2008163174 A JP 2008163174A JP 5041165 B2 JP5041165 B2 JP 5041165B2
Authority
JP
Japan
Prior art keywords
host vehicle
vehicle
information
moving body
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008163174A
Other languages
Japanese (ja)
Other versions
JP2010000969A (en
Inventor
俊宏 森
直和 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2008163174A priority Critical patent/JP5041165B2/en
Publication of JP2010000969A publication Critical patent/JP2010000969A/en
Application granted granted Critical
Publication of JP5041165B2 publication Critical patent/JP5041165B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、案内制御装置、案内制御方法、及び案内制御プログラムに関し、特に、運転者に対する案内情報の出力制御を行う、案内制御装置、案内制御方法、及び案内制御プログラムに関する。   The present invention relates to a guidance control device, a guidance control method, and a guidance control program, and more particularly, to a guidance control device, a guidance control method, and a guidance control program that perform output control of guidance information for a driver.

近年、車両の運転支援のための各種の案内情報を運転者に提示する案内制御装置が用いられている。この案内制御装置は、CCDカメラや赤外線センサ等の各種センサを用いて自車両の周囲状況を監視し、液晶モニタや音声出力装置等を介して必要な情報を運転者に出力する。   2. Description of the Related Art In recent years, guidance control devices that present various types of guidance information for driving assistance of vehicles to a driver have been used. This guidance control device monitors the surroundings of the host vehicle using various sensors such as a CCD camera and an infrared sensor, and outputs necessary information to the driver via a liquid crystal monitor, a voice output device, and the like.

例えば、ドライバーの駐車操作を支援するため、車両周辺の映像を表示して駐車操作を支援する駐車支援装置が提案されている。この駐車支援装置は、自車両の駐車状態に基づいて設定された表示パターンに基づき、車両の周囲の景色を撮像する複数のカメラの中から、表示装置に映像を表示させるカメラの切り替えを行う(例えば、特許文献1参照)。   For example, in order to support a driver's parking operation, a parking support device that supports a parking operation by displaying an image around a vehicle has been proposed. The parking assist device switches a camera that displays an image on a display device from a plurality of cameras that capture a landscape around the vehicle based on a display pattern set based on a parking state of the host vehicle ( For example, see Patent Document 1).

特開2006−298195号公報(段落0004)JP 2006-298195 A (paragraph 0004)

しかしながら、上記特許文献1に記載の方法は、自車両を駐車させる場合において周囲の障害物の把握を容易にすることを目的とし、操舵角や車速等の自車両自体の状態に基づいて必要な映像を選択表示させるものであるため、運転者が注意を払うべき他車両や歩行者等が自車両に対してどの方向から接近してくるかについては何ら考慮が払われていなかった。このため、複数のカメラやセンサによって取得された自車両の周囲状況を示す情報の中から、運転者の注意すべき情報を当該運転者が即座に正確に把握することが困難であった。   However, the method described in Patent Document 1 is intended to facilitate understanding of surrounding obstacles when the host vehicle is parked, and is necessary based on the state of the host vehicle itself such as the steering angle and the vehicle speed. Since the video is selected and displayed, no consideration has been given to which direction the other vehicle, pedestrian, etc. that the driver should pay attention to approach from the own vehicle. For this reason, it has been difficult for the driver to immediately and accurately grasp information that should be noted by the driver from information indicating the surrounding situation of the host vehicle acquired by a plurality of cameras and sensors.

本発明は、上述した問題点を解決するためになされたものであり、自車両の進入領域における移動体の移動形態に応じた案内情報を確実に把握することが可能となる、案内制御装置、案内制御方法、及び案内制御プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and a guidance control device capable of reliably grasping guidance information according to the moving form of the moving body in the approach area of the host vehicle, It is an object to provide a guidance control method and a guidance control program.

上述した課題を解決し、目的を達成するために、請求項1に記載の案内制御装置は、非走行領域に位置する自車両が進入領域に対して後向きに進入する際の出力制御を行う案内制御装置であって、移動体の移動形態が相異する複数領域間の境界の位置を特定する境界情報と自車両状態とに応じて、前記複数領域のうち自車両が進入する進入領域を特定し、当該特定した進入領域における移動体の移動形態を特定する移動体移動形態特定手段と、前記移動体移動形態特定手段によって特定された移動体の移動形態に応じた案内情報の出力制御を行う案内制御手段と、を備え、前記境界情報は、地図情報又は前記自車両の進行方向画像情報に含まれ、前記案内情報は、前記自車両周辺の画像情報であり、前記移動体移動形態特定手段は、前記境界情報に基づき特定した境界の位置と前記自車両の位置との距離を特定し、前記案内制御手段は、前記移動体移動形態特定手段により前記進入領域が歩道であると特定された場合は、自車両の左右両方向を含む範囲の前記画像情報が表示されるように出力制御を行い、前記移動体移動形態特定手段により前記進入領域が歩道でないと特定された場合であって、前記移動体移動形態特定手段によって特定された前記進入領域の境界の位置を前記自車両が越える前であって、前記進入領域の境界と前記自車両との距離が所定の距離未満となった場合は、自車両の左右方向のうち移動体が自車両の進入領域に対して接近する方向に対向する方向に関する前記画像情報が強調表示されるように出力制御を行うIn order to solve the above-described problems and achieve the object, the guidance control device according to claim 1 performs guidance for performing output control when the host vehicle located in the non-traveling area enters backward with respect to the entry area. A control device that identifies an entry area into which the host vehicle enters among the plurality of areas according to boundary information that identifies a position of a boundary between the plurality of areas in which the moving form of the moving body is different and the own vehicle state Then, the moving body moving form specifying means for specifying the moving form of the moving body in the specified approach area, and the output control of the guidance information according to the moving form of the moving body specified by the moving body moving form specifying means are performed. Guidance control means , wherein the boundary information is included in map information or travel direction image information of the host vehicle, the guide information is image information around the host vehicle, and the moving body moving form specifying means Is the boundary The distance between the position of the boundary specified based on the information and the position of the host vehicle is specified, and the guidance control means determines that the approach area is a sidewalk when the moving body moving form specifying means specifies the approach area. Output control is performed so that the image information in a range including both left and right directions of the vehicle is displayed, and the moving body moving form specifying means specifies that the approach area is not a sidewalk, and the moving body moving form If the distance between the boundary of the approach area and the host vehicle is less than a predetermined distance before the host vehicle exceeds the position of the boundary of the approach area specified by the specifying means, Output control is performed so that the image information regarding the direction facing the direction in which the moving body approaches the entry area of the host vehicle in the left-right direction is highlighted .

また、請求項2に記載の案内制御装置は、請求項1に記載の案内制御装置において、前記複数領域は、自車両が非走行領域から進入する車線又は自車両が歩道を介して進入する車線、及びその対向車線であり、前記境界情報は前記車線と前記対向車線との間に位置する中央線の位置情報であり、前記移動体移動形態特定手段は、前記中央線の位置情報と自車両状態とに応じて、前記車線又は前記対向車線のうち自車両が進入する進入領域を特定する。 In addition, the guidance control device according to claim 2 is the guidance control device according to claim 1, wherein the plurality of areas are a lane in which the host vehicle enters from a non-traveling region or a lane in which the host vehicle enters through a sidewalk. And the boundary information is position information of a center line located between the lane and the opposite lane, and the moving body moving form specifying means includes the position information of the center line and the own vehicle. Depending on the state, an entry area into which the host vehicle enters is specified in the lane or the oncoming lane.

また、請求項3に記載の案内制御方法は、非走行領域に位置する自車両が進入領域に対して後向きに進入する際の出力制御を行う案内制御方法であって、移動体の移動形態が相異する複数領域間の境界の位置を特定する境界情報と自車両状態とに応じて、前記複数領域のうち自車両が進入する進入領域を特定し、当該特定した進入領域における移動体の移動形態を特定する移動体移動形態特定ステップと、前記移動体移動形態特定ステップにおいて特定された移動体の移動形態に応じた案内情報の出力制御を行う案内制御ステップと、を含み、前記境界情報は、地図情報又は前記自車両の進行方向画像情報に含まれ、前記案内情報は、前記自車両周辺の画像情報であり、前記移動体移動形態特定ステップにおいて、前記境界情報に基づき特定した境界の位置と前記自車両の位置との距離を特定し、前記案内制御ステップにおいて、前記移動体移動形態特定ステップにおいて前記進入領域が歩道であると特定された場合は、自車両の左右両方向を含む範囲の前記画像情報が表示されるように出力制御を行い、前記移動体移動形態特定ステップにおいて前記進入領域が歩道でないと特定された場合であって、前記移動体移動形態特定ステップにおいて特定された前記進入領域の境界の位置を前記自車両が越える前であって、前記進入領域の境界と前記自車両との距離が所定の距離未満となった場合は、自車両の左右方向のうち移動体が自車両の進入領域に対して接近する方向に対向する方向に関する前記画像情報が強調表示されるように出力制御を行う。 The guidance control method according to claim 3 is a guidance control method for performing output control when the host vehicle located in the non-traveling area enters backward with respect to the entry area, and the moving form of the moving body is According to the boundary information for specifying the position of the boundary between the different areas and the own vehicle state, the entry area into which the host vehicle enters is specified from the plurality of areas, and the moving object moves in the specified entry area. A moving body moving form specifying step for specifying a form; and a guidance control step for performing output control of guidance information according to the moving form of the moving body specified in the moving body moving form specifying step, wherein the boundary information is Included in the map information or the traveling direction image information of the host vehicle, and the guidance information is image information around the host vehicle, and is specified based on the boundary information in the moving body moving form specifying step. If the distance between the position of the boundary and the position of the host vehicle is specified and the approach area is specified as a sidewalk in the moving body moving form specifying step in the guidance control step, Output control is performed so that the image information in a range including the image is displayed, and the entry region is identified as not a sidewalk in the moving body moving form specifying step, and is specified in the moving body moving form specifying step. If the distance between the boundary of the approach area and the host vehicle is less than a predetermined distance before the host vehicle exceeds the position of the boundary of the approach area, Output control is performed so that the image information related to the direction opposite to the direction in which the moving body approaches the entry area of the host vehicle is highlighted.

また、請求項4に記載の案内制御プログラムは、請求項3に記載の方法をコンピュータに実行させる。 A guidance control program according to claim 4 causes a computer to execute the method according to claim 3.

請求項1に記載の案内制御装置、請求項3に記載の案内制御方法、及び請求項4に記載の案内制御プログラムによれば、自車両の進入領域における移動体の移動形態に応じた案内情報の出力制御が行われるので、運転者は、移動体の移動形態に対応する情報を正確かつ確実に把握することができる。 According to the guidance control device according to claim 1 , the guidance control method according to claim 3 , and the guidance control program according to claim 4 , guidance information according to the moving form of the moving body in the entry area of the host vehicle. Therefore, the driver can accurately and reliably grasp information corresponding to the moving form of the moving body.

また、移動体移動形態特定手段が、境界の位置と自車両状態とに応じて、自車両が進入する進入領域における移動体の移動形態を特定し、当該特定結果に応じた案内情報の出力制御を行うので、移動体の移動形態が異なる領域に自車両が進入する前後で移動体の移動形態が変動する場合においても、運転者は、当該移動体の移動形態に対応する情報を確実に把握することができる。   Further, the moving body moving form specifying means specifies the moving form of the moving body in the entry area where the own vehicle enters according to the position of the boundary and the own vehicle state, and controls the output of guidance information according to the specifying result. Therefore, even when the moving form of the moving body fluctuates before and after the host vehicle enters an area where the moving form of the moving body is different, the driver can reliably grasp the information corresponding to the moving form of the moving body. can do.

また、移動体移動形態特定手段は、地図情報又は自車両の進行方向の画像情報に含まれている境界情報に基づき境界の位置を特定するので、移動体の移動形態が変動する場所を正確に特定することができる。さらに、案内制御手段が、自車両の進入領域の境界の位置を自車両が越える前に案内情報の出力制御を行うので、運転者は、移動体の移動形態が変動する前に、当該移動体の移動形態に対応する情報を確実に把握することができる。 In addition, since the moving body moving form specifying means specifies the position of the boundary based on the boundary information included in the map information or the image information of the traveling direction of the host vehicle, the location where the moving form of the moving body fluctuates can be accurately determined. Can be identified. Further, since the guidance control means performs output control of guidance information before the own vehicle exceeds the position of the boundary of the entry area of the own vehicle, the driver can change the moving object before the moving form of the moving object fluctuates. It is possible to reliably grasp the information corresponding to the movement form.

また、移動体移動形態特定手段は、自車両と境界との距離が所定の距離未満となった場合に案内情報の出力制御を行うので、運転者は、移動体の移動形態が変動する前に、確実に移動体の移動形態に対応する情報を把握することができる。 In addition, since the moving body moving form specifying means controls the output of the guidance information when the distance between the host vehicle and the boundary is less than a predetermined distance, the driver can change the moving form of the moving body before the moving form changes. Therefore, it is possible to reliably grasp information corresponding to the moving form of the moving body.

また、案内情報を、自車両周辺の画像情報とし、自車両の進入領域に関する当該画像情報を強調表示させるので、運転者は、当該画像情報に基づき移動体の移動形態に対応する案内情報を確実に把握することができる。 In addition, since the guidance information is image information around the host vehicle and the image information related to the approach area of the host vehicle is highlighted, the driver can ensure the guide information corresponding to the moving form of the moving body based on the image information. Can grasp.

以下、本発明に係る案内制御装置、案内制御方法、及び案内制御プログラムの各実施の形態について図面を参照しつつ詳細に説明する。ただし、各実施の形態によって本発明が限定されるものではない。   Hereinafter, embodiments of a guidance control device, a guidance control method, and a guidance control program according to the present invention will be described in detail with reference to the drawings. However, the present invention is not limited to each embodiment.

〔実施の形態1〕
最初に、実施の形態1について説明する。この形態は、移動体の移動形態が相異する複数領域間の境界の位置を特定する境界情報と自車両状態とに基づき、前記複数領域のうち自車両が進入する進入領域を特定するとともに、当該進入領域における移動体の移動形態を特定し、当該特定した移動体の移動形態に応じた案内情報の出力制御を行う形態である。ここで「移動体」とは、具体的には車両、自転車、及び歩行者を含む概念であり、「移動形態」とは、道路上の通行方向に応じて異なるこれらの移動体の移動の形態を意味している。本実施の形態では、移動体が他車両であり、移動形態が走行形態である場合について説明する。
[Embodiment 1]
First, the first embodiment will be described. This form is based on boundary information that specifies the position of the boundary between a plurality of areas where the moving form of the moving body is different and the own vehicle state, and specifies an entry area into which the host vehicle enters among the plurality of areas, This is a mode in which the moving form of the moving body in the approach area is specified and guidance information output control is performed according to the moving form of the specified moving body. Here, the “moving body” is a concept that specifically includes vehicles, bicycles, and pedestrians, and the “moving form” is a moving form of these moving bodies that differs depending on the direction of traffic on the road. Means. In the present embodiment, a case where the moving body is another vehicle and the moving form is a traveling form will be described.

(構成)
図1は実施の形態1に係る案内制御システムを例示するブロック図である。この案内制御システム1は、案内制御装置10、現在地検出処理部20、カメラ30、車輪速センサ40、ステアリングセンサ50、シフトポジションセンサ60、及びモニタ70を備えている。
(Constitution)
FIG. 1 is a block diagram illustrating a guidance control system according to the first embodiment. The guidance control system 1 includes a guidance control device 10, a current location detection processing unit 20, a camera 30, a wheel speed sensor 40, a steering sensor 50, a shift position sensor 60, and a monitor 70.

(構成−案内制御装置)
最初に、案内制御装置10の構成について説明する。この案内制御装置10は、制御部11、及びデータ記録部12を備えている。
(Configuration-guidance control device)
First, the configuration of the guidance control device 10 will be described. The guidance control device 10 includes a control unit 11 and a data recording unit 12.

制御部11は、案内制御装置10を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る案内制御プログラムは、任意の記録媒体又はネットワークを介して案内制御装置10にインストールされることで、制御部11の各部を実質的に構成する。   The control unit 11 is a control unit that controls the guidance control device 10. Specifically, the control unit 11 is a CPU, various programs that are interpreted and executed on the CPU (such as an OS or a basic control program such as an OS, or a specific program that is started on the OS And an internal memory such as a RAM for storing the program and various data. In particular, the guidance control program according to the present embodiment is substantially installed in the guidance control device 10 via an arbitrary recording medium or network, thereby substantially configuring each unit of the control unit 11.

この制御部11は、機能概念的に、車両走行形態特定部11a、及び案内制御部11bを備えている。車両走行形態特定部11aは、自車両の進入領域と当該進入領域における他車両の走行形態とを特定する車両走行形態特定手段であり、特許請求の範囲における移動体移動形態特定手段に対応している。案内制御部11bは、自車両の進入領域に関する案内情報の出力制御を行う案内制御手段である。これらの制御部11の各構成要素によって実行される処理の詳細については後述する。   This control part 11 is equipped with the vehicle travel form specific | specification part 11a and the guidance control part 11b on the functional concept. The vehicle travel form specifying unit 11a is vehicle travel form specifying means for specifying the entry area of the host vehicle and the drive form of another vehicle in the entry area, and corresponds to the moving body movement form specifying means in the claims. Yes. The guidance control unit 11b is guidance control means for performing output control of guidance information related to the entry area of the host vehicle. Details of processing executed by each component of the control unit 11 will be described later.

ここで、「他車両の走行形態」とは、道路上の通行方向に応じて異なる他車両の移動形態を意味している。また、「案内情報」とは、自車両の進入領域に関する情報であり、例えば、カメラ30によって取得した自車両周辺の画像情報を案内情報とし、運転者に対してモニタ70によって出力表示させることができる。この場合において、カメラ30を用いて自車両周辺の複数方向について画像情報を取得している場合には、当該複数方向についての画像情報の任意の組合わせを案内情報とすることができる。以下、本実施の形態1においては、カメラ30によって取得した画像情報を案内情報とし、モニタ70によって出力表示させる場合を例に挙げて説明する。   Here, the “traveling mode of the other vehicle” means a moving mode of the other vehicle that differs depending on the direction of traffic on the road. The “guidance information” is information relating to the approach area of the host vehicle. For example, image information around the host vehicle acquired by the camera 30 can be used as guidance information, and can be output and displayed on the monitor 70 by the driver. it can. In this case, when image information is acquired in a plurality of directions around the host vehicle using the camera 30, any combination of the image information in the plurality of directions can be used as the guide information. Hereinafter, in the first embodiment, a case where image information acquired by the camera 30 is used as guidance information and output and displayed by the monitor 70 will be described as an example.

データ記録部12は、案内制御装置10の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク(図示省略)を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。   The data recording unit 12 is a recording unit that records a program and various types of data necessary for the operation of the guidance control device 10, and is configured using, for example, a hard disk (not shown) as an external storage device. However, any other recording medium including a magnetic recording medium such as a magnetic disk or an optical recording medium such as a DVD or a Blu-ray disk can be used instead of or together with the hard disk.

このデータ記録部12は、地図情報データベース(以下データベースを「DB」と称する)12a、及び駐車情報格納部12bを備えている。地図情報DB12aは、地図情報を格納する地図情報格納手段である。「地図情報」とは、自車両の進入領域の特定や、当該進入領域における他車両の走行形態の特定に必要な情報であり、例えば、地図をモニタ70に表示するための地図表示データ、交差点に関する交差点データ、及び道路データ等を含んで構成されている。この内、「道路データ」は、歩道の有無や横断歩道の位置に関する歩道情報、中央線の有無や位置に関する境界情報、車線数、及び通行方向等に関する情報を含むデータである。駐車情報格納部12bは、駐車情報を格納する駐車情報格納手段である。駐車情報とは、自車両の駐車方向を特定するための情報であり、例えば、自車両が前向き駐車をしている場合には「ON」、後向き駐車をしている場合には「OFF」となる前向き駐車フラグを用いることができる。   The data recording unit 12 includes a map information database (hereinafter referred to as “DB”) 12a and a parking information storage unit 12b. The map information DB 12a is map information storage means for storing map information. “Map information” is information necessary for specifying the approach area of the host vehicle and the driving mode of other vehicles in the approach area. For example, map display data for displaying a map on the monitor 70, an intersection Intersection data, road data, and the like. Among these, “road data” is data including information on the sidewalk information regarding the presence / absence of the sidewalk and the position of the pedestrian crossing, boundary information regarding the presence / absence and position of the center line, the number of lanes, the traffic direction, and the like. The parking information storage unit 12b is a parking information storage unit that stores parking information. The parking information is information for specifying the parking direction of the host vehicle. For example, “ON” is set when the host vehicle is parked forward, and “OFF” is set when the host vehicle is parked backward. A forward-facing parking flag can be used.

(構成−現在地検出処理部)
現在地検出処理部20は、案内制御装置10が取り付けられた車両(以下必要に応じて「自車両」)の現在位置を検出する現在位置検出手段である。具体的には、現在地検出処理部20は、GPS、地磁気センサ、距離センサ、又はジャイロセンサ(いずれも図示省略)の少なくとも一つを有し、現在の自車両の位置(座標)及び方位等を公知の方法にて検出する。
(Configuration-Current location detection processing unit)
The current position detection processing unit 20 is a current position detection unit that detects a current position of a vehicle (hereinafter referred to as “own vehicle” if necessary) to which the guidance control device 10 is attached. Specifically, the current location detection processing unit 20 has at least one of a GPS, a geomagnetic sensor, a distance sensor, and a gyro sensor (all of which are not shown), and determines the current position (coordinates) and direction of the host vehicle. Detection is performed by a known method.

(構成−カメラ)
カメラ30は、車両の周囲を撮影するための撮影手段であり、例えば車両の前後端部に配置されている。カメラ30により取得された画像情報は、当該カメラ30から制御部11に出力される。このカメラ30は、CCDセンサやCMOSセンサ等の公知の撮像素子、及び魚眼レンズやプリズム等の公知の光学系部品を用いて構成されている。図2は、カメラ30を自車両の後端部に設置した場合における画角を例示した図であり、図2(a)は魚眼レンズを用いたカメラ30の画角(以下「魚眼画角」)、図2(b)はプリズムを用いたカメラ30の画角(以下「プリズム画角」)を示している。図2(a)に示したように、魚眼画角は、自車両2の後進方向を中心として左右約180度の画角となる。一方、プリズム画角は、図2(b)に示したように、自車両2の左右方向それぞれについての所定の画角となる。なお、図2はあくまで例示であり、自車両2の任意の位置に、任意の方向の画角を有するようにカメラ30を配置することができる。
(Configuration-Camera)
The camera 30 is photographing means for photographing the surroundings of the vehicle, and is disposed at, for example, the front and rear ends of the vehicle. Image information acquired by the camera 30 is output from the camera 30 to the control unit 11. The camera 30 is configured using a known imaging device such as a CCD sensor or a CMOS sensor, and a known optical system component such as a fisheye lens or a prism. FIG. 2 is a diagram illustrating an angle of view when the camera 30 is installed at the rear end of the host vehicle. FIG. 2A is an angle of view of the camera 30 using a fisheye lens (hereinafter referred to as “fisheye angle of view”). 2B shows an angle of view of the camera 30 using a prism (hereinafter, “prism angle of view”). As shown in FIG. 2A, the fish-eye angle of view is an angle of view of about 180 degrees on the left and right with the backward direction of the host vehicle 2 as the center. On the other hand, the prism field angle is a predetermined field angle in each of the left and right directions of the host vehicle 2 as shown in FIG. Note that FIG. 2 is merely an example, and the camera 30 can be arranged at an arbitrary position of the host vehicle 2 so as to have an angle of view in an arbitrary direction.

(構成−車輪速センサ)
図1において、車輪速センサ40は、車輪の回転速度を検出し、当該検出値を制御部11に出力するものであり、公知の車輪速センサ40を用いることができる。
(Configuration-Wheel speed sensor)
In FIG. 1, the wheel speed sensor 40 detects the rotational speed of the wheel and outputs the detected value to the control unit 11, and a known wheel speed sensor 40 can be used.

(構成−ステアリングセンサ)
ステアリングセンサ50は、車両のステアリングホイールの操舵角を検出し、当該検出値を制御部11に出力するものであり、公知のステアリングセンサ50を用いることができる。
(Configuration-steering sensor)
The steering sensor 50 detects the steering angle of the steering wheel of the vehicle and outputs the detected value to the control unit 11, and a known steering sensor 50 can be used.

(構成−シフトポジションセンサ)
シフトポジションセンサ60は、車両の変速機を操作するためのシフトレバーのポジションを検出し、当該検出値を制御部11に出力するものであり、公知のシフトポジションセンサ60を用いることができる。
(Configuration-Shift position sensor)
The shift position sensor 60 detects the position of the shift lever for operating the transmission of the vehicle, and outputs the detected value to the control unit 11, and a known shift position sensor 60 can be used.

(構成−モニタ)
モニタ70は、案内制御部11bによって出力制御された案内情報を表示するためのものであり、公知の液晶ディスプレイや有機ELディスプレイの如きフラットパネルディスプレイ、又は車両のフロントガラスにホログラムを投影するホログラム装置等を使用することができる。
(Configuration-Monitor)
The monitor 70 is for displaying the guidance information whose output is controlled by the guidance control unit 11b, and is a flat panel display such as a known liquid crystal display or an organic EL display, or a hologram device for projecting a hologram on the windshield of a vehicle. Etc. can be used.

(処理)
このように構成される案内制御システム1によって実行される処理について説明する。案内制御システム1が実行する処理は、自車両2が駐車した際に実行される駐車処理と、駐車している自車両2が当該駐車している領域から退出する際に実行される退出処理とに大別される。これらの駐車処理と退出処理とについて、以下説明する。
(processing)
Processing executed by the guidance control system 1 configured as described above will be described. The process executed by the guidance control system 1 includes a parking process executed when the host vehicle 2 is parked, and an exit process executed when the parked host vehicle 2 leaves the parked area. It is divided roughly into. These parking processing and leaving processing will be described below.

ここで、各処理の前提として、自車両2は非走行領域に駐車し、当該非走行領域から退出して走行領域に進入するものとする。「非走行領域」とは、車両が走行せず駐車(あるいは一時的に停車)する領域をいい、例えば道路に面した駐車場の駐車スペースや、パーキングエリア等の大規模駐車場内における駐車スペース等が該当する。一方、「走行領域」とは、車両が走行する領域をいい、例えば道路や、パーキングエリア等の大規模駐車場内における車両の走行レーンが該当する。以下では、走行領域は道路であり、非走行領域は、歩道を挟んで又は挟まずに、当該道路に面した駐車スペースである場合を例に挙げて説明する。   Here, as a premise of each process, it is assumed that the host vehicle 2 parks in a non-traveling area, exits from the non-traveling area, and enters the traveling area. “Non-driving area” refers to an area where the vehicle does not travel and parks (or temporarily stops). For example, a parking space facing a road, a parking space in a large-scale parking lot such as a parking area, etc. Is applicable. On the other hand, the “traveling area” refers to an area where the vehicle travels, and corresponds to a traveling lane of the vehicle in a large-scale parking lot such as a road or a parking area. Hereinafter, a case where the traveling area is a road and the non-traveling area is a parking space facing the road with or without a sidewalk will be described as an example.

(処理−駐車処理)
まず、駐車処理について説明する。図3は駐車処理を示したフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。この駐車処理は、自車両2の走行開始後に自動的に起動される。走行開始後、車両走行形態特定部11aは、自車両2が駐車されたか否かを監視し(SA2)、駐車される迄、現在地検出処理部20を介して自車両位置を継続的に取得する(SA1)。ここで、自車両2が駐車されたか否かの判断基準は任意であり、例えば、車輪速センサ40を介して取得した車輪の回転速度が0であり、シフトポジションセンサ60を介して取得したシフトレバーのポジションがパーキングポジションとなっており、且つ、パーキングブレーキが掛けられている場合に、自車両2が駐車されたものと判定する。
(Processing-parking processing)
First, the parking process will be described. FIG. 3 is a flowchart showing the parking process (steps are abbreviated as “S” in the description of each process below). This parking process is automatically activated after the vehicle 2 starts to travel. After the start of travel, the vehicle travel form specifying unit 11a monitors whether or not the host vehicle 2 is parked (SA2), and continuously acquires the host vehicle position via the current location detection processing unit 20 until the host vehicle 2 is parked. (SA1). Here, the criterion for determining whether or not the host vehicle 2 is parked is arbitrary. For example, the rotational speed of the wheel acquired through the wheel speed sensor 40 is 0, and the shift acquired through the shift position sensor 60 is used. When the lever position is the parking position and the parking brake is applied, it is determined that the host vehicle 2 is parked.

自車両2が駐車されたものと判定した場合(SA2、Yes)、車両走行形態特定部11aは、自車両2が前向き駐車されたか否かを判定する(SA3)。ここで、「前向き駐車」とは、駐車スペースに対して自車両2が前進しながら進入され駐車された場合をいう。一方、駐車スペースに対して自車両2が後進しながら進入され駐車された場合は「後向き駐車」と称する。   When it is determined that the host vehicle 2 is parked (SA2, Yes), the vehicle travel mode specifying unit 11a determines whether the host vehicle 2 is parked forward (SA3). Here, “forward-facing parking” refers to a case where the host vehicle 2 is approached and parked while moving forward with respect to the parking space. On the other hand, when the host vehicle 2 enters and parks while moving backward with respect to the parking space, it is referred to as “backward parking”.

なお、自車両2が前向き駐車された否かの判定基準は任意であり、例えば、上記SA2において駐車判定を行う直前のシフトレバーのポジションが、前進用ポジション(ドライブ、セカンド等)であった場合には前向き駐車されたものと判定し、後進用ポジション(リバース)であった場合には後向き駐車されたものと判定する。また、SA2において駐車判定を行うまでに取得した自車両位置に基づく当該自車両2の移動軌跡によって、自車両2が前進しながら前向き駐車されたのか、あるいは切返し操作等を行った後に後進しながら後向き駐車されたのかを判定してもよい。あるいは、前向き駐車又は後向き駐車の何れに該当するかの選択を要求する旨の表示をモニタ70に出力させ、所定の操作手段を介して運転者に選択させてもよい。   In addition, the criteria for determining whether or not the host vehicle 2 is parked forward is arbitrary, for example, when the position of the shift lever immediately before performing the parking determination in SA2 is a forward position (drive, second, etc.) It is determined that the vehicle is parked forward, and if it is in the reverse position (reverse), it is determined that the vehicle is parked backward. Further, depending on the movement trajectory of the own vehicle 2 based on the own vehicle position acquired until the parking determination is made in SA2, whether the own vehicle 2 is parked forward while moving forward or while moving backward after performing a turning operation or the like. It may be determined whether the vehicle is parked backwards. Alternatively, the monitor 70 may output a display requesting selection of whether it corresponds to forward-facing parking or backward-facing parking, and allow the driver to select via a predetermined operation means.

SA3の判定の結果、自車両2が前向き駐車されたものと判定した場合(SA3、Yes)、車両走行形態特定部11aは、駐車情報格納部12bにおける前向き駐車フラグに「ON」を格納する(SA4)。一方、自車両2が前向き駐車されなかったものと判定した場合(後向き駐車されたものと判定した場合)(SA3、No)、車両走行形態特定部11aは、駐車情報格納部12bにおける前向き駐車フラグに「OFF」を格納する(SA5)。   As a result of the determination in SA3, when it is determined that the host vehicle 2 is parked forward (SA3, Yes), the vehicle travel mode specifying unit 11a stores “ON” in the forward parking flag in the parking information storage unit 12b ( SA4). On the other hand, when it is determined that the host vehicle 2 has not been parked forward (when it is determined that the vehicle has been parked backward) (SA3, No), the vehicle travel mode identification unit 11a displays a forward parking flag in the parking information storage unit 12b. “OFF” is stored in (SA5).

(処理−退出処理)
次に、退出処理について説明する。図4及び図5は退出処理を示したフローチャートである。図6から図9は、退出処理実行時における、自車両2と駐車スペース及び道路との位置関係を、車両の後端部に設置したカメラ30の画角と共に示した平面図であり、図6及び図7は画角がプリズム画角の場合、図8及び図9は画角が魚眼画角の場合を示す。なお、カメラ30の画角は、図6及び図7においては三角形、図8及び図9においては半円形にて表されており、これらの三角形及び半円形の内部においてハッチングされている領域は、案内制御部11bの出力制御によって、案内情報が当該ハッチング領域に対応する画角の範囲に関する画像情報に切替えられていることを示している。
(Processing-Exit processing)
Next, the leaving process will be described. 4 and 5 are flowcharts showing the exit process. 6 to 9 are plan views showing the positional relationship between the host vehicle 2, the parking space, and the road together with the angle of view of the camera 30 installed at the rear end of the vehicle when the exit process is executed. 7 and 7 show the case where the angle of view is a prism angle of view, and FIGS. 8 and 9 show the case where the angle of view is a fisheye angle of view. The angle of view of the camera 30 is represented by a triangle in FIGS. 6 and 7 and a semicircular shape in FIGS. 8 and 9, and the hatched area inside these triangles and semicircles is It shows that the guidance information is switched to the image information related to the range of the angle of view corresponding to the hatched area by the output control of the guidance control unit 11b.

この退出処理において、案内制御システム1を起動させるタイミングは任意であり、例えば、エンジンが始動された場合に案内制御システム1が起動されるようにすることができる。案内制御システム1が起動すると、図4に示すように、車両走行形態特定部11aは駐車情報格納部12bを参照し、前向き駐車フラグが「ON」であるか否かを判定する(SB1)。前向き駐車フラグが「ON」でなかった場合(前向き駐車フラグが「OFF」であった場合)(SB1、No)、車両走行形態特定部11aは、自車両2の状態が後向き駐車であり、前方に退出することから、案内情報の出力制御を行う必要はないものと判断し、退出処理を終了する。なお、自車両2が後向き駐車の状態から後方に退出する場合には、前向き駐車フラグの如何に関らず、以下のSB2に処理を進めることもできる。   In this exit process, the timing for starting the guidance control system 1 is arbitrary. For example, the guidance control system 1 can be started when the engine is started. When the guidance control system 1 is activated, as shown in FIG. 4, the vehicle travel mode specifying unit 11a refers to the parking information storage unit 12b and determines whether or not the forward parking flag is “ON” (SB1). When the forward parking flag is not “ON” (when the forward parking flag is “OFF”) (SB1, No), the vehicle travel mode specifying unit 11a indicates that the state of the host vehicle 2 is backward parking, and forward Therefore, it is determined that there is no need to perform guidance information output control, and the exit process is terminated. In addition, when the own vehicle 2 leaves backward from the state of the backward parking, the process can be advanced to the following SB2 regardless of the forward parking flag.

一方、前向き駐車フラグが「ON」であった場合(SB1、Yes)、車両走行形態特定部11aは、シフトレバーのポジションがリバースとなるまで待機する(SB2、No)。シフトレバーのポジションがリバースとなった場合(SB2、Yes)、自車両2が前向き駐車の状態から後方に退出すると判断し、現在地検出処理部20を介して自車両2の位置を取得する(SB3)。さらに、地図情報DB12aに格納されている地図情報に基づいて駐車スペースの位置を特定し、当該特定した駐車スペースの位置と、SB3で取得した自車両2の位置との関係に基づき、車両走行形態特定部11aは自車両2が駐車スペース内に位置しているか否かを判定する(SB4)。このSB4における自車両2の位置の判定の基準は任意であり、例えば自車両2の車両後端部や後輪車軸中央等を自車両2の位置として判定を行わせることができる。例えばGPS受信機の位置を基準として自車両2の位置を取得する場合、当該GPS受信機の位置と自車両2の後端部や後輪車軸中央との間の距離を補正値として位置補正することで、自車両2の車両後端部や後輪車軸中央等を自車両2の位置とすることができる。   On the other hand, when the forward parking flag is “ON” (SB1, Yes), the vehicle travel mode specifying unit 11a waits until the position of the shift lever is reversed (SB2, No). When the position of the shift lever is reversed (SB2, Yes), it is determined that the host vehicle 2 leaves backward from the forward parking state, and the position of the host vehicle 2 is acquired via the current location detection processing unit 20 (SB3). ). Further, the position of the parking space is specified based on the map information stored in the map information DB 12a, and the vehicle travel mode is based on the relationship between the position of the specified parking space and the position of the host vehicle 2 acquired in SB3. The identifying unit 11a determines whether or not the host vehicle 2 is located in the parking space (SB4). The reference for determining the position of the host vehicle 2 in SB4 is arbitrary. For example, the rear end portion of the host vehicle 2, the center of the rear wheel axle, or the like can be determined as the position of the host vehicle 2. For example, when the position of the host vehicle 2 is acquired based on the position of the GPS receiver, the position correction is performed using the distance between the position of the GPS receiver and the rear end of the host vehicle 2 or the center of the rear wheel axle as a correction value. Thus, the rear end of the host vehicle 2, the center of the rear axle, and the like can be set as the position of the host vehicle 2.

自車両2が駐車スペース内に位置していると判定した場合(SB4、Yes)(図6(a)又は図8(a)の状態)、車両走行形態特定部11aは、地図情報DB12aに格納されている歩道情報を参照し、例えば自車両2の進行方向における歩道の有無を判断する(SB5)。ここで、「進行方向」とは、自車両2が進むと推定される方向であり、ステアリングセンサ50によって検出される自車両2の操舵角と、シフトポジションセンサ60によって検出される自車両2のシフトポジションとに基づいて特定される。SB5の判断の結果、歩道が有ると判定した場合(SB5、Yes)、車両走行形態特定部11aは、当該歩道の両側端のうち駐車スペース側の境界と自車両2との距離を特定する(SB6)。続いて案内制御部11bは、車両走行形態特定部11aによって特定された距離が予め設定されている閾値(所定距離)以下となるまで待機する(SB7、No)。車両走行形態特定部11aによって特定された距離が閾値(所定距離)以下となった場合(SB7、Yes)、案内制御部11bは自車両2が歩道に接近したものと判断し、当該歩道を通行し自車両2の左右両側から接近する歩行者や自転車等に運転者が注意を払うことができるように、案内情報としてモニタ70に表示させる画像情報の出力制御を切替えて、自車両2の左右両方向の画像情報を出力表示させる(SB8)。   When it is determined that the host vehicle 2 is located in the parking space (SB4, Yes) (the state of FIG. 6A or FIG. 8A), the vehicle travel mode specifying unit 11a is stored in the map information DB 12a. For example, the presence or absence of a sidewalk in the traveling direction of the host vehicle 2 is determined with reference to the sidewalk information (SB5). Here, the “traveling direction” is a direction in which the host vehicle 2 is estimated to travel, the steering angle of the host vehicle 2 detected by the steering sensor 50, and the host vehicle 2 detected by the shift position sensor 60. It is specified based on the shift position. As a result of the determination of SB5, when it is determined that there is a sidewalk (SB5, Yes), the vehicle travel form specifying unit 11a specifies the distance between the boundary on the parking space side and the own vehicle 2 among the both ends of the sidewalk ( SB6). Subsequently, the guidance control unit 11b waits until the distance specified by the vehicle travel mode specifying unit 11a is equal to or less than a preset threshold value (predetermined distance) (SB7, No). When the distance specified by the vehicle travel mode specifying unit 11a is equal to or less than the threshold (predetermined distance) (SB7, Yes), the guidance control unit 11b determines that the host vehicle 2 has approached the sidewalk and passes the sidewalk. The output control of the image information displayed on the monitor 70 as the guidance information is switched so that the driver can pay attention to the pedestrians and bicycles approaching from both the left and right sides of the own vehicle 2, The image information in both directions is output and displayed (SB8).

例えば、魚眼画角を有するカメラ30が設置されている場合、案内制御部11bは、自車両2の左右両方向の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させるように出力制御を行う(図6(b)の状態)。また、プリズム画角を有するカメラ30が自車両2に設置されている場合、案内制御部11bは、自車両2の左右両方向を含む画角全範囲についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させるように出力制御を行う(図8(b)の状態)。これにより、自車両2の左右両側から歩道を介して接近する歩行者や自転車等に運転者が注意を払うことができる。   For example, when the camera 30 having a fish-eye angle of view is installed, the guidance control unit 11b monitors the image information acquired by the camera 30 and input to the control unit 11 with respect to the left and right angle of view of the host vehicle 2. The output control is performed so that the signal is output in the state (FIG. 6B). When the camera 30 having the prism angle of view is installed in the host vehicle 2, the guidance control unit 11 b is acquired by the camera 30 and input to the control unit 11 for the entire range of view angle including both the left and right directions of the host vehicle 2. Output control is performed so that the image information is output to the monitor 70 (state shown in FIG. 8B). Thereby, the driver can pay attention to a pedestrian or a bicycle approaching from the left and right sides of the host vehicle 2 via the sidewalk.

一方、図5のSB5において歩道が無いと判定した場合(SB5、No)、車両走行形態特定部11aは、自車両2の進入領域、及び当該進入領域における他車両の走行形態を特定する(SB9)。具体的には、車両走行形態特定部11aは、自車両2の位置を特定し、当該特定した位置と自車両2の進行方向とから自車両2の進入領域を特定する。ここで、「進入領域」とは、自車両2が進入すると推定される領域であり、例えば進行方向における自車両2の直近の領域(例えば、自車両2から道路の車線幅に対応する範囲内等)である。   On the other hand, when it is determined in SB5 of FIG. 5 that there is no sidewalk (SB5, No), the vehicle travel form specifying unit 11a specifies the approach area of the host vehicle 2 and the travel form of other vehicles in the approach area (SB9). ). Specifically, the vehicle travel mode specifying unit 11a specifies the position of the host vehicle 2, and specifies the entry area of the host vehicle 2 from the specified position and the traveling direction of the host vehicle 2. Here, the “entrance region” is a region where the host vehicle 2 is estimated to enter, for example, a region closest to the host vehicle 2 in the traveling direction (for example, within a range corresponding to the lane width of the road from the host vehicle 2). Etc.).

さらに、車両走行形態特定部11aは地図情報DB12aに格納されている道路データを参照し、自車両2の進入領域となっている領域における道路の通行方向等の情報に応じて、当該進入領域における他車両の走行形態を特定する。例えば、図6(c)や図8(c)に示した例では、自車両2が進入する道路における通行方向は、図中において矢印で示したように左から右に向かう方向なので、自車両2の進入領域における他車両の走行形態も、図中の左から右に向かう走行形態となる。   Further, the vehicle travel mode specifying unit 11a refers to the road data stored in the map information DB 12a, and in accordance with information such as the road direction in the area that is the entry area of the host vehicle 2, The traveling mode of the other vehicle is specified. For example, in the examples shown in FIG. 6C and FIG. 8C, the traffic direction on the road on which the host vehicle 2 enters is the direction from the left to the right as indicated by the arrows in the figure. The traveling form of the other vehicle in the approach area 2 is also a traveling form from left to right in the drawing.

車両走行形態特定部11aによって自車両2の進入領域における他車両の走行形態が特定されると、案内制御部11bは、当該特定された他車両の走行形態に応じた案内情報の出力制御を行う(SB10)。この出力制御の内容は任意であるが、例えば、案内情報の出力制御を、自車両2の左右方向のうち他車両が自車両2の進入領域に対して接近する方向に対向する方向に関する出力制御に切替えさせることができる。例えば、図6(c)や図8(c)に示した例では、他車両は自車両2の進入領域に対して図中の左から右に向かう方向に接近するので、案内制御部11bは、当該他車両の接近方向に対向する方向である自車両の左後方の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させるように出力制御を行う。これにより、自車両2の左側から接近する他車両等に運転者が注意を払うことができる。なお、案内制御部11bによる画像情報の出力制御方法は任意であり、例えば他車両の接近方向に対向する方向に関する画像情報を、他の方向に関する画像情報よりも大きく表示させたり、フレームで囲み表示させたりするなど、強調してモニタ70に表示させてもよい。また、他車両の接近方向に対向する方向とは異なる方向に関する画像情報のコントラストを低下させることで、相対的に他車両の接近方向に対向する方向に関する画像情報が強調されるようにしてもよい。あるいは、当該他車両の接近方向に対向する方向に関する画像情報のみを表示させてもよい。また、魚眼レンズを用いるカメラ30を使用している場合には、図8(c)に示したように、後進方向の画角(真後方向の画角)について取得された画像情報を併せてモニタ70に表示させるように出力制御しても良い。   When the travel mode of the other vehicle in the approach area of the host vehicle 2 is identified by the vehicle travel mode identifying unit 11a, the guidance control unit 11b performs output control of guidance information according to the identified travel mode of the other vehicle. (SB10). Although the content of this output control is arbitrary, for example, the output control of guidance information is performed with respect to the direction opposite to the direction in which the other vehicle approaches the entry region of the own vehicle 2 in the left-right direction of the own vehicle 2. Can be switched to. For example, in the examples shown in FIG. 6C and FIG. 8C, the other vehicle approaches the entry area of the host vehicle 2 in the direction from the left to the right in the figure, so the guidance control unit 11b Then, output control is performed so that the monitor 70 outputs the image information acquired by the camera 30 and input to the control unit 11 with respect to the left rear view angle of the host vehicle, which is a direction opposite to the approaching direction of the other vehicle. As a result, the driver can pay attention to other vehicles approaching from the left side of the host vehicle 2. In addition, the output control method of the image information by the guidance control unit 11b is arbitrary. For example, the image information related to the direction facing the approaching direction of the other vehicle is displayed larger than the image information related to the other direction, or displayed in a frame. Or may be displayed on the monitor 70 with emphasis. Further, by reducing the contrast of the image information related to a direction different from the direction facing the approach direction of the other vehicle, the image information related to the direction facing the approach direction of the other vehicle may be relatively emphasized. . Or you may display only the image information regarding the direction which opposes the approach direction of the said other vehicle. When the camera 30 using a fisheye lens is used, as shown in FIG. 8C, the image information acquired for the backward view angle (the true backward view angle) is also monitored. The output may be controlled so as to be displayed on 70.

図4のSB4において自車両2が駐車スペース内に位置していないと判定した場合(SB4、No)、車両走行形態特定部11aは、SB3で取得した自車両2の位置と、地図情報DB12aに格納されている地図情報とに応じて、自車両2が走行領域である道路に進入しているか否かを判定する(SB11)。このSB11における判定についても、SB4と同様に、自車両2の車両後端部等を自車両2の位置として判定を行わせることができる。   When it determines with the own vehicle 2 not being located in a parking space in SB4 of FIG. 4 (SB4, No), the vehicle driving | running | working form specific | specification part 11a and the position of the own vehicle 2 acquired by SB3, and map information DB12a Based on the stored map information, it is determined whether or not the host vehicle 2 has entered a road that is a travel area (SB11). With regard to the determination in SB11 as well, as in SB4, the determination can be made with the vehicle rear end of the host vehicle 2 as the position of the host vehicle 2.

その結果、自車両2が道路に進入しているものと判定された場合(SB11、Yes)(例えば図6(d)または図8(d)の状態)、車両走行形態特定部11aは、自車両2が進入している道路とは他車両の走行形態が相異する他の領域に自車両2が進入するか否かを判定する(SB12)。「他車両の走行形態が相異する他の領域」とは、例えば、自車両2が進入している車線に対する対向車線が該当する。具体的には、車両走行形態特定部11aは、地図情報DB12aを参照し、道路データに含まれている境界情報に基づき道路の中央線の位置を特定すると共に、現在地検出処理部20を介して自車両2の位置を特定し、当該特定した位置に基づき、自車両2と中央線との距離を算出する。さらに、ステアリングセンサ50を介して取得した操舵角に基づき自車両2の予想進路を特定する。そして、自車両2と中央線との距離、及び自車両2の予想進路に応じて、自車両2が中央線を越えて対向車線に進入するか否かを判定する。   As a result, when it is determined that the host vehicle 2 has entered the road (SB11, Yes) (for example, the state of FIG. 6D or FIG. 8D), the vehicle travel mode specifying unit 11a It is determined whether or not the host vehicle 2 enters another area where the traveling mode of the other vehicle is different from the road on which the vehicle 2 enters (SB12). The “other areas where the traveling modes of other vehicles are different” corresponds to, for example, an opposite lane with respect to a lane in which the host vehicle 2 is entering. Specifically, the vehicle travel form specifying unit 11a refers to the map information DB 12a, specifies the position of the center line of the road based on the boundary information included in the road data, and via the current location detection processing unit 20 The position of the host vehicle 2 is specified, and the distance between the host vehicle 2 and the center line is calculated based on the specified position. Furthermore, the expected course of the host vehicle 2 is specified based on the steering angle acquired through the steering sensor 50. Then, according to the distance between the host vehicle 2 and the center line and the expected course of the host vehicle 2, it is determined whether the host vehicle 2 enters the oncoming lane beyond the center line.

その結果、自車両2が中央線を越えて対向車線に進入すると車両走行形態特定部11aが判定した場合、例えば自車両2と中央線との距離が所定の閾値(所定距離)未満であり、且つ、自車両2の予想進路が中央線を越えて対向車線に至っている場合には(SB12、Yes)(例えば図6(h)または図8(h)の状態)、案内制御部11bは、対向車線における他車両の接近方向に対向する方向に関する画像情報をモニタ70に出力させるように、案内情報の出力制御を行う(SB13)。例えば、図6(d)や図8(d)に示した例では、他車両は自車両2の進入領域に対して図中の左から右に向かう方向に接近するので、案内制御部11bは、当該他車両の接近方向に対向する方向である自車両の左後方の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させているが、自車両2が対向車線に進入すると判定された場合には、図6(h)や図8(h)に示したように、対向車線における他車両の接近方向に対向する方向である自車両の右後方の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させるように出力制御を行う。   As a result, when the vehicle travel mode specifying unit 11a determines that the host vehicle 2 enters the opposite lane beyond the center line, for example, the distance between the host vehicle 2 and the center line is less than a predetermined threshold (predetermined distance), In addition, when the predicted course of the host vehicle 2 exceeds the center line and reaches the opposite lane (SB12, Yes) (for example, the state of FIG. 6 (h) or FIG. 8 (h)), the guidance control unit 11b Guidance information output control is performed so that the monitor 70 outputs image information related to a direction facing the approaching direction of the other vehicle in the oncoming lane (SB13). For example, in the example shown in FIG. 6D or FIG. 8D, the other vehicle approaches the entry area of the host vehicle 2 in the direction from the left to the right in the figure. The monitor 70 outputs image information acquired by the camera 30 and input to the control unit 11 with respect to the left rear view angle of the host vehicle, which is a direction opposite to the approaching direction of the other vehicle. When it is determined that the vehicle enters the oncoming lane, as shown in FIG. 6 (h) or FIG. 8 (h), an image on the right rear side of the own vehicle that is the direction facing the approaching direction of the other vehicle on the oncoming lane. Output control is performed so that the monitor 70 outputs the image information acquired by the camera 30 and input to the control unit 11 for the corners.

図5のSB8、SB10、若しくはSB13の処理が実行された後、あるいは、SB11の処理において自車両2が道路に進入していないものと判定された場合(SB11、No)、又はSB12の処理において自車両2が中央線を越えないと車両走行形態特定部11aが判定した場合(SB12、No)(例えば図7(e)または図9(e)の状態)、車両走行形態特定部11aは、駐車スペースからの退出が完了したか否かを判定する(SB14)。当該判定の具体的な基準は任意であり、現在地検出処理部20を介して取得した自車両2の現在位置及び自車両2の向きと、地図情報DB12aに格納されている道路データに基づき特定した、自車両2の現在位置における道路の通行方向との間の角度が所定値未満となった場合に(例えば、図7(f)や図9(f)の状態から図7(g)や図9(g)の状態になった場合、あるいは、図7(i)(j)や図9(i)(j)の状態から図7(k)や図9(k)の状態になった場合)、駐車スペースからの退出が完了したものと判定させることができる。   After the process of SB8, SB10, or SB13 of FIG. 5 is executed, or when it is determined in the process of SB11 that the own vehicle 2 has not entered the road (SB11, No), or in the process of SB12 When the vehicle travel mode specifying unit 11a determines that the host vehicle 2 does not exceed the center line (SB12, No) (for example, the state of FIG. 7 (e) or FIG. 9 (e)), the vehicle travel mode specifying unit 11a It is determined whether or not the exit from the parking space is completed (SB14). The specific criterion for the determination is arbitrary, and is determined based on the current position of the host vehicle 2 and the direction of the host vehicle 2 acquired through the current location detection processing unit 20 and the road data stored in the map information DB 12a. When the angle between the current position of the host vehicle 2 and the road direction of the road is less than a predetermined value (for example, from the state of FIG. 7 (f) or FIG. 9 (f) to FIG. 7 (g) or FIG. When the state becomes 9 (g) or when the state shown in FIGS. 7 (i) (j) and 9 (i) (j) changes to the state shown in FIGS. 7 (k) and 9 (k). ), It can be determined that the exit from the parking space has been completed.

駐車スペースからの退出が完了していないものと判定された場合(SB14、No)、車両走行形態特定部11aはSB3に戻り、自車両2の現在位置を再度取得する(SB3)。一方、駐車スペースからの退出が完了したものと判定された場合(SB14、Yes)、退出処理を終了する。   When it is determined that the exit from the parking space has not been completed (SB14, No), the vehicle travel mode specifying unit 11a returns to SB3 and acquires the current position of the host vehicle 2 again (SB3). On the other hand, when it is determined that the exit from the parking space is completed (SB14, Yes), the exit process is terminated.

(効果)
このように本実施の形態1によれば、自車両2の進入領域における他車両の走行形態に応じた案内情報の出力制御を行うので、他車両の走行形態に対応する情報を正確かつ確実に運転者等に案内することができる。
(effect)
As described above, according to the first embodiment, since the output control of the guidance information according to the traveling mode of the other vehicle in the approach area of the own vehicle 2 is performed, the information corresponding to the traveling mode of the other vehicle is accurately and reliably obtained. It is possible to guide the driver.

また、車両走行形態特定部11aが、中央線の位置と自車両2の位置とに応じて、自車両2が中央線を越えて対向車線に進入するか否かを判定し、当該判定結果に基づいて案内制御部11bが案内情報の出力制御を行うので、自車両2が対向車線に進入する前後で他車両の走行形態が変動する場合においても、当該他車両の走行形態に対応する情報を明確に運転者等に案内することができる。   Further, the vehicle travel mode specifying unit 11a determines whether or not the host vehicle 2 enters the oncoming lane beyond the center line according to the position of the center line and the position of the host vehicle 2, and determines the determination result. Since the guidance control unit 11b performs the output control of the guidance information based on the information, the information corresponding to the traveling mode of the other vehicle is obtained even when the traveling mode of the other vehicle fluctuates before and after the host vehicle 2 enters the oncoming lane. It is possible to clearly guide the driver.

また、車両走行形態特定部11aは、地図情報DB12aに格納されている境界情報に基づき特定される境界としての中央線の位置と自車両2の位置とに応じて、自車両2が中央線を越えるか否かを判定するので、他車両の走行形態が変動する場所を正確に特定することができ、他車両の走行形態に対応する情報を正確に運転者等に案内することができる。さらに、自車両2が中央線を越える前に案内情報の出力制御を行うので、他車両の走行形態が変動する前に、当該他車両の走行形態に対応する情報を運転者等に的確に案内することができる。   Further, the vehicle travel mode specifying unit 11a determines that the host vehicle 2 determines the center line according to the position of the center line as the boundary specified based on the boundary information stored in the map information DB 12a and the position of the host vehicle 2. Since it is determined whether or not the vehicle travels, the location where the travel mode of the other vehicle fluctuates can be specified accurately, and information corresponding to the travel mode of the other vehicle can be accurately guided to the driver or the like. Furthermore, since the output of guidance information is controlled before the host vehicle 2 crosses the center line, information corresponding to the travel mode of the other vehicle is accurately guided to the driver or the like before the travel mode of the other vehicle fluctuates. can do.

また、車両走行形態特定部11aは、自車両2と中央線との距離が所定の閾値(所定距離)未満となった場合に案内情報の出力制御を行うので、他車両の走行形態が変動する前に、確実に他車両の走行形態に対応する情報を運転者等に案内することができる。   Further, since the vehicle travel mode specifying unit 11a performs output control of guidance information when the distance between the host vehicle 2 and the center line is less than a predetermined threshold (predetermined distance), the travel mode of other vehicles varies. Before, it is possible to reliably guide the driver or the like with information corresponding to the traveling mode of the other vehicle.

また、案内情報を、自車両2周辺の画像情報とし、自車両2の進入領域に関する当該画像情報を強調表示させるので、当該画像情報に基づき他車両の走行形態に対応する案内情報を運転者に確実に把握させることができる。   In addition, since the guidance information is image information around the host vehicle 2 and the image information related to the approach area of the host vehicle 2 is highlighted, the guide information corresponding to the traveling mode of the other vehicle is based on the image information to the driver. It can be surely grasped.

また、車両走行形態特定部11aは、自車両2が駐車スペースに位置し、進入領域が道路に位置していると特定した場合において、他車両の接近方向を特定するので、自車両2が道路に進入する場合に他車両の接近方向に対応する情報を正確に運転者等に案内することができる。   Further, when the vehicle traveling mode specifying unit 11a specifies that the own vehicle 2 is located in the parking space and the approach area is located on the road, the vehicle traveling mode specifying unit 11a specifies the approach direction of the other vehicle. When entering the vehicle, information corresponding to the approach direction of the other vehicle can be accurately guided to the driver or the like.

また、車両走行形態特定部11aは、自車両2が前向き駐車していることを特定し、且つ、道路に対して後進することを特定した場合に他車両の接近方向を特定するので、特に他車両の接近方向に対応する案内情報が必要となる後向き退出時に、運転者等に必要な情報を案内することができる。   In addition, since the vehicle travel mode specifying unit 11a specifies that the host vehicle 2 is parked forward and specifies that the vehicle 2 moves backward with respect to the road, the vehicle traveling mode specifying unit 11a specifies the approach direction of the other vehicle. Necessary information can be guided to the driver or the like when leaving the vehicle in a backward direction where guidance information corresponding to the approaching direction of the vehicle is required.

また、案内制御部11bは、案内情報の出力制御を、自車両2の左右方向のうち、車両走行形態特定部11aによって特定された他車両の接近方向に対向する方向に関する出力制御に切替えるので、道路進入時に自車両2の進入領域に接近する他車両等に運転者が注意を払うように、案内情報を出力させることができる。   Further, the guidance control unit 11b switches the output control of the guidance information to the output control related to the direction opposite to the approach direction of the other vehicle specified by the vehicle travel mode specifying unit 11a among the left and right directions of the host vehicle 2. Guidance information can be output so that the driver pays attention to other vehicles approaching the entry area of the host vehicle 2 when entering the road.

また、案内制御部11bは、車両走行形態特定部11aによって自車両2が歩道に接近したものと判断された場合、案内情報の出力制御を自車両2の左右両方向に関する出力制御に切替えるので、自車両2の左右両側から接近する歩行者や自転車等に運転者が注意を払うように促すことができる。   The guidance control unit 11b switches the guidance information output control to the left and right direction output control of the host vehicle 2 when the vehicle travel mode specifying unit 11a determines that the host vehicle 2 has approached the sidewalk. It is possible to prompt the driver to pay attention to a pedestrian or bicycle approaching from the left and right sides of the vehicle 2.

〔実施の形態2〕
次に、実施の形態2について説明する。この形態は、自車両2の進行方向の画像情報に基づき特定される境界の位置と、自車両2の位置との位置関係に応じて、自車両2の進入領域となる領域を特定する形態である。なお、実施の形態2及びそれ以降の実施の形態の構成は、特記する場合を除いて、実施の形態1の構成と略同一であり、実施の形態1の構成と略同一の構成についてはこの実施の形態1で用いたものと同一の符号及び/又は名称を必要に応じて付して、その説明を省略する。
[Embodiment 2]
Next, a second embodiment will be described. This form is a form in which an area to be an entry area of the own vehicle 2 is specified according to the positional relationship between the position of the boundary specified based on the image information of the traveling direction of the own vehicle 2 and the position of the own vehicle 2. is there. The configurations of the second embodiment and the subsequent embodiments are substantially the same as the configurations of the first embodiment unless otherwise specified, and this configuration is substantially the same as the configuration of the first embodiment. The same reference numerals and / or names as those used in Embodiment 1 are attached as necessary, and the description thereof is omitted.

(構成−データ記録部)
まず、本実施の形態2に係る案内制御システムの構成について説明する。図10は実施の形態2に係る案内制御システムを例示するブロック図である。図10に示すように、データ記録部12は画素位置DB12cを備えている。画素位置DB12cは、当該カメラ30によって取得された画像情報における各画素を一意に識別する識別情報と、カメラ30によって自車両2の後方の路面が撮影されている場合において当該路面における各画素に対応する位置までの自車両2からの距離を特定する距離情報とを、相互に関連付けて格納している。
(Configuration-Data recording part)
First, the configuration of the guidance control system according to the second embodiment will be described. FIG. 10 is a block diagram illustrating a guidance control system according to the second embodiment. As shown in FIG. 10, the data recording unit 12 includes a pixel position DB 12c. The pixel position DB 12c corresponds to identification information for uniquely identifying each pixel in the image information acquired by the camera 30 and each pixel on the road surface when the road surface behind the host vehicle 2 is captured by the camera 30. The distance information for specifying the distance from the host vehicle 2 to the position to be stored is stored in association with each other.

また、データ記録部12が備える地図情報DB12aは、道路データの一部として、車線を区分するために路面上にペイント表示されている区画線(実線、破線、二重線等)の形状、色彩、輝度等の特徴を特定する道路特徴情報を格納している。   In addition, the map information DB 12a provided in the data recording unit 12 has the shape and color of the lane markings (solid line, broken line, double line, etc.) painted on the road surface as a part of the road data. In addition, road feature information for specifying features such as luminance is stored.

(構成−カメラ)
本実施の形態2に係る案内制御システム1が備えるカメラ30の構成は実施の形態1における構成と同様であるが、本実施の形態2においては、特に自車両2の後進方向の画像を取得するため、自車両2の左右方向についての画角の他、後進方向についての画角を有するようにカメラ30が配置されている(図示省略)。
(Configuration-Camera)
The configuration of the camera 30 provided in the guidance control system 1 according to the second embodiment is the same as the configuration in the first embodiment, but in the second embodiment, an image in the backward direction of the host vehicle 2 is acquired. Therefore, the camera 30 is arranged so as to have an angle of view in the backward direction in addition to the angle of view in the left-right direction of the host vehicle 2 (not shown).

(処理−退出処理)
次に、本実施の形態2に係る案内制御システム1によって実行される退出処理について説明する。本実施の形態2に係る退出処理における各処理は、図4及び図5に示した実施の形態1の案内制御処理におけるSB1からSB14までの各処理と同様であるので(ただしSB12における具体的な処理内容を除く)、その図示を省略する。
(Processing-Exit processing)
Next, the leaving process executed by the guidance control system 1 according to the second embodiment will be described. Each process in the exit process according to the second embodiment is the same as each process from SB1 to SB14 in the guidance control process according to the first embodiment shown in FIGS. The illustration of the processing is omitted.

図5のSB11において自車両2が道路に進入しているものと判定された場合(SB11、Yes)(例えば図6(d)または図7(d)の状態)、車両走行形態特定部11aは、自車両2が進入している道路とは他車両の走行形態が異なる領域に自車両2が進入するか否かを判定する(SB12)。   When it is determined in SB11 of FIG. 5 that the host vehicle 2 has entered the road (SB11, Yes) (for example, the state of FIG. 6 (d) or FIG. 7 (d)), the vehicle travel form specifying unit 11a Then, it is determined whether or not the host vehicle 2 enters a region where the travel mode of the other vehicle is different from the road on which the host vehicle 2 is approaching (SB12).

具体的には、車両走行形態特定部11aは、カメラ30によって取得され制御部11に入力された自車両2の進行方向の画像情報に基づき中央線を認識すると共に、当該中央線と自車両2との間の距離を算出する。すなわち、車両走行形態特定部11aは、カメラ30によって取得した画像情報の中から、地図情報DB12aに格納されている道路特徴情報のうち中央線に関するペイント表示の特徴データと整合性の高い画像候補を抽出し、中央線のペイント表示の画像として認識する。このようにして認識した中央線を示す各画素が画像情報の全体に占める位置に基づいて画素位置DB12cを参照し、自車両2と中央線との距離を特定することができる。さらに、ステアリングセンサ50を介して取得した操舵角に基づき自車両2の予想進路を特定し、自車両2と中央線との距離、及び自車両2の予想進路に応じて、自車両2が中央線を越えて対向車線に進入するか否かを判定する。   Specifically, the vehicle travel form specifying unit 11a recognizes the center line based on the image information of the traveling direction of the host vehicle 2 acquired by the camera 30 and input to the control unit 11, and the center line and the host vehicle 2 are recognized. The distance between is calculated. That is, the vehicle travel form specifying unit 11a selects image candidates having high consistency with the feature data of the paint display related to the center line from the road information stored in the map information DB 12a from the image information acquired by the camera 30. Extracted and recognized as an image of the center line paint display. The distance between the host vehicle 2 and the center line can be specified by referring to the pixel position DB 12c based on the position where each pixel indicating the center line recognized in this way occupies the entire image information. Further, the predicted course of the host vehicle 2 is specified based on the steering angle acquired via the steering sensor 50, and the host vehicle 2 is centered according to the distance between the host vehicle 2 and the center line and the predicted course of the host vehicle 2. It is determined whether or not to enter the oncoming lane across the line.

(効果)
このように実施の形態2によれば、実施の形態1の全部又は一部と同様の効果に加えて、道路データに中央線の位置を特定する境界情報が含まれていない場合でも、自車両2が中央線を越えて対向車線に進入するか否かを確実に判定することができる。
(effect)
As described above, according to the second embodiment, in addition to the same effects as all or part of the first embodiment, even if the road data does not include boundary information for specifying the position of the center line, the host vehicle Whether or not 2 enters the opposite lane beyond the center line can be reliably determined.

〔実施の形態3〕
次に、実施の形態3について説明する。この形態は、道路上にて交差点に進入する場合において、他車両の走行形態に応じた案内情報の出力制御を行う形態である。
[Embodiment 3]
Next, Embodiment 3 will be described. In this form, when entering an intersection on a road, output control of guidance information according to the traveling form of the other vehicle is performed.

(交差点処理)
本実施の形態3に係る案内制御システム1によって実行される交差点処理について説明する。図11は交差点処理を示したフローチャートである。この交差点処理は、自車両2が交差点に進入する場合において、自車両2の進入領域における他車両の走行形態を特定し、当該走行形態に応じた案内情報の出力制御を行う処理である。
(Intersection processing)
The intersection process executed by the guidance control system 1 according to the third embodiment will be described. FIG. 11 is a flowchart showing the intersection process. This intersection process is a process in which when the host vehicle 2 enters the intersection, the travel mode of another vehicle in the entry area of the host vehicle 2 is specified, and output control of guidance information according to the travel mode is performed.

ここで、交差点処理の前提として、自車両2は道路を走行中であり、複数の道路が交差する交差点に進入するものとする。図12及び13は、交差点処理実行時における、自車両2と交差点との位置関係を示した平面図であり、車両の前端部にプリズムを用いたカメラ30を設置した場合における当該カメラ30の画角を併記した図である。なお、実施の形態1と同様に、魚眼レンズを用いたカメラ30を利用することも可能である(図示省略)。   Here, as a premise of the intersection process, it is assumed that the own vehicle 2 is traveling on a road and enters an intersection where a plurality of roads intersect. 12 and 13 are plan views showing the positional relationship between the host vehicle 2 and the intersection when the intersection processing is executed, and the image of the camera 30 when the camera 30 using the prism is installed at the front end of the vehicle. FIG. As in the first embodiment, it is possible to use the camera 30 using a fisheye lens (not shown).

この交差点処理において、案内制御システム1を起動させるタイミングは任意であり、例えば、道路走行中に現在地検出処理部20を介して自車両2が交差点に接近していることが検出された場合において、案内制御システム1が起動されるようにすることができる。案内制御システム1が起動すると、図11に示すように、車両走行形態特定部11aは、現在地検出処理部20を介して自車両2の位置を取得する(SC1)。ここで取得した自車両2の位置と、地図情報DB12aに格納されている地図情報とに応じて、車両走行形態特定部11aは自車両2が交差点外に位置しているか否かを判定する(SC2)。このSC2における判定の基準は任意であり、例えば自車両2の車両前端部や前輪車軸中央等を自車両2の位置として判定を行わせることができる。   In this intersection process, the timing at which the guidance control system 1 is activated is arbitrary. For example, when it is detected that the host vehicle 2 is approaching the intersection through the current position detection processing unit 20 while traveling on the road, The guidance control system 1 can be activated. When the guidance control system 1 is activated, as shown in FIG. 11, the vehicle travel mode specifying unit 11a acquires the position of the host vehicle 2 via the current location detection processing unit 20 (SC1). Based on the position of the own vehicle 2 acquired here and the map information stored in the map information DB 12a, the vehicle travel mode specifying unit 11a determines whether or not the own vehicle 2 is located outside the intersection ( SC2). The criterion for determination in SC2 is arbitrary. For example, the vehicle front end portion of the host vehicle 2 or the center of the front wheel axle can be determined as the position of the host vehicle 2.

自車両2が交差点外に位置していると判定した場合(SC2、Yes)(図12(a)の状態)、車両走行形態特定部11aは、地図情報DB12aに格納されている歩道情報を参照し、自車両2の進行方向における横断歩道の有無を判断する(SC3)。その結果、歩道が有ると判定した場合(SC3、Yes)、車両走行形態特定部11aは、当該横断歩道の境界(側端)と自車両2との距離を特定する(SC4)。続いて案内制御部11bは、車両走行形態特定部11aによって特定された距離が予め設定されている閾値(所定距離)以下となるまで待機し(SC5、No)、閾値(所定距離)以下となった場合(SC5、Yes)、自車両2が横断歩道に接近したものと判断し、案内情報としてモニタ70に表示させる画像情報の出力制御を切替えて、自車両2の左右両方向の画像情報を出力表示させる(SC6)(図12(b)の状態)。   When it is determined that the host vehicle 2 is located outside the intersection (SC2, Yes) (the state of FIG. 12A), the vehicle travel mode specifying unit 11a refers to the sidewalk information stored in the map information DB 12a. Then, the presence or absence of a pedestrian crossing in the traveling direction of the host vehicle 2 is determined (SC3). As a result, when it is determined that there is a sidewalk (SC3, Yes), the vehicle travel mode specifying unit 11a specifies the distance between the boundary (side end) of the pedestrian crossing and the host vehicle 2 (SC4). Subsequently, the guidance control unit 11b waits until the distance specified by the vehicle travel mode specifying unit 11a is equal to or less than a preset threshold value (predetermined distance) (SC5, No), and is below the threshold value (predetermined distance). (SC5, Yes), it is determined that the host vehicle 2 has approached the pedestrian crossing, the output control of the image information to be displayed on the monitor 70 as the guide information is switched, and the left and right image information of the host vehicle 2 is output. It is displayed (SC6) (state shown in FIG. 12B).

一方、SC3において横断歩道が無いと判定した場合(SC3、No)、車両走行形態特定部11aは、自車両2の進入領域、及び当該進入領域における他車両の走行形態を特定する(SC7)。例えば、図12(c)に示した例では、自車両2が進入する交差点において、自車両2が走行する道路と交差する道路における通行方向は、図中の右から左に向かう方向なので、自車両2の進入領域における他車両の走行形態も、図中の右から左に向かう方向となる。車両走行形態特定部11aによって自車両2の進入領域における他車両の走行形態が特定されると、案内制御部11bは、当該特定された他車両の走行形態に応じた案内情報の出力制御を行う(SC8)。すなわち、案内情報の出力制御を、自車両の右前方に関する出力制御に切替える。   On the other hand, when it determines with there being no pedestrian crossing in SC3 (SC3, No), the vehicle travel form specific | specification part 11a specifies the approach area of the own vehicle 2, and the travel form of the other vehicle in the said approach area (SC7). For example, in the example shown in FIG. 12C, at the intersection where the host vehicle 2 enters, the traffic direction on the road intersecting the road on which the host vehicle 2 travels is the direction from right to left in the figure. The traveling mode of other vehicles in the entry area of the vehicle 2 is also a direction from right to left in the drawing. When the travel mode of the other vehicle in the approach area of the host vehicle 2 is identified by the vehicle travel mode identifying unit 11a, the guidance control unit 11b performs output control of guidance information according to the identified travel mode of the other vehicle. (SC8). That is, the guidance information output control is switched to the output control related to the right front of the host vehicle.

図11のSC2において、自車両2が交差点外に位置していないと判定した場合(SC2、No)、車両走行形態特定部11aは、交差点内において自車両2の現在位置とは他車両の走行形態が異なる他の領域に自車両2が進入するか否かを判定する(SC9)。具体的には、車両走行形態特定部11aは、地図情報DB12aを参照し、道路データに含まれている境界情報に基づき交差する各道路の中央線の位置を特定すると共に、現在地検出処理部20を介して自車両2の位置を特定し、当該特定した位置に基づき、自車両2と各中央線との距離を算出する。さらに、ステアリングセンサ50を介して取得した操舵角に基づき自車両2の予想進路を特定する。そして、自車両2と中央線との距離、及び自車両2の予想進路に応じて、自車両2が直進して交差する道路の中央線を越えるのか(図13(d))、右折して交差する道路及び走行中の道路の中央線を越えるのか(図13(e))、あるいは左折して何れの道路の中央線も越えないのか(図13(f))を判定する。   If it is determined in SC2 of FIG. 11 that the host vehicle 2 is not located outside the intersection (SC2, No), the vehicle travel mode specifying unit 11a determines that the current position of the host vehicle 2 is the travel of another vehicle in the intersection. It is determined whether or not the host vehicle 2 enters another area having a different form (SC9). Specifically, the vehicle travel mode specifying unit 11a refers to the map information DB 12a, specifies the position of the center line of each road that intersects based on the boundary information included in the road data, and detects the current location detection processing unit 20 Then, the position of the host vehicle 2 is specified, and the distance between the host vehicle 2 and each center line is calculated based on the specified position. Furthermore, the expected course of the host vehicle 2 is specified based on the steering angle acquired through the steering sensor 50. Then, depending on the distance between the host vehicle 2 and the center line and the expected course of the host vehicle 2, whether the host vehicle 2 goes straight and crosses the center line of the intersecting road (FIG. 13 (d)), turn right It is determined whether the road intersects the center line of the road and the road that is running (FIG. 13E) or turns left and does not cross the center line of any road (FIG. 13F).

その結果、自車両2が直進、あるいは右折をすることにより、交差する道路又は走行中の道路の中央線を越えると車両走行形態特定部11aが判定した場合(SC9、Yes)(例えば図13(d)(e)の状態)、案内制御部11bは、他車両の接近方向に対向する方向の画像情報をモニタ70に出力させるように、案内情報の出力制御を行う(SC10)。例えば、図13(d)に示した例では、他車両は自車両2の進入領域に対して図中の左から右に向かう方向に接近するので、案内制御部11bは、当該他車両の接近方向に対向する方向である自車両の左前方の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させている。また図13(e)に示した例では、他車両は自車両2の進入領域に対して図中の上から下に向かう方向に接近するので、案内制御部11bは、当該他車両の接近方向に対向する方向である自車両の左前方の画角についてカメラ30によって取得され制御部11に入力された画像情報をモニタ70に出力させている。   As a result, when the host vehicle 2 goes straight or makes a right turn and the vehicle travel form specifying unit 11a determines that it crosses the center line of the intersecting road or the traveling road (SC9, Yes) (for example, FIG. 13 ( d) State of (e)), the guidance control unit 11b performs output control of guidance information so that the monitor 70 outputs image information in a direction opposite to the approaching direction of the other vehicle (SC10). For example, in the example shown in FIG. 13D, the other vehicle approaches the entry area of the host vehicle 2 in the direction from the left to the right in the figure, so that the guidance control unit 11b The image information acquired by the camera 30 and input to the control unit 11 with respect to the left front angle of view of the host vehicle, which is the direction opposite to the direction, is output to the monitor 70. In the example shown in FIG. 13 (e), the other vehicle approaches the entry area of the host vehicle 2 in the direction from the top to the bottom in the figure, so that the guidance control unit 11b is in the approach direction of the other vehicle. The image information acquired by the camera 30 and input to the control unit 11 with respect to the left front angle of view of the host vehicle, which is the direction facing the vehicle, is output to the monitor 70.

SC6、SC8、若しくはSC10の処理が実行された後、又はSC9の処理において自車両2が左折し中央線を越えないと車両走行形態特定部11aが判定した場合(SC9、No)(例えば図13(f)の状態)、車両走行形態特定部11aは、自車両2が交差点を通過したか否かを判定する(SC11)。当該判定の具体的な基準は任意であり、例えば、現在地検出処理部20を介して取得した自車両2の現在位置及び交差点の位置に基づき、交差点が自車両2の後方に位置している場合に、交差点を通過したものと判定させることができる。   After the process of SC6, SC8, or SC10 is executed, or when the vehicle travel mode specifying unit 11a determines that the vehicle 2 turns left and does not exceed the center line in the process of SC9 (SC9, No) (for example, FIG. 13) The state (f)), the vehicle travel mode specifying unit 11a determines whether or not the host vehicle 2 has passed the intersection (SC11). Specific criteria for the determination are arbitrary, for example, when the intersection is located behind the host vehicle 2 based on the current position of the host vehicle 2 and the position of the intersection acquired via the current location detection processing unit 20. It can be determined that the vehicle has passed the intersection.

その結果、交差点を通過していないものと判定された場合(SC11、No)、車両走行形態特定部11aはSC1に戻り、自車両2の現在位置を再度取得する(SC1)。一方、交差点を通過したものと判定された場合(SC11、Yes)、交差点処理は終了する。   As a result, when it is determined that the vehicle has not passed the intersection (SC11, No), the vehicle travel mode specifying unit 11a returns to SC1 and acquires the current position of the host vehicle 2 again (SC1). On the other hand, when it is determined that the vehicle has passed the intersection (SC11, Yes), the intersection process ends.

(効果)
このように本実施の形態3によれば、自車両2が交差点に進入する場合においても、自車両2の進入領域における他車両の走行形態に応じた案内情報の出力制御を行うので、他車両の走行形態に対応する情報を正確かつ確実に運転者等に案内することができる。
(effect)
As described above, according to the third embodiment, even when the host vehicle 2 enters the intersection, the output control of the guidance information according to the travel mode of the other vehicle in the entry area of the host vehicle 2 is performed. It is possible to accurately and reliably guide information corresponding to the traveling mode to the driver.

〔各実施の形態に対する変形例〕
以上、本発明に係る各実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
[Modifications to Embodiments]
Although the embodiments of the present invention have been described above, the specific configuration and means of the present invention are arbitrarily modified and improved within the scope of the technical idea of each invention described in the claims. be able to. Hereinafter, such a modification will be described.

(解決しようとする課題や発明の効果について)
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。
(About problems to be solved and effects of the invention)
First, the problems to be solved by the invention and the effects of the invention are not limited to the above contents, and may vary depending on the implementation environment and details of the configuration of the invention. May be solved, or only some of the effects described above may be achieved.

(各実施の形態の相互の関係について)
上記説明した各実施の形態は、任意の組み合わせで相互に組み合わせることができる。例えば、実施の形態1と実施の形態2を組み合わせて、地図情報DB12aに格納されている境界情報に基づき特定される中央線の位置と自車両2の位置とに基づき中央線と自車両2との距離を算出し、更に画像情報に基づいて認識した中央線の画素位置を用いて、中央線と自車両2との距離を補正するように構成することもできる。
(About the mutual relationship of each embodiment)
Each embodiment described above can be combined with each other in an arbitrary combination. For example, combining the first embodiment and the second embodiment, the center line and the own vehicle 2 based on the position of the center line specified based on the boundary information stored in the map information DB 12a and the position of the own vehicle 2 Further, the distance between the center line and the host vehicle 2 can be corrected using the pixel position of the center line recognized based on the image information.

(案内制御部について)
案内制御部11bは、案内情報の出力制御を、自車両2の前後方向のうち他車両の接近方向に対向する方向に関する出力制御に切替えさせることができる。例えば、自車両2が道路上に縦列駐車をしている場合において、車両走行形態特定部11aによって自車両2の進入領域となる道路に対する他車両の接近方向が後方から自車両2に向かう方向であると特定された場合、案内制御部11bが、出力制御を自車両2の後方に向かう方向に関する出力制御に切替えるように構成することができる。
(About the guidance control unit)
The guidance control unit 11b can switch the output control of the guidance information to the output control related to the direction opposite to the approaching direction of the other vehicle in the front-rear direction of the host vehicle 2. For example, in the case where the host vehicle 2 is parked in parallel on the road, the approach direction of the other vehicle to the road that is the entry area of the host vehicle 2 by the vehicle travel mode specifying unit 11a is the direction from the rear toward the host vehicle 2. When it is specified that there is, the guidance control unit 11 b can be configured to switch the output control to the output control related to the direction toward the rear of the host vehicle 2.

実施の形態1に係る案内制御システムを例示するブロック図である。1 is a block diagram illustrating a guidance control system according to a first embodiment. カメラを車両の後端部に設置した場合における画角を例示した図であり、図2(a)は魚眼画角、図2(b)はプリズム画角を示した図である。It is the figure which illustrated the angle of view at the time of installing a camera in the rear-end part of a vehicle, Fig.2 (a) is a fish-eye angle of view, FIG.2 (b) is the figure which showed the prism angle of view. 駐車処理を示したフローチャートである。It is the flowchart which showed the parking process. 退出処理を示したフローチャートである。It is the flowchart which showed the leaving process. 退出処理を示したフローチャートである。It is the flowchart which showed the leaving process. プリズム画角の場合における、自車両と駐車スペース及び道路との位置関係を、車両の後端部に設置したカメラの画角と共に示した平面図である。It is the top view which showed the positional relationship of the own vehicle, a parking space, and a road in the case of a prism view angle with the view angle of the camera installed in the rear-end part of the vehicle. プリズム画角の場合における、自車両と駐車スペース及び道路との位置関係を、車両の後端部に設置したカメラの画角と共に示した平面図である。It is the top view which showed the positional relationship of the own vehicle, a parking space, and a road in the case of a prism view angle with the view angle of the camera installed in the rear-end part of the vehicle. 魚眼画角の場合における、自車両と駐車スペース及び道路との位置関係を、車両の後端部に設置したカメラの画角と共に示した平面図である。It is the top view which showed the positional relationship with the own vehicle, a parking space, and a road in the case of a fisheye angle of view with the angle of view of the camera installed in the rear-end part of the vehicle. 魚眼画角の場合における、自車両と駐車スペース及び道路との位置関係を、車両の後端部に設置したカメラの画角と共に示した平面図である。It is the top view which showed the positional relationship with the own vehicle, a parking space, and a road in the case of a fisheye angle of view with the angle of view of the camera installed in the rear-end part of the vehicle. 実施の形態2に係る案内制御システムを例示するブロック図である。6 is a block diagram illustrating a guidance control system according to a second embodiment. FIG. 交差点処理を示したフローチャートである。It is the flowchart which showed the intersection process. 交差点処理実行時における、自車両と交差点との位置関係を示した平面図である。It is the top view which showed the positional relationship of the own vehicle and an intersection at the time of intersection process execution. 交差点処理実行時における、自車両と交差点との位置関係を示した平面図である。It is the top view which showed the positional relationship of the own vehicle and an intersection at the time of intersection process execution.

符号の説明Explanation of symbols

1 案内制御システム
2 自車両
10 案内制御装置
11 制御部
11a 車両走行形態特定部
11b 案内制御部
12 データ記録部
12a 地図情報DB
12b 駐車情報格納部
12c 画素位置DB
20 現在地検出処理部
30 カメラ
40 車輪速センサ
50 ステアリングセンサ
60 シフトポジションセンサ
70 モニタ
DESCRIPTION OF SYMBOLS 1 Guidance control system 2 Own vehicle 10 Guidance control apparatus 11 Control part 11a Vehicle travel form specific | specification part 11b Guidance control part 12 Data recording part 12a Map information DB
12b Parking information storage unit 12c Pixel position DB
20 current location detection processing unit 30 camera 40 wheel speed sensor 50 steering sensor 60 shift position sensor 70 monitor

Claims (4)

非走行領域に位置する自車両が進入領域に対して後向きに進入する際の出力制御を行う案内制御装置であって、
移動体の移動形態が相異する複数領域間の境界の位置を特定する境界情報と自車両状態とに応じて、前記複数領域のうち自車両が進入する進入領域を特定し、当該特定した進入領域における移動体の移動形態を特定する移動体移動形態特定手段と、
前記移動体移動形態特定手段によって特定された移動体の移動形態に応じた案内情報の出力制御を行う案内制御手段と、を備え、
前記境界情報は、地図情報又は前記自車両の進行方向画像情報に含まれ、
前記案内情報は、前記自車両周辺の画像情報であり、
前記移動体移動形態特定手段は、前記境界情報に基づき特定した境界の位置と前記自車両の位置との距離を特定し、
前記案内制御手段は、前記移動体移動形態特定手段により前記進入領域が歩道であると特定された場合は、自車両の左右両方向を含む範囲の前記画像情報が表示されるように出力制御を行い、前記移動体移動形態特定手段により前記進入領域が歩道でないと特定された場合であって、前記移動体移動形態特定手段によって特定された前記進入領域の境界の位置を前記自車両が越える前であって、前記進入領域の境界と前記自車両との距離が所定の距離未満となった場合は、自車両の左右方向のうち移動体が自車両の進入領域に対して接近する方向に対向する方向に関する前記画像情報が強調表示されるように出力制御を行う、
案内制御装置。
A guidance control device that performs output control when the host vehicle located in a non-traveling area enters backward with respect to the entry area,
According to the boundary information for specifying the position of the boundary between a plurality of areas having different moving forms of the moving body and the own vehicle state, an entry area into which the host vehicle enters is specified among the plurality of areas, and the specified entry A moving body moving form specifying means for specifying a moving form of the moving body in the region;
Guidance control means for performing output control of guidance information according to the moving form of the moving body specified by the moving body moving form specifying means ,
The boundary information is included in the map information or the traveling direction image information of the host vehicle,
The guidance information is image information around the host vehicle,
The moving body moving form specifying means specifies the distance between the position of the boundary specified based on the boundary information and the position of the host vehicle,
The guidance control means performs output control so that the image information in a range including both the left and right directions of the host vehicle is displayed when the approach area is specified as a sidewalk by the moving body moving form specifying means. The moving body moving form specifying means specifies that the approach area is not a sidewalk, and before the host vehicle passes the position of the boundary of the entering area specified by the moving body moving form specifying means. If the distance between the boundary of the entry area and the host vehicle is less than a predetermined distance, the moving body faces the direction in which the moving body approaches the entry area of the host vehicle in the left-right direction of the host vehicle. Output control is performed so that the image information related to the direction is highlighted.
Guidance control device.
前記複数領域は、自車両が非走行領域から進入する車線又は自車両が歩道を介して進入する車線、及びその対向車線であり、
前記境界情報は前記車線と前記対向車線との間に位置する中央線の位置情報であり、
前記移動体移動形態特定手段は、前記中央線の位置情報と自車両状態とに応じて、前記車線又は前記対向車線のうち自車両が進入する進入領域を特定する、
請求項1に記載の案内制御装置。
The plurality of areas are a lane in which the own vehicle enters from a non-running area or a lane in which the own vehicle enters through a sidewalk, and an opposite lane thereof,
The boundary information is position information of a central line located between the lane and the opposite lane,
The moving body moving form specifying means specifies an entry area where the own vehicle enters the lane or the oncoming lane according to the position information of the center line and the own vehicle state.
The guidance control device according to claim 1.
非走行領域に位置する自車両が進入領域に対して後向きに進入する際の出力制御を行う案内制御方法であって、A guidance control method for performing output control when a host vehicle located in a non-traveling area enters backward with respect to the entry area,
移動体の移動形態が相異する複数領域間の境界の位置を特定する境界情報と自車両状態とに応じて、前記複数領域のうち自車両が進入する進入領域を特定し、当該特定した進入領域における移動体の移動形態を特定する移動体移動形態特定ステップと、According to the boundary information for specifying the position of the boundary between a plurality of areas having different moving forms of the moving body and the own vehicle state, an entry area into which the host vehicle enters is specified among the plurality of areas, and the specified entry A moving body moving form specifying step for specifying a moving form of the moving body in the region;
前記移動体移動形態特定ステップにおいて特定された移動体の移動形態に応じた案内情報の出力制御を行う案内制御ステップと、を含み、A guidance control step for performing output control of guidance information according to the moving form of the moving body specified in the moving body moving form specifying step,
前記境界情報は、地図情報又は前記自車両の進行方向画像情報に含まれ、The boundary information is included in the map information or the traveling direction image information of the host vehicle,
前記案内情報は、前記自車両周辺の画像情報であり、The guidance information is image information around the host vehicle,
前記移動体移動形態特定ステップにおいて、前記境界情報に基づき特定した境界の位置と前記自車両の位置との距離を特定し、In the moving body moving form specifying step, the distance between the position of the boundary specified based on the boundary information and the position of the host vehicle is specified,
前記案内制御ステップにおいて、前記移動体移動形態特定ステップにおいて前記進入領域が歩道であると特定された場合は、自車両の左右両方向を含む範囲の前記画像情報が表示されるように出力制御を行い、前記移動体移動形態特定ステップにおいて前記進入領域が歩道でないと特定された場合であって、前記移動体移動形態特定ステップにおいて特定された前記進入領域の境界の位置を前記自車両が越える前であって、前記進入領域の境界と前記自車両との距離が所定の距離未満となった場合は、自車両の左右方向のうち移動体が自車両の進入領域に対して接近する方向に対向する方向に関する前記画像情報が強調表示されるように出力制御を行う、In the guidance control step, if the approach area is specified as a sidewalk in the moving body moving form specifying step, output control is performed so that the image information in a range including both left and right directions of the host vehicle is displayed. , When the approach area is identified as a sidewalk in the moving body moving form specifying step, and before the host vehicle exceeds the boundary position of the approach area specified in the moving body moving form specifying step. If the distance between the boundary of the entry area and the host vehicle is less than a predetermined distance, the moving body faces the direction in which the moving body approaches the entry area of the host vehicle in the left-right direction of the host vehicle. Output control is performed so that the image information related to the direction is highlighted.
案内制御方法。Guide control method.
請求項3に記載の方法をコンピュータに実行させるための案内制御プログラム。A guide control program for causing a computer to execute the method according to claim 3.
JP2008163174A 2008-06-23 2008-06-23 GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM Expired - Fee Related JP5041165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008163174A JP5041165B2 (en) 2008-06-23 2008-06-23 GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008163174A JP5041165B2 (en) 2008-06-23 2008-06-23 GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM

Publications (2)

Publication Number Publication Date
JP2010000969A JP2010000969A (en) 2010-01-07
JP5041165B2 true JP5041165B2 (en) 2012-10-03

Family

ID=41583042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008163174A Expired - Fee Related JP5041165B2 (en) 2008-06-23 2008-06-23 GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM

Country Status (1)

Country Link
JP (1) JP5041165B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2560150B1 (en) 2010-04-12 2015-05-20 Toyota Jidosha Kabushiki Kaisha Vehicle remote operation system and on-board device
JP5594436B2 (en) * 2011-09-22 2014-09-24 日産自動車株式会社 Vehicle control device
JP6552448B2 (en) * 2016-03-31 2019-07-31 株式会社デンソーアイティーラボラトリ Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4774603B2 (en) * 2001-02-02 2011-09-14 日産自動車株式会社 Vehicle display device
JP4131832B2 (en) * 2003-03-27 2008-08-13 本田技研工業株式会社 Vehicle driving support information display device
JP4134939B2 (en) * 2004-04-22 2008-08-20 株式会社デンソー Vehicle periphery display control device

Also Published As

Publication number Publication date
JP2010000969A (en) 2010-01-07

Similar Documents

Publication Publication Date Title
JP4661917B2 (en) Parking assistance device and parking assistance method
JP4900232B2 (en) Vehicle parking assist device and video display method
KR101229159B1 (en) Periphery monitoring device
JP4670463B2 (en) Parking space monitoring device
JP5104171B2 (en) Parking assistance device and parking assistance method
EP3708466B1 (en) Parking assistance device and parking assistance method
JP2004326730A (en) System for autonomous travelling on expressway and control method for the same
JP2005112267A (en) Reverse travel support device for vehicle and support method for vehicle
JP2001180405A (en) Steering support device
JP2008296697A (en) Parking support device
JP2008074275A (en) Operation assistant device, operation assistant system and operation assistant method
JP2007237930A (en) Driving support device
JP5400316B2 (en) Parking assistance device
JP4766314B2 (en) Vehicle driving support device
JP4888285B2 (en) Driving support device, driving support method, and computer program
JP2018108767A (en) Vehicle control device and vehicle control method
JP5041165B2 (en) GUIDANCE CONTROL DEVICE, GUIDANCE CONTROL METHOD, AND GUIDANCE CONTROL PROGRAM
JP2009139240A (en) Vehicle perimeter surveillance device, display control method of vehicle perimeter surveillance device and display control program executed in vehicle perimeter surveillance device
JP5397329B2 (en) Parking assistance device
JP2021146769A (en) On-vehicle device, remote operation system, operation terminal and on-vehicle device control method
JP2021123277A (en) Parking support device and parking support method
JP2006137274A (en) Operation assisting device, and driving assisting method
JP6990137B2 (en) Vehicle control device
JP4774603B2 (en) Vehicle display device
JP2004051063A (en) Device for visual recognition around vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120613

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120626

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees