JPWO2019171528A1 - Driving support device and driving support method - Google Patents

Driving support device and driving support method Download PDF

Info

Publication number
JPWO2019171528A1
JPWO2019171528A1 JP2020504583A JP2020504583A JPWO2019171528A1 JP WO2019171528 A1 JPWO2019171528 A1 JP WO2019171528A1 JP 2020504583 A JP2020504583 A JP 2020504583A JP 2020504583 A JP2020504583 A JP 2020504583A JP WO2019171528 A1 JPWO2019171528 A1 JP WO2019171528A1
Authority
JP
Japan
Prior art keywords
vehicle
lane
traveling
display
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020504583A
Other languages
Japanese (ja)
Other versions
JP6968258B2 (en
Inventor
晴彦 若柳
晴彦 若柳
下谷 光生
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019171528A1 publication Critical patent/JPWO2019171528A1/en
Application granted granted Critical
Publication of JP6968258B2 publication Critical patent/JP6968258B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本発明は、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能な運転支援装置および運転支援方法を提供することを目的とする。本発明による運転支援装置は、自車両の現在位置および速度を含む自車両情報を取得する自車両情報取得部と、他車両の現在位置および速度を含む他車両情報を取得する他車両情報取得部と、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、自車両情報取得部が取得した自車両情報と、他車両情報取得部が取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成するオブジェクト生成部と、オブジェクト生成部が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する制御を行う表示制御部とを備える。It is an object of the present invention to provide a driving support device and a driving support method capable of providing appropriate driving support to a driver when merging or changing lanes. The driving support device according to the present invention includes a vehicle information acquisition unit that acquires vehicle information including the current position and speed of the vehicle, and a vehicle information acquisition unit that acquires vehicle information including the current position and speed of another vehicle. And when the own vehicle merges or changes lanes from the lane in which the own vehicle is traveling to the lane in which another vehicle is traveling, the own vehicle information acquired by the own vehicle information acquisition unit and the other vehicle information acquisition unit Generated by the object generation unit, which generates a traveling position object indicating at least one of a position where the own vehicle should currently travel and a position where the own vehicle should not currently travel, based on the other vehicle information acquired by And a display control unit that controls to display the traveling position object by superimposing it on the scenery around the vehicle as the vehicle travels.

Description

本発明は、自車両が走行している車線から他車両が走行している車線に合流または車線変更するときに自車両の運転者に対して運転支援を行う運転支援装置および運転支援方法に関する。 The present invention relates to a driving assistance device and a driving assistance method for providing driving assistance to a driver of an own vehicle when joining or changing lanes from a lane in which an own vehicle is traveling to a lane in which another vehicle is traveling.

自車両を走行中に高速道路などに合流する、または隣接する車線に車線変更する際、自車両の運転者は合流先の道路の車線または車線変更先の車線を走行中の他車両の動向に注意する必要がある。 When merging on a highway while driving the vehicle or changing lanes to adjacent lanes, the driver of the own vehicle may notice the lanes of the merging road or other vehicles traveling in the lane changing lane. You need to be careful.

従来、自車両を他車両の走行車線に合流させるための合流部を特定し、自車両を合流部に合流させるための操舵を行うべき路面上の位置を運転者に提示する技術が開示されている(例えば、特許文献1参照)。また、合流地点および合流地点に到達するまでの時間を自車両の乗員に提示する技術が開示されている(例えば、特許文献2参照)。 Conventionally, a technology is disclosed that identifies a merging portion for merging the own vehicle with a traveling lane of another vehicle, and presents a position on the road surface to be steered for merging the own vehicle to the merging portion to the driver. (For example, see Patent Document 1). In addition, a technique is disclosed in which the occupant of the host vehicle is presented with a merging point and a time required to reach the merging point (see, for example, Patent Document 2).

特開2008−151507号公報JP, 2008-151507, A 特開2017−102739号公報JP, 2017-102739, A

自車両を合流または車線変更するときに、自車両が現在どの位置を走行していればスムーズに合流または車線変更することができるのかを運転者が知ることは有用である。一方、特許文献1,2では、自車両が現在どの位置を走行していれば合流部でスムーズに合流することができるのかについて言及されていない。従って、合流または車線変更するときの運転者に対する運転支援には改善の余地があった。 When merging or changing lanes of the own vehicle, it is useful for the driver to know at which position the own vehicle is currently traveling to smoothly join or change lanes. On the other hand, in Patent Documents 1 and 2, there is no mention of at which position the own vehicle is currently traveling to be able to smoothly join at the joining portion. Therefore, there is room for improvement in driving assistance to the driver when merging or changing lanes.

本発明は、このような問題を解決するためになされたものであり、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能な運転支援装置および運転支援方法を提供することを目的とする。 The present invention has been made to solve such a problem, and provides a driving assistance device and a driving assistance method capable of providing appropriate driving assistance to a driver when merging or changing lanes. The purpose is to do.

上記の課題を解決するために、本発明による運転支援装置は、自車両の現在位置および速度を含む自車両情報を取得する自車両情報取得部と、他車両の現在位置および速度を含む他車両情報を取得する他車両情報取得部と、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、自車両情報取得部が取得した自車両情報と、他車両情報取得部が取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成するオブジェクト生成部と、オブジェクト生成部が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する制御を行う表示制御部とを備える。 In order to solve the above problems, a driving assistance apparatus according to the present invention is a vehicle information acquisition unit that acquires vehicle information including the current position and speed of the vehicle, and another vehicle that includes the current position and speed of another vehicle. When the other vehicle information acquisition unit that acquires information and the own vehicle merge or change lanes from the lane in which the own vehicle is traveling to the lane in which the other vehicle is traveling, the own vehicle information acquisition unit acquires the information. Object generation for generating a traveling position object indicating at least one of a position where the own vehicle should currently travel and a position where the own vehicle should not currently travel based on the vehicle information and the other vehicle information acquired by the other vehicle information acquisition unit And a display control unit that performs control to display the traveling position object generated by the object generation unit by superimposing it on the scenery around the vehicle as the vehicle travels.

また、本発明による運転支援方法は、自車両の現在位置および速度を含む自車両情報を取得し、他車両の現在位置および速度を含む他車両情報を取得し、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、取得した自車両情報と、取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成し、生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する。 Further, the driving support method according to the present invention acquires own vehicle information including the current position and speed of the own vehicle, acquires other vehicle information including the current position and speed of another vehicle, and the own vehicle When merging or changing lanes from a running lane to a lane in which another vehicle is running, based on the acquired own vehicle information and the acquired other vehicle information, the position where the own vehicle should currently travel and the current traveling lane A traveling position object indicating at least one of the positions that should not be generated is generated, and the generated traveling position object is superimposed and displayed on the surrounding scenery of the vehicle as the vehicle travels.

本発明によると、運転支援装置は、自車両の現在位置および速度を含む自車両情報を取得する自車両情報取得部と、他車両の現在位置および速度を含む他車両情報を取得する他車両情報取得部と、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、自車両情報取得部が取得した自車両情報と、他車両情報取得部が取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成するオブジェクト生成部と、オブジェクト生成部が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する制御を行う表示制御部とを備えるため、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 According to the present invention, the driving support device includes the own vehicle information acquisition unit that acquires own vehicle information including the current position and speed of the own vehicle, and the other vehicle information that acquires other vehicle information including the current position and speed of another vehicle. When the acquisition unit and the own vehicle merge or change lanes from the lane in which the own vehicle is traveling to the lane in which another vehicle is traveling, the own vehicle information acquired by the own vehicle information acquisition unit and the other vehicle information An object generation unit that generates a traveling position object that indicates at least one of a position where the vehicle should currently travel and a position that should not currently travel based on the other vehicle information acquired by the acquisition unit, and the object generation unit. Since the generated traveling position object is provided with a display control unit that controls to display the traveling position object by superimposing it on the scenery around the own vehicle according to the progress of the own vehicle, an appropriate driving for the driver when joining or changing lanes It becomes possible to provide support.

また、運転支援方法は、自車両の現在位置および速度を含む自車両情報を取得し、他車両の現在位置および速度を含む他車両情報を取得し、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、取得した自車両情報と、取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成し、生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示するため、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 In addition, the driving support method acquires own vehicle information including the current position and speed of the own vehicle, acquires other vehicle information including the current position and speed of another vehicle, and the own vehicle is traveling by the own vehicle. When merging or changing lanes from the existing lane to the lane in which another vehicle is traveling, based on the acquired own vehicle information and the acquired other vehicle information, the position at which the own vehicle should currently drive and should not currently drive A driving position object that indicates at least one of the positions is generated, and the generated driving position object is displayed by being superimposed on the scenery around the vehicle as the vehicle travels. It is possible to provide appropriate driving assistance to

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objects, features, aspects, and advantages of the present invention will become more apparent by the following detailed description and the accompanying drawings.

本発明の実施の形態1による運転支援装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the driving assistance device by Embodiment 1 of this invention. 本発明の実施の形態1による合流前の一例を示す図である。It is a figure which shows an example before the merging by Embodiment 1 of this invention. 本発明の実施の形態1による合流後の一例を示す図である。It is a figure which shows an example after the merging by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the driving assistance device by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the driving assistance device by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援装置の動作の一例を示すフローチャートである。3 is a flowchart showing an example of an operation of the driving support device according to the first embodiment of the present invention. 本発明の実施の形態1による運転支援装置の動作の一例を示すフローチャートである。3 is a flowchart showing an example of an operation of the driving support device according to the first embodiment of the present invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態1による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 1 of this invention. 本発明の実施の形態2による運転支援装置の動作の一例を示すフローチャートである。7 is a flowchart showing an example of the operation of the driving support device according to the second embodiment of the present invention. 本発明の実施の形態2による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 2 of this invention. 本発明の実施の形態2による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 2 of this invention. 本発明の実施の形態3による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 3 of this invention. 本発明の実施の形態3による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 3 of this invention. 本発明の実施の形態4による運転支援装置の動作の一例を説明するための図である。It is a figure for demonstrating an example of operation|movement of the driving assistance device by Embodiment 4 of this invention. 本発明の実施の形態4による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 4 of this invention. 本発明の実施の形態5による運転支援装置の動作の一例を説明するための図である。It is a figure for demonstrating an example of operation|movement of the driving assistance device by Embodiment 5 of this invention. 本発明の実施の形態5による運転支援の表示の一例を示す図である。It is a figure which shows an example of a display of the driving assistance by Embodiment 5 of this invention. 本発明の実施の形態による運転支援システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the driving assistance system by embodiment of this invention.

本発明の実施の形態について、図面に基づいて以下に説明する。 Embodiments of the present invention will be described below with reference to the drawings.

<実施の形態1>
<構成>
図1は、本発明の実施の形態1による運転支援装置1の構成の一例を示すブロック図である。なお、図1では、本実施の形態による運転支援装置を構成する必要最小限の構成を示している。運転支援装置1は、自車両に設置されているものとする。
<Embodiment 1>
<Structure>
FIG. 1 is a block diagram showing an example of the configuration of the driving support device 1 according to the first embodiment of the present invention. Note that FIG. 1 shows the minimum necessary configuration of the driving support device according to the present embodiment. It is assumed that the driving support device 1 is installed in the own vehicle.

図1に示すように、運転支援装置1は、自車両情報取得部2と、他車両情報取得部3と、オブジェクト生成部4と、表示制御部5とを備えている。自車両情報取得部2は、自車両の現在位置および速度を含む自車両情報を取得する。他車両情報取得部3は、他車両の現在位置および速度を含む他車両情報を取得する。オブジェクト生成部4は、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、自車両情報取得部2が取得した自車両情報と、他車両情報取得部3が取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成する。表示制御部5は、オブジェクト生成部4が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する制御を行う。 As shown in FIG. 1, the driving support device 1 includes a vehicle information acquisition unit 2, a vehicle information acquisition unit 3, an object generation unit 4, and a display control unit 5. The own vehicle information acquisition unit 2 acquires own vehicle information including the current position and speed of the own vehicle. The other vehicle information acquisition unit 3 acquires other vehicle information including the current position and speed of the other vehicle. The object generation unit 4 acquires the own vehicle information acquired by the own vehicle information acquisition unit 2 when the own vehicle merges or changes lanes from the lane in which the own vehicle is traveling to the lane in which another vehicle is traveling, Based on the other vehicle information acquired by the other vehicle information acquisition unit 3, a travel position object indicating at least one of a position where the own vehicle should currently travel and a position where it should not currently travel is generated. The display control unit 5 controls to display the traveling position object generated by the object generation unit 4 so as to be superimposed on the scenery around the vehicle as the vehicle travels.

ここで、合流および車線変更について説明する。 Here, merging and lane change will be described.

合流とは、例えば図2,3に示すように、自車両6が、当該自車両6が走行している車線から他車両7〜9が走行している車線に移動することをいう。図2,3の例では、自車両6が、ランプから、他車両7〜9が走行している車線であって他車両8と他車両9との間に合流している。また、車線変更とは、自車両が、当該自車両が走行している車線から隣接する車線に移動することをいう。 The merging means that the own vehicle 6 moves from the lane in which the own vehicle 6 is traveling to the lane in which the other vehicles 7 to 9 are traveling, as shown in FIGS. In the examples of FIGS. 2 and 3, the host vehicle 6 merges from the ramp between the other vehicles 8 and 9 in the lane in which the other vehicles 7 to 9 are traveling. The lane change means that the host vehicle moves from the lane in which the host vehicle is traveling to the adjacent lane.

次に、図1に示す運転支援装置1を含む運転支援装置の他の構成について説明する。 Next, another configuration of the driving support device including the driving support device 1 shown in FIG. 1 will be described.

図4は、他の構成に係る運転支援装置10の構成の一例を示すブロック図である。 FIG. 4 is a block diagram showing an example of the configuration of the driving support device 10 according to another configuration.

図4に示すように、運転支援装置10は、自車両情報取得部2と、他車両情報取得部3と、オブジェクト生成部4と、表示制御部5と、地図情報取得部13と、全体制御部14とを備えている。他車両情報取得部3および全体制御部14は撮影装置15に接続され、地図情報取得部13は地図情報記憶装置16に接続され、表示制御部5は表示装置17に接続されている。 As shown in FIG. 4, the driving support device 10 includes a vehicle information acquisition unit 2, another vehicle information acquisition unit 3, an object generation unit 4, a display control unit 5, a map information acquisition unit 13, and overall control. And a section 14. The other vehicle information acquisition unit 3 and the overall control unit 14 are connected to the photographing device 15, the map information acquisition unit 13 is connected to the map information storage device 16, and the display control unit 5 is connected to the display device 17.

自車両情報取得部2は、自車両の現在位置および速度を含む自車両情報を取得する。自車両の現在位置は、例えば、GPS(Global Positioning System)信号に含まれる自車両の絶対的な位置である。なお、GPS信号に含まれる自車両の絶対位置と、自車両の速度、移動距離、および操舵方向などとに基づいて、より自車両のより正確な現在位置を求めてもよい。この場合、自車両の移動距離および操舵方向の情報は、自車両情報取得部2が取得する自車両情報に含まれているものとする。 The own vehicle information acquisition unit 2 acquires own vehicle information including the current position and speed of the own vehicle. The current position of the host vehicle is, for example, the absolute position of the host vehicle included in the GPS (Global Positioning System) signal. Note that a more accurate current position of the host vehicle may be obtained based on the absolute position of the host vehicle included in the GPS signal, the speed of the host vehicle, the travel distance, the steering direction, and the like. In this case, it is assumed that the information on the moving distance and the steering direction of the host vehicle is included in the host vehicle information acquired by the host vehicle information acquisition unit 2.

他車両情報取得部3は、他車両位置算出部11と他車両速度算出部12とを有している。他車両位置算出部11は、撮影装置15が撮影した画像を取得し、当該画像を画像処理することによって自車両に対する他車両の相対的な位置を算出する。他車両速度算出部12は、撮影装置15が撮影した画像を取得し、当該画像を画像処理することによって自車両に対する他車両の相対的な速度を算出する。撮影装置15は、自車両に設置されており、自車両の周辺を撮影する。具体的には、撮影装置15は、自車両が走行中の車線と、自車両が合流または車線変更する車線とが画像に含まれるように撮影する。 The other vehicle information acquisition unit 3 includes another vehicle position calculation unit 11 and another vehicle speed calculation unit 12. The other vehicle position calculation unit 11 acquires an image captured by the image capturing device 15 and performs image processing on the image to calculate the relative position of the other vehicle with respect to the own vehicle. The other vehicle speed calculation unit 12 acquires an image captured by the image capturing device 15 and processes the image to calculate the relative speed of the other vehicle with respect to the own vehicle. The image capturing device 15 is installed in the host vehicle and captures an image of the surroundings of the host vehicle. Specifically, the image capturing device 15 captures images such that the lane in which the vehicle is traveling and the lane in which the vehicle merges or changes lanes are included in the image.

なお、図4の例では、撮影装置15が撮影した画像を画像処理することによって他車両の相対的な位置および速度を算出する場合について説明したが、これに限るものではない。他車両情報取得部3は、他車両の絶対的な位置の情報、および他車両の速度情報を当該他車両から取得してもよい。この場合、他車両位置算出部11および他車両速度算出部12は不要となる。 In the example of FIG. 4, the case where the relative position and speed of the other vehicle are calculated by performing image processing on the image captured by the image capturing device 15 has been described, but the invention is not limited to this. The other vehicle information acquisition unit 3 may acquire the absolute position information of the other vehicle and the speed information of the other vehicle from the other vehicle. In this case, the other vehicle position calculation unit 11 and the other vehicle speed calculation unit 12 are unnecessary.

地図情報取得部13は、自車両情報取得部2が取得した自車両の現在位置に基づいて、少なくとも車線情報を含む地図情報を地図情報記憶装置16から取得する。車線情報には、区画線の情報が含まれている。地図情報記憶装置16は、例えばハードディスク(Hard Disk Drive:HDD)または半導体メモリ等の記憶装置から構成されており、少なくとも車線情報を含む地図情報を記憶している。地図情報記憶装置16は、自車両内に設置してもよく、自車両外に設置してもよい。また、地図情報記憶装置16は、運転支援装置10が備えてもよい。 The map information acquisition unit 13 acquires map information including at least lane information from the map information storage device 16 based on the current position of the vehicle acquired by the vehicle information acquisition unit 2. The lane information includes lane marking information. The map information storage device 16 is composed of a storage device such as a hard disk drive (HDD) or a semiconductor memory, and stores map information including at least lane information. The map information storage device 16 may be installed inside the host vehicle or outside the host vehicle. The map information storage device 16 may be included in the driving support device 10.

全体制御部14は、自車両情報取得部2が取得した自車両の現在位置および速度と、他車両情報取得部3が取得した他車両の現在位置および速度とに基づいて、自車両が合流または車線変更することが可能な地点を算出する。なお、自車両が合流または車線変更することが可能な地点は、例えば特許文献1などの周知の技術を用いて算出することができる。また、全体制御部14は、自車両が合流または車線変更することが可能な地点に到達するために現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を算出する。さらに、全体制御部14は、撮影装置15が撮影した画像を画像処理することによって、自車両が走行している車線を構成する区画線を検出することができる。 Based on the current position and speed of the own vehicle acquired by the own vehicle information acquisition unit 2 and the current position and speed of the other vehicle acquired by the other vehicle information acquisition unit 3, the overall control unit 14 joins the own vehicle or Calculate the points where you can change lanes. The point at which the vehicle can merge or change lanes can be calculated using a known technique such as Patent Document 1, for example. In addition, the overall control unit 14 calculates at least one of a position where the current vehicle should travel and a position where the current vehicle should not travel in order to reach a point where the vehicle can merge or change lanes. Further, the overall control unit 14 can detect the lane markings forming the lane in which the vehicle is traveling by performing image processing on the image captured by the image capturing device 15.

オブジェクト生成部4は、全体制御部14が算出した自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成する。このとき、オブジェクト生成部4は、撮影装置15が撮影した画像に基づいて走行位置オブジェクトの形状を決める。 The object generation unit 4 generates a traveling position object that indicates at least one of the position where the host vehicle should currently travel and the position where it should not currently travel calculated by the overall control unit 14. At this time, the object generation unit 4 determines the shape of the traveling position object based on the image captured by the image capturing device 15.

表示制御部5は、オブジェクト生成部4が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示装置17に表示する制御を行う。表示装置17は、例えばHUD(Head Up Display)、インストルメントパネル内に設けられたモニタ、またはセンターコンソールに設けられたモニタなどである。例えば、表示装置17がHUDである場合、表示制御部5は、フロントガラス越しに見える実際の景色に走行位置オブジェクトを重畳して表示する制御を行う。また、表示装置17がモニタである場合、表示制御部5は、撮影装置15が撮影した画像に走行位置オブジェクトを重畳して表示する制御を行う。 The display control unit 5 controls the traveling position object generated by the object generation unit 4 to be displayed on the display device 17 while being superimposed on the scenery around the own vehicle as the own vehicle advances. The display device 17 is, for example, a HUD (Head Up Display), a monitor provided in the instrument panel, a monitor provided in the center console, or the like. For example, when the display device 17 is a HUD, the display control unit 5 performs control to superimpose and display the traveling position object on the actual scenery seen through the windshield. Further, when the display device 17 is a monitor, the display control unit 5 performs control to superimpose and display the traveling position object on the image captured by the imaging device 15.

図5は、運転支援装置10のハードウェア構成の一例を示すブロック図である。なお、図1に示す運転支援装置1についても同様である。 FIG. 5 is a block diagram showing an example of the hardware configuration of the driving support device 10. The same applies to the driving support device 1 shown in FIG.

運転支援装置10における自車両情報取得部2、他車両情報取得部3、オブジェクト生成部4、表示制御部5、他車両位置算出部11、他車両速度算出部12、地図情報取得部13、および全体制御部14の各機能は、処理回路により実現される。すなわち、運転支援装置10は、自車両情報を取得し、他車両情報を取得し、オブジェクトを生成し、オブジェクトを表示する制御を行い、他車両の位置を算出し、他車両の速度を算出し、地図情報を取得し、自車両が合流または車線変更することが可能な地点を算出し、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を算出し、区画線を検出するための処理回路を備える。処理回路は、メモリ19に格納されたプログラムを実行するプロセッサ18(中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)である。 Own vehicle information acquisition unit 2, other vehicle information acquisition unit 3, object generation unit 4, display control unit 5, other vehicle position calculation unit 11, other vehicle speed calculation unit 12, map information acquisition unit 13, and Each function of the overall control unit 14 is realized by a processing circuit. That is, the driving support device 10 acquires own vehicle information, acquires other vehicle information, generates an object, performs control to display the object, calculates the position of the other vehicle, and calculates the speed of the other vehicle. , The map information is acquired, the point where the own vehicle can join or change the lane is calculated, and at least one of the position where the own vehicle should be currently traveling and the position where the current vehicle should not be traveling are calculated, and the lane marking A processing circuit for detecting The processing circuit is a processor 18 (also referred to as a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor)) that executes a program stored in the memory 19.

運転支援装置10における自車両情報取得部2、他車両情報取得部3、オブジェクト生成部4、表示制御部5、他車両位置算出部11、他車両速度算出部12、地図情報取得部13、および全体制御部14の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ19に格納される。処理回路は、メモリ19に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転支援装置10は、自車両情報を取得するステップ、他車両情報を取得するステップ、オブジェクトを生成するステップ、オブジェクトを表示する制御を行うステップ、他車両の位置を算出するステップ、他車両の速度を算出するステップ、地図情報を取得するステップ、自車両が合流または車線変更することが可能な地点を算出するステップ、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を算出するステップ、区画線を検出するステップが結果的に実行されることになるプログラムを格納するためのメモリ19を備える。また、これらのプログラムは、自車両情報取得部2、他車両情報取得部3、オブジェクト生成部4、表示制御部5、他車両位置算出部11、他車両速度算出部12、地図情報取得部13、および全体制御部14の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、または、今後使用されるあらゆる記憶媒体であってもよい。 Own vehicle information acquisition unit 2, other vehicle information acquisition unit 3, object generation unit 4, display control unit 5, other vehicle position calculation unit 11, other vehicle speed calculation unit 12, map information acquisition unit 13, and Each function of the overall control unit 14 is realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 19. The processing circuit realizes the function of each unit by reading and executing the program stored in the memory 19. That is, the driving support device 10 acquires the own vehicle information, acquires the other vehicle information, generates the object, controls the display of the object, calculates the position of the other vehicle, and the other vehicle. Of the steps of calculating the speed of the vehicle, acquiring map information, calculating the point where the vehicle can merge or change lanes, A memory 19 is provided for storing a program in which the step of calculating at least one of the steps and the step of detecting the lane markings will be executed as a result. In addition, these programs include the own vehicle information acquisition unit 2, the other vehicle information acquisition unit 3, the object generation unit 4, the display control unit 5, the other vehicle position calculation unit 11, the other vehicle speed calculation unit 12, and the map information acquisition unit 13. , And the procedure or method of the overall control unit 14 can be executed by a computer. Here, the memory is, for example, a nonvolatile or volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrically Erasable Programmable Read Only Memory). A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or any storage medium used in the future.

<動作>
図6は、図1に示す運転支援装置1の動作の一例を示すフローチャートである。
<Operation>
FIG. 6 is a flowchart showing an example of the operation of the driving support device 1 shown in FIG.

ステップS101において、自車両情報取得部2は、自車両の現在位置および速度を含む自車両情報を取得する。 In step S101, the own vehicle information acquisition unit 2 acquires own vehicle information including the current position and speed of the own vehicle.

ステップS102において、他車両情報取得部3は、他車両の現在位置および速度を含む他車両情報を取得する。 In step S102, the other vehicle information acquisition unit 3 acquires other vehicle information including the current position and speed of the other vehicle.

ステップS103において、オブジェクト生成部4は、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、自車両情報取得部2が取得した自車両情報と、他車両情報取得部3が取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成する。 In step S103, the object generation unit 4 acquires the self-vehicle information acquired by the self-vehicle information acquisition unit 2 when the self-vehicle joins or changes the lane in which the self-vehicle is traveling to the lane in which another vehicle is traveling. Based on the vehicle information and the other vehicle information acquired by the other vehicle information acquisition unit 3, a travel position object indicating at least one of a position where the own vehicle should currently travel and a position where the own vehicle should not currently travel is generated.

ステップS104において、表示制御部5は、オブジェクト生成部4が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示する制御を行う。 In step S104, the display control unit 5 performs control to display the traveling position object generated by the object generation unit 4 so as to be superimposed on the scenery around the vehicle as the vehicle travels.

ステップS105において、表示制御部5は、走行位置オブジェクトの表示を終了するか否かを判断する。走行位置オブジェクトの表示を終了する場合は、処理を終了する。一方、走行位置オブジェクトの表示を終了しない場合は、ステップS101に戻る。 In step S105, the display control unit 5 determines whether to end the display of the traveling position object. When ending the display of the traveling position object, the processing ends. On the other hand, if the display of the traveling position object is not ended, the process returns to step S101.

図7は、図4に示す運転支援装置10の動作の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of the operation of the driving support device 10 shown in FIG.

ステップS201において、自車両情報取得部2は、自車両の現在位置および速度を含む自車両情報を取得する。 In step S201, the own vehicle information acquisition unit 2 acquires own vehicle information including the current position and speed of the own vehicle.

ステップS202において、他車両情報取得部3および全体制御部14は、撮影装置15が撮影した自車両周辺の画像を取得する。自車両周辺の画像には、自車両が走行中の車線と、自車両が合流または車線変更する車線とが含まれている。 In step S202, the other vehicle information acquisition unit 3 and the overall control unit 14 acquire an image of the surroundings of the own vehicle taken by the imaging device 15. The image around the vehicle includes the lane in which the vehicle is traveling and the lane in which the vehicle merges or changes lanes.

ステップS203において、他車両位置算出部11は、撮影装置15から取得した画像を画像処理することによって、自車両に対する他車両の相対的な位置を算出する。他車両速度算出部12は、撮影装置15から取得した画像を画像処理することによって、自車両に対する他車両の相対的な速度を算出する。 In step S203, the other vehicle position calculation unit 11 calculates the relative position of the other vehicle with respect to the own vehicle by performing image processing on the image acquired from the imaging device 15. The other vehicle speed calculation unit 12 calculates the relative speed of the other vehicle with respect to the own vehicle by performing image processing on the image acquired from the imaging device 15.

ステップS204において、全体制御部14は、撮影装置15から取得した画像を画像処理することによって、自車両が走行している車線を構成する区画線を検出したか否かを判断する。区画線を検出していない場合は、ステップS205に移行する。一方、区画線を検出した場合は、ステップS206に移行する。 In step S204, the overall control unit 14 determines whether or not the lane markings forming the lane in which the vehicle is traveling are detected by performing image processing on the image acquired from the imaging device 15. When the lane marking is not detected, the process proceeds to step S205. On the other hand, when a lane marking is detected, the process proceeds to step S206.

ステップS205において、地図情報取得部13は、全体制御部14の指示に従って、自車両の位置に基づいて、車線情報を含む地図情報を地図情報記憶装置16から取得する。 In step S205, the map information acquisition unit 13 acquires the map information including the lane information from the map information storage device 16 based on the position of the own vehicle according to the instruction of the overall control unit 14.

ステップS206において、地図情報取得部13は、全体制御部14の指示に従って、自車両の位置に基づいて、車線情報を含む地図情報を地図情報記憶装置16から取得する。この場合、自車両が走行する車線を構成する区画線は、全体制御部14が撮影装置15から取得した画像から検出した区画線と、地図情報記憶装置16から取得した車線情報に含まれる区画線とから得られることになり、区画線の検出精度をより向上させることができる。なお、ステップS206の処理はなくてもよい。 In step S206, the map information acquisition unit 13 acquires the map information including the lane information from the map information storage device 16 based on the position of the own vehicle according to the instruction of the overall control unit 14. In this case, the lane markings that form the lane in which the vehicle is traveling are the lane markings detected from the image acquired by the overall control unit 14 from the image capturing device 15 and the lane markings included in the lane information acquired from the map information storage device 16. Therefore, the detection accuracy of the lane markings can be further improved. The process of step S206 may be omitted.

ステップS207において、オブジェクト生成部4は、全体制御部14で算出された自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成する。このとき、オブジェクト生成部4は、撮影装置15が撮影した画像に基づいて走行位置オブジェクトの形状を決める。 In step S207, the object generation unit 4 generates a travel position object indicating at least one of the position where the host vehicle should currently travel and the position where it should not currently travel calculated by the overall control unit 14. At this time, the object generation unit 4 determines the shape of the traveling position object based on the image captured by the image capturing device 15.

ステップS208において、表示制御部5は、オブジェクト生成部4が生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示装置17に表示する制御を行う。 In step S208, the display control unit 5 controls the traveling position object generated by the object generation unit 4 to be displayed on the display device 17 by being superimposed on the scenery around the own vehicle as the own vehicle advances.

ステップS209において、全体制御部14は、走行位置オブジェクトの表示を終了するか否かを判断する。走行位置オブジェクトの表示を終了する場合は、処理を終了する。一方、走行位置オブジェクトの表示を終了しない場合は、ステップS201に戻る。 In step S209, the overall control unit 14 determines whether to end the display of the traveling position object. When ending the display of the traveling position object, the processing ends. On the other hand, when the display of the traveling position object is not ended, the process returns to step S201.

<表示>
図8〜26は、運転支援の表示の一例を示す図であり、走行位置オブジェクトの表示の一例を示している。なお、図8〜26では、自車両が、当該自車両が走行している車線から他車両21が走行している車線に合流する場合について示しているが、車線変更する場合も同様である。また、図8〜26における表示装置17はHUDである。
<Display>
8 to 26 are diagrams showing an example of the display of the driving support, and show an example of the display of the traveling position object. 8 to 26 show the case where the own vehicle joins the lane in which the other vehicle 21 is traveling from the lane in which the own vehicle is traveling, but the same applies when the lane is changed. The display device 17 in FIGS. 8 to 26 is a HUD.

図8に示すように、表示装置17は、自車両が走行する車線を構成する区画線のうちの左側の区画線上に走行位置オブジェクト20を重畳して表示している。なお、走行位置オブジェクト20のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。すなわち、自車両が現在走行すべき位置と、自車両が現在走行すべきでない位置とは区別して表示されている。図8に示すように、自車両が現在走行すべき位置は、自車両の現在位置よりも少し前方に位置している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。なお、図8では、自車両の左側の区画線上に走行位置オブジェクト20を重畳しているが、自車両の右側の区画線上、すなわち合流する方向に位置する区画線上に走行位置オブジェクト20を重畳してもよい。 As shown in FIG. 8, the display device 17 superimposes and displays the traveling position object 20 on the left lane marking of the lanes in which the vehicle travels. In the traveling position object 20, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. That is, the position where the own vehicle should currently travel and the position where the own vehicle should not currently travel are displayed separately. As shown in FIG. 8, the position where the host vehicle should currently travel is located slightly ahead of the current position of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more. Note that, in FIG. 8, the traveling position object 20 is superimposed on the left lane marking of the vehicle, but the traveling position object 20 is superimposed on the right lane marking of the vehicle, that is, the lane marking located in the merging direction. May be.

図9は、自車両が現在走行すべき位置が、自車両の現在位置にある。その他の表示は図8と同様である。この場合、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 In FIG. 9, the current position of the host vehicle is the current position of the host vehicle. Other displays are the same as in FIG. In this case, the driver can determine that the own vehicle should be driven at this speed.

図10に示すように、表示装置17は、自車両が走行する車線上に走行位置オブジェクト20を重畳して表示している。走行位置オブジェクト20は、自車両の現在位置から、自車両が合流することが可能な地点まで延在している。なお、走行位置オブジェクト20のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。図10に示すように、自車両が現在走行すべき位置は、自車両の現在位置よりも少し前方に位置している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 10, the display device 17 superimposes and displays the traveling position object 20 on the lane in which the vehicle is traveling. The traveling position object 20 extends from the current position of the own vehicle to a point where the own vehicle can meet. In the traveling position object 20, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. As shown in FIG. 10, the position where the host vehicle should currently travel is located slightly ahead of the current position of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図11は、自車両が現在走行すべき位置が、自車両の現在位置にある。その他の表示は図10と同様である。この場合、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 In FIG. 11, the current position of the vehicle is the current position of the vehicle. The other display is the same as in FIG. In this case, the driver can determine that the own vehicle should be driven at this speed.

図12に示すように、表示装置17は、自車両が走行する車線上の全体に走行位置オブジェクト20を重畳して表示している。なお、走行位置オブジェクト20のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。図12に示すように、自車両が現在走行すべき位置は、自車両の現在位置よりも少し前方に位置している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 12, the display device 17 superimposes and displays the traveling position object 20 on the entire lane in which the vehicle is traveling. In the traveling position object 20, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. As shown in FIG. 12, the position where the host vehicle should currently travel is located slightly ahead of the current position of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図13は、自車両が現在走行すべき位置が、自車両の現在位置にある。その他の表示は図12と同様である。この場合、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 In FIG. 13, the current position of the vehicle is the current position of the vehicle. Other displays are the same as those in FIG. In this case, the driver can determine that the own vehicle should be driven at this speed.

図14に示すように、表示装置17は、自車両が走行する車線上の全体に走行位置オブジェクト20を重畳して表示している。なお、走行位置オブジェクト20は、砂地ハッチングが施された自車両が現在走行すべき位置のみを示している。図14に示すように、自車両が現在走行すべき位置は、自車両の現在位置よりも少し前方に位置している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 14, the display device 17 superimposes and displays the traveling position object 20 on the entire lane in which the vehicle is traveling. The traveling position object 20 indicates only the position where the own vehicle, which is hatched in the sandy land, should currently travel. As shown in FIG. 14, the position where the host vehicle should currently travel is located slightly ahead of the current position of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図15は、自車両が現在走行すべき位置が、自車両の現在位置にある。その他の表示は図14と同様である。この場合、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 In FIG. 15, the current position of the vehicle is the current position of the vehicle. Other displays are the same as in FIG. In this case, the driver can determine that the own vehicle should be driven at this speed.

図16に示すように、表示装置17は、自車両が走行する車線上に加減速オブジェクト22を重畳して表示している。加減速オブジェクト22は、自車両が現在加速または減速すべきことを文字または記号で示すオブジェクトである。なお、図16において、加減速オブジェクト22は、その矢印の先端が、自車両が現在走行すべき位置を指している。また、加減速オブジェクト22は点滅してもよい。図16に示すように、自車両が現在走行すべき位置は、自車両の現在位置よりも少し前方に位置している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 16, the display device 17 superimposes and displays the acceleration/deceleration object 22 on the lane in which the vehicle is traveling. The acceleration/deceleration object 22 is an object that indicates with characters or symbols that the host vehicle is currently to accelerate or decelerate. In addition, in FIG. 16, the tip of the arrow of the acceleration/deceleration object 22 indicates the position where the vehicle is currently traveling. Further, the acceleration/deceleration object 22 may blink. As shown in FIG. 16, the position where the host vehicle should currently travel is located slightly ahead of the current position of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図17に示すように、表示装置17は、図8に示す走行位置オブジェクト20と、図16に示す加減速オブジェクト22とを表示している。走行位置オブジェクト20における自車両が現在走行すべき位置と、加減速オブジェクト22の矢印の先端の位置とは、自車両の進行方向において一致している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 17, the display device 17 displays the traveling position object 20 shown in FIG. 8 and the acceleration/deceleration object 22 shown in FIG. The position where the host vehicle should currently travel in the travel position object 20 and the position of the tip of the arrow of the acceleration/deceleration object 22 match in the traveling direction of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図18に示すように、表示装置17は、図9に示す走行位置オブジェクト20と、「OK」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 18, the display device 17 displays the traveling position object 20 shown in FIG. 9 and the acceleration/deceleration object 22 indicated by the letters “OK”. As a result, the driver can determine that the own vehicle should be driven at this speed.

図19に示すように、表示装置17は、図10に示す走行位置オブジェクト20と、図16に示す加減速オブジェクト22とを表示している。走行位置オブジェクト20における自車両が現在走行すべき位置と、加減速オブジェクト22の矢印の先端の位置とは、自車両の進行方向において一致している。これにより、運転者は、自車両をもう少し加速させる必要があると判断することができる。 As shown in FIG. 19, the display device 17 is displaying the traveling position object 20 shown in FIG. 10 and the acceleration/deceleration object 22 shown in FIG. The position where the host vehicle should currently travel in the travel position object 20 and the position of the tip of the arrow of the acceleration/deceleration object 22 match in the traveling direction of the host vehicle. Thereby, the driver can determine that the own vehicle needs to be accelerated a little more.

図20に示すように、表示装置17は、図11に示す走行位置オブジェクト20と、「OK」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 20, the display device 17 displays the traveling position object 20 shown in FIG. 11 and the acceleration/deceleration object 22 indicated by the letters “OK”. As a result, the driver can determine that the own vehicle should be driven at this speed.

図21に示すように、表示装置17は、自車両が走行する車線を構成する区画線のうちの左側の区画線上に走行位置オブジェクト20を重畳するとともに、「+10Km/m」の文字で示される加減速オブジェクト22を表示している。なお、走行位置オブジェクト20のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。自車両が現在走行すべき位置は、図8に示す自車両が現在走行すべき位置よりも前方に位置している。これにより、運転者は、自車両を現在の速度よりも10Km/h速くなるまで加速させる必要があると判断することができる。 As shown in FIG. 21, the display device 17 superimposes the traveling position object 20 on the left lane marking of the lanes in which the vehicle travels, and is indicated by the letters “+10 Km/m”. The acceleration/deceleration object 22 is displayed. In the traveling position object 20, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. The position where the host vehicle should currently travel is located ahead of the position where the host vehicle currently travels shown in FIG. Accordingly, the driver can determine that the own vehicle needs to be accelerated until it becomes 10 km/h faster than the current speed.

図22に示すように、表示装置17は、図8に示す走行位置オブジェクト20と、「+5Km/m」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両を現在の速度よりも5Km/h速くなるまで加速させる必要があると判断することができる。 As illustrated in FIG. 22, the display device 17 displays the traveling position object 20 illustrated in FIG. 8 and the acceleration/deceleration object 22 represented by the character “+5 Km/m”. Thus, the driver can determine that the own vehicle needs to be accelerated until it becomes 5 km/h faster than the current speed.

図23に示すように、表示装置17は、図9に示す走行位置オブジェクト20と、「OK」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 23, the display device 17 displays the traveling position object 20 shown in FIG. 9 and the acceleration/deceleration object 22 indicated by the letters “OK”. As a result, the driver can determine that the own vehicle should be driven at this speed.

図24に示すように、表示装置17は、自車両が走行する車線上の全体に走行位置オブジェクト20を重畳するとともに、「+10Km/m」の文字で示される加減速オブジェクト22を表示している。なお、走行位置オブジェクト20のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。自車両が現在走行すべき位置は、図12に示す自車両の現在位置よりも前方に位置している。これにより、運転者は、自車両を現在の速度よりも10Km/h速くなるまで加速させる必要があると判断することができる。 As shown in FIG. 24, the display device 17 superimposes the traveling position object 20 on the entire lane on which the vehicle is traveling, and displays the acceleration/deceleration object 22 indicated by the letters “+10 Km/m”. .. In the traveling position object 20, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. The position where the host vehicle should currently travel is located ahead of the current position of the host vehicle shown in FIG. Accordingly, the driver can determine that the own vehicle needs to be accelerated until it becomes 10 km/h faster than the current speed.

図25に示すように、表示装置17は、図12に示す走行位置オブジェクト20と、「+5Km/m」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両を現在の速度よりも5Km/h速くなるまで加速させる必要があると判断することができる。 As shown in FIG. 25, the display device 17 displays the traveling position object 20 shown in FIG. 12 and the acceleration/deceleration object 22 shown by the letters “+5 Km/m”. Thus, the driver can determine that the own vehicle needs to be accelerated until it becomes 5 km/h faster than the current speed.

図26に示すように、表示装置17は、図13に示す走行位置オブジェクト20と、「OK」の文字で示される加減速オブジェクト22とを表示している。これにより、運転者は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 26, the display device 17 displays the traveling position object 20 shown in FIG. 13 and the acceleration/deceleration object 22 indicated by the letters “OK”. As a result, the driver can determine that the own vehicle should be driven at this speed.

以上のことから、本実施の形態1によれば、合流または車線変更するときに自車両が現在走行すべき位置を表示装置17に表示している。従って、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 From the above, according to the first embodiment, the position at which the vehicle is currently traveling when the vehicle joins or changes lanes is displayed on the display device 17. Therefore, it becomes possible to provide appropriate driving assistance to the driver when merging or changing lanes.

<実施の形態2>
本発明の実施の形態2による運転支援装置の構成は、実施の形態1による運転支援装置10と同様であるため、ここでは詳細な説明を省略する。
<Second Embodiment>
Since the configuration of the driving support device according to the second embodiment of the present invention is the same as that of the driving support device 10 according to the first embodiment, detailed description thereof will be omitted here.

図27は、本実施の形態2による運転支援装置の動作の一例を示すフローチャートである。なお、図27のステップS301〜ステップS306は、図7のステップS201〜ステップS206に対応しているため、ここでは説明を省略する。以下では、ステップS307〜ステップS310について説明する。 FIG. 27 is a flowchart showing an example of the operation of the driving support device according to the second embodiment. Note that steps S301 to S306 in FIG. 27 correspond to steps S201 to S206 in FIG. 7, and thus description thereof will be omitted here. Below, step S307-step S310 are demonstrated.

ステップS307において、オブジェクト生成部4は、自車両の現在位置から、全体制御部14によって算出された自車両が合流することが可能な地点までの経路を示す走行位置オブジェクトを生成する。 In step S307, the object generation unit 4 generates a traveling position object indicating a route from the current position of the own vehicle to a point where the own vehicle calculated by the overall control unit 14 can merge.

ステップS308において、オブジェクト生成部4は、合流予想オブジェクトを生成する。具体的には、全体制御部14は、自車両が現在の速度で合流する地点まで走行したときにおける自車両の位置および他車両の位置を算出する。オブジェクト生成部4は、自車両が現在の速度で合流する地点まで走行したときにおける自車両の位置および他車両の位置のそれぞれに、仮想的な自車両である仮想自車両と、仮想的な他車両である仮想他車両とを示すオブジェクトを生成する。この仮想自車両および仮想他車両のオブジェクトを示すオブジェクトが合流予想オブジェクトに相当する。 In step S308, the object generation unit 4 generates a confluence prediction object. Specifically, the overall control unit 14 calculates the position of the own vehicle and the position of the other vehicle when the own vehicle travels to the point where it merges at the current speed. The object generation unit 4 includes a virtual own vehicle, which is a virtual own vehicle, and a virtual other vehicle, at each of the position of the own vehicle and the position of the other vehicle when the own vehicle travels to a point where the vehicle merges at the current speed. An object indicating a virtual other vehicle that is a vehicle is generated. Objects indicating the objects of the virtual own vehicle and the virtual other vehicle correspond to the merge prediction object.

ステップS309において、表示制御部5は、ステップS307でオブジェクト生成部4が生成した走行位置オブジェクトと、ステップS308でオブジェクト生成部4が生成した合流予想オブジェクトとを、自車両の進行に従って自車両の周辺の景色に重畳して表示装置17に表示する制御を行う。 In step S309, the display control unit 5 sets the traveling position object generated by the object generation unit 4 in step S307 and the merge predicted object generated by the object generation unit 4 in step S308 around the host vehicle as the vehicle advances. The display device 17 is controlled so as to be superimposed on the scenery.

ステップS310において、全体制御部14は、走行位置オブジェクトおよび合流予想オブジェクトの表示を終了するか否かを判断する。走行位置オブジェクトおよび合流予想オブジェクトの表示を終了する場合は、処理を終了する。一方、走行位置オブジェクトおよび合流予想オブジェクトの表示を終了しない場合は、ステップS301に戻る。 In step S310, the overall control unit 14 determines whether or not to end the display of the traveling position object and the merge prediction object. When the display of the traveling position object and the confluence prediction object is ended, the processing is ended. On the other hand, if the display of the traveling position object and the merge prediction object is not finished, the process returns to step S301.

図28,29は、運転支援の表示の一例を示す図であり、走行位置オブジェクトおよび合流予想オブジェクトの表示の一例を示している。なお、図28,29では、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流する場合について示しているが、車線変更する場合も同様である。また、図28,29における表示装置17はHUDである。 28 and 29 are diagrams showing an example of the display of the driving support, and show an example of the display of the traveling position object and the confluence prediction object. 28 and 29 show the case where the host vehicle joins the lane in which the host vehicle is traveling to the lane in which another vehicle is traveling, but the same applies when the lane is changed. The display device 17 in FIGS. 28 and 29 is a HUD.

図28に示すように、表示装置17は、自車両の現在位置から、全体制御部14によって算出された自車両が合流することが可能な地点までの経路を示す走行位置オブジェクト25を表示している。なお、走行位置オブジェクト25のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。また、表示装置17は、自車両が現在の速度で合流する地点まで走行したときにおける自車両の位置および他車両の位置のそれぞれに、仮想自車両23と仮想他車両24とを表示する。これにより、運転者は、自車両をこのままの速度で運転すれば合流時に他車両と接触しないと判断することができる。 As shown in FIG. 28, the display device 17 displays a traveling position object 25 that indicates a route from the current position of the own vehicle to a point where the own vehicle can meet, which is calculated by the overall control unit 14. There is. In the traveling position object 25, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. Further, the display device 17 displays the virtual own vehicle 23 and the virtual other vehicle 24 at the position of the own vehicle and the position of the other vehicle when the own vehicle travels to the point where the own vehicle merges at the current speed. As a result, the driver can determine that if the vehicle is driven at this speed, it will not come into contact with another vehicle at the time of merging.

図29に示すように、表示装置17は、自車両の現在位置から、全体制御部14によって算出された自車両が合流することが可能な地点までの経路を示す走行位置オブジェクト25を表示している。なお、走行位置オブジェクト25のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。また、表示装置17は、自車両が現在の速度で合流する地点まで走行したときにおける自車両の位置および他車両の位置のそれぞれに、仮想自車両23と仮想他車両24とを表示する。仮想自車両23と仮想他車両24とは接触している。このとき、仮想自車両23および仮想他車両24を強調してもよい。これにより、運転者は、このままの速度で運転すれば合流時に他車両と接触するため、自車両を加速または減速させる必要があると判断することができる。 As shown in FIG. 29, the display device 17 displays a traveling position object 25 indicating a route from the current position of the own vehicle to a point where the own vehicle can meet, which is calculated by the overall control unit 14. There is. In the traveling position object 25, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently travel. Further, the display device 17 displays the virtual own vehicle 23 and the virtual other vehicle 24 at the position of the own vehicle and the position of the other vehicle when the own vehicle travels to the point where the own vehicle merges at the current speed. The virtual own vehicle 23 and the virtual other vehicle 24 are in contact with each other. At this time, the virtual own vehicle 23 and the virtual other vehicle 24 may be emphasized. As a result, the driver can determine that it is necessary to accelerate or decelerate the own vehicle because the driver will contact another vehicle at the time of merging if the driver drives at this speed.

以上のことから、本実施の形態2によれば、合流または車線変更するときに自車両が現在走行すべき位置とともに、自車両が現在の速度で合流する地点まで走行したときにおける自車両の位置および他車両の位置のそれぞれに、仮想自車両23と仮想他車両24とを表示している。従って、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 From the above, according to the second embodiment, the position of the own vehicle at which the own vehicle should travel at the time of merging or changing lanes, and the position of the own vehicle at the time of traveling to the point where the own vehicle merges at the current speed The virtual own vehicle 23 and the virtual other vehicle 24 are displayed at the positions of the other vehicle and the other vehicle, respectively. Therefore, it becomes possible to provide appropriate driving assistance to the driver when merging or changing lanes.

<実施の形態3>
本発明の実施の形態3による運転支援装置の構成は、実施の形態1による運転支援装置10と同様であるため、ここでは詳細な説明を省略する。
<Third Embodiment>
Since the configuration of the driving support device according to the third embodiment of the present invention is the same as that of the driving support device 10 according to the first embodiment, detailed description thereof will be omitted here.

図30は、運転支援の表示の一例を示す図であり、走行位置オブジェクトの表示の一例を示している。なお、図30では、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流する場合について示しているが、車線変更する場合も同様である。また、図30における表示装置17はHUDである。 FIG. 30 is a diagram showing an example of display of driving assistance, and shows an example of display of a traveling position object. Although FIG. 30 shows the case where the own vehicle joins the lane in which the other vehicle is traveling from the lane in which the own vehicle is traveling, the same applies when the lane is changed. Further, the display device 17 in FIG. 30 is a HUD.

図30に示すように、全体制御部14によって算出された自車両が合流することが可能な地点は、他車両26の前後に2か所存在している。表示装置17は、自車両の現在位置から、全体制御部14によって算出された自車両が合流することが可能な各地点までの経路を示す走行位置オブジェクト27,28を表示している。なお、走行位置オブジェクト27,28のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。これにより、運転者は、他車両26の前で合流する場合は、自車両を加速させる必要があると判断することができる。また、運転者は、他車両26の後ろで合流する場合は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 30, there are two points before and after the other vehicle 26 where the own vehicle calculated by the overall control unit 14 can merge. The display device 17 displays the traveling position objects 27 and 28 indicating the route from the current position of the own vehicle to each point where the own vehicle can join, which is calculated by the overall control unit 14. In the traveling position objects 27 and 28, the area hatched in the sandy area indicates the position where the vehicle should currently travel, and the hatched area indicates the position where the vehicle should not travel currently. There is. Accordingly, the driver can determine that the own vehicle needs to be accelerated when the vehicle merges in front of the other vehicle 26. Further, when the driver merges behind the other vehicle 26, the driver can determine that the own vehicle should be driven at this speed.

図31は、運転支援の表示の一例を示す図であり、走行位置オブジェクトの表示の一例を示している。なお、図31では、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流する場合について示しているが、車線変更する場合も同様である。また、図31における表示装置17はHUDである。 FIG. 31 is a diagram showing an example of display of driving assistance, and shows an example of display of a traveling position object. Note that FIG. 31 shows the case where the own vehicle joins the lane in which the other vehicle is traveling from the lane in which the own vehicle is traveling, but the same applies when the lane is changed. The display device 17 in FIG. 31 is a HUD.

図31に示すように、全体制御部14によって算出された自車両が合流することが可能な地点は、他車両30の前と、他車両30,31間との2か所に存在している。表示装置17は、自車両の現在位置から、全体制御部14によって算出された自車両が合流することが可能な各地点までの経路を示す走行位置オブジェクト32,33を表示している。なお、走行位置オブジェクト32,33のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。図31では、走行位置オブジェクト32が示す経路上に他車両29が存在しているため、自車両は他車両30の前に合流することができない。従って、運転者は、走行位置オブジェクト32を見て、他車両30の前または他車両30,31間に合流する場合は、自車両をこのままの速度で運転すればよいと判断することができる。 As shown in FIG. 31, the points where the own vehicle calculated by the overall control unit 14 can merge are located in front of the other vehicle 30 and between the other vehicles 30 and 31. .. The display device 17 displays the traveling position objects 32 and 33 indicating the route from the current position of the own vehicle to each point where the own vehicle can merge, which is calculated by the overall control unit 14. In the running position objects 32 and 33, the area hatched in the sandy area indicates the position where the host vehicle should currently travel, and the area hatched indicates the position where the host vehicle should not currently run. There is. In FIG. 31, since the other vehicle 29 exists on the route indicated by the traveling position object 32, the own vehicle cannot join in front of the other vehicle 30. Therefore, when the driver sees the traveling position object 32, when the vehicle joins in front of the other vehicle 30 or between the other vehicles 30 and 31, the driver can determine that the own vehicle should be driven at this speed.

なお、図31において、合流または車線変更する車線が渋滞している場合は、走行位置オブジェクト32,33を非表示にしてもよい。また、走行位置オブジェクト32は、自車両と同一車線で前方に存在している他車両29と重畳している部分、またはその全体を、半透明または点滅させてもよく、非表示としてもよい。 Note that, in FIG. 31, the traveling position objects 32 and 33 may be hidden when the lane to be merged or to change lanes is congested. In addition, the traveling position object 32 may be semi-transparent or blinking, or may be hidden, in a portion that overlaps with another vehicle 29 that exists in the front in the same lane as the own vehicle, or the whole thereof.

以上のことから、本実施の形態3によれば、自車両が合流することが可能な地点が複数存在するときは、各地点について走行位置オブジェクトを表示している。従って、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 From the above, according to the third embodiment, when there are a plurality of points where the vehicle can join, the traveling position object is displayed for each point. Therefore, it becomes possible to provide appropriate driving assistance to the driver when merging or changing lanes.

<実施の形態4>
本発明の実施の形態4では、表示装置17が自車両の後方を表示する電子ミラーである場合について説明する。本実施の形態4による運転支援装置の構成は、実施の形態1による運転支援装置10と同様であるため、ここでは詳細な説明を省略する。
<Embodiment 4>
In the fourth embodiment of the present invention, a case will be described in which the display device 17 is an electronic mirror that displays the rear of the vehicle. Since the configuration of the driving support device according to the fourth embodiment is similar to that of the driving support device 10 according to the first embodiment, detailed description thereof will be omitted here.

図32は、本実施の形態4による運転支援装置の動作の一例を説明するための図である。 FIG. 32 is a diagram for explaining an example of the operation of the driving support device according to the fourth embodiment.

図32に示すように、自車両34は、他車両35と他車両36との間に合流しようとしている。なお、図32では、自車両が合流する場合について示しているが、車線変更する場合も同様である。 As shown in FIG. 32, the own vehicle 34 is about to join between the other vehicle 35 and the other vehicle 36. Note that FIG. 32 shows the case where the own vehicle merges, but the same applies when changing the lane.

図33は、運転支援の表示の一例を示す図であり、走行位置オブジェクトの表示の一例を示している。図33の左図は、電子ミラーである表示装置17が自車両34の左後方を表示している。図33の右図は、電子ミラーである表示装置17が自車両34の右後方を表示している。 FIG. 33 is a diagram showing an example of display of driving assistance, and shows an example of display of a traveling position object. In the left diagram of FIG. 33, the display device 17, which is an electronic mirror, displays the left rear of the host vehicle 34. In the right diagram of FIG. 33, the display device 17 which is an electronic mirror displays the right rear of the host vehicle 34.

図33の右図に示すように、表示装置17は、自車両が現在走行すべき位置を示す走行位置オブジェクト37を、自車両34の後方の車線上に表示している。なお、走行位置オブジェクト37のうち、砂地ハッチングが施された領域は自車両が現在走行すべき位置を示し、斜線ハッチングが施された領域は自車両が現在走行すべきでない位置を示している。これにより、運転者は、他車両35と他車両36との間に合流する場合は、自車両34を減速させる必要があると判断することができる。 As shown in the right diagram of FIG. 33, the display device 17 displays a traveling position object 37 indicating the position where the vehicle should currently travel on the lane behind the vehicle 34. In the traveling position object 37, the area hatched by the sandy sand indicates the position where the host vehicle should currently travel, and the hatched area indicates the position where the host vehicle should not travel currently. Thus, the driver can determine that the own vehicle 34 needs to be decelerated when the other vehicle 35 and the other vehicle 36 merge.

以上のことから、本実施の形態4によれば、自車両の後方を表示する電子ミラーに走行位置オブジェクトを表示している。従って、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 From the above, according to the fourth embodiment, the traveling position object is displayed on the electronic mirror that displays the rear of the vehicle. Therefore, it becomes possible to provide appropriate driving assistance to the driver when merging or changing lanes.

なお、本実施の形態4では、表示装置17が電子ミラーである場合について説明したが、これに限るものではない。例えば、表示装置17は、自車両の後方を映す鏡の表面上に透明な表示パネルを設けた構成であってもよい。この場合、表示パネルに走行位置オブジェクトを表示することになる。 In the fourth embodiment, the case where the display device 17 is an electronic mirror has been described, but the present invention is not limited to this. For example, the display device 17 may have a configuration in which a transparent display panel is provided on the surface of a mirror that reflects the rear of the vehicle. In this case, the traveling position object is displayed on the display panel.

<実施の形態5>
本発明の実施の形態5では、オブジェクト生成部4が、合流または車線変更が可能な程度に応じた走行位置オブジェクトを生成する場合について説明する。本実施の形態5による運転支援装置の構成は、実施の形態1による運転支援装置10と同様であるため、ここでは詳細な説明を省略する。
<Embodiment 5>
In the fifth embodiment of the present invention, a case will be described in which the object generation unit 4 generates a traveling position object according to the degree to which the vehicle can merge or change lanes. Since the configuration of the driving support device according to the fifth embodiment is similar to that of the driving support device 10 according to the first embodiment, detailed description thereof will be omitted here.

図34は、本発明の実施の形態5による運転支援装置の動作の一例を説明するための図である。 FIG. 34 is a diagram for explaining an example of the operation of the driving support device according to the fifth embodiment of the present invention.

図34に示すように、オブジェクト生成部4は、車線変更可能領域39、車線変更注意領域40、および車線変更不可能領域41を含む走行位置オブジェクトを生成する。車線変更可能領域39および車線変更注意領域40は、自車両38が現在走行すべき位置に相当する。車線変更不可能領域41は、自車両38が現在走行すべきでない位置に相当する。全体制御部14は、自車両の現在位置および速度と、他車両の現在位置および速度とに基づいて、車線変更可能領域39、車線変更注意領域40、および車線変更不可能領域41の各領域を算出する。オブジェクト生成部4は、全体制御部14の算出結果に基づいて、各領域を示すオブジェクトを生成する。 As shown in FIG. 34, the object generation unit 4 generates a travel position object including a lane changeable area 39, a lane change caution area 40, and a lane unchangeable area 41. The lane changeable region 39 and the lane change caution region 40 correspond to the position where the vehicle 38 should currently travel. The lane unchangeable region 41 corresponds to a position where the host vehicle 38 should not currently travel. Based on the current position and speed of the own vehicle and the current position and speed of the other vehicle, the overall control unit 14 determines each area of the lane changeable area 39, the lane change caution area 40, and the lane unchangeable area 41. calculate. The object generation unit 4 generates an object indicating each area based on the calculation result of the overall control unit 14.

図35は、本実施の形態5による運転支援の表示の一例を示す図である。図35において、表示装置17はHUDである。 FIG. 35 is a diagram showing an example of a display of driving assistance according to the fifth embodiment. In FIG. 35, the display device 17 is a HUD.

図35に示すように、表示装置17は、車線変更可能領域39、車線変更注意領域40、および車線変更不可能領域41をそれぞれ区別可能に区画線上に重畳して表示している。これにより、運転者は、車線変更するときにどの位置が車線変更可能であるのか判断することができる。 As shown in FIG. 35, the display device 17 displays the lane changeable region 39, the lane change caution region 40, and the lane unchangeable region 41 so as to be distinguishable from each other on the lane line. This allows the driver to determine which position is capable of changing lanes when changing lanes.

なお、表示制御部5は、予め定められたイベントに応じて走行位置オブジェクトの表示または非表示の制御を行ってもよい。ここで、予め定められたイベントとしては、例えば自車両の運転者がウインカーによる指示をしたとき、後方の他車両が自車両に接近したことを検知したとき、または自車両の運転者が車線変更する旨のジェスチャーを行ったときなどが挙げられる。 The display control unit 5 may control display or non-display of the traveling position object according to a predetermined event. Here, as the predetermined event, for example, when the driver of the own vehicle gives an instruction with a turn signal, when it is detected that another vehicle behind is approaching the own vehicle, or the driver of the own vehicle changes lanes. For example, when a gesture to do is performed.

表示制御部5は、車線変更する側の区画線上にのみ走行位置オブジェクトを表示するように制御してもよい。 The display control unit 5 may perform control so that the traveling position object is displayed only on the lane line on the lane changing side.

上記では、車線変更する場合について説明したが、合流する場合についても同様である。また、本実施の形態5を実施の形態1〜4に適用することも可能である。 Although the case of changing lanes has been described above, the same applies to the case of merging. Further, the fifth embodiment can be applied to the first to fourth embodiments.

以上のことから、本実施の形態5によれば、合流または車線変更が可能な程度に応じた走行位置オブジェクトを表示している。従って、合流または車線変更するときに運転者に対して適切な運転支援を行うことが可能となる。 From the above, according to the fifth embodiment, the traveling position object according to the extent to which the vehicle can be merged or the lane can be changed is displayed. Therefore, it becomes possible to provide appropriate driving assistance to the driver when merging or changing lanes.

以上で説明した運転支援装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なPND(Portable Navigation Device)、および車両の外部に設けられるサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、運転支援装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。 The driving support device described above is not limited to the in-vehicle navigation device, that is, the car navigation device, and is appropriately combined with a PND (Portable Navigation Device) that can be mounted in the vehicle, a server provided outside the vehicle, and the like to form a system. It can also be applied to a built navigation device or a device other than the navigation device. In this case, each function or each component of the driving support device is distributed and arranged in each function that constructs the system.

具体的には、一例として、運転支援装置の機能をサーバに配置することができる。例えば、図36に示すように、ユーザ側は、撮影装置15および表示装置17を備えている。サーバ42は、自車両情報取得部2、他車両情報取得部3、オブジェクト生成部4、表示制御部5、他車両位置算出部11、他車両速度算出部12、地図情報取得部13、および全体制御部14を備えている。地図情報記憶装置16は、サーバ42が備えてもよく、サーバ42の外部に設けてもよい。このような構成とすることによって、運転支援システムを構築することができる。 Specifically, as an example, the function of the driving support device can be arranged in the server. For example, as shown in FIG. 36, the user side includes a photographing device 15 and a display device 17. The server 42 includes the own vehicle information acquisition unit 2, the other vehicle information acquisition unit 3, the object generation unit 4, the display control unit 5, the other vehicle position calculation unit 11, the other vehicle speed calculation unit 12, the map information acquisition unit 13, and the whole. The controller 14 is provided. The map information storage device 16 may be provided in the server 42 or may be provided outside the server 42. With such a configuration, a driving support system can be constructed.

このように、運転支援装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。 As described above, even with the configuration in which the respective functions of the driving support device are distributed and arranged in the respective functions for constructing the system, the same effect as that of the above-described embodiment can be obtained.

また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現される運転支援方法は、自車両の現在位置および速度を含む自車両情報を取得し、他車両の現在位置および速度を含む他車両情報を取得し、自車両が、当該自車両が走行している車線から他車両が走行している車線に合流または車線変更するとき、取得した自車両情報と、取得した他車両情報とに基づいて、自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成し、生成した走行位置オブジェクトを、自車両の進行に従って自車両の周辺の景色に重畳して表示することである。 Further, the software that executes the operation in the above-described embodiment may be incorporated in, for example, a server. The driving support method realized by the server executing this software acquires own vehicle information including the current position and speed of the own vehicle, acquires other vehicle information including the current position and speed of another vehicle, and When the vehicle merges or changes lanes from the lane in which the own vehicle is traveling to the lane in which another vehicle is traveling, the current vehicle is based on the obtained own vehicle information and the obtained other vehicle information. Generating a traveling position object indicating at least one of a traveling position and a current traveling position, and superimposing the generated traveling position object on the surrounding scenery of the vehicle as the vehicle travels. Is.

このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。 As described above, by incorporating the software that executes the operation in the above-described embodiment into the server and operating the server, the same effect as that in the above-described embodiment can be obtained.

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 It should be noted that, in the present invention, the respective embodiments can be freely combined, or the respective embodiments can be appropriately modified or omitted within the scope of the invention.

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that innumerable variants not illustrated can be envisaged without departing from the scope of the invention.

1 運転支援装置、2 自車両情報取得部、3 他車両情報取得部、4 オブジェクト生成部、5 表示制御部、6 自車両、7〜9 他車両、10 運転支援装置、11 他車両位置算出部、12 他車両速度算出部、13 地図情報取得部、14 全体制御部、15 撮影装置、16 地図情報記憶装置、17 表示装置、18 プロセッサ、19 メモリ、20 走行位置オブジェクト、21 他車両、22 加減速オブジェクト、23 仮想自車両、24 仮想他車両、25 走行位置オブジェクト、26 他車両、27,28 走行位置オブジェクト、29〜31 他車両、32,33 経路オブジェクト、34 自車両、35,36 他車両、37 走行位置オブジェクト、38 自車両、39 車線変更可能領域、40 車線変更注意領域、41 車線変更不可能領域、42 サーバ。 1 Driving Support Device, 2 Own Vehicle Information Acquisition Unit, 3 Other Vehicle Information Acquisition Unit, 4 Object Generation Unit, 5 Display Control Unit, 6 Own Vehicle, 7 to 9 Other Vehicle, 10 Driving Support Device, 11 Other Vehicle Position Calculation Unit , 12 other vehicle speed calculation unit, 13 map information acquisition unit, 14 overall control unit, 15 photographing device, 16 map information storage device, 17 display device, 18 processor, 19 memory, 20 traveling position object, 21 other vehicle, 22 addition Deceleration object, 23 virtual own vehicle, 24 virtual other vehicle, 25 traveling position object, 26 other vehicle, 27, 28 traveling position object, 29-31 other vehicle, 32, 33 route object, 34 own vehicle, 35, 36 other vehicle , 37 traveling position object, 38 own vehicle, 39 lane changeable area, 40 lane change caution area, 41 lane unchangeable area, 42 server.

Claims (14)

自車両の現在位置および速度を含む自車両情報を取得する自車両情報取得部と、
他車両の現在位置および速度を含む他車両情報を取得する他車両情報取得部と、
前記自車両が、当該自車両が走行している車線から前記他車両が走行している車線に合流または車線変更するとき、前記自車両情報取得部が取得した前記自車両情報と、前記他車両情報取得部が取得した前記他車両情報とに基づいて、前記自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成するオブジェクト生成部と、
前記オブジェクト生成部が生成した前記走行位置オブジェクトを、前記自車両の進行に従って前記自車両の周辺の景色に重畳して表示する制御を行う表示制御部と、
を備える、運転支援装置。
A vehicle information acquisition unit that acquires vehicle information including the current position and speed of the vehicle;
Other vehicle information acquisition unit that acquires other vehicle information including the current position and speed of the other vehicle,
When the own vehicle merges or changes lanes from the lane in which the own vehicle is traveling to the lane in which the other vehicle is traveling, the own vehicle information acquired by the own vehicle information acquisition unit and the other vehicle Based on the other vehicle information acquired by the information acquisition unit, an object generation unit that generates a travel position object indicating at least one of a position where the own vehicle should currently travel and a position that should not currently travel,
A display control unit that controls to display the traveling position object generated by the object generation unit by superimposing it on the scenery around the own vehicle according to the progress of the own vehicle;
A driving support device.
前記表示制御部は、前記自車両が走行している車線を構成する区画線上に前記走行位置オブジェクトを重畳して表示する制御を行うことを特徴とする、請求項1に記載の運転支援装置。 The driving support device according to claim 1, wherein the display control unit performs control to superimpose and display the traveling position object on a lane line forming a lane in which the vehicle is traveling. 前記表示制御部は、前記自車両が走行している車線上に前記走行位置オブジェクトを重畳して表示する制御を行うことを特徴とする、請求項1に記載の運転支援装置。 The driving assistance device according to claim 1, wherein the display control unit performs control to superimpose and display the traveling position object on a lane in which the vehicle is traveling. 前記オブジェクト生成部は、前記現在走行すべき位置と前記現在走行すべきでない位置とを区別した前記走行位置オブジェクトを生成することを特徴とする、請求項1に記載の運転支援装置。 The driving support apparatus according to claim 1, wherein the object generation unit generates the traveling position object that distinguishes between the current traveling position and the current traveling position. 前記オブジェクト生成部は、前記合流または前記車線変更が可能な程度に応じた前記走行位置オブジェクトを生成することを特徴とする、請求項1に記載の運転支援装置。 The driving support device according to claim 1, wherein the object generation unit generates the traveling position object according to a degree to which the merging or the lane change is possible. 前記表示制御部は、前記自車両が走行している車線を構成する区画線のうちの前記合流または前記車線変更する方向に位置する区画線上に前記走行位置オブジェクトを重畳して表示する制御を行うことを特徴とする、請求項5に記載の運転支援装置。 The display control unit performs control to superimpose and display the traveling position object on a lane line that is located in a direction in which the merging or the lane is changed among lane lines that configure the lane in which the vehicle is traveling. The driving support device according to claim 5, wherein: 前記表示制御部は、予め定められたイベントに応じて前記走行位置オブジェクトの表示または非表示の制御を行うことを特徴とする、請求項5に記載の運転支援装置。 The driving support device according to claim 5, wherein the display control unit controls display or non-display of the traveling position object according to a predetermined event. 前記オブジェクト生成部は、現在加速または減速すべきことを文字または記号で示す加減速オブジェクトを生成することを特徴とする、請求項1に記載の運転支援装置。 The driving support device according to claim 1, wherein the object generation unit generates an acceleration/deceleration object that indicates with characters or symbols that acceleration or deceleration is currently to be performed. 前記走行位置オブジェクトは、前記自車両の現在位置から前記自車両が前記合流または前記車線変更することが可能な地点までの経路を示し、
前記オブジェクト生成部は、前記地点に位置する仮想的な前記自車両である仮想自車両を示すオブジェクトを生成することを特徴とする、請求項1に記載の運転支援装置。
The traveling position object indicates a route from a current position of the own vehicle to a point where the own vehicle can merge or change the lane,
The driving support device according to claim 1, wherein the object generation unit generates an object indicating a virtual own vehicle that is the virtual own vehicle located at the point.
前記オブジェクト生成部は、前記地点で前記仮想自車両と、仮想的な前記他車両である仮想他車両とが接触していることを示すオブジェクトを生成することを特徴とする、請求項9に記載の運転支援装置。 The object generation unit generates an object indicating that the virtual own vehicle is in contact with a virtual other vehicle that is the virtual other vehicle at the point. Driving support device. 前記合流または前記車線変更することが可能な地点が複数あるとき、前記走行位置オブジェクトは、前記自車両の現在位置から各前記地点までの経路を示すことを特徴とする、請求項1に記載の運転支援装置。 The travel position object indicates a route from the current position of the own vehicle to each of the points when there are a plurality of points where the merging or the lane can be changed. Driving support device. 前記表示制御部は、前記合流または前記車線変更する車線が渋滞のときは各前記オブジェクトを表示しない制御を行い、前記渋滞のとき以外は各前記オブジェクトを表示する制御を行うことを特徴とする、請求項11に記載の運転支援装置。 The display control unit is configured to perform a control of not displaying each of the objects when the lane to be merged or the lane changing lane is congested, and a control of displaying each of the objects except when the lane is congested, The driving support device according to claim 11. 前記表示制御部は、前記自車両の後方であり、かつ前記自車両が走行している車線上に前記走行位置オブジェクトを重畳して表示する制御を行うことを特徴とする、請求項1に記載の運転支援装置。 The display control unit performs control to superimpose and display the traveling position object on a lane behind the host vehicle and on which the host vehicle is traveling. Driving support device. 自車両の現在位置および速度を含む自車両情報を取得し、
他車両の現在位置および速度を含む他車両情報を取得し、
前記自車両が、当該自車両が走行している車線から前記他車両が走行している車線に合流または車線変更するとき、前記取得した前記自車両情報と、前記取得した前記他車両情報とに基づいて、前記自車両が現在走行すべき位置および現在走行すべきでない位置のうちの少なくとも一方を示す走行位置オブジェクトを生成し、
前記生成した前記走行位置オブジェクトを、前記自車両の進行に従って前記自車両の周辺の景色に重畳して表示する制御を行う、運転支援方法。
Obtaining own vehicle information including the current position and speed of the own vehicle,
Obtain other vehicle information including the current position and speed of other vehicles,
When the own vehicle merges or changes lanes from the lane in which the own vehicle is traveling to the lane in which the other vehicle is traveling, in the obtained own vehicle information and the obtained other vehicle information, Based on, based on the vehicle, to generate a traveling position object indicating at least one of the current traveling position and the current traveling position,
A driving support method for performing control to superimpose and display the generated traveling position object on a scenery around the vehicle as the vehicle travels.
JP2020504583A 2018-03-08 2018-03-08 Driving support device and driving support method Active JP6968258B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/008970 WO2019171528A1 (en) 2018-03-08 2018-03-08 Drive assistance device and drive assistance method

Publications (2)

Publication Number Publication Date
JPWO2019171528A1 true JPWO2019171528A1 (en) 2020-07-16
JP6968258B2 JP6968258B2 (en) 2021-11-17

Family

ID=67845920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504583A Active JP6968258B2 (en) 2018-03-08 2018-03-08 Driving support device and driving support method

Country Status (4)

Country Link
US (1) US11227499B2 (en)
JP (1) JP6968258B2 (en)
DE (1) DE112018007237T5 (en)
WO (1) WO2019171528A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235576A1 (en) * 2020-05-22 2021-11-25 엘지전자 주식회사 Route provision apparatus and route provision method therefor
CN113674357B (en) * 2021-08-04 2022-07-29 禾多科技(北京)有限公司 Camera external reference calibration method and device, electronic equipment and computer readable medium
KR20230021457A (en) * 2021-08-05 2023-02-14 현대모비스 주식회사 Obstacle detecting system and method for vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281795A (en) * 1997-04-07 1998-10-23 Toyota Motor Corp Guidance display device for vehicle
JP2001134900A (en) * 1999-11-05 2001-05-18 Mitsubishi Electric Corp Safety driving support sensor
JP2005078414A (en) * 2003-09-01 2005-03-24 Denso Corp Vehicle travel support device
JP2007147317A (en) * 2005-11-24 2007-06-14 Denso Corp Route guidance system for vehicle
JP2008222153A (en) * 2007-03-15 2008-09-25 Aisin Aw Co Ltd Merging support device
WO2015079623A1 (en) * 2013-11-27 2015-06-04 株式会社デンソー Driving support device
JP2015197706A (en) * 2014-03-31 2015-11-09 株式会社デンソー Display control device for vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5070809B2 (en) * 2006-11-10 2012-11-14 アイシン精機株式会社 Driving support device, driving support method, and program
JP2008151507A (en) 2006-11-21 2008-07-03 Aisin Aw Co Ltd Apparatus and method for merge guidance
DE102014219110A1 (en) * 2014-09-23 2016-03-24 Robert Bosch Gmbh Driver assistance system for motor vehicles
JP6536340B2 (en) * 2014-12-01 2019-07-03 株式会社デンソー Image processing device
JP6439657B2 (en) * 2015-11-09 2018-12-19 株式会社デンソー Presentation control apparatus and presentation control method
JP6398957B2 (en) 2015-12-02 2018-10-03 株式会社デンソー Vehicle control device
JP6638178B2 (en) * 2017-08-29 2020-01-29 本田技研工業株式会社 Vehicle control system, vehicle control method, and program
JP6613527B2 (en) * 2017-09-05 2019-12-04 本田技研工業株式会社 Vehicle control device, vehicle control method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281795A (en) * 1997-04-07 1998-10-23 Toyota Motor Corp Guidance display device for vehicle
JP2001134900A (en) * 1999-11-05 2001-05-18 Mitsubishi Electric Corp Safety driving support sensor
JP2005078414A (en) * 2003-09-01 2005-03-24 Denso Corp Vehicle travel support device
JP2007147317A (en) * 2005-11-24 2007-06-14 Denso Corp Route guidance system for vehicle
JP2008222153A (en) * 2007-03-15 2008-09-25 Aisin Aw Co Ltd Merging support device
WO2015079623A1 (en) * 2013-11-27 2015-06-04 株式会社デンソー Driving support device
JP2015197706A (en) * 2014-03-31 2015-11-09 株式会社デンソー Display control device for vehicle

Also Published As

Publication number Publication date
DE112018007237T5 (en) 2020-12-17
WO2019171528A1 (en) 2019-09-12
US20200286385A1 (en) 2020-09-10
US11227499B2 (en) 2022-01-18
JP6968258B2 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
JP6658905B2 (en) Travel support device and computer program
JP4923647B2 (en) Driving support image display device and program
JP4661639B2 (en) Driving assistance device
JP6656359B2 (en) Parking assist display control device and parking assist display control method
JP6968258B2 (en) Driving support device and driving support method
JP6917330B2 (en) Parking support device
JP2008221973A (en) Vehicle speed controller
JP2008276642A (en) Traveling lane recognition device and traveling lane recognition method
JP2019186853A (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
US11828613B2 (en) Superimposed-image display device
JP2017033194A (en) Driving support device
US20200031227A1 (en) Display control apparatus and method for controlling display
JP2009230567A (en) Surrounding monitoring device, surrounding monitoring method, and surrounding monitoring program
JP2018149884A (en) Head-up display device and display control method
JP2006098225A (en) Navigation apparatus
JP5308810B2 (en) In-vehicle video display
JP2020101957A (en) Driving support device and method
JP2018158664A (en) Driving support device, driving support method and program
JP7571565B2 (en) Overlay image display device
JP7151461B2 (en) Driving support device and method
JP2018152652A (en) Driving support apparatus, driving support method, and program
JP2011170186A (en) Display system
JP6984341B2 (en) Superimposed image display device and computer program
JP2022110828A (en) Superimposed image display device
JP2023044949A (en) Superposed image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6968258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250