JP6639194B2 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
JP6639194B2
JP6639194B2 JP2015218628A JP2015218628A JP6639194B2 JP 6639194 B2 JP6639194 B2 JP 6639194B2 JP 2015218628 A JP2015218628 A JP 2015218628A JP 2015218628 A JP2015218628 A JP 2015218628A JP 6639194 B2 JP6639194 B2 JP 6639194B2
Authority
JP
Japan
Prior art keywords
vehicle
display area
display
risk
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015218628A
Other languages
English (en)
Other versions
JP2017091093A (ja
Inventor
佐藤 潤
潤 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015218628A priority Critical patent/JP6639194B2/ja
Priority to US15/337,593 priority patent/US10452930B2/en
Publication of JP2017091093A publication Critical patent/JP2017091093A/ja
Application granted granted Critical
Publication of JP6639194B2 publication Critical patent/JP6639194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/172Driving mode indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/188Displaying information using colour changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Instrument Panels (AREA)

Description

本開示は、情報表示装置に関する。
特許文献1には、情報表示装置が記載されている。この装置は、障害物が車両に近接するリスクを表すリスクイメージをディスプレイに表示させる。具体的には、この装置は、平面視した車両に対応する車両オブジェクトの外側にリスクに応じたリスクイメージを表示させる。リスクイメージは、車両オブジェクトに対して外側方向に突出するように表示される。リスクイメージは、リスクをイメージの大きさで表現している。このため、リスクイメージが大きくなるほどリスクが高いことを示している。
特開2015−106326号公報
ところで、車載表示器の表示領域の大きさには制限があるため、限られた範囲の表示領域で効率良く情報を提示することが要求されている。しかしながら、特許文献1記載の装置では、リスクイメージが車両オブジェクトから外側方向に突出するように表示されるため、リスクが最も大きい場合に合わせてリスクイメージの表示領域を確保する必要がある。さらに、特許文献1記載の装置は、リスクをリスクイメージの大きさで表現しているため、大きさを区別することができる程度にリスクイメージの表示領域を確保する必要がある。
本技術分野においては、車載表示器の表示領域を有効に活用することが望まれている。
本発明の一側面に係る情報表示装置は、車両の車載表示器に画像を表示させる情報表示装置であって、平面視した車両に対応する車両オブジェクトと、車両の前方に対応する車両オブジェクトの前方表示領域と、車両の後方に対応する車両オブジェクトの後方表示領域と、車両の左側に対応する車両オブジェクトの左側表示領域と、車両の右側に対応する車両オブジェクトの右側表示領域と、車両オブジェクトを囲み、前方表示領域、後方表示領域、左側表示領域及び右側表示領域を横断するように配置される円形の円オブジェクトとを車載表示器に表示させる表示制御部と、車両の周囲の物体を検出するセンサの検出結果に基づいて、車両の周囲の物体が車両に接近するリスクを示すリスク度を、前方表示領域、後方表示領域、左側表示領域及び右側表示領域ごとに算出するリスク度算出部と、リスク度算出部によって算出されたリスク度に基づいて、前方表示領域、後方表示領域、左側表示領域及び右側表示領域の表示色を決定する表示色決定部と、車両を自動運転制御する自動運転システムから自動運転制御中の車両の車線変更方向又は右左折方向を示す進行方向情報を取得する取得部と、を備え、表示制御部は、前方表示領域、後方表示領域、左側表示領域及び右側表示領域のうち少なくとも円オブジェクトの内側を表示色決定部により決定された表示色で表示させ、取得部により取得された進行方向情報に基づいて、左側表示領域及び右側表示領域のうち車両の車線変更方向又は右左折方向に対応する表示領域の少なくとも円オブジェクトの内側に車両の車線変更方向又は右左折方向を表す方向オブジェクトを表示させる。
この情報表示装置では、表示色決定部により、リスク度に基づいて前方表示領域、後方表示領域、左側表示領域及び右側表示領域の表示色が決定され、表示制御部により、前方表示領域、後方表示領域、左側表示領域及び右側表示領域のうち少なくとも円オブジェクトの内側が、決定された表示色で表示される。このように、リスクを色で表現することにより、リスクが最も大きい場合に合わせて表示領域を確保する必要がなく、さらに、大きさを区別することができる程度に表示領域を確保する必要もない。また、この装置は、リスクと車両の進行方向とを同一の表示領域を用いて報知することができる。よって、この装置は車載表示器の表示領域を有効に活用することができる。
一実施形態において、左側表示領域及び右側表示領域のそれぞれは、前方表示領域よりも大きくてもよい。これにより、この装置は、車両前方よりも運転者に視認されにくい車両右側及び車両左側のリスクを、車両前方のリスクよりも優先的に報知することができる。
本発明の一側面及び実施形態によれば、車載表示器の表示領域を有効に活用することができる。
第1実施形態に係る情報表示装置を備える車両の構成を説明するブロック図である。 車両のセンサの位置の一例である。 図1に示す情報表示装置によって表示されたオブジェクトの一例である。 図3に示すオブジェクトを説明する図である。 図1に示す情報表示装置の表示制御処理のフローチャートである。 第2実施形態に係る情報表示装置を備える車両の構成を説明するブロック図である。 図6に示す情報表示装置によって表示されたオブジェクトの一例である。 図7に示すオブジェクトを説明する図である。 図6に示す自動運転ECUの自動運転制御のフローチャートである。 図9に示す方向オブジェクトの変形例を説明する図である。 オブジェクトの変形例を説明する図である。
以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
(第1実施形態)
図1は、第1実施形態に係る情報表示装置を備える車両の構成を説明するブロック図である。図1に示すように、情報表示装置1は、乗用車などの車両2に搭載される。情報表示装置1は、後述するディスプレイ装置(車載表示器)40に画像を表示させることにより、乗員に対して車両2の周囲の物体が車両2に接近するリスクを報知する。以下では、乗員が運転者である場合を一例として説明する。
車両2は、外部センサ20、ECU(Electronic Control Unit)30、ディスプレイ装置40及び表示パーツ記憶部50を備えている。外部センサ20、ECU30、ディスプレイ装置40及び表示パーツ記憶部50は、CAN(Controller Area Network)通信回路を用いて通信するネットワークにそれぞれ接続され、相互通信を行うことができる。
最初に、外部センサ20を説明する。外部センサ20は、車両2の周囲の物体を検出する検出器である。物体とは、有体物であり、先行車、歩行者、ガードレールなどの静止物などである。外部センサ20の一例として、ライダー(LIDAR:Laser Imaging Detection and Ranging)が用いられる。ライダーは、レーザ光を利用して車両2の周囲の物体を検出する。具体的な一例として、ライダーは、車両2の周囲の放射範囲内にレーザ光を送信する。放射範囲内にレーザ光を反射する物体が存在する場合には、ライダーは反射光を取得する。ライダーは、放射したレーザ光が反射光として戻るまでの時間に基づいて、車両2と物体との相対距離を検知する。ライダーは、反射光の周波数変化に基づいて車両2と物体との相対速度を検知する。ライダーは、反射光の角度に基づいて物体の方向を検知する。ライダーは、検出結果をECU30へ送信する。検出結果とは、ライダーの検出動作により得られる情報であり、上述した相対距離、相対速度及び方向を少なくとも含む。
次に、ライダーの取り付け位置を説明する。図2は、車両2のセンサの位置の一例である。図2に示されるように、車両2には、外部センサ20として複数のライダーが取り付けられている。車両2は、前方ライダー201、後方ライダー202、左前方ライダー203、左後方ライダー204、右前方ライダー205及び右後方ライダー206を備えている。前方ライダー201は、車両2の前端部の車幅方向中央に設けられ、車両2の前方の放射範囲Q1にミリ波を放射する。前方ライダー201は、車両2の後端部の車幅方向中央に設けられ、車両2の後方の放射範囲Q2にミリ波を放射する。左前方ライダー203は、車両2の前端部の左端に設けられ、車両2の左前方の放射範囲Q3にミリ波を放射する。左後方ライダー204は、車両2の後端部の左端に設けられ、車両2の左後方の放射範囲Q4にミリ波を放射する。右前方ライダー205は、車両2の前端部の右端に設けられ、車両2の右前方の放射範囲Q5にミリ波を放射する。右後方ライダー206は、車両2の後端部の右端に設けられ、車両2の右後方の放射範囲Q6にミリ波を放射する。
このように、車両2の前方は、前方ライダー201によって監視される。車両2の後方は、後方ライダー202によって監視される。車両2の左前方は、左前方ライダー203によって監視される。車両2の左後方は、左後方ライダー204によって監視される。車両2の右前方は、右前方ライダー205によって監視される。車両2の右後方は、右後方ライダー206によって監視される。車両2の左側方は、左前方ライダー203及び左後方ライダー204によって監視される。車両2の右側方は、右前方ライダー205及び右後方ライダー206によって監視される。よって、車両2の周囲の八方向は、外部センサ20によって監視される。
次に、ECU30の構成を説明する。ECU30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、CAN(Controller Area Network)通信回路などを有する電子制御ユニットである。ECU30は、CPUが出力する信号に基づいてハードウェアを制御し、後述するECU30の構成要素の機能を実現する。より具体的な動作の一例としては、ECU30は、CAN通信回路を動作させてデータを入出力し、入力データをRAMに記憶し、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行する。ECU30は、ディスプレイ装置40を制御する。
次に、ディスプレイ装置40を説明する。ディスプレイ装置40は、車載され、画像を表示領域に表示する表示器である。画像は、表示領域に表示される像である。ディスプレイ装置40は、ECU30により制御され、画像を表示領域に表示する。ディスプレイ装置40として、色を表示可能な表示器が用いられる。ディスプレイ装置40の一例として、ヘッドアップディスプレイが用いられる。ヘッドアップディスプレイとは、車両2の運転者の視野に対して情報を重ね合わせる表示器である。ヘッドアップディスプレイは、車両2のインストルメントパネル内に設置された映写部を有する。映写部は、インストルメントパネルに設けた開口部を介してフロントウィンドシールドの内側の反射面に画像を照射する。運転者は、反射面の反射に基づいて画像を視認することができる。ヘッドアップディスプレイの表示領域は、フロントウィンドシールドに予め設定された領域であり、画像を照射する範囲である。
図3は、図1に示す情報表示装置1によって表示されたオブジェクトの一例である。図3においては、フロントウィンドシールドGの一部が図示されている。フロントウィンドシールドGには、ヘッドアップディスプレイの表示領域Dが設定されている。表示領域Dには、状況通知オブジェクトA1が表示されている。状況通知オブジェクトA1とは、車両2の周囲の状況を通知するためのオブジェクトである。オブジェクトとは、像として表示される物体である。具体的な一例として、オブジェクトは、文字、記号、線、図又はこれらの組み合わせである。車両2の周囲の状況には、車両2の周囲の物体が車両2に接近するリスクが含まれる。車両2の周囲の物体とは、他車両や歩行者などである。運転者は、実景とともにフロントウィンドシールドGの表示領域Dに表示された状況通知オブジェクトA1を視認することができる。
図4は、図3に示すオブジェクトを説明する図である。図4に示すように、状況通知オブジェクトA1は、車両オブジェクトA2、円オブジェクトA3、及び、放射線オブジェクトB1〜B8を含む。車両オブジェクトA2は、平面視した車両2に対応する像である。図4において、車両オブジェクトA2は長方形である。車両オブジェクトA2は、上下方向に長い長方形であり、画面の上下方向が車両2の前後方向に対応し、画面の左右方向が車両2の左右方向に対応している。円オブジェクトA3は、円形であり、車両オブジェクトA2を囲むように配置されている。円オブジェクトA3は、その内側の中心に車両オブジェクトA2の中心が位置するように配置される。円オブジェクトA3には、等間隔で目盛が付されている。目盛により、放射線オブジェクトB1〜B8の位置を視認しやすくなり、後述する車両オブジェクトA2の周囲を囲む八つの表示領域の境界の幅がわかりやすいという視覚的効果を生じさせている。
放射線オブジェクトB1〜B8は、車両オブジェクトA2から外側に向けて延在している。図4では、車両オブジェクトA2において、車両2の前側の左端部に対応する部分から2本の放射線オブジェクトB1及びB8が延在している。車両オブジェクトA2における車両2の前側の右端部に対応する部分から、2本の放射線オブジェクトB2及びB3が延在している。車両オブジェクトA2における車両2の後側の右端部に対応する部分から、2本の放射線オブジェクトB4及びB5が延在している。車両オブジェクトA2における車両2の後側の左端部に対応する部分から、2本の放射線オブジェクトB6及びB7が延在している。放射線オブジェクトB1〜B8は、円オブジェクトA3よりも外側まで伸びている。
車両オブジェクトA2の上下方向に延びる放射線オブジェクトB1,B2,B5及びB6は同一の長さである。車両オブジェクトA2の左右方向に延びる放射線オブジェクトB3,B4,B7及びB8は同一の長さである。放射線オブジェクトB1〜B8は対称に配置されている。そして、放射線オブジェクトB1〜B8のそれぞれの端部は、仮想四角形C1上に配置されている。これにより、意匠性に優れたオブジェクトになる。
放射線オブジェクトB1〜B8は、仮想四角形C1を八区分している。車両オブジェクトA2の上側には、放射線オブジェクトB1,B2及び仮想四角形C1で囲まれた前方表示領域R1が形成されている。前方表示領域R1は、車両2の前方に対応する表示領域である。車両オブジェクトA2の下側には、放射線オブジェクトB5,B6及び仮想四角形C1で囲まれた後方表示領域R5が形成されている。後方表示領域R5は、車両2の後方に対応する表示領域である。車両オブジェクトA2の左側には、放射線オブジェクトB7,B8及び仮想四角形C1で囲まれた左側表示領域R7が形成されている。左側表示領域R7は、車両2の左側に対応する表示領域である。車両オブジェクトA2の右側には、放射線オブジェクトB3,B4及び仮想四角形C1で囲まれた右側表示領域R3が形成されている。右側表示領域R3は、車両2の右側に対応する表示領域である。左側表示領域R7及び右側表示領域R3のそれぞれは、前方表示領域R1よりも大きい。
車両オブジェクトA2の左上側には、放射線オブジェクトB1,B8及び仮想四角形C1で囲まれた左上方表示領域R8が形成されている。左上方表示領域R8は、車両2の左前方に対応する表示領域である。車両オブジェクトA2の右上側には、放射線オブジェクトB2,B3及び仮想四角形C1で囲まれた右上方表示領域R2が形成されている。右上方表示領域R2は、車両2の右前方に対応する表示領域である。車両オブジェクトA2の左下側には、放射線オブジェクトB6,B7及び仮想四角形C1で囲まれた左下方表示領域R6が形成されている。左下方表示領域R6は、車両2の左後方に対応する表示領域である。車両オブジェクトA2の右下側には、放射線オブジェクトB4,B5及び仮想四角形C1で囲まれた右下方表示領域R4が形成されている。右下方表示領域R4は、車両2の右後方に対応する表示領域である。
このように、車両オブジェクトA2の周囲を囲む八つの表示領域は、仮想四角形C1を複数の放射線オブジェクトで区分することで形成されている。このため、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4のそれぞれの外縁は、仮想四角形C1の外縁に一致する。つまり、車両オブジェクトA2の周囲を囲む八つの表示領域は大きさが固定された不変の領域である。また、複数の放射線オブジェクトが円オブジェクトA3の外側まで延びているので、円オブジェクトA3は、車両オブジェクトA2を囲みつつ、車両オブジェクトA2の周囲を囲む八つの表示領域を横断している。
車両オブジェクトA2の周囲を囲む八つの表示領域それぞれは、ECU30の制御により、所定の表示色で表示される。より詳細には、車両オブジェクトA2の周囲を囲む八つの表示領域のうち少なくとも円オブジェクトA3の内側が、所定の表示色で表示される。以下、ECU30の機能について説明する。図1に示すように、ECU30は、リスク度算出部301、表示色決定部302及び表示制御部303を備えている。
最初に、リスク度算出部301を説明する。リスク度算出部301は、車両2の周囲の物体が車両2に接近するリスクを示すリスク度を算出する。リスク度とは、車両2の周囲の物体が車両2に接近するリスクを表す指標である。具体的な一例として、リスク度が大きいほど、車両2の周囲の物体が車両2に接近するリスクが大きいことを示す。
リスク度算出部301の入力を説明する。リスク度算出部301は、外部センサ20の検出結果を取得する。リスク度算出部301は、前方ライダー201、後方ライダー202、左前方ライダー203、左後方ライダー204、右前方ライダー205及び右後方ライダー206のそれぞれから、検出結果を取得する。
リスク度算出部301の算出及び出力を説明する。リスク度算出部301は、外部センサ20の検出結果に基づいて、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4ごとに、リスク度を算出する。リスク度算出部301は、最初に物体ごとに処理を行う。リスク度算出部301は、物体との相対距離を相対速度で除算することにより、車両2が物体と接触するまでの残り時間を算出する。リスク度算出部301は、残り時間が少ないほどリスク度を大きく算出する。具体的な一例として、リスク度算出部301は、残り時間の逆数をリスク度とする。
そして、リスク度算出部301は、外部センサ20の検出結果に基づいて、物体が接近してくる接近方向を取得する。具体的な一例として、リスク度算出部301は、接近方向が前方である物体についてのリスク度は車両2の前方に関連したリスク度であると判定する。つまり、リスク度算出部301は、リスク度を算出するとともに、物体が接近してくる方向に基づいてリスク度と車両2の周囲の方向とを対応付ける。そして、リスク度算出部301は、リスク度に対応付けられた周囲の方向を用いて、リスク度と表示領域とを対応付ける。対応付けられた周囲の方向が前方である場合には、リスク度算出部301は、算出されたリスク度と前方表示領域R1とを対応付ける。対応付けられた周囲の方向が後方である場合には、リスク度算出部301は、算出されたリスク度と後方表示領域R5とを対応付ける。対応付けられた周囲の方向が左前方、左側、左後方、右前方、右側、右後方の場合も、前方及び後方の場合と同様に、それぞれリスク度と表示領域とが対応付けられる。
複数の物体の近接方向が同一である場合、リスク度算出部301は、複数の物体それぞれのリスク度を加算し、車両の周囲の方向と関連付ける。具体的な一例として、物体O1と物体O2が前方から車両2の方向へ近接している場合には、物体O1のリスク度と物体O2のリスク度とを加算した総リスク度を、車両2の前方に関連したリスク度であると判定する。この場合、リスク度算出部301は、総リスク度と前方表示領域R1とを対応付ける。
上述した方法でリスク度と表示領域とを対応付けた場合、物体が接近してこない方向のリスク度は算出されないため、リスク度算出部301は、物体が接近してこない方向に対応する表示領域と、リスクが無い旨を示すリスク度とを対応付ける。具体的な一例として、リスク度算出部301は、物体が接近してこない方向に対応する表示領域と最も低い値のリスク度とを対応付ける。このようにして、リスク度算出部301は、全ての表示領域とリスク度とを対応付ける。リスク度算出部301は、対応付けの結果を出力する。
次に、表示色決定部302を説明する。表示色決定部302は、リスク度算出部301の対応付けの結果に基づいて、表示領域ごとに表示色を決定する。表示色とは、ディスプレイ装置40により表示される色のことである。表示色決定部302は、表示領域ごとに対応付けられたリスク度に基づいて、表示領域ごとに表示色を決定する。具体的な一例として、リスク度の数値範囲と表示色とを関連付けした色テーブルがECU30の記憶部に格納されている。色テーブルにおいて、リスク度の値が第1リスク度U〜第2リスク度Xの範囲と青色とが関連付けられ、リスク度の値が第3リスク度X〜第4リスク度Yの範囲と黄色とが関連付けられ、リスク度の値が第5リスク度Y〜第6リスク度Zの範囲と赤色とが関連付けられている。表示色決定部302は、色テーブルを参照し、リスク度の大きさに基づいて表示領域ごとに表示色を決定する。表示色決定部302は、表示領域ごとの表示色を示す情報を出力する。
次に、表示制御部303を説明する。表示制御部303は、車両オブジェクトA2、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4をディスプレイ装置40であるヘッドアップディスプレイに表示させる。
表示制御部303は、表示パーツ記憶部50を参照して画像のパーツを取得する。表示パーツ記憶部50は、ディスプレイ装置40の表示領域に表示される画像のパーツが格納された記憶部である。パーツの一例としては、図3に示す状況通知オブジェクトA1を構成するオブジェクトである。状況通知オブジェクトA1を構成するオブジェクトとしては、平面視した車両2に対応する車両オブジェクトA2、及び、車両2の周囲の範囲を区画する放射線オブジェクトB1〜B8が挙げられる。
表示制御部303は、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4を表示色決定部302により決定された表示色で表示させる。これにより、車両オブジェクトA2の周囲を囲む八つの表示領域R1〜R8には、リスクに応じた表示色が付与されることになる。なお、表示制御部303は、車両オブジェクトA2の周囲を囲む八つの表示領域R1〜R8のうち少なくとも円オブジェクトA3の内側を決定された表示色で表示させる。具体的には、表示制御部303は、前方表示領域R1であって円オブジェクトA3の内側の領域R11、後方表示領域R5であって円オブジェクトA3の内側の領域R15、左側表示領域R7であって円オブジェクトA3の内側の領域R17、右側表示領域R3であって円オブジェクトA3の内側の領域R13、左上方表示領域R8であって円オブジェクトA3の内側の領域R18、右上方表示領域R2であって円オブジェクトA3の内側の領域R12、左下方表示領域R6であって円オブジェクトA3の内側の領域R16、右下方表示領域R4であって円オブジェクトA3の内側の領域R14を決定された表示色で表示させる。そして、表示制御部303は、各表示領域R1〜R8のうちの円オブジェクトA3の外側の領域については、外側に向かうに連れて除々に透明度を高くしたグラデーションとして表示させる。
上述した、リスク度算出部301、表示色決定部302、表示制御部303及びディスプレイ装置40によって情報表示装置1が構成されている。
次に、情報表示装置1の動作を説明する。図5は、情報表示装置1の表示制御処理のフローチャートである。図5に示す表示制御処理は、イグニッションONのタイミングでECU30によって開始される。
図5に示すように、情報表示装置1のリスク度算出部301は、物体検出結果取得処理(S10)として、外部センサ20の検出結果を取得する。具体的な一例として、リスク度算出部301は、物体と車両2との相対距離及び相対速度、並びに物体の方向を取得する。
次に、情報表示装置1のリスク度算出部301は、リスク算出処理(S12)として、表示領域ごとにリスク度を算出する。リスク度算出部301は、物体検出結果取得処理(S10)で取得された外部センサ20の検出結果に基づいて、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4のそれぞれのリスク度を算出する。
次に、情報表示装置1の表示色決定部302は、表示色処理(S14)として、表示領域ごとに表示色を決定する。表示色決定部302は、表示色処理(S14)として、リスク算出処理(S12)で算出された表示領域ごとのリスク度に基づいて、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4のそれぞれの表示色を決定する。具体的な一例として、表示色決定部302は、ECU30の記憶部に格納された色テーブルを参照して表示色を決定する。
次に、情報表示装置1の表示制御部303は、表示制御処理(S16)として、前方表示領域R1、後方表示領域R5、左側表示領域R7、右側表示領域R3、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6及び右下方表示領域R4のうち少なくとも円オブジェクトA3の内側を、表示色処理(S14)にて決定された表示色で表示させる。
表示制御処理(S16)が終了した場合、図5に示す制御処理を終了する。そして、情報表示装置1は、イグニッションONの場合、スタートから処理を再度開始する。情報表示装置1は、イグニッションOFFの場合、スタートから処理を再度開始しない。
上述したように、第1実施形態に係る情報表示装置1によれば、表示色決定部302により、リスク度に基づいて前方表示領域R1、後方表示領域R5、左側表示領域R7及び右側表示領域R3の表示色が決定され、表示制御部303により、前方表示領域R1、後方表示領域R5、左側表示領域R7及び右側表示領域R3のうち少なくとも円オブジェクトA3の内側が、決定された表示色で表示される。このように、リスクを色で表現することにより、リスクが最も大きい場合に合わせて表示領域を確保する必要がなく、さらに、大きさを区別することができる程度に表示領域を確保する必要もない。つまり、情報表示装置1は、オブジェクトの大きさでリスクを表現する場合と比べて、リスクを報知するために必要な表示領域を小さくすることができる。よって、情報表示装置1はディスプレイ装置40の表示領域Dを有効に活用することができる。
また、第1実施形態に係る情報表示装置1によれば、左側表示領域R7及び右側表示領域R3のそれぞれは、前方表示領域R1よりも大きい。つまり、左側表示領域R7及び右側表示領域R3のそれぞれの表示面積が前方表示領域R1よりも大きい。これにより、情報表示装置1は、車両前方よりも運転者に視認されにくい車両右側及び車両左側のリスクを、車両前方のリスクよりも優先的に報知することができる。
(第2実施形態)
第2実施形態に係る情報表示装置1Aは、第1実施形態に係る情報表示装置1と比較して、車両2Aの車線変更方向又は右左折方向を表す方向オブジェクトA5(図8及び図9参照)、及び、車両2Aの行動計画を示すテキストオブジェクトA6(図8及び図9参照)を表示する点が相違する。以下では、第1実施形態と同一の構成要素については同一の符号を用い、重複する説明は省略する。
最初に、情報表示装置1Aの構成について説明する。図6は、情報表示装置1Aを備える車両2Aの構成を説明するブロック図である。図6に示すように、車両2Aは、第1実施形態に係る車両2と比較して、車両2Aを自動運転制御する自動運転システム100を備える点、及び、ECU30Aが取得部304を備える点が相違する。さらに、表示パーツ記憶部50Aが記憶する表示パーツの種類が表示パーツ記憶部50と比較して増えている。
自動運転システム100は、外部センサ20、地図データベース21、内部センサ22及びGPS(Global Positioning System)受信機23、自動運転ECU31及びアクチュエータ41を備える。
地図データベース21は、地図情報を備えたデータベースである。地図データベース21は、車両2Aに搭載された記憶部に格納されている。地図情報には、道路の位置情報、道路形状の情報(カーブ、直線部の種別、カーブの曲率など)、交差点及び分岐点の位置情報、及び建物の位置情報などが含まれる。
内部センサ22は、車両2Aの走行状態を検出する検出器である。内部センサ22は、車速センサ、加速度センサ及びヨーレートセンサを含む。車速センサは、車両2Aの速度を検出する検出器である。車速センサの一例としては、車両2Aの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車両2Aの車速情報を自動運転ECU31に送信する。加速度センサは、車両2Aの加速度を検出する検出器である。加速度センサは、車両2Aの前後方向の加速度を検出する前後加速度センサと、車両2Aの横加速度を検出する横加速度センサとを含む。加速度センサは、検出した車両2Aの加速度情報を自動運転ECU31に送信する。ヨーレートセンサは、車両2Aの重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサの一例として、ジャイロセンサが用いられる。ヨーレートセンサは、検出した車両2Aのヨーレート情報を自動運転ECU31へ送信する。
GPS受信機23は、3個以上のGPS衛星から信号を受信することにより、車両2Aの位置を測定する。位置の具体的な一例としては、緯度及び経度である。GPS受信機23は、測定した車両2Aの位置情報を自動運転ECU31へ送信する。
アクチュエータ41は、車両2Aの走行制御を実行する装置である。アクチュエータ41は、エンジンアクチュエータ、ブレーキアクチュエータ及び操舵アクチュエータを含む。エンジンアクチュエータは、自動運転ECU31からの制御信号に応じてエンジンに対する空気の供給量を変更することで、車両の駆動力を制御する。具体的な一例として、エンジンアクチュエータは、スロットル開度を変更することで車両の駆動力を制御する。なお、エンジンアクチュエータは、車両2Aがハイブリッド車又は電気自動車である場合には、動力源としてのモータの駆動力を制御する。ブレーキアクチュエータは、自動運転ECU31からの制御信号に応じてブレーキシステムを制御し、車両2Aの車輪へ付与する制動力を制御する。ブレーキシステムとしては、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、自動運転ECU31からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両2Aの操舵トルクを制御する。
自動運転ECU31は、CPU、ROM、RAM、CAN通信回路などを有する電子制御ユニットである。自動運転ECU31は、CPUが出力する信号に基づいてハードウェアを制御し、後述する自動運転ECU31の機能を実現する。より具体的な動作の一例としては、自動運転ECU31は、CAN通信回路を動作させてデータを入出力し、入力データをRAMに記憶し、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行する。
自動運転ECU31は、地図データベース21を参照可能に構成されている。自動運転ECU31は、外部センサ20、内部センサ22及びGPS受信機23に接続され、情報を取得する。自動運転ECU31は、アクチュエータ41に接続され、アクチュエータ41を制御して車両2Aの自動運転制御を行う。自動運転制御とは、車両2Aが走行する道路に沿って自動で車両2Aを走行させる制御をいう。自動運転制御には、自動操舵と自動速度調整とが含まれる。自動操舵は、車両2Aの操舵を自動で行う制御である。自動速度調整は、車両2Aの速度を自動で調整する制御である。自動運転ECU31は、後述のとおり、車両2Aの行動を計画して自動運転制御を行う。自動運転ECU31は、車両2Aの行動の計画に車線変更又は右左折が含まれる場合、進行方向情報をECU30Aへ出力する。進行方向情報とは、車両2Aの進行方向を示す情報である。具体的な一例としては、進行方向情報は、車両2Aの車線変更方向又は右左折方向を示す情報である。進行方向情報は、行動の計画に基づいて生成することができる。
ECU30Aは、取得部304を備えている。取得部304は、車両2Aを自動運転制御する自動運転システム100から自動運転制御中の車両2Aの車線変更方向又は右左折方向を示す進行方向情報を取得する。取得部304は、取得した情報を表示制御部303Aへ出力する。
表示制御部303Aは、取得部304により取得された進行方向情報に基づいて、左側表示領域R7及び右側表示領域R3のうち車両2Aの車線変更方向又は右左折方向に対応する表示領域を判定する。表示制御部303Aは、進行方向情報が右方向への車線変更又は右折である場合には、対応する表示領域は右側表示領域R3であると判定する。表示制御部303Aは、進行方向情報が左方向への車線変更又は左折である場合には、対応する表示領域は左側表示領域R7であると判定する。そして、表示制御部303Aは、決定した表示領域に方向オブジェクトA5(図8及び図9参照)を表示させる。方向オブジェクトA5とは、車両2Aの進行方向を示すオブジェクトである。具体的な一例としては、方向オブジェクトは、車両2Aの車線変更方向又は右左折方向を表すオブジェクトである。方向オブジェクトA5は、文字、記号、図形又はこれらの組み合わせである。
表示制御部303Aは、取得部304により取得された進行方向情報に基づいて、計画に含まれている行動が車線変更であるか右左折であるかを判定する。表示制御部303Aは、計画に含まれている行動が車線変更である場合には、車線変更を行う旨を示すテキストオブジェクトA6を表示させる。表示制御部303Aは、計画に含まれている行動が右左折である場合には、右左折を行う旨を示すテキストオブジェクトを表示させる。テキストオブジェクトとは、テキスト表示のオブジェクトである。
以下では、右側に車線変更する場合を一例として説明する。図7は、情報表示装置1Aによって表示されたオブジェクトの一例である。図7においては、フロントウィンドシールドGの一部が図示されている。フロントウィンドシールドGには、ヘッドアップディスプレイの表示領域Dが設定されている。表示領域Dには、状況通知オブジェクトA1及びテキストオブジェクトA6が表示されている。状況通知オブジェクトA1には、方向オブジェクトA5が重ねて表示されている。また、状況通知オブジェクトA1には、テキストオブジェクトA6の一部が重ねて表示されている。運転者は、実景とともにフロントウィンドシールドGの表示領域Dに表示された状況通知オブジェクトA1、方向オブジェクトA5及びテキストオブジェクトA6を視認することができる。
図8は、図7に示すオブジェクトを説明する図である。状況通知オブジェクトA1は、図3に示す状況通知オブジェクトA1と同一である。図中では、右側表示領域R3に方向オブジェクトA5が表示されている。方向オブジェクトA5は、ここでは右方向への矢印の図形として表示されている。運転者は、方向オブジェクトA5によって直感的に車両2Aが右側へ進行することを理解することができる。運転者は、テキストオブジェクトA6を確認し、車両2Aが右側へ進行することを明確に理解することができる。
表示パーツ記憶部50Aは、表示パーツ記憶部50が記憶している画像のパーツだけでなく、方向オブジェクトA5及びテキストオブジェクトA6を記憶している。第2実施形態に係る情報表示装置1Aのその他の構成は、第1実施形態に係る情報表示装置1と同一である。
次に、自動運転ECU31の自動運転制御について説明する。図9は、自動運転ECU31の自動運転制御のフローチャートである。図9に示すフローチャートは、自動運転開始の運転者指示を受け付けた場合に開始される。
最初に、自動運転ECU31は、自己位置推定処理(S20)として、GPS受信機23により測定された車両2Aの位置情報と地図データベース21の地図情報とに基づいて、車両2Aの地図上の位置を認識する。自動運転ECU31は、車両2Aの地図上の位置を認識することで、車両2Aの進路に分岐や合流地点が存在することを認識する。
自動運転ECU31は、物体検知処理(S22)として、外部センサ20の検出結果に基づいて、車両2Aの周囲の物体(先行車含む)の有無、物体の大きさ、物体と車両2Aとの相対速度及び相対距離、並びに、物体の方向を検知する。さらに、自動運転ECU31は、外部センサ20の検出結果に基づいて、車両2Aの周囲に車線変更できるスペースの有無を認識する。
自動運転ECU31は、物体トラッキング処理(S24)として、物体検知処理(S22)にて検知された物体を追跡する。自動運転ECU31は、物体検知処理(S22)を連続して行い、時系列で得られた外部センサ20の検出結果に基づいて物体が動的物体であるか否かを判定する。そして、自動運転ECU31は、時系列で得られた外部センサ20の検出結果に基づいて物体を追跡する。
自動運転ECU31は、動的物体の動き予測処理(S26)として、物体トラッキング処理(S24)によって物体が動的物体であると判定した場合、時系列で得られた外部センサ20の検出結果に基づいて、動的物体の行動を予測する。自動運転ECU31は、時系列で得られた外部センサ20の検出結果を用いて、動的物体が車線変更できるスペースに移動しないこと、及び、動的物体が減速することなどを予測する。
自動運転ECU31は、パス及び車速決定処理(S28)として、動的物体の動き予測処理(S26)によって予測された動的物体の行動に基づいて、車両2Aの行動を計画する。具体的な一例として、自動運転ECU31は、車両2Aのパス及び目標速度を決定する。パスとは、車両2Aの目標走行軌跡である。自動運転ECU31は、動的物体の動き予測処理(S26)にて動的物体が車線変更できるスペースに移動しないこと、及び、動的物体が減速することを予測した場合には、スペースへ車線変更するパスを生成する。
自動運転ECU31は、パスを生成した場合、進行方向情報をECU30Aへ出力する。これにより、ECU30Aは、進行方向情報に基づいて表示パーツ記憶部50Aを参照し、方向オブジェクトA5及びテキストオブジェクトA6を選択する。さらに、ECU30Aは、進行方向情報に基づいて方向オブジェクトA5を表示する表示領域を決定する。これにより、表示領域Dに方向オブジェクトA5及びテキストオブジェクトA6を表示させることができる。
自動運転ECU31は、アクチュエータ作動処理(S30)として、パス及び車速決定処理(S28)にて決定されたパスを実現するようにアクチュエータ41を動作させる。自動運転ECU31は、アクチュエータ作動処理(S30)が終了した場合、図9に示す制御処理を終了する。そして、自動運転ECU31は、自動運転終了の運転者指示を受け付けていない場合には、スタートから処理を再度開始する。自動運転ECU31は、自動運転終了の運転者指示を受け付けている場合には、スタートから処理を再度開始しない。
以上、第2実施形態に係る情報表示装置1Aは、リスクと車両2Aの進行方向とを同一の表示領域(図7及び図8の例では右側表示領域R3)を用いて報知することができるので、ディスプレイ装置40の表示領域Dを有効に活用することができる。
本発明は、上述した実施形態に基づいて、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。また、上述した実施形態に記載されている技術的事項を利用して、下記の実施例の変形例を構成することも可能である。各実施形態の構成を適宜組み合わせて使用してもよい。
[表示又は表示処理の変形例]
図10は、第2実施形態の方向オブジェクトA5の変形例を説明する図である。図10の(A)に示すように、方向オブジェクトA5は矢印の図形であってもよい。図10の(B)に示すように、方向オブジェクトA5は「R」という文字であってもよい。図10の(C)に示すように、方向オブジェクトA5は文字及び図形からなるオブジェクトであってもよい。
図11は、状況通知オブジェクトA1の変形例を説明する図である。変形例の状況通知オブジェクトA4は、第1実施形態の状況通知オブジェクトA1と比較して、色表示する領域が円オブジェクトA3の内部(内側)に限定されている点が相違する。状況通知オブジェクトA4においては、前方表示領域R1における表示領域R11、後方表示領域R5における表示領域R15、左側表示領域R7における表示領域R17、右側表示領域R3における表示領域R13、左上方表示領域R8における表示領域R18、右上方表示領域R2における表示領域R12、左下方表示領域R6における表示領域R16及び右下方表示領域R4における表示領域R14の表示色がリスク度に対応している。変形例の状況通知オブジェクトA4を用いた場合であっても、情報表示装置1はディスプレイ装置40の表示領域Dを有効に活用することができる。また、変形例の状況通知オブジェクトA4と、第2実施形態の方向オブジェクトA5又はテキストオブジェクトA6を組み合わせてもよい。
上述した実施形態において、状況通知オブジェクトA1は、円オブジェクトA3を含んでいなくてもよい。つまり、状況通知オブジェクトA1は、車両オブジェクトA2と放射線オブジェクトB1〜B8とで形成されていてもよい。また、放射線オブジェクトB1〜B8は、センサの検出範囲に対応するように設けてもよいし、センサの検出範囲に応じて動的に位置を変更してもよい。
上述した実施形態又は変形例において、車両オブジェクトA2は、長方形に限定されるものではなく、平面視した車両2を表現するものであれば何でもよい。具体的な一例としては、車両オブジェクトA2は、正方形、楕円又は円であってもよいし、平面視した車両2の外観形状を表現したオブジェクトであってもよい。
上述した実施形態又は変形例において、仮想四角形C1は、車両2の前方、後方、左右の側方の少なくとも4区分に区画されていてもよい。表示制御部303は、車両2の前方、後方、左右の側方の少なくとも4区分の色表示を制御してもよい。表示制御部303は、仮想四角形C1が8区分や6区分であったとしても車両2の前方、後方、左右の側方の4区分のみの表示色を制御するようにしてもよい。
上述した実施形態又は変形例において、表示色決定部302は、色テーブルを用いることなく、表示色を決定してもよい。このような一例としては、表示色決定部302がリスク度と画素値との変換式を用いて表示色を決定する場合が挙げられる。
上述した実施形態又は変形例において、表示制御部303,303Aは、表示領域ごとの表示色の変更タイミングを同一としてもよい。このように、表示の変更タイミングを揃えることで、運転者に理解しやすい報知とすることができる。
上述した第2実施形態において、表示制御部303Aは、テキストオブジェクトA6を表示しなくてもよい。また、上述した第2実施形態において、方向オブジェクトA5を左側表示領域R7及び右側表示領域R3だけでなく、前方表示領域R1、後方表示領域R5、左上方表示領域R8、右上方表示領域R2、左下方表示領域R6又は右下方表示領域R4に表示するようにしてもよい。
リスク度算出部301のリスク度の算出方法は、上述した実施形態に記載の手法に限定されない。例えば、車両の周囲を複数の領域に分割し、検知した物体と領域との重なりを被覆率として算出し、被覆率が大きいほどリスク度を大きく算出してもよい。
[構成の変形例]
上述した実施形態において、外部センサ20は、レーザ光を出力するライダーに限定されない。外部センサ20は、カメラセンサ又は電波を出力するレーダーであってもよい。また、車両2は、外部センサ20としてのレーダー、カメラセンサ及びライダーを重複して備えてもよい。
カメラセンサは、車両2の外部状況を撮像する画像素子と、画像に基づく物体認識を行う演算部からなる。画像素子は、車両2のフロントガラスの裏側に設けられ、車両2の前方又は後方の外部状況を撮像する。演算部は、画素の特徴量に基づいて物体の位置及び大きさを認識し、連続撮像された画像間の特徴量に基づいて物体と車両2との相対距離及び相対速度を認識する。レーダーは、ミリ波などの電波を利用して車両2の外部の障害物を検出する。レーダーは、ミリ波を車両2の周囲に送信し、障害物で反射された反射波を受信することで物体と車両2との相対距離及び相対速度を計測する。
上述した実施形態と同様に、外部センサ20としてセンサカメラ又はレーダーを採用した場合であっても、リスク度算出部301はリスク度を算出することができ、表示制御部303は状況通知オブジェクトA1の表示色をリスク度に応じて変更することができる。これにより、ディスプレイ装置40の表示領域が有効に活用される。また、外部センサ20の取り付け位置は、上述した実施形態に限定されず、ルーフサイドレール内の断面に埋め込むように取り付けてもよい。さらに、ライダーは上述した実施形態のように複数備える必要はなく、全方位(車両周囲の360度)を監視する1つのライダーをルーフに設ける構成でもよい。
上述した実施形態において、ディスプレイ装置40は、ヘッドアップディスプレイに限定されない。ディスプレイ装置40は、インストルメントパネルに設けられた液晶ディスプレイ、又はナビゲーションシステムの液晶ディスプレイであってもよい。上述した実施形態と同様に、ディスプレイ装置40として液晶ディスプレイを採用した場合であっても、表示制御部303は状況通知オブジェクトの表示色をリスク度に応じて変更することができる。これにより、ディスプレイ装置40の表示領域が有効に活用される。
上述した第2実施形態において、地図データベース21は、車両と通信可能な情報処理センター等の施設のコンピュータに記憶されていてもよい。
上述した実施形態において、ブレーキアクチュエータは、車両が回生ブレーキシステムを備えている場合、液圧ブレーキシステム及び回生ブレーキシステムの両方を制御してもよい。
上述した実施形態において、ECU30,30A及び自動運転ECU31は、複数の電子制御ユニットから構成されていてもよい。
上述した第2実施形態において、自動運転ECU31は、車線変更のN秒前(Nは整数)に進行方向情報をECU30Aへ出力してもよい。
上述した実施形態において、色テーブルは、青色、黄色、赤色だけでなく、種々の色を用いることができる。
1,1A…情報表示装置、20…外部センサ(センサ)、30,30A…ECU、31…自動運転ECU(自動運転システム)、40…ディスプレイ装置(車載表示器)、50,50A…表示パーツ記憶部、301…リスク度算出部、302…表示色決定部、303,303A…表示制御部、304…取得部。

Claims (2)

  1. 車両の車載表示器に画像を表示させる情報表示装置であって、
    平面視した前記車両に対応する車両オブジェクトと、前記車両の前方に対応する前記車両オブジェクトの前方表示領域と、前記車両の後方に対応する前記車両オブジェクトの後方表示領域と、前記車両の左側に対応する前記車両オブジェクトの左側表示領域と、前記車両の右側に対応する前記車両オブジェクトの右側表示領域と、前記車両オブジェクトを囲み、前記前方表示領域、前記後方表示領域、前記左側表示領域及び前記右側表示領域を横断するように配置される円形の円オブジェクトとを前記車載表示器に表示させる表示制御部と、
    前記車両の周囲の物体を検出するセンサの検出結果に基づいて、前記車両の周囲の物体が前記車両に接近するリスクを示すリスク度を、前記前方表示領域、前記後方表示領域、前記左側表示領域及び前記右側表示領域ごとに算出するリスク度算出部と、
    前記リスク度算出部によって算出された前記リスク度に基づいて、前記前方表示領域、前記後方表示領域、前記左側表示領域及び前記右側表示領域の表示色を決定する表示色決定部と、
    前記車両を自動運転制御する自動運転システムから前記自動運転制御中の前記車両の車線変更方向又は右左折方向を示す進行方向情報を取得する取得部と、
    を備え、
    前記表示制御部は、前記前方表示領域、前記後方表示領域、前記左側表示領域及び前記右側表示領域のうち少なくとも前記円オブジェクトの内側を前記表示色決定部により決定された表示色で表示させ、前記取得部により取得された前記進行方向情報に基づいて、前記左側表示領域及び前記右側表示領域のうち前記車両の車線変更方向又は右左折方向に対応する表示領域の少なくとも前記円オブジェクトの内側に前記車両の車線変更方向又は右左折方向を表す方向オブジェクトを表示させる、
    情報表示装置。
  2. 前記左側表示領域及び前記右側表示領域のそれぞれは、前記前方表示領域よりも大きい請求項1に記載の情報表示装置。
JP2015218628A 2015-11-06 2015-11-06 情報表示装置 Active JP6639194B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015218628A JP6639194B2 (ja) 2015-11-06 2015-11-06 情報表示装置
US15/337,593 US10452930B2 (en) 2015-11-06 2016-10-28 Information display device mounted in vehicle including detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015218628A JP6639194B2 (ja) 2015-11-06 2015-11-06 情報表示装置

Publications (2)

Publication Number Publication Date
JP2017091093A JP2017091093A (ja) 2017-05-25
JP6639194B2 true JP6639194B2 (ja) 2020-02-05

Family

ID=58663468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015218628A Active JP6639194B2 (ja) 2015-11-06 2015-11-06 情報表示装置

Country Status (2)

Country Link
US (1) US10452930B2 (ja)
JP (1) JP6639194B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017046938A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017114155A (ja) * 2015-12-21 2017-06-29 三菱自動車工業株式会社 運転支援装置
JP6555175B2 (ja) * 2016-04-01 2019-08-07 株式会社デンソー 運転支援装置及び運転支援プログラム
US11270589B2 (en) 2017-08-25 2022-03-08 Nissan Motor Co., Ltd. Surrounding vehicle display method and surrounding vehicle display device
JP2019174461A (ja) * 2018-03-28 2019-10-10 株式会社リコー 画像制御装置、表示装置、移動体、画像データ生成方法、及びプログラム
JP7087654B2 (ja) 2018-05-14 2022-06-21 トヨタ自動車株式会社 車外報知装置、及び車外報知方法
JP7110729B2 (ja) 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
JP7115184B2 (ja) 2018-09-26 2022-08-09 トヨタ自動車株式会社 自動運転システム
JP7139902B2 (ja) 2018-11-14 2022-09-21 トヨタ自動車株式会社 報知装置
JP7151495B2 (ja) 2019-01-16 2022-10-12 トヨタ自動車株式会社 自動運転システム
JP7444539B2 (ja) 2019-01-17 2024-03-06 トヨタ自動車株式会社 運転支援装置
WO2020194715A1 (ja) * 2019-03-28 2020-10-01 本田技研工業株式会社 鞍乗り型車両
CN112009398A (zh) * 2020-08-18 2020-12-01 三一专用汽车有限责任公司 车辆的控制方法、装置、车辆和存储介质
CN111959276B (zh) * 2020-08-28 2021-09-28 安徽江淮汽车集团股份有限公司 汽车显示系统界面联动电路、方法及汽车
JP7203908B1 (ja) * 2021-06-22 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173881A (en) * 1991-03-19 1992-12-22 Sindle Thomas J Vehicular proximity sensing system
JP4169022B2 (ja) * 2005-08-05 2008-10-22 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP2007158578A (ja) 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ 全周囲情報環状表示システム
JP2009051346A (ja) * 2007-08-27 2009-03-12 Denso Corp 周辺監視用表示制御装置及び画像表示制御システム
JP2009134334A (ja) * 2007-11-28 2009-06-18 Denso Corp 車両制御装置
US8111147B2 (en) * 2008-05-13 2012-02-07 GM Global Technology Operations LLC Lane departure warning and change assist system utilizing active materials
AU2012268476B2 (en) 2011-06-07 2014-05-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
DE102011083770A1 (de) * 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur rechnergestützten Verarbeitung des Nahfeldes eines Fahrzeugs
JP5532039B2 (ja) * 2011-10-05 2014-06-25 株式会社デンソー 車両用表示装置
US20140055254A1 (en) * 2012-08-03 2014-02-27 Christopher Jack Adams Collision avoidance system for vehicles
JP6291787B2 (ja) * 2013-10-24 2018-03-14 日産自動車株式会社 車両用表示装置
JP6307859B2 (ja) 2013-12-02 2018-04-11 日産自動車株式会社 情報表示装置
US9522676B2 (en) * 2014-04-30 2016-12-20 Denso International America, Inc. Situation awareness assistant for vehicle control
US9437111B2 (en) * 2014-05-30 2016-09-06 Ford Global Technologies, Llc Boundary detection system

Also Published As

Publication number Publication date
US20170132481A1 (en) 2017-05-11
US10452930B2 (en) 2019-10-22
JP2017091093A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6639194B2 (ja) 情報表示装置
JP6638178B2 (ja) 車両制御システム、車両制御方法、およびプログラム
US10293748B2 (en) Information presentation system
US11008016B2 (en) Display system, display method, and storage medium
US10643474B2 (en) Vehicle control device, vehicle control method, and recording medium
JP6555067B2 (ja) 車線変更支援装置
JP7067067B2 (ja) 信号機認識装置、及び自動運転システム
US9896098B2 (en) Vehicle travel control device
JP6592852B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6613527B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US8977420B2 (en) Vehicle procession control through a traffic intersection
JP2020042612A (ja) 車両制御装置、車両制御方法、およびプログラム
US11200806B2 (en) Display device, display control method, and storage medium
US11548443B2 (en) Display system, display method, and program for indicating a peripheral situation of a vehicle
JP2019138773A (ja) 表示装置
JPWO2019043847A1 (ja) 走行制御装置、車両および走行制御方法
US11274934B2 (en) Information output device, output control method, and storage medium
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP2017189989A (ja) 車線維持装置
JP2020163903A (ja) 表示制御装置、表示制御方法、及びプログラム
US20200385023A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP2017073059A (ja) 車線変更支援装置
JP6829739B2 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2022270207A1 (ja) 車両用表示制御装置及び車両用表示制御プログラム
US20200384991A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R151 Written notification of patent or utility model registration

Ref document number: 6639194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151