JP7345128B2 - 歩行者装置および交通安全支援方法 - Google Patents

歩行者装置および交通安全支援方法 Download PDF

Info

Publication number
JP7345128B2
JP7345128B2 JP2019094815A JP2019094815A JP7345128B2 JP 7345128 B2 JP7345128 B2 JP 7345128B2 JP 2019094815 A JP2019094815 A JP 2019094815A JP 2019094815 A JP2019094815 A JP 2019094815A JP 7345128 B2 JP7345128 B2 JP 7345128B2
Authority
JP
Japan
Prior art keywords
pedestrian
vehicle
collision
user
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019094815A
Other languages
English (en)
Other versions
JP2020190852A (ja
Inventor
剛 上野
雅仁 菅原
慎太郎 村松
義行 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019094815A priority Critical patent/JP7345128B2/ja
Priority to PCT/JP2020/019581 priority patent/WO2020235518A1/ja
Priority to CN202080036633.1A priority patent/CN113841191B/zh
Priority to US17/610,864 priority patent/US11900795B2/en
Publication of JP2020190852A publication Critical patent/JP2020190852A/ja
Application granted granted Critical
Publication of JP7345128B2 publication Critical patent/JP7345128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、車載装置との間で歩車間通信により情報を交換して、歩行者および車両の安全を支援する歩行者装置および交通安全支援方法に関するものである。
近年、スマートフォンや音楽プレーヤーなどの携帯デバイスを利用しながら歩行することの危険性が問題になっている。携帯デバイスを利用しながら歩行すると、周囲に対する注意力が低下して、十分な安全確認がなされないため、歩行者が危険な状況にあることに気付かずに事故に至るケースが多い。
また、以前より、ＡＲ（拡張現実：Augmented Reality）を実現する様々な技術が提案されている。このＡＲの技術は、人物から見える実空間上に仮想オブジェクトを重畳表示するものであり、人物の様々な行動を効果的に支援することができる。
このようなＡＲの技術を利用して歩行者の行動を支援するものとして、歩行者に対する注意喚起を行うものが知られている（特許文献１，２参照）。また、ウォーキング時のペースメーカーや災害発生時の避難誘導などを行うものが知られている（特許文献３参照）。
特開２０１２－１５５６５５号公報 特開２０１２－１５５６５４号公報 特許第５３４６１１５号公報
さて、近年、ヘッドマウントディスプレイなどの様々なＡＲデバイスの開発が進められており、このようなＡＲデバイスを利用することで、高度なＡＲを実現することができ、歩行者の安全確認を効果的に支援することができるものと期待される。
しかしながら、従来の技術のように、カメラの映像に対する物体認識などにより危険を検知する方法では、危険な状況を精度よく検知することができないため、歩行者に対して適切に注意喚起を行うことができないという問題があった。
一方、近年、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムにおいて、歩行者の事故を防止するため、歩行者に所持させた歩行者端末と車載端末との間で通信を行う歩車間通信が提案されている。この歩車間通信では、歩行者端末と車載端末とが直接通信を行うことで、衝突の危険性を精度よく判定して、歩行者に対して適切なタイミングで注意喚起を行うことができる。
そこで、本発明は、歩車間通信とＡＲデバイスを利用することで、歩行者の安全確認を効果的にかつ適切に支援することができる歩行者装置および交通安全支援方法を提供することを主な目的とする。
本発明の歩行者装置は、車載装置との間で歩車間通信により情報を交換する歩車間通信部と、自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、を備え、前記プロセッサは、
衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画する構成とする。
また、本発明の交通安全支援方法は、歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、前記歩行者装置が、前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性があると判定された場合に、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御し、前記仮想オブジェクトの表示の制御において、衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画する構成とする。
本発明によれば、歩車間通信により車載装置との間で送受信した情報に基づいて、衝突の危険性を精度よく判定して、ユーザ（歩行者）に対して適切なタイミングで注意喚起を行うことができる。また、ＡＲディスプレイにより表示される仮想オブジェクトの制御で、ユーザに対して効果的に注意喚起を行うことができる。これにより、歩行者の安全確認を効果的にかつ適切に支援することができる。
第１実施形態に係る交通安全支援システムの全体構成図 第１実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第１実施形態に係る歩行者端末１の概略構成を示すブロック図 第１実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第１実施形態に係る歩行者端末１で行われる処理の手順を示すフロー図 第２実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第２実施形態に係る歩行者端末１の概略構成を示すブロック図 第２実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第３実施形態に係る交通安全支援システムの全体構成図 第３実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第３実施形態に係る歩行者端末１の概略構成を示すブロック図 第３実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第３実施形態に係る歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３の概要を示す説明図 第３実施形態に係る歩行者端末１で行われる処理の手順を示すフロー図
前記課題を解決するためになされた第１の発明は、車載装置との間で歩車間通信により情報を交換する歩車間通信部と、自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、を備え、前記プロセッサは、
衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画する構成とする。
これによると、歩車間通信により車載装置との間で送受信した情報に基づいて、衝突の危険性を精度よく判定して、ユーザ（歩行者）に対して適切なタイミングで注意喚起を行うことができる。また、ＡＲディスプレイにより表示される仮想オブジェクトの制御で、ユーザに対して効果的に注意喚起を行うことができる。これにより、歩行者の安全確認を効果的にかつ適切に支援することができる。
前記課題を解決するためになされた第２の発明は、前記プロセッサは、衝突ポイントを予測し、自装置および前記車載装置のそれぞれの現在位置から前記衝突ポイントに向けた移動予測範囲を前記仮想オブジェクトとして表示する構成とする。
前記課題を解決するためになされた第３の発明は、さらに、ユーザの視界を撮影する視界用カメラを備え、前記プロセッサは、前記視界用カメラの映像と地図情報とに基づいて見通し外エリアを検出し、前記見通し外エリアに衝突対象が存在する場合に、前記衝突対象に視線を誘導する画像を前記仮想オブジェクトとして表示する構成とする。
また、第４の発明は、さらに、ユーザの視界を撮影する視界用カメラを備え、前記プロセッサは、前記視界用カメラの映像からユーザの手のひらおよび指先を検知し、ユーザの手のひらの位置に仮想端末を前記仮想オブジェクトとして表示し、ユーザの指先の位置に応じて、前記仮想端末に対する画面操作を検知して、前記仮想端末の画面を制御する構成とする。
これによると、ユーザ（歩行者）の手のひらに重なるように仮想端末が表示され、実物の端末（スマートフォンなど）を把持しているような感覚で端末を利用することができるため、ユーザの利便性が向上する。
また、第５の発明は、さらに、ユーザの眼球を撮影する視線用カメラを備え、前記プロセッサは、前記視線用カメラの映像からユーザの視点の位置情報を取得し、その視点の位置情報に基づいて、ユーザが前記仮想端末を目視しているか否かを判定し、衝突の危険性があり、かつ、ユーザが前記仮想端末を目視している場合に、前記注意喚起動作を実行する構成とする。
これによると、ユーザ（歩行者）が仮想端末を目視している場合には、周囲に対する注意力が低下するため、ユーザに対して注意喚起を行うことで、ユーザの安全確認をより一層効果的に支援することができる。
また、第６の発明は、前記プロセッサは、衝突の危険性がある場合に、衝突ポイントを予測し、その衝突ポイントを表すマーク画像を前記仮想オブジェクトとして表示する構成とする。
これによると、ユーザ（歩行者）が、衝突ポイント、すなわち、ユーザと車両とが衝突する地点を認識することができる。
また、第７の発明は、前記プロセッサは、衝突の危険性がある車両の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示する構成とする。
これによると、ユーザ（歩行者）が、衝突の危険性がある車両の位置を容易に認識することができる。
また、第８の発明は、前記プロセッサは、ユーザが運転者として車両に乗車したことを検知すると、車載端末モードに遷移し、運転者の安全運転を支援するように前記仮想オブジェクトの表示を制御する構成とする。
これによると、ユーザ（運転者）の安全運転を支援することができる。
また、第９の発明は、前記歩車間通信部は、周辺の歩行者の視線方向に関する情報を周辺の歩行者装置から受信し、前記プロセッサは、前記歩行者の視線方向に関する情報に基づいて、歩行者の視線方向に関する画像を前記仮想オブジェクトとして表示する構成とする。
これによると、周辺の歩行者の視線方向に関する画像（例えば、注視点）を仮想オブジェクトとして表示するため、ユーザ（運転者）が、周辺の歩行者がどの方向を目視しているかを容易に認識することができる。
また、第１０の発明は、前記プロセッサは、衝突の危険性がある歩行者の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示する構成とする。
これによると、ユーザ（運転者）が、衝突の危険性がある歩行者の位置を容易に認識することができる。
また、第１１の発明は、前記歩車間通信部は、周辺の車両の運転者の視線方向に関する情報を周辺の車載端末から受信し、前記プロセッサは、前記運転者の視線方向に関する情報に基づいて、運転者の視線方向に関する画像を前記仮想オブジェクトとして表示する構成とする。
これによると、周辺の運転者の視線方向に関する画像（例えば、注視点）を仮想オブジェクトとして表示するため、ユーザ（歩行者）が、運転者がどの方向を目視しているかを容易に認識することができる。
また、第１２の発明は、歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、前記歩行者装置が、前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性があると判定された場合に、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御し、前記仮想オブジェクトの表示の制御において、衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画する構成とする。
これによると、第１の発明と同様に、歩行者の安全確認を効果的にかつ適切に支援することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る交通安全支援システムの全体構成図である。
この交通安全支援システムは、歩行者および車両の交通安全を支援するものであり、歩行者端末１（歩行者装置）と、車載端末２（車載装置）と、を備えている。
歩行者端末１と車載端末２との間ではＩＴＳ通信（歩車間通信）が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。
歩行者端末１は、歩行者が所持する。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により車載端末２との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者に対する注意喚起動作を行う。本実施形態では、歩行者端末１は、ヘッドマウントディスプレイで構成され、歩行者の頭部に装着され、ＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。
車載端末２は、車両に搭載される。この車載端末２では、ＩＴＳ通信（歩車間通信）により歩行者端末１との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、カーナビゲーション装置を用いて行うとよい。
次に、第１実施形態に係る歩行者端末１におけるＡＲ表示について説明する。図２は、歩行者端末１におけるＡＲ表示の状況を示す説明図である。
本実施形態では、ＡＲディスプレイ２６により、仮想オブジェクトとして、仮想スマートフォン（仮想端末）の画像１１がユーザ（歩行者）の手のひらに重なるようにＡＲ表示される。また、ユーザの指先に対応する位置にポインタの画像１２がＡＲ表示される。ユーザが、指先で仮想スマートフォンの画面に対してタッチ操作を行うような動作を行うと、ユーザの画面操作を認識して、その画面操作に応じて、仮想スマートフォンの画面を制御する。これにより、ユーザが、実際にスマートフォンを把持して操作する感覚で、スマートフォンのアプリケーション（電子メール、ブラウザ、電話、ゲームなど）を利用することができる。
また、本実施形態では、衝突の危険性がある場合に、注意喚起動作として、アプリケーション（電子メール、ブラウザ、電話、ゲームなど）の使用を禁止して、仮想スマートフォンに注意喚起画面を表示する。この注意喚起画面には、注意喚起の文字（例えば、「衝突危険」）や図形などが表示される。一方、衝突の危険性がなくなると、注意喚起画面を終了してアプリケーションの使用を許可し、再びユーザがアプリケーションを利用できるようにする。
なお、本実施形態では、衝突の危険性がある場合に、注意喚起動作として、ＡＲ表示中の仮想スマートフォンに注意喚起画面を表示するようにしたが、仮想スマートフォンそのものの表示を中止するようにしてもよい。
また、本実施形態では、仮想オブジェクトとして仮想スマートフォンを表示するようにしたが、タブレット端末など、他の表示デバイスであってもよい。また、スマートフォンなどの表示デバイスの本体を表示せずに、画面のみを仮想オブジェクトとして表示するようにしてもよい。
また、本実施形態では、擬似的に歩行者がスマートフォンを把持した状態となるように、歩行者の手のひらに重なるように仮想スマートフォンを表示するようにしたが、歩行者の手の位置とは関係なく、歩行者の歩行の支障にならない適宜な位置、例えば、視界の下部分に、仮想スマートフォンの画面を仮想オブジェクトとして表示するようにしてもよい。
また、本実施形態では、注意喚起動作として、危険な状況にあることをユーザに通知する注意喚起画面を仮想スマートフォンに表示するようにしたが、この状態で、ユーザが所定の操作（例えば、手のジェスチャー動作）を行うと、ユーザの周辺の状況を俯瞰した画像を仮想スマートフォンに表示するようにしてもよい。これにより、ユーザの周辺の状況を明確に認識することができる。
次に、第１実施形態に係る歩行者端末１の概略構成について説明する。図３は、歩行者端末１の概略構成を示すブロック図である。図４は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
図３に示すように、歩行者端末１は、ＩＴＳ通信部２１（歩車間通信部）と、セルラー通信部２２と、測位部２３と、視界用カメラ２４と、視線用カメラ２５と、ＡＲディスプレイ２６と、方位センサ２７と、測距センサ２８と、モーションセンサ２９と、メモリ３１と、プロセッサ３２と、を備えている。
ＩＴＳ通信部２１（歩車間通信部）は、車載端末２との間でＩＴＳ通信（歩車間通信）によりメッセージを送受信する。
セルラー通信部２２は、セルラー通信網を構成する基地局、および基地局に接続されたネットワークを介して、スマートフォンアプリケーション（電子メール、ブラウザ、電話、ゲーム）に関するサービスを提供するサーバと通信を行う。
測位部２３は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報（緯度、経度）を取得する。
視界用カメラ２４は、ユーザの前方の視界の範囲を撮影する。
視線用カメラ２５は、ユーザの左右の眼球を撮影する。
ＡＲディスプレイ２６は、ユーザの現実の視界に入る実空間上に仮想オブジェクトを重畳表示して、ＡＲ（拡張現実：Augmented Reality）を実現するものである。なお、ＡＲディスプレイ２６は、光学透過方式およびビデオ透過方式のいずれでもよい。光学透過方式は、実空間が透過して見える透過型のディスプレイに仮想オブジェクトを表示して、ディスプレイを通して実際にシースルーで外の様子を見ることができるようにしたものである。ビデオ透過方式は、ユーザの視界を撮影するカメラの映像を、仮想オブジェクトとともに非透過型のディスプレイに表示して、擬似的にシースルーで外の様子を見ることができるようにしたものである。また、光学透過方式では、透過型のディスプレイを採用したものの他、網膜投影型のディスプレイなどでもよい。
方位センサ２７は、地磁気方位を検出する。この方位センサ２７の検出結果から、歩行者端末１が装着されたユーザの頭部方位（顔の向き）を取得することができる。
測距センサ２８は、対向する物体までの距離を測定する。この測距センサ２８では、例えばＰＳＤ（Position Sensitive Detector）方式を採用すればよい。なお、ＰＳＤ方式では、発光素子から出射された光が対象物で反射し、その反射光を受光素子で検出し、このとき、対象物までの距離に応じて変化する反射光の入射角度に基づいて、対象物までの距離を測定する。
モーションセンサ２９は、加速度センサやジャイロセンサで構成され、ユーザの頭部の動きを検出する。
メモリ３１は、プロセッサ３２で実行されるプログラムなどを記憶する。
プロセッサ３２は、メモリ３１に記憶されたプログラムを実行することで歩行者支援に係る各種の処理を行う。本実施形態では、プロセッサ３２が、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行う。
メッセージ制御処理Ｐ１では、プロセッサ３２は、車載端末２との間での歩車間通信によるメッセージの送受信を制御する。
図４に示すように、衝突判定処理Ｐ２では、プロセッサ３２は、車載端末２から取得した車両情報に含まれる車両の位置情報、および測位部２３で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。具体的には、プロセッサ３２は、歩行者および車両の移動範囲を表す予報円を生成して、歩行者および車両の予報円の重なり具合に基づいて、衝突の危険性があるか否かを判定する。
手検知処理Ｐ３では、プロセッサ３２は、視界用カメラ２４の映像に基づいて、歩行者の手のひらおよび指先を検知して、手のひらおよび指先の位置情報を取得する。
仮想端末描画処理Ｐ４では、プロセッサ３２は、ＡＲ表示する仮想スマートフォンの描画情報を生成する。このとき、プロセッサ３２は、仮想端末制御処理Ｐ７で生成した画面表示情報に基づいて、仮想スマートフォンの描画情報を生成する。また、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの手のひらの位置情報に基づいて、仮想スマートフォンの表示位置を決定する。
ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、ＡＲ表示、すなわち、ＡＲディスプレイ２６を制御して、ユーザから見える実空間上に仮想オブジェクトを重畳表示する。本実施形態では、プロセッサ３２は、ユーザの手のひらに重なるように仮想スマートフォンの画像１１をＡＲ表示する。また、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの指先の位置情報に基づいて、画面操作を行う指先の位置に対応するポインタの画像１２を仮想スマートフォン上にＡＲ表示する。
仮想端末操作認識処理Ｐ６では、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの指先の位置と、ＡＲ表示した仮想スマートフォンの画面の位置とに基づいて、仮想スマートフォンの操作を認識する。具体的には、プロセッサ３２は、仮想スマートフォンの画面と指先との位置関係に基づいて、タッチ操作を行っていることを検知する。
仮想端末制御処理Ｐ７では、プロセッサ３２は、仮想端末操作認識処理Ｐ６で取得した操作情報に基づいて、仮想スマートフォンを制御する。具体的には、プロセッサ３２は、仮想スマートフォンのＯＳおよびアプリケーション（電子メール、ブラウザ、電話、ゲームなど）のプログラムを実行する。これにより、現実のスマートフォンと同等の機能を仮想スマートフォンで実現することができる。
視点検知処理Ｐ８では、プロセッサ３２は、視線用カメラ２５の映像に基づいて、ユーザの視点を検知して、ユーザの視点の位置情報、すなわち、ユーザの視界の座標系における視点の座標値を取得する。
仮想端末目視判定処理Ｐ９では、プロセッサ３２は、視点検知処理Ｐ８で取得したユーザの視点の位置情報と、仮想端末描画処理Ｐ４で取得した仮想スマートフォンの位置情報とに基づいて、ユーザが仮想スマートフォンを目視しているか否かを判定する。具体的には、プロセッサ３２は、ユーザの視点の位置が、仮想スマートフォンの画面の位置とほぼ一致している場合に、ユーザが仮想スマートフォンを目視しているものと判定する。
注意喚起制御処理Ｐ１０では、プロセッサ３２は、衝突判定処理Ｐ２で衝突の危険性があると判定され、かつ、仮想端末目視判定処理Ｐ９でユーザが仮想スマートフォンを目視しているものと判定された場合に、ユーザに対する所定の注意喚起動作を行うように制御する。本実施形態では、プロセッサ３２は、注意喚起動作として、注意喚起画面描画処理Ｐ１１を行う。この注意喚起画面描画処理Ｐ１１では、プロセッサ３２は、仮想スマートフォンに表示する注意喚起画面の描画情報を生成する。ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、注意喚起画面描画処理Ｐ１１で取得した注意喚起画面の描画情報に基づいて、仮想スマートフォンに注意喚起画面を表示する。
なお、歩行者端末１は、ユーザの頭部に装着されるヘッドマウント部と、ユーザが携帯する本体部とで構成されるようにしてもよい。この場合、視界用カメラ２４、視線用カメラ２５、ＡＲディスプレイ２６、方位センサ２７、測距センサ２８、およびモーションセンサ２９を、ヘッドマウント部に設ける。また、ＩＴＳ通信部２１、セルラー通信部２２、および測位部２３の少なくともアンテナを、ヘッドマウント部に設けるとよい。
また、本実施形態では、仮想スマートフォンの画面を指先で操作する動作を行うことで、仮想スマートフォンの画面操作を行うようにしたが、仮想スマートフォンの画面とは関係ない位置で、手のジェスチャー動作により、仮想スマートフォンの画面操作を行うようにしてもよい。この場合、仮想端末操作認識処理Ｐ６において、ユーザの指先の位置と仮想スマートフォンの画面の位置とを比較する必要がないため、位置情報の精度が低くても、ユーザの操作を精度よく認識することができる。また、視線用カメラ２５の映像に基づく視点検知処理Ｐ８で取得したユーザの視点の位置情報に基づいて、ユーザの目の動きにより仮想スマートフォンの画面操作を行うようにしてもよい。
次に、第１実施形態に係る歩行者端末１で行われる処理の手順について説明する。図５は、歩行者端末１で行われる処理の手順を示すフロー図である。
図５（Ａ）に示すように、歩行者端末１では、まず、測位部２３において、ユーザ（歩行者）の位置情報を取得する（ＳＴ１０１）。次に、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する（ＳＴ１０２）。
ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、ＩＴＳ通信部２１において、歩行者情報（歩行者ＩＤおよび位置情報など）を含むメッセージを歩車間通信で送信する（ＳＴ１０３）。
図５（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部２１において、周辺の車載端末２から送信されるメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ３２において、メッセージに含まれる車両の位置情報などに基づいて、ユーザに車両が衝突する危険性があるか否かの衝突判定を行う（ＳＴ１１２）。
ここで、ユーザに車両が衝突する危険性がある場合には（ＳＴ１１２でＹｅｓ）、次に、プロセッサ３２において、視線用カメラ２５の映像に基づいて、ユーザの視点の位置情報を取得する（ＳＴ１１３）。そして、ユーザの視点の位置と、仮想端末描画処理Ｐ４で描画した仮想スマートフォンの位置とに基づいて、ユーザが仮想スマートフォンを目視しているか否かを判定する（ＳＴ１１４）。
ここで、ユーザが仮想スマートフォンを目視している場合には（ＳＴ１１４でＹｅｓ）、ユーザに対する所定の注意喚起動作を行うように歩行者端末１を制御する（ＳＴ１１５）。具体的には、注意喚起動作として、仮想スマートフォンに注意喚起画面を表示する。
なお、車載端末２では、歩行者端末１と同様に（図５（Ａ）参照）、自装置の位置情報を含む歩車間通信のメッセージを定期的に送信する。また、車載端末２では、歩行者端末１と同様に（図５（Ｂ）参照）、歩車間通信のメッセージを受信すると、衝突判定を行い、衝突の危険性がある場合には、運転者に対する注意喚起を実施する。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図６は、第２実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図である。
本実施形態では、衝突ポイント、すなわち、歩行者と車両とが衝突することが予測される地点を表すマーク画像４１を、仮想オブジェクトとしてＡＲ表示する。これにより、歩行者が、車両と衝突する地点を認識することができる。
また、本実施形態では、衝突シーン、すなわち、歩行者と車両とが次第に接近して遂には衝突する状況を段階的に表現する歩行者の模擬画像４２および車両の模擬画像４３を、仮想オブジェクトとしてＡＲ表示する。これにより、歩行者が、車両と衝突する状況を認識することができる。
なお、本実施形態では、衝突ポイントおよび衝突シーンをＡＲ表示するようにしたが、歩行者および車両の移動予測範囲をＡＲ表示するようにしてもよい。この場合、移動予想範囲は、現在位置から衝突ポイントに向けて扇形状に広がる形態で表示される。
また、本実施形態では、仮想スマートフォンをＡＲ表示するようにしたが、衝突の危険性がある場合に、仮想スマートフォンの表示を中止するようにしてもよい。これにより、ユーザが何らかの危険が迫っていることを即座に認識することができ、さらに、ＡＲ表示された衝突ポイントおよび衝突シーンを視認しやすくなる。
次に、第２実施形態に係る歩行者端末１の概略構成について説明する。図７は、歩行者端末１の概略構成を示すブロック図である。図８は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
本実施形態では、図７に示すように、歩行者端末１のプロセッサ３２が、第１実施形態と同様に、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行うが、特に、注意喚起制御処理Ｐ１０として、衝突ポイント予測処理Ｐ２１と、衝突ポイント描画処理Ｐ２２と、衝突シーン予測処理Ｐ２３と、衝突シーン描画処理Ｐ２４とを行う。
衝突ポイント予測処理Ｐ２１では、プロセッサ３２は、衝突ポイント、すなわち、歩行者と車両とが衝突するものと予測される地点を予測する。具体的には、プロセッサ３２は、歩行者の現在位置および移動速度と、車両の現在位置および移動速度とに基づいて、衝突ポイントの位置情報（３次元情報）を取得する。
衝突ポイント描画処理Ｐ２２では、プロセッサ３２は、衝突ポイント予測処理Ｐ２１で取得した衝突ポイントの位置情報と、周辺の道路の状態を表す３次元地図情報とに基づいて、衝突ポイントの３次元描画情報、すなわち、３次元空間における衝突ポイントの位置に衝突ポイントを表すマーク画像４１を描画した情報を生成する。
なお、３次元地図情報は、例えば、車両の自動運転のために構築されたダイナミックマップ（統合型地図情報）に含まれるものであり、ダイナミックマップ管理サーバから配信される。
衝突シーン予測処理Ｐ２３では、プロセッサ３２は、衝突シーン、すなわち、歩行者と車両とが次第に接近して遂には衝突する状況を予測する。具体的には、プロセッサ３２は、現在から衝突が発生するまでの期間における単位時間（例えば１秒）ごとの各時刻における歩行者および車両の位置情報（３次元情報）を取得する。このとき、プロセッサ３２は、歩行者の現在位置および移動速度に基づいて、各時刻の歩行者の位置を算出する。また、プロセッサ３２は、車両の現在位置および移動速度に基づいて、各時刻の車両の位置を算出する。
衝突シーン描画処理Ｐ２４では、プロセッサ３２は、各時刻の歩行者および車両の位置情報に基づいて、衝突シーンを構成する各時刻における歩行者および車両の３次元描画情報、すなわち、３次元空間における各時刻の歩行者の位置に歩行者の模擬画像４２を描画した情報と、３次元空間における各時刻の車両の位置に車両の模擬画像４３を描画した情報とを生成する。このとき、プロセッサ３２は、自装置の位置情報に基づいて、ユーザ（歩行者）から見た歩行者の模擬画像４２および車両の模擬画像４３を生成する。
ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、衝突ポイント描画処理Ｐ２２で取得した衝突ポイントの３次元描画情報に基づいて、衝突ポイントのマーク画像４１をＡＲ表示する。また、プロセッサ３２は、衝突シーン描画処理Ｐ２４で取得した衝突シーンを構成する各時刻における歩行者および車両の３次元描画情報に基づいて、各時刻における歩行者の模擬画像４２および車両の模擬画像４３をＡＲ表示する。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図９は、第３実施形態に係る交通安全支援システムの全体構成図である。
前記の実施形態では、歩行者端末１と車載端末２との間でＩＴＳ通信（歩車間通信）により情報を交換して、歩行者の安全確認を支援するようにしたが、本実施形態では、歩行者端末１のユーザが車両の運転者として車両に乗車すると、その運転者が装着している歩行者端末１が、車載端末モードに遷移して、車載端末２として動作し、周辺の歩行者が所持する歩行者端末１との間でＩＴＳ通信により情報を交換して、車両の運転者の安全運転を支援する。
次に、第３実施形態に係る歩行者端末１におけるＡＲ表示について説明する。図１０は、歩行者端末１におけるＡＲ表示の状況を示す説明図である。
歩行者端末１が車載端末モードに遷移すると、歩行者端末１が車載端末２として動作し、周辺の歩行者と衝突の危険性がある場合には、運転者に対してＡＲディスプレイ２６により注意喚起が行われる。本実施形態では、注意喚起動作として、歩行者が注視する注視点のマーク画像５１（×印の画像）がＡＲ表示される。これにより、歩行者がどの方向を見ているかを運転者が明確に認識することができる。
また、本実施形態では、衝突の対象となる歩行者の現在位置を指し示すマーク画像５２（矢印の画像）がＡＲ表示される。これにより、交差点などの見通し外環境のために、衝突の対象となる歩行者を素早く認識できない場合でも、衝突の対象となる歩行者にユーザ（運転者）の視線を誘導することで、衝突の対象となる歩行者を素早く認識することができる。
また、図１０に示す例では、第２実施形態（図６参照）と同様に、衝突ポイントを表すマーク画像４１をＡＲ表示するようにしている。なお、第２実施形態と同様に、衝突シーンを表す歩行者の模擬画像４２および車両の模擬画像４３をＡＲ表示するようにしてもよい。
なお、本実施形態では、人物の視線方向に関する画像として注視点のマーク画像５１をＡＲ表示するようにしたが、人物の視線方向に関する画像として、人物の頭部と注視点とを結ぶ視線（線分）をＡＲ表示するようにしてもよい。
次に、第３実施形態に係る歩行者端末１の概略構成について説明する。図１１は、歩行者端末１の概略構成を示すブロック図である。図１２は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
本実施形態では、図１１に示すように、歩行者端末１のプロセッサ３２が、第１実施形態と同様に、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行う他に、車内判定処理Ｐ３１と、端末モード切替処理Ｐ３２とを行う。
車内判定処理Ｐ３１では、プロセッサ３２は、自装置が車両の中にいるか否か、すなわち、自装置を所持するユーザが運転者として車両に乗車したか否かを判定する。このとき、プロセッサ３２は、例えば、測位部２３で観測される衛星電波の受信状況に基づいて、車内と判定する。また、プロセッサ３２は、モーションセンサ２９の検出情報に基づいて、ユーザが座席に着席する動作を検知することで車内と判定する。また、プロセッサ３２は、車内に設置された発信機から送信されるビーコン信号を受信することで車内と判定する。
端末モード切替処理Ｐ３２では、プロセッサ３２は、車内判定処理Ｐ３１の判定結果に応じて、標準モードと、車載端末として動作する車載端末モードとを切り替える。具体的には、プロセッサ３２は、自装置が車両の外にいる場合、すなわち、自装置を所持するユーザが歩行中である場合には、標準モードになり、自装置が車両の中にいる場合、すなわち、ユーザが運転者として車両に乗車した場合には、車載端末モードになる。
また、本実施形態では、プロセッサ３２は、歩行者端末１が標準モードである場合に、注視点測定処理Ｐ３３を行う。また、プロセッサ３２は、歩行者端末１が車載端末モードである場合に、注意喚起制御処理Ｐ１０として、注視点描画処理Ｐ３４と現在位置描画処理Ｐ３５とを行う。
図１２に示すように、注視点測定処理Ｐ３３では、プロセッサ３２は、視点検知処理Ｐ８で取得した視点の位置情報（歩行者の視界の座標系における視点の座標値）と、３次元地図情報とに基づいて、歩行者が注視する注視点を測定して、注視点の位置情報（３次元情報）を取得する。
注視点描画処理Ｐ３４では、プロセッサ３２は、歩行者端末１から取得した歩行者情報に含まれる注視点の位置情報と、３次元地図情報とに基づいて、歩行者の注視点の描画情報を生成する。
現在位置描画処理Ｐ３５では、プロセッサ３２は、歩行者端末１から取得した歩行者情報に含まれる歩行者の位置情報と、３次元地図情報とに基づいて、歩行者の現在位置の描画情報、具体的には、歩行者の現在位置を指し示す矢印の描画情報を生成する。
ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、注視点描画処理Ｐ３４で取得した注視点の描画情報に基づいて、注視点のマーク画像５１をＡＲ表示する。また、プロセッサ３２は、現在位置描画処理Ｐ３５で取得した現在位置の描画情報に基づいて、歩行者の現在位置を指し示すマーク画像５２（矢印の画像）をＡＲ表示する。
なお、本実施形態では、運転者に対する注意喚起として、衝突の対象となる歩行者の位置に運転者の視線を誘導するマーク画像５２をＡＲ表示するようにしたが、歩行者に対する注意喚起として、衝突の対象となる車両の位置に歩行者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。また、歩行者や運転者に対する注意喚起として、危険な地点（例えば衝突ポイント）に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。
また、交差点などの見通し外環境の他に、視界不良な状況、例えば、雪や霧などにより視界が悪化している状況の場合にも、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）の位置に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。この場合、視界用カメラ２４の映像と、３次元地図情報とに基づいて、視界不良な状況を検知するようにしてもよい。
次に、第３実施形態に係る歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３について説明する。図１３は、歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３の概要を示す説明図である。
歩行者端末１には、視線用カメラ２５と方位センサ２７と測距センサ２８とが設けられている。また、歩行者端末１のプロセッサ３２では、視点検知処理Ｐ８および注視点測定処理Ｐ３３が行われる（図１１，図１２参照）。
視点検知処理Ｐ８では、左右の視線用カメラ２５の映像に基づいて、左右の眼球の向きを検出して、ユーザの視線方向を取得する。ここで、視線方向（眼球の向き）は右眼と左眼とで異なり、右眼および左眼の視線方向と、右眼と左眼との距離とに基づいて、右眼の視線方向と左眼の視線方向とが交差する注視点を取得して、その注視点の方向をユーザの視線方向とすればよい。
注視点測定処理Ｐ３３では、まず、視点検知処理Ｐ８で取得した左右の視点方向と、測距センサ２８の検出結果とに基づいて、ユーザが注視している物体（注視対象物）までの距離（注視距離）を測定する（注視距離測定処理）。
本実施形態では、測距センサ２８が、検出方向を調整可能に構成され、視点検知処理Ｐ８で取得したユーザの視線方向に基づいて、ユーザの視線方向に一致するように測距センサ２８の検出方向を調整した上で、測距センサ２８により、対向する物体までの距離を検出することで、ユーザが注視している物体までの距離（注視距離）を測定することができる。
なお、本実施形態では、測距センサ２８をユーザの視線方向に向けて、注視距離を測定するようにしたが、測距センサ２８を用いずに、左右の視線用カメラ２５の映像に基づく視点検知処理Ｐ８で取得した左眼および右眼の視線方向（眼球の向き）のみに基づいて、注視距離を推定することもできる。すなわち、右眼の視線方向と左眼の視線方向とが交差する輻輳角が、注視距離が遠い程小さくなり、注視距離が近い程大きくなる性質を利用し、注視距離を推定することができる。
注視点測定処理Ｐ３３では、次に、方位センサ２７で取得した頭部方位と、視点検知処理Ｐ８で取得した視線方向と、注視距離測定処理で取得した注視距離とに基づいて、ユーザが注視している注視点の位置情報（緯度、経度）を取得する。具体的には、ユーザの頭部方位と視線方向とに基づいて、注視点の方位（注視方位）を算出する。すなわち、頭部方位を基準にして視線方向の分だけずれた方位を、注視方位とする。そして、ユーザの位置と、ユーザの注視方位および注視距離に基づいて、注視点の位置情報（緯度、経度）を取得する。
次に、第３実施形態に係る歩行者端末１で行われる処理の手順について説明する。図１４は、歩行者端末１で行われる処理の手順を示すフロー図である。
図１４（Ａ）に示すように、標準モードの歩行者端末１、すなわち、ユーザが歩行中である歩行者端末１では、まず、測位部２３において、歩行者の位置情報を取得する（ＳＴ１２１）。次に、歩行者情報を送信する状況か否か、具体的には歩行者が危険エリアに進入したか否かを判定する（ＳＴ１２２）。
ここで、歩行者情報を送信する状況であれば（ＳＴ１２２でＹｅｓ）、次に、プロセッサ３２において、視線用カメラ２５の映像に基づいて、ユーザの視点を検知して、ユーザの視点の位置情報を取得する（ＳＴ１２３）。次に、視点の位置情報と、３次元地図情報とに基づいて、歩行者が注視する注視点を測定して、注視点の位置情報を取得する（ＳＴ１２４）。そして、ＩＴＳ通信部２１において、歩行者情報（歩行者ＩＤ、歩行者の位置情報、注視点の位置情報など）を含むメッセージを歩車間通信で送信する（ＳＴ１２５）。
図１４（Ｂ）に示すように、車載端末モードの歩行者端末１、すなわち、ユーザが運転者として車両に乗車している歩行者端末１では、ＩＴＳ通信部２１において、周辺の歩行者端末１から送信されるメッセージを受信すると（ＳＴ１３１でＹｅｓ）、プロセッサ３２において、メッセージに含まれる歩行者の位置情報などに基づいて、車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ１３２）。
ここで、歩行者に車両が衝突する危険性がある場合には（ＳＴ１３２でＹｅｓ）、次に、歩行者端末１から取得した歩行者情報に含まれる歩行者の位置情報および注視点の位置情報と、３次元地図情報とに基づいて、歩行者の注視点および現在位置の描画情報を生成する（ＳＴ１３３）。次に、注意喚起動作として、注視点および現在位置の描画情報に基づいて、注視点のマーク画像５１および現在位置のマーク画像５２をＡＲ表示する。
なお、本実施形態では、車両に車載端末２が搭載されていないものとしたが、車両に車載端末２が搭載されている場合には、車載端末２の動作を停止するようにするとよい。また、車載端末モードに遷移した歩行者端末１と車載端末２とで協調して必要な動作を行うようにしてもよい。
また、本実施形態では、車載端末モードに遷移した歩行者端末１において、周辺の歩行者の視線方向に関する画像（注視点のマーク画像５１）をＡＲ表示するようにしたが、ユーザが歩行中である歩行者端末１において、周辺の車両の運転者の視線方向に関する画像をＡＲ表示するようにしてもよい。また、車載端末モードに遷移した歩行者端末１において、周辺の車両の運転者の視線方向に関する画像をＡＲ表示するようにしてもよい。
ところで、本実施形態では、注意喚起のための仮想オブジェクトとして、衝突ポイントなどのマーク画像や歩行者や車両の模擬画像を表示するようにしたが、この他に、仮想オブジェクトとして、落とし穴、フェンス、壁などの障害物の模擬画像を、ユーザの前方にＡＲ表示するようにしてもよい。また、仮想オブジェクトとして、ユーザの足下の路面を危険な状態に変化させた模擬画像をＡＲ表示するようにしてもよい。例えば、路面の模擬画像を、実際の路面とは異なる色に変更したり、凸凹状態に変更したりする。これにより、ユーザが、直感的に前に進むことを躊躇し、反射的に立ち止まるなどの危険回避行動をとるようになる。
また、本実施形態では、交差点などの見通し外環境や視界不良な状況の場合に、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）の位置に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしたが、マーク画像の代わりに、歩行者の模擬画像や車両の模擬画像をＡＲ表示するようにしてもよい。この場合、歩行者の模擬画像や車両の模擬画像は、必要以上に視界を遮らないように、車両や歩行者の輪郭のみを表す画像とするとよい。
また、本実施形態では、衝突の対象となる歩行者や車両の模擬画像を仮想オブジェクトとして表示するようにしたが、この他に、歩行者の安全確認を支援する上で有効な人物や装置の模擬画像を仮想オブジェクトとして表示するようにしてもよい。例えば、安全エリアの通行を案内する人物、具体的には、通学路で児童を誘導する学童擁護員や、交通誘導を行う警察官の模擬画像を、仮想オブジェクトとしてＡＲ表示するようにしてもよい。また、仮想オブジェクトとして、信号機の模擬画像を実際の信号機より拡大した状態でＡＲ表示するようにしてもよい。これにより、ユーザが信号機の表示に注目するようになる。
また、本実施形態では、注意喚起のための仮想オブジェクトとして、衝突ポイントなどのマーク画像や歩行者や車両の模擬画像を表示するようにしたが、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）を除いてユーザの視界を覆う遮蔽画像を、仮想オブジェクトとしてＡＲ表示するようにしてもよい。これにより、危険な地点や物体のみが見えるようになり、ユーザが危険な地点や物体に注目するようになる。この場合、遮蔽画像は、所定の色（黒、グレーなど）で塗り潰したものとすればよい。また、遮蔽画像は、半透過状態で表示されるようにしてもよい。
また、本実施形態では、歩車間通信により取得した情報に基づいて衝突の危険性がある場合に、ＡＲ表示で注意喚起を行うようにしたが、地図情報に基づいて歩行者が危険エリア（交差点付近や、見通し外エリア）内に入ったことを検知すると、ＡＲ表示で注意喚起を行うようにしてもよい。この場合、例えば、歩行者が危険エリア内に入ると、仮想スマートフォンの使用を禁止し、歩行者が危険エリア外に出たことを検知すると、仮想スマートフォンの使用を許可するようにするとよい。
また、複数の歩行者が連なって歩いている場合に、前方の歩行者により視界が遮られて、危険な地点や物体を目視できない場合がある。そこで、前側の歩行者端末１の視界用カメラ２４で撮影した映像をＩＴＳ通信（歩歩間通信）のメッセージで後側の歩行者端末１に送信し、後側の歩行者端末１において、前側の歩行者端末１の映像から、前側の歩行者が透過状態となるような画像を生成して、その画像をＡＲ表示するようにしてもよい。なお、前方に歩行者がいることを認識できなくなると危険な場合があるため、前側の歩行者を半透過状態としたり、前側の歩行者を破線などの輪郭線で表すようにしたりするとよい。また、前側の歩行者と後側の歩行者とでは視差があるため、その視差に応じて映像の補正を行うようにしてもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
本発明に係る歩行者装置および交通安全支援方法は、歩車間通信とＡＲデバイスを利用することで、歩行者の安全確認を効果的にかつ適切に支援することができる効果を有し、車載装置との間で歩車間通信により情報を交換して、歩行者および車両の安全を支援する歩行者装置および交通安全支援方法などとして有用である。
１ 歩行者端末（歩行者装置）
２ 車載端末（車載装置）
２１ ＩＴＳ通信部（歩車間通信部）
２２ セルラー通信部
２３ 測位部
２４ 視界用カメラ
２５ 視線用カメラ
２６ ＡＲディスプレイ
３１ メモリ
３２ プロセッサ

Claims (12)

  1. 車載装置との間で歩車間通信により情報を交換する歩車間通信部と、
    自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、
    前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、
    を備え、
    前記プロセッサは、
    衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、
    前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画することを特徴とする歩行者装置。
  2. 前記プロセッサは、衝突ポイントを予測し、自装置および前記車載装置のそれぞれの現在位置から前記衝突ポイントに向けた移動予測範囲を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  3. さらに、ユーザの視界を撮影する視界用カメラを備え、
    前記プロセッサは、前記視界用カメラの映像と地図情報とに基づいて見通し外エリアを検出し、前記見通し外エリアに衝突対象が存在する場合に、前記衝突対象に視線を誘導する画像を前記仮想オブジェクトとして表示する請求項１に記載の歩行者装置。
  4. さらに、ユーザの視界を撮影する視界用カメラを備え、
    前記プロセッサは、
    前記視界用カメラの映像からユーザの手のひらおよび指先を検知し、
    ユーザの手のひらの位置に仮想端末を前記仮想オブジェクトとして表示し、
    ユーザの指先の位置に応じて、前記仮想端末に対する画面操作を検知して、前記仮想端末の画面を制御することを特徴とする請求項１に記載の歩行者装置。
  5. さらに、ユーザの眼球を撮影する視線用カメラを備え、
    前記プロセッサは、
    前記視線用カメラの映像からユーザの視点の位置情報を取得し、
    その視点の位置情報に基づいて、ユーザが前記仮想端末を目視しているか否かを判定し、
    衝突の危険性があり、かつ、ユーザが前記仮想端末を目視している場合に、前記注意喚起動作を実行することを特徴とする請求項４に記載の歩行者装置。
  6. 前記プロセッサは、
    衝突の危険性がある場合に、衝突ポイントを予測し、その衝突ポイントを表すマーク画像を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  7. 前記プロセッサは、
    衝突の危険性がある車両の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  8. 前記プロセッサは、
    ユーザが運転者として車両に乗車したことを検知すると、車載端末モードに遷移し、運転者の安全運転を支援するように前記仮想オブジェクトの表示を制御することを特徴とする請求項１に記載の歩行者装置。
  9. 前記歩車間通信部は、
    周辺の歩行者の視線方向に関する情報を周辺の歩行者装置から受信し、
    前記プロセッサは、
    前記歩行者の視線方向に関する情報に基づいて、歩行者の視線方向に関する画像を前記仮想オブジェクトとして表示することを特徴とする請求項８に記載の歩行者装置。
  10. 前記プロセッサは、
    衝突の危険性がある歩行者の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示することを特徴とする請求項８に記載の歩行者装置。
  11. 前記歩車間通信部は、
    周辺の車両の運転者の視線方向に関する情報を周辺の車載端末から受信し、
    前記プロセッサは、
    前記運転者の視線方向に関する情報に基づいて、運転者の視線方向に関する画像を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  12. 歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、
    前記歩行者装置が、
    前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性の有無を判定し、
    衝突の危険性があると判定された場合に、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御し、
    前記仮想オブジェクトの表示の制御において、衝突の危険性がある場合に、衝突するまでの状況を段階的に表現する画像を前記仮想オブジェクトとして表示し、
    前記仮想オブジェクトの表示では、現時点から衝突するまでの所定の単位時間ごとの各時刻における自装置および前記車載装置の３次元の位置情報を算出し、前記仮想オブジェクトとして、前記各時刻の自装置および前記車載装置の位置を示す画像を３次元空間上に並べて描画することを特徴とする交通安全支援方法。
JP2019094815A 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法 Active JP7345128B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019094815A JP7345128B2 (ja) 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法
PCT/JP2020/019581 WO2020235518A1 (ja) 2019-05-20 2020-05-18 歩行者装置および交通安全支援方法
CN202080036633.1A CN113841191B (zh) 2019-05-20 2020-05-18 行人装置和交通安全辅助方法
US17/610,864 US11900795B2 (en) 2019-05-20 2020-05-18 Pedestrian device and traffic safety assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019094815A JP7345128B2 (ja) 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法

Publications (2)

Publication Number Publication Date
JP2020190852A JP2020190852A (ja) 2020-11-26
JP7345128B2 true JP7345128B2 (ja) 2023-09-15

Family

ID=73455132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019094815A Active JP7345128B2 (ja) 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法

Country Status (4)

Country Link
US (1) US11900795B2 (ja)
JP (1) JP7345128B2 (ja)
CN (1) CN113841191B (ja)
WO (1) WO2020235518A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320910B (zh) * 2019-07-01 2023-10-10 阿波罗智能技术(北京)有限公司 车辆的避让控制方法、装置、电子设备与存储介质
JP7158352B2 (ja) * 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
JP7402083B2 (ja) * 2020-02-28 2023-12-20 本田技研工業株式会社 表示方法、表示装置及び表示システム
EP4153453A4 (en) * 2020-05-22 2024-01-31 Magna Electronics Inc DISPLAY SYSTEM AND METHOD
US20220055633A1 (en) * 2020-08-21 2022-02-24 Hyundai Motor Company Method and apparatus for providing information
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US20230322248A1 (en) * 2022-04-06 2023-10-12 Gm Global Technology Operation Llc Collision warning system for a motor vehicle having an augmented reality head up display

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2004118418A (ja) 2002-09-25 2004-04-15 Nissan Motor Co Ltd 移動体接近報知装置
JP2006268475A (ja) 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2006331154A (ja) 2005-05-27 2006-12-07 Denso Corp 接近警報システム、携帯端末装置、および車両
JP2010188981A (ja) 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014142798A (ja) 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
WO2014156706A1 (ja) 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2016009431A (ja) 2014-06-26 2016-01-18 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
US20170345292A1 (en) 2016-05-30 2017-11-30 Autotalks Ltd. Wireless pedestrian notification
US20180033306A1 (en) 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
JP2018032241A (ja) 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
JP2019041334A (ja) 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
WO2019069554A1 (ja) 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095336B2 (en) * 2003-09-23 2006-08-22 Optimus Corporation System and method for providing pedestrian alerts
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
US8953841B1 (en) * 2012-09-07 2015-02-10 Amazon Technologies, Inc. User transportable device with hazard monitoring
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US9286794B2 (en) * 2013-10-18 2016-03-15 Elwha Llc Pedestrian warning system
US20150109148A1 (en) * 2013-10-18 2015-04-23 Elwha Llc Pedestrian Warning System
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
EP4239456A1 (en) * 2014-03-21 2023-09-06 Samsung Electronics Co., Ltd. Method and glasses type wearable device for providing a virtual input interface
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017054417A (ja) * 2015-09-11 2017-03-16 ソニー株式会社 情報処理装置、通信装置、情報処理方法及びプログラム
JP2017068335A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 データ処理装置および車載通信装置
JP6629889B2 (ja) * 2016-02-05 2020-01-15 マクセル株式会社 ヘッドアップディスプレイ装置
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
DE102017216100A1 (de) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
US20190129038A1 (en) * 2017-10-27 2019-05-02 Osram Opto Semiconductors Gmbh Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device
US10172409B1 (en) * 2018-05-31 2019-01-08 Nike, Inc. Intelligent electronic footwear and control logic for automated pedestrian collision avoidance
US10621858B1 (en) * 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2004118418A (ja) 2002-09-25 2004-04-15 Nissan Motor Co Ltd 移動体接近報知装置
JP2006268475A (ja) 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2006331154A (ja) 2005-05-27 2006-12-07 Denso Corp 接近警報システム、携帯端末装置、および車両
JP2010188981A (ja) 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2014142798A (ja) 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
WO2014156706A1 (ja) 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2016009431A (ja) 2014-06-26 2016-01-18 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
US20180033306A1 (en) 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
US20170345292A1 (en) 2016-05-30 2017-11-30 Autotalks Ltd. Wireless pedestrian notification
JP2018032241A (ja) 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
JP2019041334A (ja) 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
WO2019069554A1 (ja) 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Also Published As

Publication number Publication date
CN113841191B (zh) 2024-01-16
WO2020235518A1 (ja) 2020-11-26
JP2020190852A (ja) 2020-11-26
CN113841191A (zh) 2021-12-24
US11900795B2 (en) 2024-02-13
US20220262236A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP7345128B2 (ja) 歩行者装置および交通安全支援方法
JP5691568B2 (ja) 情報処理装置、報知方法及びプログラム
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP6524422B2 (ja) 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法
US20170140457A1 (en) Display control device, control method, program and storage medium
JP2017535008A (ja) 道路交通利用者の移動モデルを形成するための方法及び装置
JP2012155655A (ja) 情報処理装置、報知方法及びプログラム
JP2013517575A (ja) 輸送手段の安全な運転を補助する装置及び方法
JP2013196359A (ja) 運転支援装置
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
US20220397963A1 (en) Head-mounted display
RU2720591C1 (ru) Способ отображения информации и устройство управления отображением
US11110933B2 (en) Driving support device, wearable device, driving support system, driving support method, and computer-readable recording medium
US11393196B2 (en) Line of sight assistance device and method
JP2022159732A (ja) 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体
JP7313806B2 (ja) 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
WO2017024458A1 (en) System, method and apparatus for vehicle and computer readable medium
JP7333702B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
Wada et al. Real-time detection system for smartphone zombie based on machine learning
CN110386137A (zh) 电子探测的信息在前挡风玻璃上同步成像的装置
KR102285012B1 (ko) 가상현실 영상을 표시하는 방법 및 장치
CN116126142A (zh) 放置安全装置的提示方法及装置
JP2018185638A (ja) 表示装置、透過型ヘッドマウントディスプレイ、制御装置および表示システム
JP2023076045A (ja) 画像表示装置
JP2021157749A (ja) 画像生成装置及び画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R151 Written notification of patent or utility model registration

Ref document number: 7345128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151