WO2020235518A1 - 歩行者装置および交通安全支援方法 - Google Patents

歩行者装置および交通安全支援方法 Download PDF

Info

Publication number
WO2020235518A1
WO2020235518A1 PCT/JP2020/019581 JP2020019581W WO2020235518A1 WO 2020235518 A1 WO2020235518 A1 WO 2020235518A1 JP 2020019581 W JP2020019581 W JP 2020019581W WO 2020235518 A1 WO2020235518 A1 WO 2020235518A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
vehicle
user
collision
processor
Prior art date
Application number
PCT/JP2020/019581
Other languages
English (en)
French (fr)
Inventor
剛 上野
雅仁 菅原
慎太郎 村松
大久保　義行
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080036633.1A priority Critical patent/CN113841191B/zh
Priority to US17/610,864 priority patent/US11900795B2/en
Publication of WO2020235518A1 publication Critical patent/WO2020235518A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates to a pedestrian device and a traffic safety support method that support the safety of pedestrians and vehicles by exchanging information with an in-vehicle device by pedestrian-vehicle communication.
  • AR Augmented Reality
  • This AR technology superimposes and displays virtual objects on a real space that can be seen by a person, and can effectively support various actions of the person.
  • Patent Documents 1 and 2 As a means of supporting the behavior of pedestrians by using such AR technology, it is known to call attention to pedestrians (see Patent Documents 1 and 2). In addition, pacemakers during walking and evacuation guidance in the event of a disaster are known (see Patent Document 3).
  • this disclosure mainly provides a pedestrian device and a traffic safety support method that can effectively and appropriately support pedestrian safety confirmation by using inter-vehicle communication and an AR device. The purpose.
  • the pedestrian device of the present disclosure includes a pedestrian-to-vehicle communication unit that exchanges information with an in-vehicle device by pedestrian-to-vehicle communication, an AR display that superimposes and displays a virtual object in a real space that can be seen by a user of the own device, and the in-vehicle device.
  • the presence or absence of a collision risk is determined based on the information transmitted to and received from the device, and when there is a collision risk, the display of the virtual object on the AR display is controlled as a warning activation operation for the user.
  • It is configured to include a processor.
  • the traffic safety support method of the present disclosure is a traffic safety support method for supporting the safety of pedestrians and vehicles by exchanging information between the pedestrian device and the in-vehicle device.
  • the risk of collision is determined based on the information transmitted and received by pedestrian-vehicle communication with the in-vehicle device, and according to the risk of collision, as a warning activation work for the user of the own device, in the real space visible to the user.
  • the configuration is such that the display of the virtual object is controlled by the AR display that superimposes and displays the virtual object.
  • the risk of collision is accurately determined based on the information transmitted to and received from the in-vehicle device by pedestrian-vehicle communication, and the user (pedestrian) is alerted at an appropriate timing. be able to.
  • the user can be effectively alerted by controlling the virtual object displayed by the AR display. As a result, it is possible to effectively and appropriately support the safety confirmation of pedestrians.
  • Explanatory drawing which shows the outline of the process performed by the processor 32 of the pedestrian terminal 1 which concerns on 2nd Embodiment
  • Overall configuration diagram of the traffic safety support system according to the third embodiment Explanatory drawing which shows the situation of AR display in the pedestrian terminal 1 which concerns on 3rd Embodiment
  • Explanatory drawing which shows the outline of the process performed by the processor 32 of the pedestrian terminal 1 which concerns on 3rd Embodiment
  • Explanatory drawing which shows the outline of viewpoint detection processing P8 and gaze measurement processing P33 performed in pedestrian terminal 1 which concerns on 3rd Embodiment
  • a flow chart showing a procedure of processing performed by the pedestrian terminal 1 according to the third embodiment.
  • the first invention made to solve the above problems is to superimpose and display a virtual object on a real space that can be seen by a user of the own device and a pedestrian-vehicle communication unit that exchanges information with an in-vehicle device by pedestrian-vehicle communication. Based on the information transmitted and received between the AR display and the in-vehicle device, the presence or absence of a collision risk is determined, and when there is a collision risk, the AR display is used as a warning activation work for the user.
  • the configuration includes a processor that controls the display of virtual objects.
  • the second invention further includes a field-of-view camera that captures the user's field of view, and the processor detects the user's palm and fingertips from the image of the field-of-view camera and places a virtual terminal at the position of the user's palm. Is displayed as the virtual object, and the screen operation on the virtual terminal is detected according to the position of the fingertip of the user to control the screen of the virtual terminal.
  • the virtual terminal is displayed so as to overlap the palm of the user (pedestrian), and the terminal can be used as if holding a real terminal (smartphone, etc.), which is convenient for the user. Is improved.
  • the third invention further includes a line-of-sight camera for photographing the user's eyeball, and the processor acquires the position information of the user's viewpoint from the image of the line-of-sight camera and is based on the position information of the viewpoint. Therefore, it is determined whether or not the user is visually observing the virtual terminal, and when there is a risk of collision and the user is visually observing the virtual terminal, the alert activation operation is executed. ..
  • the fourth invention has a configuration in which the processor predicts a collision point when there is a risk of collision and displays a mark image representing the collision point as the virtual object.
  • the user can recognize the collision point, that is, the point where the user and the vehicle collide.
  • the fifth invention is configured such that the processor predicts a collision scene when there is a risk of collision and displays simulated images of pedestrians and vehicles constituting the collision scene as the virtual object. ..
  • the user can recognize the collision scene, that is, the situation where the user and the vehicle collide.
  • the sixth invention is configured such that the processor displays at least one of a mark image and a simulated image showing the position of a vehicle at risk of collision as the virtual object.
  • the user can easily recognize the position of the vehicle at risk of collision.
  • the processor when the processor detects that the user has boarded the vehicle as a driver, the processor shifts to the in-vehicle terminal mode and controls the display of the virtual object so as to support the safe driving of the driver.
  • the configuration is to be used.
  • the inter-pedestrian communication unit receives information on the line-of-sight direction of a pedestrian in the vicinity from a pedestrian device in the vicinity, and the processor is based on the information on the line-of-sight direction of the pedestrian.
  • An image relating to the line-of-sight direction of a pedestrian is displayed as the virtual object.
  • an image for example, a gazing point
  • the user can easily recognize which direction the surrounding pedestrians are looking at. can do.
  • the ninth invention is configured such that the processor displays at least one of a mark image and a simulated image showing the position of a pedestrian at risk of collision as the virtual object.
  • the user can easily recognize the position of a pedestrian at risk of collision.
  • the pedestrian-vehicle communication unit receives information on the line-of-sight direction of a driver of a surrounding vehicle from a peripheral in-vehicle terminal, and the processor is based on the information on the line-of-sight direction of the driver. , An image relating to the driver's line-of-sight direction is displayed as the virtual object.
  • an image for example, a gazing point
  • the user can easily recognize which direction the driver is looking at. Can be done.
  • the eleventh invention is a traffic safety support method for supporting the safety of pedestrians and vehicles by exchanging information between a pedestrian device and an in-vehicle device, wherein the pedestrian device is the in-vehicle device. Based on the information transmitted and received by pedestrian-to-vehicle communication with and from, the presence or absence of a collision risk is determined, and when it is determined that there is a collision risk, the user can see it as a warning activation work for the user of the own device.
  • the configuration is such that the display of the virtual object is controlled by the AR display that superimposes and displays the virtual object on the real space.
  • FIG. 1 is an overall configuration diagram of the traffic safety support system according to the first embodiment.
  • This traffic safety support system supports the traffic safety of pedestrians and vehicles, and includes a pedestrian terminal 1 (pedestrian device) and an in-vehicle terminal 2 (in-vehicle device).
  • ITS communication (communication between pedestrians) is performed between the pedestrian terminal 1 and the in-vehicle terminal 2.
  • This ITS communication is a wireless communication using a frequency band (for example, 700 MHz band or 5.8 GHz band) adopted in a safe driving support wireless system using ITS (Intelligent Transport System).
  • the pedestrian terminal 1 is owned by a pedestrian.
  • the pedestrian terminal 1 transmits and receives a message including position information and the like to and from the in-vehicle terminal 2 by ITS communication (pedestrian-vehicle communication), determines the risk of collision between the pedestrian and the vehicle, and determines the risk of collision. If there is a danger, a warning activation action for pedestrians will be performed.
  • the pedestrian terminal 1 is composed of a head-mounted display, is attached to the pedestrian's head, and has a function of realizing AR (Augmented Reality).
  • the in-vehicle terminal 2 is mounted on the vehicle.
  • the in-vehicle terminal 2 transmits and receives a message including position information and the like to and from the pedestrian terminal 1 by ITS communication (pedestrian-vehicle communication), determines the risk of collision between the pedestrian and the vehicle, and determines the risk of collision. If there is a danger, a warning to the driver will be activated. It is advisable to use a car navigation device to activate the alert.
  • ITS communication pedestrian-vehicle communication
  • FIG. 2 is an explanatory diagram showing a state of AR display on the pedestrian terminal 1.
  • the AR display 26 AR-displays the image 11 of the virtual smartphone (virtual terminal) as a virtual object so as to overlap the palm of the user (pedestrian).
  • the pointer image 12 is AR-displayed at a position corresponding to the user's fingertip.
  • the use of applications e-mail, browser, telephone, game, etc.
  • a warning screen is displayed on the virtual smartphone.
  • characters for example, "collision danger”
  • figures of the alert are displayed.
  • the alert screen is closed and the application is allowed to be used so that the user can use the application again.
  • the alert screen is displayed on the virtual smartphone displaying AR as an alert activation work, but the display of the virtual smartphone itself is stopped. May be good.
  • the virtual smartphone is displayed as a virtual object, but it may be another display device such as a tablet terminal. Further, only the screen may be displayed as a virtual object without displaying the main body of the display device such as a smartphone.
  • the virtual smartphone is displayed so as to overlap the pedestrian's palm so that the pedestrian holds the smartphone in a pseudo manner, but it is related to the position of the pedestrian's hand.
  • the screen of the virtual smartphone may be displayed as a virtual object at an appropriate position that does not interfere with the walking of the pedestrian, for example, in the lower part of the field of view.
  • a warning activation operation a warning screen for notifying the user that the user is in a dangerous situation is displayed on the virtual smartphone, but in this state, the user performs a predetermined operation (for example, a hand).
  • a predetermined operation for example, a hand.
  • FIG. 3 is a block diagram showing a schematic configuration of the pedestrian terminal 1.
  • FIG. 4 is an explanatory diagram showing an outline of processing performed by the processor 32 of the pedestrian terminal 1.
  • the pedestrian terminal 1 includes an ITS communication unit 21 (pedestrian-vehicle communication unit), a cellular communication unit 22, a positioning unit 23, a field-of-view camera 24, a line-of-sight camera 25, and an AR display. 26, an orientation sensor 27, a distance measuring sensor 28, a motion sensor 29, a memory 31, and a processor 32 are provided.
  • the ITS communication unit 21 (pedestrian-vehicle communication unit) sends and receives a message to and from the in-vehicle terminal 2 by ITS communication (pedestrian-vehicle communication).
  • the cellular communication unit 22 communicates with a base station constituting the cellular communication network and a server that provides services related to smartphone applications (email, browser, telephone, game) via a network connected to the base station.
  • a base station constituting the cellular communication network
  • a server that provides services related to smartphone applications (email, browser, telephone, game) via a network connected to the base station.
  • the positioning unit 23 measures the position of its own device by a satellite positioning system such as GPS (Global Positioning System) or QZSS (Quasi-Zenith Satellite System), and acquires the position information (latitude, longitude) of its own device.
  • a satellite positioning system such as GPS (Global Positioning System) or QZSS (Quasi-Zenith Satellite System)
  • GPS Global Positioning System
  • QZSS Quadasi-Zenith Satellite System
  • the field of view camera 24 captures the range of the field of view in front of the user.
  • the line-of-sight camera 25 captures the left and right eyeballs of the user.
  • the AR display 26 realizes AR (Augmented Reality) by superimposing a virtual object on a real space that enters the user's real field of view.
  • the AR display 26 may be either an optical transmission method or a video transmission method.
  • the optical transmission method is a method in which a virtual object is displayed on a transmissive display in which the real space can be seen through, and the outside can be actually seen through the display.
  • the image of the camera that captures the user's field of view is displayed on a non-transparent display together with a virtual object so that the outside can be seen in a pseudo see-through manner.
  • a transmission type display may be adopted, or a retinal projection type display or the like may be used.
  • the orientation sensor 27 detects the geomagnetic orientation. From the detection result of the orientation sensor 27, the head orientation (face orientation) of the user wearing the pedestrian terminal 1 can be acquired.
  • the distance measuring sensor 28 measures the distance to the opposite object.
  • a PSD Position Sensitive Detector
  • the PSD method the light emitted from the light emitting element is reflected by the object, the reflected light is detected by the light receiving element, and at this time, it is based on the incident angle of the reflected light that changes according to the distance to the object. And measure the distance to the object.
  • the motion sensor 29 is composed of an acceleration sensor and a gyro sensor, and detects the movement of the user's head.
  • the memory 31 stores a program or the like executed by the processor 32.
  • the processor 32 performs various processes related to pedestrian support by executing the program stored in the memory 31.
  • the processor 32 uses the message control process P1, the collision determination process P2, the hand detection process P3, the virtual terminal drawing process P4, the AR display control process P5, the virtual terminal operation recognition process P6, and the virtual terminal.
  • the terminal control process P7, the viewpoint detection process P8, the virtual terminal visual determination process P9, and the alert control process P10 are performed.
  • the processor 32 controls the transmission and reception of a message by pedestrian-vehicle communication with the in-vehicle terminal 2.
  • the processor 32 uses the vehicle position information included in the vehicle information acquired from the in-vehicle terminal 2 and the pedestrian position information acquired by the positioning unit 23. Determine if there is a risk of the vehicle colliding with a pedestrian. Specifically, the processor 32 generates a forecast circle representing the movement range of the pedestrian and the vehicle, and determines whether or not there is a risk of collision based on the degree of overlap of the forecast circles of the pedestrian and the vehicle. To do.
  • the processor 32 detects the palm and fingertip of a pedestrian based on the image of the visibility camera 24, and acquires the position information of the palm and fingertip.
  • the processor 32 In the virtual terminal drawing process P4, the processor 32 generates drawing information of the virtual smartphone to be AR-displayed. At this time, the processor 32 generates drawing information of the virtual smartphone based on the screen display information generated by the virtual terminal control process P7. Further, the processor 32 determines the display position of the virtual smartphone based on the position information of the palm of the user acquired by the hand detection process P3.
  • the processor 32 controls the AR display, that is, the AR display 26, and superimposes and displays the virtual object on the real space visible to the user.
  • the processor 32 AR-displays the image 11 of the virtual smartphone so as to overlap the palm of the user.
  • the processor 32 AR-displays the image 12 of the pointer corresponding to the position of the fingertip for performing the screen operation on the virtual smartphone based on the position information of the fingertip of the user acquired by the hand detection process P3.
  • the processor 32 recognizes the operation of the virtual smartphone based on the position of the user's fingertip acquired by the hand detection process P3 and the position of the screen of the virtual smartphone displayed in AR. Specifically, the processor 32 detects that the touch operation is performed based on the positional relationship between the screen of the virtual smartphone and the fingertip.
  • the processor 32 controls the virtual smartphone based on the operation information acquired in the virtual terminal operation recognition process P6. Specifically, the processor 32 executes programs of the OS and applications (e-mail, browser, telephone, game, etc.) of the virtual smartphone. As a result, the same functions as a real smartphone can be realized in a virtual smartphone.
  • the processor 32 detects the user's viewpoint based on the image of the line-of-sight camera 25, and acquires the position information of the user's viewpoint, that is, the coordinate value of the viewpoint in the coordinate system of the user's field of view. To do.
  • the processor 32 causes the user to use the virtual smartphone based on the position information of the user's viewpoint acquired by the viewpoint detection process P8 and the position information of the virtual smartphone acquired by the virtual terminal drawing process P4. Determine if you are looking. Specifically, the processor 32 determines that the user is visually observing the virtual smartphone when the position of the user's viewpoint substantially coincides with the position of the screen of the virtual smartphone.
  • the processor 32 when the processor 32 is determined by the collision determination process P2 that there is a risk of collision, and is determined by the virtual terminal visual determination process P9 that the user is visually observing the virtual smartphone. In addition, it is controlled to perform a predetermined alert activation operation for the user.
  • the processor 32 performs the alert screen drawing process P11 as the alert activation work.
  • the processor 32 generates drawing information of the alert screen to be displayed on the virtual smartphone.
  • the processor 32 displays the alert screen on the virtual smartphone based on the drawing information of the alert screen acquired in the alert screen drawing process P11.
  • the pedestrian terminal 1 may be composed of a head mount portion mounted on the user's head and a main body portion carried by the user.
  • the field-of-view camera 24, the line-of-sight camera 25, the AR display 26, the direction sensor 27, the distance measurement sensor 28, and the motion sensor 29 are provided in the head mount portion.
  • at least the antennas of the ITS communication unit 21, the cellular communication unit 22, and the positioning unit 23 may be provided in the head mount unit.
  • the screen of the virtual smartphone is operated by operating the screen of the virtual smartphone with a fingertip, but the screen of the virtual smartphone is operated by the gesture operation of the hand at a position unrelated to the screen of the virtual smartphone.
  • the screen operation of the virtual smartphone may be performed.
  • the screen operation of the virtual smartphone may be performed by the movement of the user's eyes based on the position information of the user's viewpoint acquired in the viewpoint detection process P8 based on the image of the line-of-sight camera 25.
  • FIG. 5 is a flow chart showing a procedure of processing performed by the pedestrian terminal 1.
  • the positioning unit 23 acquires the position information of the user (pedestrian) (ST101). Next, it is determined whether or not the situation is such that pedestrian information is transmitted, specifically, whether or not the user has entered the dangerous area (ST102).
  • the ITS communication unit 21 transmits a message including pedestrian information (pedestrian ID, position information, etc.) by pedestrian-to-vehicle communication (ST103). ..
  • the processor 32 uses the vehicle included in the message. Based on the position information of the above, a collision determination is made as to whether or not there is a risk of the vehicle colliding with the user (ST112).
  • the processor 32 acquires the position information of the user's viewpoint based on the image of the line-of-sight camera 25 (ST113). ). Then, based on the position of the user's viewpoint and the position of the virtual smartphone drawn by the virtual terminal drawing process P4, it is determined whether or not the user is visually observing the virtual smartphone (ST114).
  • the pedestrian terminal 1 is controlled so as to perform a predetermined alert activation operation for the user (ST115). Specifically, as a warning activation work, a warning screen is displayed on the virtual smartphone.
  • the in-vehicle terminal 2 periodically transmits a message of inter-vehicle communication including the position information of the own device, as in the case of the pedestrian terminal 1 (see FIG. 5A). Further, in the in-vehicle terminal 2, as in the case of the pedestrian terminal 1 (see FIG. 5B), when a message of inter-vehicle communication is received, a collision is determined, and if there is a risk of collision, the driver is notified. Call attention.
  • FIG. 6 is an explanatory diagram showing a state of AR display in the pedestrian terminal 1 according to the second embodiment.
  • the collision point that is, the mark image 41 representing the point where the pedestrian and the vehicle are predicted to collide is AR-displayed as a virtual object.
  • the pedestrian can recognize the point where the vehicle collides with the vehicle.
  • a collision scene that is, a simulated image 42 of a pedestrian and a simulated image 43 of a vehicle that gradually represent a situation in which a pedestrian and a vehicle gradually approach each other and finally collide with each other are used as virtual objects.
  • AR display This makes it possible for a pedestrian to recognize a situation in which the vehicle collides with the vehicle.
  • the collision point and the collision scene are displayed in AR, but the movement prediction range of the pedestrian and the vehicle may be displayed in AR.
  • the expected movement range is displayed in a fan shape extending from the current position toward the collision point.
  • the virtual smartphone is displayed in AR, but the display of the virtual smartphone may be stopped when there is a risk of collision.
  • the user can immediately recognize that some kind of danger is imminent, and further, it becomes easy to visually recognize the collision point and the collision scene displayed in AR.
  • FIG. 7 is a block diagram showing a schematic configuration of the pedestrian terminal 1.
  • FIG. 8 is an explanatory diagram showing an outline of processing performed by the processor 32 of the pedestrian terminal 1.
  • the processor 32 of the pedestrian terminal 1 has the message control process P1, the collision determination process P2, the hand detection process P3, and the virtual terminal drawing as in the first embodiment.
  • Processing P4 AR display control processing P5, virtual terminal operation recognition processing P6, virtual terminal control processing P7, viewpoint detection processing P8, virtual terminal visual determination processing P9, and attention alert control processing P10 are performed.
  • the alert control process P10 the collision point prediction process P21, the collision point drawing process P22, the collision scene prediction process P23, and the collision scene drawing process P24 are performed.
  • the processor 32 predicts a collision point, that is, a point where a pedestrian and a vehicle are predicted to collide. Specifically, the processor 32 acquires the position information (three-dimensional information) of the collision point based on the current position and moving speed of the pedestrian and the current position and moving speed of the vehicle.
  • the processor 32 draws the collision point in three dimensions based on the position information of the collision point acquired in the collision point prediction process P21 and the three-dimensional map information representing the state of the surrounding roads. That is, information is generated in which the mark image 41 representing the collision point is drawn at the position of the collision point in the three-dimensional space.
  • the three-dimensional map information is included in the dynamic map (integrated map information) constructed for automatic driving of the vehicle, for example, and is distributed from the dynamic map management server.
  • the processor 32 predicts a collision scene, that is, a situation in which a pedestrian and a vehicle gradually approach each other and finally collide. Specifically, the processor 32 acquires the position information (three-dimensional information) of the pedestrian and the vehicle at each time of each unit time (for example, 1 second) in the period from the present until the collision occurs. At this time, the processor 32 calculates the position of the pedestrian at each time based on the current position of the pedestrian and the moving speed. In addition, the processor 32 calculates the position of the vehicle at each time based on the current position of the vehicle and the moving speed.
  • the processor 32 uses the position information of the pedestrian and the vehicle at each time to draw the three-dimensional drawing information of the pedestrian and the vehicle at each time constituting the collision scene, that is, each in the three-dimensional space.
  • Information is generated in which a simulated pedestrian image 42 is drawn at the position of the pedestrian at the time and information is drawn by drawing the simulated image 43 of the vehicle at the position of the vehicle at each time in the three-dimensional space.
  • the processor 32 generates a simulated image 42 of the pedestrian and a simulated image 43 of the vehicle as seen by the user (pedestrian) based on the position information of the own device.
  • the processor 32 AR displays the mark image 41 of the collision point based on the three-dimensional drawing information of the collision point acquired in the collision point drawing process P22. Further, the processor 32 is based on the three-dimensional drawing information of the pedestrian and the vehicle at each time constituting the collision scene acquired by the collision scene drawing process P24, and the simulated image 42 of the pedestrian and the simulated image 43 of the vehicle at each time. Is displayed in AR.
  • FIG. 9 is an overall configuration diagram of the traffic safety support system according to the third embodiment.
  • ITS communication peer-vehicle communication
  • the pedestrian terminal 1 worn by the driver shifts to the in-vehicle terminal mode, operates as the in-vehicle terminal 2, and pedestrians in the vicinity.
  • Information is exchanged with the pedestrian terminal 1 possessed by the vehicle by ITS communication to support the safe driving of the vehicle driver.
  • FIG. 10 is an explanatory diagram showing a state of AR display on the pedestrian terminal 1.
  • the pedestrian terminal 1 transitions to the in-vehicle terminal mode, the pedestrian terminal 1 operates as the in-vehicle terminal 2, and when there is a risk of collision with nearby pedestrians, the AR display 26 alerts the driver. Is done.
  • the mark image 51 image of x mark
  • the pedestrian terminal 1 operates as the in-vehicle terminal 2, and when there is a risk of collision with nearby pedestrians, the AR display 26 alerts the driver. Is done.
  • the mark image 51 image of x mark
  • the gazing point to be watched by the pedestrian is AR-displayed as the alert activation work. This allows the driver to clearly recognize in which direction the pedestrian is looking.
  • the mark image 52 (arrow image) indicating the current position of the pedestrian who is the target of the collision is displayed in AR.
  • the mark image 41 representing the collision point is AR-displayed as in the second embodiment (see FIG. 6).
  • the simulated image 42 of the pedestrian and the simulated image 43 of the vehicle representing the collision scene may be AR-displayed.
  • the gazing point mark image 51 is AR-displayed as an image relating to the line-of-sight direction of the person, but the line-of-sight (line segment) connecting the head of the person and the gazing point is used as an image relating to the line-of-sight direction of the person. Minutes) may be displayed in AR.
  • FIG. 11 is a block diagram showing a schematic configuration of the pedestrian terminal 1.
  • FIG. 12 is an explanatory diagram showing an outline of processing performed by the processor 32 of the pedestrian terminal 1.
  • the processor 32 of the pedestrian terminal 1 has the message control process P1, the collision determination process P2, the hand detection process P3, and the virtual terminal drawing, as in the first embodiment.
  • AR display control processing P5 virtual terminal operation recognition processing P6, virtual terminal control processing P7, viewpoint detection processing P8, virtual terminal visual judgment processing P9, and attention alert control processing P10.
  • the in-vehicle determination process P31 and the terminal mode switching process P32 are performed.
  • the processor 32 determines whether or not the own device is in the vehicle, that is, whether or not the user who owns the own device has boarded the vehicle as a driver. At this time, the processor 32 determines that the vehicle is inside the vehicle, for example, based on the reception status of the satellite radio waves observed by the positioning unit 23. Further, the processor 32 determines that the vehicle is inside the vehicle by detecting the movement of the user sitting in the seat based on the detection information of the motion sensor 29. Further, the processor 32 determines that the vehicle is inside the vehicle by receiving the beacon signal transmitted from the transmitter installed in the vehicle.
  • the processor 32 switches between the standard mode and the in-vehicle terminal mode that operates as an in-vehicle terminal according to the determination result of the in-vehicle determination process P31. Specifically, the processor 32 is in the standard mode when the own device is outside the vehicle, that is, when the user who owns the own device is walking, and when the own device is inside the vehicle. That is, when the user gets on the vehicle as a driver, the vehicle-mounted terminal mode is set.
  • the processor 32 performs the gazing point measurement process P33 when the pedestrian terminal 1 is in the standard mode. Further, when the pedestrian terminal 1 is in the vehicle-mounted terminal mode, the processor 32 performs the gazing point drawing process P34 and the current position drawing process P35 as the attention alert control process P10.
  • the processor 32 includes the position information of the viewpoint (coordinate value of the viewpoint in the coordinate system of the pedestrian's field of view) acquired by the viewpoint detection process P8 and the three-dimensional map information. Based on the above, the gaze point that the pedestrian gazes at is measured, and the position information (three-dimensional information) of the gaze point is acquired.
  • the processor 32 In the gazing point drawing process P34, the processor 32 generates drawing information of the gazing point of the pedestrian based on the position information of the gazing point included in the pedestrian information acquired from the pedestrian terminal 1 and the three-dimensional map information. To do.
  • the processor 32 draws information on the current position of the pedestrian, specifically, based on the pedestrian position information included in the pedestrian information acquired from the pedestrian terminal 1 and the three-dimensional map information. Specifically, it generates drawing information of an arrow indicating the current position of a pedestrian.
  • the processor 32 AR displays the gaze point mark image 51 based on the gaze point drawing information acquired in the gaze point drawing process P34. Further, the processor 32 AR-displays the mark image 52 (arrow image) indicating the current position of the pedestrian based on the drawing information of the current position acquired in the current position drawing process P35.
  • a mark image 52 that guides the driver's line of sight to the position of the pedestrian who is the target of the collision is AR-displayed, but as a reminder to the pedestrian, A mark image that guides the line of sight of a pedestrian may be AR-displayed at the position of the vehicle that is the target of the collision. Further, as a reminder to the pedestrian or the driver, a mark image that guides the line of sight of the pedestrian or the driver to a dangerous point (for example, a collision point) may be AR-displayed.
  • a mark image that guides the line of sight of a pedestrian or a driver may be displayed in AR at the position of the collision point).
  • the situation of poor visibility may be detected based on the image of the visibility camera 24 and the three-dimensional map information.
  • FIG. 13 is an explanatory diagram showing an outline of the viewpoint detection process P8 and the gaze point measurement process P33 performed on the pedestrian terminal 1.
  • the pedestrian terminal 1 is provided with a line-of-sight camera 25, a direction sensor 27, and a distance measuring sensor 28. Further, in the processor 32 of the pedestrian terminal 1, the viewpoint detection process P8 and the gaze point measurement process P33 are performed (see FIGS. 11 and 12).
  • the viewpoint detection process P8 detects the directions of the left and right eyeballs based on the images of the left and right line-of-sight cameras 25, and acquires the user's line-of-sight direction.
  • the line-of-sight direction (direction of the eyeball) differs between the right eye and the left eye
  • the line-of-sight direction and the left of the right eye are based on the line-of-sight directions of the right eye and the left eye and the distance between the right eye and the left eye.
  • the gaze point that intersects the line-of-sight direction of the eye may be acquired, and the gaze point direction may be set as the line-of-sight direction of the user.
  • Gaze distance measurement process P33 first, based on the left and right viewpoint directions acquired by the viewpoint detection process P8 and the detection result of the distance measurement sensor 28, the distance to the object (gaze object) that the user is gazing at (the gaze target object) ( Gaze distance) is measured (gaze distance measurement process).
  • the distance measuring sensor 28 is configured so that the detection direction can be adjusted, and the distance measuring sensor 28 detects the distance measuring sensor 28 so as to match the user's line of sight based on the user's line of sight acquired by the viewpoint detection process P8. After adjusting the direction, the distance measuring sensor 28 detects the distance to the opposite object, so that the distance to the object that the user is gazing at (gaze distance) can be measured.
  • the distance measuring sensor 28 is directed in the direction of the user's line of sight to measure the gaze distance, but the viewpoint based on the images of the left and right line-of-sight cameras 25 without using the distance measuring sensor 28. It is also possible to estimate the gaze distance based only on the line-of-sight directions (eye direction) of the left eye and the right eye acquired in the detection process P8. That is, the gaze distance can be estimated by utilizing the property that the convergence angle at which the gaze direction of the right eye and the gaze direction of the left eye intersect becomes smaller as the gaze distance is farther and increases as the gaze distance is shorter.
  • the position information (latitude, longitude) of the gazing point is acquired based on the user's head direction and gaze direction. That is, the gaze direction is the direction deviated by the line-of-sight direction with respect to the head direction.
  • the position information (latitude, longitude) of the gazing point is acquired based on the position of the user and the gazing direction and gazing distance of the user.
  • FIG. 14 is a flow chart showing a procedure of processing performed by the pedestrian terminal 1.
  • the positioning unit 23 first acquires the position information of the pedestrian (ST121). .. Next, it is determined whether or not the situation is such that pedestrian information is transmitted, specifically, whether or not a pedestrian has entered the dangerous area (ST122).
  • the processor 32 detects the user's viewpoint based on the image of the line-of-sight camera 25, and the position information of the user's viewpoint. (ST123). Next, the gaze point that the pedestrian gazes at is measured based on the position information of the viewpoint and the three-dimensional map information, and the position information of the gaze point is acquired (ST124). Then, the ITS communication unit 21 transmits a message including pedestrian information (pedestrian ID, pedestrian position information, gaze point position information, etc.) by pedestrian-to-vehicle communication (ST125).
  • pedestrian information pedestrian ID, pedestrian position information, gaze point position information, etc.
  • the ITS communication unit 21 has the pedestrian terminal 1 in the vicinity.
  • the processor 32 determines whether or not there is a risk of the vehicle colliding with the pedestrian based on the position information of the pedestrian included in the message. Do (ST132).
  • the pedestrian position information and the gazing point position information included in the pedestrian information acquired from the pedestrian terminal 1 And, based on the three-dimensional map information, the drawing information of the pedestrian's gaze point and the current position is generated (ST133).
  • the mark image 51 of the gazing point and the mark image 52 of the current position are AR-displayed based on the drawing information of the gazing point and the current position.
  • the vehicle-mounted terminal 2 is not mounted on the vehicle, but when the vehicle-mounted terminal 2 is mounted on the vehicle, the operation of the vehicle-mounted terminal 2 may be stopped. Further, the pedestrian terminal 1 and the vehicle-mounted terminal 2 that have transitioned to the vehicle-mounted terminal mode may cooperate with each other to perform necessary operations.
  • an image relating to the line-of-sight direction of surrounding pedestrians (mark image 51 of the gazing point) is AR-displayed, but the user is walking.
  • an image relating to the line-of-sight direction of a driver of a surrounding vehicle may be AR-displayed.
  • an image relating to the line-of-sight direction of the driver of the surrounding vehicle may be AR-displayed.
  • a mark image such as a collision point and a simulated image of a pedestrian or a vehicle are displayed, but in addition to this, as a virtual object, a pitfall, a fence, etc.
  • a simulated image of an obstacle such as a wall may be AR-displayed in front of the user.
  • a simulated image in which the road surface under the user's feet is changed to a dangerous state may be AR-displayed.
  • the simulated image of the road surface is changed to a color different from the actual road surface, or is changed to an uneven state.
  • the line of sight of a pedestrian or a driver is at a position of a collision target (pedestrian or vehicle) or a dangerous point (for example, a collision point).
  • a simulated image of a pedestrian or a simulated image of a vehicle may be displayed in AR instead of the mark image.
  • the simulated image of the pedestrian or the simulated image of the vehicle may be an image showing only the outline of the vehicle or the pedestrian so as not to block the view more than necessary.
  • a simulated image of a pedestrian or a vehicle to be collided is displayed as a virtual object, but in addition to this, a person or device effective for supporting pedestrian safety confirmation
  • the simulated image may be displayed as a virtual object.
  • a person who guides traffic in a safe area specifically, a simulated image of a crossing guard who guides children on the school road or a police officer who guides traffic may be AR-displayed as a virtual object. ..
  • the simulated image of the traffic light may be AR-displayed in a state enlarged from the actual traffic light. This allows the user to pay attention to the display of the traffic light.
  • a mark image such as a collision point and a simulated image of a pedestrian or a vehicle are displayed, but the target of the collision (pedestrian or vehicle) or dangerous.
  • a shield image that covers the user's field of view except for a point may be AR-displayed as a virtual object.
  • the shielded image may be filled with a predetermined color (black, gray, etc.). Further, the shielded image may be displayed in a semi-transparent state.
  • the AR display when there is a risk of collision based on the information acquired by the pedestrian-vehicle communication, the AR display is used to call attention, but the pedestrian is in a dangerous area (intersection) based on the map information.
  • an AR display may be used to call attention.
  • the use of the virtual smartphone may be prohibited, and when it is detected that the pedestrian has left the dangerous area, the use of the virtual smartphone may be permitted.
  • the image captured by the visibility camera 24 of the pedestrian terminal 1 on the front side is transmitted to the pedestrian terminal 1 on the rear side by a message of ITS communication (walking distance communication), and the pedestrian terminal 1 on the rear side is on the front side.
  • An image in which the pedestrian on the front side is in a transparent state may be generated from the image of the pedestrian terminal 1 and the image may be displayed in AR.
  • the pedestrian on the front side Since it may be dangerous if it becomes impossible to recognize that there is a pedestrian in front, it is advisable to make the pedestrian on the front side semi-transparent, or to represent the pedestrian on the front side with a contour line such as a broken line. Further, since there is a parallax between the pedestrian on the front side and the pedestrian on the rear side, the image may be corrected according to the parallax.
  • the pedestrian device and the traffic safety support method according to the present disclosure have the effect of effectively and appropriately supporting the safety confirmation of pedestrians by using the pedestrian-vehicle communication and the AR device, and are in-vehicle devices. It is useful as a pedestrian device and a traffic safety support method that support the safety of pedestrians and vehicles by exchanging information with and by pedestrian-vehicle communication.
  • Pedestrian terminal (pedestrian device) 2 In-vehicle terminal (in-vehicle device) 21 ITS Communication Department (Inter-vehicle Communication Department) 22 Cellular communication unit 23 Positioning unit 24 Field of view camera 25 Line of sight camera 26 AR display 31 Memory 32 Processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】歩車間通信とＡＲデバイスを利用することで、歩行者の安全確認を効果的にかつ適切に支援することができるようにする。 【解決手段】車載端末２との間で歩車間通信を行うＩＴＳ通信部２１（歩車間通信部）と、車載端末との間で送受信した情報に基づいて衝突の危険性を判定して、自装置のユーザに対する注意喚起動作を制御するプロセッサ３２と、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイ２６と、を備え、プロセッサは、衝突の危険性に応じて、注意喚起動作として、ＡＲディスプレイによる仮想オブジェクト（仮想端末）の表示を制御する。

Description

歩行者装置および交通安全支援方法
　本開示は、車載装置との間で歩車間通信により情報を交換して、歩行者および車両の安全を支援する歩行者装置および交通安全支援方法に関するものである。
　近年、スマートフォンや音楽プレーヤーなどの携帯デバイスを利用しながら歩行することの危険性が問題になっている。携帯デバイスを利用しながら歩行すると、周囲に対する注意力が低下して、十分な安全確認がなされないため、歩行者が危険な状況にあることに気付かずに事故に至るケースが多い。
　また、以前より、ＡＲ（拡張現実：Augmented Reality）を実現する様々な技術が提案されている。このＡＲの技術は、人物から見える実空間上に仮想オブジェクトを重畳表示するものであり、人物の様々な行動を効果的に支援することができる。
　このようなＡＲの技術を利用して歩行者の行動を支援するものとして、歩行者に対する注意喚起を行うものが知られている（特許文献１，２参照）。また、ウォーキング時のペースメーカーや災害発生時の避難誘導などを行うものが知られている（特許文献３参照）。
特開２０１２－１５５６５５号公報 特開２０１２－１５５６５４号公報 特許第５３４６１１５号公報
　さて、近年、ヘッドマウントディスプレイなどの様々なＡＲデバイスの開発が進められており、このようなＡＲデバイスを利用することで、高度なＡＲを実現することができ、歩行者の安全確認を効果的に支援することができるものと期待される。
　しかしながら、従来の技術のように、カメラの映像に対する物体認識などにより危険を検知する方法では、危険な状況を精度よく検知することができないため、歩行者に対して適切に注意喚起を行うことができないという問題があった。
　一方、近年、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムにおいて、歩行者の事故を防止するため、歩行者に所持させた歩行者端末と車載端末との間で通信を行う歩車間通信が提案されている。この歩車間通信では、歩行者端末と車載端末とが直接通信を行うことで、衝突の危険性を精度よく判定して、歩行者に対して適切なタイミングで注意喚起を行うことができる。
　そこで、本開示は、歩車間通信とＡＲデバイスを利用することで、歩行者の安全確認を効果的にかつ適切に支援することができる歩行者装置および交通安全支援方法を提供することを主な目的とする。
　本開示の歩行者装置は、車載装置との間で歩車間通信により情報を交換する歩車間通信部と、自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、を備える構成とする。
　また、本開示の交通安全支援方法は、歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、前記歩行者装置が、前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性を判定し、衝突の危険性に応じて、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御する構成とする。
　本開示によれば、歩車間通信により車載装置との間で送受信した情報に基づいて、衝突の危険性を精度よく判定して、ユーザ（歩行者）に対して適切なタイミングで注意喚起を行うことができる。また、ＡＲディスプレイにより表示される仮想オブジェクトの制御で、ユーザに対して効果的に注意喚起を行うことができる。これにより、歩行者の安全確認を効果的にかつ適切に支援することができる。
第１実施形態に係る交通安全支援システムの全体構成図 第１実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第１実施形態に係る歩行者端末１の概略構成を示すブロック図 第１実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第１実施形態に係る歩行者端末１で行われる処理の手順を示すフロー図 第２実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第２実施形態に係る歩行者端末１の概略構成を示すブロック図 第２実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第３実施形態に係る交通安全支援システムの全体構成図 第３実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図 第３実施形態に係る歩行者端末１の概略構成を示すブロック図 第３実施形態に係る歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図 第３実施形態に係る歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３の概要を示す説明図 第３実施形態に係る歩行者端末１で行われる処理の手順を示すフロー図
　前記課題を解決するためになされた第１の発明は、車載装置との間で歩車間通信により情報を交換する歩車間通信部と、自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、を備える構成とする。
　これによると、歩車間通信により車載装置との間で送受信した情報に基づいて、衝突の危険性を精度よく判定して、ユーザ（歩行者）に対して適切なタイミングで注意喚起を行うことができる。また、ＡＲディスプレイにより表示される仮想オブジェクトの制御で、ユーザに対して効果的に注意喚起を行うことができる。これにより、歩行者の安全確認を効果的にかつ適切に支援することができる。
　また、第２の発明は、さらに、ユーザの視界を撮影する視界用カメラを備え、前記プロセッサは、前記視界用カメラの映像からユーザの手のひらおよび指先を検知し、ユーザの手のひらの位置に仮想端末を前記仮想オブジェクトとして表示し、ユーザの指先の位置に応じて、前記仮想端末に対する画面操作を検知して、前記仮想端末の画面を制御する構成とする。
　これによると、ユーザ（歩行者）の手のひらに重なるように仮想端末が表示され、実物の端末（スマートフォンなど）を把持しているような感覚で端末を利用することができるため、ユーザの利便性が向上する。
　また、第３の発明は、さらに、ユーザの眼球を撮影する視線用カメラを備え、前記プロセッサは、前記視線用カメラの映像からユーザの視点の位置情報を取得し、その視点の位置情報に基づいて、ユーザが前記仮想端末を目視しているか否かを判定し、衝突の危険性があり、かつ、ユーザが前記仮想端末を目視している場合に、前記注意喚起動作を実行する構成とする。
　これによると、ユーザ（歩行者）が仮想端末を目視している場合には、周囲に対する注意力が低下するため、ユーザに対して注意喚起を行うことで、ユーザの安全確認をより一層効果的に支援することができる。
　また、第４の発明は、前記プロセッサは、衝突の危険性がある場合に、衝突ポイントを予測し、その衝突ポイントを表すマーク画像を前記仮想オブジェクトとして表示する構成とする。
　これによると、ユーザ（歩行者）が、衝突ポイント、すなわち、ユーザと車両とが衝突する地点を認識することができる。
　また、第５の発明は、前記プロセッサは、衝突の危険性がある場合に、衝突シーンを予測し、その衝突シーンを構成する歩行者および車両の模擬画像を前記仮想オブジェクトとして表示する構成とする。
　これによると、ユーザ（歩行者）が、衝突シーン、すなわち、ユーザと車両とが衝突する状況を認識することができる。
　また、第６の発明は、前記プロセッサは、衝突の危険性がある車両の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示する構成とする。
　これによると、ユーザ（歩行者）が、衝突の危険性がある車両の位置を容易に認識することができる。
　また、第７の発明は、前記プロセッサは、ユーザが運転者として車両に乗車したことを検知すると、車載端末モードに遷移し、運転者の安全運転を支援するように前記仮想オブジェクトの表示を制御する構成とする。
　これによると、ユーザ（運転者）の安全運転を支援することができる。
　また、第８の発明は、前記歩車間通信部は、周辺の歩行者の視線方向に関する情報を周辺の歩行者装置から受信し、前記プロセッサは、前記歩行者の視線方向に関する情報に基づいて、歩行者の視線方向に関する画像を前記仮想オブジェクトとして表示する構成とする。
　これによると、周辺の歩行者の視線方向に関する画像（例えば、注視点）を仮想オブジェクトとして表示するため、ユーザ（運転者）が、周辺の歩行者がどの方向を目視しているかを容易に認識することができる。
　また、第９の発明は、前記プロセッサは、衝突の危険性がある歩行者の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示する構成とする。
　これによると、ユーザ（運転者）が、衝突の危険性がある歩行者の位置を容易に認識することができる。
　また、第１０の発明は、前記歩車間通信部は、周辺の車両の運転者の視線方向に関する情報を周辺の車載端末から受信し、前記プロセッサは、前記運転者の視線方向に関する情報に基づいて、運転者の視線方向に関する画像を前記仮想オブジェクトとして表示する構成とする。
　これによると、周辺の運転者の視線方向に関する画像（例えば、注視点）を仮想オブジェクトとして表示するため、ユーザ（歩行者）が、運転者がどの方向を目視しているかを容易に認識することができる。
　また、第１１の発明は、歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、前記歩行者装置が、前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性があると判定された場合に、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御する構成とする。
　これによると、第１の発明と同様に、歩行者の安全確認を効果的にかつ適切に支援することができる。
　以下、本開示の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態に係る交通安全支援システムの全体構成図である。
　この交通安全支援システムは、歩行者および車両の交通安全を支援するものであり、歩行者端末１（歩行者装置）と、車載端末２（車載装置）と、を備えている。
　歩行者端末１と車載端末２との間ではＩＴＳ通信（歩車間通信）が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。
　歩行者端末１は、歩行者が所持する。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により車載端末２との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者に対する注意喚起動作を行う。本実施形態では、歩行者端末１は、ヘッドマウントディスプレイで構成され、歩行者の頭部に装着され、ＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。
　車載端末２は、車両に搭載される。この車載端末２では、ＩＴＳ通信（歩車間通信）により歩行者端末１との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、カーナビゲーション装置を用いて行うとよい。
　次に、第１実施形態に係る歩行者端末１におけるＡＲ表示について説明する。図２は、歩行者端末１におけるＡＲ表示の状況を示す説明図である。
　本実施形態では、ＡＲディスプレイ２６により、仮想オブジェクトとして、仮想スマートフォン（仮想端末）の画像１１がユーザ（歩行者）の手のひらに重なるようにＡＲ表示される。また、ユーザの指先に対応する位置にポインタの画像１２がＡＲ表示される。ユーザが、指先で仮想スマートフォンの画面に対してタッチ操作を行うような動作を行うと、ユーザの画面操作を認識して、その画面操作に応じて、仮想スマートフォンの画面を制御する。これにより、ユーザが、実際にスマートフォンを把持して操作する感覚で、スマートフォンのアプリケーション（電子メール、ブラウザ、電話、ゲームなど）を利用することができる。
　また、本実施形態では、衝突の危険性がある場合に、注意喚起動作として、アプリケーション（電子メール、ブラウザ、電話、ゲームなど）の使用を禁止して、仮想スマートフォンに注意喚起画面を表示する。この注意喚起画面には、注意喚起の文字（例えば、「衝突危険」）や図形などが表示される。一方、衝突の危険性がなくなると、注意喚起画面を終了してアプリケーションの使用を許可し、再びユーザがアプリケーションを利用できるようにする。
　なお、本実施形態では、衝突の危険性がある場合に、注意喚起動作として、ＡＲ表示中の仮想スマートフォンに注意喚起画面を表示するようにしたが、仮想スマートフォンそのものの表示を中止するようにしてもよい。
　また、本実施形態では、仮想オブジェクトとして仮想スマートフォンを表示するようにしたが、タブレット端末など、他の表示デバイスであってもよい。また、スマートフォンなどの表示デバイスの本体を表示せずに、画面のみを仮想オブジェクトとして表示するようにしてもよい。
　また、本実施形態では、擬似的に歩行者がスマートフォンを把持した状態となるように、歩行者の手のひらに重なるように仮想スマートフォンを表示するようにしたが、歩行者の手の位置とは関係なく、歩行者の歩行の支障にならない適宜な位置、例えば、視界の下部分に、仮想スマートフォンの画面を仮想オブジェクトとして表示するようにしてもよい。
　また、本実施形態では、注意喚起動作として、危険な状況にあることをユーザに通知する注意喚起画面を仮想スマートフォンに表示するようにしたが、この状態で、ユーザが所定の操作（例えば、手のジェスチャー動作）を行うと、ユーザの周辺の状況を俯瞰した画像を仮想スマートフォンに表示するようにしてもよい。これにより、ユーザの周辺の状況を明確に認識することができる。
　次に、第１実施形態に係る歩行者端末１の概略構成について説明する。図３は、歩行者端末１の概略構成を示すブロック図である。図４は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
　図３に示すように、歩行者端末１は、ＩＴＳ通信部２１（歩車間通信部）と、セルラー通信部２２と、測位部２３と、視界用カメラ２４と、視線用カメラ２５と、ＡＲディスプレイ２６と、方位センサ２７と、測距センサ２８と、モーションセンサ２９と、メモリ３１と、プロセッサ３２と、を備えている。
　ＩＴＳ通信部２１（歩車間通信部）は、車載端末２との間でＩＴＳ通信（歩車間通信）によりメッセージを送受信する。
　セルラー通信部２２は、セルラー通信網を構成する基地局、および基地局に接続されたネットワークを介して、スマートフォンアプリケーション（電子メール、ブラウザ、電話、ゲーム）に関するサービスを提供するサーバと通信を行う。
　測位部２３は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報（緯度、経度）を取得する。
　視界用カメラ２４は、ユーザの前方の視界の範囲を撮影する。
　視線用カメラ２５は、ユーザの左右の眼球を撮影する。
　ＡＲディスプレイ２６は、ユーザの現実の視界に入る実空間上に仮想オブジェクトを重畳表示して、ＡＲ（拡張現実：Augmented Reality）を実現するものである。なお、ＡＲディスプレイ２６は、光学透過方式およびビデオ透過方式のいずれでもよい。光学透過方式は、実空間が透過して見える透過型のディスプレイに仮想オブジェクトを表示して、ディスプレイを通して実際にシースルーで外の様子を見ることができるようにしたものである。ビデオ透過方式は、ユーザの視界を撮影するカメラの映像を、仮想オブジェクトとともに非透過型のディスプレイに表示して、擬似的にシースルーで外の様子を見ることができるようにしたものである。また、光学透過方式では、透過型のディスプレイを採用したものの他、網膜投影型のディスプレイなどでもよい。
　方位センサ２７は、地磁気方位を検出する。この方位センサ２７の検出結果から、歩行者端末１が装着されたユーザの頭部方位（顔の向き）を取得することができる。
　測距センサ２８は、対向する物体までの距離を測定する。この測距センサ２８では、例えばＰＳＤ（Position Sensitive Detector）方式を採用すればよい。なお、ＰＳＤ方式では、発光素子から出射された光が対象物で反射し、その反射光を受光素子で検出し、このとき、対象物までの距離に応じて変化する反射光の入射角度に基づいて、対象物までの距離を測定する。
　モーションセンサ２９は、加速度センサやジャイロセンサで構成され、ユーザの頭部の動きを検出する。
　メモリ３１は、プロセッサ３２で実行されるプログラムなどを記憶する。
　プロセッサ３２は、メモリ３１に記憶されたプログラムを実行することで歩行者支援に係る各種の処理を行う。本実施形態では、プロセッサ３２が、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行う。
　メッセージ制御処理Ｐ１では、プロセッサ３２は、車載端末２との間での歩車間通信によるメッセージの送受信を制御する。
　図４に示すように、衝突判定処理Ｐ２では、プロセッサ３２は、車載端末２から取得した車両情報に含まれる車両の位置情報、および測位部２３で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。具体的には、プロセッサ３２は、歩行者および車両の移動範囲を表す予報円を生成して、歩行者および車両の予報円の重なり具合に基づいて、衝突の危険性があるか否かを判定する。
　手検知処理Ｐ３では、プロセッサ３２は、視界用カメラ２４の映像に基づいて、歩行者の手のひらおよび指先を検知して、手のひらおよび指先の位置情報を取得する。
　仮想端末描画処理Ｐ４では、プロセッサ３２は、ＡＲ表示する仮想スマートフォンの描画情報を生成する。このとき、プロセッサ３２は、仮想端末制御処理Ｐ７で生成した画面表示情報に基づいて、仮想スマートフォンの描画情報を生成する。また、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの手のひらの位置情報に基づいて、仮想スマートフォンの表示位置を決定する。
　ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、ＡＲ表示、すなわち、ＡＲディスプレイ２６を制御して、ユーザから見える実空間上に仮想オブジェクトを重畳表示する。本実施形態では、プロセッサ３２は、ユーザの手のひらに重なるように仮想スマートフォンの画像１１をＡＲ表示する。また、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの指先の位置情報に基づいて、画面操作を行う指先の位置に対応するポインタの画像１２を仮想スマートフォン上にＡＲ表示する。
　仮想端末操作認識処理Ｐ６では、プロセッサ３２は、手検知処理Ｐ３で取得したユーザの指先の位置と、ＡＲ表示した仮想スマートフォンの画面の位置とに基づいて、仮想スマートフォンの操作を認識する。具体的には、プロセッサ３２は、仮想スマートフォンの画面と指先との位置関係に基づいて、タッチ操作を行っていることを検知する。
　仮想端末制御処理Ｐ７では、プロセッサ３２は、仮想端末操作認識処理Ｐ６で取得した操作情報に基づいて、仮想スマートフォンを制御する。具体的には、プロセッサ３２は、仮想スマートフォンのＯＳおよびアプリケーション（電子メール、ブラウザ、電話、ゲームなど）のプログラムを実行する。これにより、現実のスマートフォンと同等の機能を仮想スマートフォンで実現することができる。
　視点検知処理Ｐ８では、プロセッサ３２は、視線用カメラ２５の映像に基づいて、ユーザの視点を検知して、ユーザの視点の位置情報、すなわち、ユーザの視界の座標系における視点の座標値を取得する。
　仮想端末目視判定処理Ｐ９では、プロセッサ３２は、視点検知処理Ｐ８で取得したユーザの視点の位置情報と、仮想端末描画処理Ｐ４で取得した仮想スマートフォンの位置情報とに基づいて、ユーザが仮想スマートフォンを目視しているか否かを判定する。具体的には、プロセッサ３２は、ユーザの視点の位置が、仮想スマートフォンの画面の位置とほぼ一致している場合に、ユーザが仮想スマートフォンを目視しているものと判定する。
　注意喚起制御処理Ｐ１０では、プロセッサ３２は、衝突判定処理Ｐ２で衝突の危険性があると判定され、かつ、仮想端末目視判定処理Ｐ９でユーザが仮想スマートフォンを目視しているものと判定された場合に、ユーザに対する所定の注意喚起動作を行うように制御する。本実施形態では、プロセッサ３２は、注意喚起動作として、注意喚起画面描画処理Ｐ１１を行う。この注意喚起画面描画処理Ｐ１１では、プロセッサ３２は、仮想スマートフォンに表示する注意喚起画面の描画情報を生成する。ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、注意喚起画面描画処理Ｐ１１で取得した注意喚起画面の描画情報に基づいて、仮想スマートフォンに注意喚起画面を表示する。
　なお、歩行者端末１は、ユーザの頭部に装着されるヘッドマウント部と、ユーザが携帯する本体部とで構成されるようにしてもよい。この場合、視界用カメラ２４、視線用カメラ２５、ＡＲディスプレイ２６、方位センサ２７、測距センサ２８、およびモーションセンサ２９を、ヘッドマウント部に設ける。また、ＩＴＳ通信部２１、セルラー通信部２２、および測位部２３の少なくともアンテナを、ヘッドマウント部に設けるとよい。
　また、本実施形態では、仮想スマートフォンの画面を指先で操作する動作を行うことで、仮想スマートフォンの画面操作を行うようにしたが、仮想スマートフォンの画面とは関係ない位置で、手のジェスチャー動作により、仮想スマートフォンの画面操作を行うようにしてもよい。この場合、仮想端末操作認識処理Ｐ６において、ユーザの指先の位置と仮想スマートフォンの画面の位置とを比較する必要がないため、位置情報の精度が低くても、ユーザの操作を精度よく認識することができる。また、視線用カメラ２５の映像に基づく視点検知処理Ｐ８で取得したユーザの視点の位置情報に基づいて、ユーザの目の動きにより仮想スマートフォンの画面操作を行うようにしてもよい。
　次に、第１実施形態に係る歩行者端末１で行われる処理の手順について説明する。図５は、歩行者端末１で行われる処理の手順を示すフロー図である。
　図５（Ａ）に示すように、歩行者端末１では、まず、測位部２３において、ユーザ（歩行者）の位置情報を取得する（ＳＴ１０１）。次に、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する（ＳＴ１０２）。
　ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、ＩＴＳ通信部２１において、歩行者情報（歩行者ＩＤおよび位置情報など）を含むメッセージを歩車間通信で送信する（ＳＴ１０３）。
　図５（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部２１において、周辺の車載端末２から送信されるメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ３２において、メッセージに含まれる車両の位置情報などに基づいて、ユーザに車両が衝突する危険性があるか否かの衝突判定を行う（ＳＴ１１２）。
　ここで、ユーザに車両が衝突する危険性がある場合には（ＳＴ１１２でＹｅｓ）、次に、プロセッサ３２において、視線用カメラ２５の映像に基づいて、ユーザの視点の位置情報を取得する（ＳＴ１１３）。そして、ユーザの視点の位置と、仮想端末描画処理Ｐ４で描画した仮想スマートフォンの位置とに基づいて、ユーザが仮想スマートフォンを目視しているか否かを判定する（ＳＴ１１４）。
　ここで、ユーザが仮想スマートフォンを目視している場合には（ＳＴ１１４でＹｅｓ）、ユーザに対する所定の注意喚起動作を行うように歩行者端末１を制御する（ＳＴ１１５）。具体的には、注意喚起動作として、仮想スマートフォンに注意喚起画面を表示する。
　なお、車載端末２では、歩行者端末１と同様に（図５（Ａ）参照）、自装置の位置情報を含む歩車間通信のメッセージを定期的に送信する。また、車載端末２では、歩行者端末１と同様に（図５（Ｂ）参照）、歩車間通信のメッセージを受信すると、衝突判定を行い、衝突の危険性がある場合には、運転者に対する注意喚起を実施する。
（第２実施形態）
　次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図６は、第２実施形態に係る歩行者端末１におけるＡＲ表示の状況を示す説明図である。
　本実施形態では、衝突ポイント、すなわち、歩行者と車両とが衝突することが予測される地点を表すマーク画像４１を、仮想オブジェクトとしてＡＲ表示する。これにより、歩行者が、車両と衝突する地点を認識することができる。
　また、本実施形態では、衝突シーン、すなわち、歩行者と車両とが次第に接近して遂には衝突する状況を段階的に表現する歩行者の模擬画像４２および車両の模擬画像４３を、仮想オブジェクトとしてＡＲ表示する。これにより、歩行者が、車両と衝突する状況を認識することができる。
　なお、本実施形態では、衝突ポイントおよび衝突シーンをＡＲ表示するようにしたが、歩行者および車両の移動予測範囲をＡＲ表示するようにしてもよい。この場合、移動予想範囲は、現在位置から衝突ポイントに向けて扇形状に広がる形態で表示される。
　また、本実施形態では、仮想スマートフォンをＡＲ表示するようにしたが、衝突の危険性がある場合に、仮想スマートフォンの表示を中止するようにしてもよい。これにより、ユーザが何らかの危険が迫っていることを即座に認識することができ、さらに、ＡＲ表示された衝突ポイントおよび衝突シーンを視認しやすくなる。
　次に、第２実施形態に係る歩行者端末１の概略構成について説明する。図７は、歩行者端末１の概略構成を示すブロック図である。図８は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
　本実施形態では、図７に示すように、歩行者端末１のプロセッサ３２が、第１実施形態と同様に、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行うが、特に、注意喚起制御処理Ｐ１０として、衝突ポイント予測処理Ｐ２１と、衝突ポイント描画処理Ｐ２２と、衝突シーン予測処理Ｐ２３と、衝突シーン描画処理Ｐ２４とを行う。
　衝突ポイント予測処理Ｐ２１では、プロセッサ３２は、衝突ポイント、すなわち、歩行者と車両とが衝突するものと予測される地点を予測する。具体的には、プロセッサ３２は、歩行者の現在位置および移動速度と、車両の現在位置および移動速度とに基づいて、衝突ポイントの位置情報（３次元情報）を取得する。
　衝突ポイント描画処理Ｐ２２では、プロセッサ３２は、衝突ポイント予測処理Ｐ２１で取得した衝突ポイントの位置情報と、周辺の道路の状態を表す３次元地図情報とに基づいて、衝突ポイントの３次元描画情報、すなわち、３次元空間における衝突ポイントの位置に衝突ポイントを表すマーク画像４１を描画した情報を生成する。
　なお、３次元地図情報は、例えば、車両の自動運転のために構築されたダイナミックマップ（統合型地図情報）に含まれるものであり、ダイナミックマップ管理サーバから配信される。
　衝突シーン予測処理Ｐ２３では、プロセッサ３２は、衝突シーン、すなわち、歩行者と車両とが次第に接近して遂には衝突する状況を予測する。具体的には、プロセッサ３２は、現在から衝突が発生するまでの期間における単位時間（例えば１秒）ごとの各時刻における歩行者および車両の位置情報（３次元情報）を取得する。このとき、プロセッサ３２は、歩行者の現在位置および移動速度に基づいて、各時刻の歩行者の位置を算出する。また、プロセッサ３２は、車両の現在位置および移動速度に基づいて、各時刻の車両の位置を算出する。
　衝突シーン描画処理Ｐ２４では、プロセッサ３２は、各時刻の歩行者および車両の位置情報に基づいて、衝突シーンを構成する各時刻における歩行者および車両の３次元描画情報、すなわち、３次元空間における各時刻の歩行者の位置に歩行者の模擬画像４２を描画した情報と、３次元空間における各時刻の車両の位置に車両の模擬画像４３を描画した情報とを生成する。このとき、プロセッサ３２は、自装置の位置情報に基づいて、ユーザ（歩行者）から見た歩行者の模擬画像４２および車両の模擬画像４３を生成する。
　ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、衝突ポイント描画処理Ｐ２２で取得した衝突ポイントの３次元描画情報に基づいて、衝突ポイントのマーク画像４１をＡＲ表示する。また、プロセッサ３２は、衝突シーン描画処理Ｐ２４で取得した衝突シーンを構成する各時刻における歩行者および車両の３次元描画情報に基づいて、各時刻における歩行者の模擬画像４２および車両の模擬画像４３をＡＲ表示する。
（第３実施形態）
　次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図９は、第３実施形態に係る交通安全支援システムの全体構成図である。
　前記の実施形態では、歩行者端末１と車載端末２との間でＩＴＳ通信（歩車間通信）により情報を交換して、歩行者の安全確認を支援するようにしたが、本実施形態では、歩行者端末１のユーザが車両の運転者として車両に乗車すると、その運転者が装着している歩行者端末１が、車載端末モードに遷移して、車載端末２として動作し、周辺の歩行者が所持する歩行者端末１との間でＩＴＳ通信により情報を交換して、車両の運転者の安全運転を支援する。
　次に、第３実施形態に係る歩行者端末１におけるＡＲ表示について説明する。図１０は、歩行者端末１におけるＡＲ表示の状況を示す説明図である。
　歩行者端末１が車載端末モードに遷移すると、歩行者端末１が車載端末２として動作し、周辺の歩行者と衝突の危険性がある場合には、運転者に対してＡＲディスプレイ２６により注意喚起が行われる。本実施形態では、注意喚起動作として、歩行者が注視する注視点のマーク画像５１（×印の画像）がＡＲ表示される。これにより、歩行者がどの方向を見ているかを運転者が明確に認識することができる。
　また、本実施形態では、衝突の対象となる歩行者の現在位置を指し示すマーク画像５２（矢印の画像）がＡＲ表示される。これにより、交差点などの見通し外環境のために、衝突の対象となる歩行者を素早く認識できない場合でも、衝突の対象となる歩行者にユーザ（運転者）の視線を誘導することで、衝突の対象となる歩行者を素早く認識することができる。
　また、図１０に示す例では、第２実施形態（図６参照）と同様に、衝突ポイントを表すマーク画像４１をＡＲ表示するようにしている。なお、第２実施形態と同様に、衝突シーンを表す歩行者の模擬画像４２および車両の模擬画像４３をＡＲ表示するようにしてもよい。
　なお、本実施形態では、人物の視線方向に関する画像として注視点のマーク画像５１をＡＲ表示するようにしたが、人物の視線方向に関する画像として、人物の頭部と注視点とを結ぶ視線（線分）をＡＲ表示するようにしてもよい。
　次に、第３実施形態に係る歩行者端末１の概略構成について説明する。図１１は、歩行者端末１の概略構成を示すブロック図である。図１２は、歩行者端末１のプロセッサ３２で行われる処理の概要を示す説明図である。
　本実施形態では、図１１に示すように、歩行者端末１のプロセッサ３２が、第１実施形態と同様に、メッセージ制御処理Ｐ１と、衝突判定処理Ｐ２と、手検知処理Ｐ３と、仮想端末描画処理Ｐ４と、ＡＲ表示制御処理Ｐ５と、仮想端末操作認識処理Ｐ６と、仮想端末制御処理Ｐ７と、視点検知処理Ｐ８と、仮想端末目視判定処理Ｐ９と、注意喚起制御処理Ｐ１０とを行う他に、車内判定処理Ｐ３１と、端末モード切替処理Ｐ３２とを行う。
　車内判定処理Ｐ３１では、プロセッサ３２は、自装置が車両の中にいるか否か、すなわち、自装置を所持するユーザが運転者として車両に乗車したか否かを判定する。このとき、プロセッサ３２は、例えば、測位部２３で観測される衛星電波の受信状況に基づいて、車内と判定する。また、プロセッサ３２は、モーションセンサ２９の検出情報に基づいて、ユーザが座席に着席する動作を検知することで車内と判定する。また、プロセッサ３２は、車内に設置された発信機から送信されるビーコン信号を受信することで車内と判定する。
　端末モード切替処理Ｐ３２では、プロセッサ３２は、車内判定処理Ｐ３１の判定結果に応じて、標準モードと、車載端末として動作する車載端末モードとを切り替える。具体的には、プロセッサ３２は、自装置が車両の外にいる場合、すなわち、自装置を所持するユーザが歩行中である場合には、標準モードになり、自装置が車両の中にいる場合、すなわち、ユーザが運転者として車両に乗車した場合には、車載端末モードになる。
　また、本実施形態では、プロセッサ３２は、歩行者端末１が標準モードである場合に、注視点測定処理Ｐ３３を行う。また、プロセッサ３２は、歩行者端末１が車載端末モードである場合に、注意喚起制御処理Ｐ１０として、注視点描画処理Ｐ３４と現在位置描画処理Ｐ３５とを行う。
　図１２に示すように、注視点測定処理Ｐ３３では、プロセッサ３２は、視点検知処理Ｐ８で取得した視点の位置情報（歩行者の視界の座標系における視点の座標値）と、３次元地図情報とに基づいて、歩行者が注視する注視点を測定して、注視点の位置情報（３次元情報）を取得する。
　注視点描画処理Ｐ３４では、プロセッサ３２は、歩行者端末１から取得した歩行者情報に含まれる注視点の位置情報と、３次元地図情報とに基づいて、歩行者の注視点の描画情報を生成する。
　現在位置描画処理Ｐ３５では、プロセッサ３２は、歩行者端末１から取得した歩行者情報に含まれる歩行者の位置情報と、３次元地図情報とに基づいて、歩行者の現在位置の描画情報、具体的には、歩行者の現在位置を指し示す矢印の描画情報を生成する。
　ＡＲ表示制御処理Ｐ５では、プロセッサ３２は、注視点描画処理Ｐ３４で取得した注視点の描画情報に基づいて、注視点のマーク画像５１をＡＲ表示する。また、プロセッサ３２は、現在位置描画処理Ｐ３５で取得した現在位置の描画情報に基づいて、歩行者の現在位置を指し示すマーク画像５２（矢印の画像）をＡＲ表示する。
　なお、本実施形態では、運転者に対する注意喚起として、衝突の対象となる歩行者の位置に運転者の視線を誘導するマーク画像５２をＡＲ表示するようにしたが、歩行者に対する注意喚起として、衝突の対象となる車両の位置に歩行者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。また、歩行者や運転者に対する注意喚起として、危険な地点（例えば衝突ポイント）に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。
　また、交差点などの見通し外環境の他に、視界不良な状況、例えば、雪や霧などにより視界が悪化している状況の場合にも、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）の位置に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしてもよい。この場合、視界用カメラ２４の映像と、３次元地図情報とに基づいて、視界不良な状況を検知するようにしてもよい。
　次に、第３実施形態に係る歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３について説明する。図１３は、歩行者端末１で行われる視点検知処理Ｐ８および注視点測定処理Ｐ３３の概要を示す説明図である。
　歩行者端末１には、視線用カメラ２５と方位センサ２７と測距センサ２８とが設けられている。また、歩行者端末１のプロセッサ３２では、視点検知処理Ｐ８および注視点測定処理Ｐ３３が行われる（図１１，図１２参照）。
　視点検知処理Ｐ８では、左右の視線用カメラ２５の映像に基づいて、左右の眼球の向きを検出して、ユーザの視線方向を取得する。ここで、視線方向（眼球の向き）は右眼と左眼とで異なり、右眼および左眼の視線方向と、右眼と左眼との距離とに基づいて、右眼の視線方向と左眼の視線方向とが交差する注視点を取得して、その注視点の方向をユーザの視線方向とすればよい。
　注視点測定処理Ｐ３３では、まず、視点検知処理Ｐ８で取得した左右の視点方向と、測距センサ２８の検出結果とに基づいて、ユーザが注視している物体（注視対象物）までの距離（注視距離）を測定する（注視距離測定処理）。
　本実施形態では、測距センサ２８が、検出方向を調整可能に構成され、視点検知処理Ｐ８で取得したユーザの視線方向に基づいて、ユーザの視線方向に一致するように測距センサ２８の検出方向を調整した上で、測距センサ２８により、対向する物体までの距離を検出することで、ユーザが注視している物体までの距離（注視距離）を測定することができる。
　なお、本実施形態では、測距センサ２８をユーザの視線方向に向けて、注視距離を測定するようにしたが、測距センサ２８を用いずに、左右の視線用カメラ２５の映像に基づく視点検知処理Ｐ８で取得した左眼および右眼の視線方向（眼球の向き）のみに基づいて、注視距離を推定することもできる。すなわち、右眼の視線方向と左眼の視線方向とが交差する輻輳角が、注視距離が遠い程小さくなり、注視距離が近い程大きくなる性質を利用し、注視距離を推定することができる。
　注視点測定処理Ｐ３３では、次に、方位センサ２７で取得した頭部方位と、視点検知処理Ｐ８で取得した視線方向と、注視距離測定処理で取得した注視距離とに基づいて、ユーザが注視している注視点の位置情報（緯度、経度）を取得する。具体的には、ユーザの頭部方位と視線方向とに基づいて、注視点の方位（注視方位）を算出する。すなわち、頭部方位を基準にして視線方向の分だけずれた方位を、注視方位とする。そして、ユーザの位置と、ユーザの注視方位および注視距離に基づいて、注視点の位置情報（緯度、経度）を取得する。
　次に、第３実施形態に係る歩行者端末１で行われる処理の手順について説明する。図１４は、歩行者端末１で行われる処理の手順を示すフロー図である。
　図１４（Ａ）に示すように、標準モードの歩行者端末１、すなわち、ユーザが歩行中である歩行者端末１では、まず、測位部２３において、歩行者の位置情報を取得する（ＳＴ１２１）。次に、歩行者情報を送信する状況か否か、具体的には歩行者が危険エリアに進入したか否かを判定する（ＳＴ１２２）。
　ここで、歩行者情報を送信する状況であれば（ＳＴ１２２でＹｅｓ）、次に、プロセッサ３２において、視線用カメラ２５の映像に基づいて、ユーザの視点を検知して、ユーザの視点の位置情報を取得する（ＳＴ１２３）。次に、視点の位置情報と、３次元地図情報とに基づいて、歩行者が注視する注視点を測定して、注視点の位置情報を取得する（ＳＴ１２４）。そして、ＩＴＳ通信部２１において、歩行者情報（歩行者ＩＤ、歩行者の位置情報、注視点の位置情報など）を含むメッセージを歩車間通信で送信する（ＳＴ１２５）。
　図１４（Ｂ）に示すように、車載端末モードの歩行者端末１、すなわち、ユーザが運転者として車両に乗車している歩行者端末１では、ＩＴＳ通信部２１において、周辺の歩行者端末１から送信されるメッセージを受信すると（ＳＴ１３１でＹｅｓ）、プロセッサ３２において、メッセージに含まれる歩行者の位置情報などに基づいて、車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ１３２）。
　ここで、歩行者に車両が衝突する危険性がある場合には（ＳＴ１３２でＹｅｓ）、次に、歩行者端末１から取得した歩行者情報に含まれる歩行者の位置情報および注視点の位置情報と、３次元地図情報とに基づいて、歩行者の注視点および現在位置の描画情報を生成する（ＳＴ１３３）。次に、注意喚起動作として、注視点および現在位置の描画情報に基づいて、注視点のマーク画像５１および現在位置のマーク画像５２をＡＲ表示する。
　なお、本実施形態では、車両に車載端末２が搭載されていないものとしたが、車両に車載端末２が搭載されている場合には、車載端末２の動作を停止するようにするとよい。また、車載端末モードに遷移した歩行者端末１と車載端末２とで協調して必要な動作を行うようにしてもよい。
　また、本実施形態では、車載端末モードに遷移した歩行者端末１において、周辺の歩行者の視線方向に関する画像（注視点のマーク画像５１）をＡＲ表示するようにしたが、ユーザが歩行中である歩行者端末１において、周辺の車両の運転者の視線方向に関する画像をＡＲ表示するようにしてもよい。また、車載端末モードに遷移した歩行者端末１において、周辺の車両の運転者の視線方向に関する画像をＡＲ表示するようにしてもよい。
　ところで、本実施形態では、注意喚起のための仮想オブジェクトとして、衝突ポイントなどのマーク画像や歩行者や車両の模擬画像を表示するようにしたが、この他に、仮想オブジェクトとして、落とし穴、フェンス、壁などの障害物の模擬画像を、ユーザの前方にＡＲ表示するようにしてもよい。また、仮想オブジェクトとして、ユーザの足下の路面を危険な状態に変化させた模擬画像をＡＲ表示するようにしてもよい。例えば、路面の模擬画像を、実際の路面とは異なる色に変更したり、凸凹状態に変更したりする。これにより、ユーザが、直感的に前に進むことを躊躇し、反射的に立ち止まるなどの危険回避行動をとるようになる。
　また、本実施形態では、交差点などの見通し外環境や視界不良な状況の場合に、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）の位置に歩行者や運転者の視線を誘導するマーク画像をＡＲ表示するようにしたが、マーク画像の代わりに、歩行者の模擬画像や車両の模擬画像をＡＲ表示するようにしてもよい。この場合、歩行者の模擬画像や車両の模擬画像は、必要以上に視界を遮らないように、車両や歩行者の輪郭のみを表す画像とするとよい。
　また、本実施形態では、衝突の対象となる歩行者や車両の模擬画像を仮想オブジェクトとして表示するようにしたが、この他に、歩行者の安全確認を支援する上で有効な人物や装置の模擬画像を仮想オブジェクトとして表示するようにしてもよい。例えば、安全エリアの通行を案内する人物、具体的には、通学路で児童を誘導する学童擁護員や、交通誘導を行う警察官の模擬画像を、仮想オブジェクトとしてＡＲ表示するようにしてもよい。また、仮想オブジェクトとして、信号機の模擬画像を実際の信号機より拡大した状態でＡＲ表示するようにしてもよい。これにより、ユーザが信号機の表示に注目するようになる。
　また、本実施形態では、注意喚起のための仮想オブジェクトとして、衝突ポイントなどのマーク画像や歩行者や車両の模擬画像を表示するようにしたが、衝突の対象（歩行者や車両）や危険な地点（例えば衝突ポイント）を除いてユーザの視界を覆う遮蔽画像を、仮想オブジェクトとしてＡＲ表示するようにしてもよい。これにより、危険な地点や物体のみが見えるようになり、ユーザが危険な地点や物体に注目するようになる。この場合、遮蔽画像は、所定の色（黒、グレーなど）で塗り潰したものとすればよい。また、遮蔽画像は、半透過状態で表示されるようにしてもよい。
　また、本実施形態では、歩車間通信により取得した情報に基づいて衝突の危険性がある場合に、ＡＲ表示で注意喚起を行うようにしたが、地図情報に基づいて歩行者が危険エリア（交差点付近や、見通し外エリア）内に入ったことを検知すると、ＡＲ表示で注意喚起を行うようにしてもよい。この場合、例えば、歩行者が危険エリア内に入ると、仮想スマートフォンの使用を禁止し、歩行者が危険エリア外に出たことを検知すると、仮想スマートフォンの使用を許可するようにするとよい。
　また、複数の歩行者が連なって歩いている場合に、前方の歩行者により視界が遮られて、危険な地点や物体を目視できない場合がある。そこで、前側の歩行者端末１の視界用カメラ２４で撮影した映像をＩＴＳ通信（歩歩間通信）のメッセージで後側の歩行者端末１に送信し、後側の歩行者端末１において、前側の歩行者端末１の映像から、前側の歩行者が透過状態となるような画像を生成して、その画像をＡＲ表示するようにしてもよい。なお、前方に歩行者がいることを認識できなくなると危険な場合があるため、前側の歩行者を半透過状態としたり、前側の歩行者を破線などの輪郭線で表すようにしたりするとよい。また、前側の歩行者と後側の歩行者とでは視差があるため、その視差に応じて映像の補正を行うようにしてもよい。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本開示に係る歩行者装置および交通安全支援方法は、歩車間通信とＡＲデバイスを利用することで、歩行者の安全確認を効果的にかつ適切に支援することができる効果を有し、車載装置との間で歩車間通信により情報を交換して、歩行者および車両の安全を支援する歩行者装置および交通安全支援方法などとして有用である。
１　歩行者端末（歩行者装置）
２　車載端末（車載装置）
２１　ＩＴＳ通信部（歩車間通信部）
２２　セルラー通信部
２３　測位部
２４　視界用カメラ
２５　視線用カメラ
２６　ＡＲディスプレイ
３１　メモリ
３２　プロセッサ

Claims (11)

  1. 　車載装置との間で歩車間通信により情報を交換する歩車間通信部と、
    　自装置のユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイと、
    　前記車載装置との間で送受信した情報に基づいて衝突の危険性の有無を判定し、衝突の危険性がある場合に、前記ユーザに対する注意喚起動作として、前記ＡＲディスプレイによる前記仮想オブジェクトの表示を制御するプロセッサと、
    を備えることを特徴とする歩行者装置。
  2. 　さらに、ユーザの視界を撮影する視界用カメラを備え、
    　前記プロセッサは、
    　前記視界用カメラの映像からユーザの手のひらおよび指先を検知し、
    　ユーザの手のひらの位置に仮想端末を前記仮想オブジェクトとして表示し、
    　ユーザの指先の位置に応じて、前記仮想端末に対する画面操作を検知して、前記仮想端末の画面を制御することを特徴とする請求項１に記載の歩行者装置。
  3. 　さらに、ユーザの眼球を撮影する視線用カメラを備え、
    　前記プロセッサは、
    　前記視線用カメラの映像からユーザの視点の位置情報を取得し、
    　その視点の位置情報に基づいて、ユーザが前記仮想端末を目視しているか否かを判定し、
    　衝突の危険性があり、かつ、ユーザが前記仮想端末を目視している場合に、前記注意喚起動作を実行することを特徴とする請求項２に記載の歩行者装置。
  4. 　前記プロセッサは、
    　衝突の危険性がある場合に、衝突ポイントを予測し、その衝突ポイントを表すマーク画像を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  5. 　前記プロセッサは、
    　衝突の危険性がある場合に、衝突シーンを予測し、その衝突シーンを構成する歩行者および車両の模擬画像を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  6. 　前記プロセッサは、
    　衝突の危険性がある車両の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  7. 　前記プロセッサは、
    　ユーザが運転者として車両に乗車したことを検知すると、車載端末モードに遷移し、運転者の安全運転を支援するように前記仮想オブジェクトの表示を制御することを特徴とする請求項１に記載の歩行者装置。
  8. 　前記歩車間通信部は、
    　周辺の歩行者の視線方向に関する情報を周辺の歩行者装置から受信し、
    　前記プロセッサは、
    　前記歩行者の視線方向に関する情報に基づいて、歩行者の視線方向に関する画像を前記仮想オブジェクトとして表示することを特徴とする請求項７に記載の歩行者装置。
  9. 　前記プロセッサは、
    　衝突の危険性がある歩行者の位置を表すマーク画像および模擬画像の少なくともいずれかを、前記仮想オブジェクトとして表示することを特徴とする請求項７に記載の歩行者装置。
  10. 　前記歩車間通信部は、
    　周辺の車両の運転者の視線方向に関する情報を周辺の車載端末から受信し、
    　前記プロセッサは、
    　前記運転者の視線方向に関する情報に基づいて、運転者の視線方向に関する画像を前記仮想オブジェクトとして表示することを特徴とする請求項１に記載の歩行者装置。
  11. 　歩行者装置と車載装置との間で情報を交換して、歩行者および車両の安全を支援する交通安全支援方法であって、
    　前記歩行者装置が、
    　前記車載装置との間で歩車間通信により送受信した情報に基づいて衝突の危険性の有無を判定し、
    　衝突の危険性があると判定された場合に、自装置のユーザに対する注意喚起動作として、ユーザから見える実空間上に仮想オブジェクトを重畳表示するＡＲディスプレイによる前記仮想オブジェクトの表示を制御することを特徴とする交通安全支援方法。
PCT/JP2020/019581 2019-05-20 2020-05-18 歩行者装置および交通安全支援方法 WO2020235518A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080036633.1A CN113841191B (zh) 2019-05-20 2020-05-18 行人装置和交通安全辅助方法
US17/610,864 US11900795B2 (en) 2019-05-20 2020-05-18 Pedestrian device and traffic safety assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-094815 2019-05-20
JP2019094815A JP7345128B2 (ja) 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法

Publications (1)

Publication Number Publication Date
WO2020235518A1 true WO2020235518A1 (ja) 2020-11-26

Family

ID=73455132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019581 WO2020235518A1 (ja) 2019-05-20 2020-05-18 歩行者装置および交通安全支援方法

Country Status (4)

Country Link
US (1) US11900795B2 (ja)
JP (1) JP7345128B2 (ja)
CN (1) CN113841191B (ja)
WO (1) WO2020235518A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220306140A1 (en) * 2019-06-05 2022-09-29 Audi Ag Method for operating a motor vehicle, computer program product and motor vehicle
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320910B (zh) * 2019-07-01 2023-10-10 阿波罗智能技术(北京)有限公司 车辆的避让控制方法、装置、电子设备与存储介质
JP7158352B2 (ja) * 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
DE112019007831T5 (de) * 2019-11-28 2022-08-11 Mitsubishi Electric Corporation Anzeigesteuerungsvorrichtung, anzeigesystem und anzeigesteuerungsverfahren
DE112020005993T5 (de) * 2019-12-06 2022-10-13 Denso Corporation Fahrzeugfahrsystem
JP7402083B2 (ja) * 2020-02-28 2023-12-20 本田技研工業株式会社 表示方法、表示装置及び表示システム
WO2021237201A1 (en) * 2020-05-22 2021-11-25 Optimus Ride, Inc. Display system and method
US12043267B2 (en) * 2020-08-21 2024-07-23 Hyundai Motor Company Method and apparatus for providing information
EP4112411B1 (en) * 2021-07-01 2024-03-27 Zenseact AB Estimation of accident intensity for vehicles
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US12030512B2 (en) * 2022-04-06 2024-07-09 GM Global Technology Operations LLC Collision warning system for a motor vehicle having an augmented reality head up display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2006331154A (ja) * 2005-05-27 2006-12-07 Denso Corp 接近警報システム、携帯端末装置、および車両
JP2014142798A (ja) * 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
WO2014156706A1 (ja) * 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2016009431A (ja) * 2014-06-26 2016-01-18 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
US20170345292A1 (en) * 2016-05-30 2017-11-30 Autotalks Ltd. Wireless pedestrian notification
US20180033306A1 (en) * 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
JP2018032241A (ja) * 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
WO2019069554A1 (ja) * 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2004118418A (ja) 2002-09-25 2004-04-15 Nissan Motor Co Ltd 移動体接近報知装置
US7095336B2 (en) * 2003-09-23 2006-08-22 Optimus Corporation System and method for providing pedestrian alerts
JP2010188981A (ja) * 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
US8953841B1 (en) * 2012-09-07 2015-02-10 Amazon Technologies, Inc. User transportable device with hazard monitoring
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US9286794B2 (en) * 2013-10-18 2016-03-15 Elwha Llc Pedestrian warning system
US20150109148A1 (en) * 2013-10-18 2015-04-23 Elwha Llc Pedestrian Warning System
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017054417A (ja) * 2015-09-11 2017-03-16 ソニー株式会社 情報処理装置、通信装置、情報処理方法及びプログラム
JP2017068335A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 データ処理装置および車載通信装置
JP6629889B2 (ja) * 2016-02-05 2020-01-15 マクセル株式会社 ヘッドアップディスプレイ装置
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
JP6686988B2 (ja) 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
DE102017216100A1 (de) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
US20190129038A1 (en) * 2017-10-27 2019-05-02 Osram Opto Semiconductors Gmbh Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device
US10172409B1 (en) * 2018-05-31 2019-01-08 Nike, Inc. Intelligent electronic footwear and control logic for automated pedestrian collision avoidance
US10621858B1 (en) * 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2006331154A (ja) * 2005-05-27 2006-12-07 Denso Corp 接近警報システム、携帯端末装置、および車両
JP2014142798A (ja) * 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
WO2014156706A1 (ja) * 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2016009431A (ja) * 2014-06-26 2016-01-18 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
US20180033306A1 (en) * 2015-12-02 2018-02-01 Lg Electronics Inc. Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
US20170345292A1 (en) * 2016-05-30 2017-11-30 Autotalks Ltd. Wireless pedestrian notification
JP2018032241A (ja) * 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
WO2019069554A1 (ja) * 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220306140A1 (en) * 2019-06-05 2022-09-29 Audi Ag Method for operating a motor vehicle, computer program product and motor vehicle
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体

Also Published As

Publication number Publication date
US20220262236A1 (en) 2022-08-18
US11900795B2 (en) 2024-02-13
JP7345128B2 (ja) 2023-09-15
CN113841191B (zh) 2024-01-16
JP2020190852A (ja) 2020-11-26
CN113841191A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
WO2020235518A1 (ja) 歩行者装置および交通安全支援方法
US10882398B2 (en) System and method for correlating user attention direction and outside view
JP6524422B2 (ja) 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法
JP4715325B2 (ja) 情報表示装置
US20150229885A1 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
JP2017535008A (ja) 道路交通利用者の移動モデルを形成するための方法及び装置
JP2013517575A (ja) 輸送手段の安全な運転を補助する装置及び方法
JP2013196359A (ja) 運転支援装置
JP2008003762A (ja) 障害物認識判定装置
JP2006327527A (ja) 車両の走行安全装置
JPH07167668A (ja) 走行情報提供装置
JP2015077876A (ja) ヘッドアップディスプレイ装置
JP6886024B2 (ja) ヘッドマウントディスプレイ
JP6373820B2 (ja) 障害物警告システム及びその動作方法
CN111064936A (zh) 一种路况信息显示方法及ar设备
CN112602130A (zh) 步行者装置、通信装置以及信息分发方法
US11393196B2 (en) Line of sight assistance device and method
JP2022159732A (ja) 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
JP2020030718A (ja) 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
JP2021077294A (ja) 運転支援方法、路側装置および車載装置
JP7043795B2 (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP7532053B2 (ja) 対象物提示装置及び対象物提示方法
JP2018108784A (ja) 脇見判定装置及び方法
JP7333702B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809197

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20809197

Country of ref document: EP

Kind code of ref document: A1