WO2022244372A1 - 環境状態通知装置、環境状態通知方法及びプログラム - Google Patents

環境状態通知装置、環境状態通知方法及びプログラム Download PDF

Info

Publication number
WO2022244372A1
WO2022244372A1 PCT/JP2022/008481 JP2022008481W WO2022244372A1 WO 2022244372 A1 WO2022244372 A1 WO 2022244372A1 JP 2022008481 W JP2022008481 W JP 2022008481W WO 2022244372 A1 WO2022244372 A1 WO 2022244372A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
state
unit
environmental
information
Prior art date
Application number
PCT/JP2022/008481
Other languages
English (en)
French (fr)
Inventor
佑介 日永田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/557,829 priority Critical patent/US20240220001A1/en
Priority to JP2023522245A priority patent/JPWO2022244372A1/ja
Publication of WO2022244372A1 publication Critical patent/WO2022244372A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an environmental state notification device, an environmental state notification method, and a program.
  • Patent Document 1 discloses a wearable terminal equipped with a camera.
  • the angle of view of the camera is controlled according to the action state of the user.
  • Pedestrians also need to pay sufficient attention not only to vehicles but also to other entities such as suspicious persons to ensure safety. Furthermore, it is very effective from the viewpoint of improving the safety of pedestrians to prevent pedestrians from approaching and entering areas requiring caution.
  • the present disclosure has been made in view of the circumstances described above, and provides techniques that are advantageous for improving user safety.
  • an environment information acquisition unit attached to a user and acquiring environment information data indicating information of the surrounding environment of the user;
  • the present invention relates to an environmental state notification device including a recognition unit and a notification unit that notifies a user according to the state of the surrounding environment for the user recognized by the environmental state recognition unit.
  • the environment information acquisition unit may include a wave sensor that receives at least one of electromagnetic waves and sound waves from the environment around the user and acquires environment information data.
  • the wave sensor may acquire an image of the environment around the user.
  • the environmental information acquisition unit may include an electromagnetic wave emission unit that emits detection electromagnetic waves or detection sound waves, and the wave sensor may receive the reflected detection electromagnetic waves or detection sound waves.
  • the environment information acquisition unit may include a location information acquisition unit that acquires user location information and a map information collation unit that acquires environment information data based on the location information and map information.
  • the location information acquisition unit may acquire the user's location information from the satellite positioning system.
  • the environmental state notification device includes a communication unit that performs data communication, and the environmental state recognition unit receives environmental information data acquired by the environmental information acquisition unit and the environment information sent from the first external device via the communication unit.
  • the state of the surrounding environment for the user may be recognized based on the information data.
  • the environmental state notification device includes a user state information acquisition unit that acquires user state data indicating the state of the user, and the environmental state recognition unit recognizes the state of the surrounding environment for the user based on the environmental information data and the user state data. You may
  • the user state information acquisition unit may include a sensor that detects at least one of the user's movement speed and acceleration.
  • the environmental state recognition unit may predict the user's moving route based on the user state data, and recognize the state of the surrounding environment for the user based on the predicted user's moving route.
  • the environmental state recognition unit may acquire a dynamic map of the user's surrounding environment and recognize the state of the surrounding environment for the user based on the environmental information data and the dynamic map.
  • the notification unit may be attached to the user.
  • the notification unit may notify the user through at least one of auditory, visual, and tactile sensations.
  • the notification unit may notify the second external device that exists in the user's surrounding environment and is not attached to the user, according to the state of the user's surrounding environment recognized by the environmental state recognition unit.
  • the second external device may be a vehicle.
  • the environmental state notification device may include a communication unit that performs data communication, and the communication unit may send data indicating the state of the surrounding environment for the user recognized by the environmental state recognition unit to the third external device.
  • the environmental state notification device may include an installation state detection unit that detects the installation state of the environment information acquisition unit with respect to the user, and the notification unit may notify the user according to the detection result of the installation state detection unit.
  • Another aspect of the present disclosure includes a step of acquiring environment information data indicating information about the surrounding environment of the user by an environment information acquisition unit attached to the user;
  • the present invention relates to an environmental state notification method including a step of recognizing a state of a surrounding environment, and a step of a notification unit notifying a user according to the state of the surrounding environment recognized by the environmental state recognition unit.
  • Another aspect of the present disclosure is a procedure for obtaining, in a computer, environmental information data indicating information about the surrounding environment of the user by an environmental information obtaining unit attached to the user; , a program for executing a procedure for recognizing the state of the surrounding environment for a user, and a procedure for a notifying unit to notify the user according to the state of the surrounding environment for the user recognized by the environmental state recognizing unit.
  • FIG. 1 is a diagram showing an example of a wearable device that functions as an environmental condition notification device.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of a wearable device;
  • FIG. 3 is a diagram illustrating an example of a functional configuration of an environmental state notification device;
  • FIG. 4 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 5 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 6 is a diagram showing another example of the functional configuration of the wearable device.
  • FIG. 7 is a diagram showing another example of the functional configuration of the wearable device.
  • FIG. 8 is a flow chart showing an example of an environmental state notification method.
  • FIG. 9 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 10 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 11 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 12 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 13 is a diagram showing another example of the functional configuration of the environmental state notification device.
  • FIG. 1 is a diagram showing an example of the wearable device 11 that functions as the environmental state notification device 10.
  • FIG. 2 is a diagram showing an example of the functional configuration of the wearable device 11. As shown in FIG.
  • the wearable device 11 shown in FIG. 1 is attached to user 1's clothing.
  • the attachment point of the wearable device 11 is not limited to clothes, and the wearable device 11 can be attached to the user 1 in any manner.
  • the wearable device 11 is worn by the user 1, typically in the form of a wrist watch, a neck strap, eyeglasses, earphones (including headphones), a ring, or the like.
  • the wearable device 11 shown in FIG. 1 The wearable device 11 shown in FIG.
  • the attachment part 21 is used to attach the wearable device 11 to the user 1 .
  • the specific structure of the attachment portion 21 is not limited, and the manner in which the wearable device 11 is attached to the user 1 is also not limited.
  • the attachment part 21 is provided with a magnet, and the wearable device 11 is detachably attached to the clothes by using the magnetic force to pinch the clothes. be able to.
  • the attachment portion 21 may attach the wearable device 11 to the clothes of the user 1 in another form such as a clip.
  • the mounting portion 21 can be configured by a belt (wristband).
  • the attachment portion 21 has a configuration and shape suitable for the manner in which the wearable device 11 is attached to the user 1 .
  • the control unit 22 controls each functional configuration unit that the wearable device 11 has.
  • the control unit 22 typically includes various processors such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit).
  • control unit 22 The specific configuration of the control unit 22 is not limited.
  • the controller 22 may be configured by a single device, and the controller 22 may integrally control a plurality of functional components included in the wearable device 11 .
  • the control unit 22 may be composed of multiple devices.
  • each functional configuration unit of the wearable device 11 may incorporate a corresponding control device (control unit 22).
  • the memory 23 stores various data (including programs).
  • the memory 23 includes at least one of a nonvolatile storage medium and a volatile storage medium.
  • the memory 23 can be configured by, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) or RAM (Random Access Memory).
  • the memory 23 can be configured by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • Each functional configuration unit (including the control unit 22) of the wearable device 11 may read various data from the memory 23, store new data in the memory 23, or store new data in the memory 23. You may update the data that is
  • the environment information acquisition unit 24 is attached to the user 1 and acquires environment information data indicating information on the surrounding environment of the user 1 .
  • the specific configuration of the environment information acquisition unit 24 and the specific information included in the environment information data are not limited.
  • the environment information acquisition unit 24 includes a wave sensor that operates under the control of the control unit 22.
  • the wave sensor receives at least one of electromagnetic waves and sound waves (for example, ultrasonic waves) from the environment around the user 1 and acquires environment information data.
  • the electromagnetic waves referred to here can include light such as visible light and radio waves such as millimeter waves. Therefore, the wave sensor is configured as an image sensor that acquires an image (still image and/or moving image) of the surrounding environment of the user 1, or as a sensor that receives/receives radio waves and light reflected by objects around the user 1. can be configured.
  • the environment information acquisition unit 24 may include a camera (imaging device), LiDAR (Light Detection and Ranging), ToF (Time of Flight), millimeter wave radar and/or ultrasonic sensor.
  • the camera can adopt various shooting methods such as a stereo camera, a monocular camera, and an infrared camera.
  • the environment information acquisition unit 24 may have a sensor fusion unit (not shown).
  • This sensor fusion unit performs sensor fusion processing to obtain new information from a combination of different types of sensor data (eg, image data and radar detection data).
  • Sensor fusion processing may include, for example, processing that integrates, fuses, or combines multiple types of sensor data.
  • the environment state recognition unit 25 recognizes the state of the surrounding environment for the user 1 based on the environment information data acquired by the environment information acquisition unit 24 .
  • the "state of the surrounding environment for User 1" here may include the state of the safety of the surrounding environment for User 1. For example, whether or not a mobile object such as a vehicle or a bicycle is approaching the user 1, and whether or not the current position or future predicted position of the user 1 is a position requiring attention, can be determined by the "surrounding environment for the user 1". state. In addition, whether or not a mobile object such as a vehicle or a creature such as a human being located near the user 1 is exhibiting suspicious behavior can be included in the "status of the surrounding environment for the user 1".
  • state of the surrounding environment for user 1 may include the state of the surrounding environment that may affect user 1 in ways other than safety.
  • the specific analysis method by the environmental state recognizing unit 25 is not limited.
  • the environmental state recognition unit 25 is equipped with AI (Artificial Intelligence), and can analyze environmental information data using learned data obtained by deep learning.
  • learned data may include learned parameters and an inference program incorporating the learned parameters.
  • Trained parameters and inference programs are obtained, for example, as a result of learning using raw data and/or training data sets obtained from raw data.
  • the environmental state recognition unit 25 of this example can use learned data in which "environmental information data and/or data derived from the environmental information data" is associated with "data relating to the state of the surrounding environment for user 1".
  • the environmental state recognition unit 25 applies the “environmental information data and/or data derived from the environmental information data” to the learned data as input, thereby obtaining “data regarding the state of the surrounding environment for the user 1”. can be obtained as output.
  • the notification unit 26 notifies the user 1 according to the "state of the surrounding environment for the user 1" recognized by the environmental state recognition unit 25.
  • the notification method for the user 1 by the notification unit 26 is not limited.
  • the notification unit 26 attached to the user 1 can typically notify the user 1 through the senses of the user 1 (for example, at least one of auditory, visual, and tactile senses).
  • the notification unit 26 can notify the user 1 of "the state of the surrounding environment for the user 1" by means of voice or music provided to the user 1 via speakers or earphones.
  • the auditory notification of the user 1 enables prompt and intuitive notification to the user 1 and basically does not impair the visual information of the user 1 .
  • the notification unit 26 provides new benefits such as recognition of the position and direction of an object requiring attention and induction of reflexive safety behavior of the user 1. effect.
  • An example of utilization of stereophonic technology in the notification unit 26 will be described later.
  • the notification unit 26 can notify the user 1 of "the state of the surrounding environment for the user 1" by means of an image provided to the user 1 through glasses (for example, AR (Augmented Reality) glasses).
  • the notification unit 26 can display an image showing the state of the surrounding environment for the user 1 on glasses.
  • the notification unit 26 turns off the image display on the glasses so that the user 1 can see the surrounding environment. It may be made visible.
  • the notification unit 26 notifies the user 1 of "the state of the surrounding environment for the user 1" by haptic changes such as vibration provided to the user 1 via a haptics device (for example, a vibration device or a pressure variable device). I can.
  • a haptics device for example, a vibration device or a pressure variable device.
  • FIG. 3 is a diagram showing an example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the environment information acquisition unit 24 includes an imaging device 31 that acquires an image of the environment around the user 1, and has an image sensor (CMOS (Complementary Metal Oxide Semiconductor) sensor, etc.) as a wave sensor. CMOS (Complementary Metal Oxide Semiconductor) sensor, etc.) as a wave sensor. .
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging device 31 transmits the captured image of the surrounding environment to the environmental state recognition unit 25 as the environment information data D11.
  • the environmental state recognition unit 25 has an image analysis device 32 that analyzes the captured image sent from the imaging device 31 .
  • the image analysis device 32 recognizes "the state of the surrounding environment for the user 1" by analyzing the captured image. For example, the image analysis device 32 determines whether the captured image includes a moving object such as a vehicle approaching the user 1, an unsafe area such as a roadway, and/or other objects to which pedestrians should pay attention. , can be recognized.
  • a specific image analysis method performed by the image analysis device 32 is not limited.
  • the image analysis device 32 may recognize types of objects around the user 1 by performing recognition processing such as semantic segmentation.
  • the image analysis device 32 uses techniques such as SLAM (Simultaneous Localization and Mapping) based on the image data acquired by the imaging device 31 to estimate the self-position and create an environment map (local map). good.
  • SLAM Simultaneous Localization and Mapping
  • a local map can be created, for example, as a three-dimensional high-precision map and an occupancy grid map.
  • a three-dimensional high-precision map can be created, for example, as a point cloud map, which will be described later.
  • the occupancy grid map can be created by dividing the three-dimensional or two-dimensional space around the user 1 into grids (lattice) of a predetermined size and showing the occupancy state of objects in grid units.
  • the occupancy state of an object referred to here is indicated by, for example, the presence or absence of an object and the existence probability.
  • the image analysis device 32 determines whether or not it is necessary to call attention to the user 1 based on the analysis result of the captured image.
  • the image analysis device 32 prompts the user 1 to pay attention. You may decide that you need to. On the other hand, if the captured image does not include an object to which the pedestrian should pay attention, the image analysis device 32 may determine that there is no need to call the user 1's attention.
  • the image analysis device 32 transmits a notification instruction signal D12 to the notification unit 26 depending on whether or not it is necessary to call attention to the user 1.
  • the image analysis device 32 determines that it is necessary to call attention to the user 1, it transmits a notification instruction signal D12 indicating the determination to the notification unit 26.
  • the image analysis device 32 may transmit the notification instruction signal D12 indicating the determination to the notification unit 26, or send the notification instruction signal D12 itself to the notification unit 26. 26 does not have to be sent.
  • the image analysis device 32 may transmit the notification instruction signal D12 to the notification unit 26 regardless of whether it is necessary to call attention to the user 1 or not.
  • the image analysis device 32 may transmit the notification instruction signal D12 to the notification unit 26 only when the user 1 needs to be alerted.
  • the notification unit 26 notifies the user 1 according to the state of the surrounding environment based on the notification instruction signal D12 sent from the image analysis device 32 .
  • the notification unit 26 of this example includes an audio device, a vibration device and/or a video device.
  • the notification unit 26 when the notification unit 26 receives the notification instruction signal D12 sent when it is necessary to call the attention of the user 1, the notification unit 26 notifies the user 1 of the notification (audio, vibration and/or video) that calls the attention of the user 1. emit towards
  • the notification unit 26 when the notification unit 26 receives the notification instruction signal D12 sent when it is not necessary to call the attention of the user 1, the notification unit 26 does not need to issue a notification to the user 1, or need to call attention to the user 1.
  • a notification may be issued to User 1 to indicate that there is no. Further, the notification unit 26 may not issue a notification to the user 1 while not receiving the notification instruction signal D12 from the image analysis device 32 .
  • the user 1 is notified of the existence of a target requiring attention in the surrounding environment based on the photographed image data acquired by the imaging device 31 included in the wearable device 11. be able to. Based on such notification, the user 1 can grasp the state of the surrounding environment for the user 1, and can take appropriate action as necessary.
  • the environmental state notification device 10 of this example is configured as a pedestrian safety protection device that improves the safety of pedestrians (user 1).
  • FIG. 4 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the environmental information acquisition unit 24 includes an emitter (emission unit) 35 that emits the detected electromagnetic wave or the detected sound wave, and a receiver (wave sensor) 36 that receives the reflected detected electromagnetic wave or the detected sound wave. .
  • the detected electromagnetic waves can be either light or radio waves.
  • the emitter 35 and the receiver 36 are configured as LiDAR or ToF
  • the emitter 35 emits light as detection electromagnetic waves toward the surrounding environment
  • the receiver 36 receives the light reflected in the surrounding environment.
  • the emitter 35 and the receiver 36 are configured as a millimeter wave radar, the emitter 35 emits radio waves in the millimeter wave band as detection electromagnetic waves toward the surrounding environment, and the receiver 36 receives the radio waves reflected in the surrounding environment. .
  • the environmental information acquisition unit 24 transmits the surrounding environment information based on the reflected detected electromagnetic wave or reflected detected sound wave received by the receiver 36 to the environmental state recognition unit 25 as the environmental information data D11.
  • the environmental state recognition unit 25 is equipped with a received data analysis device 37.
  • the received data analysis device 37 analyzes the surrounding environment information based on the detection result (the reflected detected electromagnetic wave or the reflected detected sound wave) of the receiver 36 sent from the environment information acquisition unit 24, thereby obtaining "the state of the surrounding environment for the user 1 ”. Then, the received data analysis device 37 determines whether or not it is necessary to call attention to the user 1 based on the analysis result of the surrounding environment information.
  • the received data analysis device 37 is capable of recognizing the same target as the recognition target of the image analysis device 32 (see FIG. 3). can decide whether it is necessary to prompt For example, the received data analysis device 37 may perform self-position estimation and environment map creation using techniques such as SLAM based on the detection results of the receiver 36 .
  • the received data analysis device 37 transmits a notification instruction signal D12 to the notification unit 26 depending on whether or not it is necessary to call attention to the user 1.
  • the notification unit 26 notifies the user 1 of the state of the surrounding environment based on the notification instruction signal D12 sent from the received data analysis device 37 .
  • the environmental state notification device 10 of this example it is possible to notify the user 1 of the existence of a target requiring attention in the surrounding environment based on the surrounding environment information acquired by the emitter 35 and the receiver 36 .
  • FIG. 5 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the location information acquisition unit 40 acquires the location information of the user 1.
  • the position information acquisition unit 40 can acquire the position information of the user 1 (strictly speaking, the wearable device 11) from a GNSS (Global Navigation Satellite System) 42, for example.
  • the location information acquisition unit 40 may acquire the location information of the user 1 by means other than the GNSS 42, and may acquire the location information of the user 1 via a beacon, for example.
  • the map information matching unit 41 acquires the environment information data D11 based on the location information of the user 1 acquired by the location information acquisition unit 40 and the map information.
  • the map information matching unit 41 of this example acquires map information from the map information providing device 43 .
  • the map information providing device 43 may be provided as part of the wearable device 11 or may be provided separately from the wearable device 11 .
  • the map information matching unit 41 may read map information from the memory 23 (see FIG. 2) of the wearable device 11 acting as the map information providing device 43 .
  • the map information may be sent to the map information matching unit 41 from the map information providing device 43 (for example, a server) connected to the wearable device 11 via a network such as the Internet.
  • the map information matching unit 41 may acquire from the map information providing device 43 map information of a limited range determined based on the location information of the user 1 acquired by the location information acquisition unit 40 .
  • the map information matching unit 41 may send information necessary for acquiring map information of such a limited range (for example, position information of the user 1) to the map information providing device 43.
  • the map information providing device 43 may transmit the map information of the limited range to the map information collating section 41 based on the information sent from the map information collating section 41 .
  • the map information acquired by the map information matching unit 41 may be a three-dimensional high-precision map, for example, a high-precision map such as a dynamic map, a point cloud map, or a vector map.
  • a dynamic map is a map including, for example, four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, as will be described later.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map in which traffic information such as lanes and traffic signal positions are associated with a point cloud map.
  • the point cloud map and the vector map may be provided from an external device such as a server, or may be provided by the wearable device 11 (for example, the environment information acquisition unit 24 or the environmental state recognition unit 25).
  • the environment information acquisition unit 24 transmits the environment information data D11 thus acquired (for example, information data in which the position of the user 1 is reflected on the map information) to the environment state recognition unit 25.
  • the environmental state recognition unit 25 includes a position information analysis device 44 that analyzes the environment information data D11 sent from the environment information acquisition unit 24.
  • the location information analysis device 44 recognizes "the state of the surrounding environment for the user 1" by analyzing the environment information data D11 based on the location information of the user 1 and the map information. As an example, recognition of whether or not the user 1 is located in an area requiring attention (for example, the roadway or the vicinity of the roadway) may be included in the recognition of the "state of the surrounding environment for the user 1".
  • the position information analysis device 44 determines whether or not it is necessary to call attention to the user 1 based on the analysis result of the environment information data D11.
  • the location information analysis device 44 may determine that it is necessary to call attention to the user 1, for example, when the user 1 is located in an area that requires attention. On the other hand, if the user 1 is not located in an area that requires attention, the location analysis device 44 may determine that the user 1 does not need to be alerted.
  • the position information analysis device 44 transmits a notification instruction signal D12 to the notification unit 26 depending on whether or not it is necessary to call attention to the user 1.
  • the notification unit 26 notifies the user 1 according to the state of the surrounding environment based on the notification instruction signal D12 sent from the received data analysis device 37.
  • the environmental state notification device 10 of this example it is possible to notify the user 1 of the existence of a target requiring attention in the surrounding environment based on the user's 1 location information and map information.
  • FIG. 6 is a diagram showing another example of the functional configuration of the wearable device 11.
  • FIG. 6 is a diagram showing another example of the functional configuration of the wearable device 11.
  • the wearable device 11 shown in FIG. 6 includes an attachment state detection portion 27 in addition to the attachment portion 21, the control portion 22, the memory 23, the environment information acquisition portion 24, the environment state recognition portion 25, and the notification portion 26 described above.
  • the attachment state detection unit 27 detects the attachment state of the environment information acquisition unit 24 to the user 1 under the control of the control unit 22 . That is, the attachment state detection unit 27 detects the attachment state of the environment information acquisition unit 24 based on the environment information data acquired by the environment information acquisition unit 24 and/or the state of the surrounding environment for the user 1 recognized by the environment state recognition unit 25. state can be detected.
  • the attachment state detection unit 27 determines that the environment information acquisition unit 24 is properly attached to the user 1. may be detected. On the other hand, if the environment information data acquired by the environment information acquisition unit 24 is not included in the data range expected in normal operation, the installation state detection unit 27 determines whether the environment information acquisition unit 24 is properly installed for the user 1. It may detect that it is not
  • the attachment state detection unit 27 detects that the environment information acquisition unit 24 may detect that it is properly attached.
  • the installation state detection unit 27 detects that the environment information acquisition unit 24 may detect that it is not properly attached.
  • the installation state detection unit 27 further detects the type of installation failure based on the environment information data acquired by the environment information acquisition unit 24 and/or the state of the surrounding environment for the user 1 recognized by the environment state recognition unit 25. ) may be detected.
  • the installation state detection unit 27 may detect a defect in the location where the environment information acquisition unit 24 is installed. That is, when the data obtained from the environment information acquisition unit 24 and the environment state recognition unit 25 indicate that the installation location of the environment information acquisition unit 24 is inappropriate for acquiring the environment information data, the installation state detection unit 27 A defect in the installation location of the information acquisition unit 24 can be detected.
  • the environmental information acquiring unit 24 and the environmental state recognizing unit 25 indicate that the environmental information acquiring unit 24 (for example, a sensor) is blocked and inappropriate for acquiring environmental information data, the environment A defect in the installation location of the information acquisition unit 24 may be detected.
  • the environmental information acquiring unit 24 for example, a sensor
  • the environmental information acquisition unit 24 when the data obtained from the environmental information acquiring unit 24 and the environmental state recognizing unit 25 indicate that the direction (orientation) of detection by the environmental information acquiring unit 24 (for example, a sensor) is inappropriate, the environmental information A defect in the installation location of the acquisition unit 24 may be detected.
  • the environmental information acquisition unit 24 when the environmental information acquisition unit 24 originally detects the surrounding environment in front of the user 1, but actually detects the surrounding environment behind the user 1, the environment information acquisition unit 24 A faulty installation location may be detected.
  • Whether or not the detection direction of the environment information acquisition unit 24 is inappropriate is detected, for example, based on information indicating the progress of the user 1 derived from the environment information data D11 (images, etc.) acquired by the environment information acquisition unit 24. may be
  • the notification unit 26 notifies the user 1 according to the detection result of the installation state detection unit 27.
  • the notification unit 26 notifies that the installation state of the environment information acquisition unit 24 is inappropriate. Issue to User 1.
  • the notification unit 26 notifies the user 1 that the installation state of the environment information acquisition unit 24 is appropriate. , or may not issue a notification itself.
  • the environmental state notification device 10 of this example it is possible to notify the user 1 of the mounting state of the environmental information acquisition unit 24 to the user 1, and to appropriately mount the environment information acquisition unit 24 to the user 1. can be encouraged.
  • FIG. 7 is a diagram showing another example of the functional configuration of the wearable device 11.
  • FIG. 7 is a diagram showing another example of the functional configuration of the wearable device 11.
  • the wearable device 11 shown in FIG. 7 includes the attachment unit 21, the control unit 22, the memory 23, the environment information acquisition unit 24, the environment state recognition unit 25, the notification unit 26, and the installation state detection unit 27, as well as user state information acquisition. A portion 28 is provided.
  • the user status information acquisition unit 28 acquires user status data indicating information about the status of user 1.
  • the specific information included in the user state data is not limited, but includes information about the state of user 1 that can affect the state of the surrounding environment for user 1. As an example, information regarding the speed and/or acceleration of movement of user 1 may be included in the user state data.
  • the user state information acquisition unit 28 may include a sensor that detects at least one of the speed and acceleration of movement of the user 1 .
  • the sensors included in the user state information acquisition unit 28 are not limited.
  • the user state information acquisition unit 28 may include a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the user state information acquisition unit 28 can also include a functional configuration unit that acquires other information indicating movement of the user 1 (see, for example, the position information acquisition unit 40 and the map information collation unit 41 shown in FIG. 5).
  • the environment state recognition unit 25 recognizes the state of the surrounding environment for the user 1 based on the environment information data acquired by the environment information acquisition unit 24 and the user state data acquired by the user state information acquisition unit 28 .
  • the environmental state recognition unit 25 predicts the travel route of the user 1 based on the user state data, and determines the state of the surrounding environment for the user 1 based on the predicted travel route of the user 1 and the environmental information data. may recognize. For example, the environmental state recognition unit 25 can recognize whether or not the predicted movement route of the user 1 approaches or passes through an area or object requiring attention of the user 1 .
  • the environmental state recognition unit 25 determines not only whether the current situation of the user 1 can threaten the safety of the user 1, but also whether the predicted future situation of the user 1 threatens the safety of the user 1. It is also possible to recognize whether or not the situation is likely to occur.
  • the notification unit 26 notifies the user 1 according to the "state of the surrounding environment for the user 1" recognized by the environmental state recognition unit 25.
  • the environmental state notification device 10 of this example it is possible to notify the user 1 of the existence of an object requiring attention in the surrounding environment at present and/or in the future based on the user state data.
  • FIG. 8 is a flow chart showing an example of the environmental state notification method.
  • the environment information acquisition unit 24 starts acquiring environment information data indicating information about the surrounding environment of the user 1, and the user state information acquisition unit 28 starts to acquire user state data indicating the state of the user 1. is started (S11 in FIG. 8).
  • the attachment state of the wearable device 11 including the environment information acquisition section 24 is detected by the attachment state detection section 27 (S12). Specifically, the attachment state detection unit 27 determines whether or not the installation position of the wearable device 11 (especially the environment information acquisition unit 24) is appropriate (S13).
  • the specific method of warning issued from the notification unit 26 at this time is not limited.
  • the notification unit 26 can issue a warning to the user 1 through sound, video and/or vibration, similar to the notification to the user 1 described above.
  • the user 1 is in an inappropriate state in which the wearable device 11 (especially the environment information acquisition unit 24) is hidden by the body or clothes, in an inappropriate state in which the environment information acquisition unit 24 is oriented, or in a state where the wearable device 11 is worn. Be aware of situations where the position is inappropriate.
  • the notification unit 26 issues a warning regarding an abnormality in the mounting state of the wearable device 11 including the environment information acquisition unit 24, the above steps S12 and S13 are repeated.
  • the environmental state notification device 10 proceeds to the next step (ie S15).
  • the user 1 is encouraged to attach the wearable device 11 normally, and the environmental state notification device 10 does not proceed to the next step S15 until the wearable device 11 is properly attached to the user 1.
  • step S15 the environmental state recognition unit 25 recognizes the state of the surrounding environment for the user 1 based on the environmental information data and the user state data.
  • the environmental state recognition unit 25 recognizes the state of the surrounding environment of the user 1 and estimates the predicted course of the user 1 based on the environmental information data and the user state data. More specifically, information (including position information) on movement of a mobile object such as a vehicle and information on areas requiring attention in the surrounding environment are acquired as environment information data. However, any other information may be included in the environmental information data.
  • the environmental state recognition unit 25 determines whether or not the moving object is approaching the predicted course of user 1 (for example, the predicted position of user 1) (S16).
  • the notification unit 26 issues a notification to warn user 1 of the approach of the moving object ( S17). As a result, the user 1 can recognize the approach of the moving object and take action as necessary.
  • the notification unit 26 warns the user 1 of the approach of the moving object, in this example, detection and determination of the state of attachment of the wearable device 11 to the user 1 (S12 and S13) are performed again. Note that after the notification unit 26 warns the user 1 of the approach of a moving object, the state of the surrounding environment is recognized and the predicted course of the user is estimated ( S15) may be performed again.
  • the environmental state recognition unit determines whether or not user 1 approaches an area that requires caution. 25 (S18).
  • the notification unit 26 issues a notification to the user 1 warning that the user 1 is approaching the area requiring attention (S19). .
  • the environmental state notification device 10 of this example After the notification unit 26 issues a warning to the user 1 that the user is approaching an area that requires caution, the environmental state notification device 10 of this example returns to step S12 described above. However, the environmental state notification device 10 may return to step S15 without returning to step S12.
  • the notification unit 26 will not notify the user 1.
  • the notification unit 26 notifies the user 1 according to the state of the surrounding environment for the user 1 recognized by the environmental state recognition unit 25 .
  • the series of processes (S11 to S19) described above may be performed repeatedly. Also, part of the above-described series of processes (for example, S12 to S19 or S15 to S19) may be performed repeatedly.
  • FIG. 9 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the wearable device 11 does not include the environmental state recognition unit 25, but includes the communication unit 29.
  • the communication unit 29 communicates data with the external communication unit 55 of the external device 51 .
  • External device 51 includes environmental state recognition section 25 in addition to external communication section 55 .
  • the communication method between the communication unit 29 and the external communication unit 55 is not limited. Further, communication may be performed between the communication unit 29 and the external communication unit 55 using a plurality of communication methods complying with two or more communication standards.
  • the communication unit 29 can communicate with the external communication unit 55 based on wireless communication methods such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), and DSRC (Dedicated Short Range Communications).
  • the external network with which the communication unit 29 communicates includes, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 29 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 29 can communicate with a communication device existing near the communication unit 29 (that is, the wearable device 11) using P2P (Peer To Peer) technology.
  • Communication devices that exist near the wearable device 11 include, for example, communication devices mounted on moving bodies such as vehicles and bicycles, communication devices that are fixed and do not move in shops, etc., and MTC (Machine Type Communication). Terminal.
  • the communication unit 29 may receive electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the communication unit 29 and the external communication unit 55 are directly connected via wireless communication that assumes relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark). may be connected.
  • wireless communication assumes relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark).
  • the environment information data D11 acquired by the environment information acquisition unit 24 and the user state data D13 acquired by the user state information acquisition unit 28 are sent to the environment state recognition unit 25 via the communication unit 29 and the external communication unit 55. sent to
  • the environmental state recognition unit 25 recognizes the state of the surrounding environment for the user 1 based on the sent environmental information data D11 and user state data D13.
  • the environmental state recognition unit 25 sends a notification instruction signal D12 corresponding to the recognized state of the surrounding environment for the user 1 to the notification unit 26 via the external communication unit 55 and the communication unit 29 .
  • the notification unit 26 notifies the user 1 according to the sent notification instruction signal D12.
  • the notification instruction signal D12 may be sent directly from the external device 51 to the notification unit 26 via the communication unit 29, or may be notified via another functional configuration unit (for example, the control unit 22) of the wearable device 11. It may be sent to department 26 .
  • FIG. 10 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the configuration of the wearable device 11 shown in FIG. 10 is basically the same as the wearable device 11 shown in FIG. 7 described above.
  • the notification unit 26 in this example detects the external device 52 (second external device).
  • the external device 52 is typically a mobile object (including a passenger) such as a vehicle, but is not limited.
  • the notification method from the notification unit 26 to the external device 52 is not limited.
  • the notification unit 26 can notify the external device 52 by, for example, emitting sound or light (for example, warning sound or warning light emission).
  • the notification unit 26 may also send a notification signal to the external device 52 via the communication unit (not shown in FIG. 10) of the wearable device 11.
  • the network between the notification unit 26 and the external device 52 is, for example, CAN (Controller Area Network), LIN (Local Interconnect Network), or LAN (Local Area Network).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • Configurable such a network can be configured by a network such as a vehicle-mounted communication network or a bus complying with FlexRay (registered trademark), Ethernet (registered trademark), or digital two-way communication standards.
  • the notification signal sent from the notification unit 26 to the external device 52 may contain arbitrary information. For example, warning information, user 1 location information, environmental information data, user state data, and/or map information may be sent from the notification unit 26 to the external device 52 .
  • the notification unit 26 notifies both the user 1 and the external device 52, so that the safety of the user 1 is further improved.
  • FIG. 11 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the wearable device 11 shown in FIG. 11 includes a communication unit 29 that communicates data with an external device (third external device) 53 .
  • the communication unit 29 of this example sends to the external device 53 the surrounding environmental state data D14 indicating the state of the surrounding environment for the user 1 recognized by the environmental state recognition unit 25 . Thereby, the external device 53 can grasp the state of the surrounding environment for the user 1 .
  • the external device 53 is not limited.
  • the external device 53 can be configured as a mobile terminal owned by a guardian of the user 1 and/or a terminal device owned by a company (for example, an insurance company or a security company). In this case, the state of the environment surrounding the user 1 can be notified to the parent or the company, and the safety of the user 1 can be further improved.
  • FIG. 12 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • the configuration of the wearable device 11 shown in FIG. 12 is basically the same as the wearable device 11 shown in FIG. 11 described above.
  • the communication unit 29 of this example performs data communication with the external device (first external device) 54 and receives the environment information data D11 and/or the user state data D13 sent from the external device 54 .
  • the external device 54 may send information about the attribute of the mobile object to the communication unit 29 as the environment information data D11.
  • the attribute of the moving body referred to here corresponds to, for example, information regarding whether or not the external device 54 is a moving body equipped with a safety support device capable of recognizing the user 1, and other information that the external device 54 can provide. sell.
  • the environment state recognition unit 25 Based on the environmental information data acquired by the environmental information acquisition unit 24 and the environment information data and/or user state data sent from the external device 54 via the communication unit 29, the environment state recognition unit 25 recognizes the user's state. 1 recognizes the state of the surrounding environment.
  • the state of the surrounding environment for the user 1 can be recognized based on the environmental information data acquired by the wearable device 11 and the external device 54 . Also, based on the environment information data and user state data acquired by the wearable device 11 and the user state data acquired by the external device 54, the state of the surrounding environment for the user 1 can be recognized. Therefore, it is possible to more accurately recognize the state of the surrounding environment for the user 1, and the safety of the user 1 is further improved.
  • FIG. 13 is a diagram showing another example of the functional configuration of the environmental state notification device 10. As shown in FIG.
  • attachment portion 21, the control portion 22 and the memory 23 are not shown in FIG. 13, the wearable device 11 shown in FIG.
  • the wearable device 11 of this example includes an external sensor 61 and an internal sensor 63 .
  • the external sensor 61 detects the state of the user 1's surrounding environment.
  • External sensors 61 may therefore include, for example, cameras, LiDAR, ToF and/or millimeter wave radars.
  • the internal sensor 63 detects the state of the user 1.
  • the internal sensor 63 may thus include, for example, a GNSS and/or an IMU.
  • the data detected by the external world sensor 61 is analyzed by the external world information analysis unit 62, and the information of the surrounding environment of the user 1 is acquired by the external world information analysis unit 62. Information on the surrounding environment of the user 1 thus obtained is sent from the external world information analysis section 62 to the environment state recognition section 25 .
  • the data detected by the internal world sensor 63 is analyzed by the internal world information analysis unit 64, and information on the state of the user 1 is acquired by the internal world information analysis unit 64.
  • the internal world information analysis unit 64 calculates the moving direction and/or moving distance of the user 1 from the detection data of the internal world sensor 63 based on, for example, PDR (Pedestrian Dead Reckoning), and obtains information on the moving route of the user 1. be able to. Information about the state of the user 1 thus obtained is sent from the internal world information analysis section 64 to the environmental state recognition section 25 .
  • Information received by the communication unit 29 from a device external to the wearable device 11 is analyzed by the communication information analysis unit 65, and the communication analysis information is acquired by the communication information analysis unit 65.
  • the communication analysis information thus obtained is sent from the communication information analysis section 65 to the environmental state recognition section 25 .
  • the communication unit 29 may transmit such information that does not require analysis to the environmental state recognition unit 25 via the communication information analysis unit 65. Then, the communication information analysis unit 65 may be skipped and transmitted to the environmental state recognition unit 25 .
  • the external device that communicates with the communication unit 29 is not limited.
  • the communication unit 29 can, for example, communicate data with servers, infrastructure equipment (eg, base stations and access points), and/or mobile units (eg, vehicle controllers).
  • Information received by the communication unit 29 is not limited, and the communication unit 29 can receive, for example, map information, infrastructure information, and vehicle information.
  • the communication information analysis unit 65 may transmit and receive data with the external world information analysis unit 62 and the internal world information analysis unit 64.
  • the communication information analysis unit 65 may transmit map information received via the communication unit 29 to the internal world information analysis unit 64 .
  • the internal world information analysis unit 64 may acquire information about the state of the user 1 by using map matching technology based on the map information received from the communication information analysis unit 65, for example.
  • the state regarding the state of the user 1 may be sent from the internal world information analysis unit 64 to the communication information analysis unit 65, and the communication information analysis unit 65 may acquire the information regarding the state of the user 1 using map matching technology. .
  • the highly accurate information regarding the state of the user 1 thus obtained is sent to the environmental state recognition section 25 .
  • the environmental state recognition unit 25 of this example acquires the dynamic map of the surrounding environment of the user 1 from the dynamic map providing unit 66 .
  • the dynamic map providing unit 66 is provided outside the wearable device 11 and can be configured by, for example, a server.
  • a dynamic map is a database-like map containing high-precision 3D geospatial information (basic map information) and additional map information, and is sometimes called a local dynamic map.
  • a dynamic map typically includes multiple layers depending on how often the information is updated. For example, a Permanent static data layer, a Transient static data layer, a Transient dynamic data layer, and a Highly dynamic data layer are Included in the dynamic map.
  • the environmental state recognition unit 25 recognizes the state of the surrounding environment for the user 1 based on the environmental information data, user state data and dynamic map obtained as described above.
  • the notification unit 26 notifies the user 1 according to the state of the surrounding environment for the user 1 recognized by the environmental state recognition unit 25 .
  • Information regarding the state of the surrounding environment for the user 1 recognized by the environmental state recognition unit 25 may be sent to the external device via the communication unit 29 .
  • the notification unit 26 notifies the user 1 according to the state of the surrounding environment recognized by the environmental state recognition unit 25, but the content of the notification is not limited.
  • the notification unit 26 can notify the user 1 of the state of the surrounding environment.
  • the notification unit 26 can notify the user 1 that a mobile object such as a vehicle or bicycle is approaching the user 1.
  • the notification unit 26 can notify the user 1 of the existence of such a moving object with suspicious behavior.
  • the notification unit 26 can notify the user 1 of the attributes of vehicles located near the user 1 .
  • the notification unit 26 does not need to notify the user 1.
  • the notification unit 26 detects that the vehicle can be notified to the user 1 as a vehicle requiring attention.
  • the notification unit 26 can notify the user 1 of the existence of such a person whose behavior is suspicious. In this case, as shown in FIG. 11 described above, it is effective to transmit the information indicating the presence of a person acting suspiciously (that is, the surrounding environmental state data D14) to the external device 53 as well.
  • the notification unit 26 can notify the user 1 of "the state of the surrounding environment for the user 1" related to the behavior of the user 1.
  • the notification unit 26 can notify the user 1 that the user 1 is approaching or entering an area that requires attention.
  • Such areas that require caution may include, for example, not only areas that are inherently dangerous for user 1 (eg, roadways), but also areas that are potentially dangerous for user 1.
  • areas that are inherently dangerous for user 1 e.g. roadways
  • areas that are potentially dangerous for user 1 may correspond to an area that is potentially dangerous for the user 1 .
  • Whether or not the user 1 is approaching or entering an area that requires attention can be determined by the environmental state recognition unit 25 based on the sensor detection results of the environment information acquisition unit 24 . Further, whether or not the user 1 is approaching or entering an area requiring attention can be determined by the environmental state recognition unit 25 based on the map information acquired by the environment information acquisition unit 24 and the location information of the user 1. is.
  • the notification unit 26 can notify the user 1 that the user 1 has violated traffic rules. Whether or not the user 1 is violating the traffic rules can be determined from the sensor detection results of the environmental information acquisition unit 24 .
  • the image sensor of the environment information acquisition unit 24 captures a signal, and the environmental state recognition unit 25 analyzes the captured image to grasp the state of the signal, thereby determining whether or not the user 1 violates traffic rules. It is possible to Also, based on the detection result of the sensor of the environment information acquisition unit 24, the environment state recognition unit 25 determines whether the location where the user 1 is located is a roadway, thereby determining whether the user 1 is violating traffic rules. can be determined. Based on the map information acquired by the environment information acquisition unit 24 and the location information of the user 1, the environment state recognition unit 25 determines whether the location where the user 1 is located is a roadway, so that the user 1 does not comply with the traffic rules. It is possible to determine whether or not there is a violation.
  • the notification unit 26 can notify the user 1 that the user 1 has not performed a sufficient safety confirmation action, such as a case where the user 1 does not stop temporarily when crossing the road.
  • the notification unit 26 can notify the user 1 that the user 1 is taking an action that is difficult for the vehicle driver to predict (for example, sudden acceleration, sudden deceleration, meandering, etc.).
  • Whether or not the user 1 is taking sufficient safety confirmation actions or whether or not the user 1 is taking an action that is difficult to predict depends on the detection result of the sensor of the environment information acquisition unit 24 and/or the user status information acquisition unit 28. The determination can be made based on the detection result of the sensor.
  • the user 1 For example, based on the detection result of the sensor that detects the speed and/or acceleration of the user 1, it is possible to determine whether the user 1 is performing a sufficient safety confirmation action or whether the user 1 is taking an action that is difficult to predict. It is possible to determine Based on the map information and the location information of the user 1 acquired by the environmental information acquisition unit 24, it is determined whether or not the user 1 is sufficiently confirming safety and whether or not the user 1 is acting in an unpredictable manner. It is possible to determine
  • the notification unit 26 can notify the user 1 of an abnormal attachment state of the wearable device 11 (in particular, the environment information acquisition unit 24 and/or the user state information acquisition unit 28).
  • the notification unit 26 can notify that the wearable device 11 is in an abnormal attachment state. Further, when it is determined that the direction of detection by the environment information acquisition unit 24 is inappropriate from the information acquired by the environment information acquisition unit 24 and/or the user state information acquisition unit 28, the notification unit 26 may be configured as a wearable device. 11 mounting status abnormalities can be notified.
  • Steposcopic sound function When the state of the surrounding environment for the user 1 requires the user 1 to quickly grasp the state of the surrounding environment or the user 1 to take a quick avoidance action, the notification unit 26 instructs the user 1 to It is desirable to have quick and intuitive notifications.
  • the notification unit 26 can perform notification based on stereophonic technology, for example.
  • Stereophonic technology is technology that provides the user 1 with three-dimensional sound effects, for example, technology that reproduces pseudo-stereoscopic sound sources.
  • the specific method and device configuration for realizing stereophonic technology are not limited.
  • the technology and device called "360 REALITY AUDIO" registered trademark
  • stereophonic technology are also based on stereophonic technology.
  • the notification unit 26 simply issues a warning to the user 1, the user 1 can instantly recognize the situation and take appropriate action. may not be possible.
  • the notification unit 26 notifies the user 1 by stereophonic sound, so that it is possible to prompt the user 1 to instantly recognize the situation and to induce the user 1 to take reflexive actions, thereby improving the safety of the user. It is advantageous to
  • stereophonic function is described below.
  • the notification unit 26 may give directivity to the degree of emphasis of the notification sound (warning sound, etc.) according to the state of the surrounding environment for the user 1 .
  • the notification unit 26 can notify the user 1 using a sound that is emphasized in the direction toward the user 1 from an object requiring attention (for example, a moving object such as a vehicle or an obstacle such as a utility pole).
  • an object requiring attention for example, a moving object such as a vehicle or an obstacle such as a utility pole.
  • the notification unit 26 can notify the user 1 by acquiring the positional relationship between the object requiring attention and the user 1 and creating stereophonic sound corresponding to the positional relationship. Also, the notification unit 26 may change the volume, tempo and/or other characteristics of the emphasized sound provided to the user 1 according to the distance between the user 1 and the object requiring attention.
  • the notification unit 26 may acquire information about the positional relationship between the object requiring attention and the user 1 from the control unit 22 or an external device, or derive the information based on the environment information data and/or the user state data. good too.
  • the notification sound (including the emphasized sound) provided from the notification unit 26 to the user 1 is determined by a function configuration unit other than the notification unit 26 (for example, the control unit 22), the object requiring attention and the user 1 is sent to the other functional component. In this case, information about the positional relationship between the object requiring attention and the user 1 may not be sent to the notification unit 26 .
  • the user 1 can quickly and intuitively grasp the positional relationship between the object requiring attention and the user 1 by listening to the sound (especially emphasized sound) emitted from the notification unit 26. .
  • the notification unit 26 may provide the user 1 with a sound that induces a reflex action of the user 1 according to the state of the surrounding environment for the user 1 based on stereophonic technology.
  • the notification unit 26 emits a sound that is emphasized in the direction from the area that requires attention toward the user 1 (e.g. evocative sound) can be used to notify user 1 .
  • a sound that is emphasized in the direction from the area that requires attention toward the user 1 e.g. evocative sound
  • the notification unit 26 may give a notification that the user 1 suddenly hears the sound of a bat swing overhead, thereby inducing the user 1 to crouch.
  • the notification unit 26 acquires the positional relationship between the object requiring attention and the user 1, and generates stereophonic sound corresponding to the positional relationship, thereby making it possible to notify the user 1.
  • a functional configuration unit other than the notification unit 26 acquires the positional relationship between the object requiring attention and the user 1, creates stereophonic data corresponding to the positional relationship, and notifies the stereophonic data. By sending it to the unit 26, it is possible to notify the user 1.
  • the notification unit 26 may provide the notification sound for the user 1 to the user 1 by combining it with music according to the state of the surrounding environment for the user 1 .
  • the music provided to the user 1 from the notification unit 26 may be changed according to the distance or relative speed of approach of the user 1 to the object or area requiring attention.
  • the notification unit 26 may transmit the melody, instrumental sound, tempo and/or volume (for example, the volume of a specific instrumental sound) of music provided to the user 1 from the notification unit 26 to the target and area requiring attention and the user 1. may vary depending on the relationship between Further, the notification unit 26 may give directivity to the degree of emphasis of music according to the state of the surrounding environment for the user 1 .
  • the user 1 can quickly and intuitively grasp the state of the surrounding environment for the user 1, and experience music that changes according to the actual walking location, time, and surrounding conditions.
  • the technical categories that embody the above technical ideas are not limited.
  • the above technical ideas may be embodied by a computer program for causing a computer to execute one or more procedures (steps) included in the method of manufacturing or using the above apparatus.
  • the above technical idea may be embodied by a computer-readable non-transitory recording medium in which such a computer program is recorded.
  • the present disclosure can also take the following configuration.
  • An environmental condition notification device comprising:
  • the environmental information acquisition unit includes an emission unit that emits detection electromagnetic waves or detection sound waves, 4.
  • the environmental state notification device according to item 2 or 3, wherein the wave sensor receives the reflected detected electromagnetic wave or the detected sound wave.
  • the environment information acquisition unit a location information acquisition unit that acquires location information of the user; a map information matching unit that acquires the environment information data based on the position information and the map information; 5.
  • the environmental condition notification device according to any one of items 1 to 4, comprising:
  • Item 6 The environmental state notification device according to item 5, wherein the position information acquisition unit acquires the position information of the user from a satellite positioning system.
  • the environmental state recognizing unit is configured to detect the surrounding environment for the user based on the environmental information data acquired by the environmental information acquiring unit and the environmental information data transmitted from the first external device via the communication unit. 7.
  • the environmental state notification device according to any one of items 1 to 6, which recognizes the state of the environment.
  • [Item 8] a user state information acquisition unit that acquires user state data indicating the state of the user; 8. The environmental state notification device according to any one of items 1 to 7, wherein the environmental state recognition unit recognizes the state of the surrounding environment for the user based on the environmental information data and the user state data.
  • Item 9 The environmental state notification device according to item 8, wherein the user state information acquisition unit includes a sensor that detects at least one of speed and acceleration of movement of the user.
  • the notification unit notifies a second external device that exists in the user's surrounding environment and is not attached to the user, according to the state of the surrounding environment for the user recognized by the environmental state recognition unit.
  • the environmental state notification device according to any one of 1 to 13.
  • FIG. 17 an attachment state detection unit that detects an attachment state of the environment information acquisition unit with respect to the user; 17. The environmental state notification device according to any one of items 1 to 16, wherein the notification unit notifies the user according to the detection result of the attachment state detection unit.
  • [Item 18] obtaining environmental information data indicating information about the surrounding environment of the user by an environmental information obtaining unit attached to the user; an environmental state recognition unit recognizing the state of the surrounding environment for the user based on the environmental information data; a step in which the notification unit notifies the user according to the state of the surrounding environment for the user recognized by the environmental state recognition unit; environmental status notification methods, including

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

［課題］ユーザの安全性を向上させるのに有利な技術を提供する。 ［解決手段］環境状態通知装置は、ユーザに取り付けられ、ユーザの周辺環境の情報を示す環境情報データを取得する環境情報取得部と、環境情報データに基づいて、ユーザに対する周辺環境の状態を認識する環境状態認識部と、環境状態認識部が認識したユーザに対する周辺環境の状態に応じて、ユーザに対する通知を行う通知部と、を備える。

Description

環境状態通知装置、環境状態通知方法及びプログラム
　本開示は、環境状態通知装置、環境状態通知方法及びプログラムに関する。
　近年、ユーザによって装着可能な様々なウエアラブルデバイスが提案されている。
　特許文献１は、カメラが搭載されるウエアラブル端末を開示する。このウエアラブル端末では、ユーザの行動状態に応じてカメラの画角が制御される。
特開２０１７－１５８０８３号公報
　車両の自動運転に対する注目の高まりとともに、車両に搭載される安全運転支援装置も飛躍的に発展している。その一方で、安全運転支援装置は開発途上にあり、安全機能のより一層の向上が必要とされる。また、安全運転支援装置が搭載されてない車両も相当数、公道を走行している。そのため歩行者は、依然として、車両に対して十分な注意を払いつつ、歩行する必要がある。
　また歩行者は、車両だけではなく不審者等の他の存在に対しても十分な注意を払って、安全を確保する必要がある。さらに、歩行者が注意を要する領域に接近及び進入することを未然に回避することは、歩行者の安全性を向上させる観点から非常に有効である。
　本開示は上述の事情に鑑みてなされたものであり、ユーザの安全性を向上させるのに有利な技術を提供する。
　本開示の一態様は、ユーザに取り付けられ、ユーザの周辺環境の情報を示す環境情報データを取得する環境情報取得部と、環境情報データに基づいて、ユーザに対する周辺環境の状態を認識する環境状態認識部と、環境状態認識部が認識したユーザに対する周辺環境の状態に応じて、ユーザに対する通知を行う通知部と、を備える環境状態通知装置に関する。
　環境情報取得部は、ユーザの周辺の環境からの電磁波及び音波のうちの少なくともいずれか一方を受けて環境情報データを取得する波動センサを含んでもよい。
　波動センサは、ユーザの周辺の環境の画像を取得してもよい。
　環境情報取得部は、検出電磁波又は検出音波を出射する電磁波出射部を含み、波動センサは、反射された検出電磁波又は検出音波を受けてもよい。
　環境情報取得部は、ユーザの位置情報を取得する位置情報取得部と、位置情報と地図情報とに基づいて環境情報データを取得する地図情報照合部と、を含んでもよい。
　位置情報取得部は、衛星測位システムからユーザの位置情報を取得してもよい。
　環境状態通知装置は、データの通信を行う通信部を備え、環境状態認識部は、環境情報取得部によって取得される環境情報データと、通信部を介して第１外部装置から送られてくる環境情報データとに基づいて、ユーザに対する周辺環境の状態を認識してもよい。
　環境状態通知装置は、ユーザの状態を示すユーザ状態データを取得するユーザ状態情報取得部を備え、環境状態認識部は、環境情報データ及びユーザ状態データに基づいて、ユーザに対する周辺環境の状態を認識してもよい。
　ユーザ状態情報取得部は、ユーザの移動の速度及び加速度のうちの少なくともいずれか一方を検出するセンサを含んでもよい。
　環境状態認識部は、ユーザ状態データに基づいてユーザの移動進路を予測し、予測されたユーザの移動進路に基づいて、ユーザに対する周辺環境の状態を認識してもよい。
　環境状態認識部は、ユーザの周辺環境のダイナミックマップを取得し、環境情報データ及びダイナミックマップに基づいて、ユーザに対する周辺環境の状態を認識してもよい。
　通知部はユーザに取り付けられてもよい。
　通知部は、聴覚、視覚及び触覚のうちの少なくともいずれかを通じて、ユーザに対する通知を行ってもよい。
　通知部は、環境状態認識部が認識したユーザに対する周辺環境の状態に応じて、ユーザの周辺環境に存在し且つユーザに取り付けられていない第２外部装置に対する通知を行ってもよい。
　第２外部装置は車両であってもよい。
　環境状態通知装置は、データの通信を行う通信部を備え、通信部は、環境状態認識部が認識したユーザに対する周辺環境の状態を示すデータを、第３外部装置に送ってもよい。
　環境状態通知装置は、ユーザに対する環境情報取得部の取り付け状態を検出する取り付け状態検出部を備え、通知部は、取り付け状態検出部の検出結果に応じて、ユーザに対する通知を行ってもよい。
　本開示の他の態様は、ユーザに取り付けられる環境情報取得部によって、ユーザの周辺環境の情報を示す環境情報データを取得するステップと、環境状態認識部が、環境情報データに基づいて、ユーザに対する周辺環境の状態を認識するステップと、通知部が、環境状態認識部が認識したユーザに対する周辺環境の状態に応じて、ユーザに対する通知を行うステップと、を含む環境状態通知方法に関する。
　本開示の他の態様は、コンピュータに、ユーザに取り付けられる環境情報取得部によって、ユーザの周辺環境の情報を示す環境情報データを取得する手順と、環境状態認識部が、環境情報データに基づいて、ユーザに対する周辺環境の状態を認識する手順と、通知部が、環境状態認識部が認識したユーザに対する周辺環境の状態に応じて、ユーザに対する通知を行う手順と、を実行させるためのプログラムに関する。
図１は、環境状態通知装置として機能するウエアラブルデバイスの一例を示す図である。 図２は、ウエアラブルデバイスの機能構成の一例を示す図である。 図３は、環境状態通知装置の機能構成の一例を示す図である。 図４は、環境状態通知装置の機能構成の他の例を示す図である。 図５は、環境状態通知装置の機能構成の他の例を示す図である。 図６は、ウエアラブルデバイスの機能構成の他の例を示す図である。 図７は、ウエアラブルデバイスの機能構成の他の例を示す図である。 図８は、環境状態通知方法の一例を示すフローチャートである。 図９は、環境状態通知装置の機能構成の他の例を示す図である。 図１０は、環境状態通知装置の機能構成の他の例を示す図である。 図１１は、環境状態通知装置の機能構成の他の例を示す図である。 図１２は、環境状態通知装置の機能構成の他の例を示す図である。 図１３は、環境状態通知装置の機能構成の他の例を示す図である。
　図１は、環境状態通知装置１０として機能するウエアラブルデバイス１１の一例を示す図である。図２は、ウエアラブルデバイス１１の機能構成の一例を示す図である。
　図１に示すウエアラブルデバイス１１は、ユーザ１の衣服に取り付けられる。
　ウエアラブルデバイス１１の取り付け箇所は衣服には限定されず、ウエアラブルデバイス１１はユーザ１に対して任意の態様で取り付け可能である。典型的には、腕時計、首掛け具、眼鏡、イヤホン（ヘッドホンを含む）、或いは指輪などの形態で、ウエアラブルデバイス１１はユーザ１によって装着される。
　図２に示すウエアラブルデバイス１１は、取付部２１、制御部２２、メモリ２３、環境情報取得部２４、環境状態認識部２５及び通知部２６を備える。
　取付部２１は、ウエアラブルデバイス１１をユーザ１に取り付けるために用いられる。取付部２１の具体的な構造は限定されず、ユーザ１に対するウエアラブルデバイス１１の取り付け態様も限定されない。
　図１に示すようにウエアラブルデバイス１１がユーザ１の衣服に取り付けられる場合、取付部２１は、磁石を具備し、磁力を利用して衣服を挟むことで、ウエアラブルデバイス１１を衣服に着脱可能に取り付けることができる。ただし取付部２１は、クリップ等の他の形態で、ユーザ１の衣服にウエアラブルデバイス１１を取り付けてもよい。
　また、腕時計型のウエアラブルデバイス１１の場合、取付部２１はベルト（リストバンド）によって構成可能である。
　このように取付部２１は、ユーザ１に対するウエアラブルデバイス１１の取り付け態様に適した構成及び形状を有する。
　制御部２２は、ウエアラブルデバイス１１が具備する各機能構成部を制御する。制御部２２は、典型的には、ＣＰＵ（Central Processing Unit）或いはＭＰＵ（Micro Processing Unit）などの各種のプロセッサを含む。
　制御部２２の具体的な構成は限定されない。単一デバイスによって制御部２２を構成し、当該制御部２２が、ウエアラブルデバイス１１に含まれる複数の機能構成部を統合的に制御してもよい。或いは、複数デバイスによって制御部２２を構成してもよい。例えば、ウエアラブルデバイス１１の各機能構成部に、対応の制御デバイス（制御部２２）が内蔵されてもよい。
　メモリ２３は、各種データ（プログラムを含む）を記憶する。メモリ２３は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含む。メモリ２３は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）或いはＲＡＭ（Random Access Memory）により構成可能である。またメモリ２３は、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、或いは光磁気記憶デバイスにより構成可能である。
　ウエアラブルデバイス１１が具備する各機能構成部（制御部２２を含む）は、各種データをメモリ２３から読み出してもよいし、メモリ２３に新たなデータを記憶させてもよいし、メモリ２３に記憶されているデータを更新してもよい。
　環境情報取得部２４は、ユーザ１に取り付けられ、ユーザ１の周辺環境の情報を示す環境情報データを取得する。環境情報取得部２４の具体的な構成及び環境情報データに含まれる具体的な情報は限定されない。
　典型的には、環境情報取得部２４は、制御部２２の制御下で作動する波動センサを含む。当該波動センサは、ユーザ１の周辺の環境からの電磁波及び音波（例えば超音波）のうちの少なくともいずれか一方を受けて、環境情報データを取得する。
　ここで言う電磁波は、可視光などの光やミリ波などの電波を含みうる。したがって波動センサは、ユーザ１の周辺環境の画像（静止画及び／又は動画）を取得するイメージセンサとして構成されたり、ユーザ１の周辺のオブジェクトにより反射された電波や光を受信／受光するセンサとして構成されたりしうる。
　具体的には、環境情報取得部２４は、カメラ（撮像装置）、ＬｉＤＡＲ（Light Detection and Ranging）、ＴｏＦ（Time of Flight）、ミリ波レーダ及び／又は超音波センサを含みうる。カメラは、ステレオカメラ、単眼カメラ及び赤外線カメラといった各種の撮影方式を採用可能である。
　環境情報取得部２４は、センサフュージョン部（図示省略）を有してもよい。このセンサフュージョン部は、互いに異なる複数種類のセンサデータ（例えば画像データ及びレーダ検出データ）の組み合わせから、新たな情報を得るセンサフュージョン処理を行う。センサフュージョン処理は、例えば複数の種類のセンサデータを統合、融合、或いは連合する処理を含みうる。
　環境状態認識部２５は、環境情報取得部２４が取得した環境情報データに基づいて、ユーザ１に対する周辺環境の状態を認識する。
　ここで言う「ユーザ１に対する周辺環境の状態」には、ユーザ１に対する周辺環境の安全性に関する状態が含まれうる。例えば、車両や自転車などの移動体がユーザ１に接近しているか否か、及び、ユーザ１の現在の位置や今後の予測位置が注意を要する位置か否かが、「ユーザ１に対する周辺環境の状態」に含まれうる。また、ユーザ１の近くに位置する車両等の移動体や人間等の生物が不審な挙動を示しているか否かが、「ユーザ１に対する周辺環境の状態」に含まれうる。
　なお「ユーザ１に対する周辺環境の状態」には、安全性以外の影響をユーザ１に対して及ぼしうる周辺環境の状態が含まれてもよい。
　環境状態認識部２５が環境情報データを解析する場合、環境状態認識部２５による具体的な解析方法は限定されない。
　例えば環境状態認識部２５は、ＡＩ（Artificial Intelligence）を具備し、ディープラーニングによる学習により得られた学習済みデータを用いて、環境情報データを解析することが可能である。ここで、学習済みデータは、学習済みパラメータ及び当該学習済みパラメータが組み込まれた推論プログラムを含みうるものである。学習済みパラメータ及び推論プログラムは、例えば、生データ及び／又は生データから得られる学習用データセットを使った学習の結果、得られる。
　本例の環境状態認識部２５は、「環境情報データ及び／又は環境情報データから導出されるデータ」が「ユーザ１に対する周辺環境の状態に関するデータ」に関連付けられる学習済みデータを用いうる。環境状態認識部２５は、当該学習済みデータに対して「環境情報データ及び／又は環境情報データから導出されるデータ」を入力として適用することで、「ユーザ１に対する周辺環境の状態に関するデータ」を出力として得ることができる。
　通知部２６は、環境状態認識部２５が認識した「ユーザ１に対する周辺環境の状態」に応じて、ユーザ１に対する通知を行う。
　通知部２６によるユーザ１に対する通知方法は限定されない。ユーザ１に取り付けられる通知部２６は、典型的には、ユーザ１の感覚（例えば聴覚、視覚及び触覚のうちの少なくともいずれか）を通じて、ユーザ１に対する通知を行うことができる。
　例えば、通知部２６は、スピーカーやイヤホンを介してユーザ１に提供される音声や音楽により、「ユーザ１に対する周辺環境の状態」をユーザ１に通知しうる。特に、ユーザ１の聴覚を通じた通知は、ユーザ１に対する迅速且つ直感的な通知が可能であり、基本的にユーザ１の視覚情報を損なわない。
　最近では、立体音響技術等の様々な音響技術を通じてユーザ１に音声や音楽を提供することも行われている。通知部２６は、そのような様々な音響技術に基づいてユーザ１に対する通知を行うことで、注意を要する対象の位置及び方向の認知やユーザ１の反射的な安全行動の誘発など、新たな有益な効果をもたらしうる。通知部２６における立体音響技術の活用例については、後述する。
　また通知部２６は、眼鏡（例えばＡＲ（Augmented Reality）グラス）を介してユーザ１に提供される映像により、「ユーザ１に対する周辺環境の状態」をユーザ１に通知しうる。一例として、通知部２６は、ユーザ１に対する周辺環境の状態を示す映像を眼鏡に表示することができる。また通知部２６は、注意を要する対象がユーザ１に接近していたり、注意を要する領域にユーザ１が接近していたりする場合に、眼鏡における映像表示をオフにして、ユーザ１が周辺環境を視認できるようにしてもよい。
　また通知部２６は、ハプティクス（haptics）装置（例えば振動装置や圧力可変装置）を介してユーザ１に提供されるバイブレーションなどの触覚変化により、「ユーザ１に対する周辺環境の状態」をユーザ１に通知しうる。
　図３は、環境状態通知装置１０の機能構成の一例を示す図である。
　図３に示す例において、環境情報取得部２４は、ユーザ１の周辺の環境の画像を取得する撮像装置３１を具備し、イメージセンサ（ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等）を波動センサとして有する。
　撮像装置３１は、周辺環境の撮影画像を環境情報データＤ１１として環境状態認識部２５に送信する。環境状態認識部２５は、撮像装置３１から送られてくる撮影画像を解析する画像解析装置３２を具備する。
　画像解析装置３２は、撮影画像を解析することで、「ユーザ１に対する周辺環境の状態」を認識する。例えば、画像解析装置３２は、撮影画像に、ユーザ１に接近する車両などの移動体、車道などの非安全領域、及び／又は歩行者が注意を払うべきその他の対象が含まれるか否かを、認識することができる。
　画像解析装置３２により行われる具体的な画像解析方法は限定されない。例えば、画像解析装置３２は、セマンティックセグメンテーション等の認識処理を行うことにより、ユーザ１の周囲の物体の種類を認識してもよい。
　また画像解析装置３２は、撮像装置３１により取得される画像データに基づいてＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を使って、自己位置の推定及び環境地図（ローカルマップ）の作成を行ってもよい。
　ローカルマップは、例えば、３次元の高精度地図及び占有格子地図（Occupancy Grid Map）等として作成可能である。３次元の高精度地図は、例えば、後述のポイントクラウドマップ等として作成可能である。占有格子地図は、ユーザ１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図として作成可能である。ここで言う物体の占有状態は、例えば、物体の有無や存在確率により示される。
　そして画像解析装置３２は、撮影画像の解析結果に基づいて、ユーザ１に注意を促す必要があるか否かを決定する。
　例えば、撮影画像に、ユーザ１に接近する移動体、非安全領域、及び／又は歩行者が注意を払うべきその他の対象が含まれている場合、画像解析装置３２は、ユーザ１に注意を促す必要があると決定してもよい。一方、撮影画像に、歩行者が注意を払うべき対象が含まれていない場合、画像解析装置３２は、ユーザ１に注意を促す必要がないと決定してもよい。
　画像解析装置３２は、ユーザ１に注意を促す必要があるか否かに応じて、通知指示信号Ｄ１２を通知部２６に送信する。
　例えば、画像解析装置３２は、ユーザ１に注意を促す必要があると決定した場合、当該決定を示す通知指示信号Ｄ１２を通知部２６に送信する。一方、画像解析装置３２は、ユーザ１に注意を促す必要がないと決定した場合、当該決定を示す通知指示信号Ｄ１２を通知部２６に送信してもよいし、通知指示信号Ｄ１２自体を通知部２６に送信しなくてもよい。
　このように画像解析装置３２は、ユーザ１に注意を促す必要がある場合も必要がない場合も、通知指示信号Ｄ１２を通知部２６に送信してもよい。或いは、画像解析装置３２は、ユーザ１に注意を促す必要がある場合にのみ、通知指示信号Ｄ１２を通知部２６に送信してもよい。
　通知部２６は、画像解析装置３２から送られてくる通知指示信号Ｄ１２に基づいて、ユーザ１に対する周辺環境の状態に応じた通知を、ユーザ１に対して行う。
　本例の通知部２６は、音声装置、振動装置及び／又は映像装置を具備する。
　例えば通知部２６は、ユーザ１に注意を促す必要がある場合に送られてくる通知指示信号Ｄ１２を受信した場合、ユーザ１の注意を促す通知（音声、振動及び／又は映像）をユーザ１に向けて発する。一方、通知部２６は、ユーザ１に注意を促す必要がない場合に送られてくる通知指示信号Ｄ１２を受信した場合、ユーザ１に対して通知を発しなくてもよいし、注意を促す必要がないことを示す通知をユーザ１に発してもよい。また通知部２６は、画像解析装置３２から通知指示信号Ｄ１２を受信しない間は、ユーザ１に対して通知を発しなくてもよい。
　上述のように本例の環境状態通知装置１０によれば、ウエアラブルデバイス１１に含まれる撮像装置３１が取得する撮影画像データに基づき、周辺環境における注意を要する対象の存在を、ユーザ１に通知することができる。ユーザ１は、そのような通知に基づいて、ユーザ１に対する周辺環境の状態を把握することができ、必要に応じた適切な行動をとることができる。
　このように本例の環境状態通知装置１０は、歩行者（ユーザ１）の安全性を向上させる歩行者安全保護装置として構成される。
　図４は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図４に示す例において、環境情報取得部２４は、検出電磁波又は検出音波を出射するエミッター（出射部）３５と、反射された検出電磁波又は検出音波を受けるレシーバー（波動センサ）３６と、を含む。
　検出電磁波は、光でも電波でもよい。
　例えば、エミッター３５及びレシーバー３６がＬｉＤＡＲやＴｏＦとして構成される場合、エミッター３５は光を検出電磁波として周辺環境に向かって発し、レシーバー３６は周辺環境において反射された当該光を受光する。
　一方、エミッター３５及びレシーバー３６がミリ波レーダとして構成される場合、エミッター３５はミリ波帯の電波を検出電磁波として周辺環境に向かって発し、レシーバー３６は周辺環境において反射された当該電波を受信する。
　環境情報取得部２４は、レシーバー３６が受けた反射検出電磁波又は反射検出音波に基づく周辺環境情報を、環境情報データＤ１１として環境状態認識部２５に送信する。
　環境状態認識部２５は受信データ解析装置３７を具備する。受信データ解析装置３７は、環境情報取得部２４から送られてくるレシーバー３６の検出結果（反射検出電磁波又は反射検出音波）に基づく周辺環境情報を解析することで、「ユーザ１に対する周辺環境の状態」を認識する。そして受信データ解析装置３７は、周辺環境情報を解析結果に基づいて、ユーザ１に注意を促す必要があるか否かを決定する。
　なお、受信データ解析装置３７は、上述の画像解析装置３２（図３参照）の認識対象と同様の対象を認識しうるものであり、画像解析装置３２の基準と同様の基準でユーザ１に注意を促す必要があるか否かを決定しうる。例えば、受信データ解析装置３７は、レシーバー３６の検出結果に基づいてＳＬＡＭ等の技術を使って、自己位置推定及び環境地図作成を行ってもよい。
　受信データ解析装置３７は、ユーザ１に注意を促す必要があるか否かに応じて、通知指示信号Ｄ１２を通知部２６に送信する。通知部２６は、受信データ解析装置３７から送られてくる通知指示信号Ｄ１２に基づいて、ユーザに対する周辺環境の状態に応じた通知をユーザ１に対して行う。
　上述のように本例の環境状態通知装置１０によれば、エミッター３５及びレシーバー３６が取得する周辺環境情報に基づき、周辺環境における注意を要する対象の存在を、ユーザ１に通知することができる。
　図５は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図５に示す例において、環境情報取得部２４は、位置情報取得部４０及び地図情報照合部４１を含む。
　位置情報取得部４０は、ユーザ１の位置情報を取得する。位置情報取得部４０は、例えばＧＮＳＳ（Global Navigation Satellite System：衛星測位システム）４２から、ユーザ１（厳密にはウエアラブルデバイス１１）の位置情報を取得することができる。位置情報取得部４０は、ＧＮＳＳ４２以外の手段によってユーザ１の位置情報を取得してもよく、例えばビーコンを介してユーザ１の位置情報を取得してもよい。
　地図情報照合部４１は、位置情報取得部４０が取得したユーザ１の位置情報と地図情報とに基づいて環境情報データＤ１１を取得する。本例の地図情報照合部４１は、地図情報提供装置４３から地図情報を取得する。
　地図情報提供装置４３は、ウエアラブルデバイス１１の一部として設けられていてもよいし、ウエアラブルデバイス１１とは別体として設けられてもよい。例えば、地図情報照合部４１は、地図情報提供装置４３として働くウエアラブルデバイス１１のメモリ２３（図２参照）から、地図情報を読み出してもよい。或いは、インターネット等のネットワークを介してウエアラブルデバイス１１に接続される地図情報提供装置４３（例えばサーバ）から地図情報照合部４１に地図情報が送られてもよい。
　地図情報照合部４１は、例えば、位置情報取得部４０が取得したユーザ１の位置情報に基づいて定められる限定された範囲の地図情報を、地図情報提供装置４３から取得してもよい。地図情報照合部４１は、そのような限定範囲の地図情報の取得に必要な情報（例えばユーザ１の位置情報）を、地図情報提供装置４３に送ってもよい。地図情報提供装置４３は、地図情報照合部４１から送られてくる情報に基づいて、当該限定範囲の地図情報を地図情報照合部４１に送信してもよい。
　地図情報照合部４１が取得する地図情報は、３次元の高精度地図であってもよく、例えば、ダイナミックマップ、ポイントクラウドマップ或いはベクターマップ等の高精度地図であってもよい。ダイナミックマップは、後述のように、例えば、動的情報、準動的情報、準静的情報、静的情報の４層を含む地図である。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付けた地図である。
　ポイントクラウドマップ及びベクターマップは、サーバ等の外部装置から提供されてもよいし、環境情報取得部２４が取得する環境情報データに基づいてウエアラブルデバイス１１（例えば環境情報取得部２４又は環境状態認識部２５）で作成されてもよい。
　環境情報取得部２４は、このようにして取得される環境情報データＤ１１（例えば地図情報上にユーザ１の位置が反映された情報データ）を環境状態認識部２５に送信する。
　環境状態認識部２５は、環境情報取得部２４から送られてくる環境情報データＤ１１を解析する位置情報解析装置４４を具備する。
　位置情報解析装置４４は、ユーザ１の位置情報と地図情報とに基づく環境情報データＤ１１を解析することで、「ユーザ１に対する周辺環境の状態」を認識する。一例として、注意を要する領域（例えば車道又は車道近傍）にユーザ１が位置するか否かの認識が、ここで言う「ユーザ１に対する周辺環境の状態」の認識に含まれうる。
　そして位置情報解析装置４４は、環境情報データＤ１１の解析結果に基づいて、ユーザ１に注意を促す必要があるか否かを決定する。
　位置情報解析装置４４は、例えばユーザ１が注意を要する領域に位置する場合、ユーザ１に注意を促す必要があると決定してもよい。一方、ユーザ１が注意を要する領域に位置しない場合、位置情報解析装置４４は、ユーザ１に注意を促す必要がないと決定してもよい。
　位置情報解析装置４４は、ユーザ１に注意を促す必要があるか否かに応じて、通知指示信号Ｄ１２を通知部２６に送信する。
　通知部２６は、受信データ解析装置３７から送られてくる通知指示信号Ｄ１２に基づいて、ユーザに対する周辺環境の状態に応じた通知をユーザ１に対して行う。
　上述のように本例の環境状態通知装置１０によれば、ユーザ１の位置情報及び地図情報に基づき、周辺環境における注意を要する対象の存在を、ユーザ１に通知することができる。
　図６は、ウエアラブルデバイス１１の機能構成の他の例を示す図である。
　図６に示すウエアラブルデバイス１１は、上述の取付部２１、制御部２２、メモリ２３、環境情報取得部２４、環境状態認識部２５及び通知部２６に加え、取り付け状態検出部２７を備える。
　取り付け状態検出部２７は、制御部２２の制御下で、ユーザ１に対する環境情報取得部２４の取り付け状態を検出する。すなわち取り付け状態検出部２７は、環境情報取得部２４により取得される環境情報データ及び／又は環境状態認識部２５により認識されるユーザ１に対する周辺環境の状態に基づいて、環境情報取得部２４の取り付け状態を検出することができる。
　環境情報取得部２４により取得される環境情報データが、正常時に想定されるデータ範囲に含まれる場合、取り付け状態検出部２７は、環境情報取得部２４がユーザ１に対して適切に取り付けられていることを検出してもよい。一方、環境情報取得部２４により取得される環境情報データが、正常時に想定されるデータ範囲に含まれない場合、取り付け状態検出部２７は、環境情報取得部２４がユーザ１に対して適切に取り付けられていないことを検出してもよい。
　同様に、環境状態認識部２５により認識されるユーザ１に対する周辺環境の状態が、正常時に想定されるデータ範囲に含まれる場合、取り付け状態検出部２７は、環境情報取得部２４がユーザ１に対して適切に取り付けられていることを検出してもよい。一方、環境状態認識部２５により認識されるユーザ１に対する周辺環境の状態が、正常時に想定されるデータ範囲に含まれない場合、取り付け状態検出部２７は、環境情報取得部２４がユーザ１に対して適切に取り付けられていないことを検出してもよい。
　取り付け状態検出部２７は、更に、環境情報取得部２４により取得される環境情報データ及び／又は環境状態認識部２５により認識されるユーザ１に対する周辺環境の状態に基づいて、取り付け不良のタイプ（種類）を検出してもよい。
　例えば、取り付け状態検出部２７は、環境情報取得部２４の設置箇所の不良を検出してもよい。すなわち、環境情報取得部２４及び環境状態認識部２５から得られるデータが、環境情報取得部２４の設置箇所が環境情報データの取得に不適切であることを示す場合、取り付け状態検出部２７は環境情報取得部２４の設置箇所の不良を検出しうる。
　一例として、環境情報取得部２４及び環境状態認識部２５から得られるデータが、環境情報取得部２４（例えばセンサ）が遮られていて環境情報データの取得に不適切であることを示す場合、環境情報取得部２４の設置箇所の不良が検出されてもよい。
　他の例として、環境情報取得部２４及び環境状態認識部２５から得られるデータが、環境情報取得部２４（例えばセンサ）による検出の方向（向き）が不適切であることを示す場合、環境情報取得部２４の設置箇所の不良が検出されてもよい。例えば、環境情報取得部２４が、本来はユーザ１の前方の周辺環境を検出対象とする場合に、実際にはユーザ１の後方の周辺環境を検出対象としている場合に、環境情報取得部２４の設置箇所の不良が検出されてもよい。
　環境情報取得部２４の検出方向が不適切か否かは、例えば、環境情報取得部２４が取得する環境情報データＤ１１（画像等）から導出されるユーザ１の進行状況を示す情報に基づき、検出されてもよい。
　通知部２６は、取り付け状態検出部２７の検出結果に応じて、ユーザ１に対する通知を行う。
　すなわち、環境情報取得部２４の取り付け状態が不適切であることを取り付け状態検出部２７が検出した場合、通知部２６は、環境情報取得部２４の取り付け状態が不適切であることを示す通知をユーザ１に対して発する。一方、環境情報取得部２４の取り付け状態が適切であることを取り付け状態検出部２７が検出した場合、通知部２６は、環境情報取得部２４の取り付け状態が適切であることを示す通知をユーザ１に対して発してもよいし、通知自体を発しなくてもよい。
　上述のように本例の環境状態通知装置１０によれば、ユーザ１に対する環境情報取得部２４の取り付け状態をユーザ１に通知することができ、ユーザ１に対する環境情報取得部２４の適切な取り付けを促すことができる。
　図７は、ウエアラブルデバイス１１の機能構成の他の例を示す図である。
　図７に示すウエアラブルデバイス１１は、上述の取付部２１、制御部２２、メモリ２３、環境情報取得部２４、環境状態認識部２５、通知部２６及び取り付け状態検出部２７に加え、ユーザ状態情報取得部２８を備える。
　ユーザ状態情報取得部２８は、ユーザ１の状態に関する情報を示すユーザ状態データを取得する。
　ユーザ状態データに含まれる具体的な情報は限定されないが、ユーザ１に対する周辺環境の状態に影響を及ぼしうるユーザ１の状態に関する情報が含まれる。一例として、ユーザ１の移動の速度及び／又は加速度に関する情報が、ユーザ状態データに含まれうる。
　したがってユーザ状態情報取得部２８は、ユーザ１の移動の速度及び加速度のうちの少なくともいずれか一方を検出するセンサを含みうる。ユーザ状態情報取得部２８に含まれるセンサは限定されない。例えば、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を、ユーザ状態情報取得部２８は含みうる。またユーザ状態情報取得部２８は、ユーザ１の移動を示す他の情報を取得する機能構成部（例えば図５に示す位置情報取得部４０及び地図情報照合部４１参照）を含みうる。
　環境状態認識部２５は、環境情報取得部２４により取得される環境情報データ及びユーザ状態情報取得部２８により取得されるユーザ状態データに基づいて、ユーザ１に対する周辺環境の状態を認識する。
　一例として、環境状態認識部２５は、ユーザ状態データに基づいてユーザ１の移動進路を予測し、予測されたユーザ１の移動進路と環境情報データとに基づいて、ユーザ１に対する周辺環境の状態を認識してもよい。例えば、予測されたユーザ１の移動進路が、ユーザ１が注意を要する領域又は対象に接近又は通過するか否かを、環境状態認識部２５は認識することができる。
　このように環境状態認識部２５は、現在のユーザ１の状況がユーザ１の安全性を脅かしうる状況か否かだけではなく、予測される将来のユーザ１の状況がユーザ１の安全性を脅かしうる状況か否かも認識することが可能である。
　通知部２６は、環境状態認識部２５が認識した「ユーザ１に対する周辺環境の状態」に応じて、ユーザ１に対する通知を行う。
　上述のように本例の環境状態通知装置１０によれば、ユーザ状態データに基づき、現在及び／又は将来に関して周辺環境における注意を要する対象の存在を、ユーザ１に通知することができる。
　図８は、環境状態通知方法の一例を示すフローチャートである。
　図８に示す例では、まず、環境情報取得部２４によってユーザ１の周辺環境の情報を示す環境情報データの取得が開始され、またユーザ状態情報取得部２８によってユーザ１の状態を示すユーザ状態データの取得が開始される（図８のＳ１１）。
　そして取り付け状態検出部２７によって、環境情報取得部２４を含むウエアラブルデバイス１１の取り付け状態が検出される（Ｓ１２）。具体的には、取り付け状態検出部２７は、ウエアラブルデバイス１１（特に環境情報取得部２４）の設置位置が適切か否かを判別する（Ｓ１３）。
　環境情報取得部２４を含むウエアラブルデバイス１１の取り付け状態に異常が検出される場合（Ｓ１３のＹ）、環境情報取得部２４を含むウエアラブルデバイス１１の取り付け状態の異常をユーザ１に知らせる警告が、通知部２６から発せられる（Ｓ１４）。
　この際に通知部２６から発せられる警告の具体的な方法は限定されない。例えば、通知部２６は、上述のユーザ１に対する通知と同様に、音、映像及び／又は振動を通じて、ユーザ１に対して警告を発することができる。
　これによりユーザ１は、ウエアラブルデバイス１１（特に環境情報取得部２４）が体や衣服により隠れている不適切な状態、環境情報取得部２４の向きが不適切である状態、或いはウエアラブルデバイス１１の装着位置が不適切である状態等に、気づける。
　環境情報取得部２４を含むウエアラブルデバイス１１の取り付け状態の異常に関する警告が通知部２６から発せられた後、上述のステップＳ１２及びステップＳ１３が繰り返される。
　一方、環境情報取得部２４を含むウエアラブルデバイス１１の取り付け状態に異常が検出されない場合（Ｓ１３のＮ）、環境状態通知装置１０は、次のステップ（すなわちＳ１５）に進む。
　このように、ユーザ１はウエアラブルデバイス１１の正常な取り付けが促され、ウエアラブルデバイス１１がユーザ１に対して適切に取り付けられるまで、環境状態通知装置１０は、次のステップＳ１５には進まない。
　ステップＳ１５では、環境状態認識部２５が、環境情報データ及びユーザ状態データに基づいて、ユーザ１に対する周辺環境の状態を認識する。
　本例では、環境状態認識部２５によって、環境情報データ及びユーザ状態データに基づき、ユーザ１の周辺環境の状態が認識され、またユーザ１の予測進路が推測される。より具体的には、車両等の移動体の移動に関する情報（位置情報を含む）と、周辺環境における注意を要する領域に関する情報とが、環境情報データとして取得される。ただし、他の任意の情報が環境情報データに含まれていてもよい。
　そして環境状態認識部２５によって、ユーザ１の予測進路（例えばユーザ１の予測位置）に移動体が接近するか否かが判定される（Ｓ１６）。
　ユーザ１の予測進路（ユーザ１の予測位置）に移動体が接近すると判定される場合（Ｓ１６のＹ）、通知部２６によって、移動体の接近を警告する通知がユーザ１に対して発せられる（Ｓ１７）。これにより、ユーザ１は、移動体の接近を認識し、必要に応じた行動をとることができる。
　通知部２６からユーザ１に移動体の接近の警告が発せられた後、本例ではユーザ１に対するウエアラブルデバイス１１の取り付け状態の検出及び判定（Ｓ１２及びＳ１３）が再び行われる。なお、通知部２６からユーザ１に移動体の接近の警告が発せられた後、ウエアラブルデバイス１１の取り付け状態の検出及び判定が行われることなく、周辺環境状態の認識及びユーザの予測進路の推測（Ｓ１５）が再び行われてもよい。
　一方、ユーザ１の予測進路（ユーザ１の予測位置）に移動体が接近しないと判定される場合（Ｓ１６のＮ）、ユーザ１が注意を要する領域に接近するか否かが、環境状態認識部２５によって判定される（Ｓ１８）。
　ユーザ１が注意を要する領域に接近すると判定される場合（Ｓ１８のＹ）、通知部２６は、注意を要する領域へのユーザ１の接近を警告する通知を、ユーザ１に対して発する（Ｓ１９）。
　注意を要する領域への接近の警告が通知部２６からユーザ１に発せられた後、本例の環境状態通知装置１０は上述のステップＳ１２に戻る。ただし環境状態通知装置１０は、ステップＳ１２に戻ることなく、ステップＳ１５に戻ってもよい。
　一方、ユーザ１が注意を要する領域に接近しないと判定される場合（Ｓ１８のＮ）、通知部２６からユーザ１に通知は発せられない。
　このように通知部２６は、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態に応じて、ユーザ１に対する通知を行う。
　上述の一連の処理（Ｓ１１～Ｓ１９）は、繰り返し行われてもよい。また上述の一連の処理のうちの一部の処理（例えばＳ１２～Ｓ１９或いはＳ１５～Ｓ１９）が、繰り返し行われてもよい。
　なお、上述のウエアラブルデバイス１１の例に含まれる一部の機能構成部は、ウエアラブルデバイス１１とは別体に設けられてもよい。
　図９は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図９に示す例において、ウエアラブルデバイス１１は、環境状態認識部２５を含まず、通信部２９を含む。
　通信部２９は、外部装置５１の外部通信部５５とデータの通信を行う。外部装置５１は、外部通信部５５の他に、環境状態認識部２５を含む。
　通信部２９と外部通信部５５との間における通信方法は限定されない。また２以上の通信規格に準拠する複数の通信方式が用いられて、通信部２９と外部通信部５５との間で通信が行われてもよい。
　通信部２９は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式を基づいて、外部通信部５５と通信を行いうる。通信部２９が通信を行う外部ネットワークとして、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等が挙げられる。通信部２９が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　通信部２９は、Ｐ２Ｐ（Peer To Peer）技術を用いて、通信部２９（すなわちウエアラブルデバイス１１）の近傍に存在する通信装置と通信を行うことができる。ウエアラブルデバイス１１の近傍に存在する通信装置は、例えば、車両や自転車等の移動体に搭載される通信装置、店舗等において配置が固定されており移動しない通信装置、及び、ＭＴＣ（Machine Type Communication）端末である。
　通信部２９は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信してもよい。
　また、近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）などの比較的近距離での通信を想定した無線通信を介し、通信部２９と外部通信部５５とが直接的に接続されてもよい。
　本例のウエアラブルデバイス１１の他の構成は、上述の図７に示すウエアラブルデバイス１１と同じである。
　本例において、環境情報取得部２４により取得された環境情報データＤ１１及びユーザ状態情報取得部２８により取得されたユーザ状態データＤ１３は、通信部２９及び外部通信部５５を介し、環境状態認識部２５に送られる。
　環境状態認識部２５は、送られてきた環境情報データＤ１１及びユーザ状態データＤ１３に基づいて、ユーザ１に対する周辺環境の状態を認識する。
　そして環境状態認識部２５は、認識したユーザ１に対する周辺環境の状態に応じた通知指示信号Ｄ１２を、外部通信部５５及び通信部２９を介して通知部２６に送る。
　通知部２６は、送られてきた通知指示信号Ｄ１２に応じて、ユーザ１に対する通知を行う。なお通知指示信号Ｄ１２は、外部装置５１から通信部２９を介して直接的に通知部２６に送られてもよいし、ウエアラブルデバイス１１の他の機能構成部（例えば制御部２２）を介して通知部２６に送られてもよい。
　図１０は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図１０に示すウエアラブルデバイス１１の構成は、上述の図７に示すウエアラブルデバイス１１と基本的に同じである。
　ただし本例の通知部２６は、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態に応じて、ユーザ１の周辺環境に存在し且つユーザ１に取り付けられていない外部装置５２（第２外部装置）に対する通知を行う。
　外部装置５２は、典型的には車両などの移動体（搭乗者を含む）であるが、限定されない。
　通知部２６から外部装置５２に対する通知方法は限定されない。通知部２６は、例えば音や光（例えば警告音や警告発光）を発して、外部装置５２に対する通知を行うことができる。
　また通知部２６は、ウエアラブルデバイス１１の通信部（図１０では図示省略）を介し、外部装置５２に通知信号を送ってもよい。外部装置５２が車両等の移動体の場合、通知部２６と外部装置５２との間のネットワークは、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、或いはＬＡＮ（Local Area Network）により構成可能である。また、そのようなネットワークは、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）、或いはディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等のネットワークにより、構成可能である。
　通知部２６から外部装置５２に送られる通知信号は、任意の情報を含みうる。例えば、警告情報、ユーザ１の位置情報、環境情報データ、ユーザ状態データ、及び／又は地図情報が、通知部２６から外部装置５２に送られてもよい。
　本例のウエアラブルデバイス１１（環境状態通知装置１０）によれば、通知部２６がユーザ１及び外部装置５２の両方に対して通知を行うため、ユーザ１の安全性がより一層向上される。
　図１１は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図１１に示すウエアラブルデバイス１１は、外部装置（第３外部装置）５３とデータの通信を行う通信部２９を備える。
　本例のウエアラブルデバイス１１の他の構成は、上述の図７に示すウエアラブルデバイス１１と同じである。
　本例の通信部２９は、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態を示す周辺環境状態データＤ１４を、外部装置５３に送る。これにより外部装置５３は、ユーザ１に対する周辺環境の状態を把握することができる。
　外部装置５３は限定されない。例えば、外部装置５３を、ユーザ１の保護者が保有する携帯端末及び／又は会社（例えば保険会社や警備会社）が保有する端末装置として構成可能である。この場合、ユーザ１に対する周辺環境の状態を保護者や会社に知らせることができ、ユーザ１の安全性がより一層向上される。
　図１２は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図１２に示すウエアラブルデバイス１１の構成は、上述の図１１に示すウエアラブルデバイス１１と基本的に同じである。
　ただし本例の通信部２９は、外部装置（第１外部装置）５４とデータの通信を行い、外部装置５４から送られてくる環境情報データＤ１１及び／又はユーザ状態データＤ１３を受信する。
　例えば、外部装置５４がユーザ１の近くに位置する車両などの移動体の場合、外部装置５４は、当該移動体の属性に関する情報を環境情報データＤ１１として通信部２９に送ってもよい。ここで言う移動体の属性は、例えば、外部装置５４がユーザ１を認識可能な安全支援装置を具備する移動体か否かに関する情報、及び、外部装置５４が提供可能なその他の情報が該当しうる。
　環境状態認識部２５は、環境情報取得部２４によって取得される環境情報データと、通信部２９を介して外部装置５４から送られてくる環境情報データ及び／又はユーザ状態データとに基づいて、ユーザ１に対する周辺環境の状態を認識する。
　このように本例の環境状態通知装置１０によれば、ウエアラブルデバイス１１及び外部装置５４において取得される環境情報データに基づいて、ユーザ１に対する周辺環境の状態が認識されうる。またウエアラブルデバイス１１において取得される環境情報データ及びユーザ状態データと、外部装置５４において取得されるユーザ状態データとに基づいて、ユーザ１に対する周辺環境の状態が認識されうる。そのため、ユーザ１に対する周辺環境の状態をより正確に認識することが可能であり、ユーザ１の安全性がより一層向上される。
　図１３は、環境状態通知装置１０の機能構成の他の例を示す図である。
　図１３には取付部２１、制御部２２及びメモリ２３が図示されていないが、図１３に示すウエアラブルデバイス１１は、取付部２１、制御部２２及びメモリ２３を有する。
　本例のウエアラブルデバイス１１は、外界センサ６１及び内界センサ６３を備える。
　外界センサ６１は、ユーザ１の周辺環境の状態を検出する。したがって外界センサ６１は、例えばカメラ、ＬｉＤＡＲ、ＴｏＦ及び／又はミリ波レーダを含みうる。
　内界センサ６３は、ユーザ１の状態を検出する。したがって内界センサ６３は、例えばＧＮＳＳ及び／又はＩＭＵを含みうる。
　外界センサ６１により検出されるデータは外界情報解析部６２において解析され、ユーザ１の周辺環境の情報が外界情報解析部６２によって取得される。このようにして得られるユーザ１の周辺環境の情報は、外界情報解析部６２から環境状態認識部２５に送られる。
　一方、内界センサ６３により検出されるデータは内界情報解析部６４において解析され、ユーザ１の状態に関する情報が内界情報解析部６４によって取得される。内界情報解析部６４は、例えばＰＤＲ（Pedestrian Dead Reckoning）に基づき、内界センサ６３の検出データからユーザ１の移動方向及び／又は移動距離を算出して、ユーザ１の移動進路に関する情報を得ることができる。このようにして得られるユーザ１の状態に関する情報は、内界情報解析部６４から環境状態認識部２５に送られる。
　通信部２９がウエアラブルデバイス１１の外部の装置から受信する情報は、通信情報解析部６５において解析され、通信解析情報が通信情報解析部６５によって取得される。このようにして得られる通信解析情報は、通信情報解析部６５から環境状態認識部２５に送られる。
　なお、通信部２９が受信した情報が解析不要な情報の場合、通信部２９は、そのような解析不要な情報を、通信情報解析部６５を介して環境状態認識部２５に送信してもよいし、通信情報解析部６５をスキップして環境状態認識部２５に送信してもよい。
　通信部２９と通信を行う外部の装置は限定されない。通信部２９は、例えばサーバ、インフラ設備（例えば基地局やアクセスポイント）、及び／又は移動体（例えば車両の制御装置）とデータを通信しうる。また通信部２９が受信する情報は限定されず、通信部２９は、例えば地図情報、インフラ情報及び車両情報などを受信しうる。
　通信情報解析部６５は、外界情報解析部６２及び内界情報解析部６４とデータの送受信を行ってもよい。
　例えば通信情報解析部６５は、通信部２９を介して受信した地図情報を内界情報解析部６４に送信してもよい。内界情報解析部６４は、例えば通信情報解析部６５から受信した地図情報に基づくマップマッチング技術を使って、ユーザ１の状態に関する情報を取得してもよい。或いは、内界情報解析部６４から通信情報解析部６５にユーザ１の状態に関する状態が送られ、通信情報解析部６５が、マップマッチング技術を使ってユーザ１の状態に関する情報を取得してもよい。このようにして得られる高精度なユーザ１の状態に関する情報は、環境状態認識部２５に送られる。
　本例の環境状態認識部２５は、ユーザ１の周辺環境のダイナミックマップをダイナミックマップ提供部６６から取得する。
　ダイナミックマップ提供部６６は、ウエアラブルデバイス１１の外部に設けられ、例えばサーバによって構成可能である。
　ダイナミックマップは、高精度３次元地理空間情報（基盤的地図情報）及び付加的地図情報を含むデータベース的マップであり、ローカルダイナミックマップと称されることもある。ダイナミックマップは、典型的には、情報の更新頻度に応じた複数のレイヤーを含む。例えば、静的情報データ層（Permanent static data）、準静的情報データ層（Transient static data）、準動的情報データ層（Transient dynamic data）、及び動的情報データ層（Highly dynamic data）が、ダイナミックマップに含まれる。
　環境状態認識部２５は、上述のようにして得られる環境情報データ、ユーザ状態データ及びダイナミックマップに基づいて、ユーザ１に対する周辺環境の状態を認識する。
　そして通知部２６は、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態に応じて、ユーザ１に対する通知を行う。
　なお、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態に関する情報は、通信部２９を介して外部装置に送られてもよい。
［通知部の通知内容の例］
　上述のように、通知部２６は、環境状態認識部２５が認識したユーザ１に対する周辺環境の状態に応じた通知を行うが、その通知内容は限定されない。
　典型的には、通知部２６は、周辺環境の状態をユーザ１に通知しうる。
　例えば、車両や自転車などの移動体がユーザ１に接近していることを、通知部２６はユーザ１に通知することができる。また、注意を要する挙動を示す移動体がユーザ１の近くに存在する場合、通知部２６は、そのような挙動不審な移動体の存在をユーザ１に通知することができる。また、ユーザ１の近くに位置する車両の属性を、通知部２６はユーザ１に通知することができる。
　例えば、ユーザ１の近くにいる車両が、センサや通信を介して当該車両の側にいる歩行者を認識できる車両である場合、通知部２６はユーザ１に対する通知を行わなくてもよい。一方、ユーザ１の近くにいる車両が、センサや通信を介して当該車両の側にいる歩行者を認識できない車両（例えばＶ２Ｘ通信装置を搭載しない車両）である場合、通知部２６は、当該車両を、注意を要する車両としてユーザ１に通知することができる。
　また、注意を要する挙動を示す人物がユーザ１の近くに存在する場合、通知部２６は、そのような挙動不審な人物の存在をユーザ１に通知することができる。なお本ケースでは、上述の図１１に示すように、外部装置５３にも、挙動不審な人物の存在を示す情報（すなわち周辺環境状態データＤ１４）が送信されることが有効である。
　他の典型例として、通知部２６は、ユーザ１の行動に関連する「ユーザ１に対する周辺環境の状態」をユーザ１に通知しうる。
　例えば、注意を要する領域にユーザ１が接近又は進入していることを、通知部２６はユーザ１に通知することができる。
　そのような注意を要する領域は、例えばユーザ１にとって本来的に危険な領域（例えば車道など）だけではなく、ユーザ１にとって潜在的に危険な領域も含まれうる。例えば、車両ドライバーの死角を生みやすい電柱や高い壁（塀）がユーザ１の近くに存在する領域が、ユーザ１にとって潜在的に危険な領域に該当しうる。
　注意を要する領域にユーザ１が接近又は進入しているか否かは、環境情報取得部２４のセンサの検出結果に基づいて環境状態認識部２５が判定することが可能である。また、注意を要する領域にユーザ１が接近又は進入しているか否かは、環境情報取得部２４が取得する地図情報及びユーザ１の位置情報に基づいて環境状態認識部２５が判定することが可能である。
　また、ユーザ１が交通ルールに違反していることを、通知部２６はユーザ１に通知することができる。ユーザ１が交通ルールに違反しているか否かは、環境情報取得部２４のセンサの検出結果から判定することが可能である。
　例えば環境情報取得部２４のイメージセンサによって信号を撮影し、環境状態認識部２５が撮影画像を解析して信号の状態を把握することで、ユーザ１が交通ルールに違反しているか否かを判定することが可能である。また環境情報取得部２４のセンサの検出結果に基づいて、ユーザ１が位置する場所が車道か否かを環境状態認識部２５が判別することで、ユーザ１が交通ルールに違反しているか否かを判定することが可能である。また環境情報取得部２４が取得する地図情報及びユーザ１の位置情報に基づいて、ユーザ１が位置する場所が車道か否かを環境状態認識部２５が判別することで、ユーザ１が交通ルールに違反しているか否かを判定することが可能である。
　また、ユーザ１が道路横断時に一時停止しないケースなど、ユーザ１が十分な安全確認行動を行っていないことを、通知部２６はユーザ１に通知することができる。
　また、ユーザ１が、例えば車両ドライバーにとって予測しづらい行動（例えば急加速、急減速、或いは蛇行など）をとっていることを、通知部２６はユーザ１に通知することができる。
　ユーザ１が十分な安全確認行動を行っているか否かやユーザ１が予測しづらい行動をとっているか否かは、環境情報取得部２４のセンサの検出結果及び／又はユーザ状態情報取得部２８のセンサの検出結果に基づいて、判定することが可能である。
　例えば、ユーザ１の速度及び／又は加速度を検出するセンサの検出結果に基づいて、ユーザ１が十分な安全確認行動を行っているか否かやユーザ１が予測しづらい行動をとっているか否かを判定することが可能である。また環境情報取得部２４が取得する地図情報及びユーザ１の位置情報に基づいて、ユーザ１が十分な安全確認行動を行っているか否かやユーザ１が予測しづらい行動をとっているか否かを判定することが可能である。
　また通知部２６は、ユーザ１に対するウエアラブルデバイス１１（特に環境情報取得部２４及び／又はユーザ状態情報取得部２８）の取り付け状態異常を、ユーザ１に通知しうる。
　例えば、環境情報取得部２４及び／又はユーザ状態情報取得部２８によって適切な情報の取得を行うことができない場合、通知部２６は、ウエアラブルデバイス１１の取り付け状態異常を通知することができる。また環境情報取得部２４及び／又はユーザ状態情報取得部２８によって取得される情報から、当該環境情報取得部２４による検出の向きが不適切であると判定される場合、通知部２６は、ウエアラブルデバイス１１の取り付け状態異常を通知することができる。
［立体音響機能］
　ユーザ１に対する周辺環境の状態が、ユーザ１が周辺環境の状態を迅速に把握することや、ユーザ１が迅速な回避行動をとることを必要とする場合、通知部２６は、ユーザ１に対して迅速且つ直感的な通知を行うことが望ましい。
　そのような迅速且つ直感的な通知を実現するため、通知部２６は、例えば立体音響技術に基づく通知を行うことができる。
　立体音響技術は、３次元的な音響効果をユーザ１に提供する技術であり、例えば擬似的に立体的な音源を再現する技術である。立体音響技術を実現するための具体的な方法や装置構成は限定されず、例えば「３６０ ＲＥＡＬＩＴＹ ＡＵＤＩＯ」（登録商標）と称される技術及び装置も立体音響技術に基づく。
　例えば、ユーザ１が安全ではない状況に置かれようとしているケースにおいて、通知部２６が単なる警報によってユーザ１に対する通知を行う場合、ユーザ１は、瞬時に状況を認識して適切な行動をとることができない場合がある。
　一方、通知部２６が立体音響によってユーザ１に対する通知を行うことで、ユーザ１の瞬時の状況認識を促したり、ユーザ１の反射的行動を誘発したりすることができ、ユーザの安全性の向上に有利である。
　以下に、立体音響機能の具体例について説明する。
［立体音響機能の第１の例（強調現実感）］
　通知部２６は、ユーザ１に対する周辺環境の状態に応じて、通知の音（警報音等）の強調の程度に指向性を持たせてもよい。
　一例として、注意を要する対象（例えば車両などの移動体や電柱などの障害物）からユーザ１に向かう方向に関して強調された音を使って、通知部２６はユーザ１に対する通知を行うことができる。
　通知部２６は、注意を要する対象とユーザ１との間の位置関係を取得し、当該位置関係に対応する立体音響を作り出すことで、ユーザ１に対する通知を行うことが可能である。また通知部２６は、注意を要する対象とユーザ１との間の距離に応じて、ユーザ１に提供される強調音の大きさ、テンポ及び／又はその他の特性を変えてもよい。
　通知部２６は、注意を要する対象とユーザ１との間の位置関係に関する情報を、制御部２２又は外部装置から取得してもよいし、環境情報データ及び／又はユーザ状態データに基づいて導き出してもよい。
　なお、通知部２６からユーザ１に提供される通知音（強調音を含む）が通知部２６ではない他の機能構成部（例えば制御部２２）によって決定される場合、注意を要する対象とユーザ１との間の位置関係に関する情報は、当該他の機能構成部に送られる。この場合、注意を要する対象とユーザ１との間の位置関係に関する情報は、通知部２６に送られなくてもよい。
　本例においてユーザ１は、通知部２６から発せられる音（特に強調された音）を聞くことで、迅速且つ直感的に、注意を要する対象とユーザ１との間の位置関係を把握することできる。
［立体音響機能の第２の例（ユーザの行動制御）］
　通知部２６は、ユーザ１に対する周辺環境の状態に応じて、ユーザ１の反射的行動を誘発する音を、立体音響技術に基づいてユーザ１に提供してもよい。
　一例として、注意を要する領域（車道、建物、或いは他の障害物等）にユーザ１が近づく場合、通知部２６は、注意を要する領域からユーザ１に向かう方向に強調された音（例えば危険を想起させる音）を使って、ユーザ１に対する通知を行うことができる。
　これにより、注意を要する領域から離れる方向へのユーザ１の反射的行動を誘発し、ユーザ１の安全性をより一層向上させることができる。
　例えば、ユーザ１がバットのスイング音を頭上から突然聞こえるような通知を通知部２６が行うことで、ユーザ１のしゃがむ行動を誘発することができる。
　本例においても、通知部２６は、注意を要する対象とユーザ１との間の位置関係を取得し、当該位置関係に対応する立体音響を作り出すことで、ユーザ１に対する通知を行うことが可能である。或いは、通知部２６以外の他の機能構成部が、注意を要する対象とユーザ１との間の位置関係を取得し、当該位置関係に対応する立体音響データを作り出して、当該立体音響データを通知部２６に送ることで、ユーザ１に対する通知を行うことが可能である。
［立体音響機能の第３の例（音楽融合体験）］
　通知部２６は、ユーザ１に対する周辺環境の状態に応じて、ユーザ１に対する通知音を、音楽に融合してユーザ１に提供してもよい。
　例えば、注意を要する対象及び領域に対するユーザ１の距離や相対的な接近速度に応じて、通知部２６からユーザ１に提供される音楽が変えられてもよい。
　一例として、通知部２６は、通知部２６からユーザ１に提供される音楽のメロディ、楽器音、テンポ及び／又は音量（例えば特定の楽器音の音量）を、注意を要する対象及び領域とユーザ１との間の関係に応じて変えてもよい。また通知部２６は、ユーザ１に対する周辺環境の状態に応じて、音楽の強調の程度に指向性を持たせてもよい。
　これによりユーザ１は、ユーザ１に対する周辺環境の状態を迅速且つ直感的に把握しつつ、実際に歩く場所、時間、及び周囲の状況に応じて変化する音楽を体験することができる。
［変形例］
　本明細書で開示されている実施形態及び変形例はすべての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
　上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる１又は複数の手順（ステップ）をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的（non-transitory）な記録媒体によって、上述の技術的思想が具現化されてもよい。
　本開示は以下の構成をとることもできる。
［項目１］
　ユーザに取り付けられ、前記ユーザの周辺環境の情報を示す環境情報データを取得する環境情報取得部と、
　前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識する環境状態認識部と、
　前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行う通知部と、
を備える環境状態通知装置。
［項目２］
　前記環境情報取得部は、前記ユーザの周辺の環境からの電磁波及び音波のうちの少なくともいずれか一方を受けて前記環境情報データを取得する波動センサを含む、項目１に記載の環境状態通知装置。
［項目３］
　前記波動センサは、前記ユーザの周辺の環境の画像を取得する、項目２に記載の環境状態通知装置。
［項目４］
　前記環境情報取得部は、検出電磁波又は検出音波を出射する出射部を含み、
　前記波動センサは、反射された前記検出電磁波又は前記検出音波を受ける、項目２又は３に記載の環境状態通知装置。
［項目５］
　前記環境情報取得部は、
　前記ユーザの位置情報を取得する位置情報取得部と、
　前記位置情報と地図情報とに基づいて前記環境情報データを取得する地図情報照合部と、
を含む、項目１～４のいずれに記載の環境状態通知装置。
［項目６］
　前記位置情報取得部は、衛星測位システムから前記ユーザの前記位置情報を取得する、項目５に記載の環境状態通知装置。
［項目７］
　データの通信を行う通信部を備え、
　前記環境状態認識部は、前記環境情報取得部によって取得される前記環境情報データと、前記通信部を介して第１外部装置から送られてくる前記環境情報データとに基づいて、前記ユーザに対する周辺環境の状態を認識する、項目１～６のいずれかに記載の環境状態通知装置。
［項目８］
　前記ユーザの状態を示すユーザ状態データを取得するユーザ状態情報取得部を備え、
　前記環境状態認識部は、前記環境情報データ及び前記ユーザ状態データに基づいて、前記ユーザに対する周辺環境の状態を認識する、項目１～７のいずれかに記載の環境状態通知装置。
［項目９］
　前記ユーザ状態情報取得部は、前記ユーザの移動の速度及び加速度のうちの少なくともいずれか一方を検出するセンサを含む、項目８に記載の環境状態通知装置。
［項目１０］
　前記環境状態認識部は、前記ユーザ状態データに基づいて前記ユーザの移動進路を予測し、予測された前記ユーザの前記移動進路に基づいて、前記ユーザに対する周辺環境の状態を認識する項目８又は９に記載の環境状態通知装置。
［項目１１］
　前記環境状態認識部は、前記ユーザの周辺環境のダイナミックマップを取得し、前記環境情報データ及び前記ダイナミックマップに基づいて、前記ユーザに対する周辺環境の状態を認識する、項目１～１０のいずれかに記載の環境状態通知装置。
［項目１２］
　前記通知部は前記ユーザに取り付けられる、項目１～１１のいずれかに記載の環境状態通知装置。
［項目１３］
　前記通知部は、聴覚、視覚及び触覚のうちの少なくともいずれかを通じて、前記ユーザに対する通知を行う、項目１２に記載の環境状態通知装置。
［項目１４］
　前記通知部は、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザの周辺環境に存在し且つ前記ユーザに取り付けられていない第２外部装置に対する通知を行う、項目１～１３のいずれかに記載の環境状態通知装置。
［項目１５］
　前記第２外部装置は車両である、項目１４に記載の環境状態通知装置。
［項目１６］
　データの通信を行う通信部を備え、
　前記通信部は、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態を示すデータを、第３外部装置に送る、項目１～１５のいずれかに記載の環境状態通知装置。
［項目１７］
　前記ユーザに対する前記環境情報取得部の取り付け状態を検出する取り付け状態検出部を備え、
　前記通知部は、前記取り付け状態検出部の検出結果に応じて、前記ユーザに対する通知を行う、項目１～１６のいずれかに記載の環境状態通知装置。
［項目１８］
　ユーザに取り付けられる環境情報取得部によって、前記ユーザの周辺環境の情報を示す環境情報データを取得するステップと、
　環境状態認識部が、前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識するステップと、
　通知部が、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行うステップと、
を含む環境状態通知方法。
［項目１９］
　コンピュータに、
　ユーザに取り付けられる環境情報取得部によって、前記ユーザの周辺環境の情報を示す環境情報データを取得する手順と、
　環境状態認識部が、前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識する手順と、
　通知部が、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行う手順と、
を実行させるためのプログラム。
１　ユーザ
１０　環境状態通知装置
１１　ウエアラブルデバイス
２１　取付部
２２　制御部
２３　メモリ
２４　環境情報取得部
２５　環境状態認識部
２６　通知部
２７　取り付け状態検出部
２８　ユーザ状態情報取得部
２９　通信部
３１　撮像装置
３２　画像解析装置
３５　エミッター
３６　レシーバー
３７　受信データ解析装置
４０　位置情報取得部
４１　地図情報照合部
４３　地図情報提供装置
４４　位置情報解析装置
５１～５４　外部装置
５５　外部通信部
６１　外界センサ
６２　外界情報解析部
６３　内界センサ
６４　内界情報解析部
６５　通信情報解析部
６６　ダイナミックマップ提供部
Ｄ１１　環境情報データ
Ｄ１２　通知指示信号
Ｄ１３　ユーザ状態データ
Ｄ１４　周辺環境状態データ

Claims (19)

  1. 　ユーザに取り付けられ、前記ユーザの周辺環境の情報を示す環境情報データを取得する環境情報取得部と、
    　前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識する環境状態認識部と、
    　前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行う通知部と、
    を備える環境状態通知装置。
  2. 　前記環境情報取得部は、前記ユーザの周辺の環境からの電磁波及び音波のうちの少なくともいずれか一方を受けて前記環境情報データを取得する波動センサを含む、請求項１に記載の環境状態通知装置。
  3. 　前記波動センサは、前記ユーザの周辺の環境の画像を取得する、請求項２に記載の環境状態通知装置。
  4. 　前記環境情報取得部は、検出電磁波又は検出音波を出射する出射部を含み、
    　前記波動センサは、反射された前記検出電磁波又は前記検出音波を受ける、請求項２に記載の環境状態通知装置。
  5. 　前記環境情報取得部は、
    　前記ユーザの位置情報を取得する位置情報取得部と、
    　前記位置情報と地図情報とに基づいて前記環境情報データを取得する地図情報照合部と、
    を含む、請求項１に記載の環境状態通知装置。
  6. 　前記位置情報取得部は、衛星測位システムから前記ユーザの前記位置情報を取得する、請求項５に記載の環境状態通知装置。
  7. 　データの通信を行う通信部を備え、
    　前記環境状態認識部は、前記環境情報取得部によって取得される前記環境情報データと、前記通信部を介して第１外部装置から送られてくる前記環境情報データとに基づいて、前記ユーザに対する周辺環境の状態を認識する、請求項１に記載の環境状態通知装置。
  8. 　前記ユーザの状態を示すユーザ状態データを取得するユーザ状態情報取得部を備え、
    　前記環境状態認識部は、前記環境情報データ及び前記ユーザ状態データに基づいて、前記ユーザに対する周辺環境の状態を認識する、請求項１に記載の環境状態通知装置。
  9. 　前記ユーザ状態情報取得部は、前記ユーザの移動の速度及び加速度のうちの少なくともいずれか一方を検出するセンサを含む、請求項８に記載の環境状態通知装置。
  10. 　前記環境状態認識部は、前記ユーザ状態データに基づいて前記ユーザの移動進路を予測し、予測された前記ユーザの前記移動進路に基づいて、前記ユーザに対する周辺環境の状態を認識する請求項８に記載の環境状態通知装置。
  11. 　前記環境状態認識部は、前記ユーザの周辺環境のダイナミックマップを取得し、前記環境情報データ及び前記ダイナミックマップに基づいて、前記ユーザに対する周辺環境の状態を認識する、請求項１に記載の環境状態通知装置。
  12. 　前記通知部は前記ユーザに取り付けられる、請求項１に記載の環境状態通知装置。
  13. 　前記通知部は、聴覚、視覚及び触覚のうちの少なくともいずれかを通じて、前記ユーザに対する通知を行う、請求項１２に記載の環境状態通知装置。
  14. 　前記通知部は、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザの周辺環境に存在し且つ前記ユーザに取り付けられていない第２外部装置に対する通知を行う、請求項１に記載の環境状態通知装置。
  15. 　前記第２外部装置は車両である、請求項１４に記載の環境状態通知装置。
  16. 　データの通信を行う通信部を備え、
    　前記通信部は、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態を示すデータを、第３外部装置に送る、請求項１に記載の環境状態通知装置。
  17. 　前記ユーザに対する前記環境情報取得部の取り付け状態を検出する取り付け状態検出部を備え、
    　前記通知部は、前記取り付け状態検出部の検出結果に応じて、前記ユーザに対する通知を行う、請求項１に記載の環境状態通知装置。
  18. 　ユーザに取り付けられる環境情報取得部によって、前記ユーザの周辺環境の情報を示す環境情報データを取得するステップと、
    　環境状態認識部が、前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識するステップと、
    　通知部が、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行うステップと、
    を含む環境状態通知方法。
  19. 　コンピュータに、
    　ユーザに取り付けられる環境情報取得部によって、前記ユーザの周辺環境の情報を示す環境情報データを取得する手順と、
    　環境状態認識部が、前記環境情報データに基づいて、前記ユーザに対する周辺環境の状態を認識する手順と、
    　通知部が、前記環境状態認識部が認識した前記ユーザに対する周辺環境の状態に応じて、前記ユーザに対する通知を行う手順と、
    を実行させるためのプログラム。
PCT/JP2022/008481 2021-05-21 2022-03-01 環境状態通知装置、環境状態通知方法及びプログラム WO2022244372A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/557,829 US20240220001A1 (en) 2021-05-21 2022-03-01 Environmental state notification device, environmental state notification method, and program
JP2023522245A JPWO2022244372A1 (ja) 2021-05-21 2022-03-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021086237 2021-05-21
JP2021-086237 2021-05-21

Publications (1)

Publication Number Publication Date
WO2022244372A1 true WO2022244372A1 (ja) 2022-11-24

Family

ID=84140892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008481 WO2022244372A1 (ja) 2021-05-21 2022-03-01 環境状態通知装置、環境状態通知方法及びプログラム

Country Status (3)

Country Link
US (1) US20240220001A1 (ja)
JP (1) JPWO2022244372A1 (ja)
WO (1) WO2022244372A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170854A1 (ja) * 2015-04-22 2016-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017536595A (ja) * 2014-09-26 2017-12-07 ハーマン インターナショナル インダストリーズ インコーポレイテッド 歩行者情報システム
WO2016170854A1 (ja) * 2015-04-22 2016-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20240220001A1 (en) 2024-07-04
JPWO2022244372A1 (ja) 2022-11-24

Similar Documents

Publication Publication Date Title
US9947215B2 (en) Pedestrian information system
US20200241552A1 (en) Using classified sounds and localized sound sources to operate an autonomous vehicle
EP2700032B1 (en) A comprehensive and intelligent system for managing traffic and emergency services
US20180090009A1 (en) Dynamic traffic guide based on v2v sensor sharing method
US10909759B2 (en) Information processing to notify potential source of interest to user
CN111724616B (zh) 基于人工智能的数据获取及共享的方法与装置
WO2015184578A1 (en) Adaptive warning management for advanced driver assistance system (adas)
KR20190011582A (ko) 외부 이동 수단의 움직임과 관련된 데이터에 기반하여, 식별 정보가 변경된 외부 이동 수단을 확인하는 전자 장치 및 그 동작 방법
US20180290590A1 (en) Systems for outputting an alert from a vehicle to warn nearby entities
JP2017535008A (ja) 道路交通利用者の移動モデルを形成するための方法及び装置
JP2017527939A (ja) 交通区域を監視する方法及び装置
CN112363507A (zh) 意图识别
WO2018198926A1 (ja) 電子機器、路側機、電子機器の動作方法および交通システム
JPWO2017163514A1 (ja) 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
US20220343757A1 (en) Information processing apparatus, information processing system, and information processing method
CN113841100A (zh) 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法
US11904893B2 (en) Operating a vehicle
US11772640B2 (en) Systems and methods for vehicular collision detection based on multi-dimensional collision models
JPWO2020039798A1 (ja) 情報提供装置、情報提供方法、情報提供システム、コンピュータプログラム、及びデータ構造
WO2022244372A1 (ja) 環境状態通知装置、環境状態通知方法及びプログラム
WO2019117104A1 (ja) 情報処理装置および情報処理方法
CN114586081A (zh) 信息处理设备、信息处理系统和信息处理方法
Gupta et al. Collision detection system for vehicles in hilly and dense fog affected area to generate collision alerts
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
US20240122780A1 (en) Autonomous vehicle with audio user guidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804293

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522245

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18557829

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22804293

Country of ref document: EP

Kind code of ref document: A1