WO2022239327A1 - 情報処理装置および情報処理方法、並びに情報処理システム - Google Patents

情報処理装置および情報処理方法、並びに情報処理システム Download PDF

Info

Publication number
WO2022239327A1
WO2022239327A1 PCT/JP2022/003952 JP2022003952W WO2022239327A1 WO 2022239327 A1 WO2022239327 A1 WO 2022239327A1 JP 2022003952 W JP2022003952 W JP 2022003952W WO 2022239327 A1 WO2022239327 A1 WO 2022239327A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
information processing
terminal
warning
Prior art date
Application number
PCT/JP2022/003952
Other languages
English (en)
French (fr)
Inventor
荘太 松澤
綾花 西
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022239327A1 publication Critical patent/WO2022239327A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing system, and more particularly to an information processing device, an information processing method, and an information processing system capable of achieving more accurate crisis avoidance.
  • ADAS Advanced Driver-Assistance Systems
  • ADAS Advanced Driver-Assistance Systems
  • an advanced driver assistance system based on an in-vehicle camera or an in-vehicle sensor alone cannot avoid, for example, running out of a park where there are blind spots due to trees on the side of the road, or running out of a corner at a crossroads.
  • Patent Literature 1 discloses that an electronic device carried by a user, such as headphones or a game machine, is estimated to have a relative position to an object (for example, a car, a wall, etc.) when it is estimated that the user's attention is insufficient.
  • An electronic device is disclosed that performs collision prediction based on relationships and avoids danger by warning a user.
  • Patent Document 1 does not assume the use of risk estimation results based on inertial sensors and map information, so it was difficult to avoid crises with high accuracy.
  • the information processing device of the first aspect of the present disclosure uses at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity.
  • a monitoring priority determining unit that determines a monitoring priority level; and a collision prediction process that predicts the possibility of the user colliding with the vehicle based on the monitoring priority level.
  • a warning notifying unit that notifies a user of a warning when the warning is issued.
  • the information processing method of the first aspect of the present disclosure uses at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity. , determining a monitoring priority level; and based on the monitoring priority level, when it is predicted that there is a possibility of collision as a processing result of collision prediction processing for predicting the possibility of the user colliding with the automobile, and notifying a user of a warning.
  • monitoring priority using at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity, monitoring priority
  • a collision prediction process that predicts the possibility of the user colliding with a car based on the monitoring priority level determines the possibility of a collision, and notifies the user of a warning. be done.
  • the information processing system of the second aspect of the present disclosure uses at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity a monitoring priority determining unit that determines a monitoring priority level; and a collision prediction process that predicts the possibility of the user colliding with the vehicle based on the monitoring priority level.
  • an information processing terminal having a first warning notifying unit that notifies a user of a warning when a warning is issued; Among them, a collision prediction unit that performs the collision prediction processing for the information processing terminal that is a warning target; a second warning notifying unit for notifying a hand warning; and a communication unit for transmitting a warning request to the information processing terminal when it is predicted that there is a possibility of collision as a result of the collision prediction process.
  • an in-vehicle system comprising:
  • any of the position risk level based on the current position, the state risk level estimated from the state of the user, and the sudden behavior risk level based on the acceleration or angular velocity Determining a monitoring priority level by using at least or; and based on the monitoring priority level, predicting the possibility of collision as a processing result of collision prediction processing for predicting the possibility of the user colliding with the automobile.
  • a user is notified of a warning, and an in-vehicle system installed in the vehicle detects that among the information processing terminals existing within a predetermined area including the current position of the vehicle, the information processing terminal becomes a warning target.
  • monitoring priority using at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity, monitoring priority
  • a collision prediction process for predicting the possibility of the user colliding with a car based on the monitoring priority level determines the possibility of a collision, and notifies the user of a warning. be done.
  • the collision prediction processing is performed on the information processing terminals that are subject to warning, and the processing result of the collision prediction processing is the collision.
  • a warning is sent to the driver of the car and a warning request is sent to the information processing terminal.
  • FIG. 10 is a diagram illustrating determination of a terminal to be alerted;
  • FIG. 10 is a diagram illustrating determination of a terminal to be alerted;
  • FIG. 10 is a diagram illustrating determination of a terminal to be alerted;
  • FIG. 10 is a diagram illustrating determination of a terminal to be alerted;
  • FIG. 10 is a diagram illustrating determination of a terminal to be alerted;
  • FIG. 10 is a diagram illustrating an information communication terminal that is not subject to caution;
  • FIG. 4 is a diagram showing an example of a risk data set and location risk levels; It is a figure which shows an example of the action recognized by state recognition processing. It is a figure which shows an example of the state risk level calculated
  • FIG. 10 is a diagram showing an example of obtaining the coordinates of the information communication terminal after t seconds; It is a figure which shows an example of the condition table of Formula (10).
  • FIG. 10 is a flow chart for explaining alert target terminal search processing, session establishment processing, and session release processing;
  • FIG. 9 is a flowchart for explaining monitoring priority level determination processing;
  • 4 is a flowchart for explaining collision prediction processing and brake control processing; It is a flow chart explaining sudden behavior detection processing using acceleration. 4 is a flowchart for explaining sudden behavior detection processing using angular velocity; It is a figure which shows the structural example of 2nd Embodiment of the danger avoidance system to which this technique is applied.
  • FIG. 1 is a block diagram showing a configuration example of an information communication terminal; FIG. It is a figure showing an example of composition of a 3rd embodiment of a danger avoidance system to which this art is applied.
  • 1 is a block diagram showing a configuration example of an information communication terminal and an in-vehicle system; FIG. It is a figure explaining the alerting by a head-up display.
  • FIG. 10 is a diagram explaining an application example using a smartwatch and a hearable device;
  • 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied; FIG.
  • FIG. 1 is a diagram showing a configuration example of a first embodiment of a danger avoidance system to which the present technology is applied.
  • the danger avoidance system 11 is configured by connecting an information communication terminal 13 , an in-vehicle system 14 and a server 15 via a network 12 .
  • the information communication terminal 13 carried by the user and the in-vehicle system 14 incorporated in the automobile 16 use UWB (Ultra Wide Band), which is a technology for wireless communication in an ultra-wideband, to measure the distance between each other. and relative angles can be measured.
  • UWB Ultra Wide Band
  • the network 12 is, for example, a communication line such as the Internet including a mobile phone communication network.
  • the information communication terminal 13 is an information processing device having a communication function such as a so-called smart phone, and notifies the user of a warning for avoiding danger based on the danger avoidance processing in the danger avoidance system 11. can be done.
  • the in-vehicle system 14 can be incorporated as a part of the advanced driving support system provided in the automobile 16, and based on the danger avoidance processing in the danger avoidance system 11, performs brake control to avoid danger and warns the driver. can be notified to
  • the server 15 is built on a so-called cloud, and provides the information communication terminal 13 and the in-vehicle system 14 with various types of information necessary for performing danger avoidance processing in the danger avoidance system 11 .
  • FIG. 2 is a block diagram showing a configuration example of the information communication terminal 13. As shown in FIG.
  • the information communication terminal 13 includes an inertial sensor unit 21, a voice acquisition unit 22, an application information acquisition unit 23, a positioning unit 24, a warning notification unit 25, a sudden behavior detection unit 26, a state recognition unit 27, a position It comprises a risk determination unit 28 , a map information acquisition unit 29 , a UWB measurement unit 30 , a monitoring priority determination unit 31 and a communication unit 32 .
  • the inertial sensor unit 21 is composed of, for example, an acceleration sensor and a gyro sensor, acquires inertial data associated with the movement of the information communication terminal 13, and supplies it to the sudden behavior detection unit 26 and the state recognition unit 27.
  • the voice acquisition unit 22 is composed of, for example, a microphone, acquires voice data uttered by the user of the information communication terminal 13, and supplies it to the state recognition unit 27.
  • the application information acquisition unit 23 acquires application information indicating the usage status of applications installed in the information communication terminal 13 and supplies it to the state recognition unit 27 .
  • Positioning unit 24 for example, using a satellite positioning system (GNSS: Global Navigation Satellite System), acquires positioning data for grasping the current position of information communication terminal 13, position risk determination unit 28 and map information It is supplied to the acquisition unit 29 .
  • GNSS Global Navigation Satellite System
  • the warning notification unit 25 is configured by devices such as a display, a speaker, and a vibrator, for example, and notifies the user of a warning for avoiding danger based on the processing result of the danger avoidance processing in the danger avoidance system 11. do.
  • the sudden behavior detection unit 26 performs sudden behavior detection processing for detecting a sudden change in behavior of the user of the information communication terminal 13 based on the inertia data supplied from the inertia sensor unit 21 .
  • the sudden behavior detection unit 26 then supplies the monitoring priority determination unit 31 with the sudden behavior risk level obtained as the processing result of the sudden behavior detection process.
  • the state recognition unit 27 recognizes the state of the information communication terminal 13 based on the inertia data supplied from the inertial sensor unit 21, the voice data supplied from the voice acquisition unit 22, and the application information supplied from the application information acquisition unit 23. State recognition processing for recognizing the state of the user is performed. Then, the state recognition unit 27 supplies the state risk level obtained as the processing result of the state recognition process to the monitoring priority determination unit 31 .
  • the position risk determination unit 28 determines the position of the user from the map information with risk information acquired by the map information acquisition unit 29. Position risk determination processing is performed to determine the position risk at the position of . The position risk determination unit 28 then supplies the monitoring priority determination unit 31 with the position risk level obtained as the processing result of the position risk determination process.
  • the map information acquiring unit 29 Based on the position of the user of the information communication terminal 13 according to the positioning data supplied from the positioning unit 24, the map information acquiring unit 29 acquires map information with risk information in the vicinity of that position via the communication unit 32. request to the server 15. Then, the map information acquisition unit 29 acquires the map information with risk information transmitted from the server 15 and supplies the map information to the position risk determination unit 28 .
  • the UWB measurement unit 30 uses UWB communication to measure the distance and relative angle to the automobile 16.
  • the monitoring priority determination unit 31 determines the sudden behavior risk level supplied from the sudden behavior detection unit 26, the state risk level supplied from the state recognition unit 27, and the position risk level supplied from the position risk determination unit 28. At least one of them is used to perform monitoring priority determination processing for determining a monitoring priority level indicating the priority of monitoring the information communication terminal 13 .
  • the communication unit 32 communicates with the in-vehicle system 14 and the server 15 via the network 12 .
  • FIG. 3 is a block diagram showing a configuration example of the in-vehicle system 14. As shown in FIG.
  • the in-vehicle system 14 includes a vehicle information acquisition unit 41, a positioning unit 42, a UWB measurement unit 43, a vehicle control unit 44, a warning notification unit 45, an area information update unit 46, and an area information storage unit 47. , a warning target terminal search unit 48 , a warning target terminal information holding unit 49 , a collision prediction unit 50 , and a communication unit 51 .
  • the vehicle information acquisition unit 41 acquires attribute data such as the vehicle type and body size of the vehicle 16 and vehicle behavior or driving-related vehicle data such as the real-time speed and acceleration of the vehicle 16, and supplies them to the collision prediction unit 50. .
  • the positioning unit 42 uses, for example, a satellite positioning system to acquire positioning data for ascertaining the self-position of the automobile 16 and supplies it to the collision prediction unit 50 .
  • the UWB measurement unit 43 measures the distance and relative angle to the information communication terminal 13 using UWB communication.
  • the vehicle control unit 44 performs control related to the behavior of the automobile 16 such as acceleration and braking for avoiding danger based on the processing result of the danger avoidance processing in the danger avoidance system 11 .
  • the warning notification unit 45 is configured by devices such as a display, a speaker, and a vibrator, for example, and issues a warning to the driver to avoid danger based on the processing result of the danger avoidance processing in the danger avoidance system 11. Notice.
  • the area information update unit 46 updates the location information, terminal IDs, and UWB discovery tokens (hereinafter referred to as area internal terminal information) is obtained from the server 15 . Then, the in-area information updating unit 46 updates the in-area terminal information list held in the in-area information holding unit 47 at necessary timing.
  • the in-area information holding unit 47 holds an in-area terminal information list in which in-area terminal information updated by the in-area information updating unit 46 is registered.
  • the alert target terminal searching unit 48 selects the information communication terminals 13 whose in-area terminal information is registered in the in-area terminal information list of the in-area information holding unit 47 and is near the automobile 16 and needs to monitor the collision risk.
  • An alert target terminal search process is performed for searching the information communication terminal 13 for which a negative determination is required as an alert target. For example, when an information communication terminal 13 to be a warning target is newly detected as a processing result of the warning target terminal search processing, the warning target terminal search unit 48 searches for the newly detected information communication terminal 13.
  • the in-area terminal information is registered in the alert target terminal list of the alert target terminal information holding unit 49 as the alert target terminal information.
  • the alert target terminal search unit 48 The alert target terminal information of the information communication terminal 13 that is outside is deleted from the alert target terminal list of the alert target terminal information holding unit 49 .
  • the alert target terminal information holding unit 49 holds an alert target terminal list in which the alert target terminal information is registered by the alert target terminal search unit 48 .
  • the collision prediction unit 50 receives the vehicle data supplied from the vehicle information acquisition unit 41, the positioning data supplied from the positioning unit 42, and , collision prediction processing for predicting the possibility that the user of the information communication terminal 13 to be alerted will collide with the vehicle 16 using the distance and relative angle to the information communication terminal 13 to be alerted measured by the UWB measurement unit 43. conduct. Then, when it is predicted that there is a possibility of a collision as a result of the collision prediction processing, the collision prediction unit 50 controls the warning notification unit 45 to notify the driver of a warning, and controls the vehicle control unit 44. to perform brake control. Further, in this case, the collision prediction unit 50 transmits a warning request to the information communication terminal 13 to be warned via the communication unit 51 so as to warn the user of the information communication terminal 13 to be warned.
  • the communication unit 51 communicates with the information communication terminal 13 and the server 15 via the network 12 .
  • FIG. 4 is a block diagram showing a configuration example of the server 15. As shown in FIG.
  • the server 15 includes a communication unit 61, a discovery token management unit 62, a discovery token holding unit 63, a session management unit 64, a session holding unit 65, a map information management unit 66, and a map information holding unit 67. configured with.
  • the communication unit 61 communicates with the information communication terminal 13 and the in-vehicle system 14 via the network 12 .
  • the discovery token management unit 62 manages the discovery tokens necessary for establishing a UWB session between the information communication terminal 13 and the in-vehicle system 14, and reads/writes the discovery token database held by the discovery token holding unit 63.
  • the discovery token holding unit 63 holds a discovery token database in which discovery tokens are stored under the management of the discovery token management unit 62.
  • the discovery token database stores the location information and terminal ID of the information communication terminal 13 together with the discovery token.
  • the session management unit 64 manages information on UWB sessions between the information communication terminal 13 and the in-vehicle system 14 and peers of the information communication terminal 13 and the in-vehicle system 14, and reads the session database held by the session holding unit 65. / Write.
  • the session holding unit 65 holds a session database in which information about sessions and peers is stored according to management by the session management unit 64.
  • the map information management unit 66 searches the map information database held in the map information holding unit 67 for map information with risk level information for necessary locations in response to a request from the information communication terminal 13, and performs information communication. Send to terminal 13 .
  • the map information holding unit 67 holds a map information database that stores map data with risk information.
  • the degree of risk in the map information database is a data set constructed from risk scores based on sudden braking data of automobiles, frequent traffic accident locations, and dangerous locations based on heuristics (for example, intersections with many blind spots). Used.
  • the map data with safety information of locations that have been confirmed to be safe may be used. level is required.
  • the monitoring priority level is determined using the sudden behavior risk level, the state risk level, and the position risk level, and the information communication of the alert target is performed in order of the highest monitoring priority level. Collision prediction is performed for each terminal 13 . Then, the danger avoidance system 11 controls the brakes of the automobile 16 or warns the user of the information communication terminal 13 and the driver of the automobile 16 when such collision prediction predicts that there is a possibility of collision. By sending out, it is possible to realize more accurate crisis avoidance.
  • FIG. 5 is a flowchart for explaining an overview of the overall process of danger avoidance processing executed in the danger avoidance system 11. As shown in FIG.
  • step S11 the server 15 performs location information update processing for updating the location information of the information communication terminal 13 (in-area terminal information including location information). For example, the location information of the information communication terminal 13 is periodically updated by executing the location information update process of step S11 in the background at intervals.
  • step S12 in the in-vehicle system 14, among the information communication terminals 13 from which the position information updated in step S11 has been acquired, the vehicle 16 is located within a specific caution range (see FIGS. 7 and 8) near the automobile 16. An alert target terminal search process for searching the information communication terminal 13 as an alert target is performed.
  • step S13 the in-vehicle system 14 determines whether or not the information communication terminal 13 to be alerted has been newly detected based on the processing result of the alerting target terminal search process in step S12.
  • step S13 if it is determined that the information communication terminal 13 to be alerted has been newly detected, the process proceeds to step S14, and UWB communication is established between the newly detected information communication terminal 13 and the in-vehicle system 14.
  • a session establishment process for establishing a session is performed. After the process of step S14, or if it is determined in step S13 that no information communication terminal 13 to be alerted has been newly detected, the process proceeds to step S15.
  • step S15 the in-vehicle system 14 determines whether or not there is an information communication terminal 13 out of the alert target information communication terminals 13 based on the processing result of the alert target terminal search processing in step S12. judge.
  • step S15 If it is determined in step S15 that there is an information communication terminal 13 that is not subject to caution, the process proceeds to step S16, and UWB is established between the information communication terminal 13 that is not subject to caution and the in-vehicle system 14. A session release process is performed to release the session. After the process of step S16, or when it is determined in step S15 that there is no information communication terminal 13 that is not subject to caution, the process proceeds to step S17.
  • step S17 the information communication terminal 13 to be alerted performs monitoring priority level determination processing for determining the monitoring priority level using the sudden behavior risk level, the state risk level, and the position risk level.
  • step S18 the in-vehicle system 14 predicts the possibility that the user of the information communication terminal 13 to be alerted will collide with the vehicle 16 in order of the highest monitoring priority level determined in the monitoring priority level determining process of step S17. collision prediction processing is performed.
  • step S19 the in-vehicle system 14 determines whether there is a danger of collision within a predetermined threshold time t seconds based on the processing result of the collision prediction processing in step S18. If it is determined in step S19 that there is no risk of collision within the predetermined threshold time t seconds, the process returns to step S12, and the same process is repeated thereafter. On the other hand, if it is determined in step S19 that there is a danger of collision within the predetermined threshold time t seconds, the process proceeds to step S20.
  • step S20 the in-vehicle system 14 performs brake control processing for controlling the brakes according to the predicted time until collision with the information communication terminal 13 to be alerted, which is predicted to have a possibility of collision in the collision prediction processing in step S18. is done.
  • step S21 the in-vehicle system 14 issues a warning to the driver, and the warning target information communication terminal 13, which is predicted to have the possibility of a collision, issues a warning to the user.
  • the warning target information communication terminal 13 which is predicted to have the possibility of a collision
  • the location information of the information communication terminals 13 around the vehicle 16 are downloaded in advance to the in-vehicle system 14 as a list. can be done.
  • a 3 ⁇ 3 area centered on an area containing the current position of the vehicle 16 is based on a grid obtained by dividing the map at predetermined intervals (1 km in the example shown in FIG. 6). is the target area for downloading the location information of the information communication terminal 13 and the like. That is, as shown in the upper part of FIG. 6, nine hatched areas are target areas.
  • the location information, terminal ID, and UWB discovery token of the information communication terminal 13 existing within the target area are downloaded from the server 15 to the in-vehicle system 14 as in-area terminal information.
  • the intra-area terminal information is updated by the information communication terminal 13 existing in the target area after the movement at the timing when the automobile 16 moves across the boundary of the area.
  • the in-area terminal information may be updated at the timing when a certain period of time has passed since the last update of the in-area terminal information.
  • the information communication terminals 13 within a specific alert range near the automobile 16 are detected as the information communication terminals 13 to be alerted. be.
  • the alarm target terminal search unit 48 searches the vehicle 16 and information communication based on the location information of the vehicle 16 acquired from the positioning unit 42 and the location information of the information communication terminal 13 included in the in-area terminal information. A distance between the terminals 13 is calculated. Then, the warning target terminal search unit 48 retrieves the warning target information based on the distance between the vehicle 16 and the information communication terminal 13 and the warning distance R obtained from the speed of the vehicle 16 acquired from the vehicle information acquisition unit 41. A communication terminal 13 is determined.
  • the alert distance R is a threshold distance for determining the information communication terminal 13 to be alerted. It is obtained using the range T.
  • the warning target terminal searching unit 48 searches for information communication terminals 13 within a circular warning range with a radius of the warning distance R, that is, the distance from the automobile 16 is the warning distance.
  • the information communication terminal 13 that is less than R is determined as the information communication terminal 13 to be alerted.
  • the information communication terminals 13b to 13d that are within a circular caution range with the car 16 as the center and the caution distance R as the radius are the caution targets. is determined as the information communication terminal 13 of At this time, since it is considered that there is no collision risk for information communication terminals 13 located in a direction other than the traveling direction of automobile 16, information communication terminals 13 that do not have such a collision risk are set as information communication terminals 13 to be alerted. would result in an increase in unnecessary processing.
  • the information communication terminal 13 to be alerted is limited to the information communication terminal 13 located in front of the vehicle 16 . That is, the information communication terminals 13b and 13c within the fan-shaped warning range extending forward of the vehicle 16 with the warning distance R as the radius centered on the vehicle 16 are determined as the information communication terminals 13 to be warned. .
  • the processing after step S13 in FIG. 5 described above can be reduced.
  • the warning target terminal search unit 48 sets the fan-shaped warning range of the warning distance R2 as the warning range, and the range from the warning distance R1 to the warning distance R2 is newly set as the information communication terminal 13 to be the warning target.
  • This is the expected width for detection. In other words, it is realistic to perform processing assuming that information communication terminals 13 to be alerted that are within the alert range of the fan-shaped alert distance R1 have already been detected.
  • the warning distance R1 is obtained using the speed S of the vehicle 16 and the first time range T1
  • the warning distance R2 is determined using the speed S of the vehicle 16 and the second is obtained using the time range T2 of .
  • the alert target terminal searching unit 48 selects the information communication terminal 13c located within the range from the alert distance R1 to the alert distance R2 in the fan-shaped alert range of the alert distance R2. Newly detected as a target. After that, when the automobile 16 moves as shown in the lower part of FIG. The information communication terminal 13b within the range up to the warning distance R2 is newly detected as a warning target.
  • the information communication terminal 13 located behind the current position of the automobile 16 in the direction of travel is determined to be out of the alert target. be able to.
  • the information communication terminal 13d becomes a warning target. Then, when the information communication terminal 13d moves to the rear side of the car 16 as the car 16 moves, the alert target terminal searching unit 48 can determine that the information communication terminal 13d is out of the alert target. Then, the session with the information communication terminal 13d determined to be out of the alert target is released, and the alert target terminal search unit 48 extracts the information from the alert target terminal list held in the alert target terminal information holding unit 49. The alert target terminal information of the communication terminal 13d is deleted.
  • the risk score of the user is estimated by the position risk determination unit 28, the state recognition unit 27, and the sudden behavior detection unit 26, and the position risk level, the state risk level, and the sudden behavior risk level are calculated. Desired. Then, the monitoring priority determination unit 31 determines the final monitoring priority in four stages of modes (non-monitoring mode, low-priority monitoring mode, caution-requiring monitoring mode, and highest-priority monitoring mode) based on these risk levels. degree level can be determined.
  • FIG. 10 shows an example of the position risk level obtained as the processing result of the position risk determination process performed by the position risk determination unit 28.
  • the position risk determination unit 28 stores a data set of the risk at the current position of the user possessing the information communication terminal 13, which is acquired by the map information acquisition unit 29 from the map information holding unit 67 of the server 15. supplied. Then, the position risk determination unit 28 determines the position risk level estimated from the current position of the user possessing the information communication terminal 13 based on the risk data set.
  • the risk data set has a structure in which the risk score is associated with the location category, and a structure in which the risk score is associated with the address and type. Then, based on the current position of the information communication terminal 13, the position risk determination unit 28 calculates the risk score corresponding to the location category according to the location on the map of the current position and the risk score corresponding to the address and type of the current position.
  • a location risk level can be determined from the total risk score added with the scores. That is, if the total risk score is 0 to 2, it is determined to be the position risk level Lv0 (safe), and if the total risk score is 3 to 5, it is determined to be the position risk level Lv1 (with risk). If the score is 6 or higher, the location risk level is determined to be Lv2 (high risk).
  • sidewalks with guardrails or plants are determined to have a position risk level of Lv0.
  • parks and pedestrian crossings are determined to be at the position risk level Lv1, and roads are determined to be at the position risk level Lv2.
  • FIG. 11 shows an example of recognition target actions based on the outputs of the inertial sensor unit 21, the voice acquisition unit 22, and the application information acquisition unit 23 for the state recognition unit 27 to recognize the user's state.
  • inertial data both acceleration and angular velocity, or only one of them
  • processing for classifying recognition target actions by machine learning, deep learning, or signal processing is performed. done.
  • the behavior to be recognized is classified into, for example, standing still, walking, running, riding a bicycle, riding a vehicle other than a bicycle, and indefinite (playing in a park, etc.). be done.
  • voice data is acquired by a microphone of a terminal such as a smart watch or a hearable device that is shaped to pick up the user's voice.
  • a terminal such as a smart watch or a hearable device that is shaped to pick up the user's voice.
  • VAD voice activity detection
  • feature quantities such as voice signal power and MFCC (Mel-Frequency Cepstrum Coefficients) are used.
  • GMM Global System for Mobile Network
  • deep learning As a result, the behavior to be recognized is classified into, for example, talking and not talking.
  • the application information output from the application information acquisition unit 23 for example, in the case of a terminal having a screen, such as a smartphone, it is possible that the user is gazing at the screen when using the application in the foreground.
  • the behavior to be recognized is classified into, for example, using an app in the foreground, playing music, and doing nothing.
  • FIG. 12 shows an example of the state risk level obtained as a processing result of the state recognition processing performed by the state recognition unit 27.
  • FIG. 12 shows an example of the state risk level obtained as a processing result of the state recognition processing performed by the state recognition unit 27.
  • the state recognition unit 27 generates a risk score corresponding to the recognition target behavior classified based on the output of the inertial sensor unit 21, a risk score corresponding to the recognition target behavior classified based on the output of the voice acquisition unit 22, Then, the state risk level can be obtained from the total risk score obtained by adding the risk scores corresponding to the recognition target actions classified based on the output of the application information acquisition unit 23 . That is, if the total risk score is 0 to 1, the state risk level Lv0 (safe) is obtained, and if the total risk score is 2 to 5, the state risk level Lv1 (with risk) is obtained, and the total risk If the score is 6 or higher, the state risk level is determined to be Lv2 (high risk).
  • the state recognition result of standing still in a safe place has a total risk score of 0
  • the state recognition result of walking in a safe place has a total risk score of 1.
  • the state recognition results of talking while walking and listening to music while walking were given a total risk score of 2, while the state recognition results of riding a bicycle but not doing anything else gave a total risk score.
  • a score of 3 is required.
  • a risk score of 4 is required.
  • a total risk score of 6 is calculated for the status recognition result of using the app while riding a bicycle.
  • the state risk level may be obtained by integrating information from multiple terminals (for example, a smart watch and a smartphone).
  • FIG. 14 shows an example of a sudden behavior risk level obtained as a processing result of the sudden behavior detection process performed by the sudden behavior detection unit 26.
  • the sudden behavior detection unit 26 can detect a sudden change in behavior by the user of the information communication terminal 13 based on the inertia data supplied from the inertia sensor unit 21 . Then, when a sudden behavior such as a sudden stop is detected, the risk score becomes 1 and the sudden behavior risk level Lv0 (safe) is obtained. Further, when a sudden behavior of suddenly starting to run is detected, the risk score becomes 3, and a sudden behavior risk level Lv1 (with risk) is obtained. Also, when a sudden behavior such as falling over and a sudden behavior such as changing direction are detected, the risk score is 4 and the sudden behavior risk level Lv2 (high risk) is obtained.
  • the sudden behavior detection unit 26 can use known behavior recognition technology to detect these sudden behaviors. can be detected.
  • the monitoring priority determination unit 31 determines the position risk level obtained by the position risk determination unit 28, the state risk level obtained by the state recognition unit 27, and the sudden behavior risk level obtained by the sudden behavior detection unit 26. Based on this, the monitoring priority level is determined in four modes. For example, when the position risk level is Lv0, the monitoring priority determining unit 31 determines the monitoring priority level to be the non-monitoring mode. In addition, the monitoring priority determining unit 31 determines the monitoring priority level to be a low priority monitoring mode if the position risk level is Lv1 or Lv2, if the state risk level is Lv0, and if the state risk level is Lv1 or Lv2 , the monitoring priority level is determined to be caution monitoring mode. In addition, in the case of the position risk level Lv1 or Lv2, the monitoring priority level determining unit 31 determines the monitoring priority level to be the highest priority monitoring mode if the sudden behavior risk level Lv1 or higher (a sudden behavior is detected).
  • the collision prediction unit 50 predicts that the user of the information communication terminal 13 to be alerted will collide with the car 16 in order of the highest monitoring priority level. Perform collision prediction processing to predict the possibility of collision.
  • the highest priority monitoring mode is the highest
  • the caution monitoring mode is the second highest
  • the low priority monitoring mode is the third highest
  • the non-monitoring mode is the lowest.
  • the user's risk score estimated by the location risk determination unit 28, the state recognition unit 27, and the sudden behavior detection unit 26 is added, and the Collision prediction processing is performed in the order in which the information communication terminal 13 with the highest total risk score is prioritized.
  • collision prediction processing is performed in an arbitrary order.
  • the collision prediction unit 50 performs collision prediction processing based on the measurement results of the UWB measurement unit 43 for the information communication terminals 13 targeted for collision prediction, with the information communication terminals 13 as the collision prediction targets in order of the highest monitoring priority level. do.
  • the speed of the vehicle 16 the acceleration of the vehicle 16, the distance from the position of the vehicle 16 to the information communication terminal 13 subject to collision prediction, and the angle of the information communication terminal 13 subject to collision prediction with respect to the current position of the vehicle 16. can be used.
  • the size and shape of the car body of the car 16 the extension considering the stochastic movement change of the information communication terminal 13 and the car 16, etc.
  • An extension using a model of the original space can be applied, and collision prediction using such various extensions is also included in the scope of the present technology.
  • the collision prediction unit 50 measures the distance d and the angle ⁇ to the information communication terminal 13 to be processed three times. Then, the collision prediction unit 50 calculates the relative position P 0 of the information communication terminal 13 seen from the position C 0 of the vehicle 16 at the time of the first measurement, and the information communication The relative position P 1 of the terminal 13 and the relative position P 2 of the information communication terminal 13 viewed from the position C 2 of the car 16 at the time of the third measurement are grasped.
  • the relative position P k (x, y) of the information communication terminal 13 is the position C k of the vehicle 16 and the distance d k from the information communication terminal 13 to be processed, as shown in the following equation (3). and the angle ⁇ k .
  • the relative position P k (x, y) of the information communication terminal 13 can be obtained as global coordinates in two-dimensional orthogonal coordinates with the traveling direction of the automobile 16 as the X axis and the position C 0 as the origin.
  • the collision prediction unit 50 calculates the average moving speed v ave and Find the average angular velocity ⁇ ave .
  • the collision prediction unit 50 assumes that the mobile motion of the information communication terminal 13 continues as uniform circular motion at the average moving speed v ave and the average angular speed ⁇ ave obtained here. Further, the collision prediction unit 50 assumes that the vehicle 16 continues to accelerate at the position C2 at the time of the third measurement and the vehicle 16 moves straight. Then, the collision prediction unit 50 calculates the predicted position C t of the vehicle 16 after t seconds and the predicted relative position P t of the information communication terminal 13 after t seconds, and calculates the distance between the vehicle 16 and the information communication terminal 13 is less than the threshold, it is predicted that there is a possibility of collision.
  • the coordinates P t (x(t), y(t)) of the information communication terminal 13 after t seconds are shifted from the relative position P 1 (x 1 , y 1 ) to the relative position P 2 as shown in FIG.
  • Equation (12) the coordinates P t (x(t), y(t)) of the information communication terminal 13 after t seconds can be expressed as shown in Equation (12).
  • equations (7) to (11) representing the displacement ⁇ , angle ⁇ , angle ⁇ 0 , and center O (x org , y org ) and transforming the equations, the average moving velocity v ave and the average angular velocity
  • a predicted relative position Pt of the information communication terminal 13 after t seconds can be obtained from ⁇ ave and past relative positions P1 and P2 of the information communication terminal 13 .
  • the condition table for expression (10) is as shown in FIG.
  • the average moving speed v ave , the average angular velocity ⁇ ave , and the relative positions P 1 and P 2 of the information communication terminal 13 can be obtained by the formulas (3) to (6) as already described, , the position C k of the car 16 and the predicted relative position P t of the information communication terminal 13 after t seconds from the distance d k and the angle ⁇ k to the information communication terminal 13 to be processed.
  • the velocity V0 at the position C2 of the vehicle 16 at the time of the third measurement is assumed to be the initial velocity, and the acceleration a is approximated by a constant acceleration linear motion model.
  • the predicted position C t (x(t), y(t)) of the vehicle 16 after t seconds is obtained according to the following equation (13).
  • the collision prediction unit 50 determines the possibility of collision when there is t seconds after the Euclidean distance d t (C t , P t ) becomes equal to or less than the constant distance D th . There is (TRUE), and if there is no such after t seconds, then it is determined that there is no possibility of collision (FALSE).
  • emergency braking is a braking control process for applying the brakes with maximum power to try to stop the vehicle quickly
  • deceleration braking is a braking control process for decelerating by applying the brakes that do not impose a load on the occupant as much as possible.
  • warning only only warning transmission processing is performed without applying the brake.
  • the collision prediction unit 50 executes collision avoidance control according to the calculated time until collision.
  • the first threshold time T1 and the second threshold time T2 are calculated using the following formula (16 ).
  • FIG. 19 shows an example of the braking distance, the time to stop, and the first threshold time T1 and the second threshold time T2 determined from the speed v of the automobile 16.
  • the friction coefficient ⁇ ' is determined by multiple factors such as the weight of the vehicle 16, the condition of the tires, and the condition of the road surface.
  • the coefficient of friction ⁇ ′ was set to 0.7, which is generally used when calculating the braking distance on wet road conditions.
  • the coefficient of friction ⁇ ′ may be dynamically changed and calculated by sensing the state of the road surface with an in-vehicle camera or other sensors.
  • a method of recursively obtaining the coefficient of friction ⁇ ' from data on the degree of braking with respect to the most recent braking operation may be incorporated.
  • FIG. 20 is a flowchart explaining in detail the location information update process in step S11 of FIG.
  • step S ⁇ b>31 in the information communication terminal 13 , the communication unit 32 transmits the location information obtained as a result of positioning by the positioning unit 24 and the discovery token of the UWB measurement unit 30 to the server 15 .
  • step S32 in the server 15, the communication unit 61 receives the location information and discovery token transmitted from the information communication terminal 13 in step S31. Then, the communication unit 61 causes the discovery token holding unit 63 to hold the location information and the discovery token together with the reception time when they are received for each user (terminal ID).
  • step S33 in the in-vehicle system 14, the in-area information update unit 46 determines whether or not the area needs to be updated. For example, when the boundary of the area is set as shown in FIG. It can be determined that an area update is required. If it is determined in step S33 that the area does not need to be updated, the processes of steps S34 to S36 are skipped.
  • step S33 determines whether the area needs to be updated. If it is determined in step S33 that the area needs to be updated, the process proceeds to step S34, and the in-area information updating unit 46 transmits the position information of the current position of the car 16 to the server 15.
  • step S35 in the server 15, the discovery token holding unit 63 transmits information existing within an area around the area including the current position of the automobile 16 based on the position information transmitted in step S34.
  • In-area terminal information (location information, terminal ID, and discovery token) of the terminal 13 is returned (transmitted) to the in-vehicle system 14 .
  • step S36 in the in-vehicle system 14, the in-area information updating unit 46 updates the in-area terminal information list held in the in-area information holding unit 47 with the in-area terminal information transmitted in step S35.
  • FIG. 21 is a flowchart that explains in detail from the alert target terminal search process in step S12 of FIG. 5 to the session release process in step S16.
  • step S41 in the in-vehicle system 14, the warning target terminal search unit 48 searches the information communication terminal 13 to be guarded according to the position and speed of the vehicle 16, as described with reference to FIGS. 7 and 8 above. Search for
  • step S42 in the in-vehicle system 14, the alert target terminal searching unit 48 determines whether or not the information communication terminal 13 to be alert target is newly detected as a result of the search in step S41 (step S13 in FIG. 5). ).
  • step S42 If it is determined in step S42 that no information communication terminal 13 to be alerted has been newly detected, the processing of steps S43 to S48 is skipped. On the other hand, if it is determined in step S42 that a new information communication terminal 13 to be alerted has been detected, the process proceeds to step S43.
  • step S43 the alert target terminal search unit 48 retrieves the location of the automobile 16, the discovery token of the UWB measurement unit 43, and the terminal ID of the update difference of the alert target information communication terminal 13 registered in the in-area terminal information list. list to the server 15.
  • step S44 in the server 15, the discovery token management unit 62 transmits the discovery token of the vehicle 16 that transmitted the terminal ID to the information communication terminal 13 having the terminal ID transmitted in step S43 by the communication unit. 61.
  • step S45 in the information communication terminal 13, the communication unit 32 receives the discovery token of the vehicle 16 transmitted in step S44 and supplies it to the UWB measurement unit 30.
  • step S46 the UWB measurement unit 30 of the information communication terminal 13 establishes a UWB session with the UWB measurement unit 43 of the in-vehicle system 14 using mutual discovery tokens.
  • step S ⁇ b>47 in the in-vehicle system 14 , the UWB measurement unit 43 transmits to the server 15 that a UWB session has been established with the UWB measurement unit 30 of the information communication terminal 13 .
  • step S48 in the server 15, the session management unit 64 stores the information about the peers of the information communication terminal 13 and the in-vehicle system 14 for which establishment of the UWB session has been notified in step S47 in the session database held by the session holding unit 65. write to
  • step S47 After the process of step S47, or if it is determined in step S42 that no information communication terminal 13 to be alerted has been newly detected, the process proceeds to step S49.
  • step S ⁇ b>49 in the in-vehicle system 14 , the warning target terminal search unit 48 selects a warning terminal from among the information communication terminals 13 to be guarded based on the position of the vehicle 16 as described above with reference to FIG. 9 . The information communication terminal 13 that is excluded is searched.
  • step S50 in the in-vehicle system 14, the warning target terminal search unit 48 determines whether or not there is an information communication terminal 13 that is not a warning target as a result of the search in step S49 (corresponding to step S15 in FIG. 5). ).
  • step S50 If it is determined in step S50 that there is no information communication terminal 13 that is not subject to caution, the processing of steps S51 to S54 is skipped. On the other hand, if it is determined in step S50 that there is an information communication terminal 13 that is not subject to caution, the process proceeds to step S51.
  • step S51 the alert target terminal search unit 48 requests the server 15 to release the session with the information communication terminal 13 that has become out of the alert target.
  • step S52 in the server 15, the session management unit 64 refers to the session database held by the session holding unit 65, and requests the information communication terminal 13 for which release of the session is requested in step S50 to release the session. demand release.
  • step S53 in the information communication terminal 13, the UWB measurement unit 30 releases the session with the UWB measurement unit 43 of the in-vehicle system 14.
  • step S54 in the in-vehicle system 14, the warning target terminal search unit 48 deletes the warning target terminal information of the information communication terminal 13 whose session has been released from the warning target terminal list held in the warning target terminal information holding unit 49. do.
  • FIG. 22 is a flowchart explaining in detail the monitoring priority level determination process in step S17 of FIG.
  • step S61 in the information communication terminal 13, the map information acquisition unit 29 requests the server 15 for the map information of the current location according to the positioning data acquired from the positioning unit 24.
  • step S62 in the server 15, the map information management unit 66 searches the map information database held in the map information holding unit 67, and sends the desired map information requested in step S61 to the information communication terminal 13. Return (send).
  • step S ⁇ b>63 in the information communication terminal 13 , the map information acquisition unit 29 acquires the map information transmitted from the server 15 in step S ⁇ b>62 and supplies it to the position risk determination unit 28 .
  • the map information has a risk data set as shown in FIG. 31.
  • step S64 the monitoring priority determination unit 31 determines whether the position risk level supplied from the position risk determination unit 28 in step S64 is Lv0 (safe).
  • step S64 If it is determined in step S64 that the position risk level is Lv0 (safety), the process proceeds to step S65, and the monitoring priority determining unit 31 transitions the monitoring priority level to non-monitoring mode. After that, the process proceeds to step S73.
  • step S64 determines whether the position risk level is Lv0 (safe). If it is determined in step S64 that the position risk level is not Lv0 (safe), the process proceeds to step S66.
  • step S ⁇ b>66 the state recognition unit 27 performs the above-described detection based on the inertia data supplied from the inertial sensor unit 21 , the audio data supplied from the audio acquisition unit 22 , and the application information supplied from the application information acquisition unit 23 . 11 to 13, state recognition processing for recognizing the state of the user of the information communication terminal 13 is performed. Then, the state recognition unit 27 supplies the state risk level obtained as the processing result of the state recognition process to the monitoring priority determination unit 31 .
  • step S67 the monitoring priority determination unit 31 determines whether the state risk level supplied from the state recognition unit 27 in step S66 is Lv0 (safe).
  • step S67 If it is determined in step S67 that the position risk level is Lv0 (safety), the process proceeds to step S68, and the monitoring priority determining unit 31 transitions the monitoring priority level to the low priority monitoring mode. After that, the process proceeds to step S70.
  • step S67 determines whether the position risk level is Lv0 (safe). If it is determined in step S67 that the position risk level is not Lv0 (safe), the process proceeds to step S69, and the monitoring priority determining unit 31 transitions the monitoring priority level to caution monitoring mode. After that, the process proceeds to step S70.
  • step S70 the sudden behavior detection unit 26 performs sudden behavior detection processing for detecting a sudden change in behavior of the user of the information communication terminal 13 based on the inertia data supplied from the inertia sensor unit 21.
  • the sudden behavior detection unit 26 then supplies the monitoring priority determination unit 31 with the sudden behavior risk level obtained as the processing result of the sudden behavior detection process.
  • step S71 the monitoring priority determination unit 31 determines whether or not sudden behavior is detected based on the sudden behavior risk level supplied from the sudden behavior detection unit 26 in step S70. It is determined whether or not.
  • step S71 If it is determined in step S71 that a sudden behavior has been detected, the process proceeds to step S72, and the monitoring priority determining unit 31 shifts the monitoring priority level to the highest priority monitoring mode. After that, the process proceeds to step S73. On the other hand, if it is determined in step S71 that a sudden behavior has been detected, step S72 is skipped and the process proceeds to step S73.
  • step S73 the monitoring priority determining unit 31 transmits one of the monitoring priority levels determined as described above to the server 15 for transmission to the vehicle 16. Thereafter, in information communication terminal 13, the process returns to step S61, step S66, or step S70.
  • the position risk determining unit 28, the state recognizing unit 27, and the sudden behavior detecting unit 26 can be interval-executed in different cycles. , step S66, or step S70 is performed.
  • step S74 the server 15 transfers (transmits) the monitoring priority level transmitted from the information communication terminal 13 in step S73 to the target in-vehicle system 14.
  • the warning target terminal search unit 48 receives the monitoring priority level transmitted from the server 15 in step S74, and searches for the warning target held in the warning target terminal information holding unit 49. Update the terminal list.
  • FIG. 23 is a flow chart explaining in detail from the collision prediction process in step S18 of FIG. 5 to the warning transmission process in step S21.
  • step S ⁇ b>81 in the in-vehicle system 14 , the collision prediction unit 50 selects the UWB measuring unit 43 in descending order of monitoring priority levels registered in the alert target terminal list held in the alert target terminal information holding unit 49 . A collision prediction process is executed based on the measurement result, and the information communication terminal 13 targeted for collision prediction is specified.
  • step S82 the collision prediction unit 50 measures the relative angle and distance from the automobile 16 to the information communication terminal 13, which is the object of collision prediction, three times.
  • step S83 the collision prediction unit 50 determines the position of the vehicle 16 and the relative angle and distance from the vehicle 16 to the information communication terminal 13 subject to collision prediction, as described above with reference to FIGS. Predict the possibility of a collision based on the change in
  • step S84 the collision prediction unit 50 determines whether there is a possibility of collision with the information communication terminal 13 targeted for collision prediction, according to the prediction in step S83.
  • step S84 If it is determined in step S84 that there is no possibility of a collision, the process returns to step S81, and the information communication terminal 13 having the next highest monitoring priority level is set as a collision prediction target, and the same process is repeated thereafter.
  • the process returns to step S41 in FIG. .
  • step S84 if it is determined in step S84 that there is a possibility of collision, the process proceeds to step S85.
  • the collision prediction unit 50 calculates the time until it collides with the information communication terminal 13 determined to have a possibility of collision in step S84.
  • step S86 the collision prediction unit 50 determines whether or not the time until the collision calculated in step S85 is less than or equal to the first threshold time T1.
  • step S86 If it is determined in step S86 that the time until the collision is equal to or shorter than the first threshold time T1, the process proceeds to step S87, and the collision prediction unit 50 controls the vehicle control unit 44 to apply emergency braking. I do. As a result, the vehicle control unit 44 applies the brakes with the maximum power to perform brake control to try to stop the vehicle, and then the process proceeds to step S90.
  • step S86 determines whether or not the time until the collision calculated in step S85 is equal to or shorter than the second threshold time T2.
  • step S88 If it is determined in step S88 that the time until the collision is equal to or shorter than the second threshold time T2, the process proceeds to step S89, and the collision prediction unit 50 controls the vehicle control unit 44 to activate the deceleration brake. I do. As a result, the vehicle control unit 44 performs brake control to decelerate the vehicle with a brake that does not impose a load on the passenger as much as possible, and then the process proceeds to step S90.
  • step S88 determines whether the time until the collision is not less than the second threshold time T2 or not less than the second threshold time T2 or not less than the second threshold time T2. If it is determined in step S88 that the time until the collision is not less than the second threshold time T2, the process proceeds to step S90. That is, in this case, only a warning is issued without brake control.
  • step S90 the collision prediction unit 50 controls the warning notification unit 45 to notify the driver of a warning.
  • step S91 the collision prediction unit 50 issues a warning request to the information communication terminal 13 determined to have a possibility of collision in step S84 as a warning target so as to warn the user of the information communication terminal 13 to be alerted. to the server 15.
  • step S92 in the server 15, the communication unit 61 receives the warning request transmitted from the in-vehicle system 14 in step S91, and transfers (transmits) it to the information communication terminal 13 to be warned.
  • step S93 the information communication terminal 13 to be warned receives the warning request transmitted from the server 15 in step S92 and supplies it to the warning notification unit 25, and the warning notification unit 25 notifies the user of the warning.
  • FIG. 24 is a flowchart for explaining the sudden behavior detection process using acceleration among the sudden behavior detection processes performed in step S70 of FIG.
  • step S ⁇ b>101 the sudden behavior detection unit 26 acquires the acceleration of the information communication terminal 13 based on the inertia data supplied from the inertia sensor unit 21 .
  • step S102 the sudden behavior detection unit 26 performs Fast Fourier Transform (FFT) on the acceleration acquired in step S101.
  • FFT Fast Fourier Transform
  • step S103 the sudden behavior detection unit 26 determines whether the acceleration power of 2 Hz to 3 Hz, which has undergone the fast Fourier transform in step S102, exceeds a threshold value THrun for determining whether the user is running. determine whether or not
  • step S103 If it is determined in step S103 that the power of acceleration at 2 Hz to 3 Hz after fast Fourier transform exceeds the threshold THrun, the process proceeds to step S104.
  • step S104 the sudden behavior detection unit 26 determines whether or not the user's previous state (the user's state recognized in the previous process) is a running state.
  • step S104 If it is determined in step S104 that the user's previous state is not the state of running, the process proceeds to step S105, and the sudden behavior detection unit 26 detects that the user has started running. After that, the process returns to step S101, and the same process is repeated thereafter.
  • step S103 determines whether the 2 Hz to 3 Hz power of the acceleration subjected to the fast Fourier transform does not exceed the threshold THrun, or if it is determined in step S104 that the user's previous state is a running state. If so, the process proceeds to step S106.
  • step S106 the sudden behavior detection unit 26 calculates the triaxial norm of the acceleration acquired in step S101.
  • step S107 the sudden behavior detection unit 26 obtains the variance of the three-axis norm of the acceleration calculated in step S106.
  • step S108 the sudden behavior detection unit 26 applies a low-pass filter (LPF) to the variance obtained in step S107.
  • LPF low-pass filter
  • step S109 the sudden behavior detection unit 26 determines whether the variance obtained by applying the low-pass filter in step S109 is below the threshold THstill for determining whether the user is in a stopped state.
  • step S109 If it is determined in step S109 that the low-pass filtered variance is below the threshold THstill, the process proceeds to step S110.
  • step S110 the sudden behavior detection unit 26 determines whether or not the user's previous state is a stopped state.
  • step S110 If it is determined in step S110 that the user's previous state is not the stopped state, the process proceeds to step S111, and the sudden behavior detection unit 26 detects sudden stop of the user. After that, the process returns to step S101, and the same process is repeated thereafter.
  • step S109 if it is determined in step S109 that the low-pass filtered variance does not fall below the threshold THstill, or if it is determined in step S110 that the user's previous state is a stopped state, the process goes to step S112.
  • step S112 the sudden behavior detection unit 26 applies a low-pass filter to the three-axis norm of acceleration calculated in step S106.
  • the sudden behavior detection unit 26 determines whether or not a falling pattern has been detected. For example, the sudden behavior detection unit 26 first detects that the three-axis norm of acceleration has become less than 0.1 G (threshold for detecting free fall), and then the variance of the three-axis norm of acceleration is the threshold THfall ( Threshold value for detecting impact when landing after a fall), and then the variance of the 3-axis norm of acceleration became less than 0.01 and continued for a certain period of time (not moving while falling). is detected, it can be determined that a fall pattern has been detected that determines that the user has fallen.
  • the threshold THfall Threshold value for detecting impact when landing after a fall
  • the variance of the 3-axis norm of acceleration became less than 0.01 and continued for a certain period of time (not moving while falling).
  • step S113 If it is determined in step S113 that a fall pattern has been detected, the process proceeds to step S114, and the sudden behavior detection unit 26 detects a fall of the user. After that, the process returns to step S101, and the same process is repeated thereafter.
  • step S113 determines whether fall pattern has been detected. If it is determined in step S113 that no fall pattern has been detected, it is assumed that none of the user's starting to run, sudden stop, or fall has been detected, and the process returns to step S101. It is done repeatedly.
  • FIG. 25 is a flowchart for explaining the sudden behavior detection process using angular velocity among the sudden behavior detection processes performed in step S70 of FIG.
  • step S ⁇ b>121 the sudden behavior detection unit 26 acquires the angular velocity of the information communication terminal 13 based on the inertia data supplied from the inertia sensor unit 21 .
  • step S122 the sudden behavior detection unit 26 applies a low-pass filter to the angular velocity acquired in step S121.
  • the sudden behavior detection unit 26 calculates the absolute value of the angular velocity that has been low-pass filtered in step S122 to obtain the amplitude.
  • step S124 the sudden behavior detection unit 26 determines whether or not the amplitude of the low-pass-filtered angular velocity obtained in step S123 exceeds a threshold value THrot for determining whether or not the user has started a sudden turn. .
  • step S124 If it is determined in step S124 that the low-pass-filtered angular velocity amplitude exceeds the threshold THrot, the process proceeds to step S125, and the sudden behavior detection unit 26 detects a sudden turn of the user. After that, the process returns to step S121, and the same process is repeated thereafter.
  • step S124 if it is determined in step S124 that the amplitude of the low-pass-filtered angular velocity does not exceed the threshold value THrot, it is determined that the user's sudden turn is not detected, and the process returns to step S121. is repeated.
  • FIG. 26 is a diagram illustrating a configuration example of a second embodiment of a danger avoidance system to which the present technology is applied.
  • the same reference numerals are given to the configurations common to the danger avoidance system 11 of FIG. 1, and detailed description thereof will be omitted. That is, the danger avoidance system 11A is common to the danger avoidance system 11 of FIG.
  • an information communication terminal 17 possessed by the driver of the automobile 16 is connected to the network 12.
  • the information communication terminal 17, like the information communication terminal 13, is an information processing device having a communication function, such as a so-called smart phone. can be notified to the driver of the automobile 16.
  • FIG. 27 is a block diagram showing a configuration example of the information communication terminal 17. As shown in FIG.
  • the information communication terminal 17 includes an inertial sensor section 71, a velocity/acceleration estimating section 72, and a traveling direction estimating section 73. 3, the information communication terminal 17 includes a positioning unit 42, a UWB measurement unit 43, a warning notification unit 45, an area information update unit 46, an area information storage unit 47, a warning target terminal search It comprises a unit 48 , a warning target terminal information holding unit 49 , a collision prediction unit 50 and a communication unit 51 .
  • the inertial sensor unit 71 is composed of, for example, an acceleration sensor and a gyro sensor, acquires inertial data associated with the movement of the information communication terminal 17 , and supplies it to the speed/acceleration estimation unit 72 and the traveling direction estimation unit 73 .
  • the speed/acceleration estimating unit 72 estimates the speed and acceleration of the automobile 16 based on the inertia data supplied from the inertial sensor unit 71, and transmits the speed/acceleration data obtained as a result of the estimation to the collision prediction unit 50. supply.
  • the traveling direction estimating section 73 estimates the traveling direction of the automobile 16 based on the inertia data supplied from the inertial sensor section 71 and supplies the traveling direction data obtained as a result of the estimation to the collision prediction section 50 .
  • collision prediction unit 50 in FIG. 3 performs collision prediction processing using the vehicle data supplied from the vehicle information acquisition unit 41
  • HPF High Pass Filter
  • the position information obtained by the satellite positioning system can be tracked at short time intervals, and the velocity and acceleration can be obtained from the differentiation and second-order differentiation of the displacement of the tracking.
  • the velocity can be obtained from the Doppler effect of the carrier wave output from the satellite of the satellite positioning system.
  • the orientation of the information communication terminal 13 with respect to the traveling direction of the automobile 16 is estimated. to get the rotation matrix from the local coordinate system to the global coordinate system.
  • the stationary state of the vehicle 16 is determined from the data of the satellite positioning system, and the gravity component (DC component) is extracted by a technique such as applying a low-pass filter to the data of the three-axis acceleration sensor when the vehicle is stationary, and the gravity vector
  • the attitude angle is estimated from the orientation of
  • the traveling time of the automobile 16 is determined from the data of the satellite positioning system, and the traveling direction in the local coordinate system is estimated based on the correlation between the acceleration/deceleration timing during the traveling and the change in the acceleration waveform in the horizontal direction. can be done.
  • danger avoidance is realized only by notifying the warning by the warning notification unit 45 without performing brake control of the automobile 16.
  • the danger avoidance system 11A can achieve more accurate crisis avoidance, similar to the danger avoidance system 11 of FIG.
  • FIG. 28 is a diagram showing a configuration example of a third embodiment of a danger avoidance system to which the present technology is applied.
  • the danger avoidance system 11B shown in FIG. 28 the same components as those of the danger avoidance system 11 of FIG. 1 and the danger avoidance system 11A of FIG. That is, the danger avoidance system 11B is common to the danger avoidance system 11 of FIG.
  • an in-vehicle system 14B is installed in the automobile 16, and an information communication terminal 17B possessed by the driver of the automobile 16 is connected to the network 12.
  • the in-vehicle system 14B can be incorporated as part of the advanced driving support system provided in the automobile 16, and can perform brake control to avoid danger based on the danger avoidance processing in the danger avoidance system 11.
  • the information communication terminal 17B is an information processing device having a communication function, such as a so-called smart phone. can be notified to the driver of the automobile 16.
  • FIG. 29 is a block diagram showing a configuration example of the in-vehicle system 14B and the information communication terminal 17B.
  • the in-vehicle system 14B includes a short-range communication section 81 in addition to the vehicle information acquisition section 41 and the vehicle control section 44, similar to the in-vehicle system 14 of FIG.
  • the information communication terminal 17B includes an inertial sensor section 71, a traveling direction estimating section 73, and a short-range communication section 74. 3, the information communication terminal 17 includes a positioning unit 42, a UWB measurement unit 43, a warning notification unit 45, an area information update unit 46, an area information storage unit 47, a warning target terminal search It comprises a unit 48 , a warning target terminal information holding unit 49 , a collision prediction unit 50 and a communication unit 51 .
  • the vehicle information acquisition unit 41 of the in-vehicle system 14B can supply vehicle data to the collision prediction unit 50, and the collision prediction unit 50 of the information communication terminal 17B controls the vehicle control unit 44 to perform braking. can be controlled.
  • the danger avoidance system 11B can achieve more accurate crisis avoidance, similar to the danger avoidance system 11 of FIG.
  • a head-up display as shown in FIG. 30 can be employed as the warning notification unit 45 provided in the in-vehicle system 14 .
  • the warning notification unit 45 draws (projects) information for safe driving on the entire front windshield of the automobile 16 by means of the head-up display regardless of whether or not the collision prediction unit 50 determines that there is a possibility of a collision. By doing so, it is possible to present it to the driver.
  • the warning notification unit 45 can visualize the monitoring priority level, risk score, etc. of the information communication terminal 13 to be alerted using a head-up display.
  • the warning notification unit 45 Information indicating the distance can be displayed on the head-up display to alert the driver of the vehicle 16 .
  • a frame colored according to the risk score is displayed on the head-up display so as to surround the user of the information communication terminal 13 to be alerted, and the risk score and the distance are displayed in the frame of the child user. is displayed.
  • the risk score displayed on the head-up display is the sum of the risk score for the location risk level, the risk score for the status risk level, and the risk score for the sudden behavior risk level, minus 2. is obtained by That is, in the position risk determination unit 28, when the risk score is 2 or less, the position risk level is Lv0 (safe), so 2 is subtracted.
  • the risk score obtained by obtaining the positional risk level is 3 because it is a sidewalk and there is no guardrail or planting, and the child is in a running state.
  • the risk score obtained by calculating the risk level is 2.
  • the warning notification unit 45 alerts the driver to the lower part of the windshield (for example, right above the dashboard).
  • the warning notification unit 45 uses an icon represented by an arrow as shown in FIG. can be displayed.
  • the warning notification unit 45 can simply notify the driver of the degree of danger by changing the color of part or all of the drawing (projection) area on the head-up display. For example, the warning notification unit 45 changes the drawing area to blue when the distance is close to the user who has the information communication terminal 13 to be alerted and whose risk score is high. You can change it to red. As a result, the warning notification unit 45 can make the driver aware that there is a person exhibiting behavior with a high risk score nearby, and can call attention to it.
  • FIG. 31A shows an application example using a smart watch 91
  • FIG. 31B shows an application example using a hearable device 92. .
  • the danger avoidance system 11 When targeting the information communication terminal 13A used by a child, the danger avoidance system 11 associates the information communication terminal 13A possessed by the child with the smartwatch 91 or the hearable device 92 possessed by the parent in advance and registers them. can be kept As a result, in the danger avoidance system 11, when it is determined that there is a collision risk, a warning request is sent to the child's information communication terminal 13A, and the parent's smart watch 91 or hearable device 92 is also notified of the warning. be able to.
  • the hearable device 92 can be worn on the ear to receive audio feedback, and by combining spatial audio technology, can make the parent hear the warning as if it were coming from the direction of the child. becomes possible.
  • a column of notification target terminal IDs is added to the session database held by the session holding unit 65 of FIG. Register the terminal ID of the device 92 . Then, when a warning is issued from the in-vehicle system 14, in addition to the terminal ID of the information communication terminal 13A, the smart watch 91 or the hearable device 92 registered in the notification target terminal ID is also notified of the warning. Processing is done so that the request is sent.
  • FIG. 32 is a block diagram showing a configuration example of one embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in the hard disk 105 or ROM 103 as a recording medium built into the computer.
  • the program can be stored (recorded) in a removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • the removable recording medium 111 includes, for example, a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disk, DVD (Digital Versatile Disc), magnetic disk, semiconductor memory, and the like.
  • the program can be installed in the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via a communication network or broadcasting network and installed in the hard disk 105 incorporated therein. That is, for example, the program is transferred from the download site to the computer wirelessly via an artificial satellite for digital satellite broadcasting, or transferred to the computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 102 , and an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • a CPU Central Processing Unit
  • an input/output interface 110 is connected to the CPU 102 via a bus 101 .
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 according to a command input by the user through the input/output interface 110 by operating the input unit 107 or the like. Alternatively, the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result from the output unit 106 via the input/output interface 110, transmits it from the communication unit 108, or records it in the hard disk 105 as necessary.
  • the input unit 107 is composed of a keyboard, mouse, microphone, and the like. Also, the output unit 106 is configured by an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to a remote computer and executed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • this technology can take a configuration of cloud computing in which a single function is shared and processed jointly by multiple devices via a network.
  • the above-described program can be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step described in the flowchart above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps described in the program is executed in chronological order according to the order described herein, or in parallel, or when the call is made. They may be executed individually at necessary timings such as occasions. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a monitoring priority determination unit that determines a monitoring priority level using at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity.
  • a warning notification unit for notifying a user of a warning when it is predicted that there is a possibility of collision as a result of a collision prediction process for predicting the possibility of the user colliding with a vehicle based on the monitoring priority level; information processing device.
  • a map information acquiring unit that acquires map information with risk information in the vicinity of the current position according to positioning data for grasping the current position of the information processing device;
  • the information processing apparatus further comprising: a position risk determination unit that refers to the map information with the risk level information, determines the risk level at the current position, and obtains the position risk level.
  • a position risk determination unit that refers to the map information with the risk level information, determines the risk level at the current position, and obtains the position risk level.
  • the information processing device according to (1) or (2) above, further comprising: a state recognition unit that recognizes the state of the user of the information processing device and obtains the state risk level based on the above.
  • a sudden behavior detection unit that detects a sudden change in behavior of the user of the information processing device and obtains the sudden behavior risk level based on inertia data associated with movement of the information processing device; (3) The information processing apparatus according to any one of (3) to (3).
  • a measurement unit that measures the distance and relative angle to the vehicle by UWB (Ultra Wide Band) communication with the vehicle, The information processing device according to any one of (1) to (4) above, wherein the distance and the relative angle are used in the collision prediction process.
  • the information processing device Determining a monitoring priority level using at least one of a location risk level based on the current location, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity; When it is predicted that there is a possibility of collision as a result of collision prediction processing for predicting the possibility of the user colliding with the automobile based on the monitoring priority level, a warning is sent to the user. Processing method.
  • a monitoring priority determination unit that determines a monitoring priority level using at least one of a position risk level based on the current position, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity.
  • a first warning notification for notifying a user of a warning when it is predicted that there is a possibility of collision as a result of a collision prediction process for predicting the possibility of the user colliding with the automobile based on the monitoring priority level an information processing terminal having a unit and mounted on the vehicle, a collision prediction unit that performs the collision prediction process on the information processing terminal that is a warning target among the information processing terminals that exist within a predetermined area that includes the current position of the automobile; a second warning notifying unit that notifies a driver of the automobile of a warning when it is predicted that there is a possibility of a collision as a result of the collision prediction processing; and an in-vehicle system comprising: a communication unit that transmits a warning request to the information processing terminal when it is predicted that there is a possibility of a collision as a result of the collision prediction process.
  • the collision prediction unit predicts using a distance and a relative angle with the information processing terminal measured by UWB (Ultra Wide Band) communication with the information processing terminal
  • the possibility of collision with the user of the information processing terminal is predicted based on the distance between the predicted relative position and the predicted position of the car after t seconds, which is predicted based on the position, speed, and acceleration of the car.
  • the information processing system according to (7) above.
  • the in-vehicle system includes an in-area information updating unit that acquires the location information, terminal ID, and UWB discovery token of the information processing terminal existing in the area as in-area terminal information and updates an in-area terminal information list.
  • the in-area information updating unit updates the in-area terminal information list at the timing when the automobile moves across the boundary of the area divided at predetermined intervals.
  • (11) Among the information processing terminals for which the in-area terminal information is registered in the in-area terminal information list, the information processing terminal is alerted to the information processing terminal within a specific alert range including at least a range extending toward the front of the vehicle.
  • the information processing system according to (9) or (10) above, wherein the in-vehicle system has an alert target terminal search unit that searches for a target terminal.
  • brake control is performed so that the automobile stops suddenly.
  • the on-vehicle system has a vehicle control unit that performs brake control so that the vehicle decelerates when the time is less than or equal to a second threshold time that is longer than the first threshold time.
  • the information processing system according to (13) Adopting a head-up display as the second warning notification unit that draws information on the windshield of the vehicle for alerting the driver of the vehicle based on the collision prediction process From (7) above (12)
  • the communication unit transmits a warning request to the information processing terminal, and notifies the warning to a predetermined device that is pre-associated with the information processing terminal and registered (7) to (13) above.
  • the information processing system according to any one of the preceding is any one of the preceding.
  • Information processing system In the information processing terminal, Determining a monitoring priority level using at least one of a location risk level based on the current location, a state risk level estimated from the user's state, and a sudden behavior risk level based on acceleration or angular velocity; When it is predicted that there is a possibility of collision as a result of collision prediction processing for predicting the possibility of the user colliding with the automobile based on the monitoring priority level, a warning is sent to the user and the automobile.
  • 11 Danger avoidance system 12 network, 13 information communication terminal, 14 in-vehicle system, 15 server, 16 automobile, 21 inertial sensor unit, 22 voice acquisition unit, 23 application information acquisition unit, 24 positioning unit, 25 warning notification unit, 26 emergency Behavior detection unit, 27 State recognition unit, 28 Location risk determination unit, 29 Map information acquisition unit, 30 UWB measurement unit, 31 Monitoring priority determination unit, 32 Communication unit, 41 Vehicle information acquisition unit, 42 Position measurement unit, 43 UWB Measurement unit, 44 Vehicle control unit, 45 Warning notification unit, 46 In-area information update unit, 47 In-area information storage unit, 48 Alert target terminal search unit, 49 Alert target terminal information storage unit, 50 Collision prediction unit, 51 Communication unit , 61 Communication unit, 62 Discovery token management unit, 63 Discovery token holding unit, 64 Session management unit, 65 Session holding unit, 66 Map information management unit, 67 Map information holding unit,

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、より高精度な危機回避を実現することができるようにする情報処理装置および情報処理方法、並びに情報処理システムに関する。 情報処理装置は、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する警告通知部とを備える。本技術は、例えば、危険を回避する危険回避システムに適用できる。

Description

情報処理装置および情報処理方法、並びに情報処理システム
 本開示は、情報処理装置および情報処理方法、並びに情報処理システムに関し、特に、より高精度な危機回避を実現することができるようにした情報処理装置および情報処理方法、並びに情報処理システムに関する。
 近年の技術進歩によって自動車事故による死亡者数の全体の件数は減少傾向にあるものの、子供の事故件数は一定数で留まっていることが報告されている。その理由として、子供は、急な挙動が多いことや背丈が小さくて死角になりがちであることなどが一因として挙げられている。
 また、一部の先進運転支援システム(ADAS:Advanced Driver-Assistance Systems)では、ステレオカメラや赤外線カメラなどを使った歩行者検知機能が搭載されている。しかしながら、例えば、道路脇の植木によって死角になっている公園からの飛び出しや十字路の曲がり角からの飛び出しなどは、車載カメラまたは車載センサに基づく先進運転支援システムだけでは回避できないと考えられている。
 一方で、近年、例えば、子供用のスマートウォッチや携帯電話機などが普及しており、そのような情報通信端末を携帯する子供が増えている。こうした背景を鑑みて、子供を含むユーザが所有する情報通信端末と先進運転支援システムとを連携することで事故を回避する通知システムが提案されている。
 例えば、特許文献1には、ヘッドフォンやゲーム機などのユーザが携帯する電子機器について、ユーザの注意力が不十分であると推定した際に、物体(例えば、車や壁など)との相対位置関係に基づいて衝突予測を行い、ユーザに警告することで危険回避する電子機器が開示されている。
特開2007-334609号公報
 ところで、特許文献1で開示されている技術では、慣性センサや地図情報に基づくリスク推定結果を利用することは想定されていないため、高精度に危機回避することは困難であった。
 本開示は、このような状況に鑑みてなされたものであり、より高精度な危機回避を実現することができるようにするものである。
 本開示の第1の側面の情報処理装置は、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する警告通知部とを備える。
 本開示の第1の側面の情報処理方法は、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することとを含む。
 本開示の第1の側面においては、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルが決定され、その監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知される。
 本開示の第2の側面の情報処理システムは、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する第1の警告通知部とを有する情報処理端末と、前記自動車に搭載され、前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行う衝突予測部と、前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知する第2の警告通知部と、前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信する通信部とを有する車載システムとを備える。
 本開示の第2の側面の情報処理方法は、情報処理端末において、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することと前記自動車に搭載される車載システムにおいて、前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行うことと、前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知することと、前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信することとを含む。
 本開示の第2の側面においては、現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルが決定され、その監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告が通知される。さらに、自動車の現在位置が含まれる所定のエリア内に存在する情報処理端末のうち、警戒対象となっている情報処理端末を対象として衝突予測処理が行われ、衝突予測処理の処理結果として衝突の可能性があると予測された場合、自動車の運転手に対する警告が通知されるとともに、情報処理端末に対して警告のリクエストが送信される。
本技術を適用した危険回避システムの第1の実施の形態の構成例を示す図である。 情報通信端末の構成例を示すブロック図である。 車載システムの構成例を示すブロック図である。 サーバの構成例を示すブロック図である。 危険回避処理の全体的な処理の概要を説明するフローチャートである。 エリア情報の更新について説明する図である。 警戒対象端末の決定について説明する図である。 警戒対象端末の決定について説明する図である。 警戒対象外となった情報通信端末について説明する図である。 危険度のデータセットおよび位置リスクレベルの一例を示す図である。 状態認識処理によって認識される行動の一例を示す図である。 状態認識処理から求められる状態リスクレベルの一例を示す図である。 状態認識結果の一例を示す図である。 急挙動検知処理から求められる急挙動リスクレベルの一例を示す図である。 距離および角度を計測する一例を示す図である。 t秒後の情報通信端末の座標を求める一例を示す図である。 式(10)の条件表の一例を示す図である。 等加速度直線運動のモデルの一例を示す図である。 第1の閾値時間および第2の閾値時間の一例を示す図である。 位置情報更新処理を説明するフローチャートである。 警戒対象端末検索処理、セッション確立処理、およびセッション解放処理を説明するフローチャートである。 監視優先度レベル判定処理を説明するフローチャートである。 衝突予測処理およびブレーキ制御処理を説明するフローチャートである。 加速度を用いた急挙動検知処理を説明するフローチャートである。 角速度を用いた急挙動検知処理を説明するフローチャートである。 本技術を適用した危険回避システムの第2の実施の形態の構成例を示す図である。 情報通信端末の構成例を示すブロック図である。 本技術を適用した危険回避システムの第3の実施の形態の構成例を示す図である。 情報通信端末および車載システムの構成例を示すブロック図である。 ヘッドアップディスプレイによる注意喚起について説明する図である。 スマートウォッチおよびヒアラブル機器を利用した応用例について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
 以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
 <危険回避システムの第1の構成例>
 図1は、本技術を適用した危険回避システムの第1の実施の形態の構成例を示す図である。
 図1に示すように、危険回避システム11は、ネットワーク12を介して、情報通信端末13、車載システム14、およびサーバ15が接続されて構成される。また、ユーザにより持ち運ばれる情報通信端末13、および、自動車16に組み込まれている車載システム14は、超広帯域で無線通信を行う技術であるUWB(Ultra Wide Band)を利用して、互いの距離および相対角度を計測することができる。
 ネットワーク12は、例えば、携帯電話の通信網を含むインターネットなどの通信回線である。
 情報通信端末13は、いわゆるスマートフォンなどのように通信機能を備えた情報処理装置であり、危険回避システム11における危険回避処理に基づいて、危険を回避するための警告をユーザに対して通知することができる。
 車載システム14は、自動車16が備える先進運転支援システムの一部として組み込むことができ、危険回避システム11における危険回避処理に基づいて、危険を回避するためのブレーキ制御を行うことや警告を運転手に対して通知することができる。
 サーバ15は、いわゆるクラウド上に構築され、危険回避システム11における危険回避処理を行うのに必要な各種の情報を情報通信端末13および車載システム14に提供する。
 図2は、情報通信端末13の構成例を示すブロック図である。
 図2に示すように、情報通信端末13は、慣性センサ部21、音声取得部22、アプリ情報取得部23、測位部24、警告通知部25、急挙動検知部26、状態認識部27、位置危険度判定部28、地図情報取得部29、UWB計測部30、監視優先度決定部31、および通信部32を備えて構成される。
 慣性センサ部21は、例えば、加速度センサおよびジャイロセンサにより構成され、情報通信端末13の動きに伴った慣性データを取得して、急挙動検知部26および状態認識部27に供給する。
 音声取得部22は、例えば、マイクロフォンにより構成され、情報通信端末13のユーザが発話する音声データを取得して、状態認識部27に供給する。
 アプリ情報取得部23は、情報通信端末13にインストールされているアプリケーションの使用状況を示すアプリ情報を取得して、状態認識部27に供給する。
 測位部24は、例えば、衛星測位システム(GNSS:Global Navigation Satellite System)を利用して、情報通信端末13の現在位置を把握するための測位データを取得し、位置危険度判定部28および地図情報取得部29に供給する。
 警告通知部25は、例えば、ディスプレイや、スピーカ、振動子などのデバイスにより構成され、危険回避システム11における危険回避処理の処理結果に基づいて、危険を回避するための警告をユーザに対して通知する。
 急挙動検知部26は、慣性センサ部21から供給される慣性データに基づいて、情報通信端末13のユーザの急な行動の変化を検知する急挙動検知処理を行う。そして、急挙動検知部26は、急挙動検知処理の処理結果として求められる急挙動リスクレベルを、監視優先度決定部31に供給する。
 状態認識部27は、慣性センサ部21から供給される慣性データ、音声取得部22から供給される音声データ、および、アプリ情報取得部23から供給されるアプリ情報に基づいて、情報通信端末13のユーザの状態を認識する状態認識処理を行う。そして、状態認識部27は、状態認識処理の処理結果として求められる状態リスクレベルを、監視優先度決定部31に供給する。
 位置危険度判定部28は、測位部24から供給される測位データに応じた情報通信端末13のユーザの位置に基づいて、地図情報取得部29が取得した危険度情報付きの地図情報から、ユーザの位置における位置危険度を判定する位置危険度判定処理を行う。そして、位置危険度判定部28は、位置危険度判定処理の処理結果として求められる位置リスクレベルを、監視優先度決定部31に供給する。
 地図情報取得部29は、測位部24から供給される測位データに応じた情報通信端末13のユーザの位置に基づいて、その位置の近辺における危険度情報付きの地図情報を、通信部32を介してサーバ15に要求する。そして、地図情報取得部29は、サーバ15から送信されてくる危険度情報付きの地図情報を取得して、位置危険度判定部28に供給する。
 UWB計測部30は、UWB通信を利用して、自動車16との距離および相対角度を計測する。
 監視優先度決定部31は、急挙動検知部26から供給される急挙動リスクレベル、状態認識部27から供給される状態リスクレベル、および、位置危険度判定部28から供給される位置リスクレベルのいずれかを少なくとも用いて、情報通信端末13を監視する優先度を示す監視優先度レベルを決定する監視優先度決定処理を行う。
 通信部32は、ネットワーク12を介して、車載システム14およびサーバ15との間で通信を行う。
 図3は、車載システム14の構成例を示すブロック図である。
 図3に示すように、車載システム14は、車両情報取得部41、測位部42、UWB計測部43、車両制御部44、警告通知部45、エリア内情報更新部46、エリア内情報保持部47、警戒対象端末検索部48、警戒対象端末情報保持部49、衝突予測部50、および通信部51を備えて構成される。
 車両情報取得部41は、自動車16の車種や車体サイズなどの属性データ、および、自動車16のリアルタイムな速度や加速度などの自動車挙動または運転に関する車両データを取得して、衝突予測部50に供給する。
 測位部42は、例えば、衛星測位システムを利用して、自動車16の自己位置を把握するための測位データを取得して、衝突予測部50に供給する。
 UWB計測部43は、UWB通信を利用して、情報通信端末13との距離および相対角度を計測する。
 車両制御部44は、危険回避システム11における危険回避処理の処理結果に基づいて、危険を回避するためのアクセルやブレーキなどの自動車16の挙動に関わる制御を行う。
 警告通知部45は、例えば、ディスプレイや、スピーカ、振動子などのデバイスにより構成され、危険回避システム11における危険回避処理の処理結果に基づいて、危険を回避するための警告を運転手に対して通知する。
 エリア内情報更新部46は、自動車16の現在位置が含まれるエリアを中心とした周囲のエリア内に存在する情報通信端末13の位置情報、端末ID、およびUWBのディスカバリートークン(以下、適宜、エリア内端末情報と称する)をサーバ15から取得する。そして、エリア内情報更新部46は、必要なタイミングで、エリア内情報保持部47に保持されているエリア内端末情報リストを更新する。
 エリア内情報保持部47は、エリア内情報更新部46によって更新されるエリア内端末情報が登録されるエリア内端末情報リストを保持する。
 警戒対象端末検索部48は、エリア内情報保持部47のエリア内端末情報リストにエリア内端末情報が登録されている情報通信端末13の中から、自動車16の近辺にいて衝突リスクの監視の要否判断が必要な情報通信端末13を、警戒対象として検索する警戒対象端末検索処理を行う。例えば、警戒対象端末検索部48は、警戒対象端末検索処理の処理結果として、警戒対象とすべき情報通信端末13が新たに検出された場合には、その新たに検出された情報通信端末13のエリア内端末情報を、警戒対象端末情報として警戒対象端末情報保持部49の警戒対象端末リストに登録する。一方、警戒対象端末検索部48は、警戒対象端末検索処理の処理結果として、警戒対象としていた情報通信端末13のうち、警戒対象外となった情報通信端末13がある場合には、その警戒対象外となった情報通信端末13の警戒対象端末情報を、警戒対象端末情報保持部49の警戒対象端末リストから削除する。
 警戒対象端末情報保持部49は、警戒対象端末検索部48によって警戒対象端末情報が登録される警戒対象端末リストを保持する。
 衝突予測部50は、警戒対象の情報通信端末13から送信されてきた監視優先度レベルが高い順番で、車両情報取得部41から供給される車両データ、測位部42から供給される測位データ、並びに、UWB計測部43により計測される警戒対象の情報通信端末13との距離および相対角度を用いて、警戒対象の情報通信端末13のユーザが自動車16と衝突する可能性を予測する衝突予測処理を行う。そして、衝突予測部50は、衝突予測処理の処理結果として衝突の可能性があると予測された場合、警告通知部45に対する制御を行って運転手に対する警告を通知させ、車両制御部44に対する制御を行ってブレーキ制御を行わせる。さらに、この場合、衝突予測部50は、警戒対象の情報通信端末13のユーザに対して警告するように、通信部51を介して、警戒対象の情報通信端末13に対する警告リクエストを送信する。
 通信部51は、ネットワーク12を介して、情報通信端末13およびサーバ15との間で通信を行う。
 図4は、サーバ15の構成例を示すブロック図である。
 図4に示すように、サーバ15は、通信部61、ディスカバリートークン管理部62、ディスカバリートークン保持部63、セッション管理部64、セッション保持部65、地図情報管理部66、および地図情報保持部67を備えて構成される。
 通信部61は、ネットワーク12を介して、情報通信端末13および車載システム14との間で通信を行う。
 ディスカバリートークン管理部62は、情報通信端末13および車載システム14の間におけるUWBのセッション確立に必要なディスカバリートークンを管理し、ディスカバリートークン保持部63が保持するディスカバリートークンデータベースのリード/ライトを行う。
 ディスカバリートークン保持部63は、ディスカバリートークン管理部62による管理に従って、ディスカバリートークンが格納されるディスカバリートークンデータベースを保持する。また、ディスカバリートークンデータベースには、ディスカバリートークンとともに、情報通信端末13の位置情報および端末IDが格納される。
 セッション管理部64は、情報通信端末13および車載システム14の間におけるUWBのセッション、並びに、情報通信端末13および車載システム14のピアに関する情報を管理し、セッション保持部65が保持するセッションデータベースのリード/ライトを行う。
 セッション保持部65は、セッション管理部64による管理に従って、セッションおよびピアに関する情報が格納されるセッションデータベースを保持する。
 地図情報管理部66は、情報通信端末13からの要求に応じた必要な箇所の危険度情報付きの地図情報を、地図情報保持部67に保持されている地図情報データベースから検索して、情報通信端末13へ送信する。
 地図情報保持部67は、危険度情報付きの地図データが格納された地図情報データベースを保持する。例えば、地図情報データベースの危険度は、自動車の急ブレーキデータや、交通事故多発箇所、ヒューリスティクスに基づく危険個所(例えば、死角が多い交差点等)などに基づいたリスクスコアにより構築されたデータセットが用いられる。もちろん、危険度情報付きの地図データとは逆に、安全であると確認された個所の安全度情報付きの地図データを用いてもよく、この場合、ユーザの位置に基づいた安全度から位置リスクレベルが求められる。
 以上のように構成される危険回避システム11は、急挙動リスクレベル、状態リスクレベル、および位置リスクレベルを用いて監視優先度レベルが決定され、監視優先度レベルが高い順番で警戒対象の情報通信端末13ごとに衝突予測が行われる。そして、危険回避システム11は、このような衝突予測によって衝突の可能性があると予測された場合に、自動車16のブレーキを制御したり、情報通信端末13のユーザおよび自動車16の運転手に警告を発信したりすることで、より高精度な危機回避を実現することができる。
 <危険回避処理の概要>
 図5は、危険回避システム11において実行される危険回避処理の全体的な処理の概要を説明するフローチャートである。
 ステップS11において、サーバ15では、情報通信端末13の位置情報(位置情報を含むエリア内端末情報)を更新する位置情報更新処理が行われる。例えば、ステップS11の位置情報更新処理がバックグランドでインターバル実行されることで、定期的に、情報通信端末13の位置情報が更新される。
 ステップS12において、車載システム14では、ステップS11で更新された位置情報が取得された情報通信端末13の中から、自動車16の近辺となる特定の警戒範囲内(図7および図8参照)にある情報通信端末13を警戒対象として検索する警戒対象端末検索処理が行われる。
 ステップS13において、車載システム14では、ステップS12の警戒対象端末検索処理の処理結果に基づいて、警戒対象とすべき情報通信端末13が新たに検出されたか否かが判定される。
 ステップS13において、警戒対象とすべき情報通信端末13が新たに検出されたと判定された場合、処理はステップS14に進み、その新たに検出された情報通信端末13と車載システム14との間でUWBのセッションを確立するセッション確立処理が行われる。ステップS14の処理後、または、ステップS13で警戒対象とすべき情報通信端末13が新たに検出されなかったと判定された場合、処理はステップS15に進む。
 ステップS15において、車載システム14では、ステップS12の警戒対象端末検索処理の処理結果に基づいて、警戒対象としていた情報通信端末13のうち、警戒対象外となった情報通信端末13があるか否かを判定する。
 ステップS15において、警戒対象外となった情報通信端末13があると判定された場合、処理はステップS16に進み、その警戒対象外となった情報通信端末13と車載システム14との間でUWBのセッションを解放するセッション解放処理が行われる。ステップS16の処理後、または、ステップS15で警戒対象外となった情報通信端末13がないと判定された場合、処理はステップS17に進む。
 ステップS17において、警戒対象の情報通信端末13では、急挙動リスクレベル、状態リスクレベル、および位置リスクレベルを用いて監視優先度レベルを決定する監視優先度レベル決定処理が行われる。
 ステップS18において、車載システム14では、ステップS17の監視優先度レベル決定処理で決定された監視優先度レベルが高い順番で、警戒対象の情報通信端末13のユーザが自動車16と衝突する可能性を予測する衝突予測処理が行われる。
 ステップS19において、車載システム14では、ステップS18の衝突予測処理の処理結果に基づいて、所定の閾値時間t秒以内に衝突の危険があるか否かを判定する。ステップS19において、所定の閾値時間t秒以内に衝突の危険がないと判定された場合、処理はステップS12に戻って、以下、同様の処理が繰り返して行われる。一方、ステップS19において、所定の閾値時間t秒以内に衝突の危険があると判定された場合、処理はステップS20に進む。
 ステップS20において、車載システム14では、ステップS18の衝突予測処理で衝突の可能性があると予測された警戒対象の情報通信端末13と衝突するまでの予測時間に応じてブレーキを制御するブレーキ制御処理が行われる。
 ステップS21において、車載システム14では運転手に警告を発信し、衝突の可能性があると予測された警戒対象の情報通信端末13ではユーザに警告を発信する警告発信処理が行われ、処理はステップS12に戻る。
 以上のような危険回避処理が危険回避システム11において実行されることによって、より高精度な危機回避を実現することができる。
 <エリア内端末情報の更新>
 図6を参照して、図5のステップS11の位置情報更新処理で行われるエリア内端末情報の更新について説明する。
 例えば、危険回避システム11では、危険回避処理の高速化を図ることを目的として、自動車16の周辺に存在する情報通信端末13の位置情報などを、予めリストとして車載システム14にダウンロードしておくことができる。
 図6に示すように、所定の間隔(図6に示す例では1km)ごとの境界で地図を分割したグリッドを基準として、自動車16の現在位置が含まれるエリアを中心とした3×3のエリアを、情報通信端末13の位置情報などをダウンロードする対象とする対象エリアとする。つまり、図6の上側に示すように、ハッチングが施されている9つのエリアが対象エリアとなる。そして、危険回避システム11では、対象エリア内に存在する情報通信端末13の位置情報、端末ID、およびUWBのディスカバリートークンが、エリア内端末情報としてサーバ15から車載システム14へダウンロードされる。
 その後、図6の下側に示すように、自動車16がエリアの境界を跨ぐように移動すると、移動後の自動車16の現在位置が含まれるエリアを中心とした3×3のエリアが、新たな対象エリアとなる。このように、自動車16がエリアの境界を跨ぐように移動したタイミングで、危険回避システム11では、その移動後の対象エリア内に存在する情報通信端末13によってエリア内端末情報が更新される。なお、自動車16がエリアの境界を跨ぐような移動をしない場合でも、前回のエリア内端末情報の更新から一定時間が経過したタイミングで、エリア内端末情報を更新するようにしてもよい。
 <警戒対象端末の決定>
 図7および図8を参照して、図5のステップS12における警戒対象端末検索処理における警戒対象端末の決定について説明する。
 例えば、危険回避システム11では、対象エリア内に存在する情報通信端末13のうち、自動車16の近辺となる特定の警戒範囲内にある情報通信端末13が、警戒対象の情報通信端末13として検出される。
 車載システム14では、警戒対象端末検索部48が、測位部42から取得した自動車16の位置情報と、エリア内端末情報に含まれる情報通信端末13の位置情報とに基づいて、自動車16および情報通信端末13の間の距離を算出する。そして、警戒対象端末検索部48は、自動車16および情報通信端末13の間の距離と、車両情報取得部41から取得した自動車16の速度から求められる警戒距離Rとに基づいて、警戒対象の情報通信端末13を決定する。
 ここで、警戒距離Rは、警戒対象の情報通信端末13を決定するための閾値となる距離であり、次の式(1)に示すように、自動車16の速度S、および、衝突予測する時間範囲Tを用いて求められる。
Figure JPOXMLDOC01-appb-M000001
 従って、警戒対象端末検索部48は、図7の上側に示すように、警戒距離Rを半径とした円形状の警戒範囲内にある情報通信端末13を、即ち、自動車16との距離が警戒距離R未満となる情報通信端末13を、警戒対象の情報通信端末13として決定する。
 例えば、図7の上側に示す例では、情報通信端末13a乃至13eのうち、自動車16を中心として警戒距離Rを半径とした円形状の警戒範囲内にある情報通信端末13b乃至13dが、警戒対象の情報通信端末13として決定される。このとき、自動車16の進行方向以外にある情報通信端末13には衝突リスクがないと考えられることより、そのような衝突リスクがない情報通信端末13まで、警戒対象の情報通信端末13とした場合には、不要な処理が増加することになる。
 そこで、図7の下側に示すように、警戒対象の情報通信端末13は、警戒対象の情報通信端末13を、自動車16の前方にある情報通信端末13に限定する。即ち、自動車16を中心として警戒距離Rを半径として、自動車16の前方に向かうように広がる扇形状の警戒範囲内にある情報通信端末13bおよび13cが、警戒対象の情報通信端末13として決定される。このように警戒対象の情報通信端末13を限定することで、例えば、上述した図5のステップS13以降の処理を軽減することができる。
 ところで、警戒対象の情報通信端末13の決定は、実際には、自動車16の移動に伴って逐次更新することが必要となる。そこで、図8に示すように、警戒対象端末検索部48は、警戒距離R2の扇形状を警戒範囲とし、警戒距離R1から警戒距離R2までの範囲を、警戒対象の情報通信端末13を新たに検出するための見込み幅とする。つまり、警戒距離R1の扇形状を警戒範囲内にある警戒対象の情報通信端末13は、既に検出済みとして処理を行うことが現実的である。
 ここで、次の式(2)に示すように、警戒距離R1は、自動車16の速度Sおよび第1の時間範囲T1を用いて求められ、警戒距離R2は、自動車16の速度Sおよび第2の時間範囲T2を用いて求められる。
Figure JPOXMLDOC01-appb-M000002
 従って、警戒対象端末検索部48は、図8の上側に示すように、警戒距離R2の扇形状の警戒範囲のうち、警戒距離R1から警戒距離R2までの範囲にある情報通信端末13cを、警戒対象として新たに検出する。その後、図8の下側に示すように自動車16が移動すると、警戒対象端末検索部48は、警戒距離R1の範囲内にある情報通信端末13cは既に警戒対象として検出済みとして、警戒距離R1から警戒距離R2までの範囲にある情報通信端末13bを、警戒対象として新たに検出する。
 <警戒対象外の情報通信端末の判定>
 図9を参照して、図5のステップS15において警戒対象外となった情報通信端末13を判定する処理について説明する。
 例えば、危険回避システム11では、警戒対象の情報通信端末13のうち、進行方向に対して自動車16の現在位置よりも後方側の位置にある情報通信端末13は、警戒対象外となったと判定することができる。
 例えば、図9に示すように、破線で示す自動車16の位置では、情報通信端末13dは警戒対象となる。そして、自動車16の移動に伴って、情報通信端末13dが自動車16よりも後方側となると、警戒対象端末検索部48は、情報通信端末13dは警戒対象外となったと判定することができる。そして、警戒対象外となったと判定された情報通信端末13dとのセッションが解放されるとともに、警戒対象端末検索部48は、警戒対象端末情報保持部49に保持されている警戒対象端末リストから情報通信端末13dの警戒対象端末情報を削除する。
 <監視優先度レベルの決定>
 図10乃至図14を参照して、図5のステップS17における監視優先度レベル決定処理で用いられる位置リスクレベル、状態リスクレベル、および急挙動リスクレベルについて説明する。
 例えば、情報通信端末13では、位置危険度判定部28、状態認識部27、および急挙動検知部26によって、ユーザのリスクスコアが推定され、位置リスクレベル、状態リスクレベル、および急挙動リスクレベルが求められる。そして、監視優先度決定部31は、それらのリスクレベルに基づいた4段階のモード(非監視モード、低優先度監視モード、要注意監視モード、および最優先監視モード)で、最終的な監視優先度レベルを決定することができる。
 図10には、位置危険度判定部28において行われる位置危険度判定処理の処理結果として求められる位置リスクレベルの一例が示されている。
 位置危険度判定部28には、情報通信端末13を所持するユーザが現在いる位置に従って、サーバ15の地図情報保持部67から地図情報取得部29が取得した、その位置における危険度のデータセットが供給される。そして、位置危険度判定部28は、危険度のデータセットに基づいて、情報通信端末13を所持するユーザの現在の位置から推定される位置リスクレベルを判定する。
 例えば、図10のAに示すように、危険度のデータセットは、場所カテゴリにリスクスコアが対応付けられた構成、並びに、住所および種別にリスクスコアが対応付けられた構成となっている。そして、位置危険度判定部28は、情報通信端末13の現在位置に基づいて、現在位置の地図上の場所に従った場所カテゴリに対応するリスクスコアと、現在位置の住所および種別に対応するリスクスコアとを足し合わせた合計のリスクスコアから、位置リスクレベルを判定することができる。即ち、合計のリスクスコアが0~2であれば位置リスクレベルLv0(安全)と判定され、合計のリスクスコアが3~5であれば位置リスクレベルLv1(リスクあり)と判定され、合計のリスクスコアが6以上であれば位置リスクレベルLv2(リスク高い)と判定される。
 このような位置リスクレベルの判定に基づき、図10のBに示すように、ガードレールまたは植栽のある歩道は、位置リスクレベルLv0と判定される。同様に、公園や横断歩道は、位置リスクレベルLv1と判定され、車道は、位置リスクレベルLv2と判定される。
 図11には、状態認識部27がユーザの状態を認識するための慣性センサ部21、音声取得部22、およびアプリ情報取得部23の出力に基づく認識対象行動の一例が示されている。
 慣性センサ部21から出力される慣性データ(加速度および角速度の両方、または、いずれか一方のみ)を利用して、機械学習もしくは深層学習、または、信号処理により認識対象行動をクラシフィケーションする処理が行われる。これにより、認識対象行動が、例えば、立ち止まっている、歩いている、走っている、自転車に乗っている、自転車以外の乗り物に乗っている、不定(例えば、公園で遊んでいる等)に分類される。
 音声取得部22から出力される音声データを利用して、人の音声とみなせる区間が検出されたか否かをもって「会話している」または「会話していない」とみなす処理が行われる。音声データは、スマートウォッチやヒアラブル機器などのユーザの音声を拾うことができる形状の端末が有すマイクにより取得される。例えば、音声データに対して音声区間検出(VAD:Voice. Activity Detection)を行う公知の技術が多く知られており、音声信号のパワーやMFCC(Mel-Frequency Cepstrum Coefficients)などの特徴量を利用したり、GMM(Gaussian Mixture Model)や深層学習によりモデリングしたりする手法がある。これにより、認識対象行動が、例えば、会話している、会話していないに分類される。
 アプリ情報取得部23から出力されるアプリ情報を利用して、例えば、スマートフォンのように画面を有す端末の場合には、アプリをフォアグラウンドで使用している場合には画面を注視している可能性が高く、音楽を再生している場合は自動車等の音は聞こえないため、それぞれリスク推定の根拠とする処理が行われる。これにより、認識対象行動が、例えば、フォアグラウンドでアプリを使用している、音楽を再生している、何もしていないに分類される。
 図12には、状態認識部27において行われる状態認識処理の処理結果として求められる状態リスクレベルの一例が示されている。
 例えば、状態認識部27は、慣性センサ部21の出力に基づいて分類された認識対象行動に対応するリスクスコア、音声取得部22の出力に基づいて分類された認識対象行動に対応するリスクスコア、および、アプリ情報取得部23の出力に基づいて分類された認識対象行動に対応するリスクスコアを足し合わせた合計のリスクスコアから、状態リスクレベルを求めることができる。即ち、合計のリスクスコアが0~1であれば状態リスクレベルLv0(安全)と求められ、合計のリスクスコアが2~5であれば状態リスクレベルLv1(リスクあり)と求められ、合計のリスクスコアが6以上であれば状態リスクレベルLv2(リスク高い)と求められる。
 具体的には、図13に示すように、安全な場所に立ち止まっている状態認識結果は合計のリスクスコアが0と求められ、安全な場所を歩いている状態認識結果は合計のリスクスコアが1と求められる。歩きながら会話している、および、歩きながら音楽を聴いている状態認識結果は合計のリスクスコアが2と求められ、自転車に乗っているが他のことはしていない状態認識結果は合計のリスクスコアが3と求められる。歩きながらアプリを使用している、自転車に乗りながら会話している、自転車に乗りながら音楽を再生している、子供が位置危険度レベル1の場所で友達と遊んでいる状態認識結果は合計のリスクスコアが4と求められる。自転車に乗りながらアプリを使用している状態認識結果は合計のリスクスコアが6と求められる。
 なお、単体の情報通信端末13から得られる情報により状態リスクレベルを求める他、例えば、複数の端末(例えばスマートウォッチとスマートフォン等)の情報を統合して状態リスクレベルを求めるようにしてもよい。
 図14には、急挙動検知部26において行われる急挙動検知処理の処理結果として求められる急挙動リスクレベルの一例が示されている。
 例えば、急挙動検知部26は、慣性センサ部21から供給される慣性データに基づいて、情報通信端末13のユーザによる急激な挙動の変化を検知することができる。そして、急に止まるという急挙動が検知された場合には、リスクスコアが1となって急挙動リスクレベルLv0(安全)と求められる。また、急に走り出すという急挙動が検知された場合には、リスクスコアが3となって急挙動リスクレベルLv1(リスクあり)と求められる。また、転倒するという急挙動、および、急に方向を変えるという急挙動が検知された場合には、リスクスコアが4となって急挙動スクレベルLv2(リスク高い)と求められる。
 なお、急挙動検知部26は、これらの急挙動を検知するために公知の行動認識技術を利用することができ、例えば、後述する図24および図25に示すフローチャートに従った処理により急挙動を検知することができる。
 そして、監視優先度決定部31は、位置危険度判定部28により求められた位置リスクレベル、状態認識部27により求められた状態リスクレベル、急挙動検知部26により求められた急挙動リスクレベルに基づいて、4段階のモードで監視優先度レベルを決定する。例えば、監視優先度決定部31は、位置リスクレベルLv0の場合、監視優先度レベルを非監視モードと決定する。また、監視優先度決定部31は、位置リスクレベルLv1またはLv2の場合、状態リスクレベルLv0であれば、監視優先度レベルを低優先度監視モードと決定し、状態リスクレベルLv1またはLv2であれば、監視優先度レベルを要注意監視モードと決定する。また、監視優先度決定部31は、位置リスクレベルLv1またはLv2の場合、急挙動リスクレベルLv1以上(急挙動を検知)であれば、監視優先度レベルを最優先監視モードと決定する。
 車載システム14では、このように決定された監視優先度レベルに基づいて、例えば、監視優先度レベルが高い順番で、衝突予測部50が、警戒対象の情報通信端末13のユーザが自動車16と衝突する可能性を予測する衝突予測処理を行う。監視優先度レベルの順番は、最優先監視モードが1番目に高く、要注意監視モードが2番目に高く、低優先度監視モードが3番目に高く、非監視モードが最も低くなる。なお、複数の情報通信端末13の監視優先度レベルが同一である場合、位置危険度判定部28、状態認識部27、および急挙動検知部26が推定したユーザのリスクスコアを加算して、その合計のリスクスコアが高い情報通信端末13が優先される順番で衝突予測処理が行われる。また、合計のリスクスコアが同一の情報通信端末13については、任意の順番で衝突予測処理が行われる。
 <衝突予測>
 図15乃至図18を参照して、図5のステップS18の衝突予測処理について説明する。
 例えば、衝突予測部50は、監視優先度レベルが高い順番で情報通信端末13を衝突予測対象として、衝突予測対象の情報通信端末13に対するUWB計測部43の計測結果に基づいて衝突予測処理を実行する。衝突予測処理では、自動車16の速度、自動車16の加速度、自動車16の位置から衝突予測対象の情報通信端末13までの距離、および、自動車16の現在位置に対する衝突予測対象の情報通信端末13の角度を利用することができる。
 以下の説明では、衝突予測のアルゴリズムやモデルは精度や応答性等の要求性能に応じて考えられ得る種々の方法うちの、コンセプトの例示として最もシンプルな方法の一つを示す。また、簡易に示すため、自動車16の車体の大きさや形状、情報通信端末13および自動車16の確率的な動き変化等は考慮していない。また、ここでは実空間のうち高さ方向を無視した二次元空間上で簡易化したモデルを用いた衝突予測について説明する。即ち、実際には、立体交差などの特殊条件を除いて、短時間の移動で衝突予測に影響を与えるほどに高さが変化することはないため、二次元のモデルでも十分に効果を発揮しうる。なお詳述はしないが、当然、自動車16の車体の大きさや形状、情報通信端末13および自動車16の確率的な動き変化等を考慮した拡張や、周辺の三次元的な地形情報を加味した三次元空間のモデルを利用した拡張などを適用することができ、そのような各種の拡張を適用した衝突予測も本技術の範疇に含まれるものとする。
 例えば、図15に示すように、衝突予測部50は、処理対象の情報通信端末13との距離dおよび角度θを、3回計測する。そして、衝突予測部50は、1回目の計測時における自動車16の位置Cから見た情報通信端末13の相対位置P、2回目の計測時における自動車16の位置Cから見た情報通信端末13の相対位置P、3回目の計測時における自動車16の位置Cから見た情報通信端末13の相対位置Pを把握する。
 例えば、情報通信端末13の相対位置P(x,y)は、次の式(3)に示すように、自動車16の位置C、並びに、処理対象の情報通信端末13との距離dおよび角度θで表すことができる。例えば、情報通信端末13の相対位置P(x,y)は、自動車16の進行方向をX軸とし、位置Cを原点とした二次元直交座標をグローバル座標として求められる。
Figure JPOXMLDOC01-appb-M000003
 衝突予測部50は、情報通信端末13の移動軌跡に基づいて、次の式(4)、式(5)、および式(6)に示すように、情報通信端末13の平均移動速度vaveおよび平均角速度ωaveを求める。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 衝突予測部50は、ここで求めた平均移動速度vaveおよび平均角速度ωaveで情報通信端末13の移動運動が等速円運動として継続するものと仮定する。また、衝突予測部50は、3回目の計測時における自動車16の位置Cでの加速度を継続して自動車16が直進するものと仮定する。そして、衝突予測部50は、t秒後における自動車16の予測位置C、および、t秒後における情報通信端末13の予測相対位置Pを計算し、自動車16と情報通信端末13との距離が閾値以下となる場合に衝突の可能性があるものと予測する。
 例えば、t秒後の情報通信端末13の座標P(x(t),y(t))は、図16に示すように、相対位置P(x,y)から相対位置P(x,y)に向かうベクトルを接線とした円弧上で、相対位置P(x,y)を初期位置とし、平均移動速度vaveおよび平均角速度ωaveで回転する等速円運動による近似として求める。このとき、等速円運動の軌跡を表す半径rの仮想円の中心O(xorg,yorg)を原点とし、自動車16の進行方向をX軸方向とした二次元直交座標系を仮定する。そして、図16に示すように、初期位置である相対位置P(x,y)とX軸とが成す角度α、角度の変位Δα、角度αの導出に必要なX軸方向の単位ベクトルと、相対位置P(x,y)から相対位置P(x,y)に向かうベクトルとが成す角度βが定義される。なお、図15では、情報通信端末13が上方から下方に向かって移動する様子が示されているが、図16では、第一象限で議論するためにベクトルの向きを変えている。
 このように各変数を定義すると、t秒後の情報通信端末13の座標P(x(t),y(t))は、式(12)のように表すことができ、半径r、角度の変位Δα、角度β、角度α、および中心O(xorg,yorg)を表す式(7)乃至式(11)を代入して式変形することで、平均移動速度vaveおよび平均角速度ωaveと過去の情報通信端末13の相対位置PおよびPとによりt秒後の情報通信端末13の予測相対位置Pを求めることができる。なお、式(10)の条件表は、図17に示す通りである。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 ここで更に、平均移動速度vave、平均角速度ωave、並びに、情報通信端末13の相対位置PおよびPは既に述べたように式(3)乃至式(6)で求めることができるため、自動車16の位置C、並びに、処理対象の情報通信端末13との距離dおよび角度θからt秒後の情報通信端末13の予測相対位置Pを求めることができる。
 一方、図18に示すように、3回目の計測時における自動車16の位置Cでの速度Vを初速とし、加速度aを継続した等加速度直線運動のモデルで近似する。これにより、自動車16のt秒後の予測位置C(x(t),y(t))は、次の式(13)に従って求められる。
Figure JPOXMLDOC01-appb-M000013
 最終的に、例えば、自動車16のt秒後の位置C(x(t),y(t))と、情報通信端末13のt秒後の座標P(x(t),y(t))とのユークリッド距離d(C,P)は、次の式(14)に示すように表される。
Figure JPOXMLDOC01-appb-M000014
 そして、衝突予測部50は、次の式(15)に示すように、ユークリッド距離d(C,P)が一定距離Dth以下になるt秒後が存在する場合、衝突の可能性がある(TRUE)と判定し、そのようなt秒後が存在しない場合、衝突の可能性がない(FALSE)と判定する。
Figure JPOXMLDOC01-appb-M000015
 <衝突回避制御>
 図5のステップS20におけるブレーキ制御処理、および、ステップS21における警告発信処理について説明する。
 例えば、危険回避システム11では、衝突を回避するための衝突回避制御として、緊急ブレーキ、減速ブレーキ、および警告のみが定義されている。緊急ブレーキは、最大パワーでブレーキをかけて急停止を試みるブレーキ制御処理であり、減速ブレーキは、搭乗者になるべく負荷をかけない程度のブレーキで減速するブレーキ制御処理である。また、警告のみでは、ブレーキはかけずに警告発信処理のみが行われる。
 衝突予測部50は、算出した衝突までの時間に応じて衝突回避制御を実行する。ここで、第1の閾値時間T1および第2の閾値時間T2は、自動車16の制動距離を簡易モデル化した算出式に基づいて、速度vおよび摩擦係数μ’を用いて、次の式(16)に示すように求められる。
Figure JPOXMLDOC01-appb-M000016
 図19には、自動車16の速度vから求められる制動距離、停止までの時間、並びに、第1の閾値時間T1および第2の閾値時間T2の一例が示されている。
 なお、実際には、自動車16の車重やタイヤの状態、路面の状態等の複数の要因で摩擦係数μ’が決定される。ここでは、摩擦係数μ’は、一般的に濡れた路面条件の制動距離の目安を算出する際に用いられる0.7とした。例えば、車載カメラやその他センサで路面の状態をセンシングすることで摩擦係数μ’を動的に変えて計算してもよい。また、直近のブレーキ操作に対する制動具合のデータから回帰的に摩擦係数μ’を求めるような手法を取り込んでもよい。
 <危険回避処理の詳細>
 図20乃至図25を参照して、図5で説明した危険回避処理について詳細に説明する。
 図20は、図5のステップS11の位置情報更新処理を詳細に説明するフローチャートである。
 ステップS31において、情報通信端末13では、通信部32が、測位部24による測位の結果として得られる位置情報、および、UWB計測部30のディスカバリートークンを、サーバ15へ送信する。
 ステップS32において、サーバ15では、通信部61が、ステップS31で情報通信端末13から送信されてきた位置情報およびディスカバリートークンを受信する。そして、通信部61は、位置情報およびディスカバリートークンを、それらを受信した受信時刻とともに、ユーザ(端末ID)ごとにディスカバリートークン保持部63に保持させる。
 ステップS33において、車載システム14では、エリア内情報更新部46が、エリアの更新が必要であるか否かを判定する。例えば、上述の図6に示したようにエリアの境界が設定されている場合、エリア内情報更新部46は、自動車16の現在位置に基づいて、自動車16がエリアの境界を通過したタイミングで、エリアの更新が必要であると判定することができる。ステップS33において、エリアの更新が必要でないと判定された場合、ステップS34乃至S36の処理はスキップされる。
 一方、ステップS33において、エリアの更新が必要であると判定された場合、処理はステップS34に進み、エリア内情報更新部46は、自動車16の現在位置の位置情報をサーバ15へ送信する。
 ステップS35において、サーバ15では、ディスカバリートークン保持部63が、ステップS34で送信されてきた位置情報に基づいて、自動車16の現在位置が含まれるエリアを中心とした周囲のエリア内に存在する情報通信端末13のエリア内端末情報(位置情報、端末ID、およびディスカバリートークン)を、車載システム14へ返却(送信)する。
 ステップS36において、車載システム14では、エリア内情報更新部46が、ステップS35で送信されてきたエリア内端末情報で、エリア内情報保持部47に保持されているエリア内端末情報リストを更新する。
 図21は、図5のステップS12の警戒対象端末検索処理からステップS16のセッション解放処理までを詳細に説明するフローチャートである。
 ステップS41において、車載システム14では、警戒対象端末検索部48が、上述の図7および図8を参照して説明したように、自動車16の位置および速度に応じて、警戒対象の情報通信端末13を検索する。
 ステップS42において、車載システム14では、警戒対象端末検索部48が、ステップS41の探索の結果、警戒対象とすべき情報通信端末13が新たに検出されたか否かを判定する(図5のステップS13に対応)。
 ステップS42において、警戒対象とすべき情報通信端末13が新たに検出されなかったと判定された場合、ステップS43乃至S48の処理はスキップされる。一方、ステップS42において、警戒対象とすべき情報通信端末13が新たに検出されたと判定された場合、処理はステップS43に進む。
 ステップS43において、警戒対象端末検索部48は、自動車16の位置、UWB計測部43のディスカバリートークン、および、エリア内端末情報リストに登録されている警戒対象の情報通信端末13の更新差分の端末IDのリストを、サーバ15に送信する。
 ステップS44において、サーバ15では、ディスカバリートークン管理部62が、ステップS43で送信されてきた端末IDを持つ情報通信端末13に対して、その端末IDを送信してきた自動車16のディスカバリートークンを、通信部61を介して送信する。
 ステップS45において、情報通信端末13では、通信部32が、ステップS44で送信されてきた自動車16のディスカバリートークンを受信し、UWB計測部30に供給する。
 ステップS46において、情報通信端末13のUWB計測部30は、車載システム14のUWB計測部43との間で、互いのディスカバリートークンを用いてUWBセッションを確立する。
 ステップS47において、車載システム14では、UWB計測部43が、情報通信端末13のUWB計測部30との間でUWBセッションを確立したことをサーバ15へ送信する。
 ステップS48において、サーバ15では、セッション管理部64が、ステップS47でUWBセッションの確立が通知された情報通信端末13および車載システム14のピアに関する情報を、セッション保持部65が保持しているセッションデータベースに書き込む。
 ステップS47の処理後、または、ステップS42で警戒対象とすべき情報通信端末13が新たに検出されなかったと判定された場合、処理はステップS49に進む。ステップS49において、車載システム14では、警戒対象端末検索部48が、上述の図9を参照して説明したように、自動車16の位置に基づいて、警戒対象の情報通信端末13の中から、警戒対象外となった情報通信端末13を検索する。
 ステップS50において、車載システム14では、警戒対象端末検索部48が、ステップS49の探索の結果、警戒対象外となった情報通信端末13があるか否かを判定する(図5のステップS15に対応)。
 ステップS50において、警戒対象外となった情報通信端末13がないと判定された場合、ステップS51乃至S54の処理はスキップされる。一方、ステップS50において、警戒対象外となった情報通信端末13があると判定された場合、処理はステップS51に進む。
 ステップS51において、警戒対象端末検索部48は、警戒対象外となった情報通信端末13とのセッションの解放をサーバ15に対して要求する。
 ステップS52において、サーバ15では、セッション管理部64が、セッション保持部65が保持しているセッションデータベースを参照して、ステップS50でセッションの解放が要求された情報通信端末13に対して、セッションの解放を要求する。
 ステップS53において、情報通信端末13では、UWB計測部30が、車載システム14のUWB計測部43との間のセッションを解放する。
 ステップS54において、車載システム14では、警戒対象端末検索部48が、セッションを解放した情報通信端末13の警戒対象端末情報を、警戒対象端末情報保持部49に保持されている警戒対象端末リストから削除する。
 図22は、図5のステップS17の監視優先度レベル決定処理を詳細に説明するフローチャートである。
 ステップS61において、情報通信端末13では、地図情報取得部29が、測位部24から取得した測位データに従った現在地の地図情報をサーバ15に要求する。
 ステップS62において、サーバ15では、地図情報管理部66が、地図情報保持部67に保持されている地図情報データベースを検索して、ステップS61で要求された所望の地図情報を、情報通信端末13へ返却(送信)する。
 ステップS63において、情報通信端末13では、地図情報取得部29が、ステップS62でサーバ15から送信されてきた地図情報を取得し、位置危険度判定部28に供給する。その地図情報には、上述の図10に示したような危険度のデータセットが付いており、位置危険度判定部28は、地図情報から現在地の位置リスクレベルを取得し、監視優先度決定部31に供給する。
 ステップS64において、監視優先度決定部31は、ステップS64で位置危険度判定部28から供給された位置リスクレベルがLv0(安全)であるか否かを判定する。
 ステップS64において、位置リスクレベルがLv0(安全)であると判定された場合、処理はステップS65に進み、監視優先度決定部31は、監視優先度レベルを非監視モードに遷移する。その後、処理はステップS73に進む。
 一方、ステップS64において、位置リスクレベルがLv0(安全)でないと判定された場合、処理はステップS66に進む。ステップS66において、状態認識部27は、慣性センサ部21から供給される慣性データ、音声取得部22から供給される音声データ、および、アプリ情報取得部23から供給されるアプリ情報に基づいて、上述の図11乃至図13を参照して説明したように、情報通信端末13のユーザの状態を認識する状態認識処理を行う。そして、状態認識部27は、状態認識処理の処理結果として求められる状態リスクレベルを、監視優先度決定部31に供給する。
 ステップS67において、監視優先度決定部31は、ステップS66で状態認識部27から供給された状態リスクレベルがLv0(安全)であるか否かを判定する。
 ステップS67において、位置リスクレベルがLv0(安全)であると判定された場合、処理はステップS68に進み、監視優先度決定部31は、監視優先度レベルを低優先監視モードに遷移する。その後、処理はステップS70に進む。
 一方、ステップS67において、位置リスクレベルがLv0(安全)でないと判定された場合、処理はステップS69に進み、監視優先度決定部31は、監視優先度レベルを要注意監視モードに遷移する。その後、処理はステップS70に進む。
 ステップS70において、急挙動検知部26は、慣性センサ部21から供給される慣性データに基づいて、情報通信端末13のユーザの急な行動の変化を検知する急挙動検知処理を行う。そして、急挙動検知部26は、急挙動検知処理の処理結果として求められる急挙動リスクレベルを、監視優先度決定部31に供給する。
 ステップS71において、監視優先度決定部31は、ステップS70で急挙動検知部26から供給された急挙動リスクレベルに基づいて、急挙動を検知したか否か、即ち、急挙動リスクレベルがLv1以上であるか否かを判定する。
 ステップS71において、急挙動を検知したと判定された場合、処理はステップS72に進み、監視優先度決定部31は、監視優先度レベルを最優先監視モードに遷移する。その後、処理はステップS73に進む。一方、ステップS71において、急挙動を検知したと判定された場合、ステップS72をスキップして、処理はステップS73に進む。
 ステップS73において、監視優先度決定部31は、上述したように決定したいずれかの監視優先度レベルを自動車16へ送信するために、サーバ15に送信する。その後、情報通信端末13では、処理はステップS61、ステップS66、またはステップS70に戻る。つまり、情報通信端末13では、位置危険度判定部28、状態認識部27、および急挙動検知部26は、それぞれ異なる周期でインターバル実行することができ、それらの周期に従ったタイミングで、ステップS61、ステップS66、またはステップS70の処理が行われる。
 ステップS74において、サーバ15では、ステップS73で情報通信端末13から送信されてきた監視優先度レベルを、対象の車載システム14に転送(送信)する。
 ステップS75において、車載システム14では、警戒対象端末検索部48が、ステップS74でサーバ15から送信されてきた監視優先度レベルを受信して、警戒対象端末情報保持部49に保持されている警戒対象端末リストを更新する。
 図23は、図5のステップS18の衝突予測処理からステップS21の警告発信処理までを詳細に説明するフローチャートである。
 ステップS81において、車載システム14では、衝突予測部50が、警戒対象端末情報保持部49に保持されている警戒対象端末リストに登録されている監視優先度レベルが高い順番で、UWB計測部43の計測結果に基づいて衝突予測処理を実行し、衝突予測対象の情報通信端末13を特定する。
 ステップS82において、衝突予測部50は、衝突予測対象の情報通信端末13に対する自動車16からの相対角度および距離を3回計測する。
 ステップS83において、衝突予測部50は、上述の図15乃至図18を参照して説明したように、自動車16の位置、並びに、衝突予測対象の情報通信端末13に対する自動車16からの相対角度および距離の変化に基づいて、衝突の可能性の有無を予測する。
 ステップS84において、衝突予測部50は、ステップS83の予測に従って、衝突予測対象の情報通信端末13との衝突の可能性があるか否かを判定する。
 ステップS84において、衝突の可能性がないと判定された場合、処理はステップS81に戻り、次に監視優先度レベルが高い情報通信端末13を衝突予測対象として、以下、同様の処理が繰り返して行われる。なお、全ての衝突予測対象の情報通信端末13に対して処理が行われ、いずれの情報通信端末13とも衝突の可能性がないと判定された場合には、処理は図21のステップS41に戻る。
 一方、ステップS84において、衝突の可能性があると判定された場合、処理はステップS85に進む。ステップS85において、衝突予測部50は、ステップS84で衝突の可能性があると判定された情報通信端末13と衝突するまでの時間を計算する。
 ステップS86において、衝突予測部50は、ステップS85の計算で求めた衝突までの時間が第1の閾値時間T1以下であるか否かを判定する。
 ステップS86において、衝突までの時間が第1の閾値時間T1以下であると判定された場合、処理はステップS87に進み、衝突予測部50は、緊急ブレーキを発動するように車両制御部44に対する制御を行う。これにより、車両制御部44が、最大パワーでブレーキをかけて停止を試みるブレーキ制御を行った後、処理はステップS90に進む。
 一方、ステップS86において、衝突までの時間が第1の閾値時間T1以下でないと判定された場合、処理はステップS88に進む。ステップS88において、衝突予測部50は、ステップS85の計算で求めた衝突までの時間が第2の閾値時間T2以下であるか否かを判定する。
 ステップS88において、衝突までの時間が第2の閾値時間T2以下であると判定された場合、処理はステップS89に進み、衝突予測部50は、減速ブレーキを発動するように車両制御部44に対する制御を行う。これにより、車両制御部44が、搭乗者になるべく負荷をかけない程度のブレーキで減速するブレーキ制御を行った後、処理はステップS90に進む。
 一方、ステップS88において、衝突までの時間が第2の閾値時間T2以下でないと判定された場合、処理はステップS90に進む。即ち、この場合、ブレーキ制御は行われずに、警告のみが行われる。
 ステップS90において、衝突予測部50は、警告通知部45に対する制御を行って運転手に対する警告を通知させる。
 ステップS91において、衝突予測部50は、警戒対象の情報通信端末13のユーザに対して警告するように、ステップS84で衝突の可能性があると判定された情報通信端末13を警告対象として警告リクエストをサーバ15に送信する。
 ステップS92において、サーバ15では、通信部61が、ステップS91で車載システム14から送信されてくる警告リクエストを受信して、警告対象の情報通信端末13へ転送(送信)する。
 ステップS93において、警告対象の情報通信端末13では、ステップS92でサーバ15から送信されてくる警告リクエストを受信して警告通知部25に供給し、警告通知部25は、ユーザに対する警告を通知する。
 図24は、図22のステップS70で行われる急挙動検知処理のうち、加速度を用いた急挙動検知処理を説明するフローチャートである。
 ステップS101において、急挙動検知部26は、慣性センサ部21から供給される慣性データに基づいて、情報通信端末13の加速度を取得する。
 ステップS102において、急挙動検知部26は、ステップS101で取得した加速度に対して高速フーリエ変換(FFT:Fast Fourier Transform)を施す。
 ステップS103において、急挙動検知部26は、ステップS102で高速フーリエ変換を施した加速度の2Hz~3Hzのパワーが、ユーザが走っている状態であるかどうかを判断するための閾値THrunを超えているか否かを判定する。
 ステップS103において、高速フーリエ変換を施した加速度の2Hz~3Hzのパワーが閾値THrunを超えていると判定した場合、処理はステップS104に進む。
 ステップS104において、急挙動検知部26は、ユーザの前状態(直前の処理で認識されていたユーザの状態)が走っている状態であるか否かを判定する。
 ステップS104において、ユーザの前状態が走っている状態でないと判定された場合、処理はステップS105に進み、急挙動検知部26は、ユーザの走り出しを検知する。その後、処理はステップS101に戻り、以下、同様の処理が繰り返して行われる。
 一方、ステップS103において、高速フーリエ変換を施した加速度の2Hz~3Hzのパワーが閾値THrunを超えていないと判定された場合、または、ステップS104において、ユーザの前状態が走っている状態であると判定された場合、処理はステップS106に進む。
 ステップS106において、急挙動検知部26は、ステップS101で取得した加速度の3軸ノルムを算出する。ステップS107において、急挙動検知部26は、ステップS106で算出した加速度の3軸ノルムの分散を求める。ステップS108において、急挙動検知部26は、ステップS107で求めた分散に対してローパスフィルタ(LPF:Low Pass Filter)を施す。
 ステップS109において、急挙動検知部26は、ステップS109でローパスフィルタを施した分散が、ユーザが停止している状態であるかどうかを判断するための閾値THstillを下回っているか否かを判定する。
 ステップS109において、ローパスフィルタを施した分散が閾値THstillを下回っていると判定された場合、処理はステップS110に進む。
 ステップS110において、急挙動検知部26は、ユーザの前状態が停止している状態であるか否かを判定する。
 ステップS110において、ユーザの前状態が停止している状態でないと判定された場合、処理はステップS111に進み、急挙動検知部26は、ユーザの急停止を検知する。その後、処理はステップS101に戻り、以下、同様の処理が繰り返して行われる。
 一方、ステップS109において、ローパスフィルタを施した分散が閾値THstillを下回っていないと判定された場合、または、ステップS110において、ユーザの前状態が停止している状態であると判定された場合、処理はステップS112に進む。
 ステップS112において、急挙動検知部26は、ステップS106で算出した加速度の3軸ノルムに対してローパスフィルタを施す。
 ステップS113において、急挙動検知部26は、転倒パターンを検知したか否かを判定する。例えば、急挙動検知部26は、まず加速度の3軸ノルムが0.1G未満(自由落下を検知するための閾値)になったことを検知し、続いて加速度の3軸ノルムの分散が閾値THfall(転倒後の着地時の衝撃を検知するための閾値)より大きくなったことを検知し、続いて加速度の3軸ノルムの分散が0.01未満になって一定時間継続した(転倒したまま動かない)ことを検知した場合に、ユーザが転倒したと判断する転倒パターンを検知したと判定することができる。
 ステップS113において、転倒パターンを検知したと判定された場合、処理はステップS114に進み、急挙動検知部26は、ユーザの転倒を検知する。その後、処理はステップS101に戻り、以下、同様の処理が繰り返して行われる。
 一方、ステップS113において、転倒パターンを検知していないと判定された場合、ユーザの走り出し、急停止、および転倒のいずれも検知されなかったとして、処理はステップS101に戻り、以下、同様の処理が繰り返して行われる。
 図25は、図22のステップS70で行われる急挙動検知処理のうち、角速度を用いた急挙動検知処理を説明するフローチャートである。
 ステップS121において、急挙動検知部26は、慣性センサ部21から供給される慣性データに基づいて、情報通信端末13の角速度を取得する。
 ステップS122において、急挙動検知部26は、ステップS121で取得した角速度に対してローパスフィルタを施す。ステップS123において、急挙動検知部26は、ステップS122でローパスフィルタを施した角速度の絶対値を算出して振幅を求める。
 ステップS124において、急挙動検知部26は、ステップS123で求めたローパスフィルタを施した角速度の振幅が、ユーザが急転回を始めたかどうかを判断するための閾値THrotを超えているか否かを判定する。
 ステップS124において、ローパスフィルタを施した角速度の振幅が閾値THrotを超えていると判定された場合、処理はステップS125に進み、急挙動検知部26は、ユーザの急転回を検知する。その後、処理はステップS121に戻り、以下、同様の処理が繰り返して行われる。
 一方、ステップS124において、ローパスフィルタを施した角速度の振幅が閾値THrotを超えていないと判定された場合、ユーザの急転回は検知されなかったとして、処理はステップS121に戻り、以下、同様の処理が繰り返して行われる。
 <危険回避システムの第2の構成例>
 図26は、本技術を適用した危険回避システムの第2の実施の形態の構成例を示す図である。
 図26に示す危険回避システム11Aにおいて、図1の危険回避システム11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。即ち、危険回避システム11Aは、ネットワーク12を介して、情報通信端末13およびサーバ15が接続されて構成される点で、図1の危険回避システム11と共通している。一方、危険回避システム11Aでは、車載システム14に替えて、自動車16の運転手が所持している情報通信端末17がネットワーク12に接続された構成となっている。
 情報通信端末17は、情報通信端末13と同様に、いわゆるスマートフォンなどのように通信機能を備えた情報処理装置であり、危険回避システム11Aにおける危険回避処理に基づいて、危険を回避するための警告を自動車16の運転手に対して通知することができる。
 図27は、情報通信端末17の構成例を示すブロック図である。
 図27に示すように、情報通信端末17は、慣性センサ部71、速度・加速度推定部72、および進行方向推定部73を備えて構成される。さらに、情報通信端末17は、図3の車載システム14と同様に、測位部42、UWB計測部43、警告通知部45、エリア内情報更新部46、エリア内情報保持部47、警戒対象端末検索部48、警戒対象端末情報保持部49、衝突予測部50、および通信部51を備えて構成される。
 慣性センサ部71は、例えば、加速度センサおよびジャイロセンサにより構成され、情報通信端末17の動きに伴った慣性データを取得して、速度・加速度推定部72および進行方向推定部73に供給する。
 速度・加速度推定部72は、慣性センサ部71から供給された慣性データに基づいて、自動車16の速度および加速度を推定し、その推定した結果として取得される速度・加速度データを衝突予測部50に供給する。
 進行方向推定部73は、慣性センサ部71から供給された慣性データに基づいて、自動車16の進行方向を推定し、その推定した結果として取得される進行方向データを衝突予測部50に供給する。
 ここで、図3の衝突予測部50は、車両情報取得部41から供給される車両データを用いて衝突予測処理を行っていたのに対し、図27の衝突予測部50は、車両データに替えて、速度・加速度データおよび進行方向データを用いて衝突予測処理を行うことができる。
 例えば、3軸加速度センサのデータに対してハイパスフィルタ(HPF:High Pass Filter)を施すなどの手法により、重力成分(DC成分)を除去した加速度を得た上で、積分して速度を得ることができる。また、衛星測位システムで得られる位置情報を短い時間間隔でトラッキングし、そのトラッキングの変位の微分および二階微分から速度および加速度を得ることができる。また、衛星測位システムの衛星から出力されている搬送波のドップラー効果から速度を求めることができる。
 また、情報通信端末13が自動車16の進行方向に対してどの向きに置かれているかを推定するため、自動車16進行方向(即ち、自動車16の前方)に対する情報通信端末13の姿勢を推定した上で、ローカル座標系からグローバル座標系への回転行列を得る。例えば、衛星測位システムのデータから自動車16の静止時を判定し、その静止時の3軸加速度センサのデータに対してローパスフィルタを施すなどの手法により重力成分(DC成分)を抽出して重力ベクトルの向きから姿勢角を推定する。その後に、衛星測位システムのデータから自動車16の走行時を判定し、その走行時の加減速のタイミングと水平方向の加速度波形の変化の相関に基づいて、ローカル座標系における進行方向を推定することができる。
 なお、危険回避システム11Aでは、自動車16のブレーキ制御は行わずに、警告通知部45により警告を通知するのみで危険回避が実現される。
 従って、危険回避システム11Aは、図1の危険回避システム11と同様に、より高精度な危機回避を実現することができる。
 <危険回避システムの第3の構成例>
 図28は、本技術を適用した危険回避システムの第3の実施の形態の構成例を示す図である。
 図28に示す危険回避システム11Bにおいて、図1の危険回避システム11および図26の危険回避システム11Aと共通する構成については、同一の符号を付し、その詳細な説明は省略する。即ち、危険回避システム11Bは、ネットワーク12を介して、情報通信端末13およびサーバ15が接続されて構成される点で、図1の危険回避システム11と共通している。一方、危険回避システム11Bでは、自動車16に車載システム14Bが組み込まれ、自動車16の運転手が所持している情報通信端末17Bがネットワーク12に接続された構成となっている。
 車載システム14Bは、自動車16が備える先進運転支援システムの一部として組み込むことができ、危険回避システム11における危険回避処理に基づいて、危険を回避するためのブレーキ制御を行うことができる。
 情報通信端末17Bは、情報通信端末13と同様に、いわゆるスマートフォンなどのように通信機能を備えた情報処理装置であり、危険回避システム11Bにおける危険回避処理に基づいて、危険を回避するための警告を自動車16の運転手に対して通知することができる。
 図29は、車載システム14Bおよび情報通信端末17Bの構成例を示すブロック図である。
 車載システム14Bは、図3の車載システム14と同様に、車両情報取得部41および車両制御部44を備えるのに加えて、近距離通信部81を備えて構成される。
 情報通信端末17Bは、慣性センサ部71、進行方向推定部73、および近距離通信部74を備えて構成される。さらに、情報通信端末17は、図3の車載システム14と同様に、測位部42、UWB計測部43、警告通知部45、エリア内情報更新部46、エリア内情報保持部47、警戒対象端末検索部48、警戒対象端末情報保持部49、衝突予測部50、および通信部51を備えて構成される。
 このように構成される車載システム14Bおよび情報通信端末17Bでは、近距離通信部81および近距離通信部74によって近距離無線通信が行われる。これにより、車載システム14Bの車両情報取得部41は、衝突予測部50に車両データを供給することができるとともに、情報通信端末17Bの衝突予測部50は、車両制御部44に対する制御を行ってブレーキ制御を行わせることができる。
 従って、危険回避システム11Bは、図1の危険回避システム11と同様に、より高精度な危機回避を実現することができる。
 <ヘッドアップディスプレイによる注意喚起>
 図30を参照して、ヘッドアップディスプレイによる注意喚起について説明する。
 車載システム14が備える警告通知部45として、図30に示すようなヘッドアップディスプレイを採用することができる。
 警告通知部45は、衝突予測部50によって衝突の可能性があると判定されたか否かに関わらず、安全に運転するための情報をヘッドアップディスプレイによって自動車16のフロントガラス全面に描画(投影)することで、運転手に提示することが可能である。
 例えば、警告通知部45は、警戒対象の情報通信端末13の監視優先度レベルやリスクスコアなどをヘッドアップディスプレイによって可視化することができる。または、警告通知部45は、警戒対象の情報通信端末13の監視優先度レベルが低優先度監視モードであっても、警戒対象の情報通信端末13のユーザが子供である場合、その子供までの距離を示す情報をヘッドアップディスプレイに表示して、自動車16の運転手に注意喚起することができる。
 図30に示す例では、警戒対象の情報通信端末13のユーザを囲うように、リスクスコアに応じた色の枠がヘッドアップディスプレイに表示され、子供のユーザの枠には、リスクスコアおよび距離が表示されている。
 ここで、ヘッドアップディスプレイに表示されるリスクスコアは、位置リスクレベルを求めたリスクスコア、状態リスクレベルを求めたリスクスコア、および急挙動リスクレベルを求めたリスクスコアを加算した値から2を減算することにより求められる。即ち、位置危険度判定部28では、リスクスコアが2以下の場合には位置リスクレベルLv0(安全)となるため、2を引くことになる。
 図30に示されている子供のリスクスコアの例では、歩道であってガードレールまたは植栽がないことより位置リスクレベルを求めたリスクスコアは3となり、子供が走っている状態であることより状態リスクレベルを求めたリスクスコアは2となる。また、急挙動リスクレベルを求めたリスクスコアのうち、急に走り出したリスクスコアは3となり、急に方向を変えるリスクスコア4となる。従って、図30に示すように、子供のユーザの枠に表示されるリスクスコアは10(=3+2+3+4-2)となる。
 また、警告通知部45は、ヘッドアップディスプレイによって情報を自動車16のフロントガラス全面に描画することができない場合、フロントガラスの下部(例えば、ダッシュボードの直上)に、運転手に対して注意喚起するための情報を投影することができる。例えば、警告通知部45は、図30に示すような矢印で表されるアイコンによって、警戒対象の情報通信端末13のユーザのうちのリスクスコアが高いユーザがいる方向を指し示したり、警告を示すメッセージを表示したりすることができる。
 または、警告通知部45は、単純に、ヘッドアップディスプレイによる描画(投影)領域の一部もしくは全部の色の変化によって、危険度を運転手に知らせることもできる。例えば、警告通知部45は、リスクスコアが高い警戒対象の情報通信端末13を持つユーザとの距離に応じて、その距離が近い場合には描画領域を青色とし、その距離が近くなるに従って青色から赤色に変化させてもよい。これにより、警告通知部45は、近くにリスクスコアが高い挙動を示す人物がいることを、運転手に気づかせることができ注意を促すことができる。
 <スマートウォッチおよびヒアラブル機器を利用した応用例>
 図31を参照して、スマートウォッチおよびヒアラブル機器を利用した応用例について説明する。
 親が所持する情報通信端末として、図31のAには、スマートウォッチ91を利用した応用例が示されており、図31のBには、ヒアラブル機器92を利用した応用例が示されている。
 危険回避システム11は、子供が利用する情報通信端末13Aを対象とした場合に、子供が所持する情報通信端末13Aと親が所持するスマートウォッチ91またはヒアラブル機器92とを予め紐づけて登録しておくことができる。これにより、危険回避システム11では、衝突リスクが有ると判断された場合の警告のリクエストを、子供の情報通信端末13Aに送信するとともに、親のスマートウォッチ91またはヒアラブル機器92にも警告を通知することができる。
 特に、ヒアラブル機器92は、耳に装着して音声フィードバックを受けることが可能であることより、空間音響技術を組み合わせることによって、子供のいる方向から警告が発せられているように親に聞こえさせることが可能となる。
 例えば、図4のセッション保持部65が保持するセッションデータベースに、通知対象端末IDのカラムを追加して、子供が所持する情報通信端末13Aの端末IDのレコードに親が所持するスマートウォッチ91またはヒアラブル機器92の端末IDを登録する。そして、車載システム14から警告される場合には、情報通信端末13Aの端末IDに加えて、通知対象端末IDに登録されているスマートウォッチ91またはヒアラブル機器92にも警告が通知されるように警告リクエストが送信されるように処理が行われる。
 <コンピュータの構成例>
 次に、上述した一連の処理(情報処理方法)は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
 図32は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
 プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
 あるいはまた、プログラムは、ドライブ109によって駆動されるリムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
 なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
 コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
 CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
 これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
 なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
 ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
 また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
 さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 <構成の組み合わせ例>
 なお、本技術は以下のような構成も取ることができる。
(1)
 現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、
 前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する警告通知部と
 を備える情報処理装置。
(2)
 前記情報処理装置の現在位置を把握するための測位データに従って、現在位置の近辺における危険度情報付きの地図情報を取得する地図情報取得部と、
 前記危険度情報付きの地図情報を参照し、現在位置における危険度を判定して前記位置リスクレベルを求める位置危険度判定部と
 をさらに備える上記(1)に記載の情報処理装置。
(3)
 前記情報処理装置の動きに伴った慣性データ、前記情報処理装置のユーザが発話する音声データ、および、前記情報処理装置にインストールされているアプリケーションの使用状況を示すアプリ情報のうち、少なくともいずれか1つに基づいて、前記情報処理装置のユーザの状態を認識して前記状態リスクレベルを求める状態認識部
 をさらに備える上記(1)または(2)に記載の情報処理装置。
(4)
 前記情報処理装置の動きに伴った慣性データに基づいて、前記情報処理装置のユーザの急な行動の変化を検知して前記急挙動リスクレベルを求める急挙動検知部
 をさらに備える上記(1)から(3)までのいずれかに記載の情報処理装置。
(5)
 前記自動車との間でUWB(Ultra Wide Band)通信により、前記自動車との距離および相対角度を計測する計測部
 をさらに備え、
 前記距離および前記相対角度が前記衝突予測処理で用いられる
 上記(1)から(4)までのいずれかに記載の情報処理装置。
(6)
 情報処理装置が、
 現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、
 前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することと
 を含む情報処理方法。
(7)
  現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、
  前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する第1の警告通知部と
 を有する情報処理端末と、
 前記自動車に搭載され、
  前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行う衝突予測部と、
  前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知する第2の警告通知部と、
  前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信する通信部と
 を有する車載システムと
 を備える情報処理システム。
(8)
 前記衝突予測部は、前記情報処理端末との間のUWB(Ultra Wide Band)通信により計測される前記情報処理端末との距離および相対角度を用いて予測されるt秒後の前記情報処理端末の予測相対位置と、前記自動車の位置、速度、および加速度に基づいて予測されるt秒後の前記自動車の予測位置との距離に基づいて、前記情報処理端末のユーザと衝突する可能性を予測する
 上記(7)に記載の情報処理システム。
(9)
 前記エリア内に存在する前記情報処理端末の位置情報、端末ID、およびUWBのディスカバリートークンをエリア内端末情報として取得してエリア内端末情報リストを更新するエリア内情報更新部を、前記車載システムが有する
 上記(8)に記載の情報処理システム。
(10)
 前記エリア内情報更新部は、所定の間隔ごとに分割された前記エリアの境界を、前記自動車が跨ぐように移動したタイミングで、前記エリア内端末情報リストを更新する
 上記(9)に記載の情報処理システム。
(11)
 前記エリア内端末情報リストに前記エリア内端末情報が登録されている前記情報処理端末の中から、前記自動車の前方に向かって広がる範囲を少なくとも含む特定の警戒範囲内にある前記情報処理端末を警戒対象として検索する警戒対象端末検索部を、前記車載システムが有する
 上記(9)または(10)に記載の情報処理システム。
(12)
 前記衝突予測部により衝突する可能性があると予測されたt秒後までの時間が、第1の閾値時間以下である場合には、前記自動車が急停止するようにブレーキ制御を行い、前記第1の閾値時間より長い第2の閾値時間以下である場合には、前記自動車が減速するようにブレーキ制御を行う車両制御部を、前記車載システムが有する
 上記(8)から(11)までのいずれかに記載の情報処理システム。
(13)
 前記第2の警告通知部として、前記衝突予測処理に基づいて前記自動車の運転手に対して注意喚起するための情報を前記自動車のフロントガラスに描画するヘッドアップディスプレイを採用する
 上記(7)から(12)までのいずれかに記載の情報処理システム。
(14)
 前記通信部は、前記情報処理端末に対して警告のリクエストを送信するとともに、前記情報処理端末と予め紐づけられて登録された所定の機器にも警告を通知する
 上記(7)から(13)までのいずれかに記載の情報処理システム。
(15)
 情報処理システムが、
 情報処理端末において、
  現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、
  前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することと
 前記自動車に搭載される車載システムにおいて、
  前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行うことと、
  前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知することと、
  前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信することと
 を含む情報処理方法。
 なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 11 危険回避システム, 12 ネットワーク, 13 情報通信端末, 14 車載システム, 15 サーバ, 16 自動車, 21 慣性センサ部, 22 音声取得部, 23 アプリ情報取得部, 24 測位部, 25 警告通知部, 26 急挙動検知部, 27 状態認識部, 28 位置危険度判定部, 29 地図情報取得部, 30 UWB計測部, 31 監視優先度決定部, 32 通信部, 41 車両情報取得部, 42 測位部, 43 UWB計測部, 44 車両制御部, 45 警告通知部, 46 エリア内情報更新部, 47 エリア内情報保持部, 48 警戒対象端末検索部, 49 警戒対象端末情報保持部, 50 衝突予測部, 51 通信部, 61 通信部, 62 ディスカバリートークン管理部, 63 ディスカバリートークン保持部, 64 セッション管理部, 65 セッション保持部, 66 地図情報管理部, 67 地図情報保持部

Claims (15)

  1.  現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、
     前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する警告通知部と
     を備える情報処理装置。
  2.  前記情報処理装置の現在位置を把握するための測位データに従って、現在位置の近辺における危険度情報付きの地図情報を取得する地図情報取得部と、
     前記危険度情報付きの地図情報を参照し、現在位置における危険度を判定して前記位置リスクレベルを求める位置危険度判定部と
     をさらに備える請求項1に記載の情報処理装置。
  3.  前記情報処理装置の動きに伴った慣性データ、前記情報処理装置のユーザが発話する音声データ、および、前記情報処理装置にインストールされているアプリケーションの使用状況を示すアプリ情報のうち、少なくともいずれか1つに基づいて、前記情報処理装置のユーザの状態を認識して前記状態リスクレベルを求める状態認識部
     をさらに備える請求項1に記載の情報処理装置。
  4.  前記情報処理装置の動きに伴った慣性データに基づいて、前記情報処理装置のユーザの急な行動の変化を検知して前記急挙動リスクレベルを求める急挙動検知部
     をさらに備える請求項1に記載の情報処理装置。
  5.  前記自動車との間でUWB(Ultra Wide Band)通信により、前記自動車との距離および相対角度を計測する計測部
     をさらに備え、
     前記距離および前記相対角度が前記衝突予測処理で用いられる
     請求項1に記載の情報処理装置。
  6.  情報処理装置が、
     現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、
     前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することと
     を含む情報処理方法。
  7.   現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定する監視優先度決定部と、
      前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知する第1の警告通知部と
     を有する情報処理端末と、
     前記自動車に搭載され、
      前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行う衝突予測部と、
      前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知する第2の警告通知部と、
      前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信する通信部と
     を有する車載システムと
     を備える情報処理システム。
  8.  前記衝突予測部は、前記情報処理端末との間のUWB(Ultra Wide Band)通信により計測される前記情報処理端末との距離および相対角度を用いて予測されるt秒後の前記情報処理端末の予測相対位置と、前記自動車の位置、速度、および加速度に基づいて予測されるt秒後の前記自動車の予測位置との距離に基づいて、前記情報処理端末のユーザと衝突する可能性を予測する
     請求項7に記載の情報処理システム。
  9.  前記エリア内に存在する前記情報処理端末の位置情報、端末ID、およびUWBのディスカバリートークンをエリア内端末情報として取得してエリア内端末情報リストを更新するエリア内情報更新部を、前記車載システムが有する
     請求項8に記載の情報処理システム。
  10.  前記エリア内情報更新部は、所定の間隔ごとに分割された前記エリアの境界を、前記自動車が跨ぐように移動したタイミングで、前記エリア内端末情報リストを更新する
     請求項9に記載の情報処理システム。
  11.  前記エリア内端末情報リストに前記エリア内端末情報が登録されている前記情報処理端末の中から、前記自動車の前方に向かって広がる範囲を少なくとも含む特定の警戒範囲内にある前記情報処理端末を警戒対象として検索する警戒対象端末検索部を、前記車載システムが有する
     請求項9に記載の情報処理システム。
  12.  前記衝突予測部により衝突する可能性があると予測されたt秒後までの時間が、第1の閾値時間以下である場合には、前記自動車が急停止するようにブレーキ制御を行い、前記第1の閾値時間より長い第2の閾値時間以下である場合には、前記自動車が減速するようにブレーキ制御を行う車両制御部を、前記車載システムが有する
     請求項8に記載の情報処理システム。
  13.  前記第2の警告通知部として、前記衝突予測処理に基づいて前記自動車の運転手に対して注意喚起するための情報を前記自動車のフロントガラスに描画するヘッドアップディスプレイを採用する
     請求項7に記載の情報処理システム。
  14.  前記通信部は、前記情報処理端末に対して警告のリクエストを送信するとともに、前記情報処理端末と予め紐づけられて登録された所定の機器にも警告を通知する
     請求項7に記載の情報処理システム。
  15.  情報処理システムが、
     情報処理端末において、
      現在位置に基づく位置リスクレベル、ユーザの状態から推定される状態リスクレベル、および、加速度または角速度に基づく急挙動リスクレベルのいずれかを少なくとも用いて、監視優先度レベルを決定することと、
      前記監視優先度レベルに基づいて、ユーザが自動車と衝突する可能性を予測する衝突予測処理の処理結果として衝突の可能性があると予測された場合、ユーザに対する警告を通知することと
     前記自動車に搭載される車載システムにおいて、
      前記自動車の現在位置が含まれる所定のエリア内に存在する前記情報処理端末のうち、警戒対象となっている前記情報処理端末を対象として前記衝突予測処理を行うことと、
      前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記自動車の運転手に対する警告を通知することと、
      前記衝突予測処理の処理結果として衝突の可能性があると予測された場合、前記情報処理端末に対して警告のリクエストを送信することと
     を含む情報処理方法。
PCT/JP2022/003952 2021-05-14 2022-02-02 情報処理装置および情報処理方法、並びに情報処理システム WO2022239327A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-082229 2021-05-14
JP2021082229 2021-05-14

Publications (1)

Publication Number Publication Date
WO2022239327A1 true WO2022239327A1 (ja) 2022-11-17

Family

ID=84029055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003952 WO2022239327A1 (ja) 2021-05-14 2022-02-02 情報処理装置および情報処理方法、並びに情報処理システム

Country Status (1)

Country Link
WO (1) WO2022239327A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
JP2011198266A (ja) * 2010-03-23 2011-10-06 Toyota Central R&D Labs Inc 危険判定装置及びプログラム
JP2013097606A (ja) * 2011-11-01 2013-05-20 Daimler Ag 車両の危険度判定システム及び車両の危険度判定装置並びにこれらを用いた車両の危険報知装置
JP2019028533A (ja) * 2017-07-26 2019-02-21 京セラ株式会社 情報処理装置、管理装置、携帯型電子機器、制御プログラム、情報処理装置の動作方法、携帯型電子機器の動作方法及びデータ構造

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
JP2011198266A (ja) * 2010-03-23 2011-10-06 Toyota Central R&D Labs Inc 危険判定装置及びプログラム
JP2013097606A (ja) * 2011-11-01 2013-05-20 Daimler Ag 車両の危険度判定システム及び車両の危険度判定装置並びにこれらを用いた車両の危険報知装置
JP2019028533A (ja) * 2017-07-26 2019-02-21 京セラ株式会社 情報処理装置、管理装置、携帯型電子機器、制御プログラム、情報処理装置の動作方法、携帯型電子機器の動作方法及びデータ構造

Similar Documents

Publication Publication Date Title
US11040726B2 (en) Alarm system of autonomous driving vehicles (ADVs)
US10816973B2 (en) Utilizing rule-based and model-based decision systems for autonomous driving control
US10031526B1 (en) Vision-based driving scenario generator for autonomous driving simulation
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
EP2668553B1 (en) Information processing device, alarm method, and program
JP5360839B2 (ja) 道路及びトラフィック状態感知システム
US20200398743A1 (en) Method and apparatus for learning how to notify pedestrians
US11120279B2 (en) Identification of distracted pedestrians
US10507813B2 (en) Method and system for automated vehicle emergency light control of an autonomous driving vehicle
JP2022014909A (ja) 歩行者横断危険性評価及び指向性警報のためのシステム及び方法
CN105489005B (zh) 一种道路平整指数的采集和分享的方法及系统
CN108307295A (zh) 用于弱势道路使用者避免事故的方法和装置
JP2019535566A (ja) 不測のインパルス変化衝突検出器
CN102622850A (zh) 信息处理装置、报警方法和程序
US11989116B1 (en) Collision evaluation for log-based simulations
US11807273B2 (en) Methods and apparatus to provide accident avoidance information to passengers of autonomous vehicles
US10424203B2 (en) System and method for driving hazard estimation using vehicle-to-vehicle communication
KR20200143242A (ko) 비전 기반 인식 시스템에 의한 대립적 샘플들 검출 방법
CN101648550B (zh) 允许或抑制向用户呈现信息的请求的方法
KR20190141081A (ko) 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템
US11007929B2 (en) Multimodal vehicle-to-pedestrian notification system
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
CN109952491A (zh) 使用地图信息平滑从传感器数据生成的对象
CN112258837A (zh) 一种车辆预警的方法、相关装置、设备以及存储介质
US10685563B2 (en) Apparatus, systems, and methods for detecting, alerting, and responding to an emergency vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807034

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807034

Country of ref document: EP

Kind code of ref document: A1