WO2019124105A1 - 情報処理装置、移動体、及び、情報処理システム - Google Patents

情報処理装置、移動体、及び、情報処理システム Download PDF

Info

Publication number
WO2019124105A1
WO2019124105A1 PCT/JP2018/045018 JP2018045018W WO2019124105A1 WO 2019124105 A1 WO2019124105 A1 WO 2019124105A1 JP 2018045018 W JP2018045018 W JP 2018045018W WO 2019124105 A1 WO2019124105 A1 WO 2019124105A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
unit
processing apparatus
data
Prior art date
Application number
PCT/JP2018/045018
Other languages
English (en)
French (fr)
Inventor
佐藤　直之
邦在 鳥居
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019124105A1 publication Critical patent/WO2019124105A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to an information processing apparatus, a mobile unit, and an information processing system, and more particularly to an information processing apparatus, a mobile unit, and an information processing system that enables a user to recognize the safety of surrounding mobile units.
  • Patent Document 1 does not consider this point.
  • the present technology has been made in view of such a situation, and enables a user to recognize the safety of a moving object such as a surrounding vehicle.
  • the information processing apparatus is at least one of the user and the appendage, based on the feature of the user's appendage and the feature of the object around the mover recognized by the mover.
  • a state estimation unit that estimates the recognition state of the moving object with respect to one side, and a notification control unit that controls notification of the recognition state to the user.
  • the information processing apparatus transmits the data indicating the feature of the user's accompaniment to another information processing apparatus, and the recognition state of the mobile body with respect to at least one of the user and the accompaniment And a notification control unit that controls notification of the recognition state to the user.
  • the mobile unit is a mobile unit that communicates with an information processing apparatus, and estimates an object detection unit that detects a feature of an object around the mobile unit, and estimates the position of the mobile unit.
  • Data indicating a position estimation unit, features of the surrounding object, a position of the moving body, and a planned route of the moving body, wherein the information processing apparatus is for at least one of the user and the user's appendage
  • a communication control unit configured to control transmission of data used for estimating the recognition state of the mobile unit to the information processing apparatus.
  • An information processing system includes a first information processing apparatus possessed by a user, a second information processing apparatus, and a moving body, and the first information processing apparatus is the user Data indicating the features of the accompanying objects to the second information processing apparatus, the moving body transmits data indicating the features of an object around the moving body to the second information processing apparatus; The second information processing apparatus estimates the recognition state of the moving body with respect to at least one of the user and the incident based on the features of the incident and the features of the surrounding object, and estimates the recognition status. Data indicating a result is transmitted to at least one of the first information processing apparatus and the mobile unit.
  • the above-mentioned for at least one of the user and the attendant is estimated, and notification of the recognition state to the user is controlled.
  • transmission of data indicating characteristics of a user's accompaniment to another information processing apparatus, and data indicating a recognition state of a mobile relative to at least one of the user and the accompaniment The reception from the other information processing apparatus is controlled, and the notification of the recognition state to the user is controlled.
  • the feature of an object around a moving body is detected, the position of the moving body is estimated, the feature of the surrounding object, the position of the moving body, and the position of the moving body Transmission to the information processing device of data indicating a planned route and used by the information processing device for estimating the recognition state of the moving body with respect to at least one of the user and the user's appendage is controlled.
  • the first information processing apparatus transmits data indicating the feature of the user's incidental material to the second information processing apparatus, and the moving object causes an object around the moving object to be transmitted.
  • Data indicating a feature is transmitted to the second information processing device, and the second information processing device causes at least one of the user and the appendage based on the feature of the appendage and the feature of the surrounding object by the second information processing device.
  • a recognition state of the mobile unit with respect to one side is estimated, and data indicating an estimation result of the recognition state is transmitted to at least one of the first information processing apparatus and the mobile unit.
  • the user can recognize the safety of surrounding vehicles.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system to which the present technology is applied. It is a block diagram showing an example of composition of a client. It is a block diagram showing an example of composition of vehicles. It is a block diagram which shows the structural example of an object detection apparatus. It is a block diagram showing an example of composition of a server. It is a flowchart for demonstrating a process of a client. It is a flow chart for explaining the 1st embodiment of processing of a vehicle. It is a flowchart for demonstrating 1st Embodiment of a process of a server. It is a figure which shows the structural example of the data regarding the user registered in a database, and an accompaniment.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system 11 to which the present technology is applied.
  • the information processing system 11 includes a client 21, a vehicle 22, an object detection device 23, a display device 24, and a server 25.
  • the client 21, the vehicle 22, the object detection device 23, the display device 24, and the server 25 are connected via the network 26 and can communicate with each other.
  • FIG. 1 only one user 12, one accessory 13, one client 21, one vehicle 22, one object detector 23 and one display 24 are shown in order to make the explanation easy to understand. Two or more are provided, respectively. Also, two or more servers 25 can be provided.
  • the client 21 is configured of one or more information processing apparatuses owned by the user 12.
  • the number and type of information processing apparatuses constituting the client 21 are not particularly limited.
  • the client 21 is configured by a portable information terminal that can be worn or carried by a user, such as a wearable device, a smartphone, a tablet, or a cellular phone.
  • a wearable device such as a smartphone, a tablet, or a cellular phone.
  • various methods such as glasses, watches, bracelets, necklaces, neckbands, earphones, headsets, and head mounts can be adopted.
  • the client 21 is configured by one information processing apparatus.
  • the client 21 transmits data on the user 12 and the annex 13 of the user 12 to the server 25 via the network 26.
  • the incidental thing 13 moves along with the user 12.
  • the accompanying matter 13 may move along with the user 12 such as a child or a pet, carry case, carry by a user such as a rucksack, or move by a user 12 such as a bicycle, a stroller or a wheelchair. is assumed.
  • incidental thing 13 may be attached to one user 12.
  • the user 12 may not necessarily be accompanied by the accompanying member 13.
  • the client 21 also receives data indicating the safety of the vehicle 22 around the user 12 and the companion 13 from the server 25 via the network 26.
  • the client 21 notifies the user 12 of the safety of the vehicle 22 around the user 12 and the appendage 13 based on the received data.
  • the vehicle 22 is configured by any type of vehicle such as a passenger car, a car such as a bus or a truck, or a motorbike such as a motorbike such as a two-wheeled vehicle or a tricycle.
  • vehicle such as a passenger car, a car such as a bus or a truck, or a motorbike such as a motorbike such as a two-wheeled vehicle or a tricycle.
  • the vehicle 22 detects surrounding objects and transmits data on the detected objects to the server 25 via the network 26. In addition, the vehicle 22 transmits data regarding the vehicle 22 to the server 25 via the network 26.
  • the vehicle 22 receives data from the server 25 via the network 26 indicating the safety of the vehicle 22 with respect to the user 12 and the appendage 13.
  • the vehicle 22 notifies the user 12 of the safety of the vehicle 22 with respect to the user 12 and the appendage 13 based on the received data.
  • the object detection device 23 is installed on a traffic signal or a road sign at an intersection, etc., detects an object around the intersection, and transmits data on the detected object to the server 25 via the network 26.
  • the display device 24 is configured by, for example, a display device such as a digital signage, a display, etc., and is installed at a position where it can be seen by the user 12 who passes through the road. Note that the display device 24 may not necessarily be provided exclusively for the information processing system 11, and a device provided for other purposes may be used as the display device 24.
  • the display device 24 receives data indicating the safety of the vehicle 22 around the user 12 and the appendage 13 from the server 25 via the network 26.
  • the display device 24 notifies the user 12 of the safety of the vehicle 22 around the user 12 and the appendage 13 based on the received data.
  • the server 25 performs a process of recognizing the safety of the vehicle 22 around the user 12 and the appendage 13.
  • the server 25 transmits data indicating the safety of the vehicle 22 around the user 12 and the appendage 13 to the client 21, the vehicle 22 or the display device 24 via the network 26.
  • FIG. 2 is a block diagram showing a configuration example of the client 21.
  • the client 21 includes an imaging unit 101, a sensor unit 102, a Global Navigation Satellite System (GNSS) receiver 103, an input unit 104, an information processing unit 105, a communication unit 106, and an output unit 107.
  • GNSS Global Navigation Satellite System
  • the imaging unit 101 includes, for example, one or more cameras.
  • the imaging unit 101 captures an image of the user 12 and the incidental matter 13, and supplies an image obtained as a result of the imaging to the feature detection unit 111 of the information processing unit 105.
  • the sensor unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), a living body sensor, and a sensor for detecting features of the user 12 and the accompanying matter 13 such as a microphone.
  • the sensor unit 102 supplies sensor data obtained by each sensor to the feature detection unit 111.
  • the GNSS receiver 103 receives a satellite signal (hereinafter referred to as a GNSS signal) from a GNSS satellite which is a navigation satellite, and supplies the signal to the self-position estimation unit 112 of the information processing unit 105.
  • a GNSS signal a satellite signal (hereinafter referred to as a GNSS signal) from a GNSS satellite which is a navigation satellite, and supplies the signal to the self-position estimation unit 112 of the information processing unit 105.
  • the input unit 104 includes an apparatus used to input various data and instructions.
  • the input unit 104 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device or the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 104 supplies input data to the information processing unit 105.
  • the information processing unit 105 performs various information processing. For example, the information processing unit 105 performs processing of registering data on the user 12 and the incidental object 13 in the server 25, notification processing of the safety of the vehicle 12 around the incidental object 13 and the user 12, and the like.
  • the information processing unit 105 includes a feature detection unit 111, a self position estimation unit 112, a data generation unit 113, a communication control unit 114, and a notification control unit 115.
  • the feature detection unit 111 detects features of the user 12 and the accompanying matter 13 based on the image captured by the imaging unit 101 and the sensor data from the sensor unit 102.
  • the feature detection unit 111 supplies data indicating the detected feature to the data generation unit 113.
  • the self position estimation unit 112 performs self position estimation of the client 21 based on the GNSS signal.
  • the self position estimation unit 112 supplies data indicating the current position of the client 21 estimated by self position estimation to the data generation unit 113.
  • the data generation unit 113 generates registration data for registering the features of the user 12 and the appendage 13 in the server 25, and supplies the registration data to the communication control unit 114. In addition, the data generation unit 113 generates position data for notifying the server 25 of the current position and the like of the client 21, and supplies the position data to the communication control unit 114.
  • the communication control unit 114 controls the communication processing of the communication unit 106. Further, the communication control unit 114 acquires data to be transmitted from each unit of the client 21 and supplies the data to the communication unit 106 or supplies data received via the communication unit 106 to each unit of the client 21.
  • the notification control unit 115 controls notification processing of various information to the user 12 by the output unit 107.
  • the notification control unit 115 controls the process of notifying the safety of the vehicle 22 around the user 12 and the accompanying matter 13 by the output unit 107.
  • the communication unit 106 communicates with the other client 21, the vehicle 22, the object detection device 23, the display device 24, and the server 25 via the network 26.
  • the output unit 107 includes a device that outputs information by, for example, an image, sound, light, or vibration.
  • the output unit 107 includes a display device, an audio output device such as a speaker and a headphone, a lighting device, or a device using haptic technology by vibration or the like.
  • the vehicle 22 includes an imaging unit 151, a sensor unit 152, a GNSS receiver 153, an operation control unit 154, an information processing unit 155, a communication unit 156, and an output unit 157.
  • the imaging unit 151 includes, for example, one or more cameras.
  • the imaging unit 151 for example, images the surroundings of the vehicle 22, and supplies an image obtained as a result of the imaging to the object detection unit 161 of the information processing unit 155.
  • the sensor unit 152 includes a sensor for detecting an object around the vehicle 22 such as an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging), a sonar or the like.
  • the sensor unit 152 supplies the object detection unit 161 with sensor data obtained by each sensor.
  • the GNSS receiver 153 receives the GNSS signal from the GNSS satellite, and supplies the GNSS signal to the self-position estimation unit 162 of the information processing unit 155.
  • the operation control unit 154 controls operations such as acceleration and deceleration of the vehicle 22 and the traveling direction.
  • the operation control unit 154 supplies data indicating the operation or the like of the vehicle 22 to the data generation unit 165 of the information processing unit 155.
  • the information processing unit 155 performs various information processing. For example, the information processing unit 155 detects an object around the vehicle 22 and notifies the server 25 of the process, a process of notifying the server 25 of the current position of the vehicle 22 and the planned route to the server 25, and the vehicle 22 can safely enter the intersection. And the process of notifying the user 12 of the safety of the vehicle 22, and the like.
  • the information processing unit 155 includes an object detection unit 161, a self position estimation unit 162, an object position estimation unit 163, a movement route setting unit 164, a data generation unit 165, a communication control unit 166, and a notification control unit 167.
  • the object detection unit 161 performs detection processing of an object around the vehicle 22 based on the image captured by the imaging unit 151 and the sensor data from the sensor unit 152.
  • the object detection unit 161 supplies data indicating a detection result of an object around the vehicle 22 to the object position estimation unit 163 and the data generation unit 165.
  • the self position estimation unit 162 performs self position estimation of the vehicle 22 based on the GNSS signal.
  • the self position estimation unit 112 supplies data indicating the current position of the vehicle 22 estimated by the self position estimation to the object position estimation unit 163 and the data generation unit 165.
  • the object position estimation unit 163 estimates the current position of the object around the vehicle 22 based on the detection result of the object around the vehicle 22 and the current position of the vehicle 22.
  • the object position estimation unit 163 supplies data indicating the current position of the object around the vehicle 22 to the data generation unit 165.
  • the movement route setting unit 164 sets the movement route of the vehicle 22.
  • the movement path setting unit 164 supplies data indicating the set movement path to the data generation unit 165.
  • the data generation unit 165 generates object detection data for notifying the server 25 of information on an object around the vehicle 22, and supplies the data to the communication control unit 166. Further, the data generation unit 165 generates position data for notifying the server 25 of the current position and the like of the vehicle 22, and supplies the position data to the communication control unit 166. Furthermore, the data generation unit 165 generates safe entry enable data for notifying the server 25 that the vehicle 22 can safely enter the intersection, and supplies the data to the communication control unit 166. In addition, the data generation unit 165 generates safe entry impossible data for notifying the server 25 that the vehicle 22 can not safely enter the intersection, and supplies the data to the communication control unit 166.
  • the communication control unit 166 controls the communication process of the communication unit 156. Further, the communication control unit 166 acquires data to be transmitted from each unit of the vehicle 22 and supplies the data to the communication unit 156 or supplies data received via the communication unit 156 to each unit of the vehicle 22.
  • the notification control unit 167 controls the notification processing of various information to the user 12 by the output unit 107.
  • the notification control unit 167 controls the process of notifying the safety of the vehicle 22 by the output unit 157.
  • the communication unit 156 communicates with the client 21, the other vehicle 22, the object detection device 23, the display device 24, and the server 25 via the network 26.
  • the output unit 157 includes a device that outputs information by, for example, an image, sound, light, or the like.
  • the output unit 157 includes a display device, an audio output device such as a car horn and a siren, or a lighting device such as a headlamp.
  • FIG. 4 is a block diagram showing a configuration example of the object detection device 23.
  • the object detection device 23 includes a photographing unit 201, an information processing unit 202, and a communication unit 203.
  • the imaging unit 201 includes, for example, one or more cameras.
  • the photographing unit 201 for example, photographs around the intersection where the object detection device 23 is installed, and supplies an image obtained as a result of photographing (hereinafter referred to as an intersection image) to the object detection unit 211 of the information processing unit 202. Do.
  • the information processing unit 202 performs various information processing. For example, the information processing unit 202 detects an object around an intersection and performs processing of notifying the server 25.
  • the information processing unit 202 includes an object detection unit 211, an object position estimation unit 212, a data generation unit 213, and a communication control unit 214.
  • the object detection unit 211 executes an object detection process based on the intersection image.
  • the object detection unit 211 supplies the data indicating the feature of the detected object and the intersection image to the object position estimation unit 212.
  • the object position estimation unit 212 estimates the current position of the detected object based on the intersection image.
  • the object position estimation unit 212 supplies data indicating the feature of the object and the current position to the data generation unit 213.
  • the data generation unit 213 generates object detection data for notifying the server 25 of the feature and the current position of the object, and supplies the data to the communication control unit 214.
  • the communication control unit 214 controls the communication process of the communication unit 203. Also, the communication control unit 214 acquires data to be transmitted from each unit of the object detection device 23 and supplies the data to the communication unit 203 or supplies data received via the communication unit 203 to each unit of the object detection device 23 Do.
  • the communication unit 203 communicates with the client 21, the vehicle 22, the other object detection device 23, the display device 24, and the server 25 via the network 26.
  • FIG. 5 is a block diagram showing an exemplary configuration of the server 25. As shown in FIG.
  • the server 25 includes an information processing unit 251, a communication unit 252, and a database 253.
  • the information processing unit 251 performs various information processing. For example, the information processing unit 251 performs processing of notifying the user 12 of the safety of the vehicle 22 around the user 12 and the incidental material 13.
  • the information processing unit 251 includes a search unit 261, a state estimation unit 262, an approach determination unit 263, a notification control unit 264, a communication control unit 265, and a data registration unit 266.
  • the search unit 261 searches the database 253 for the user 12 or the incidental object 13 that matches the object detected by the vehicle 22 based on the object detection data from the vehicle 22.
  • the search unit 261 supplies the data indicating the search result and the object detection data to the state estimation unit 262.
  • the search unit 261 searches the database 253 for the vehicle 22 entering the intersection 401 where the object detection device 23 is installed.
  • the search unit 261 supplies the data indicating the search result and the object detection data to the communication control unit 265.
  • the search unit 261 searches the database 253 for the user 12 or the incidental object 13 that matches the object detected by the object detection device 23.
  • the search unit 261 supplies data indicating the search result to the state estimation unit 262.
  • the state estimation unit 262 estimates the recognition state of the vehicle 22 with respect to the user 12 or the accessory 13 based on the search result by the search unit 261.
  • the state estimation unit 262 supplies the data indicating the recognition result of the recognition state and the object detection data to the approach determination unit 263.
  • the state estimation unit 262 determines whether the vehicle 22 can safely enter the intersection based on the safe approach enable data or the safe approach disable data from the vehicle 22.
  • the state estimation unit 262 supplies the notification control unit 264 with data indicating the search result of the object detected by the object detection device 23 and data indicating the determination result of whether or not the vehicle 22 can safely enter the intersection. .
  • the approach determination unit 263 determines whether the vehicle 22 is approaching the user 12 or the accessory 13 (hereinafter referred to as a recognition target object) estimated to be recognized by the vehicle 22 based on the object detection data. judge. When the approach determination unit 263 determines that the vehicle 22 is approaching the recognition target, the approach determination unit 263 supplies data indicating the recognition target and object detection data to the notification control unit 264.
  • the notification control unit 264 controls notification processing of various information to the client 12, the vehicle 22, and the user 12 in the display device 24.
  • the notification control unit 264 is data for notifying the user 12 of the safety of the vehicle 22 around the user 12 and the appendage 13, and data to be transmitted to the client 21, the vehicle 22, or the display device 24. Are generated and supplied to the communication control unit 265.
  • the data registration unit 266 performs registration processing to the database 253 such as data related to the user 12, the appendage 13, and the vehicle 22.
  • the communication control unit 265 controls the communication process of the communication unit 252.
  • the communication control unit 265 also acquires data to be transmitted from each unit of the server 25 and supplies the data to the communication unit 252 or supplies data received via the communication unit 252 to each unit of the server 25.
  • the communication unit 252 communicates with the client 21, the vehicle 22, the object detection device 23, and the display device 24 via the network 26.
  • the database 253 stores data and the like regarding the user 12, the appendage 13, and the vehicle 22.
  • the server 25 notifies the user 12 of the recognition state of the vehicle 22 with respect to the user 12 or the accessory 13.
  • This process is started, for example, when the power of the client 21 is turned on.
  • step S1 the data generation unit 113 determines whether to register the feature of the user 12. For example, when an instruction to register a feature of the user 12 is input through the input unit 104, the data generation unit 113 determines that the feature of the user 12 is registered, and the process proceeds to step S2.
  • step S2 the information processing unit 105 acquires the features of the user 12.
  • the feature detection unit 111 detects the feature of the user 12 based on the image of the user 12 captured by the imaging unit 101 and the sensor data from the sensor unit 102.
  • the feature detection unit 111 supplies data indicating the detected feature of the user 12 to the data generation unit 113.
  • the data generation unit 113 acquires data indicating the feature of the input user 12.
  • the type of features of the user 12 to be acquired is not particularly limited as long as it can be used for recognition of the user 12.
  • feature points of each part of the user 12, silhouette, face information, color of clothes, how to walk, etc. are used as the features of the user 12.
  • step S1 when it is determined in step S1 that the feature of the user 12 is not registered, the process of step S2 is skipped, and the process proceeds to step S3.
  • step S ⁇ b> 3 the data generation unit 113 determines whether to register the feature of the incidental material 13. For example, when an instruction to register the feature of the incidental material 13 is input through the input unit 104, the data generation unit 113 determines that the characteristic of the incidental material 13 is to be registered, and the process proceeds to step S4.
  • step S4 the information processing unit 105 acquires the feature of the incidental material 13.
  • the feature detection unit 111 detects the feature of the accompanying matter 13 based on the image of the accompanying matter 13 captured by the imaging unit 101 and the sensor data from the sensor unit 102.
  • the feature detection unit 111 supplies the data generation unit 113 with data indicating the detected feature of the accompanying item 13.
  • the data generation unit 113 acquires data indicating the incoming characteristic of the incidental thing 13.
  • the kind of the characteristic of the incidental thing 13 to be acquired will not be specifically limited if it can be used for recognition of the incidental thing 13.
  • feature points, types, names, silhouettes, colors, moving ranges, and the like of each part of the accessory 13 are used as the features of the accessory 13. More specifically, for example, if the accessory 13 is a bicycle, colors, shapes, etc. are used. If the appendage 13 is a child, the shape, height, physical condition, etc. of the face are used.
  • the movement range is, for example, a range in which the incidental material 13 is assumed to move on the basis of the user 12.
  • the movement range is set within a radius of 1 m, for example, when the appendage 13 is a child, the movement range is set within a radius of 5 m.
  • step S3 when it is determined in step S3 that the feature of the appendage 13 is not registered, the process of step S4 is skipped, and the process proceeds to step S5.
  • step S5 the data generation unit 113 determines whether to transmit registration data to the server 25. For example, when an instruction to transmit registration data is input through the input unit 104, the data generation unit 113 determines that the registration data is to be transmitted to the server 25, and the process proceeds to step S6.
  • step S6 the self-position estimation unit 112 performs self-position estimation based on the GNSS signal from the GNSS receiver 103.
  • the self position estimation unit 112 supplies data indicating the current position of the client 21 estimated by self position estimation to the data generation unit 113.
  • the current position of the client 21 is indicated by, for example, an absolute position by latitude and longitude.
  • step S7 the client 21 transmits registration data to the server 25.
  • the data generation unit 113 generates registration data including the feature of at least one of the user 12 and the appendage 13 and the current position of the client 21, and supplies the registration data to the communication control unit 114.
  • the feature of the user 12 is acquired in the process of step S2
  • the feature of the user 12 is included in the registration data
  • the incidental feature of the incidental object 13 is Included in registration data.
  • the communication unit 106 transmits registration data to the server 25 via the network 26 under the control of the communication control unit 114.
  • step S5 when it is determined in step S5 that the registration data is not to be transmitted to the server 25, the processes of steps S6 and S7 are skipped, and the process proceeds to step S8.
  • step S8 self-position estimation is performed as in step S6.
  • step S9 the self-position estimation unit 112 determines whether the current position has changed. For example, when the difference between the current position estimation result of the current client 21 and the previous estimation result is equal to or larger than a predetermined threshold, the self position estimation unit 112 determines that the current position has changed, and the process proceeds to step S10. .
  • step S10 the client 21 transmits position data.
  • the self-position estimation unit 112 supplies data indicating the current position of the client 21 to the data generation unit 113.
  • the data generation unit 113 generates position data including the current position of the client 21 and supplies the position data to the communication control unit 114.
  • the communication unit 106 transmits the position data to the server 25 via the network 26 under the control of the communication control unit 114.
  • step S9 for example, when the difference between the current position estimation result of the current client 21 and the previous estimation result is less than a predetermined threshold, the self position estimation unit 112 determines that the current position has not changed. The process of step S10 is skipped, and the process proceeds to step S11.
  • step S11 the communication control unit 114 determines whether security has been notified from the server 25.
  • the communication control unit 114 receives the safety notification data or the danger notification data via the communication unit 106, the communication control unit 114 determines that the server 25 has notified the safety, and the process proceeds to step S12.
  • the safety notification data is transmitted from the server 25 in step S110 in FIG. 8 or step S315 in FIG. 19 described later, and the danger notification data is transmitted from the server 25 in step S318 in FIG.
  • step S12 the client 21 performs safety notification.
  • the communication control unit 114 supplies the received safety notification data or danger notification data to the notification control unit 115.
  • the output unit 107 performs security notification under the control of the notification control unit 115.
  • step S11 when the safety notification data and the danger notification data are not received in step S11, the communication control unit 114 determines that the security is not notified from the server 25, and the process of step S12 is skipped. The process proceeds to step S13.
  • step S13 the client 21 determines whether to end the process. If it is determined not to end the process, the process returns to step S1.
  • step S13 the processes of steps S1 to S13 are repeatedly performed until it is determined that the process is ended.
  • step S13 for example, when the power is turned off, the client 21 determines to end the process, and the process of the client 21 ends.
  • This process is started, for example, when the vehicle 22 is started and an operation for starting driving is performed, for example, when an ignition switch, a power switch, or a start switch is turned on.
  • step S51 the object detection unit 161 determines whether an object has been detected. Specifically, the object detection unit 161 performs detection processing of an object around the vehicle 22 based on the image around the vehicle 22 from the imaging unit 151 and the sensor data from the sensor unit 152. If the object detection unit 161 determines that an object around the vehicle 22 has been detected based on the result of the detection process, the process proceeds to step S52.
  • the object detection unit 161 detects the feature of the object. Specifically, the object detection unit 161 detects the feature of the object based on the image around the vehicle 22 and sensor data.
  • the type of feature to be detected is, for example, the same as the type of feature of the user 12 and the accompanying matter 13 detected by the feature detection unit 111 of the client 21.
  • the object detection unit 161 supplies data indicating the feature of the detected object to the data generation unit 165.
  • the object detection unit 161 detects the relative position of the object with respect to the vehicle 22 based on the image and sensor data around the vehicle 22.
  • the object detection unit 161 supplies data indicating the detected relative position of the object to the object position estimation unit 163.
  • step S53 the self-position estimation unit 162 performs self-position estimation based on the received signal from the GNSS receiver 153.
  • the self position estimation unit 162 supplies data indicating the current position of the vehicle 22 estimated by the self position estimation to the object position estimation unit 163 and the data generation unit 165.
  • the current position of the vehicle 22 is indicated by, for example, an absolute position by latitude and longitude.
  • the object position estimation unit 163 estimates the position of the object. Specifically, based on the current position of the vehicle 22 estimated by the self position estimation unit 162 and the relative position of the object detected by the object detection unit 161, the object position estimation unit 163 Estimate the absolute position). The object position estimation unit 163 supplies data indicating the estimated current position of the object to the data generation unit 165.
  • step S55 the data generation unit 165 acquires the planned route. That is, the data generation unit 165 acquires, from the movement route setting unit 164, data indicating a planned route to which the vehicle 22 is to move in the future.
  • step S56 the vehicle 22 transmits object detection data to the server 25.
  • the data generation unit 165 detects object detection data including the detected feature of the object and the current position, and the feature of the vehicle 22 (for example, vehicle type, color, car registration number or vehicle number, etc.) and planned route. It generates and supplies it to the communication control unit 166.
  • the communication unit 156 transmits object detection data to the server 25 via the network 26 under the control of the communication control unit 166.
  • step S51 when it is determined in step S51 that an object is not detected, the processing in steps S52 to S56 is skipped, and the processing proceeds to step S57.
  • step S57 the vehicle 22 determines whether to end the process. If it is determined that the process is not ended, the process returns to step S51.
  • step S57 the processes of steps S51 to S57 are repeatedly performed until it is determined that the process is ended.
  • step S57 the vehicle 22 determines to end the process, for example, when an operation for ending the driving is performed, for example, when an ignition switch, a power switch, or a start switch is turned off. , And the processing of the vehicle 22 ends.
  • This process is started, for example, when the server 25 is powered on.
  • step S101 the communication control unit 265 determines whether registration data has been received from the client 21.
  • the communication control unit 265 receives the registration data transmitted from the client 21 in the process of step S7 of FIG. 6 described above via the communication unit 252, the communication control unit 265 determines that the registration data is received, and the process proceeds to step S102. move on.
  • step S102 the server 25 registers data related to the user 12 and the appendage 13. Specifically, the communication control unit 265 supplies the received registration data to the data registration unit 266. The data registration unit 266 registers data on the user 12 and the accompanying matter 13 in the database 253 based on the registration data.
  • FIG. 9 shows a configuration example of data regarding the user 12 and the accompaniment 13 registered in the database 253.
  • the data related to the user 12 includes three items of “ID”, “feature”, and “position”.
  • An ID uniquely assigned to each user 12 is registered in the “ID”.
  • the feature of the user 12 included in the registration data is registered in the “feature”. However, when the registration data does not include the feature of the user 12, the feature of the user 12 is not registered.
  • the current position of the client 21 included in the registration data or the position data is registered in the “position”. That is, the current position of the client 21 is registered as the current position of the user 12.
  • the data regarding the accompanying matter 13 includes four items of “ID”, “feature”, “moving range”, and “owner ID”.
  • An ID uniquely assigned to each incidental item 13 is registered in “ID”.
  • the feature of the incidental item 13 included in the registration data is registered. However, if the registration data does not include the feature of the accompanying item 13, the feature of the accompanying item 13 is not registered. Moreover, the movement range is registered into "the movement range" among the characteristics of the incidental thing 13.
  • the moving range of the features of the incidental material 13 included in the registration data is registered.
  • the registration data does not include the feature of the incidental 13
  • the movement range of the incidental 13 is not registered.
  • the current position of the appendage 13 is estimated by the current position of the user 12 (the client 21 possessed by the appendage 13) and the movement range of the appendage 13. However, when the movement range of the appendage 13 is not registered, the current position of the user 12 accompanied by the appendage 13 is estimated as the current position of the appendage 13.
  • the ID of the user 12 accompanied by the accompanying item 13 is registered.
  • step S101 when it is determined in step S101 that the registration data has not been received from the client 21, the process of step S102 is skipped, and the process proceeds to step S103.
  • step S103 the communication control unit 265 determines whether position data has been received from the client 21.
  • the communication control unit 265 receives the position data transmitted from the client 21 in the process of step S10 of FIG. 6 via the communication unit 252
  • the communication control unit 265 determines that the position data is received, and the process proceeds to step S104.
  • step S104 the server 25 updates the current position of the user 12.
  • the communication control unit 265 supplies the received position data to the data registration unit 266.
  • the data registration unit 266 updates the position of the user 12 registered in the database 253 based on the position data.
  • step S104 when it is determined in step S103 that the position data has not been received from the client 21, the process of step S104 is skipped, and the process proceeds to step S105.
  • step S105 the communication control unit 265 determines whether or not object detection data has been received from the vehicle 22.
  • the communication control unit 265 receives the object detection data transmitted from the client 21 in the process of step S56 of FIG. 7 through the communication unit 252
  • the communication control unit 265 determines that the object detection data is received, and the process proceeds to step S106. move on.
  • step S106 the search unit 261 searches for the user 12 or the adjunct 13 that matches the detected object. Specifically, the communication control unit 265 supplies the received object detection data to the search unit 261.
  • the search unit 261 compares the feature and the position of the object indicated by the object detection data with the feature and the position of each user 12 and each incident 13 registered in the database 253. When the search unit 261 finds a user 12 or an appendage 13 that matches or is similar to the feature of the object and the difference from the position of the object is within a predetermined range, the user 12 or the appendage 13 is detected by the vehicle 22. It is determined that the object matches.
  • the search unit 261 supplies the data indicating the search result and the object detection data to the state estimation unit 262.
  • step S107 the state estimation unit 262 determines whether the vehicle 22 recognizes the user 12 or the accessory 13.
  • the state estimation unit 262 determines that the vehicle 22 recognizes the user 12 or the accessory 13 when the user 12 or the accessory 13 matching the object detected by the vehicle 22 is found as a result of the process of step S106.
  • the process proceeds to step S108.
  • the state estimation unit 262 estimates that the vehicle 22 recognizes the user 12.
  • the state estimation unit 262 estimates that the vehicle 22 recognizes at least one of the user 12 and the appendage 13. For example, when the appendage 13 is a person (for example, a child or a non-caregiver) or a pet, the state estimation unit 262 recognizes the appendage 13 by the vehicle 22 or the vehicle 22 has the user 12 and the appendage. It is estimated that both objects 13 are recognized. Also, for example, when the appendage 13 is other than a person and a pet, the state estimation unit 262 recognizes that the vehicle 22 recognizes the user 12 or the vehicle 22 recognizes both the user 12 and the appendage 13. Estimate that
  • step S108 the approach determination unit 263 determines whether the vehicle 22 is approaching the user 12 or the accessory 13. Specifically, the state estimation unit 262 sends the data indicating the user 12 or the attendant 13 (hereinafter referred to as a recognition target object) estimated to be recognized by the vehicle 22 and the object detection data to the approach determination unit 263. Supply.
  • the approach determination unit 263 acquires the current position of the recognition target from the database 253. Then, the approach determination unit 263 determines whether the vehicle 22 is approaching the recognition object based on the relative movement between the vehicle 22 and the recognition object. That is, the approach determination unit 263 determines whether the vehicle 22 approaches the recognition object by comparing the current position of the recognition object with the planned route of the vehicle 22 indicated by the object detection data. . If it is determined that the vehicle 22 is approaching the recognition target, the process proceeds to step S109.
  • step S109 the notification control unit 264 generates safety notification data. Specifically, the approach determination unit 263 supplies the data indicating the recognition target and the object detection data to the notification control unit 264.
  • the notification control unit 264 notifies that the vehicle 22 recognizes the user 12, for example, when the recognition object is the user 12, or when the recognition object is the companion 13 other than a person or a pet. Generate safety notification data for On the other hand, when the recognition target is, for example, the accompanying object 13 that is a person or a pet, the notification control unit 264 generates safety notification data for notifying that the vehicle 22 recognizes the accompanying object 13.
  • the notification control unit 264 may use safety notification data for notifying that the vehicle 22 recognizes the user 12, or the vehicle 22 may Safety notification data may be generated to notify that both the user 12 and the appendage 13 have been recognized.
  • the safety notification data includes, for example, the current position and features of the vehicle 22.
  • the notification control unit 264 supplies the safety notification data to the communication control unit 265.
  • step S110 the communication unit 252 transmits safety notification data to the client 21 of the user 12 via the network 26 under the control of the communication control unit 265.
  • the recognition target is the user 12
  • the client 21 of the user 12 is set as the transmission destination, and when the recognition target is the incident 13, the client 21 of the user 12 accompanied by the incident 13 transmits Set first.
  • the client 21 when the client 21 receives the safety notification data from the server 25 in step S11 of FIG. 6, the client 21 performs safety notification based on the safety notification data in step S12.
  • 10 to 14 show examples of display screens for notifying the client 21 of security. 10 to 14 show an example in the case where the vehicle 22 recognizes a child who is the companion 13 of the user 12.
  • FIG. 10 shows an example of a display screen when the client 21 is a smartphone.
  • an image 301 indicating the appearance of the vehicle 22 is displayed at the center. Further, above the image 301, a message indicating that the vehicle 22 recognizes a child is displayed. Further, below the image 301, a mark 302 indicating that the user 12 and the child are safe and safe can be displayed.
  • FIG. 11 shows an example of a display screen when the client 21 is a watch-type wearable device (hereinafter referred to as a watch-type device).
  • a watch-type device since the screen of the watch-type device is smaller than the screen of the smartphone, the message on the image 301 is deleted as compared to the example of FIG.
  • FIGS 12 to 14 show examples of display screens when the client 21 is a glasses-type wearable device (hereinafter referred to as a glasses-type AR device) using AR (Augmented Reality).
  • a glasses-type AR device a glasses-type wearable device
  • AR Augmented Reality
  • a message indicating that the vehicle 22 recognizes a child is displayed.
  • the message is displayed at a predetermined position on the screen.
  • a message indicating that the vehicle 22 recognizes a child is displayed on the vehicle 22 in the real world in the field of view of the user 12. Is displayed.
  • the display position of the message moves in accordance with the position of the vehicle 22.
  • step S108 when it is determined in step S108 that the vehicle 22 is not approaching the user 12 and the appendage 13, the processes of steps S109 and S110 are skipped, and the process proceeds to step S111.
  • step S111 This is the case, for example, when the vehicle 22 travels in a direction different from the direction of the recognition target.
  • step S107 when the state estimation unit 262 finds no user 12 or incidental object 13 matching the object detected by the vehicle 22 as a result of the processing in step S106, the vehicle 22 recognizes the user 12 or incidental object 13 It determines with not recognizing and the process of step S108 thru
  • step S105 when it is determined that the object detection data is not received from the vehicle 22, the processes of steps S106 to S110 are skipped, and the process proceeds to step S111.
  • step S111 the server 25 determines whether to end the process. If it is determined not to end the process, the process returns to step S101.
  • step S111 the processes of steps S101 to S111 are repeatedly executed until it is determined that the process is ended.
  • step S111 for example, when the power is turned off, the server 25 determines to end the process, and the process of the server 25 ends.
  • the user 12 can be reliably notified that the vehicle 22 recognizes the user 12 or the accessory 13. As a result, the user 12 can recognize that the user 12 itself or the attendant 13 is safe, and can act at ease.
  • FIG. 15 shows an example of the installation position of the object detection device 23.
  • the object detection device 23 is installed below the traffic light 402 installed at the intersection 401.
  • the intersection 401 has a poor line of sight and it is difficult for a vehicle or pedestrian entering from each direction to be seen from a vehicle or pedestrian entering from another direction.
  • the object detection device 23 detects a vehicle, a pedestrian or the like entering from a predetermined direction of the intersection 401.
  • the object detection device 23 may be provided for each direction of the intersection 401, or one object detection device 23 may detect vehicles, pedestrians, etc. who enter from a plurality of directions. It is also good.
  • This process is started, for example, when the power of the object detection device 23 is turned on.
  • step S201 the object detection unit 211 determines whether an object has been detected. Specifically, the object detection unit 211 performs a process of detecting an object around the intersection 401 based on the intersection image around the intersection 401 captured by the imaging unit 201. If the object detection unit 211 determines that an object is detected based on the result of the detection process, the process proceeds to step S202.
  • step S202 the object detection unit 211 detects the feature of the object by the same process as the object detection unit 161 of the vehicle 22 in step S52 of FIG.
  • the object detection unit 211 supplies the data indicating the feature of the detected object and the intersection image to the object position estimation unit 212.
  • the object position estimation unit 212 estimates the position of the object. Specifically, the object position estimation unit 212 estimates the relative position of the object with respect to the object detection device 23 based on the intersection image. Since the position of the object detection device 23 is fixed and the absolute position is known in advance, the object position estimation unit 212 determines the position of the object based on the estimated relative position of the object and the absolute position of the object detection device 23. Estimate the current position (absolute position). The object position estimation unit 212 supplies data indicating the feature of the object and the current position to the data generation unit 213.
  • step S204 the object detection device 23 transmits object detection data to the server 25.
  • the data generation unit 213 generates object detection data including the feature of the object and the current position, and supplies the data to the communication control unit 214.
  • the communication unit 203 transmits object detection data to the server 25 via the network 26 under the control of the communication control unit 214.
  • step S201 when it is determined in step S201 that no object is detected, the processing in steps S202 to S204 is skipped, and the processing proceeds to step S205.
  • step S205 the object detection device 23 determines whether to end the process. If it is determined not to end the process, the process returns to step S201.
  • steps S201 to S205 is repeatedly performed until it is determined in step S205 that the process is ended.
  • step S205 for example, when the power is turned off, the object detection device 23 determines to end the processing, and the processing of the object detection device 23 ends.
  • This process is started, for example, when the vehicle 22 is started and an operation for starting driving is performed, for example, when an ignition switch, a power switch, or a start switch is turned on.
  • step S251 self-position estimation is performed as in the process of step S53 in FIG.
  • the self position estimation unit 162 supplies data indicating the estimated current position of the vehicle 22 to the data generation unit 165.
  • step S252 the planned route is acquired as in the process of step S55 in FIG.
  • step S253 the vehicle 22 transmits the position data to the server 25.
  • the data generation unit 165 generates position data including the current position of the vehicle 22, the planned route, and the car registration number or the vehicle number, and supplies the position data to the communication control unit 166.
  • the communication unit 156 transmits the position data to the server 25 via the network 26 under the control of the communication control unit 166.
  • step S254 the communication control unit 166 determines whether object detection data has been received. If the communication control unit 166 determines that the object detection data transmitted from the server 25 has been received through the communication unit 156 in step S309 in FIG. 19 described later, the process proceeds to step S255.
  • step S255 the data generation unit 165 determines whether or not the intersection 401 can safely enter. Specifically, the communication control unit 166 supplies object detection data to the data generation unit 165.
  • the data generation unit 165 determines whether or not the vehicle 22 can be paused before entering the intersection 401 based on the data from the operation control unit 154. If the vehicle 22 can pause before entering the intersection 401, the data generation unit 165 determines that the intersection 401 can safely enter, and the process proceeds to step S256.
  • step S256 the vehicle 22 notifies the server 25 that it can safely enter the intersection 401.
  • the data generation unit 165 generates safe entry enable data for notifying that the vehicle 22 can safely enter the intersection 401, and supplies the data to the communication control unit 166.
  • the communication unit 156 transmits the safe approach enable data to the server 25 via the network 26 under the control of the communication control unit 166.
  • the safe approach enable data includes, for example, a car registration number or a car number of the vehicle 22.
  • step S255 if the vehicle 22 can not be paused before entering the intersection 401, the data generation unit 165 determines that the vehicle can not safely enter the intersection 401, and the process proceeds to step S257.
  • step S257 the vehicle 22 notifies the server 25 that it can not safely enter the intersection 401.
  • the data generation unit 165 generates safe entry impossible data for notifying that the vehicle 22 can not safely enter the intersection 401, and supplies the data to the communication control unit 166.
  • the communication unit 156 transmits the safety entry impermissible data to the server 25 via the network 26.
  • the safety entry disabling data includes, for example, a car registration number or a car number of the vehicle 22.
  • step S254 when it is determined in step S254 that the object detection data is not received, the processing of steps S255 to S257 is skipped, and the processing proceeds to step S258.
  • step S258 as in the process of step S57 of FIG. 7, it is determined whether the process ends. If it is determined not to end the process, the process returns to step S251.
  • step S258 the processes of steps S251 to S258 are repeatedly executed until it is determined that the process is ended.
  • step S258 determines that the processing is to be ended.
  • This process is started, for example, when the server 25 is powered on.
  • steps S301 to S304 the same processes as steps S101 to S104 in FIG. 8 are performed.
  • step S305 the communication control unit 265 determines whether or not position data has been received from the vehicle 22.
  • the communication control unit 265 receives the position data transmitted from the vehicle 22 in the process of step S253 in FIG. 17 via the communication unit 252, the communication control unit 265 determines that the position data is received, and the process proceeds to step S306.
  • step S306 the server 25 updates the current position and the planned route of the vehicle 22.
  • the communication control unit 265 supplies the received position data to the data registration unit 266.
  • the data registration unit 266 updates the current position and the planned route of the vehicle 22 registered in the database 253 based on the position data.
  • step S305 when it is determined in step S305 that the position data has not been received from the vehicle 22, the process of step S306 is skipped, and the process proceeds to step S307.
  • step S307 the communication control unit 265 determines whether object detection data has been received from the object detection device 23.
  • the communication control unit 265 receives the object detection data transmitted from the object detection device 23 in the process of step S204 in FIG. 16 via the communication unit 252
  • the communication control unit 265 determines that the object detection data is received, and the process proceeds to step Proceed to S308.
  • step S308 the search unit 261 determines whether there is a vehicle 22 entering the intersection 401. Specifically, the communication control unit 265 supplies object detection data to the search unit 261. The search unit 261 searches for the vehicle 22 entering the intersection 401 where the object detection device 23 is located, based on the current position and the planned route of each vehicle 22 registered in the database 253. Then, when the vehicle 22 entering the intersection 401 is found as a result of the search, the search unit 261 determines that the vehicle 22 entering the intersection 401 is present, and the process proceeds to step S309.
  • step S309 the server 25 transmits object detection data to the vehicle 22 entering the intersection 401.
  • the search unit 261 supplies the data indicating the vehicle 22 entering the intersection 401 and the object detection data to the communication control unit 265.
  • the communication unit 252 transmits object detection data to the vehicle 22 entering the intersection 401 via the network 26 under the control of the communication control unit 265.
  • step S310 the user 12 or the accompaniment 13 matching the detected object (that is, the object detected by the object detection device 23) is searched by the same processing as step S106 in FIG.
  • the search unit 261 supplies data indicating the search result to the state estimation unit 262.
  • step S311 the search unit 261 determines, based on the result of the process of step S310, whether or not the user 12 or the incidental object 13 matching the detected object is found. If it is determined that the user 12 or the companion 13 that matches the detected object is found, the process proceeds to step S312. At this time, the search unit 261 supplies the state estimation unit 262 with data indicating the user 12 or the companion 13 that matches the detected object.
  • step S312 the communication control unit 265 determines whether or not there is a reply from the vehicle 22.
  • the communication control unit 265 transmits the safety entry enable data transmitted in the process of step S256 of FIG. 17 or the process of step S257 of FIG. 17 from the vehicle 22 that transmitted the object detection data in the process of step S309.
  • the safe entry impossibility data is received, it is determined that there is a reply from the vehicle 22, and the process proceeds to step S313.
  • step S313 the state estimation unit 262 determines whether the vehicle 22 can safely enter the intersection 401. Specifically, the communication control unit 265 supplies the safe approach enable data or the safe approach disable data received from the vehicle 22 to the state estimation unit 262. If it is the safe approachable data that has been acquired, the state estimation unit 262 determines that the vehicle 22 can safely enter the intersection, and the process proceeds to step S314.
  • step S314 the notification control unit 264 generates safety notification data. Specifically, the state estimation unit 262 supplies the notification control unit 264 with data indicating the user 12 or the incident 13 coincident with the detected object, and data indicating that the vehicle 22 can safely enter the intersection. .
  • the notification control unit 264 generates, for example, safety notification data for notifying that the vehicle 22 can safely enter the intersection 401.
  • the notification control unit 264 supplies the communication control unit 265 with the safety notification data and data indicating the transmission destination of the safety notification data.
  • the transmission destination of safety notification data is set to the client 21 of the user 12, for example, when the user 12 is detected by the object detection device 23.
  • the transmission destination of the safety notification data is set to the client 21 of the user 12 accompanied by the appendage 13.
  • step S315 the safety notification data is transmitted to the client 21 of the user 12 as in the process of step S110 of FIG.
  • step S313 when it is the safety entry impossible data acquired, the state estimation unit 262 determines that the vehicle 22 can not safely enter the intersection, and the process proceeds to step S316.
  • step S312 the communication control unit 265 determines that there is no reply from the vehicle 22 when neither the safe approach enable data nor the safe approach disable data is received, and the process proceeds to step S316.
  • step S316 the notification control unit 264 determines whether or not the user 12 is set to be notified of a danger. If it is determined that the user 12 is set to be notified of danger, the process proceeds to step S317.
  • the setting as to whether or not the user 12 is notified of the danger is set in advance, for example, from the client 21 of the user 12 to the server 25.
  • step S317 the notification control unit 264 generates danger notification data. Specifically, the state estimation unit 262 supplies the notification control unit 264 with data indicating the user 12 or the accompanying person 13 that matches the detected object, and data indicating that the vehicle 22 can not safely enter the intersection. Do.
  • the notification control unit 264 generates, for example, danger notification data for notifying that the vehicle 22 can not safely enter the intersection 401.
  • the notification control unit 264 supplies the communication control unit 265 with the danger notification data and data indicating the transmission destination of the danger notification data.
  • the transmission destination of the danger notification data is set in the same manner as the process of step S314.
  • step S318 the danger notification data is transmitted to the client 21 of the user 12 by the same processing as step S315.
  • step S316 determines whether the user 12 is not set to be notified of danger. If it is determined in step S316 that the user 12 is not set to be notified of danger, the processes of steps S317 and S318 are skipped, and the process proceeds to step S319.
  • step S311 If it is determined in step S311 that the user 12 and the accompanying object 13 that match the detected object are not found, the processing in steps S312 to S318 is skipped, and the process proceeds to step S319.
  • step S308 when it is determined in step S308 that there is no vehicle 22 entering the intersection 401, the processing of steps S309 to S318 is skipped, and the processing proceeds to step S319.
  • step S307 If it is determined in step S307 that no object detection data has been received from the object detection device 23, the processing in steps S308 to S318 is skipped, and the process proceeds to step S319.
  • step S319 as in the process of step S111 in FIG. 8, it is determined whether the process ends. If it is determined not to end the process, the process returns to step S301.
  • steps S301 to S319 is repeatedly executed until it is determined in step S319 that the process is ended.
  • step S319 when it is determined in step S319 that the process is to be ended, the process of the server 25 is ended.
  • the user 12 can be reliably notified whether the vehicle 22 can safely enter the intersection 401 or not. As a result, even if the vehicle 22 can not be seen, the user 12 recognizes that the user 12 or his / her companion 13 is safe or dangerous, and can act at ease or act with great care. be able to.
  • the client 21 does not necessarily have to notify the user 12 of the safety, and the vehicle 22 or the display device 24 around the user 12 may perform the notification, for example.
  • the vehicle 22 recognizes that the user 12 or the accessory 13 is blinked or blinks the headlamps. You may make it notify.
  • the display device 24 may notify that the vehicle 22 recognizes the user 12 or the accessory 13.
  • the display device 24 may display the display screen of FIG. 10 or FIG.
  • two or more of the client 21, the vehicle 22, and the display device 24 may notify the user 12 of the safety.
  • notification may be performed using, for example, sound, vibration, or light.
  • notification may be provided by a buzzer sound, an alarm sound, or another sound that attracts attention.
  • notification may be performed by vibration that is easily detected or noticed by a person.
  • notification may be performed by lighting or blinking of light. In addition, when making light blink, the speed which blinks is adjusted as needed.
  • the sound, vibration or light may be made larger as the vehicle 22 approaches the user 12 or the accessory 13.
  • the client 21 detects the anxiety of the user 12 based on the heart rate of the user 12, the size of the pupil, etc., and the sound, the vibration or the light is made larger as the anxiety is larger. Good.
  • the approach determination unit 263 of the server 25 causes the vehicle 22 to collide or contact the recognition object based on the current position of the recognition object, the current position of the vehicle 22, the planned route, the speed, and the like.
  • the degree of risk may be calculated. The higher the degree of danger, the larger the sound, vibration or light, and the lower the degree of danger, the smaller the sound, vibration or light.
  • notification to the vehicle 22 is not performed. Good.
  • the speed of the vehicle 22 is extremely low, the notification to the vehicle 22 may not be performed.
  • FIG. 20 shows an example in which the notification methods of the notification devices are compared in the case where the user 12 is looking at a child or the like who is the accompanying object 13.
  • the notification device when the notification device is a smartphone, it is desirable to notify by sound or vibration because the user 12 does not look at the smartphone. On the other hand, it is not desirable to notify by an image or light.
  • the notification device is a wristwatch type device
  • notification by image and light is less desirable.
  • notification may be performed using any of an image, sound, vibration, or light.
  • the notification device is a signage device
  • the user 12 does not look at the signage device nor does it touch the signage device.
  • the light quantity of the signage device is large. Therefore, it is desirable to notify by sound or light. On the other hand, it is not desirable to notify by an image or vibration.
  • the notification device is a vehicle 22
  • the user 12 does not look at the vehicle 22 or touch the vehicle 22.
  • the light amount of the headlights of the vehicle 22 is large. Therefore, it is desirable to notify by sound or light.
  • FIG. 21 illustrates an example in which the notification methods of the notification devices are compared in a case where the user 12 is blocked by the accompanying matter 13 or the like.
  • the notification device when the notification device is a smartphone, it is desirable to notify by sound or vibration because the user 12 can not see the smartphone. On the other hand, it is not desirable to notify by an image or light.
  • the notification device is a wristwatch-type device
  • notification by image and light is less desirable.
  • notification may be performed using any of an image, sound, vibration, or light.
  • the notification device is a signage device
  • the user 12 can easily view the signage device but can not touch the signage device. Therefore, it is desirable to notify by image, sound or light. On the other hand, it is not desirable to notify by vibration.
  • the notification device is a vehicle 22, the user 12 can easily see the vehicle 22 but can not touch the vehicle 22. Therefore, it is desirable to notify by sound or light. On the other hand, it is not desirable to notify by vibration. Also, since the vehicle 22 is moving, the visibility of the image is reduced. Therefore, it is not desirable to notify by an image.
  • notification is performed when the user 12 looks at the smartphone. Also, for example, when the user 12 looks at the accompanying thing 13 such as a child or when looking at the vehicle 22, notification is given by sound or vibration.
  • notification device is a glasses-type AR device
  • notification is performed when the user 12 looks at the accompanying object 13 such as a child or when looking at the vehicle 22.
  • notification device is a signage device
  • notification will occur when the user 12 sees the signage device.
  • notification is given by sound or light.
  • notification may be made by sound or light when the user 12 looks at the accompanying object 13 such as a child or when looking at the vehicle 22.
  • the accessory 13 and the vehicle 22 are included in the field of view of the user 12 when the user 12 looks at the accessory 13.
  • the vehicle 22 heading toward the user 12 or the companion 13 does not recognize the user 12 and the companion 13
  • the user 12 may be notified that the vehicle 22 does not recognize the user 12 and the appendage 13.
  • the vehicle 22 may be notified that the user 12 recognizes the vehicle 22.
  • the vehicle 22 in the direction in which the user 12 is looking ie, the vehicle 22 recognized by the user 12
  • a safety notification may be sent.
  • the vehicle 22 wearing the glasses-type AR device as the client 21 taps the device, the vehicle 22 in the direction in which the user 12 is looking (that is, the vehicle 22 recognized by the user 12) A safety notification may be sent.
  • the accompanying matter 13 is a child, for example, when the user 12 watches over a child by telepresence etc., it is recognized that the vehicle 22 recognizes the child even if the child is away from the user 12 A security notification may be sent to the client 21 of the user 12 to indicate.
  • the object detection device 23 when the object detection device 23 recognizes the vehicle 22, the presence of the vehicle 22 is present regardless of whether the vehicle 22 can safely enter the intersection 401 or not.
  • the user 12 around the intersection 401 may be notified.
  • the object detection device 23 when the object detection device 23 recognizes the user 12 who is a pedestrian, the presence of the user 12 may be notified to the vehicle 22 around the intersection 401 .
  • the user 12 in the vicinity of the intersection 401 may be notified of the presence of the vehicle 22.
  • the feature or the like of the appendage 13 may be registered in the server 25.
  • an appendage 13 e.g., a child
  • registration data regarding the appendage 13 is The feature or the like of the incidental material 13 may be registered in the server 25 by being transmitted from the client 21 to the server 25.
  • the feature or the like of the incidental thing 13 may be registered in the server 25.
  • the user 12 is accompanied by a companion 13 (for example, a child) based on a scheduler registered in the client 21 or the server 25, registration data relating to the companion 13 corresponds to the client 21. May be transmitted to the server 25 so that the feature etc. of the incidental material 13 may be registered in the server 25.
  • the registration data regarding the umbrella which is the accompanying matter 13 from the client 21 may be registered in the server 25.
  • the registration data regarding the product which is the incidental material 13 is transmitted from the client 21 to the server 25, and the product characteristics etc. It may be registered in the server 25.
  • the information processing device that detects the features of the user 12 and the accompanying matter 13 differs from the information processing device that performs notification to the user 12 It is also good.
  • the present technology can be applied to any of vehicles that perform automatic driving and manual driving.
  • the present technology can also be applied to various mobile objects such as motorcycles, bicycles, personal mobility, airplanes, ships, construction machines, agricultural machines (tractors) and the like.
  • mobile bodies to which the present technology can be applied include, for example, mobile bodies that a user, such as a drone or a robot, operates (operates) remotely without boarding.
  • FIG. 22 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 501 a read only memory (ROM) 502, and a random access memory (RAM) 503 are mutually connected by a bus 504.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • an input / output interface 505 is connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an imaging device, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 is formed of a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508, for example, to the RAM 503 via the input / output interface 505 and the bus 504, and executes the program. A series of processing is performed.
  • the program executed by the computer 500 can be provided by being recorded on, for example, a removable recording medium 511 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Also, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • the notification control unit further controls notification of the recognition state to the user based on the relative movement between the mobile unit and the user or the appendage.
  • the information processing apparatus according to any one of the above.
  • the notification control unit further controls notification of the recognition state to the user based on the risk of collision or contact between the moving object and the user or the accompanying object. apparatus.
  • the notification control unit controls notification of the recognition state in at least one of another information processing apparatus possessed by the user, the movable body, and a display device around the user.
  • the information processing apparatus according to any one of 6).
  • the communication control unit controls to transmit data indicating the feature of the incident to the other information processing apparatus when it is detected or estimated that the incident is attached to the user.
  • the information processing apparatus according to any one of (12) to (12).
  • the incidental material includes at least one of an object that moves along with the user, an object that the user carries, and an object that the user moves. .
  • An object detection unit that detects features of an object around the moving body;
  • a position estimation unit that estimates the position of the mobile object;
  • the data indicating the feature of the surrounding object, the position of the moving object, and the planned route of the moving object, wherein the information processing device recognizes the moving object with respect to at least one of the user and the user's appendage
  • the communication control unit controls reception of data indicating an estimation result of the recognition state from the information processing apparatus;
  • a first information processing apparatus owned by a user A second information processing apparatus, Equipped with mobile and The first information processing apparatus transmits data indicating the feature of the user's accompanying thing to the second information processing apparatus.
  • the mobile transmits data indicating characteristics of an object around the mobile to the second information processing apparatus.
  • the second information processing apparatus estimates the recognition state of the moving body with respect to at least one of the user and the appendage based on the feature of the appendage and the feature of the surrounding object, and An information processing system, which transmits data indicating an estimation result to at least one of the first information processing apparatus and the moving object.

Abstract

本技術は、ユーザが周囲の移動体の安全性を認識することができるようにする情報処理装置、移動体、及び、情報処理システムに関する。 情報処理装置は、ユーザの付随物の特徴、及び、移動体により認識された前記移動体の周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定する状態推定部と、前記認識状態の前記ユーザへの通知を制御する通知制御部とを備える。本技術は、例えば、車両が歩行者や歩行者の付随物を認識しているか否かを通知するシステムに適用できる。

Description

情報処理装置、移動体、及び、情報処理システム
　本技術は、情報処理装置、移動体、及び、情報処理システムに関し、特に、ユーザが周囲の移動体の安全性を認識できるようにした情報処理装置、移動体、及び、情報処理システムに関する。
　従来、ユーザが運転席からウインドシールドを通して視認する風景に対して、車線変更に対するリスクを報知する側壁画像を重畳して表示したり、停止線の位置に正面壁画像を重畳して表示したりすることが提案されている（例えば、特許文献１参照）。
特開２０１５－２１０６４４号公報
　ところで、例えば、ユーザが道路を歩行している場合、周囲の車両の安全性を認識したいというニーズがある。しかしながら、特許文献１では、この点については検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、ユーザが周囲の車両等の移動体の安全性を認識できるようにするものである。
　本技術の第１の側面の情報処理装置は、ユーザの付随物の特徴、及び、移動体により認識された前記移動体の周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定する状態推定部と、前記認識状態の前記ユーザへの通知を制御する通知制御部とを備える。
　本技術の第２の側面の情報処理装置は、ユーザの付随物の特徴を示すデータの他の情報処理装置への送信、並びに、前記ユーザ及び前記付随物のうち少なくとも一方に対する移動体の認識状態を示すデータの前記他の情報処理装置からの受信を制御する通信制御部と、前記認識状態の前記ユーザへの通知を制御する通知制御部とを備える。
　本技術の第３の側面の移動体は、情報処理装置と通信を行う移動体であって、前記移動体の周囲の物体の特徴を検出する物体検出部と、前記移動体の位置を推定する位置推定部と、前記周囲の物体の特徴、前記移動体の位置、及び、前記移動体の予定経路を示すデータであって、前記情報処理装置がユーザ及び前記ユーザの付随物のうち少なくとも一方に対する前記移動体の認識状態の推定に用いるデータの前記情報処理装置への送信を制御する通信制御部とを備える。
　本技術の第４の側面の情報処理システムは、ユーザが所持する第１の情報処理装置と、第２の情報処理装置と、移動体とを備え、前記第１の情報処理装置は、前記ユーザの付随物の特徴を示すデータを前記第２の情報処理装置に送信し、前記移動体は、前記移動体の周囲の物体の特徴を示すデータを前記第２の情報処理装置に送信し、前記第２の情報処理装置は、前記付随物の特徴及び前記周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定し、前記認識状態の推定結果を示すデータを前記第１の情報処理装置及び前記移動体のうちの少なくとも１つに送信する。
　本技術の第１の側面においては、ユーザの付随物の特徴、及び、移動体により認識された前記移動体の周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態が推定され、前記認識状態の前記ユーザへの通知が制御される。
　本技術の第２の側面においては、ユーザの付随物の特徴を示すデータの他の情報処理装置への送信、並びに、前記ユーザ及び前記付随物のうち少なくとも一方に対する移動体の認識状態を示すデータの前記他の情報処理装置からの受信が制御され、前記認識状態の前記ユーザへの通知が制御される。
　本技術の第３の側面においては、移動体の周囲の物体の特徴が検出され、前記移動体の位置が推定され、前記周囲の物体の特徴、前記移動体の位置、及び、前記移動体の予定経路を示すデータであって、前記情報処理装置がユーザ及び前記ユーザの付随物のうち少なくとも一方に対する前記移動体の認識状態の推定に用いるデータの前記情報処理装置への送信が制御される。
　本技術の第４の側面においては、第１の情報処理装置により、ユーザの付随物の特徴を示すデータが第２の情報処理装置に送信され、移動体により、前記移動体の周囲の物体の特徴を示すデータが前記第２の情報処理装置に送信され、前記第２の情報処理装置により、前記付随物の特徴及び前記周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定し、前記認識状態の推定結果を示すデータが前記第１の情報処理装置及び前記移動体のうちの少なくとも１つに送信される。
　本技術の第１の側面乃至第４の側面によれば、ユーザが周囲の移動体の安全性を認識することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用された情報処理システムの一実施の形態を示すブロック図である。 クライアントの構成例を示すブロック図である。 車両の構成例を示すブロック図である。 物体検出装置の構成例を示すブロック図である。 サーバの構成例を示すブロック図である。 クライアントの処理を説明するためのフローチャートである。 車両の処理の第１の実施の形態を説明するためのフローチャートである。 サーバの処理の第１の実施の形態を説明するためのフローチャートである。 データベースに登録されるユーザ及び付随物に関するデータの構成例を示す図である。 クライアントにおいて安全性を通知するための表示画面の第１の例を示す図である。 クライアントにおいて安全性を通知するための表示画面の第２の例を示す図である。 クライアントにおいて安全性を通知するための表示画面の第３の例を示す図である。 クライアントにおいて安全性を通知するための表示画面の第４の例を示す図である。 クライアントにおいて安全性を通知するための表示画面の第５の例を示す図である。 物体検出装置の設置位置の例を示す図である。 物体検出装置の処理を説明するためのフローチャートである。 車両の処理の第２の実施の形態を説明するためのフローチャートである。 サーバの処理の第２の実施の形態を説明するためのフローチャートである。 サーバの処理の第２の実施の形態を説明するためのフローチャートである。 ユーザが子供等を見ている場合の各デバイスの通知方法を比較した例を示す表である。 ユーザの両手が塞がっている場合の各デバイスの通知方法を比較した例を示す表である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　＜情報処理システム１１の構成例＞
　図１は、本技術を適用した情報処理システム１１の一実施の形態を示すブロック図である。
　情報処理システム１１は、クライアント２１、車両２２、物体検出装置２３、表示装置２４、及び、サーバ２５を備える。クライアント２１、車両２２、物体検出装置２３、表示装置２４、及び、サーバ２５は、ネットワーク２６を介して接続されており、相互に通信可能である。
　なお、図１では、説明を分かりやすくするために、ユーザ１２、付随物１３、クライアント２１、車両２２、物体検出装置２３、及び、表示装置２４をそれぞれ１つのみ図示しているが、実際には、それぞれ２以上設けられる。また、サーバ２５も２以上設けることが可能である。
　クライアント２１は、ユーザ１２が所持する１以上の情報処理装置により構成される。
　なお、クライアント２１を構成する情報処理装置の数や種類は特に限定されない。例えば、クライアント２１は、ウエアラブルデバイス、スマートフォン、タブレット、携帯電話機等のユーザが装着又は携帯できる携帯情報端末により構成される。また、ウエアラブルデバイスには、例えば、眼鏡型、腕時計型、ブレスレット型、ネックレス型、ネックバンド型、イヤフォン型、ヘッドセット型、ヘッドマウント型等の各種の方式を採用することができる。
　なお、以下、説明を簡単にするために、クライアント２１が１つの情報処理装置により構成される場合を例に挙げて説明する。
　クライアント２１は、ユーザ１２及びユーザ１２の付随物１３に関するデータを、ネットワーク２６を介してサーバ２５に送信する。
　なお、付随物１３は、ユーザ１２に付随して移動するものである。例えば、付随物１３には、子供やペット等のユーザ１２に付随して動くもの、キャリーケース、リュックサック等のユーザ１２が持ち運ぶもの、並びに、自転車、ベビーカー、車いす等のユーザ１２が動かすものが想定される。
　また、図１では、付随物１３を１つのみ図示しているが、１人のユーザ１２に２以上の付随物１３が付随していてもよい。さらに、必ずしもユーザ１２に付随物１３が付随していなくてもよい。
　また、クライアント２１は、ユーザ１２及び付随物１３の周囲の車両２２の安全性を示すデータを、ネットワーク２６を介してサーバ２５から受信する。クライアント２１は、受信したデータに基づいて、ユーザ１２及び付随物１３の周囲の車両２２の安全性をユーザ１２に通知する。
　車両２２は、乗用車、バス、トラック等の自動車、モータバイク等の原動機付きの二輪車や三輪車等の任意の種類の車両により構成される。
　車両２２は、周囲の物体の検出処理を行い、検出した物体に関するデータを、ネットワーク２６を介してサーバ２５に送信する。また、車両２２は、車両２２に関するデータを、ネットワーク２６を介してサーバ２５に送信する。
　さらに、車両２２は、ユーザ１２及び付随物１３に対する車両２２の安全性を示すデータを、ネットワーク２６を介してサーバ２５から受信する。車両２２は、受信したデータに基づいて、ユーザ１２及び付随物１３に対する車両２２の安全性をユーザ１２に通知する。
　物体検出装置２３は、交差点の信号機又は道路標識の上などに設置され、交差点の周囲の物体の検出処理を行い、検出した物体に関するデータを、ネットワーク２６を介してサーバ２５に送信する。
　表示装置２４は、例えば、デジタルサイネージ、ディスプレイ等の表示装置により構成され、道路を通行するユーザ１２から見える位置に設置される。なお、表示装置２４は、必ずしも情報処理システム１１のために専用に設けられたものでなくてもよく、他の目的で設けられたものを表示装置２４として使用してもよい。
　表示装置２４は、ユーザ１２及び付随物１３の周囲の車両２２の安全性を示すデータを、ネットワーク２６を介してサーバ２５から受信する。表示装置２４は、受信したデータに基づいて、ユーザ１２及び付随物１３の周囲の車両２２の安全性をユーザ１２に通知する。
　サーバ２５は、ユーザ１２及び付随物１３の周囲の車両２２の安全性の認識処理を行う。サーバ２５は、ユーザ１２及び付随物１３の周囲の車両２２の安全性を示すデータを、ネットワーク２６を介して、クライアント２１、車両２２、又は、表示装置２４に送信する。
　＜クライアント２１の構成例＞
　図２は、クライアント２１の構成例を示すブロック図である。クライアント２１は、撮影部１０１、センサ部１０２、ＧＮＳＳ（Global Navigation Satellite System）受信機１０３、入力部１０４、情報処理部１０５、通信部１０６、及び、出力部１０７を備える。
　撮影部１０１は、例えば、１以上のカメラを備える。撮影部１０１は、例えば、ユーザ１２及び付随物１３を撮影し、撮影の結果得られた画像を情報処理部１０５の特徴検出部１１１に供給する。
　センサ部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、生体センサ、マイクロフォン等のユーザ１２及び付随物１３の特徴を検出するためのセンサを備える。センサ部１０２は、各センサにより得られたセンサデータを特徴検出部１１１に供給する。
　ＧＮＳＳ受信機１０３は、航法衛星であるＧＮＳＳ衛星からの衛星信号（以下、ＧＮＳＳ信号と称する）を受信し、情報処理部１０５の自己位置推定部１１２に供給する。
　入力部１０４は、各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０４は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。入力部１０４は、入力データを情報処理部１０５に供給する。
　情報処理部１０５は、各種の情報処理を行う。例えば、情報処理部１０５は、ユーザ１２及び付随物１３に関するデータのサーバ２５への登録処理、及び、ユーザ１２及び付随物１３の周囲の車両２２の安全性の通知処理等を行う。情報処理部１０５は、特徴検出部１１１、自己位置推定部１１２、データ生成部１１３、通信制御部１１４、及び、通知制御部１１５を備える。
　特徴検出部１１１は、撮影部１０１により撮影された画像、及び、センサ部１０２からのセンサデータに基づいて、ユーザ１２及び付随物１３の特徴を検出する。特徴検出部１１１は、検出した特徴を示すデータをデータ生成部１１３に供給する。
　自己位置推定部１１２は、ＧＮＳＳ信号に基づいてクライアント２１の自己位置推定を行う。自己位置推定部１１２は、自己位置推定により推定されたクライアント２１の現在位置を示すデータをデータ生成部１１３に供給する。
　データ生成部１１３は、ユーザ１２及び付随物１３の特徴をサーバ２５に登録するための登録データを生成し、通信制御部１１４に供給する。また、データ生成部１１３は、クライアント２１の現在位置等をサーバ２５に通知するための位置データを生成し、通信制御部１１４に供給する。
　通信制御部１１４は、通信部１０６の通信処理の制御を行う。また、通信制御部１１４は、送信するデータをクライアント２１の各部から取得し、通信部１０６に供給したり、通信部１０６を介して受信したデータをクライアント２１の各部に供給したりする。
　通知制御部１１５は、出力部１０７によるユーザ１２への各種の情報の通知処理の制御を行う。例えば、通知制御部１１５は、出力部１０７によるユーザ１２及び付随物１３の周囲の車両２２の安全性の通知処理の制御を行う。
　通信部１０６は、ネットワーク２６を介して、他のクライアント２１、車両２２、物体検出装置２３、表示装置２４、及び、サーバ２５と通信を行う。
　出力部１０７は、例えば、画像、音、光、又は、振動等により情報を出力する装置を備える。例えば、出力部１０７は、表示装置、スピーカ及びヘッドホン等の音声出力装置、照明装置、又は、振動等によるハプティクス技術を用いた装置等を備える。
　＜車両２２の構成例＞
　車両２２は、撮影部１５１、センサ部１５２、ＧＮＳＳ受信機１５３、動作制御部１５４、情報処理部１５５、通信部１５６、及び、出力部１５７を備える。
　撮影部１５１は、例えば、１以上のカメラを備える。撮影部１５１は、例えば、車両２２の周囲を撮影し、撮影の結果得られた画像を情報処理部１５５の物体検出部１６１に供給する。
　センサ部１５２は、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等の車両２２の周囲の物体を検出するためのセンサを備える。センサ部１５２は、各センサにより得られたセンサデータを物体検出部１６１に供給する。
　ＧＮＳＳ受信機１５３は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、情報処理部１５５の自己位置推定部１６２に供給する。
　動作制御部１５４は、車両２２の加減速、進行方向等の動作の制御を行う。動作制御部１５４は、車両２２の動作等を示すデータを情報処理部１５５のデータ生成部１６５に供給する。
　情報処理部１５５は、各種の情報処理を行う。例えば、情報処理部１５５は、車両２２の周囲の物体を検出し、サーバ２５に通知する処理、車両２２の現在位置及び予定経路をサーバ２５に通知する処理、車両２２が安全に交差点に進入できるか否かをサーバ２５に通知する処理、並びに、ユーザ１２に車両２２の安全性を通知する処理等を行う。情報処理部１５５は、物体検出部１６１、自己位置推定部１６２、物体位置推定部１６３、移動経路設定部１６４、データ生成部１６５、通信制御部１６６、及び、通知制御部１６７を備える。
　物体検出部１６１は、撮影部１５１により撮影された画像、及び、センサ部１５２からのセンサデータに基づいて、車両２２の周囲の物体の検出処理を行う。物体検出部１６１は、車両２２の周囲の物体の検出結果を示すデータを物体位置推定部１６３及びデータ生成部１６５に供給する。
　自己位置推定部１６２は、ＧＮＳＳ信号に基づいて車両２２の自己位置推定を行う。自己位置推定部１１２は、自己位置推定により推定された車両２２の現在位置を示すデータを物体位置推定部１６３及びデータ生成部１６５に供給する。
　物体位置推定部１６３は、車両２２の周囲の物体の検出結果、及び、車両２２の現在位置に基づいて、車両２２の周囲の物体の現在位置を推定する。物体位置推定部１６３は、車両２２の周囲の物体の現在位置を示すデータをデータ生成部１６５に供給する。
　移動経路設定部１６４は、車両２２の移動経路の設定を行う。移動経路設定部１６４は、設定した移動経路を示すデータをデータ生成部１６５に供給する。
　データ生成部１６５は、車両２２の周囲の物体に関する情報をサーバ２５に通知するための物体検出データを生成し、通信制御部１６６に供給する。また、データ生成部１６５は、車両２２の現在位置等をサーバ２５に通知するための位置データを生成し、通信制御部１６６に供給する。さらに、データ生成部１６５は、車両２２が安全に交差点に進入できることをサーバ２５に通知するための安全進入可能データを生成し、通信制御部１６６に供給する。また、データ生成部１６５は、車両２２が安全に交差点に進入できないことをサーバ２５に通知するための安全進入不可データを生成し、通信制御部１６６に供給する。
　通信制御部１６６は、通信部１５６の通信処理の制御を行う。また、通信制御部１６６は、送信するデータを車両２２の各部から取得し、通信部１５６に供給したり、通信部１５６を介して受信したデータを車両２２の各部に供給したりする。
　通知制御部１６７は、出力部１０７によるユーザ１２への各種の情報の通知処理の制御を行う。例えば、通知制御部１６７は、出力部１５７による車両２２の安全性の通知処理の制御を行う。
　通信部１５６は、ネットワーク２６を介して、クライアント２１、他の車両２２、物体検出装置２３、表示装置２４、及び、サーバ２５と通信を行う。
　出力部１５７は、例えば、画像、音、又は、光等により情報を出力する装置を備える。例えば、出力部１５７は、表示装置、カーホーン及びサイレン等の音声出力装置、又は、ヘッドランプ等の照明装置等を備える。
　＜物体検出装置２３の構成例＞
　図４は、物体検出装置２３の構成例を示すブロック図である。
　物体検出装置２３は、撮影部２０１、情報処理部２０２、及び、通信部２０３を備える。
　撮影部２０１は、例えば、１以上のカメラを備える。撮影部２０１は、例えば、物体検出装置２３が設置されている交差点の周囲を撮影し、撮影の結果得られた画像（以下、交差点画像と称する）を情報処理部２０２の物体検出部２１１に供給する。
　情報処理部２０２は、各種の情報処理を行う。例えば、情報処理部２０２は、交差点の周囲の物体を検出し、サーバ２５に通知する処理を行う。情報処理部２０２は、物体検出部２１１、物体位置推定部２１２、データ生成部２１３、及び、通信制御部２１４を備える。
　物体検出部２１１は、交差点画像に基づいて、物体の検出処理を実行する。物体検出部２１１は、検出した物体の特徴を示すデータ、及び、交差点画像を物体位置推定部２１２に供給する。
　物体位置推定部２１２は、交差点画像に基づいて、検出された物体の現在位置を推定する。物体位置推定部２１２は、物体の特徴及び現在位置を示すデータをデータ生成部２１３に供給する。
　データ生成部２１３は、物体の特徴及び現在位置をサーバ２５に通知するための物体検出データを生成し、通信制御部２１４に供給する。
　通信制御部２１４は、通信部２０３の通信処理の制御を行う。また、通信制御部２１４は、送信するデータを物体検出装置２３の各部から取得し、通信部２０３に供給したり、通信部２０３を介して受信したデータを物体検出装置２３の各部に供給したりする。
　通信部２０３は、ネットワーク２６を介して、クライアント２１、車両２２、他の物体検出装置２３、表示装置２４、及び、サーバ２５と通信を行う。
　＜サーバ２５の構成例＞
　図５は、サーバ２５の構成例を示すブロック図である。
　サーバ２５は、情報処理部２５１、通信部２５２、及び、データベース２５３を備える。
　情報処理部２５１は、各種の情報処理を行う。例えば、情報処理部２５１は、ユーザ１２及び付随物１３の周囲の車両２２の安全性をユーザ１２に通知する処理を行う。情報処理部２５１は、検索部２６１、状態推定部２６２、接近判定部２６３、通知制御部２６４、通信制御部２６５、及び、データ登録部２６６を備える。
　検索部２６１は、車両２２からの物体検出データに基づいて、車両２２により検出された物体と一致するユーザ１２又は付随物１３をデータベース２５３から検索する。検索部２６１は、検索結果を示すデータ及び物体検出データを状態推定部２６２に供給する。
　また、検索部２６１は、物体検出装置２３からの物体検出データに基づいて、物体検出装置２３が設置されている交差点４０１に進入する車両２２をデータベース２５３から検索する。検索部２６１は、検索結果を示すデータ、及び、物体検出データを通信制御部２６５に供給する。
　さらに、検索部２６１は、物体検出装置２３からの物体検出データに基づいて、物体検出装置２３により検出された物体と一致するユーザ１２又は付随物１３をデータベース２５３から検索する。検索部２６１は、検索結果を示すデータを状態推定部２６２に供給する。
　状態推定部２６２は、検索部２６１による検索結果に基づいて、ユーザ１２又は付随物１３に対する車両２２の認識状態を推定する。状態推定部２６２は、認識状態の推定結果を示すデータ、及び、物体検出データを接近判定部２６３に供給する。
　また、状態推定部２６２は、車両２２からの安全進入可能データ又は安全進入不可データに基づいて、車両２２が安全に交差点に進入できるか否かを判定する。状態推定部２６２は、物体検出装置２３により検出された物体の検索結果を示すデータ、及び、車両２２が安全に交差点に進入できるか否かの判定結果を示すデータを通知制御部２６４に供給する。
　接近判定部２６３は、物体検出データに基づいて、車両２２が認識していると推定されるユーザ１２又は付随物１３（以下、認識対象物と称する）に車両２２が接近しているか否かを判定する。接近判定部２６３は、認識対象物に車両２２が接近していると判定した場合、認識対象物を示すデータ及び物体検出データを通知制御部２６４に供給する。
　通知制御部２６４は、クライアント２１、車両２２、及び、表示装置２４におけるユーザ１２への各種の情報の通知処理の制御を行う。例えば、通知制御部２６４は、ユーザ１２及び付随物１３の周囲の車両２２の安全性をユーザ１２に通知するためのデータであって、クライアント２１、車両２２、又は、表示装置２４に送信するデータを生成し、通信制御部２６５に供給する。
　データ登録部２６６は、ユーザ１２、付随物１３、及び、車両２２に関するデータ等のデータベース２５３への登録処理を行う。
　通信制御部２６５は、通信部２５２の通信処理の制御を行う。また、通信制御部２６５は、送信するデータをサーバ２５の各部から取得し、通信部２５２に供給したり、通信部２５２を介して受信したデータをサーバ２５の各部に供給したりする。
　通信部２５２は、ネットワーク２６を介して、クライアント２１、車両２２、物体検出装置２３、及び、表示装置２４と通信を行う。
　データベース２５３は、ユーザ１２、付随物１３、及び、車両２２に関するデータ等を格納する。
　＜情報処理システム１１の処理の第１の実施の形態＞
　次に、図６乃至図１４を参照して、情報処理システム１１の処理の第１の実施の形態について説明する。この第１の実施の形態の処理では、ユーザ１２又は付随物１３に対する車両２２の認識状態をサーバ２５がユーザ１２に通知する処理が行われる。
　＜クライアント２１の処理＞
　まず、図６のフローチャートを参照して、クライアント２１の処理について説明する。
　この処理は、例えば、クライアント２１の電源がオンされたとき開始される。
　ステップＳ１において、データ生成部１１３は、ユーザ１２の特徴を登録するか否かを判定する。例えば、データ生成部１１３は、入力部１０４を介してユーザ１２の特徴の登録の指示が入力された場合、ユーザ１２の特徴を登録すると判定し、処理はステップＳ２に進む。
　ステップＳ２において、情報処理部１０５は、ユーザ１２の特徴を取得する。例えば、特徴検出部１１１は、撮影部１０１により撮影されたユーザ１２の画像、及び、センサ部１０２からのセンサデータに基づいて、ユーザ１２の特徴を検出する。特徴検出部１１１は、検出したユーザ１２の特徴を示すデータをデータ生成部１１３に供給する。また、データ生成部１１３は、入力部１０４を介してユーザ１２の特徴が入力された場合、入力されたユーザ１２の特徴を示すデータを取得する。
　その後、処理はステップＳ３に進む。
　なお、取得するユーザ１２の特徴の種類は、ユーザ１２の認識に用いることができるものであれば、特に限定されない。例えば、ユーザ１２の各部の特徴点、シルエット、顔情報、服の色、歩き方等が、ユーザ１２の特徴として用いられる。
　一方、ステップＳ１において、ユーザ１２の特徴を登録しないと判定された場合、ステップＳ２の処理はスキップされ、処理はステップＳ３に進む。
　ステップＳ３において、データ生成部１１３は、付随物１３の特徴を登録するか否かを判定する。例えば、データ生成部１１３は、入力部１０４を介して付随物１３の特徴の登録の指示が入力された場合、付随物１３の特徴を登録すると判定し、処理はステップＳ４に進む。
　ステップＳ４において、情報処理部１０５は、付随物１３の特徴を取得する。例えば、特徴検出部１１１は、撮影部１０１により撮影された付随物１３の画像、及び、センサ部１０２からのセンサデータに基づいて、付随物１３の特徴を検出する。特徴検出部１１１は、検出した付随物１３の特徴を示すデータをデータ生成部１１３に供給する。また、データ生成部１１３は、入力部１０４を介して付随物１３の特徴が入力された場合、入力された付随物１３の特徴を示すデータを取得する。
　その後、処理はステップＳ５に進む。
　なお、取得する付随物１３の特徴の種類は、付随物１３の認識に用いることができるものであれば、特に限定されない。例えば、付随物１３の各部の特徴点、種類、名称、シルエット、色、移動範囲等が、付随物１３の特徴として用いられる。より具体的には、例えば、付随物１３が自転車であれば、色、形状等が用いられる。付随物１３が子供であれば、顔の形状、身長、体つき等が用いられる。
　なお、移動範囲とは、例えば、ユーザ１２を基準にして付随物１３が移動すると想定される範囲である。例えば、付随物１３がキャリーケースの場合、移動範囲は半径１ｍ以内に設定され、例えば、付随物１３が子供の場合、移動範囲は半径５ｍ以内に設定される。
　一方、ステップＳ３において、付随物１３の特徴を登録しないと判定された場合、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。
　ステップＳ５において、データ生成部１１３は、登録データをサーバ２５に送信するか否かを判定する。例えば、データ生成部１１３は、入力部１０４を介して登録データの送信の指示が入力された場合、登録データをサーバ２５に送信すると判定し、処理はステップＳ６に進む。
　ステップＳ６において、自己位置推定部１１２は、ＧＮＳＳ受信機１０３からのＧＮＳＳ信号に基づいて、自己位置推定を行う。自己位置推定部１１２は、自己位置推定により推定されたクライアント２１の現在位置を示すデータをデータ生成部１１３に供給する。クライアント２１の現在位置は、例えば、緯度及び経度による絶対位置により示される。
　ステップＳ７において、クライアント２１は、登録データをサーバ２５に送信する。具体的には、データ生成部１１３は、ユーザ１２及び付随物１３のうち少なくとも一方の特徴、並びに、クライアント２１の現在位置を含む登録データを生成し、通信制御部１１４に供給する。なお、ステップＳ２の処理でユーザ１２の特徴が取得された場合、ユーザ１２の特徴が登録データに含まれ、ステップＳ４の処理で付随物１３の特徴が取得された場合、付随物１３の特徴が登録データに含まれる。
　通信部１０６は、通信制御部１１４の制御の下に、ネットワーク２６を介して、登録データをサーバ２５に送信する。
　その後、処理はステップＳ８に進む。
　一方、ステップＳ５において、登録データをサーバ２５に送信しないと判定された場合、ステップＳ６及びステップＳ７の処理はスキップされ、処理はステップＳ８に進む。
　ステップＳ８において、ステップＳ６の処理と同様に、自己位置推定が行われる。
　ステップＳ９において、自己位置推定部１１２は、現在位置が変化したか否かを判定する。例えば、自己位置推定部１１２は、今回のクライアント２１の現在位置の推定結果と前回の推定結果との差が所定の閾値以上の場合、現在位置が変化したと判定し、処理はステップＳ１０に進む。
　ステップＳ１０において、クライアント２１は、位置データを送信する。具体的には、自己位置推定部１１２は、クライアント２１の現在位置を示すデータをデータ生成部１１３に供給する。データ生成部１１３は、クライアント２１の現在位置を含む位置データを生成し、通信制御部１１４に供給する。通信部１０６は、通信制御部１１４の制御の下に、ネットワーク２６を介して、位置データをサーバ２５に送信する。
　その後、処理はステップＳ１１に進む。
　一方、ステップＳ９において、例えば、自己位置推定部１１２は、今回のクライアント２１の現在位置の推定結果と前回の推定結果との差が所定の閾値未満の場合、現在位置が変化していないと判定し、ステップＳ１０の処理はスキップされ、処理はステップＳ１１に進む。
　ステップＳ１１において、通信制御部１１４は、サーバ２５から安全性が通知されたか否かを判定する。通信制御部１１４は、通信部１０６を介して、安全通知データ又は危険通知データを受信した場合、サーバ２５から安全性を通知されたと判定し、処理はステップＳ１２に進む。
　なお、安全通知データは、後述する図８のステップＳ１１０又は図１９のステップＳ３１５においてサーバ２５から送信され、危険通知データは、図１９のステップＳ３１８においてサーバ２５から送信される。
　ステップＳ１２において、クライアント２１は、安全性の通知を行う。具体的には、通信制御部１１４は、受信した安全通知データ又は危険通知データを通知制御部１１５に供給する。出力部１０７は、通知制御部１１５の制御の下に、安全性の通知を行う。
　なお、安全性の通知方法の例については、後述する。
　その後、処理はステップＳ１３に進む。
　一方、ステップＳ１１において、通信制御部１１４は、安全通知データ及び危険通知データを受信していない場合、サーバ２５から安全性が通知されていないと判定し、ステップＳ１２の処理はスキップされ、処理はステップＳ１３に進む。
　ステップＳ１３において、クライアント２１は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ１３において、処理を終了すると判定されるまで、ステップＳ１乃至ステップＳ１３の処理が繰り返し実行される。
　一方、ステップＳ１３において、クライアント２１は、例えば、電源がオフされた場合、処理を終了すると判定し、クライアント２１の処理は終了する。
　＜車両２２の処理＞
　次に、図７のフローチャートを参照して、車両２２の処理について説明する。
　この処理は、例えば、車両２２を起動し、運転を開始するための操作が行われたとき、例えば、イグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。
　ステップＳ５１において、物体検出部１６１は、物体を検出したか否かを判定する。具体的には、物体検出部１６１は、撮影部１５１からの車両２２の周囲の画像、及び、センサ部１５２からのセンサデータに基づいて、車両２２の周囲の物体の検出処理を行う。物体検出部１６１が、検出処理の結果に基づいて、車両２２の周囲の物体を検出したと判定した場合、処理はステップＳ５２に進む。
　ステップＳ５２において、物体検出部１６１は、物体の特徴を検出する。具体的には、物体検出部１６１は、車両２２の周囲の画像及びセンサデータに基づいて、物体の特徴を検出する。なお、検出する特徴の種類は、例えば、クライアント２１の特徴検出部１１１が検出するユーザ１２及び付随物１３の特徴の種類と同様とされる。物体検出部１６１は、検出した物体の特徴を示すデータをデータ生成部１６５に供給する。
　また、物体検出部１６１は、車両２２の周囲の画像及びセンサデータに基づいて、車両２２に対する物体の相対位置を検出する。物体検出部１６１は、検出した物体の相対位置を示すデータを物体位置推定部１６３に供給する。
　ステップＳ５３において、自己位置推定部１６２は、ＧＮＳＳ受信機１５３からの受信信号に基づいて、自己位置推定を行う。自己位置推定部１６２は、自己位置推定により推定された車両２２の現在位置を示すデータを物体位置推定部１６３及びデータ生成部１６５に供給する。車両２２の現在位置は、例えば、緯度及び経度による絶対位置により示される。
　ステップＳ５４において、物体位置推定部１６３は、物体の位置を推定する。具体的には、物体位置推定部１６３は、自己位置推定部１６２により推定された車両２２の現在位置、及び、物体検出部１６１により検出された物体の相対位置に基づいて、物体の現在位置（絶対位置）を推定する。物体位置推定部１６３は、推定した物体の現在位置を示すデータをデータ生成部１６５に供給する。
　ステップＳ５５において、データ生成部１６５は、予定経路を取得する。すなわち、データ生成部１６５は、車両２２が今後移動する予定の予定経路を示すデータを移動経路設定部１６４から取得する。
　ステップＳ５６において、車両２２は、物体検出データをサーバ２５に送信する。具体的には、データ生成部１６５は、検出した物体の特徴及び現在位置、並びに、車両２２の特徴（例えば、車種、色、自動車登録番号又は車両番号等）及び予定経路を含む物体検出データを生成し、通信制御部１６６に供給する。通信部１５６は、通信制御部１６６の制御の下に、ネットワーク２６を介して、物体検出データをサーバ２５に送信する。
　その後、処理はステップＳ５７に進む。
　一方、ステップＳ５１において、物体を検出していないと判定された場合、ステップＳ５２乃至ステップＳ５６の処理はスキップされ、処理はステップＳ５７に進む。
　ステップＳ５７において、車両２２は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ５１に戻る。
　その後、ステップＳ５７において、処理を終了すると判定されるまで、ステップＳ５１乃至ステップＳ５７の処理が繰り返し実行される。
　一方、ステップＳ５７において、車両２２は、例えば、運転を終了するための操作が行われたとき、例えば、イグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき、処理を終了すると判定し、車両２２の処理は終了する。
　＜サーバ２５の処理＞
　次に、図８のフローチャートを参照して、図６のクライアント２１の処理及び図７の車両２２の処理に対応して実行されるサーバ２５の処理について説明する。
　この処理は、例えば、サーバ２５の電源がオンされたとき開始される。
　ステップＳ１０１において、通信制御部２６５は、クライアント２１から登録データを受信したか否かを判定する。通信制御部２６５は、上述した図６のステップＳ７の処理でクライアント２１から送信された登録データを、通信部２５２を介して受信した場合、登録データを受信したと判定し、処理はステップＳ１０２に進む。
　ステップＳ１０２において、サーバ２５は、ユーザ１２及び付随物１３に関するデータを登録する。具体的には、通信制御部２６５は、受信した登録データをデータ登録部２６６に供給する。データ登録部２６６は、登録データに基づいて、ユーザ１２及び付随物１３に関するデータをデータベース２５３に登録する。
　その後、処理はステップＳ１０３に進む。
　図９は、データベース２５３に登録されるユーザ１２及び付随物１３に関するデータの構成例を示している。
　この例では、ユーザ１２に関するデータは、「ＩＤ」、「特徴」、及び、「位置」の３項目を含んでいる。
　「ＩＤ」には、各ユーザ１２に一意に割り当てられるＩＤが登録される。
　「特徴」には、登録データに含まれるユーザ１２の特徴が登録される。ただし、登録データにユーザ１２の特徴が含まれない場合、ユーザ１２の特徴は登録されない。
　「位置」には、登録データ又は位置データに含まれるクライアント２１の現在位置が登録される。すなわち、クライアント２１の現在位置が、ユーザ１２の現在位置として登録される。
　付随物１３に関するデータは、「ＩＤ」、「特徴」、「移動範囲」、及び、「所有者ＩＤ」の４項目を含んでいる。
　「ＩＤ」には、各付随物１３に対して一意に割り当てられるＩＤが登録される。
　「特徴」には、登録データに含まれる付随物１３の特徴が登録される。ただし、登録データに付随物１３の特徴が含まれない場合、付随物１３の特徴は登録されない。また、付随物１３の特徴のうち移動範囲は、「移動範囲」に登録される。
　「移動範囲」には、登録データに含まれる付随物１３の特徴のうちの移動範囲が登録される。ただし、登録データに付随物１３の特徴が含まれない場合、付随物１３の移動範囲は登録されない。
　なお、付随物１３の現在位置は、付随物１３が付随するユーザ１２（が所持するクライアント２１）の現在位置と付随物１３の移動範囲により推定される。ただし、付随物１３の移動範囲が登録されていない場合、その付随物１３が付随するユーザ１２の現在位置が、付随物１３の現在位置として推定される。
　「所有者ＩＤ」には、付随物１３が付随するユーザ１２のＩＤが登録される。
　なお、１人のユーザ１２に複数の付随物１３が付随している場合、そのユーザ１２に関するデータに対して複数の付随物１３に関するデータが登録される。一方、ユーザ１２に付随物１３が付随していない場合、そのユーザ１２に関するデータに対して付随物１３に関するデータは登録されない。
　一方、ステップＳ１０１において、クライアント２１から登録データを受信していないと判定された場合、ステップＳ１０２の処理はスキップされ、処理はステップＳ１０３に進む。
　ステップＳ１０３において、通信制御部２６５は、クライアント２１から位置データを受信したか否かを判定する。通信制御部２６５は、図６のステップＳ１０の処理でクライアント２１から送信された位置データを、通信部２５２を介して受信した場合、位置データを受信したと判定し、処理はステップＳ１０４に進む。
　ステップＳ１０４において、サーバ２５は、ユーザ１２の現在位置を更新する。具体的には、通信制御部２６５は、受信した位置データをデータ登録部２６６に供給する。データ登録部２６６は、位置データに基づいて、データベース２５３に登録されているユーザ１２の位置を更新する。
　その後、処理はステップＳ１０５に進む。
　一方、ステップＳ１０３において、クライアント２１から位置データを受信していないと判定された場合、ステップＳ１０４の処理はスキップされ、処理はステップＳ１０５に進む。
　ステップＳ１０５において、通信制御部２６５は、車両２２から物体検出データを受信したか否かを判定する。通信制御部２６５は、図７のステップＳ５６の処理でクライアント２１から送信された物体検出データを、通信部２５２を介して受信した場合、物体検出データを受信したと判定し、処理はステップＳ１０６に進む。
　ステップＳ１０６において、検索部２６１は、検出された物体と一致するユーザ１２又は付随物１３を検索する。具体的には、通信制御部２６５は、受信した物体検出データを検索部２６１に供給する。
　検索部２６１は、物体検出データに示される物体の特徴及び位置と、データベース２５３に登録されている各ユーザ１２及び各付随物１３の特徴及び位置とを比較する。検索部２６１は、物体の特徴と一致又は類似し、物体の位置との差が所定の範囲内のユーザ１２又は付随物１３が見つかった場合、そのユーザ１２又は付随物１３が、車両２２が検出した物体と一致すると判定する。検索部２６１は、検索結果を示すデータ及び物体検出データを状態推定部２６２に供給する。
　ステップＳ１０７において、状態推定部２６２は、車両２２がユーザ１２又は付随物１３を認識しているか否かを判定する。状態推定部２６２は、ステップＳ１０６の処理の結果、車両２２が検出した物体と一致するユーザ１２又は付随物１３が見つかった場合、車両２２がユーザ１２又は付随物１３を認識していると判定し、処理はステップＳ１０８に進む。
　なお、状態推定部２６２は、車両２２が検出した物体と一致するユーザ１２が見つかった場合、車両２２がユーザ１２を認識していると推定する。
　一方、状態推定部２６２は、車両２２が検出した物体と一致する付随物１３が見つかった場合、車両２２がユーザ１２及び付随物１３の少なくとも一方を認識していると推定する。例えば、状態推定部２６２は、付随物１３が人（例えば、子供又は非介護者等）又はペットである場合、車両２２が付随物１３を認識している、又は、車両２２がユーザ１２及び付随物１３の両方を認識していると推定する。また、例えば、状態推定部２６２は、付随物１３が人及びペット以外である場合、車両２２がユーザ１２を認識している、或いは、車両２２がユーザ１２及び付随物１３の両方を認識していると推定する。
　ステップＳ１０８において、接近判定部２６３は、車両２２がユーザ１２又は付随物１３に接近しているか否かを判定する。具体的には、状態推定部２６２は、車両２２が認識していると推定されるユーザ１２又は付随物１３（以下、認識対象物と称する）を示すデータ及び物体検出データを接近判定部２６３に供給する。
　接近判定部２６３は、認識対象物の現在位置をデータベース２５３から取得する。そして、接近判定部２６３は、車両２２と認識対象物との間の相対的な動きに基づいて、車両２２が認識対象物に接近しているか否かを判定する。すなわち、接近判定部２６３は、認識対象物の現在位置と、物体検出データに示される車両２２の予定経路とを比較することにより、車両２２が認識対象物に接近しているか否かを判定する。車両２２が認識対象物に接近していると判定された場合、処理はステップＳ１０９に進む。
　ステップＳ１０９において、通知制御部２６４は、安全通知データを生成する。具体的には、接近判定部２６３は、認識対象物を示すデータ及び物体検出データを通知制御部２６４に供給する。
　通知制御部２６４は、例えば、認識対象物がユーザ１２である場合、又は、認識対象物が人又はペット以外の付随物１３である場合、車両２２がユーザ１２を認識していること通知するための安全通知データを生成する。一方、通知制御部２６４は、例えば、認識対象物が人又はペットである付随物１３である場合、車両２２が付随物１３を認識していること通知するための安全通知データを生成する。
　なお、通知制御部２６４は、例えば、認識対象物が人又はペットである付随物１３である場合、車両２２がユーザ１２を認識していること通知するための安全通知データ、又は、車両２２がユーザ１２及び付随物１３の両方を認識していることを通知するための安全通知データを生成するようにしてもよい。
　また、安全通知データは、例えば、車両２２の現在位置及び特徴等を含む。
　通知制御部２６４は、安全通知データを通信制御部２６５に供給する。
　ステップＳ１１０において、通信部２５２は、通信制御部２６５の制御の下に、ネットワーク２６を介して、ユーザ１２のクライアント２１に安全通知データを送信する。なお、認識対象物がユーザ１２である場合、そのユーザ１２のクライアント２１が送信先に設定され、認識対象物が付随物１３である場合、その付随物１３が付随するユーザ１２のクライアント２１が送信先に設定される。
　その後、処理はステップＳ１１１に進む。
　上述したように、クライアント２１は、図６のステップＳ１１において、安全通知データをサーバ２５から受信した場合、ステップＳ１２において、安全通知データに基づいて、安全性の通知を行う。
　図１０乃至図１４は、クライアント２１において安全性を通知するための表示画面の例を示している。なお、図１０乃至図１４は、車両２２がユーザ１２の付随物１３である子供を認識している場合の例を示している。
　図１０は、クライアント２１がスマートフォンである場合の表示画面の例を示している。この例では、中央に車両２２の外観を示す画像３０１が表示されている。また、画像３０１の上方に、車両２２が子供を認識していることを示すメッセージが表示されている。また、画像３０１の下方にユーザ１２及び子供が安全であり、安心できることを示すマーク３０２が表示されている。
　図１１は、クライアント２１が腕時計型のウエアラブルデバイス（以下、腕時計型デバイスと称する）である場合の表示画面の例を示している。この例では、腕時計型デバイスの画面がスマートフォンの画面より小さいため、図１０の例と比較して、画像３０１の上のメッセージが削除されている。
　図１２乃至図１４は、クライアント２１が、ＡＲ（Augmented Reality）を利用した眼鏡型のウエアラブルデバイス（以下、眼鏡型ＡＲデバイスと称する）である場合の表示画面の例を示している。
　図１２の例では、例えば、ユーザ１２が車両２２の方を見た場合に、車両２２が子供を認識していることを示すメッセージが表示される。なお、この例では、メッセージは画面の所定の位置に表示される。
　図１３の例では、例えば、ユーザ１２が車両２２の方を見た場合に、ユーザ１２の視界内の現実世界の車両２２の上に、車両２２が子供を認識していることを示すメッセージが表示される。なお、この例では、車両２２の位置に合わせてメッセージの表示位置が移動する。
　図１４の例では、例えば、ユーザ１２が付随物１３である子供の方を見た場合に、ユーザ１２の視界内の現実世界の子供の上に、車両２２が子供を認識していることを示すメッセージが表示される。なお、この例では、子供の位置に合わせてメッセージの表示位置が移動する。
　以上のようにして、ユーザ１２に車両２２が付随物１３である子供を認識していることを確実に伝えることができ、ユーザ１２を安心させることができる。
　なお、車両２２がユーザ１２自身を認識していることを通知する場合、図１０及び図１２乃至図１４の表示画面において、例えば、「この車はあなたを認識しています」等のメッセージが表示される。また、車両２２がユーザ１２及び付随物１３を認識していることを通知する場合、図１０及び図１２乃至図１４の表示画面において、例えば、「この車はあなたと子供を認識しています」等のメッセージが表示される。
　図８に戻り、一方、ステップＳ１０８において、車両２２がユーザ１２及び付随物１３に接近していないと判定された場合、ステップＳ１０９及びステップＳ１１０の処理はスキップされ、処理はステップＳ１１１に進む。これは、例えば、車両２２が認識対象物の方向と異なる方向に進んでいる場合等である。
　また、ステップＳ１０７において、状態推定部２６２は、ステップＳ１０６の処理の結果、車両２２が検出した物体と一致するユーザ１２又は付随物１３が見つからなかった場合、車両２２がユーザ１２又は付随物１３を認識していないと判定し、ステップＳ１０８乃至ステップＳ１１０の処理はスキップされ、処理はステップＳ１１１に進む。
　さらに、ステップＳ１０５において、車両２２から物体検出データを受信していないと判定された場合、ステップＳ１０６乃至ステップＳ１１０の処理はスキップされ、処理はステップＳ１１１に進む。
　ステップＳ１１１において、サーバ２５は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ１０１に戻る。
　その後、ステップＳ１１１において、処理を終了すると判定されるまで、ステップＳ１０１乃至ステップＳ１１１の処理が繰り返し実行される。
　一方、ステップＳ１１１において、サーバ２５は、例えば、電源がオフされたとき、処理を終了すると判定し、サーバ２５の処理は終了する。
　以上のようにして、車両２２がユーザ１２又は付随物１３を認識していることをユーザ１２に確実に通知することができる。その結果、ユーザ１２は、ユーザ１２自身又は付随物１３が安全であることを認識でき、安心して行動することができる。
　＜情報処理システム１１の処理の第２の実施の形態＞
　次に、図１５乃至図１９を参照して、情報処理システム１１の処理の第２の実施の形態について説明する。この第２の実施の形態の処理では、車両２２が交差点に安全に進入できるか否かをユーザ１２に通知する処理が行われる。
　＜物体検出装置２３の設置位置の例＞
　図１５は、物体検出装置２３の設置位置の例を示している。
　この例では、交差点４０１に設置されている信号機４０２の下に物体検出装置２３が設置されている。以下、交差点４０１は、見通しが悪く、各方向から進入する車両や歩行者等が別の方向から進入する車両や歩行者等から見えにくいものとする。
　物体検出装置２３は、交差点４０１の所定の方向から進入する車両や歩行者等を検出する。
　なお、交差点４０１の各方向に対して、それぞれ物体検出装置２３を設けるようにしてもよいし、１つの物体検出装置２３が、複数の方向から進入する車両や歩行者等を検出するようにしてもよい。
　＜物体検出装置２３の処理＞
　次に、図１６のフローチャートを参照して、物体検出装置２３の処理について説明する。
　この処理は、例えば、物体検出装置２３の電源がオンされたとき開始される。
　ステップＳ２０１において、物体検出部２１１は、物体を検出したか否かを判定する。具体的には、物体検出部２１１は、撮影部２０１により撮影された交差点４０１の周囲の交差点画像に基づいて、交差点４０１の周囲の物体の検出処理を行う。物体検出部２１１が、検出処理の結果に基づいて、物体を検出したと判定した場合、処理はステップＳ２０２に進む。
　ステップＳ２０２において、物体検出部２１１は、図７のステップＳ５２の車両２２の物体検出部１６１と同様の処理により、物体の特徴を検出する。物体検出部２１１は、検出した物体の特徴を示すデータ、及び、交差点画像を物体位置推定部２１２に供給する。
　ステップＳ２０３において、物体位置推定部２１２は、物体の位置を推定する。具体的には、物体位置推定部２１２は、交差点画像に基づいて、物体検出装置２３に対する物体の相対位置を推定する。そして、物体検出装置２３の位置は固定されており、予め絶対位置が分かっているため、物体位置推定部２１２は、推定した物体の相対位置と物体検出装置２３の絶対位置に基づいて、物体の現在位置（絶対位置）を推定する。物体位置推定部２１２は、物体の特徴及び現在位置を示すデータをデータ生成部２１３に供給する。
　ステップＳ２０４において、物体検出装置２３は、物体検出データをサーバ２５に送信する。具体的には、データ生成部２１３は、物体の特徴及び現在位置を含む物体検出データを生成し、通信制御部２１４に供給する。通信部２０３は、通信制御部２１４の制御の下に、ネットワーク２６を介して、物体検出データをサーバ２５に送信する。
　その後、処理はステップＳ２０５に進む。
　一方、ステップＳ２０１において、物体を検出していないと判定された場合、ステップＳ２０２乃至ステップＳ２０４の処理はスキップされ、処理はステップＳ２０５に進む。
　ステップＳ２０５において、物体検出装置２３は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ２０１に戻る。
　その後、ステップＳ２０５において、処理を終了すると判定されるまで、ステップＳ２０１乃至ステップＳ２０５の処理が繰り返し実行される。
　一方、ステップＳ２０５において、物体検出装置２３は、例えば、電源がオフされた場合、処理を終了すると判定し、物体検出装置２３の処理は終了する。
　＜車両２２の処理＞
　次に、図１７のフローチャートを参照して、車両２２の処理について説明する。
　この処理は、例えば、車両２２を起動し、運転を開始するための操作が行われたとき、例えば、イグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。
　ステップＳ２５１において、図７のステップＳ５３の処理と同様に、自己位置推定が行われる。自己位置推定部１６２は、推定した車両２２の現在位置を示すデータをデータ生成部１６５に供給する。
　ステップＳ２５２において、図７のステップＳ５５の処理と同様に、予定経路が取得される。
　ステップＳ２５３において、車両２２は、位置データをサーバ２５に送信する。具体的には、データ生成部１６５は、車両２２の現在位置、予定経路、並びに、自動車登録番号又は車両番号を含む位置データを生成し、通信制御部１６６に供給する。通信部１５６は、通信制御部１６６の制御の下に、ネットワーク２６を介して、位置データをサーバ２５に送信する。
　ステップＳ２５４において、通信制御部１６６は、物体検出データを受信したか否かを判定する。通信制御部１６６が、後述する図１９のステップＳ３０９においてサーバ２５から送信される物体検出データを、通信部１５６を介して受信したと判定した場合、処理はステップＳ２５５に進む。
　ステップＳ２５５において、データ生成部１６５は、安全に交差点４０１に進入できるか否かを判定する。具体的には、通信制御部１６６は、物体検出データをデータ生成部１６５に供給する。
　データ生成部１６５は、動作制御部１５４からのデータに基づいて、車両２２が交差点４０１への進入前に一時停止できるか否かを判定する。データ生成部１６５は、車両２２が交差点４０１への進入前に一時停止できる場合、安全に交差点４０１に進入できると判定し、処理はステップＳ２５６に進む。
　ステップＳ２５６において、車両２２は、サーバ２５に安全に交差点４０１に進入できることを通知する。具体的には、データ生成部１６５は、車両２２が安全に交差点４０１に進入できることを通知するための安全進入可能データを生成し、通信制御部１６６に供給する。通信部１５６は、通信制御部１６６の制御の下に、ネットワーク２６を介して、安全進入可能データをサーバ２５に送信する。
　なお、安全進入可能データは、例えば、車両２２の自動車登録番号又は車両番号等を含む。
　その後、処理はステップＳ２５８に進む。
　一方、ステップＳ２５５において、データ生成部１６５は、車両２２が交差点４０１への進入前に一時停止できない場合、安全に交差点４０１に進入できないと判定し、処理はステップＳ２５７に進む。
　ステップＳ２５７において、車両２２は、サーバ２５に安全に交差点４０１に進入できないことを通知する。具体的には、データ生成部１６５は、車両２２が安全に交差点４０１に進入できないことを通知するための安全進入不可データを生成し、通信制御部１６６に供給する。通信部１５６は、通信制御部１６６の制御の下に、ネットワーク２６を介して、安全進入不可データをサーバ２５に送信する。
　なお、安全進入不可データは、例えば、車両２２の自動車登録番号又は車両番号等を含む。
　その後、処理はステップＳ２５８に進む。
　一方、ステップＳ２５４において、物体検出データを受信していないと判定された場合、ステップＳ２５５乃至ステップＳ２５７の処理はスキップされ、処理はステップＳ２５８に進む。
　ステップＳ２５８において、図７のステップＳ５７の処理と同様に、処理を終了するか否かが判定される。処理を終了しないと判定された場合、処理はステップＳ２５１に戻る。
　その後、ステップＳ２５８において、処理を終了すると判定されるまで、ステップＳ２５１乃至ステップＳ２５８の処理が繰り返し実行される。
　一方、ステップＳ２５８において、処理を終了すると判定された場合、車両２２の処理は終了する。
　＜クライアント２１の処理＞
　クライアント２１の処理は、上述した図６のフローチャートに従って実行されるため、その説明は省略する。
　ただし、ステップＳ１１及びステップＳ１２の処理が第１の実施の形態と異なるため、サーバ２５の処理のところで説明する。
　＜サーバ２５の処理＞
　次に、図１８及び図１９のフローチャートを参照して、サーバ２５の処理について説明する。
　この処理は、例えば、サーバ２５の電源がオンされたとき開始される。
　ステップＳ３０１乃至ステップＳ３０４において、図８のステップＳ１０１乃至ステップＳ１０４と同様の処理が実行される。
　ステップＳ３０５において、通信制御部２６５は、車両２２から位置データを受信したか否かを判定する。通信制御部２６５は、図１７のステップＳ２５３の処理で車両２２から送信された位置データを、通信部２５２を介して受信した場合、位置データを受信したと判定し、処理はステップＳ３０６に進む。
　ステップＳ３０６において、サーバ２５は、車両２２の現在位置及び予定経路を更新する。具体的には、通信制御部２６５は、受信した位置データをデータ登録部２６６に供給する。データ登録部２６６は、位置データに基づいて、データベース２５３に登録されている車両２２の現在位置及び予定経路を更新する。
　その後、処理はステップＳ３０７に進む。
　一方、ステップＳ３０５において、車両２２から位置データを受信していないと判定された場合、ステップＳ３０６の処理はスキップされ、処理はステップＳ３０７に進む。
　ステップＳ３０７において、通信制御部２６５は、物体検出装置２３から物体検出データを受信したか否かを判定する。通信制御部２６５は、図１６のステップＳ２０４の処理で物体検出装置２３から送信された物体検出データを、通信部２５２を介して受信した場合、物体検出データを受信したと判定し、処理はステップＳ３０８に進む。
　ステップＳ３０８において、検索部２６１は、交差点４０１に進入する車両２２が存在するか否かを判定する。具体的には、通信制御部２６５は、検索部２６１に物体検出データを供給する。検索部２６１は、データベース２５３に登録されている各車両２２の現在位置及び予定経路に基づいて、物体検出装置２３のある交差点４０１に進入する車両２２の検索を行う。そして、検索部２６１は、検索の結果、交差点４０１に進入する車両２２が見つかった場合、交差点４０１に進入する車両２２が存在すると判定し、処理はステップＳ３０９に進む。
　ステップＳ３０９において、サーバ２５は、交差点４０１に進入する車両２２に物体検出データを送信する。具体的には、検索部２６１は、交差点４０１に進入する車両２２を示すデータ、及び、物体検出データを通信制御部２６５に供給する。通信部２５２は、通信制御部２６５の制御の下に、ネットワーク２６を介して、交差点４０１に進入する車両２２に物体検出データを送信する。
　ステップＳ３１０において、図８のステップＳ１０６と同様の処理により、検出された物体（すなわち、物体検出装置２３により検出された物体）と一致するユーザ１２又は付随物１３が検索される。検索部２６１は、検索結果を示すデータを状態推定部２６２に供給する。
　ステップＳ３１１において、検索部２６１は、ステップＳ３１０の処理の結果に基づいて、検出された物体と一致するユーザ１２又は付随物１３が見つかったか否かを判定する。検出された物体と一致するユーザ１２又は付随物１３が見つかったと判定された場合、処理はステップＳ３１２に進む。このとき、検索部２６１は、検出された物体と一致するユーザ１２又は付随物１３を示すデータを状態推定部２６２に供給する。
　ステップＳ３１２において、通信制御部２６５は、車両２２から返信があったか否かを判定する。通信制御部２６５は、ステップＳ３０９の処理で物体検出データを送信した車両２２から、図１７のステップＳ２５６の処理で送信された安全進入可能データ、又は、図１７のステップＳ２５７の処理で送信された安全進入不可データを受信した場合、車両２２から返信があったと判定し、処理はステップＳ３１３に進む。
　ステップＳ３１３において、状態推定部２６２は、車両２２が安全に交差点４０１に進入できるか否かを判定する。具体的には、通信制御部２６５は、車両２２から受信した安全進入可能データ又は安全進入不可データを状態推定部２６２に供給する。状態推定部２６２は、取得したのが安全進入可能データである場合、車両２２が安全に交差点に進入できると判定し、処理はステップＳ３１４に進む。
　ステップＳ３１４において、通知制御部２６４は、安全通知データを生成する。具体的には、状態推定部２６２は、検出された物体と一致するユーザ１２又は付随物１３を示すデータ、並びに、車両２２が安全に交差点に進入できることを示すデータを通知制御部２６４に供給する。
　通知制御部２６４は、例えば、車両２２が安全に交差点４０１に進入できること通知するための安全通知データを生成する。通知制御部２６４は、安全通知データ、及び、安全通知データの送信先を示すデータを通信制御部２６５に供給する。
　なお、安全通知データの送信先は、例えば、ユーザ１２が物体検出装置２３により検出されている場合、ユーザ１２のクライアント２１に設定される。一方、例えば、付随物１３が物体検出装置２３により検出されている場合、安全通知データの送信先は、付随物１３が付随するユーザ１２のクライアント２１に設定される。
　ステップＳ３１５において、図８のステップＳ１１０の処理と同様に、ユーザ１２のクライアント２１に安全通知データが送信される。
　その後、処理はステップＳ３１９に進む。
　一方、ステップＳ３１３において、状態推定部２６２は、取得したのが安全進入不可データである場合、車両２２が安全に交差点に進入できないと判定し、処理はステップＳ３１６に進む。
　また、ステップＳ３１２において、通信制御部２６５は、安全進入可能データ及び安全進入不可データの両方とも受信していない場合、車両２２から返信がなかったと判定し、処理はステップＳ３１６に進む。
　ステップＳ３１６において、通知制御部２６４は、ユーザ１２に危険通知をする設定になっているか否かを判定する。ユーザ１２に危険通知をする設定になっていると判定された場合、処理はステップＳ３１７に進む。
　なお、ユーザ１２に危険通知をするか否かの設定は、例えば、事前にユーザ１２のクライアント２１からサーバ２５に対して行われる。
　ステップＳ３１７において、通知制御部２６４は、危険通知データを生成する。具体的には、状態推定部２６２は、検出された物体と一致するユーザ１２又は付随物１３を示すデータ、及び、車両２２が安全に交差点に進入できないことを示すデータを通知制御部２６４に供給する。
　通知制御部２６４は、例えば、車両２２が安全に交差点４０１に進入できないこと通知するための危険通知データを生成する。通知制御部２６４は、危険通知データ、及び、危険通知データの送信先を示すデータを通信制御部２６５に供給する。
　なお、危険通知データの送信先は、ステップＳ３１４の処理と同様に設定される。
　ステップＳ３１８において、ステップＳ３１５と同様の処理により、ユーザ１２のクライアント２１に危険通知データが送信される。
　その後、処理はステップＳ３１９に進む。
　一方、ステップＳ３１６において、ユーザ１２に危険通知をする設定になっていないと判定された場合、ステップＳ３１７及びステップＳ３１８の処理はスキップされ、処理はステップＳ３１９に進む。
　また、ステップＳ３１１において、検出された物体と一致するユーザ１２及び付随物１３が見つからなかったと判定された場合、ステップＳ３１２乃至ステップＳ３１８の処理はスキップされ、処理はステップＳ３１９に進む。
　さらに、ステップＳ３０８において、交差点４０１に進入する車両２２が存在しないと判定された場合、ステップＳ３０９乃至ステップＳ３１８の処理はスキップされ、処理はステップＳ３１９に進む。
　また、ステップＳ３０７において、物体検出装置２３から物体検出データを受信していないと判定された場合、ステップＳ３０８乃至ステップＳ３１８の処理はスキップされ、処理はステップＳ３１９に進む。
　ステップＳ３１９において、図８のステップＳ１１１の処理と同様に、処理を終了する否かが判定される。処理を終了しないと判定された場合、処理はステップＳ３０１に戻る。
　その後、ステップＳ３１９において処理を終了すると判定されるまで、ステップＳ３０１乃至ステップＳ３１９の処理が繰り返し実行される。
　一方、ステップＳ３１９において、処理を終了すると判定された場合、サーバ２５の処理は終了する。
　以上のようにして、車両２２が安全に交差点４０１に進入できるか否かをユーザ１２に確実に通知することができる。その結果、ユーザ１２は、車両２２が見えていなくても、ユーザ１２自身又は付随物１３が安全又は危険であることを認識し、安心して行動したり、細心の注意を払って行動したりすることができる。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　＜通知方法に関する変形例＞
　例えば、ユーザ１２への安全性の通知は、必ずしもクライアント２１が行う必要はなく、例えば、車両２２や、ユーザ１２の周囲の表示装置２４が行ってもよい。
　例えば、ユーザ１２が車両２２の方を見ている場合、車両２２がヘッドランプを点滅させたり、カーホーンを鳴動させたりすることにより、車両２２がユーザ１２又は付随物１３を認識していることを通知するようにしてもよい。
　また、例えば、ユーザ１２が表示装置２４の方を見ている場合、表示装置２４が、車両２２がユーザ１２又は付随物１３を認識していることを通知するようにしてもよい。例えば、表示装置２４が、図１０又は図１３の表示画面を表示するようにしてもよい。
　さらに、クライアント２１、車両２２、及び、表示装置２４のうち２以上が、ユーザ１２への安全性の通知を行うようにしてもよい。
　なお、以上の説明では、画像を用いて安全性の通知が行われる例を示したが、例えば、音、振動、又は、光を用いて通知が行われてもよい。例えば、ブザー音、アラーム音、その他の注目を集める音により通知が行われてもよい。例えば、人が検知したり、気付きやすい振動により通知が行われてもよい。例えば、光の点灯又は点滅により通知が行われてもよい。なお、光を点滅させる場合、必要に応じて点滅するスピードが調整される。
　また、音、振動又は光により通知する場合、車両２２がユーザ１２又は付随物１３に近づくほど、音、振動又は光を大きくするようにしてもよい。
　さらに、例えば、クライアント２１が、ユーザ１２の心拍数や瞳孔の大きさ等に基づいて、ユーザ１２の不安度を検出し、不安度が大きいほど、音、振動又は光を大きくするようにしてもよい。
　また、例えば、サーバ２５の接近判定部２６３が、認識対象物の現在位置、並びに、車両２２の現在位置、予定経路、及び、速度等に基づいて、車両２２が認識対象物に衝突又は接触する危険度を算出するようにしてもよい。そして、危険度が高いほど、音、振動又は光が大きくされ、危険度が低いほど、音、振動又は光が小さくされるようにしてもよい。また、例えば、車両２２と認識対象物の間にガードレール等が存在し、車両２２が認識対象物に衝突又は接触する可能性が極めて低い場合、その車両２２に対する通知が行われないようにしてもよい。さらに、例えば、車両２２の速度が極めて遅い場合、その車両２２に対する通知が行われないようにしてもよい。
　なお、図２０は、ユーザ１２が付随物１３である子供等を見ている場合において、各通知デバイスの通知方法を比較した例を示している。
　例えば、通知デバイスがスマートフォンの場合、ユーザ１２はスマートフォンの方を見ていないため、音又は振動により通知するのが望ましい。一方、画像又は光により通知するのは望ましくない。
　例えば、通知デバイスが腕時計型デバイスの場合、ユーザ１２は腕時計型デバイスの方を見ていないため、音又は振動により通知するのが望ましい。一方、画像及び光により通知するのは、あまり望ましくない。
　例えば、通知デバイスが眼鏡型ＡＲデバイスの場合、ユーザ１２は視線方向によらずにデバイスの画面を見ることができるため、画像、音、振動、又は、光のいずれで通知してもよい。
　例えば、通知デバイスがサイネージデバイスの場合、ユーザ１２はサイネージデバイスの方を見ていないし、サイネージデバイスに触れてもいない。一方、サイネージデバイスの光量は大きい。従って、音又は光により通知するのが望ましい。一方、画像又は振動により通知するのは望ましくない。
　例えば、通知デバイスが車両２２の場合、ユーザ１２は車両２２の方を見ていないし、車両２２に触れてもいない。一方、車両２２のヘッドライト等の光量は大きい。従って、音又は光により通知するのが望ましい。一方、画像又は振動により通知するのは望ましくない。
　図２１は、ユーザ１２が付随物１３等で両手が塞がっている場合において、各通知デバイスの通知方法を比較した例を示している。
　例えば、通知デバイスがスマートフォンの場合、ユーザ１２はスマートフォンの方を見ることができないため、音又は振動により通知するのが望ましい。一方、画像又は光により通知するのは望ましくない。
　例えば、通知デバイスが腕時計型デバイスの場合、ユーザ１２は腕時計型デバイスの方を見ることが難しいため、音又は振動により通知するのが望ましい。一方、画像及び光により通知するのは、あまり望ましくない。
　例えば、通知デバイスが眼鏡型ＡＲデバイスの場合、ユーザ１２は視線方向によらずにデバイスの画面を見ることができるため、画像、音、振動、又は、光のいずれで通知してもよい。
　例えば、通知デバイスがサイネージデバイスの場合、ユーザ１２はサイネージデバイスの方を見ることは容易であるが、サイネージデバイスに触れることはできない。従って、画像、音、又は、光により通知するのが望ましい。一方、振動により通知するのは望ましくない。
　例えば、通知デバイスが車両２２の場合、ユーザ１２は車両２２の方を見ることは容易であるが、車両２２に触れることはできない。従って、音又は光により通知するのが望ましい。一方、振動により通知するのは望ましくない。また、車両２２は動いているため、画像の視認性は低下する。従って、画像により通知するのは望ましくない。
　次に、各通知デバイスが付随物１３の安全通知を行うタイミングの例について説明する。
　例えば、通知デバイスがスマートフォンの場合、ユーザ１２がスマートフォンを見たときに通知が行われる。また、例えば、ユーザ１２が、子供等の付随物１３を見たとき、又は、車両２２を見たときに、音又は振動により通知が行われる。
　例えば、通知デバイスが眼鏡型ＡＲデバイスの場合、ユーザ１２が、子供等の付随物１３を見たとき、又は、車両２２を見たときに通知が行われる。
　例えば、通知デバイスがサイネージデバイスの場合、ユーザ１２がサイネージデバイスを見たときに通知が行われる。また、例えば、ユーザ１２が、子供等の付随物１３を見たとき、又は、車両２２を見たときに、音又は光により通知が行われる。
　例えば、通知デバイスが車両２２の場合、ユーザ１２が、子供等の付随物１３を見たとき、又は、車両２２を見たときに、音又は光により通知が行われる。ただし、ユーザ１２が付随物１３を見たときに、ユーザ１２の視界に付随物１３及び車両２２が入っていることが前提となる。
　また、例えば、車両２２が付随物１３を認識しても、その付随物１３がユーザ１２から所定の距離（例えば、移動範囲）以上離れている場合、ユーザ１２への安全通知を行わないようにしてもよい。
　さらに、幹線道路等の交通量の多い場所では、上述したように安全通知を行うと、安全通知が頻発に行われ、ユーザ１２に煩わしさを感じさせたり、どの車両２２に対する安全通知か認識できなくなったりするおそれがある。そこで、例えば、交通量の多い場所では、逆に車両２２がユーザ１２及び付随物１３を認識していないことがユーザ１２に通知されるようにしてもよい。
　例えば、ユーザ１２又は付随物１３との間の距離が所定の範囲内で、ユーザ１２又は付随物１３の方に向かっている車両２２が、ユーザ１２及び付随物１３を認識していない場合、その車両２２がユーザ１２及び付随物１３を認識していないことがユーザ１２に通知されるようにしてもよい。
　また、例えば、ユーザ１２が車両２２を認識していることが車両２２に通知されるようにしてもよい。例えば、ユーザ１２がクライアント２１であるスマートフォンの入力部１０４を介して安全通知の指示を入力したとき、ユーザ１２が見ている方向の車両２２（すなわち、ユーザ１２が認識している車両２２）に安全通知が送信されるようにしてもよい。また、例えば、クライアント２１である眼鏡型ＡＲデバイスをかけているユーザ１２が、デバイスをタップしたとき、ユーザ１２が見ている方向の車両２２（すなわち、ユーザ１２が認識している車両２２）に安全通知が送信されるようにしてもよい。
　さらに、付随物１３が子供である場合、例えば、ユーザ１２がテレプレゼンス等により子供の見守りをしているとき、子供がユーザ１２から離れていても、車両２２が子供を認識していることを示す安全通知がユーザ１２のクライアント２１に送信されるようにしてもよい。
　また、例えば、上述した第２の実施の形態の処理において、物体検出装置２３が車両２２を認識した場合、車両２２が安全に交差点４０１に進入できるか否かに関わらず、車両２２の存在が交差点４０１周辺のユーザ１２に通知されるようにしてもよい。
　さらに、例えば、第２の実施の形態の処理において、物体検出装置２３が歩行者であるユーザ１２を認識した場合、ユーザ１２の存在が交差点４０１周辺の車両２２に通知されるようにしてもよい。
　また、例えば、車両２２の位置情報に基づいて、車両２２が交差点４０１周辺にいることが検出された場合、交差点４０１周辺のユーザ１２に車両２２の存在が通知されるようにしてもよい。
　＜付随物１３の登録タイミングに関する変形例＞
　以上の説明では、クライアント２１の入力部１０４を介して指示が入力された場合に、付随物１３の特徴等がサーバ２５に登録される例を示したが、例えば、自動的に登録が行われるようにしてもよい。
　例えば、付随物１３がユーザ１２に付随していることが検出されたとき、付随物１３の特徴等がサーバ２５に登録されるようにしてもよい。例えば、ユーザ１２が家を出る際に、玄関に設置されているカメラの画像に基づいてユーザ１２に付随する付随物１３（例えば、子供）が検出されたとき、その付随物１３に関する登録データがクライアント２１からサーバ２５に送信され、付随物１３の特徴等がサーバ２５に登録されるようにしてもよい。
　また、例えば、付随物１３がユーザ１２に付随していることが推定されたとき、付随物１３の特徴等がサーバ２５に登録されるようにしてもよい。例えば、クライアント２１又はサーバ２５に登録されているスケジューラに基づいて、ユーザ１２に付随物１３（例えば、子供）が付随していることが推定されたとき、その付随物１３に関する登録データがクライアント２１からサーバ２５に送信され、付随物１３の特徴等がサーバ２５に登録されるようにしてもよい。
　また、例えば、天気予報が雨又は雪の場合にユーザ１２が外出しており、ユーザ１２が傘を持っていると推定されたとき、付随物１３である傘に関する登録データがクライアント２１からサーバ２５に送信され、傘の特徴等がサーバ２５に登録されるようにしてもよい。さらに、例えば、ユーザ１２のショッピング情報に基づいて、ユーザ１２が商品を購入したと推定されたとき、付随物１３である商品に関する登録データがクライアント２１からサーバ２５に送信され、商品の特徴等がサーバ２５に登録されるようにしてもよい。
　＜その他の変形例＞
　情報処理システム１１の各部の処理の分担は、上述した例に限定されるものではなく、適宜変更することが可能である。
　また、例えば、クライアント２１が複数の情報処理装置により構成される場合、例えば、ユーザ１２及び付随物１３の特徴を検出する情報処理装置と、ユーザ１２への通知を行う情報処理装置が異なっていてもよい。
　なお、本技術は、自動運転を行う及び手動運転を行う車両のいずれにも適用することができる。
　また、本技術は、先に例示した車両以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の各種の移動体にも適用することができる。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
　＜＜３．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　ユーザの付随物の特徴、及び、移動体により認識された前記移動体の周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定する状態推定部と、
　前記認識状態の前記ユーザへの通知を制御する通知制御部と
　を備える情報処理装置。
（２）
　前記状態推定部は、さらに前記ユーザの特徴に基づいて、前記認識状態を推定する
　前記（１）に記載の情報処理装置。
（３）
　前記状態推定部は、さらに前記ユーザ及び前記付随物のうち少なくとも一方の位置、並びに、前記移動体の位置に基づいて、前記認識状態を推定する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記通知制御部は、前記移動体が前記ユーザ及び前記付随物のうち少なくとも一方を認識している場合、前記認識状態を前記ユーザに通知するように制御する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記通知制御部は、さらに前記移動体と前記ユーザ又は前記付随物との間の相対的な動きに基づいて、前記認識状態の前記ユーザへの通知を制御する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記通知制御部は、さらに前記移動体と前記ユーザ又は前記付随物との衝突又は接触の危険度に基づいて、前記認識状態の前記ユーザへの通知を制御する
　前記（５）に記載の情報処理装置。
（７）
　前記通知制御部は、前記ユーザが所持する他の情報処理装置、前記移動体、及び、前記ユーザの周囲の表示装置のうち少なくとも１つにおける前記認識状態の通知を制御する
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記ユーザが所持する他の情報処理装置からの前記付随物の特徴を含む第１のデータの受信、及び、前記移動体からの前記周囲の物体の特徴を含む第２のデータの受信を制御する通信制御部を
　さらに備え、
　前記状態推定部は、前記第１のデータ及び前記第２のデータに基づいて、前記認識状態を推定する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記付随物は、前記ユーザに付随して動くもの、前記ユーザが持ち運ぶもの、及び、前記ユーザが動かすもののうち少なくとも１つを含む
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　ユーザの付随物の特徴を示すデータの他の情報処理装置への送信、並びに、前記ユーザ及び前記付随物のうち少なくとも一方に対する移動体の認識状態を示すデータの前記他の情報処理装置からの受信を制御する通信制御部と、
　前記認識状態の前記ユーザへの通知を制御する通知制御部と
　を備える情報処理装置。
（１１）
　前記通信制御部は、さらに前記ユーザの特徴を示すデータの前記他の情報処理装置への送信を制御する
　前記（１０）に記載の情報処理装置。
（１２）
　前記通信制御部は、さらに前記ユーザ及び前記付随物のうち少なくとも一方の位置を示すデータの前記他の情報処理装置への送信を制御する
　前記（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記通信制御部は、前記付随物が前記ユーザに付随していることが検出又は推定されたとき、前記付随物の特徴を示すデータを前記他の情報処理装置に送信するように制御する
　前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記通知制御部は、前記移動体の画像を用いて前記認識状態の前記ユーザへの通知を制御する
　前記（１０）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記付随物の特徴を検出する特徴検出部を
　さらに備える前記（１０）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記付随物は、前記ユーザに付随して動くもの、前記ユーザが持ち運ぶもの、及び、前記ユーザが動かすもののうち少なくとも１つを含む
　前記（１０）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　情報処理装置と通信を行う移動体において、
　前記移動体の周囲の物体の特徴を検出する物体検出部と、
　前記移動体の位置を推定する位置推定部と、
　前記周囲の物体の特徴、前記移動体の位置、及び、前記移動体の予定経路を示すデータであって、前記情報処理装置がユーザ及び前記ユーザの付随物のうち少なくとも一方に対する前記移動体の認識状態の推定に用いるデータの前記情報処理装置への送信を制御する通信制御部と
　を備える移動体。
（１８）
　前記通信制御部は、前記認識状態の推定結果を示すデータの前記情報処理装置からの受信を制御し、
　前記認識状態の前記ユーザへの通知を制御する通知制御部を
　さらに備える前記（１７）に記載の移動体。
（１９）
　ユーザが所持する第１の情報処理装置と、
　第２の情報処理装置と、
　移動体と
　を備え、
　前記第１の情報処理装置は、前記ユーザの付随物の特徴を示すデータを前記第２の情報処理装置に送信し、
　前記移動体は、前記移動体の周囲の物体の特徴を示すデータを前記第２の情報処理装置に送信し、
　前記第２の情報処理装置は、前記付随物の特徴及び前記周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定し、前記認識状態の推定結果を示すデータを前記第１の情報処理装置及び前記移動体のうちの少なくとも１つに送信する
　情報処理システム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　情報処理システム，　１２　ユーザ，　１３　付随物，　２１　クライアント，　２２　車両，　２３　物体検出装置，　２４　表示装置，　２５　サーバ，　１０５　情報処理部，　１０６　通信部，　１１１　特徴検出部，　１１２　自己位置推定部，　１１３　データ生成部，　１１４　通信制御部，　１１５　通知制御部，　１５５　情報処理部，　１５６　通信部，　１６１　物体検出部，　１６２　自己位置推定部，　１６３　物体位置推定部，　１６４　移動経路設定部，　１６５　データ生成部，　１６６　通信制御部，　１６７　通知制御部，　２５１　情報処理部，　２５２　通信部，　２６１　検索部，　２６２　状態推定部，　２６３　接近判定部，　２６４　通知制御部，　２６５　通信制御部，　２６６　データ登録部

Claims (19)

  1. 　ユーザの付随物の特徴、及び、移動体により認識された前記移動体の周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定する状態推定部と、
    　前記認識状態の前記ユーザへの通知を制御する通知制御部と
    　を備える情報処理装置。
  2. 　前記状態推定部は、さらに前記ユーザの特徴に基づいて、前記認識状態を推定する
    　請求項１に記載の情報処理装置。
  3. 　前記状態推定部は、さらに前記ユーザ及び前記付随物のうち少なくとも一方の位置、並びに、前記移動体の位置に基づいて、前記認識状態を推定する
    　請求項１に記載の情報処理装置。
  4. 　前記通知制御部は、前記移動体が前記ユーザ及び前記付随物のうち少なくとも一方を認識している場合、前記認識状態を前記ユーザに通知するように制御する
    　請求項１に記載の情報処理装置。
  5. 　前記通知制御部は、さらに前記移動体と前記ユーザ又は前記付随物との間の相対的な動きに基づいて、前記認識状態の前記ユーザへの通知を制御する
    　請求項１に記載の情報処理装置。
  6. 　前記通知制御部は、さらに前記移動体と前記ユーザ又は前記付随物との衝突又は接触の危険度に基づいて、前記認識状態の前記ユーザへの通知を制御する
    　請求項５に記載の情報処理装置。
  7. 　前記通知制御部は、前記ユーザが所持する他の情報処理装置、前記移動体、及び、前記ユーザの周囲の表示装置のうち少なくとも１つにおける前記認識状態の通知を制御する
    　請求項１に記載の情報処理装置。
  8. 　前記ユーザが所持する他の情報処理装置からの前記付随物の特徴を含む第１のデータの受信、及び、前記移動体からの前記周囲の物体の特徴を含む第２のデータの受信を制御する通信制御部を
    　さらに備え、
    　前記状態推定部は、前記第１のデータ及び前記第２のデータに基づいて、前記認識状態を推定する
    　請求項１に記載の情報処理装置。
  9. 　前記付随物は、前記ユーザに付随して動くもの、前記ユーザが持ち運ぶもの、及び、前記ユーザが動かすもののうち少なくとも１つを含む
    　請求項１に記載の情報処理装置。
  10. 　ユーザの付随物の特徴を示すデータの他の情報処理装置への送信、並びに、前記ユーザ及び前記付随物のうち少なくとも一方に対する移動体の認識状態を示すデータの前記他の情報処理装置からの受信を制御する通信制御部と、
    　前記認識状態の前記ユーザへの通知を制御する通知制御部と
    　を備える情報処理装置。
  11. 　前記通信制御部は、さらに前記ユーザの特徴を示すデータの前記他の情報処理装置への送信を制御する
    　請求項１０に記載の情報処理装置。
  12. 　前記通信制御部は、さらに前記ユーザ及び前記付随物のうち少なくとも一方の位置を示すデータの前記他の情報処理装置への送信を制御する
    　請求項１０に記載の情報処理装置。
  13. 　前記通信制御部は、前記付随物が前記ユーザに付随していることが検出又は推定されたとき、前記付随物の特徴を示すデータを前記他の情報処理装置に送信するように制御する
    　請求項１０に記載の情報処理装置。
  14. 　前記通知制御部は、前記移動体の画像を用いて前記認識状態の前記ユーザへの通知を制御する
    　請求項１０に記載の情報処理装置。
  15. 　前記付随物の特徴を検出する特徴検出部を
    　さらに備える請求項１０に記載の情報処理装置。
  16. 　前記付随物は、前記ユーザに付随して動くもの、前記ユーザが持ち運ぶもの、及び、前記ユーザが動かすもののうち少なくとも１つを含む
    　請求項１０に記載の情報処理装置。
  17. 　情報処理装置と通信を行う移動体において、
    　前記移動体の周囲の物体の特徴を検出する物体検出部と、
    　前記移動体の位置を推定する位置推定部と、
    　前記周囲の物体の特徴、前記移動体の位置、及び、前記移動体の予定経路を示すデータであって、前記情報処理装置がユーザ及び前記ユーザの付随物のうち少なくとも一方に対する前記移動体の認識状態の推定に用いるデータの前記情報処理装置への送信を制御する通信制御部と
    　を備える移動体。
  18. 　前記通信制御部は、前記認識状態の推定結果を示すデータの前記情報処理装置からの受信を制御し、
    　前記認識状態の前記ユーザへの通知を制御する通知制御部を
    　さらに備える請求項１７に記載の移動体。
  19. 　ユーザが所持する第１の情報処理装置と、
    　第２の情報処理装置と、
    　移動体と
    　を備え、
    　前記第１の情報処理装置は、前記ユーザの付随物の特徴を示すデータを前記第２の情報処理装置に送信し、
    　前記移動体は、前記移動体の周囲の物体の特徴を示すデータを前記第２の情報処理装置に送信し、
    　前記第２の情報処理装置は、前記付随物の特徴及び前記周囲の物体の特徴に基づいて、前記ユーザ及び前記付随物のうち少なくとも一方に対する前記移動体の認識状態を推定し、前記認識状態の推定結果を示すデータを前記第１の情報処理装置及び前記移動体のうちの少なくとも１つに送信する
    　情報処理システム。
PCT/JP2018/045018 2017-12-22 2018-12-07 情報処理装置、移動体、及び、情報処理システム WO2019124105A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-246392 2017-12-22
JP2017246392 2017-12-22

Publications (1)

Publication Number Publication Date
WO2019124105A1 true WO2019124105A1 (ja) 2019-06-27

Family

ID=66994025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045018 WO2019124105A1 (ja) 2017-12-22 2018-12-07 情報処理装置、移動体、及び、情報処理システム

Country Status (1)

Country Link
WO (1) WO2019124105A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123185A (ja) * 2001-10-11 2003-04-25 Hitachi Ltd 危険情報集配信装置、警報発生装置、車両危険情報送信装置および経路探索装置
JP2014071656A (ja) * 2012-09-28 2014-04-21 Denso Corp 通信システムおよびサーバ
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
WO2017104093A1 (ja) * 2015-12-18 2017-06-22 パナソニックＩｐマネジメント株式会社 歩行者端末装置、車載端末装置、歩車間通信制御装置、歩車間通信システムおよび歩車間通信方法
WO2018146882A1 (ja) * 2017-02-08 2018-08-16 住友電気工業株式会社 情報提供システム、サーバ、移動端末、及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123185A (ja) * 2001-10-11 2003-04-25 Hitachi Ltd 危険情報集配信装置、警報発生装置、車両危険情報送信装置および経路探索装置
JP2014071656A (ja) * 2012-09-28 2014-04-21 Denso Corp 通信システムおよびサーバ
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
WO2017104093A1 (ja) * 2015-12-18 2017-06-22 パナソニックＩｐマネジメント株式会社 歩行者端末装置、車載端末装置、歩車間通信制御装置、歩車間通信システムおよび歩車間通信方法
WO2018146882A1 (ja) * 2017-02-08 2018-08-16 住友電気工業株式会社 情報提供システム、サーバ、移動端末、及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
US11364930B2 (en) Vehicle control system, vehicle control method and program
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
US11468574B2 (en) Image processing apparatus and image processing method
US11203360B2 (en) Vehicle control system, vehicle control method and program
US20170010679A1 (en) Communication between autonomous vehicle and external observers
US10553113B2 (en) Method and system for vehicle location
CN108973988B (zh) 车辆控制系统、车辆控制方法及存储介质
US11565713B2 (en) Vehicle control system, vehicle control method, and vehicle control program
CN104680714A (zh) 用于向用户发送提醒的方法及系统
US10225525B2 (en) Information processing device, storage medium, and control method
WO2018198926A1 (ja) 電子機器、路側機、電子機器の動作方法および交通システム
JPWO2017163514A1 (ja) 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
US20210300401A1 (en) Information processing device, moving body, information processing method, and program
CN111052193B (zh) 用于运输货物的自动驾驶车辆的防盗技术
US20210279477A1 (en) Image processing apparatus, image processing method, and image processing system
JP2020080542A (ja) 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法
US11904893B2 (en) Operating a vehicle
CN105916760A (zh) 可穿戴式信令系统和方法
JP2008046761A (ja) 移動体画像処理システム、装置及び方法
US20210158290A1 (en) System for delivery of a shipment at a vehicle
WO2019124105A1 (ja) 情報処理装置、移動体、及び、情報処理システム
CN110301133B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
WO2019117104A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890422

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890422

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP