WO2024053344A1 - 情報処理方法、情報処理装置、およびプログラム - Google Patents

情報処理方法、情報処理装置、およびプログラム Download PDF

Info

Publication number
WO2024053344A1
WO2024053344A1 PCT/JP2023/029464 JP2023029464W WO2024053344A1 WO 2024053344 A1 WO2024053344 A1 WO 2024053344A1 JP 2023029464 W JP2023029464 W JP 2023029464W WO 2024053344 A1 WO2024053344 A1 WO 2024053344A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
moving
risk
information processing
bodies
Prior art date
Application number
PCT/JP2023/029464
Other languages
English (en)
French (fr)
Inventor
晃久 大矢
元嗣 穴吹
俊介 久原
稔也 新井
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2024053344A1 publication Critical patent/WO2024053344A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to an information processing method, an information processing device, and a program.
  • Patent Document 1 when the moving object around the vehicle is a person, it is possible to call attention to the person even if the person is not recognized by the vehicle.
  • the present disclosure has been made in view of the above-mentioned circumstances, and aims to provide an information processing method etc. that can perform necessary and sufficient control over a moving body such as a vehicle.
  • An information processing method is an information processing method in an information processing device, which acquires sensing information obtained by sensing the surroundings of a first mobile object that autonomously moves, and based on the sensing information. detecting a second moving body existing around the first moving body, and if two or more of the second moving bodies existing around the first moving body are detected, based on the sensing information, Determine whether or not the situation is such that two or more of the second mobile bodies have a predetermined relationship, and the situation is such that two or more of the second mobile bodies have the predetermined relationship. In this case, a predetermined operation is performed to prevent two or more of the second moving bodies from coming into contact with the first moving body.
  • these comprehensive or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. It may be realized by any combination of programs and recording media. Further, the recording medium may be a non-temporary recording medium.
  • FIG. 1 is a diagram illustrating an example of an overall configuration including an information processing apparatus according to an embodiment.
  • FIG. 2 is a block diagram showing an example of the configuration of the first moving body according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of the configuration of a terminal according to an embodiment.
  • FIG. 4 is a block diagram illustrating an example of the configuration of an information processing device according to an embodiment.
  • FIG. 5A is a diagram illustrating an example of a risk value according to the attribute of the second moving object according to the embodiment.
  • FIG. 5B is a diagram showing an example of a risk value according to the distance between the first moving object and the second moving object according to the embodiment.
  • FIG. 5C is a diagram illustrating an example of a risk value depending on the speed of the first moving object according to the embodiment.
  • FIG. 5D is a diagram illustrating an example of a risk value depending on the speed of the second moving object according to the embodiment.
  • FIG. 6 is a diagram showing an example of attributes used for calculating individual risks according to the embodiment.
  • FIG. 7 is a diagram showing a condition flow as an example of group determination information according to the embodiment.
  • FIG. 8A is a diagram conceptually showing an example of a case where two second moving bodies have a predetermined relationship according to the embodiment.
  • FIG. 8B is a diagram conceptually showing an example of a case where two second moving bodies have a predetermined relationship according to the embodiment.
  • FIG. 8C is a diagram conceptually illustrating an example of a case where two second moving bodies have a predetermined relationship according to the embodiment.
  • FIG. 8D is a diagram conceptually showing an example of a case where two second moving bodies have a predetermined relationship according to the embodiment.
  • FIG. 8E is a diagram conceptually showing an example of a case where two second moving bodies have a predetermined relationship according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of conditions for determining that a predetermined relationship exists according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of risk correction values according to the embodiment.
  • FIG. 11 is a diagram conceptually illustrating an example of risk correction due to the influence from another second moving body in the group according to the embodiment.
  • FIG. 12 is a diagram conceptually illustrating an example of risk correction due to the influence from another second moving body in the group according to the embodiment.
  • FIG. 13 is a diagram conceptually illustrating an example of risk correction due to the influence from another second moving body in the group according to the embodiment.
  • FIG. 14 is a diagram conceptually illustrating an example of risk correction due to the influence from another second moving body in the group according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of information generated according to the corrected individual risk value according to the embodiment.
  • FIG. 16 is a sequence diagram showing the operation of the entire configuration including the information processing device according to the embodiment.
  • FIG. 17 is a flowchart illustrating an example of the operation of the information processing apparatus according to the embodiment.
  • FIG. 18 is a flowchart showing an example of details of step S307 shown in FIG. 17.
  • FIG. 19A is a diagram illustrating an image of risk calculated by the method according to the comparative example in a certain situation.
  • FIG. 19B is a diagram illustrating an image of risk calculated by the method according to the present disclosure in a certain situation.
  • FIG. 20 is a diagram conceptually illustrating an example of risk correction due to influence from another second moving body within a group according to a modification of the embodiment.
  • FIG. 21 is a diagram for explaining control of a first moving body when two second moving bodies having a predetermined relationship avoid an obstacle, according to a modification of the embodiment.
  • FIG. 22 is a diagram for explaining an example of risk correction based on the positional relationship between the second moving object and the first moving object within the group, according to a modification of the embodiment.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same reference numerals are attached to the same constituent members.
  • FIG. 1 is a diagram showing an example of the overall configuration including an information processing device 10 according to the present embodiment.
  • the overall configuration shown in FIG. 1 includes an information processing device 10, a terminal D1 used by a remote monitor, and a first mobile body M1, which are communicably connected to each other via a network N.
  • the remote monitor is a person who remotely monitors and remotely controls the first mobile body M1 through the terminal D1.
  • a remote monitor monitors the first mobile body M1 and the information processing device 10, and remotely monitors or monitors the first mobile body M1 according to information notified by the terminal D1. It is an information processing system for remote control.
  • the network N is a predetermined wired or wireless communication network.
  • the network N is, for example, a mobile phone network, a satellite communication network, a wide area communication network using Wi-Fi, etc., but the network N is not limited to these.
  • the information processing device 10, the terminal D1, and the first mobile body M1 may be physically located anywhere as long as they are installed in a place where they can be communicably connected to the network N.
  • the overall configuration will be described as including one first mobile body M1 and one terminal D1, but the present invention is not limited to this. Two or more first mobile bodies M1 and two or more terminals D1 may be provided, or the terminal D1 and the information processing device 10 may be integrated. Further, the overall configuration shown in FIG. 1 may not include the terminal D1 and may be configured only with the information processing device 10 and the first mobile body M1.
  • the first mobile body M1 is a mobile robot, a vehicle, etc. that moves autonomously, and can be remotely controlled or remotely monitored by a remote monitor.
  • the first mobile body M1 is not limited to a mobile robot or a vehicle, but may be any one of an AGV (Automated Guided Vehicle), a personal mobility vehicle, an airplane, a drone, a ship, a mobile robot, a construction machine, an agricultural machine (tractor), etc. good.
  • AGV Automate Guided Vehicle
  • the first moving body M1 When the first moving body M1 is a vehicle, it may be a vehicle with or without a person on board.
  • the first mobile body M1 when the first mobile body M1 is a vehicle, it may be an automatic driving vehicle or a vehicle other than an automatic driving vehicle driven by a passenger.
  • the first moving body M1 may be controlled in terms of its steering angle, acceleration and deceleration, etc., depending on the processing result by the information processing device 10 or the input content to the terminal D1 by a remote monitor.
  • FIG. 2 is a block diagram showing an example of the configuration of the first mobile body M1 according to the present embodiment.
  • the first mobile body M1 includes a communication device M11, a sensing device M12, a status information acquisition device M13, a control device M14, and a drive device M15.
  • the communication device M11 is, for example, a communication interface, and is connectable to the network N.
  • the communication device M11 is communicatively connected to the information processing device 10 via the network N, and periodically transmits status information and sensing information to the information processing device 10, as described later.
  • the sensing device M12 is, for example, a camera, a LiDAR (Light Detection And Ranging) device, etc., and obtains sensing information by photographing the surroundings of the first moving body M1.
  • the sensing information may be, for example, image information obtained by photographing the surroundings of the first moving body M1, or may be video information including one or more pieces of image information obtained by photographing the surroundings of the first moving body M1.
  • the sensing device M12 obtains sensing information at predetermined intervals, that is, periodically. Note that photographing is an example of sensing.
  • the state information acquisition device M13 includes various sensors, and detects state information regarding the movement state of the first mobile body M1, thereby acquiring state information regarding the movement state of the first mobile body M1.
  • the state information only needs to include the moving speed, moving direction, and moving state of the first moving body M1.
  • the moving state indicates, for example, whether the first moving body M1 is running, stopped, or temporarily stopped.
  • the various sensors may include a GPS (Global Positioning System).
  • the status information further includes position information of the first moving body M1, speed, acceleration, jerk (jerk), tilt, direction, steering angle, remaining amount of fuel, and direction indicator of the first moving body M1.
  • the operating state may also be included.
  • the status information may include the operating status of ABS (Anti-lock Braking System), the operating status of AEB (Automatic Emergency Braking), and the like.
  • the status information also includes the presence or absence of surrounding objects of the first moving body M1, the number and type of surrounding objects, the distance to the surrounding objects, speed difference, weather conditions, surrounding audio information, acceleration difference, and the sensing device M12. It may also include information on the angle, position, etc. at which the vehicle is attached to the first moving body M1.
  • the status information may include the various types of information described above and is also referred to as types of status information. In other words, there may be multiple types of status information itself.
  • the status information acquisition device M13 uses various sensors to obtain status information at predetermined intervals, that is, periodically.
  • the control device M14 includes a computer and uses the computer to control the speed and steering of the drive device M15.
  • Control device M14 can also use a computer to control the speed and steering of drive device M15 in response to operation by the occupant or by a remote supervisor.
  • the drive device M15 includes a drive body such as wheels of the first moving body M1, a motor, an engine, etc., and is controlled by the control device M14.
  • the terminal D1 can check the status information of the first mobile body M1, check the processing results by the information processing device 10, etc. Further, the terminal D1 may control the information processing device 10 and the first mobile body M1 according to input contents by a remote monitor.
  • FIG. 3 is a block diagram showing an example of the configuration of the terminal D1 according to the present embodiment.
  • the terminal D1 includes a communication device D11, an input device D12, and an output device D13.
  • the communication device D11 is, for example, a communication interface, and is connectable to the network N.
  • the communication device D11 is communicatively connected to the information processing device 10 or the first mobile body M1 via the network N.
  • the input device D12 is composed of, for example, a joystick, a touch panel handle, buttons, etc., and receives input information from a remote monitor.
  • This input information is information about acceleration/deceleration control and steering angle control of the first mobile body M1 via the network N, or information about setting values when the information processing device 10 performs information processing, etc. .
  • the output device D13 is composed of, for example, a display, a speaker, a light, etc., and is controlled based on notification information obtained from the information processing device 10 and the first mobile object M1.
  • the notification information may include, for example, operation information of the information processing device 10 and the first mobile body M1, and instruction information for displaying the operation information. Further, the notification information is not limited to the case where the notification information includes instruction information to display the operating information, but may also include instruction information to cause the object to blink on the screen of the display, to enable a button, to utter a voice, etc.
  • the information processing device 10 is, for example, a server, and executes the information processing method according to the present embodiment.
  • FIG. 4 is a block diagram showing an example of the configuration of the information processing device 10 according to the present embodiment.
  • the information processing device 10 includes a communication section 11, a storage section 12, and a processing section 20, as shown in FIG.
  • the communication unit 11 is, for example, a communication interface, and is connectable to the network N.
  • the communication unit 11 is communicably connected to the first mobile body M1 and the terminal D1 via the network N.
  • the communication unit 11 acquires state information regarding the movement state of the first mobile body M1 that moves autonomously and sensing information obtained by photographing the surroundings of the first mobile body M1.
  • the communication unit 11 is an example of an acquisition unit according to the present disclosure.
  • the communication unit 11 receives input information transmitted from the terminal D1, and receives state information and sensing information transmitted from the first mobile body M1. Note that the communication unit 11 further acquires environmental information including information on the road on which the first mobile body M1 moves, traffic conditions on the road, information on topography regarding the road, etc., and causes the storage unit 12 to retain the environmental information. Good too.
  • the communication unit 11 transmits the notification information generated by the processing unit 20 to the terminal D1, and transmits the control information generated by the processing unit 20 to the first mobile body M1 via the terminal D1. Thereby, the terminal D1 and the first mobile body M1 are controlled by the notification information and the control information.
  • the storage unit 12 is a database that stores information for processing in the processing unit 20, and is realized by an HDD (Hard Disk Drive), SSD (Solid State Drive), or the like.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the storage unit 12 holds information necessary for detecting and positioning the second moving body. Necessary information includes, for example, a data set for image recognition, setting values for converting coordinates on a video into position coordinates, and the like. In addition, the storage unit 12 holds information for calculating individual risks, group determination information for determining whether two or more second moving objects belong to a group, information linking risks and control details, etc. are doing.
  • the processing unit 20 generates notification information for the terminal D1 and control information for the first mobile body M1 based on the information acquired from the communication unit 11 and the storage unit 12.
  • the processing section 20 includes a second moving object detection section 21, a second moving object position specifying section 22, an individual risk calculation section 23, a group relationship determination section 24, and a risk correction section 25. , an information generation section 26, and an output section 27.
  • the processing unit 20 includes, for example, a computer including a memory and a processor (microprocessor), and can realize various functions of each component by having the processor execute a predetermined program stored in the memory.
  • the second moving object detection unit 21 detects two or more second moving objects existing around the first moving object M1 and specifies the attributes of each of the two or more second moving objects based on the acquired sensing information. conduct.
  • the second moving object detection unit 21 can realize functions such as a detection function and an attribute specifying function by having a processor execute a predetermined program stored in a memory.
  • the second moving object is a vehicle carrying a living body or a person that may come into contact with or collide with the first moving object M1, and corresponds to a pedestrian, a bicycle, a wheelchair, a stroller, a senior car, a pet, etc. Further, the second moving object is different from the first moving object M1, that is, it does not correspond to a vehicle, a mobile robot, or the like.
  • the second moving object detection section 21 acquires information necessary for detecting the second moving object from the storage section 12, and uses the acquired necessary information and the first moving object acquired by the communication section 11.
  • the second moving object is detected using, for example, video information of M1.
  • the second mobile body detection unit 21 specifies the attributes of each second mobile body from, for example, video information of the first mobile body M1 acquired by the communication unit 11.
  • the attributes of the second moving object include age, gender, height, clothing, direction, posture, and the like.
  • the second moving object detection unit 21 detects the second movement by having a processor execute a predetermined program stored in the memory and performing image recognition using, for example, machine learning based on deep learning or other AI technology. The body can be detected and the attributes of the second moving body can be specified.
  • the second moving body position specifying unit 22 specifies the position of each of the two or more second moving bodies detected by the second moving body detecting unit 21.
  • the second mobile body position specifying unit 22 can realize functions such as a position specifying function by a processor executing a predetermined program stored in a memory.
  • the second moving body position specifying unit 22 specifies the coordinates of the second moving body detected by the second moving body position specifying unit 22 on the image.
  • the second moving body position specifying unit 22 acquires information necessary for position specifying, such as the height of the camera of the first moving body M1, and calculates the position coordinates of the detected second moving body on the video.
  • the coordinates of the second moving body relative to the first moving body M1 are converted into the position coordinates of the second moving body.
  • the second moving body position specifying unit 22 specifies the position of the second moving body detected by the second moving body detecting unit 21 with respect to the first moving body M1.
  • the second moving body position specifying unit 22 uses the state information.
  • the position coordinates of the second moving body may be calculated using these pieces of information included in the above information.
  • the second mobile body position specifying unit 22 may further calculate speed information and acceleration information of the second mobile body with respect to the first mobile body M1 from the time change of the calculated position information of the second mobile body. good.
  • the individual risk calculation unit 23 determines whether each of the two or more second mobile bodies comes into contact with the first mobile body M1 based on the state information acquired by the communication unit 11 and the position specified by the second mobile body detection unit 21. Calculate individual risks that indicate the possibility of danger.
  • the individual risk calculation unit 23 can realize a calculation function by having a processor execute a predetermined program stored in a memory. Note that the individual risk calculation unit 23 calculates at least the positions of the first mobile body M1 and each of the two or more second mobile bodies (for example, the positional relationship between the first mobile body M1 and each of the two or more second mobile bodies) Individual risks can be calculated based on the following.
  • the individual risk calculation section 23 uses the attributes of each second moving object identified by the second moving object detection section 21, the position information, speed information and It can be calculated by comparing the acceleration information with reference information for risk calculation.
  • FIG. 5A is a diagram showing an example of a risk value according to the attribute of the second mobile object according to the present embodiment.
  • Table T1 in FIG. 5A shows an example of risk values according to age attributes when the second moving object is a pedestrian, a wheelchair, a pet, or a bicycle.
  • the risk values differ depending on whether the age is above or below 9 years, which is difficult to distinguish.
  • FIG. 5B is a diagram showing an example of a risk value according to the distance between the first moving body M1 and the second moving body according to the present embodiment.
  • Table T2 in FIG. 5B shows an example of a risk value that increases as the distance between the first moving body M1 and the second moving body becomes shorter.
  • FIG. 5C is a diagram showing an example of a risk value according to the speed of the first moving body M1 according to the present embodiment.
  • Table T3 in FIG. 5C shows an example of a risk value that increases as the speed of the first moving body M1 increases.
  • FIG. 5D is a diagram showing an example of a risk value according to the speed of the second moving object according to the present embodiment.
  • Table T4 in FIG. 5D shows an example of a risk value that increases as the speed of the second moving object increases.
  • the risk indicates the high possibility that the second moving body will collide with the first moving body M1 such as a vehicle, and may be a numerical value.
  • the individual risk indicates the possibility that each of the two or more second moving bodies (individually) may come into contact with (collide with) the first moving body M1.
  • the risk may be calculated by combining information indicating a plurality of risk values. That is, the individual risk calculation unit 23 calculates table T1 in FIG. 5A, table T2 in FIG. 5B, table T3 in FIG. 5C, and table T3 in FIG.
  • the risk values shown in table T4 may also be specified. Then, the individual risk calculation unit 23 may calculate the individual risk by combining the identified risk values.
  • a method of combining the identified risk values for example, addition, subtraction, multiplication, or division can be used.
  • table T1 in FIG. 5A to table T4 in FIG. 5D are held in the storage unit 12.
  • the attributes used by the individual risk calculation unit 23 when calculating the individual risk are not limited to the attributes shown in FIG. 5A.
  • an attribute that is a combination of one or more elements constituting an attribute as shown in FIG. 6 may be used to calculate the individual risk.
  • FIG. 6 is a diagram showing an example of an attribute (example of elements constituting an attribute) used for calculating an individual risk according to the present embodiment.
  • the attributes of clothing include, for example, uniforms and private clothes, and if a pedestrian is wearing a uniform, it is assumed that the risk of approaching the first mobile object M1 tends to be small because pedestrians prioritize commuting to and from school.
  • the facial attributes include line of sight or facial expression, and for example, if the user is directing his or her line of sight toward the first moving object M1, there is a tendency that the risk of becoming interested and approaching the first moving object M1 tends to be small.
  • the state attribute includes the fact that hands are held or being held up. For example, when hands are held or held up, the risk of approaching the first moving object M1 tends to be small. It is said that there is.
  • the attributes of moving speed and direction it is assumed that the faster the moving speed toward the first moving object M1, the greater the risk of approaching the first moving object M1.
  • the individual risk calculation unit 23 may further use environmental information to calculate the individual risk. For example, assume that the individual risk calculation unit 23 is able to identify that a plurality of pedestrians, which are the plurality of detected second moving objects, are present under a cliff based on topographical information. In this case, the individual risk calculation unit 23 may calculate the individual risk by specifying a risk value indicating that the risk of approaching the first moving object M1 is small and combining it with a risk value specified elsewhere.
  • the group relationship determining unit 24 determines whether or not two or more second moving objects have a predetermined relationship based on the identified location and attributes. For example, the group relationship determination unit 24 determines whether the two or more second moving objects are based on group determination information of at least one of distance, line of sight, physical connection, property, movement, age, and voice between the two or more second moving objects. It is determined whether or not the two moving bodies have a predetermined relationship. When the plurality of second moving objects have a predetermined relationship, it can be determined that the plurality of second moving objects belong to a group.
  • the group relationship determination unit 24 can realize the above determination function by having the processor execute a predetermined program stored in the memory.
  • the group relationship determination section 24 acquires the group determination information held in the storage section 12 when a plurality of second moving objects are detected by the second moving object detection section 21.
  • the group relationship determination unit 24 determines whether the plurality of second moving objects have a predetermined relationship using the acquired group determination information. For example, when a plurality of second moving bodies are detected, the group relationship determination unit 24 may first identify a group consisting of the detected plurality of second moving bodies and its members. Next, the group relationship determination unit 24 uses the acquired group determination information based on the attributes of each of the detected second mobile bodies, position information with respect to the first mobile body M1, etc. It may also be determined whether or not they have a predetermined relationship.
  • FIG. 7 is a diagram showing a condition flow as an example of group determination information according to the present embodiment.
  • the group determination information includes conditions (setting values) such as time and distance that indicate a predetermined relationship.
  • the group determination information may have a condition indicating a predetermined relationship in a conditional branch format, as in the condition flow shown in FIG. 7, for example.
  • the group relationship determination unit 24 can determine whether the plurality of second moving bodies have a predetermined relationship according to the condition flow shown in FIG. In the example shown in FIG. 7, the group relationship determining unit 24 determines that the plurality of second moving objects have a predetermined relationship, for example, when the detected second moving objects are within 2 meters of each other for a certain period of time or longer. , it can be determined that the plurality of second moving objects belong to a group.
  • the group relationship determination unit 24 determines, for example, when the second moving bodies are within 3 meters of each other and moving in the same direction at the same speed, when they are physically connected, or when they are looking at each other for a certain period of time. , or when they are calling out to each other, it can be determined that the plurality of second moving bodies have a predetermined relationship.
  • the group relationship determination unit 24 determines whether or not the situation is such that a predetermined relationship exists between at least the second moving bodies, based on the positional relationship such that the second moving bodies are within 2 meters of each other, that is, the second moving body It may also be determined whether the bodies belong to a group.
  • FIGS. 8A to 8E a case where it can be determined that a plurality of second moving bodies have a predetermined relationship will be conceptually explained using FIGS. 8A to 8E.
  • FIGS. 8A to 8E are diagrams conceptually showing an example of a case where two second moving bodies according to the present embodiment have a predetermined relationship.
  • FIG. 8A shows an example where the second moving body A1 and the second moving body A2, both of which are adult pedestrians, are stationary and within a certain distance.
  • the group relationship determining unit 24 determines that the second moving body A1 and the second moving body A2 have a predetermined relationship and It can be determined that it belongs to
  • FIG. 8B shows an example where the second moving body A1 and the second moving body A2, which are both adult pedestrians, are within a certain distance and are moving in the same direction (progressing direction) at a constant speed. It is shown.
  • the group relationship determining unit 24 determines that the second moving body A1 and the second moving body A2 have a predetermined relationship and It can be determined that it belongs to
  • FIG. 8C shows an example where the second moving body A1 and the second moving body A2, which are both adult pedestrians, are physically connected, such as by holding hands.
  • the group relationship determining unit 24 determines that the second moving body A1 and the second moving body A2 have a predetermined relationship and It can be determined that it belongs to
  • FIG. 8D one of the second moving bodies A1 and A2 (second moving body A1 in the figure), which are both adult pedestrians, is looking at the other (second moving body A2 in the figure).
  • An example is shown in which a person is sent and watched over.
  • the group relationship determining unit 24 determines that the second moving body A1 and the second moving body A2 have a predetermined relationship It can be determined that it belongs to
  • FIG. 8E shows an example where the second moving body A1 and the second moving body A2, both of which are adult pedestrians, are exchanging glances or having a conversation with each other.
  • the group relationship determining unit 24 determines that the second moving body A1 and the second moving body A2 have a predetermined relationship It can be determined that it belongs to
  • the conditions under which it can be determined that the plurality of second moving bodies have a predetermined relationship are not limited to the conditions described in FIGS. 7 and 8A to 8E.
  • the conditions may be determined by combining elements as shown in FIG.
  • FIG. 9 is a diagram showing an example of conditions for determining that a predetermined relationship exists according to the present embodiment.
  • the group relationship determination unit 24 may combine these elements and determine whether a predetermined relationship exists based on whether a condition formed by the combined elements is satisfied.
  • the group relationship determination unit 24 determines the situation within the group. good. For example, the group relationship determining unit 24 determines that two or more second moving objects belong to a group, and also specifies the ratio of the number of adults and children that make up the group consisting of two or more second moving objects. It's okay. As a result, the risk correction unit 25 (described later) corrects the individual risk so that the smaller the number of children per adult, the smaller the individual risk, and the more accurate the correction is for each of the two or more second moving objects. The risk can be calculated.
  • the group relationship determination unit 24 determines that two or more second moving objects belong to a group, and also specifies whether or not a group of two or more second moving objects is aligned. It's okay. This is because when walking in a line, the destination and arrival time are often fixed, such as on the way to and from school, and the individual risk can be corrected to be smaller. Further, for example, the group relationship determining unit 24 determines that two or more second moving objects belong to a group, and also determines that members who are physically restrained within the group consisting of two or more second moving objects You may also specify if there are any. This is because if people are holding hands or connected by a leash, the individual risk can be corrected to be smaller.
  • the group relationship determining unit 24 may determine that two or more second moving objects belong to a group, and may also specify the conversation situation within the group consisting of two or more second moving objects. good. This is because if people are making loud noises or talking about vehicles, the individual risk should be adjusted to be larger.
  • the group relationship determination unit 24 may further use environmental information to determine whether or not two or more second mobile bodies have a predetermined relationship. For example, the group relationship determination unit 24 determines that the detected plurality of second moving objects are students walking to and from school, based on the time and topographical information included in the environmental information, and the identified positions and attributes. It is possible to specify a certain situation. Thereby, the individual risk is corrected in the risk correction unit 25, which will be described later, so that the individual risk becomes smaller, and a more accurate risk can be calculated for each of the two or more second moving objects.
  • the risk correction unit 25 corrects the individual risk calculated for each of the two or more second moving objects.
  • the risk correction unit 25 uses a table (for example, see table T5 shown in FIG. 10) that includes the types, attributes, and correction values of the second moving objects, for each of the two or more second moving objects.
  • the calculated individual risk may be corrected.
  • the risk correction unit 25 can realize the above correction function by having the processor execute a predetermined program stored in the memory.
  • the risk correction unit 25 is an example of an execution unit.
  • the risk correction unit 25 based on the table, individual risks may be corrected as follows. That is, the risk correction unit 25 corrects the individual risk calculated for the second moving object, which is one of the two second moving objects, which is a child, and There is no need to correct the individual risk calculated for the second mobile object which is the above person.
  • the risk correction unit 25 calculates the risk for each of the two or more second moving objects based on the table. may be corrected to increase the individual risk determined.
  • the risk correction unit 25 calculates the individual risk as follows based on the table. It may be corrected. That is, the risk correction unit 25 corrects the individual risk calculated for each of the two or more second moving objects that are two or more children among the two or more second moving objects, and It is not necessary to correct the individual risk calculated for a certain second moving object. Note that the magnitude of the reduction in individual risk calculated for each of two or more children in a group consisting of one adult and two or more children is the same as that for a group consisting of one adult and one child. It is preferable to make it smaller than the magnitude of the reduction in individual risk calculated for one child.
  • One adult supervising two children is considered to be at lower risk than the children alone.
  • FIG. 10 is a diagram showing an example of the risk correction value according to the present embodiment.
  • Table T5 shown in FIG. 10 shows an example of risk correction values depending on the type and attribute of the second moving body.
  • the risk correction value is not limited to being determined according to the type and attribute of the second moving body, and for example, the risk correction value is determined based on the positional relationship between the first moving body M1 and each of two or more second moving bodies. may be determined based on. In this case, a table indicating risk correction values according to the positional relationship is generated in advance.
  • the risk correction section 25 takes into account the influence from other second moving objects within the group. Individual risks are corrected (risk correction). For example, when the group relationship determination section 24 determines that a plurality of second moving objects belong to a group, the risk correction section 25 refers to table T5 in FIG. Compensate for risk.
  • the plurality of second moving objects belong to a group consisting of a parent and child consisting of one 30-year-old pedestrian and one 5-year-old pedestrian, and the 30-year-old pedestrian is a 5-year-old pedestrian. Let's say you don't hold hands or pick him up.
  • the risk value [5] of a pedestrian over 9 years old is calculated from table T1 in FIG. 5A, for example, and the risk is not corrected.
  • the risk value [15] for pedestrians under 9 years old is calculated from table T1 in Figure 5A, and the risk value [15] for pedestrians over 9 years old calculated from table T5 shown in Figure 10.
  • the corrected individual risk is calculated as [10].
  • FIGS. 11 to 14 are diagrams conceptually illustrating an example of risk correction due to the influence from other second moving objects in the group according to the present embodiment.
  • FIG. 11 shows an example in which risk correction is not performed in a situation where the second moving body A1 and the second moving body A2, which are both adult pedestrians, belong to a group.
  • the individual risk of each adult pedestrian is not considered to change due to the influence of other adult pedestrians. Therefore, in a situation where the second moving body A1 and the second moving body A2, which are both adult pedestrians, have a predetermined relationship and belong to a group, the risk correction unit 25 calculates the calculated individual risk. No risk adjustment is performed.
  • the risk correction unit 25 may perform risk correction of the calculated individual risk depending on the attributes or states of the adult pedestrians.
  • the attributes here include high school student, college student, etc., and the state includes being drunk.
  • the risk correction unit 25 may perform correction to increase the individual risk.
  • the risk correction unit 25 may perform the correction using a table in which attributes or states of adult pedestrians are associated with risk correction values. Further, the risk correction unit 25 may perform correction to increase the individual risk of one of the adult pedestrians, or may perform correction to increase the individual risk of both adult pedestrians.
  • High school students, university students, drunk people, etc. can be obtained by, for example, image analysis.
  • FIG. 12 in a situation where the second moving body A1, which is an adult pedestrian, and the second moving body C1, which is a child pedestrian, belong to a group, only the individual risk of the second moving body C1 is risk-corrected. An example is shown.
  • the calculated individual risks of the second moving body A1 and the second moving body C1 are shown by the sizes of the area R A 1 and the area R C 1b.
  • the region R A 1 and the region R C 1b indicate, for example, a range in which the first mobile body M1 should issue an alert to avoid danger, and the larger the range, the greater the risk.
  • FIG. 13 in a situation where the second moving body A1, which is an adult pedestrian, and the second moving bodies C2, C3, which are child pedestrians, belong to a group, only the individual risks of the second moving bodies C2, C3 are shown. An example is shown where the risk is adjusted.
  • the calculated individual risks of the second moving body A1, the second moving body C2, and the second moving body C3 are determined by the magnitude of the area RA 1, the area RC 2b, and the area RC 3b. It is indicated by .
  • the individual risk region R C 2b and the region R C 3b are changed to the region R C 2a and region R C 3a are shown to have been corrected.
  • the risk to the children is thought to be smaller than when calculated individually, because the adults can watch over the children and suppress the children's risky behavior.
  • children's risky behavior is less likely to be suppressed than when one adult watches over a single child. For this reason, the risk to each of the two children is smaller than if the child's risk were calculated individually, but the risk to each of the two children is greater than if one adult were to watch over one child.
  • FIG. 14 in a situation where the second mobile body C4 and the second mobile body C5, which are both child pedestrians, belong to a group, the individual risks of the second mobile body C4 and the second mobile body C5 are risk-corrected.
  • An example is shown.
  • the calculated individual risks of the second mobile body C4 and the second mobile body C5 are shown by the sizes of the region R C 4b and the region R C 5b.
  • the individual risk region R C 4b and the region R C 5b are changed to the region R C 4a and R C 5a.
  • there is no adult and the children's risky behavior is likely to be compounded, so the risks for the two children are likely to be greater than if they were calculated individually. It is.
  • the individual risks of the second moving object C4 and the second moving object C5 are not corrected. It's okay. For example, for each criterion shown in FIG. 7, it may be set whether or not to correct the individual risk when both pedestrians are children. Further, for example, if both pedestrians are children, the setting of whether or not to correct the individual risk is accepted in advance, and the risk correction unit 25 may uniformly control the set one. .
  • the information generation unit 26 generates control information for controlling the first mobile body M1 and information for a remote monitor who remotely monitors or operates the first mobile body M1 based on the individual risk corrected by the risk correction unit 25. Generate at least one piece of notification information for notification. Note that the information generation unit 26 can realize the generation function by having the processor execute a predetermined program stored in the memory.
  • the information generation unit 26 performs at least one of the following controls: temporary suspension, avoidance action, warning utterance, and lighting, depending on the corrected individual risk value.
  • Information for causing the first mobile body M1 to perform the operation may be generated as control information.
  • the information generation unit 26 may generate, as control information, information for causing the first mobile body M1 to perform control to restart running.
  • the information generation unit 26 generates, as notification information, alert information indicating an alert prompting the remote monitor to watch the first mobile body M1 or operate the first mobile body M1, according to the corrected individual risk value. may be generated.
  • the notification information indicates at least one of the size of the alert display indicating the alert, the color of the alert display, whether or not the alert display blinks, the volume of the notification sound for notifying the alert, and the height of the notification sound. May contain information.
  • the information generation unit 26 determines the control details for the terminal D1 and the first mobile body M1 based on the individual risks corrected by the risk correction unit 25.
  • the control content may include only control information for the first mobile body M1, only control information and notification information to the terminal D1, or control information and notification information to the terminal D1.
  • FIG. 15 is a diagram showing an example of information generated according to the corrected individual risk value according to the present embodiment.
  • Table T6 shown in FIG. 15 is an example of information that links risks and control details.
  • Table T6 in FIG. 15 shows an example of the combination of control information and notification information that is generated according to the corrected individual risk value and its contents, as information that links risks and control details. More specifically, as shown in FIG. 15, when the corrected individual risk value is, for example, 0 to 9, the information generation unit 26 does not generate control information and notification information based on table T6. Furthermore, when the corrected individual risk value is between 10 and 19, the information generation unit 26 generates control information for decelerating the first mobile body M1, and generates silent notification information on the terminal D1. Furthermore, when the corrected individual risk value is between 20 and 29, the information generation unit 26 generates only notification information that includes an instruction to display alert A on the terminal D1. If the corrected individual risk value is 30 or more, the information generation unit 26 generates both control information for the first mobile body M1 and notification information for the terminal D1, although details are omitted.
  • the notification information to the terminal D1 may include at least one of instruction information instructing, for example, drawing content, alert display such as blinking objects, activation/deactivation of buttons, audio output, etc. good.
  • control information for the first moving body M1 includes information for causing the first moving body M1 to perform at least one of speed control, steering control, video display control, audio output control, etc. Good too.
  • the control information may further be generated based on information other than the corrected individual risk. For example, if information is obtained that the staff operating the first mobile object M1 is approaching, the information generation unit 26 displays an alert on the terminal D1 even if the corrected individual risk is high. It is also possible to generate only the control information for the first mobile body M1 without including the instruction information instructing the above in the notification information.
  • the information generation unit 26 also takes into account not only the individual risk corrected by the risk correction unit 25 but also the situation of the group to which two or more second mobile objects belong, and issues an instruction to display an alert on the terminal D1. Information may be generated. For example, in order to notify the remote monitor of the status of a group to which two or more second moving objects belong, the information generation unit 26 may generate phrases such as "a group of pedestrians is approaching" or "a parent and child holding hands are approaching". You may generate instruction information that instructs to display an alert consisting of:
  • the alert display may include a display that allows people to recognize that they are in the same group.
  • the alert display may include, for example, a display that emphasizes a group to which two or more second moving objects belong.
  • the alert display may include, for example, displaying a single rectangle surrounding all members of the same group, or may include displaying frames indicating each member of the same group in the same manner.
  • the degree of individual risk since the degree of individual risk is thought to differ depending on the reason for determining that they are in the same group, the degree of risk may vary depending on the reason for determining that they are in the same group, or
  • the display mode of the frame may be changed depending on the situation.
  • the display mode of the frame includes at least one of a frame line mode and a color mode indicating a group.
  • the alert display may simply be a display in which the reason for determination, degree of risk, etc. are superimposed. For example, if it is determined that there is a physical connection, such as a situation in which a particularly small child is holding hands with a parent or being held, the risk of children approaching will be reduced, but there is no physical connection. , If the distance is close and it is determined that there is a group, the risk of children approaching will not be so small. In the latter case, the remote monitor needs to be more careful than the former. Therefore, the alert display may emphasize the latter case more than the former case.
  • an alert display may be performed when the situation of the group changes. For example, if the distance changes from a state where there is a physical connection to a state where there is no physical connection and the distance becomes closer, you will have to pay more attention, so by displaying an alert in such a case, the alert display will be effective. It is. In the opposite case, by not displaying the alert or by lowering the emphasis of the alert display, the amount of time required for the remote monitor to pay attention can be reduced, and the remote monitor can pay attention to other areas. You will be able to devote man-hours to paying for it.
  • the alert display may be performed in such a manner that it is possible to recognize whether the alert display is an alert that requires more attention or an alert that requires less man-hours to pay attention to. An example of this aspect is changing the display color, but the present invention is not limited thereto. Changing the mode of alert display is an example of performing a predetermined operation.
  • the alert display may include a display indicating what attribute the group has, or may include a display indicating the number of second moving objects included in the group.
  • Examples of the display indicating the attributes of the group include, but are not limited to, parents and children, adults and adults, children and children, wheelchair occupants and people pushing wheelchairs, and people and pets.
  • the information generation unit 26 may include information indicating that someone in the group cannot be confirmed on the screen (for example, a display such as "There is a child in the blind spot") in the alert display. Further, for example, the information generation unit 26 may include the number of people who cannot be confirmed in the alert display.
  • the information generation unit 26 may generate the control information for the first mobile body M1 by giving priority to the situation of the group to which two or more second mobile bodies belong over the individual risks corrected by the risk correction unit 25. good. For example, in a situation where a teacher and a plurality of children led by the teacher belong to a group, the information generation unit 26 determines that an alert and control of the first mobile object M1 are necessary in terms of risk value. Even if it is determined, it is safe because the group is led by a teacher, and when the corrected individual risk is at most below the threshold value, control information for the first mobile body M1 may not be generated.
  • the output unit 27 outputs at least one of the control information and notification information generated by the information generation unit 26.
  • the output unit 27 transmits the control content determined by the information generation unit 26, that is, at least one of the control information and notification information generated by the information generation unit 26, to the terminal D1 via the communication unit 11. do. Note that the output unit 27 can also transmit the control content determined by the information generation unit 26 to the first mobile body M1.
  • FIG. 16 is a sequence diagram showing the operation (information processing method) of the overall configuration including the information processing device 10 according to the present embodiment.
  • FIG. 16 shows a case where status information and sensing information are transmitted from the first mobile body M1 to the information processing device 10, and control is performed at the terminal D1 based on the control content determined by the information processing device 10. An example of a sequence is shown.
  • the first mobile body M1 acquires status information using the status information acquisition device M13 (S111), and transmits the acquired status information to the information processing device 10 via the network N using the communication device M11 (S112). .
  • the first mobile body M1 acquires sensing information using the sensing device M12 (S113), and transmits the acquired sensing information to the information processing device 10 via the network N using the communication device M11 (S114).
  • the timing at which the status information is transmitted and the timing at which the sensing information is transmitted may be the same or different.
  • the frequency at which state information is acquired and transmitted may be different from the frequency at which sensing information is acquired and transmitted.
  • the information processing device 10 receives the state information and sensing information via the network N (S121), it performs information processing using the received state information and sensing information and determines control details (S122). Note that details of the information processing will be described later.
  • the information processing device 10 transmits the determined control content to the terminal D1 via the network N (S123).
  • the terminal D1 receives the control content through the communication device D11 (S131), the terminal D1 performs control based on the received control content (S132).
  • the control content is transmitted only to the first mobile body M1, other than when only the terminal D1 performs control based on the control content as in the example shown in FIG. In some cases, only one moving body M1 is controlled. It is also conceivable that the control details are simultaneously transmitted to both the terminal D1 and the first mobile body M1, and the control is performed by the terminal D1 and the first mobile body M1. It is also conceivable that the control details are not transmitted to the terminal D1 and the first mobile body M1, and the terminal D1 and the first mobile body M1 do not perform control.
  • FIG. 16 shows a case where one terminal D1 and one first mobile body M1 exist, a plurality of these may exist.
  • the remote monitor may control a specific terminal D1 among the plurality of terminals D1, or if there are multiple remote monitors, the remote monitor may control all the terminals D1. Good too.
  • FIG. 17 is a flowchart illustrating an example of the operation (information processing method) of the information processing device 10 according to the present embodiment.
  • FIG. 17 shows an example of processing of the processing unit 20 of the information processing device 10 according to the present embodiment.
  • the information processing device 10 first obtains state information and sensing information (S301).
  • the information processing device 10 uses the communication unit 11 to transmit sensing information, which is video information obtained by the sensing device M12 such as an on-vehicle camera, from the first mobile object M1, and information obtained by the state information acquisition device M13.
  • Status information is received via network N.
  • the state information may include position information, speed information, tilt information, azimuth information, information about display contents, etc. of the first moving body M1.
  • the information processing device 10 detects the second moving object from the sensing information acquired in step S301 (S302).
  • the second moving object detection unit 21 of the information processing device 10 performs image recognition using the acquired video information and information necessary for detecting the second moving object, thereby detecting two or more moving objects.
  • a second moving body is detected.
  • each of the two or more second moving objects may be a pedestrian, a person riding a vehicle such as a bicycle, a wheelchair, a stroller, a senior car, or a pet. Good too.
  • the information processing device 10 identifies the position information of each second mobile object from the state information and sensing information acquired in step S301 (S303).
  • the second moving body position specifying unit 22 of the information processing device 10 uses the acquired state information and the detected position information on the video of the second moving body to locate the second moving body. 1. Calculate the position coordinates for the moving body M1. Note that when the state information includes the position coordinates, direction, camera position information, camera tilt, camera viewing angle, etc. of the first moving body M1, the second moving body position specifying unit 22 uses the state information. The position coordinates of the second moving body may be calculated using these pieces of information included in the above information. Further, the second mobile body position specifying unit 22 may further calculate speed information and acceleration information of the second mobile body with respect to the first mobile body M1 from the time change of the calculated position information of the second mobile body. good.
  • the information processing device 10 calculates the individual risk of each second mobile object based on the state information acquired in step S301 and the position coordinates specified in step S303 (S304).
  • the individual risk calculation unit 23 of the information processing device 10 calculates the individual risk of each second moving object.
  • the individual risk calculation unit 23 compares each attribute of the second moving body identified in step S302 with the position information, speed information, acceleration information, etc. obtained in step S303, and the reference information for risk calculation.
  • the individual risk of the second mobile object may be calculated.
  • the individual risk calculation unit 23 refers to table T1 in FIG. 5A and calculates the risk value for pedestrians older than 9 years as [3] and the risk value for pedestrians under 9 years as [15]. can.
  • the individual risk calculation unit 23 refers to the table T2 in FIG. 5B and calculates the distance between the two second moving bodies.
  • Each risk value can be calculated as [5]. Further, when the moving speed of the first moving body M1 included in the state information is 3 km/h, the individual risk calculation unit 23 refers to the table T3 in FIG. 5C and calculates the risk of each of the two second moving bodies. The value can be calculated as [3]. Further, for example, when the speed of the two second moving bodies is 7 km/h, the individual risk calculation unit 23 refers to table T4 in FIG. 5D and calculates the risk value of each of the two second moving bodies by [8 ] can be calculated. Then, the individual risk calculation unit 23 combines these risk values and calculates them as an individual risk. The explanation will be continued with reference to FIG. 17 below.
  • the information processing device 10 determines whether the situation is such that two or more second moving objects have a predetermined relationship (S305).
  • the group relationship determination unit 24 determines whether the plurality of second moving objects belong to a group based on a predetermined relationship. Judging by whether or not there is.
  • the group relationship determination unit 24 may identify a group of a plurality of second moving objects and its members.
  • the group relationship determination unit 24 uses the group determination information held in the storage unit 12, the attributes of the identified second mobile body, the calculated position information of the second mobile body with respect to the first mobile body M1, etc. Based on this, it may be determined whether a plurality of second moving objects belong to a group.
  • the group relationship determination unit 24 can determine that the two or more second moving objects have a predetermined relationship and belong to the group.
  • the group relationship determination unit 24 can determine that the two or more second moving objects have a predetermined relationship and belong to the group.
  • the person looking at them and the person looking at them may be different. Suppose that the situation in which a person is present can be identified from video information.
  • the group relationship determination unit 24 determines that the two or more second moving objects consisting of the person directing the line of sight and the person directed the line of sight have a predetermined relationship and belong to the group. can. It is also assumed that a situation where an adult is calling out to a child or a parent and child are talking to each other can be identified based on audio information around the first mobile body M1 included in the status information. In this case, the group relationship determination unit 24 can determine that the two or more second moving objects that are calling out to each other have a predetermined relationship and belong to the group.
  • step S305 if it is determined that the plurality of second moving objects do not have a predetermined relationship and do not belong to the group (NO in S305), the information processing device 10 proceeds to step S307.
  • step S305 if it is determined in step S305 that the plurality of second moving objects have a predetermined relationship and belong to the group (YES in S305), the information processing device 10 corrects the individual risk calculated in step S304. (S306).
  • the risk correction unit 25 of the information processing device 10 corrects the individual risk of each second mobile object determined to belong to the group in step S305. In other words, the risk correction unit 25 corrects (risk correction )do.
  • the risk correction unit 25 refers to table T5 in FIG.
  • a risk correction value of [-5] can be obtained. Therefore, the risk correction unit 25 can calculate the corrected individual risk [+10] by correcting the child's individual risk [+15] with the risk correction value [-5].
  • the risk correction unit 25 refers to table T5 in FIG. 2.
  • a risk correction value [-12] for the moving object can be obtained. Therefore, the risk correction unit 25 can calculate the corrected individual risk [+3] by correcting the child's individual risk [+15] with the risk correction value [-12].
  • the risk correction unit 25 refers to table T5 in FIG. A body risk correction value of [-15] can be obtained. Therefore, the risk correction unit 25 can calculate the corrected individual risk [+0] by correcting the child's individual risk [+15] with the risk correction value [-15].
  • the risk correction unit 25 does not correct the parent's individual risk [+3], or corrects the parent's individual risk [+3] with the risk correction value [9], so that the corrected individual risk [+3] can be calculated.
  • step S305 and step S306 may be repeated at regular intervals to update the corrected individual risk. For example, when a parent and child who were holding hands let go, it is detected by image recognition that the situation of the group to which the two second moving objects belong has changed. As a result, the risk correction value obtained by referring to table T5 in FIG. 10 changes, so the value of the individual risk after correction also changes.
  • the 30-year-old pedestrian Assume that the individual risk of a pedestrian is calculated as [3], and the individual risk of each 5-year-old child is calculated as [15].
  • the risk correction value for one child is the risk correction value [-5] for another second moving object due to pedestrians older than 9 years old, and 2 for pedestrians aged 9 years or younger.
  • a risk correction value [+10 (value obtained by [5]*[2])] for human pedestrians and other moving objects can be obtained.
  • the risk correction unit 25 corrects each child's individual risk [+15] with the risk correction value [+5 (value obtained by [-5] + [10])]. Individual risk [+20] can be calculated. The explanation will be continued with reference to FIG. 17 below.
  • the risk correction unit 25 may correct the parent's individual risk.
  • the table T5 includes a risk correction value for the child to another second moving object (here, the parent), and the risk correction unit 25 may correct the parent's individual risk based on the table T5.
  • the risk correction unit 25 may perform correction to increase the individual risk of the parent.
  • the information processing device 10 transmits control information for controlling the first mobile body M1 and a remote monitor who remotely monitors or operates the first mobile body M1 based on the individual risk corrected in step S306.
  • At least one of the notification information for the notification is generated (S307).
  • the information generation unit 26 of the information processing device 10 determines the content of control for the terminal D1 and the first mobile body M1 based on the individual risk corrected in step S306.
  • the information generation unit 26 determines the control content using the uncorrected individual risk or the corrected individual risk using information that links the risk and the control content shown in FIG. 15, for example. can do.
  • control details are determined using table T6 in FIG. 15 .
  • the corrected individual risk for each child pedestrian is [20].
  • the information generation unit 26 determines the control content according to the table T6 in FIG. 15, does not generate control information for the first mobile body M1, and generates notification information that causes the alert A to be displayed on the terminal D1.
  • the information processing device 10 outputs at least one of the control information and notification information generated in step S307 (S308).
  • the output unit 27 of the information processing device 10 transmits the control information determined by the information generation unit 26 in step S307 through the communication unit 11.
  • FIG. 18 is a flowchart showing a detailed example of step S307 shown in FIG. 17.
  • step S307 the information processing device 10 first determines whether it is necessary to control the first mobile body M1 (S3071).
  • the information generation unit 26 of the information processing device 10 refers to the information that associates the risk and the control content held in the storage unit 12, and based on the individual risk corrected in step S306, the information generation unit 26 of the information processing device 10 It is possible to determine whether control is necessary.
  • step S3071 If it is determined in step S3071 that control of the first mobile body M1 is necessary (YES in S3071), the information generation unit 26 generates control information (S3072).
  • step S3071 determines whether control of the first mobile body M1 is not necessary (NO in S3071).
  • the information generation unit 26 allows the operator (remote monitor) to watch or intervene with respect to the first mobile body M1. It is determined whether it is necessary (S3073).
  • the information generation unit 26 of the information processing device 10 refers to the information that links the risk and the control content held in the storage unit 12, and based on the individual risk corrected in step S306, the information generation unit 26 It can be determined whether operator attention or intervention is required.
  • step S3073 If it is determined in step S3073 that the operator's attention or intervention is necessary (YES in S3073), the information generation unit 26 generates notification information (S3074).
  • step S3073 determines whether the operator's attention or intervention is not required (NO in S3073). If it is determined in step S3073 that the operator's attention or intervention is not required (NO in S3073), the process in step S307 is ended.
  • an information processing method etc. that can calculate more accurate risks for moving objects such as pedestrians and perform necessary and sufficient control for moving objects such as vehicles is realized.
  • more accurate risk assessment is possible by performing risk correction according to the situation within the group for the second moving object that has a predetermined relationship and belongs to the group. becomes. Then, by notifying the terminal D1 of an alert or controlling the first mobile body M1 based on accurate risk assessment, the number of interventions by the remote monitor can be suppressed and the load can be reduced.
  • FIG. 19A is a diagram showing an image of the risk calculated by the method according to the comparative example in a certain situation.
  • FIG. 19B is a diagram illustrating an image of risk calculated by the method according to the present disclosure in a certain situation.
  • FIGS. 19A and 19B (a) show an example of a scene where a parent and child are approaching the front of the vehicle.
  • FIGS. 19A and 19B (b) show examples of individual risks calculated as area sizes for each parent and child.
  • the size of the region is the range in which the vehicle should issue an alert to avoid danger, and the larger the calculated individual risk, the wider the range.
  • individual risks are calculated that indicate that adults who are parents are at low risk and children are at high risk.
  • FIG. 19A (c) shows that the vehicle issues an alert, etc. in accordance with the individual risk calculated in FIG. 19A (b).
  • the comparative example does not take into account the relationship between an adult and a child.
  • FIG. 20 is a diagram conceptually illustrating an example of risk correction due to the influence from another second moving body in the group according to this modification.
  • FIG. 20 in a situation where the second moving object A1, which is an adult pedestrian, and the second moving object C1, which is a child pedestrian, belong to a group, only the individual risk of the second moving object C1 is compensated for.
  • An example is shown.
  • the calculated individual risks of the second moving body A1 and the second moving body C1 are shown by the sizes of the area R A 1 and the area R C 1b.
  • the region R A 1 and the region R C 1b indicate, for example, a range in which the first mobile body M1 should issue an alert to avoid danger, and the larger the range, the greater the risk.
  • the second moving bodies A1 and C1 are close to each other, and the region R C 1b is a region including the region R A 1.
  • the area R A 1 only needs to include the area between the second moving body A1 and the first moving body M1, and may be an area that does not include the second moving body A1, for example. Further, the second moving body A1 and the second moving body C1 may be located at positions within the region R C 1b, for example.
  • FIG. 20(b) shows that the individual risk area R C 1b has been corrected to the area R C 1a by performing risk correction so that the individual risk of the second moving object C1 is reduced.
  • the individual risk in a group consisting of one adult and one child, the individual risk is considered to be smaller than when the risk of each child is calculated individually because the adult can watch over the child and suppress the child's risky behavior.
  • the region R C 1a is the same region as the region R A 1. Note that the region R C 1a only needs to be smaller than the region R C 1b and include the region R A 1.
  • the corrected region R C corresponding to the child pedestrian 1a may be corrected to match the area R A 1 corresponding to an adult pedestrian.
  • the area R C 1b is set such that an alert is not activated even if the first mobile body M1 enters the area R C 1b, and an alert is activated when the first mobile body M1 enters the area R A 1. may be corrected.
  • the degree of risk to be corrected (risk correction value) is varied depending on which determination criteria are met.
  • the risk correction values shown in FIG. 10 may be changed depending on which judgment shown in FIG. 7 is YES.
  • the table T5 shown in FIG. 10 may be provided for each criterion shown in FIG. 7, or the risk correction value of the table T5 shown in FIG. It may be corrected each time.
  • the individual risk after correction is set to a larger value in the negative direction so that the individual risk becomes smaller.
  • the risk correction value may be corrected so that.
  • the correction amount of the risk correction value may be set depending on safety. For example, it is safer when two second moving objects are physically connected than when they are closer than a predetermined distance. is high, a larger correction amount may be set in the case of physical connection.
  • the storage unit 12 may store a table in which the correction amount of the risk correction value is associated with safety. In this case, safety is set for each determination criterion shown in FIG.
  • the first mobile object M1 makes different utterances to two or more second mobile objects belonging to the group depending on the determined group relationship.
  • the first mobile body M1 makes different utterances to the group depending on the relationship between the groups.
  • the operation for changing the utterance is an example of a predetermined operation.
  • the first mobile body M1 may issue an alert to urge the adult to hold hands with the child, or may issue an alert that urges the adult to hold hands with the child. If the relationship is such that a normal alert (for example, a voice saying "A vehicle is passing by") may be issued.
  • the storage unit 12 stores a table in which relationships and alert modes are associated with each other, and the information generation unit 26 may generate control information including the alert mode.
  • FIG. 21 is a diagram for explaining control of the first moving body when two second moving bodies having a predetermined relationship avoid an obstacle according to this modification.
  • the first moving body M1 and two second moving bodies A1 and C1 having a predetermined relationship are moving closer to each other, and an obstacle exists between them.
  • FIG. 21(b) shows a state in which the first moving body M1 is stopped, giving priority to the two second moving bodies A1 and C1 passing while avoiding obstacles. It shows. Note that FIG. 21 illustrates a case where two second moving bodies A1 and C1 are walking in two horizontal rows (an example of movement).
  • the other second moving body when one of the two second moving bodies A1 and C1 avoids an obstacle, the other second moving body also avoids the obstacle accordingly. In other words, it is possible to avoid obstacles while remaining in two horizontal rows. In this case, the two second moving bodies A1 and C1 approach (for example, jump out) the first moving body M1.
  • the two second moving bodies A1 and C1 having a predetermined relationship are regarded as one second moving body, and collisions between the one second moving body and obstacles are determined according to their respective positions. It is also possible to make a prediction and control the first mobile body M1 according to the prediction result.
  • the vehicle control here includes control to stop the first moving body M1. Further, the vehicle control may include control such as causing the first moving body M1 to move slowly or take a detour.
  • the information generation unit 26 may generate control information that includes stopping the first moving body M1 in front of the obstacle. . Such processing is performed on two or more second moving bodies that have a predetermined relationship.
  • FIG. 21 illustrates a case where two second moving bodies having a predetermined relationship move in two horizontal rows, for example, control to stop the first moving body M1 when moving in two vertical columns is also possible. may be performed.
  • the operation for stopping the first moving body M1 until two second moving bodies having a predetermined relationship pass an obstacle is an example of the predetermined operation.
  • present disclosure may be implemented with the following content. In other words, processes other than those described below do not need to be executed. Further, the present disclosure may be realized as an information processing device that executes the following information processing method, or a program that causes a computer to execute the following information processing method.
  • An information processing method in an information processing device comprising: Obtain sensing information obtained by photographing the surroundings of the first mobile object that moves autonomously, Detecting a second moving body existing around the first moving body based on the sensing information, If two or more of the second mobile bodies existing around the first mobile body are detected, based on the sensing information, the two or more second mobile bodies have a predetermined relationship. Determine whether there is An information processing method, wherein when a determination is made that the situation is such that two or more of the second moving bodies have the predetermined relationship, a notification is performed according to the predetermined relationship.
  • the information generation unit 26 generates instruction information that instructs to display an alert consisting of phrases such as "a group of pedestrians is approaching" or "a parent and child holding hands are approaching", but the information of the present disclosure
  • the processing method is based on the processing method for two or more second moving bodies having a predetermined relationship, without correcting the individual risk of the two or more second moving bodies having a predetermined relationship, according to the predetermined relationship.
  • the present invention may be realized as a method of generating instruction information for instructing display of an alert. Further, the operation of generating such instruction information is an example of a predetermined operation.
  • age estimation method is not limited to the method shown below, and any known method may be used.
  • Age estimation is performed based on image recognition.
  • image recognition include image recognition in which a processor executes a predetermined program stored in a memory, and uses, for example, machine learning based on deep learning or other AI technology.
  • An example of the first method is a method of estimating age using face recognition. As long as the person is not wearing a mask, hat, sunglasses, etc., it is possible to estimate the person's age with some degree of accuracy.
  • a second method a method of estimating the height based on the person recognition is exemplified. If highly accurate age estimation is required, the first method may be used, and if it is sufficient to be able to distinguish between children and adults to some extent, the second method may be used.
  • the information generating unit 26 may consider a child to be a child if the child is below a first predetermined height, and may be to consider a child to be an adult if the child is above a second predetermined height.
  • the first predetermined height and the second predetermined height may be the same numerical value or may be different numerical values.
  • the first predetermined height may be 120 cm
  • the second predetermined height may be 155 cm.
  • the information generation unit 26 may uniformly consider the person to be an adult, may estimate the age using facial recognition, or may estimate the age based on clothing. You may.
  • the risk correction unit 25 further corrects the individual risk when a predetermined condition is satisfied.
  • the predetermined condition may be that there is a person on a blacklist in the group.
  • the blacklist includes information that identifies people who have obstructed the first mobile object M1 from traveling in the past, such as those who have caused mischief to the first mobile object M1 in the past. Contains information that identifies the person.
  • the risk correction unit 25 corrects the risk correction value of table T5 shown in FIG. 10 so that the individual risk becomes higher, and calculates the corrected risk correction value. may be used to correct individual risks. Note that whether or not a person is on the blacklist may be determined by, for example, identifying a person through facial recognition, but is not limited to this.
  • the predetermined condition may be that a second mobile object exists within the group that has the same conditions (for example, the same location, the same situation, etc.) but has a different individual risk.
  • the same position includes positions within a predetermined distance. Examples of second moving objects that have the same conditions but different individual risks include a parent and a child.
  • the risk correction unit 25 individually determines whether the second moving body near the first moving body M1 is a person with a high individual risk or a person with a low individual risk. The degree of risk correction may be varied.
  • the risk correction unit 25 reduces the degree of correction of the individual risk (that is, if there is a person with a higher individual risk). If there is a person (for example, an adult) with a lower individual risk near the first mobile object M1, the degree of individual risk correction is increased (in other words, the individual risk becomes lower). Correction may be made.
  • the risk correction unit 25 adjusts the risk correction values in table T5 shown in FIG. 10 depending on which one is on the first moving body M1 side, for example. The individual risk may be corrected using the corrected risk correction value.
  • FIG. 22 is a diagram for explaining an example of risk correction based on the positional relationship between the second moving body and the first moving body M1 in the group according to this modification.
  • FIG. 22(a) shows a case where the child is on the first moving body M1 side
  • FIG. 22(b) shows a case where the parent is on the first moving body M1 side. It shows. It is assumed that the parent (second mobile body A1) has a lower individual risk than the child (second mobile body C1).
  • the risk correction unit 25 calculates that the child with a higher individual risk among the parent and child is on the first moving body M1 side (the child is in a position closer to the first moving body M1). , reduce the degree of individual risk correction. In other words, the risk correction unit 25 corrects the child's individual risk to a higher value.
  • the risk correction unit 25 calculates that the parent with the lower individual risk among the parent and child is on the first moving body M1 side (the parent is in a position closer to the first moving body M1). ), therefore, the degree of correction for individual risks will be increased. In other words, the risk correction unit 25 corrects the child's individual risk to a lower value.
  • an individual risk value is calculated, and when two or more second moving bodies have a predetermined relationship, each of the two or more second moving bodies
  • an information processing method in an information processing device acquires sensing information obtained by photographing the surroundings of a first mobile body M1 that moves autonomously, and based on the sensing information, If a second moving body existing around the body M1 is detected, and two or more second moving bodies existing around the first moving body M1 are detected, two or more second moving bodies are detected based on the sensing information.
  • the predetermined operation may be an operation for changing the display mode of the alert display displayed on the terminal D1, or may be an operation for changing the utterance from the first mobile body M1 to the group, or a predetermined operation.
  • the first moving body M1 may be stopped until two second moving bodies having the following relationship pass an obstacle.
  • the predetermined operation is to calculate an individual risk indicating the danger possibility that each of the two or more second moving bodies comes into contact with the first moving body M1, and calculate the individual risk calculated for each of the two or more second moving bodies.
  • the information regarding the corrected individual risk may be notified to at least one of the first mobile body M1 and the terminal of the remote monitor.
  • the information regarding the corrected individual risk includes, for example, at least one of control information and notification information.
  • a group in the present disclosure refers to a set of second moving bodies having a predetermined relationship. For example, if an adult is watching a child, a pedestrian is walking with a dog on a leash, or a child is riding a bicycle in the same direction, certain relationships may occur. It can be determined that the person has a gender and belongs to a group. On the other hand, if the second moving bodies are passing each other, if the distance between the second moving bodies is large, or if an adult and a child are located close to each other but are not looking at each other, the second It is determined that the moving objects do not have a predetermined relationship with each other and are considered not to belong to the group.
  • the risk in the present disclosure indicates the high possibility that the second moving object will collide with the first moving object M1 such as a vehicle.
  • a risk is expressed, for example, as a numerical value, and it can be determined that the larger the risk value, the higher the risk.
  • the magnitude of the individual risk is determined by the distance between the first moving object M1, which is a vehicle, and the second moving object, such as a pedestrian, the speed and direction of movement of the first moving object M1, and the speed and direction of movement of the second moving object. , the presence or absence of an obstacle between the first moving body M1 and the second moving body, and other physical conditions are taken into consideration.
  • the magnitude of the individual risk is calculated by taking into consideration the attributes of the second moving object such as the age, gender, and clothing of the second moving object in addition to the physical conditions described above. For example, even under exactly the same physical conditions, if the second moving object is an adult pedestrian and if it is a child riding a bicycle, the individual risk of the latter is calculated to be larger.
  • Technology 1 An information processing method in an information processing device, which acquires sensing information obtained by sensing the surroundings of a first mobile object that moves autonomously, and based on the sensing information, If a second mobile body existing around the first mobile body is detected, and two or more second mobile bodies existing around the first mobile body are detected, two or more of the second mobile bodies are detected based on the sensing information. determine whether or not the situation is such that the two or more second moving bodies have the predetermined relationship, and if the situation is such that two or more of the second moving bodies have the predetermined relationship, two or more of the second An information processing method, comprising: performing a predetermined operation to avoid a moving object coming into contact with the first moving object.
  • the individual risks calculated for each of the two or more second moving bodies can be corrected. Therefore, a more accurate risk assessment can be obtained for the second moving object, and necessary and sufficient control can be performed for the first moving object. Further, for example, the number of times of intervention or remote operation by a remote monitor of the first mobile body M1 can be suppressed, and the load on the remote monitor can be reduced.
  • the information regarding the corrected individual risk includes at least one of control information for controlling the first mobile object and notification information for notifying the remote monitor, The information processing method according to technique 2, wherein at least one of the information and the notification information is output.
  • the first mobile body or the remote monitor is notified, so that the first mobile body can be controlled as necessary and sufficient.
  • the moving speed, moving direction, and moving state of the first moving body included in the state information can be used, so the individual risk can be calculated more accurately.
  • correction is performed to reduce the individual risk based on at least one of the type and attribute of each second moving object, so a more accurate individual risk can be calculated.
  • the two or more detected second moving objects are two second moving objects consisting of one person over a predetermined age and one child younger than the predetermined age.
  • the information processing according to technique 8 corrects based on the table so as to reduce the individual risk calculated for the second moving object, which is the one child among the two second moving objects.
  • the individual risk calculated for the two second moving objects consisting of one person over a predetermined age and one child younger than a predetermined age is calculated by taking into account that they have a predetermined relationship. Can be corrected. Thereby, a more accurate risk assessment can be obtained for the two second moving objects each consisting of one person over a predetermined age and one child younger than a predetermined age.
  • the individual risks calculated for the two second moving objects consisting of children younger than a predetermined age can be corrected taking into account that they have a predetermined relationship. Thereby, a more accurate risk assessment can be obtained for the two second moving objects made up of children younger than a predetermined age.
  • two or more of the second moving objects are The information processing method according to technique 8, wherein the individual risk calculated for each of the two or more second moving objects that are the two or more children among the second moving objects is corrected to decrease.
  • the individual risk calculated for two or more second moving objects consisting of one adult and two or more children younger than a predetermined age is calculated by taking into account that they have a predetermined relationship. Can be corrected. Thereby, a more accurate risk assessment can be obtained for two or more second moving objects consisting of one adult and two or more children younger than a predetermined age.
  • two or more second It can be easily determined whether the moving objects have a predetermined relationship.
  • the correction can be performed.
  • the control information for the first moving body can be easily generated without any burden depending on the value of the individual risk determined.
  • alert information indicating an alert that prompts the remote monitor to watch the first moving object or operate the first moving object as notification information
  • the load can be adjusted according to the corrected individual risk value. It is possible to easily generate notification information without any need.
  • the notification information includes the size of the alert display indicating the alert, the color of the alert display, whether or not the alert display blinks, the volume of the notification sound for notifying the alert, and the height of the notification sound.
  • the information processing method according to technique 14 includes information indicating at least one of the following.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the at least one device mentioned above is specifically a computer system composed of a microprocessor, ROM, RAM, hard disk unit, display unit, keyboard, mouse, etc.
  • a computer program is stored in the RAM or hard disk unit.
  • the at least one device described above achieves its functions by the microprocessor operating according to a computer program.
  • a computer program is configured by combining a plurality of instruction codes indicating instructions to a computer in order to achieve a predetermined function.
  • a part or all of the components constituting at least one of the above devices may be composed of one system LSI (Large Scale Integration).
  • a system LSI is a super-multifunctional LSI manufactured by integrating multiple components onto a single chip, and specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. .
  • a computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to a computer program.
  • An IC card or module is a computer system composed of a microprocessor, ROM, RAM, etc.
  • the IC card or module may include the above-mentioned super multifunctional LSI.
  • An IC card or module achieves its functions by a microprocessor operating according to a computer program. This IC card or this module may be tamper resistant.
  • the present disclosure may be the method described above. Furthermore, it may be a computer program that implements these methods using a computer, or it may be a digital signal formed from a computer program.
  • the present disclosure also provides a method for storing a computer program or a digital signal on a computer-readable recording medium, such as a flexible disk, hard disk, CD (Compact Disc)-ROM, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray). (Registered Trademark) Disc), semiconductor memory, etc. Further, it may be a digital signal recorded on these recording media.
  • a computer-readable recording medium such as a flexible disk, hard disk, CD (Compact Disc)-ROM, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray). (Registered Trademark) Disc), semiconductor memory, etc. Further, it may be a digital signal recorded on these recording media.
  • the present disclosure may be applied to transmitting a computer program or a digital signal via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, data broadcasting, or the like.
  • the program or digital signal may be implemented by another independent computer system by recording it on a recording medium and transferring it, or by transferring the program or digital signal via a network or the like.
  • the present disclosure can be used for a method of outputting control information for a remote monitor to monitor or remotely control a first moving object to be operated.
  • Information processing device 11 Communication unit 12 Storage unit 20 Processing unit 21 Second moving body detection unit 22 Second moving body position specifying unit 23 Individual risk calculation unit 24 Group relationship determination unit 25 Risk correction unit (execution unit) 26 Information generation unit 27 Output unit A1, A2, C1, C2, C3, C4, C5 Second mobile body D1 Terminal D11, M11 Communication device D12 Input device D13 Output device M1 First mobile body M12 Sensing device M13 Status information acquisition device M14 Control device M15 Drive device N Network R A 1, R C 1a, R C 1b, R C 2a, R C 2b, R C 3a, R C 3b, R C 4a, R C 4b , R C 5a, R C 5b Area T1, T2, T3, T4, T5, T6 Table

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理方法は、自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得し(S301)、センシング情報に基づいて、第1移動体の周囲に存在する第2移動体を検出し(S302)、第1移動体の周囲に存在する第2移動体が2以上検出された場合、センシング情報に基づいて、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定し(S305)、2以上の第2移動体が所定の関係性を有している状況である場合(S305でYES)、2以上の第2移動体が第1移動体と接触することを回避するための所定動作を実行する(例えば、S306)。

Description

情報処理方法、情報処理装置、およびプログラム
 本開示は、情報処理方法、情報処理装置、およびプログラムに関する。
 車両の運転時の安全を高めるため、車両周辺の歩行者、自転車、車いす、ベビーカー、ペットなどの移動体を検知し、検知した移動体の車両に対するリスクを算出し、算出したリスクに応じて未認識通知情報のパラメータ又は媒体を変更する方法が提案されている(例えば特許文献1)。
 特許文献1では、車両周辺の移動体が人であった場合、人間が車両によって認識されていない場合でも、人間に対して注意を喚起することができる。
特開2021-149309号公報
 しかしながら、特許文献1の方法では、親が子供の手を繋いでいる親子の歩行者が車両周辺に存在した場合でも、親の歩行者と子の歩行者とで個別にリスクを算出する。例えば親が子供の手を繋いでいる場合には、子供の歩行者に対するリスクは、子供一人の歩行者に対するリスクよりも下がると考えられる。つまり、特許文献1の方法では、移動体が集団に属する場合、集団内の他の構成員からの影響によるリスクへの寄与が考慮されていない。結果として、必要以上にリスクを高く評価しまう場合には、車両に対して不必要な制御を実施することになり、車両の運行の効率が落ちる場合がある。また、リスクを低く評価してしまう場合には、車両に対して十分な制御が実施されず、移動体が危険な事態に陥る場合がある。
 本開示は、上述の事情を鑑みてなされたもので、車両などの移動体に対して必要十分な制御を行うことができる情報処理方法等を提供することを目的とする。
 本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得し、前記センシング情報に基づいて、前記第1移動体の周囲に存在する第2移動体を検出し、前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定し、2以上の前記第2移動体が前記所定の関係性を有している状況である場合、2以上の前記第2移動体が前記第1移動体と接触することを回避するための所定動作を実行する。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
 本開示の情報処理方法によれば、車両などの移動体に対して必要十分な制御を行うことができる。
 なお、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施の形態ならびに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図1は、実施の形態に係る情報処理装置を含む全体構成の一例を示す図である。 図2は、実施の形態に係る第1移動体の構成の一例を示すブロック図である。 図3は、実施の形態に係る端末の構成の一例を示すブロック図である。 図4は、実施の形態に係る情報処理装置の構成の一例を示すブロック図である。 図5Aは、実施の形態に係る第2移動体の属性に応じたリスク値の一例を示す図である。 図5Bは、実施の形態に係る第1移動体と第2移動体との距離に応じたリスク値の一例を示す図である。 図5Cは、実施の形態に係る第1移動体の速度に応じたリスク値の一例を示す図である。 図5Dは、実施の形態に係る第2移動体の速度に応じたリスク値の一例を示す図である。 図6は、実施の形態に係る個別リスクの算出に用いる属性例を示す図である。 図7は、実施の形態に係る集団判定情報の一例としての条件フローを示す図である。 図8Aは、実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。 図8Bは、実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。 図8Cは、実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。 図8Dは、実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。 図8Eは、実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。 図9は、実施の形態に係る所定の関係性を有することを判定するための条件例を示す図である。 図10は、実施の形態に係るリスク補正値の一例を示す図である。 図11は、実施の形態に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。 図12は、実施の形態に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。 図13は、実施の形態に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。 図14は、実施の形態に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。 図15は、実施の形態に係る補正された個別リスク値に応じて生成される情報の一例を示す図である。 図16は、実施の形態に係る情報処理装置を含む全体構成の動作を示すシーケンス図である。 図17は、実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図18は、図17に示すステップS307の詳細の一例を示すフローチャートである。 図19Aは、ある場面において比較例に係る方法で算出されたリスクのイメージを示す図である。 図19Bは、ある場面において本開示に係る方法で算出されたリスクのイメージを示す図である。 図20は、実施の形態の変形例に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。 図21は、実施の形態に変形例に係る、所定の関係性を有する2つの第2移動体が障害物を避ける場合の第1移動体に対する制御について説明するための図である。 図22は、実施の形態に変形例に係る、集団内の第2移動体と第1移動体との位置関係に基づくリスク補正の一例を説明するための図である。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
 (実施の形態)
 以下、本実施の形態に係る情報処理方法および情報処理装置について説明する。
 [1 全体構成]
 図1は、本実施の形態に係る情報処理装置10を含む全体構成の一例を示す図である。
 図1に示す全体構成は、情報処理装置10と、遠隔監視者に利用される端末D1と、第1移動体M1とを備え、これらはネットワークNを介して相互に通信可能に接続されている。遠隔監視者は、端末D1を通じて、第1移動体M1を遠隔監視および遠隔制御する人員である。換言すると、図1に示す全体構成は、遠隔監視者が第1移動体M1と情報処理装置10とを監視し、端末D1により通知される情報に応じて、第1移動体M1を遠隔監視または遠隔制御するための情報処理システムである。
 ネットワークNは、所定の有線又は無線の通信ネットワークである。ネットワークNは、例えば、携帯電話網、衛星通信網、Wi-fiなどを利用した広域通信網などであるが、ネットワークNはこれらに限定されない。情報処理装置10、端末D1および第1移動体M1は、ネットワークNに通信可能に接続され得る場所に設置されれば、物理的な位置はどこであってもよい。
 なお、本実施の形態では、図1に示されるように、全体構成は1つの第1移動体M1および1つの端末D1を備えるとして説明するが、これに限らない。2以上の第1移動体M1、2以上の端末D1を備えてもよいし、端末D1と情報処理装置10とが一体化されていてもよい。また、図1に示す全体構成は、端末D1を備えず、情報処理装置10および第1移動体M1のみで構成されていてもよい。
 [1.1 第1移動体M1]
 第1移動体M1は、自律移動する移動ロボット、車両などであり、遠隔監視者により遠隔操作および遠隔監視の少なくとも一方が可能となっている。第1移動体M1は、移動ロボット、車両に限らず、AGV(Automated Guided Vehicle)、パーソナルモビリティ、飛行機、ドローン、船舶、移動ロボット、建設機械、農業機械(トラクター)などのいずれかであってもよい。第1移動体M1が車両である場合、人が搭乗していても搭乗していなくてもいずれでもよい。なお、第1移動体M1が車両である場合、自動運転車両であってもよいし、搭乗者が運転する自動運転車両でない車両であってもよい。本実施の形態では、第1移動体M1は、情報処理装置10による処理結果または遠隔監視者による端末D1への入力内容に応じて、操舵角、加減速等の制御がなされる場合がある。
 図2は、本実施の形態に係る第1移動体M1の構成の一例を示すブロック図である。
 第1移動体M1は、図2に示すように、通信装置M11と、センシング装置M12と、状態情報取得装置M13と、制御装置M14と、駆動装置M15とを備える。
 通信装置M11は、例えば通信インターフェースであり、ネットワークNに接続可能である。通信装置M11は、ネットワークNを介して情報処理装置10と通信可能に接続され、後述するように、状態情報およびセンシング情報を情報処理装置10に定期的に送信する。
 センシング装置M12は、例えばカメラ、LiDAR(Light Detection And Ranging)装置などであり、第1移動体M1の周囲を撮影することによりセンシング情報を得る。センシング情報は、例えば第1移動体M1の周囲を撮影した画像情報であってもよいし、第1移動体M1の周囲を撮影した画像情報を1以上含む映像情報であってもよい。また、センシング装置M12は、所定の間隔ですなわち定期的にセンシング情報を得る。なお、撮影することは、センシングすることの一例である。
 状態情報取得装置M13は、各種センサを備え、第1移動体M1の移動状態に関する状態情報を検出することで、第1移動体M1の移動状態に関する状態情報を取得する。ここで、状態情報には、第1移動体M1の移動速度、移動方向および移動状態が含まれていればよい。移動状態は、例えば第1移動体M1が走行中、停止中または一時停止中のいずれの状態であるかを示す。各種センサとして、GPS(Global Positioning System)が含まれていてもよい。
 なお、状態情報には、さらに、第1移動体M1の位置情報、第1移動体M1の速度、加速度、ジャーク(加加速度)、傾き、方位、操舵角、燃料の残量、方向指示器の作動状態などが含まれていてもよい。また、状態情報には、ABS(Anti-lock Braking System)の作動状態、AEB(Automatic Emergency Braking)の作動状態などが含まれていてもよい。また、状態情報には、第1移動体M1の周辺物体の有無、当該周辺物体の数および種類、当該周辺物体との距離、速度差、天候状況、周辺の音声情報、加速度差、センシング装置M12が第1移動体M1に取り付けられている角度、位置情報などが含まれていてもよい。状態情報は、上述した様々な情報が含まれてもよく、状態情報の種類とも称する。つまり、状態情報自体は、複数種類あってもよい。
 また、状態情報取得装置M13は、各種センサを用いて、所定の間隔ですなわち定期的に状態情報を得る。
 制御装置M14は、コンピュータを備え、コンピュータを使って駆動装置M15の速度および操舵を制御する。制御装置M14は、搭乗者の操作または遠隔監視者の操作に応じて、コンピュータを使って駆動装置M15の速度および操舵を制御することもできる。
 駆動装置M15は、第1移動体M1の車輪などの駆動体、モーター、エンジンなどにより構成され、制御装置M14により制御される。
 [1.2 端末D1]
 端末D1は、第1移動体M1の状態情報を確認したり、情報処理装置10による処理結果などを確認したりすることができる。また、端末D1は、遠隔監視者による入力内容に従い、情報処理装置10および第1移動体M1の制御を行ってもよい。
 図3は、本実施の形態に係る端末D1の構成の一例を示すブロック図である。
 端末D1は、図3に示すように、通信装置D11と、入力装置D12と、出力装置D13とを備える。
 通信装置D11は、例えば通信インターフェースであり、ネットワークNに接続可能である。通信装置D11は、ネットワークNを介して情報処理装置10または第1移動体M1と通信可能に接続される。
 入力装置D12は、例えばジョイスティック、タッチパネルハンドル、ボタンなどで構成され、遠隔監視者による入力情報が入力される。この入力情報は、ネットワークNを介して第1移動体M1の加減速の制御、操舵角の制御についての情報、または、情報処理装置10が情報処理を行う際の設定値についての情報などである。
 出力装置D13は、例えばディスプレイ、スピーカー、ライトなどで構成され、情報処理装置10および第1移動体M1から得た通知情報に基づき制御がなされる。通知情報は、例えば情報処理装置10および第1移動体M1の稼働情報と、稼働情報を表示させる指示情報とが含まれていてもよい。また、通知情報は、稼働情報を表示させる指示情報を含む場合に限らず、ディスプレイの画面内のオブジェクトの点滅、ボタンの有効化、音声の発話などを行わせる指示情報を含んでもよい。
 [1.3 情報処理装置10]
 情報処理装置10は、例えばサーバであり、本実施の形態に係る情報処理方法を実行する。
 図4は、本実施の形態に係る情報処理装置10の構成一例を示すブロック図である。
 情報処理装置10は、図4に示すように、通信部11と、記憶部12と、処理部20とを備える。
 通信部11は、例えば通信インターフェースであり、ネットワークNに接続可能である。通信部11は、ネットワークNを介して第1移動体M1および端末D1と通信可能に接続される。通信部11は、自律移動する第1移動体M1の移動状態に関する状態情報と、第1移動体M1の周囲を撮影することで得たセンシング情報とを取得する。通信部11は、本開示の取得部の一例である。
 本実施の形態では、通信部11は、端末D1から送信される入力情報を受信し、第1移動体M1から送信される状態情報およびセンシング情報を受信する。なお、通信部11は、さらに、第1移動体M1が移動する道路の情報、当該道路の交通状況、当該道路に関する地形の情報などを含む環境情報をさらに取得し、記憶部12に保持させてもよい。
 また、通信部11は、処理部20で生成された通知情報を端末D1に送信し、処理部20で生成された制御情報を、端末D1を介して第1移動体M1に送信する。これにより、端末D1および第1移動体M1は、通知情報および制御情報により制御される。
 記憶部12は、処理部20において処理を行うための情報を記憶しているデータベースであり、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などにより実現される。
 本実施の形態では記憶部12は、第2移動体の検出および位置特定を行うために必要な情報を保持している。必要な情報は、例えば、画像認識を行うためのデータセット、映像上の座標を位置座標に変換するための設定値などである。また、記憶部12は、個別リスクを算出するための情報、2以上の第2移動体が集団に属するかの判別を行うための集団判定情報、リスクと制御内容とを紐づける情報等を保持している。
 また、記憶部12は、後述する。
 [1.3.1 処理部20]
 処理部20は、通信部11および記憶部12から取得した情報に基づいて、端末D1に対する通知情報と第1移動体M1に対する制御情報とを生成する。
 処理部20は、図4に示すように、第2移動体検出部21と、第2移動体位置特定部22と、個別リスク算出部23と、集団関係判定部24と、リスク補正部25と、情報生成部26と、出力部27とを備える。処理部20は、例えばメモリおよびプロセッサ(マイクロプロセッサ)を含むコンピュータを備え、メモリに格納された所定のプログラムをプロセッサが実行することにより、各構成要素の各種機能を実現することができる。
 [1.3.2 第2移動体検出部21]
 第2移動体検出部21は、取得したセンシング情報に基づき、第1移動体M1の周囲に存在する2以上の第2移動体の検出と2以上の第2移動体それぞれの属性の特定とを行う。
 第2移動体検出部21は、メモリに格納された所定のプログラムをプロセッサが実行することにより、検出機能および属性特定機能等の機能を実現することができる。ここで、第2移動体は、第1移動体M1と接触または衝突し得る生体または人が乗車している乗り物であり、歩行者、自転車、車いす、ベビーカー、シニアカー、ペットなどに該当する。また、第2移動体は、第1移動体M1とは異なる、すなわち車両、移動ロボット等などには該当しない。
 本実施の形態では、第2移動体検出部21は、記憶部12から第2移動体の検出に必要な情報を取得し、取得した必要な情報と、通信部11で取得した第1移動体M1の例えば映像情報とを用いて、第2移動体の検出を行う。また、第2移動体検出部21は、通信部11で取得した第1移動体M1の例えば映像情報から、第2移動体それぞれの属性の特定を行う。ここで、第2移動体の属性とは、年齢、性別、身長、服装、方向、姿勢などを含む。なお、第2移動体検出部21は、メモリに格納された所定のプログラムをプロセッサが実行し、例えばディープラーニングによる機械学習、その他のAI技術などを用いた画像認識を行うことで、第2移動体の検出および第2移動体の属性の特定を行うことができる。
 [1.3.3 第2移動体位置特定部22]
 第2移動体位置特定部22は、第2移動体検出部21で検出された2以上の第2移動体それぞれの位置を特定する。第2移動体位置特定部22は、メモリに格納された所定のプログラムをプロセッサが実行することにより、位置特定機能等の機能を実現することができる。
 本実施の形態では、第2移動体位置特定部22は、第2移動体位置特定部22により検出された第2移動体の映像上の座標を特定する。第2移動体位置特定部22は、第1移動体M1のカメラの高さなど位置特定を行うために必要な情報を取得し、検出された第2移動体の映像上の位置座標を、第1移動体M1に対する当該第2移動体の位置座標に変換する。このようにして、第2移動体位置特定部22は、第2移動体検出部21により検出された第2移動体の第1移動体M1に対する位置を特定する。
 なお、状態情報に、第1移動体M1の位置座標、方向、カメラの位置情報、カメラの傾き、カメラの視野角などが含まれている場合、第2移動体位置特定部22は、状態情報に含まれるこれらの情報を用いて第2移動体の位置座標を算出してもよい。また、第2移動体位置特定部22は、さらに、算出された第2移動体の位置情報の時間変化から、第2移動体の第1移動体M1に対する速度情報および加速度情報を算出してもよい。
 [1.3.4 個別リスク算出部23]
 個別リスク算出部23は、通信部11で取得された状態情報と第2移動体検出部21で特定された位置とに基づいて、2以上の第2移動体それぞれが第1移動体M1と接触する危険可能性を示す個別リスクを算出する。個別リスク算出部23は、メモリに格納された所定のプログラムをプロセッサが実行することにより、算出機能を実現することができる。なお、個別リスク算出部23は、少なくとも、第1移動体M1、および、2以上の第2移動体それぞれの位置(例えば、第1移動体M1および2以上の第2移動体それぞれの位置関係)に基づいて個別リスクを算出すればよい。
 本実施の形態では、個別リスク算出部23は、第2移動体検出部21で特定された第2移動体それぞれの属性と、第2移動体位置特定部22で得た位置情報、速度情報および加速度情報とを、リスク算出のための参照情報と照らし合わせることで算出することができる。
 ここで、リスク算出のための参照情報について説明する。
 図5Aは、本実施の形態に係る第2移動体の属性に応じたリスク値の一例を示す図である。図5AのテーブルT1には、第2移動体が歩行者、車いす、ペット、自転車である場合において、年齢の属性に応じたリスク値の一例が示されている。図5Aに示される例では、分別のつきにくい9歳の年齢より上または以下でリスク値が異なっている。
 図5Bは、本実施の形態に係る第1移動体M1と第2移動体との距離に応じたリスク値の一例を示す図である。図5BのテーブルT2には、第1移動体M1と第2移動体との距離が近いほど高くなるリスク値の一例が示されている。図5Cは、本実施の形態に係る第1移動体M1の速度に応じたリスク値の一例を示す図である。図5CのテーブルT3には、第1移動体M1の速度が速いほど高くなるリスク値の一例が示されている。図5Dは、本実施の形態に係る第2移動体の速度に応じたリスク値の一例を示す図である。図5DのテーブルT4には、第2移動体の速度が速いほど高くなるリスク値の一例が示されている。
 本実施の形態では、リスクとは、第2移動体が車両などの第1移動体M1に衝突する可能性の高さを示し、数値化された値であってもよい。個別リスクは、2以上の第2移動体のそれぞれが(個別に)第1移動体M1と接触(衝突)する危険がある可能性を示す。なお、リスクは、複数のリスク値を示す情報を組み合わせて算出されてもよい。すなわち、個別リスク算出部23は、特定された第2移動体の属性、特定された位置座標などに基づいて、図5AのテーブルT1、図5BのテーブルT2、図5CのテーブルT3および図5DのテーブルT4で示されるリスク値を特定してもよい。そして、個別リスク算出部23は、特定したリスク値同士を組み合わせることで個別リスクを算出してもよい。特定したリスク値の組み合わせ方法としては、例えば、加算、減算、乗算、もしくは除算を用いることができる。
 なお、図5AのテーブルT1~図5DのテーブルT4を用いて個別リスクを算出する場合、図5AのテーブルT1~図5DのテーブルT4は記憶部12に保持されている。
 また、個別リスク算出部23が個別リスクを算出する際に用いる属性は、図5Aに示される属性に限らない。例えば図6に示すような属性を構成する要素を1以上組み合わせた属性を個別リスクの算出に用いてもよい。ここで、図6は、本実施の形態に係る個別リスクの算出に用いる属性例(属性を構成する要素例)を示す図である。
 個別リスクの算出の際に前提とした歩行者の属性によるリスク傾向の一例について説明する。例えば年齢の属性では、子供の方が大人よりも興味を持ちやすく、第1移動体M1に接近するリスクが大きい傾向があるとしている。性別の属性では、男の子のほうが女の子よりも第1移動体M1に接近するリスクが大きい傾向があるとしている。服装の属性では、例えば制服と私服とを要素とし、歩行者が制服を着ている場合、登下校を優先するため第1移動体M1に接近するリスクが小さい傾向があるとしている。顔の属性では、視線または表情を要素とし、例えば第1移動体M1に視線を向けている場合、興味を持ち第1移動体M1に接近するリスクが小さい傾向があるとしている。状態の属性では、手を繋がれていること、または、抱き上げられていることを要素とし、例えば手を繋がれていたり抱き上げられていたりする場合、第1移動体M1に接近するリスクが小さい傾向があるとしている。移動速度および方向の属性では、第1移動体M1に速い速度で向かっているほど、第1移動体M1に接近するリスクが大きい傾向があるとしている。その他の属性では、歩行者との間に柵などの障害物があれば、第1移動体M1に接近するリスクが小さい傾向があるとし、大きな声での会話もしくは第1移動体M1についての会話がされている場合、第1移動体M1に接近するリスクが小さい傾向があるとしている。
 なお、個別リスク算出部23は、さらに環境情報を用いて、個別リスクを算出してもよい。例えば、個別リスク算出部23は、地形の情報に基づき、検出された複数の第2移動体である複数の歩行者が崖の下に存在することを特定できたとする。この場合、個別リスク算出部23は、第1移動体M1に接近するリスクは小さいことを示すリスク値を特定し、他で特定したリスク値と組み合わせることで個別リスクを算出してもよい。
 [1.3.5 集団関係判定部24]
 集団関係判定部24は、特定された位置および属性に基づき、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定する。集団関係判定部24は、例えば2以上の第2移動体の間における距離、視線、物理的接続、所有物、動き、年齢、音声のうちの少なくとも一つの集団判定情報に基づき、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定する。複数の第2移動体が所定の関係性を有する場合、複数の第2移動体が集団に属していると判定できる。
 集団関係判定部24は、メモリに格納された所定のプログラムをプロセッサが実行することにより、上記判定機能を実現することができる。
 本実施の形態では、集団関係判定部24は、第2移動体検出部21で複数の第2移動体が検出された場合、記憶部12に保持されている集団判定情報を取得する。集団関係判定部24は、取得した集団判定情報を用いて、複数の第2移動体が所定の関係性を有しているかを判定する。例えば、集団関係判定部24は、複数の第2移動体が検出された場合、まず、検出された複数の第2移動体からなる集団とその構成員とを特定してもよい。次いで、集団関係判定部24は、検出された複数の第2移動体それぞれの属性、第1移動体M1に対する位置情報等などに基づき、取得した集団判定情報を用いて、複数の第2移動体が所定の関係性を有するかを判定してもよい。
 図7は、本実施の形態に係る集団判定情報の一例としての条件フローを示す図である。
 ここで、集団判定情報には、所定の関係性を示す時間、距離などの条件(設定値)が含まれている。集団判定情報は、例えば図7に示す条件フローのように、所定の関係性を示す条件を条件分岐形式でもっていてもよい。この場合、集団関係判定部24は、図7に示す条件フローに従って、複数の第2移動体が所定の関係性を有するかを判定することができる。図7に示される例では、集団関係判定部24は、例えば検出された第2移動体同士が一定時間以上2m以内にいる場合、複数の第2移動体が所定の関係性を有しており、当該複数の第2移動体が集団に属していると判定できる。同様に、集団関係判定部24は、例えば第2移動体同士が3m以内におり同方向に同速度で移動している場合、物理的に接続している場合、一定時間視線を送っている場合、または、声を掛け合っている場合には、複数の第2移動体が所定の関係性を有していると判定することができる。なお、例えば、集団関係判定部24は、少なくとも第2移動体同士が2m以内にいるなどの位置関係に基づいて、所定の関係性を有している状況であるか否か、つまり第2移動体同士が集団に属しているか否かを判定してもよい。
 ここで、図8A~図8Eを用いて、複数の第2移動体が所定の関係性を有していると判定できる場合を概念的に説明する。
 図8A~図8Eは、本実施の形態に係る2つの第2移動体が所定の関係を有する場合の一例を概念的に示す図である。
 図8Aには、共に大人の歩行者である第2移動体A1および第2移動体A2が、一定の距離以内にいて静止している場合の例が示されている。第2移動体A1および第2移動体A2が図8Aに示すような関係にある場合、集団関係判定部24は、第2移動体A1および第2移動体A2が所定の関係を有し、集団に属していると判定できる。
 図8Bには、共に大人の歩行者である第2移動体A1および第2移動体A2が、一定の距離以内におり、同じ方向(進行方向)に一定速度で移動している場合の例が示されている。第2移動体A1および第2移動体A2が図8Bに示すような関係にある場合、集団関係判定部24は、第2移動体A1および第2移動体A2が所定の関係を有し、集団に属していると判定できる。
 同様に、図8Cには、共に大人の歩行者である第2移動体A1および第2移動体A2が、手を繋いでいるなど物理的に繋がっている場合の例が示されている。第2移動体A1および第2移動体A2が図8Cに示すような関係にある場合、集団関係判定部24は、第2移動体A1および第2移動体A2が所定の関係を有し、集団に属していると判定できる。
 図8Dには、共に大人の歩行者である第2移動体A1および第2移動体A2のうちの一方(図では第2移動体A1)が、他方(図では第2移動体A2)に目線を送り見守っている場合の例が示されている。第2移動体A1および第2移動体A2が図8Dに示すような関係にある場合、集団関係判定部24は、第2移動体A1および第2移動体A2が所定の関係を有し、集団に属していると判定できる。
 図8Eには、共に大人の歩行者である第2移動体A1および第2移動体A2が、互いに視線を交わすまたは会話を行っている場合の例が示されている。第2移動体A1および第2移動体A2が図8Eに示すような関係にある場合、集団関係判定部24は、第2移動体A1および第2移動体A2が所定の関係を有し、集団に属していると判定できる。
 なお、複数の第2移動体が所定の関係性を有していると判定できる条件は、図7、図8A~図8Eで説明した条件に限らない。例えば図9に示すような要素を組み合わせて定められた条件であってもよい。ここで、図9は、本実施の形態に係る所定の関係性を有することを判定するための条件例を示す図である。
 すなわち、図9に示すように、第2移動体同士の距離を条件とする場合、例えば接触、2m以内、2mより離れているといった要素が考えられる。また、複数の第2移動体の形態を条件とする場合、整列、煩雑といった要素が考えられる。また、複数の第2移動体の視線を条件とする場合、お互いが見つめあっている、片方が見守っている、別々の方向であるといった要素が考えられる。同様に、複数の第2移動体の行動を条件とする場合、立ち話、行進、乱雑に走り回るといった要素が考えられる。また、その他を条件とする場合、例えばメンバー間の関係を示す情報、服装や持ち物が同じ、一緒に進んでいるといった要素が考えられる。つまり、集団関係判定部24は、これらの要素を組み合わせて、組み合わせた要素からなる条件を満たすか否かにより所定の関係を有するかどうかを判定してもよい。
 なお、集団関係判定部24は、2以上の第2移動体が所定の関係性を有しており集団に属している状況を判定することに加えて、その集団内の状況を特定してもよい。例えば、集団関係判定部24は、2以上の第2移動体が集団に属していることを判定するとともに、2以上の第2移動体からなる集団を構成する大人と子供の人数比を特定してもよい。これにより、後述するリスク補正部25において大人1人あたりに対する子供の人数が少ないほど、個別リスクが小さくなるように個別リスクの補正が行われ、2以上の第2移動体それぞれに対してより正確なリスクを算出することができる。また、例えば、集団関係判定部24は、2以上の第2移動体が集団に属していることを判定するとともに、2以上の第2移動体からなる集団が整列しているか否かを特定してもよい。整列して歩いている場合は、登下校中など目的地・到着時間が決まっている状況である場合が多く、個別リスクが小さくなるよう補正できるからである。また、例えば、集団関係判定部24は、2以上の第2移動体が集団に属していることを判定するとともに、2以上の第2移動体からなる集団内に物理的に拘束されているメンバーがいるかを特定してもよい。手を繋いでいたり、リードで繋がっていたりする場合には、個別リスクが小さくなるよう補正できるからである。また、例えば、集団関係判定部24は、2以上の第2移動体が集団に属していることを判定するとともに、2以上の第2移動体からなる集団内の会話の状況を特定してもよい。大声で騒いでいる場合や、車両についての話題がある場合、個別リスクが大きくなるよう補正すべきだからである。
 また、集団関係判定部24は、さらに環境情報を用いて、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定してもよい。例えば、集団関係判定部24は、環境情報に含まれる時刻、地形の情報と、特定された位置および属性に基づき、検出された複数の第2移動体が整列して歩く学生であり登下校である状況などを特定することができる。これにより、後述するリスク補正部25において個別リスクが小さくなるように個別リスクの補正が行われ、2以上の第2移動体それぞれに対してより正確なリスクを算出することができる。
 [1.3.6 リスク補正部25]
 リスク補正部25は、2以上の第2移動体が所定の関係性を有している状況である場合、2以上の第2移動体それぞれに対して算出された個別リスクを補正する。例えば、リスク補正部25は、第2移動体の種類、属性および補正値を含むテーブル(例えば、図10に示すテーブルT5を参照)を用いて、当該2以上の第2移動体それぞれに対して算出された個別リスクを補正してもよい。なお、リスク補正部25は、メモリに格納された所定のプログラムをプロセッサが実行することにより、上記の補正機能を実現することができる。リスク補正部25は、実行部の一例である。
 具体的には、リスク補正部25は、検出された2以上の第2移動体が、例えば、所定年齢以上の人一人と所定年齢より小さい子供一人とからなる2つの第2移動体である場合、テーブルに基づき、次のように個別リスクを補正してもよい。すなわち、リスク補正部25は、2つの第2移動体のうち子供一人である第2移動体に対して算出された個別リスクを減少させるように補正し、2つの第2移動体のうち所定年齢以上の人である第2移動体に対して算出された個別リスクを補正しなくてもよい。
 また、リスク補正部25は、検出された2以上の第2移動体のそれぞれが、例えば、所定年齢より小さい子供である場合、テーブルに基づき、2以上の第2移動体のそれぞれに対して算出された個別リスクを増加させるように補正してもよい。
 また、リスク補正部25は、検出された2以上の第2移動体が、例えば、大人一人と、所定年齢より小さい2以上の子供とからなる場合、テーブルに基づき、次のように個別リスクを補正してもよい。すなわち、リスク補正部25は、2以上の第2移動体のうち、2以上の子供である2以上の第2移動体それぞれに対して算出された個別リスクを減少させるように補正し、大人である第2移動体に対して算出された個別リスクを補正しなくてもよい。なお、1人の大人と2以上の子供とからなる集団の2以上の子供それぞれに対して算出された個別リスクの減少の大きさは、1人の大人と1人の子供とからなる集団の1人の子供に対して算出された個別リスクの減少の大きさよりも小さくするとよい。1人の大人が2人の子供を見守る場合、子供単独よりもリスクは低いと考えられる。一方で、1人の大人が2人の子供を見守ることは、1人の大人が1人の子供を見守ることよりも困難であり、1人の大人が2人の子供を見守る場合の1人の子供のリスクは1人の大人が1人の子供を見守る場合の1人の子供のリスクよりも高いと考えられるからである。
 図10は、本実施の形態に係るリスク補正値の一例を示す図である。
 図10に示されるテーブルT5には、第2移動体の種類および属性に応じたリスク補正値の一例が示されている。なお、図10では、リスク補正値は第2移動体の種類および属性に応じて決定されることに限定されず、例えば、第1移動体M1と2以上の第2移動体それぞれとの位置関係に基づいて決定されてもよい。この場合、当該位置関係に応じたリスク補正値を示すテーブルが事前に生成される。
 本実施の形態では、リスク補正部25は、集団関係判定部24により複数の第2移動体が集団に属すると判定された場合、属する集団内の他の第2移動体からの影響を考慮して個別リスクの補正(リスク補正)を行う。例えば、リスク補正部25は、集団関係判定部24により複数の第2移動体が集団に属すると判定された場合、図10のテーブルT5を参照して、個別リスク算出部23により算出された個別リスクを補正する。
 ここで、例えば、複数の第2移動体が30歳の歩行者1人と5歳の歩行者1人とからなる親子連れで構成される集団に属し、30歳の歩行者は5歳の歩行者と手繋ぎをしておらず抱き上げもしないとする。この場合、30歳の歩行者の個別リスクは、例えば図5AのテーブルT1から、9歳より上の歩行者のリスク値[5]が算出され、リスク補正されない。一方で、5歳の歩行者の個別リスクは、図5AのテーブルT1から9歳より下の歩行者のリスク値[15]が算出され、図10に示すテーブルT5から算出された9歳より上の歩行者(監視)によるリスク補正値[-5]により、補正後の個別リスクが[10]と算出される。
 次に、図11~図14を用いて、複数の第2移動体が所定の関係性を有している状況において補正される個別リスクについて説明する。
 図11~図14は、本実施の形態に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。
 図11には、共に大人の歩行者である第2移動体A1および第2移動体A2が集団に属しているという状況では、リスク補正がなされない場合の例が示されている。大人の歩行者それぞれの個別リスクは、大人の歩行者同士の影響で変化しないと考えられる。このため、共に大人の歩行者である第2移動体A1および第2移動体A2が所定の関係性を有しており集団に属している状況では、リスク補正部25は、算出された個別リスクのリスク補正を行わない。
 なお、大人の歩行者同士である場合でも、大人の歩行者同士の属性または状態によって、リスク補正部25は、算出された個別リスクのリスク補正を行ってもよい。ここでの属性には、高校生、大学生などが含まれ、状態は酔っているなどが含まれる。例えば、リスク補正部25は、大人の歩行者がふざけ合っていることが想定される場合、個別リスクを高くする補正を行ってもよい。リスク補正部25は、大人の歩行者同士の属性または状態と、リスク補正値とが対応付けられたテーブルを用いて、当該補正を行ってもよい。また、リスク補正部25は、大人の歩行者同士の一方の個別リスクを高くする補正を行ってもよいし、双方の個別リスクを高くする補正を行ってもよい。高校生、大学生、酔っているなどは、例えば、画像の画像解析などにより取得可能である。
 図12には、大人の歩行者である第2移動体A1と子供の歩行者である第2移動体C1が集団に属している状況では、第2移動体C1の個別リスクのみがリスク補正される場合の例が示されている。図12の(a)では、算出された第2移動体A1および第2移動体C1の個別リスクが、領域R1および領域R1bの大きさで示されている。領域R1および領域R1bは、例えば第1移動体M1が危険回避のためにアラートを発動すべき範囲を示しており、大きいほどリスクが大きいことを表している。図12の(b)には、第2移動体C1の個別リスクが減少するようリスク補正されることで、個別リスクの領域R1bが領域R1aに補正されたことが示されている。つまり、大人1人と子供1人からなる集団では、大人が子供を見守り、子供の危険行動を抑制できることから、子供のリスクを単独で算出した場合よりも小さくなると考えられるからである。
 図13には、大人の歩行者である第2移動体A1と子供の歩行者である第2移動体C2、C3が集団に属している状況では、第2移動体C2、C3の個別リスクのみがリスク補正される場合の例が示されている。図13の(a)では、算出された第2移動体A1、第2移動体C2、および第2移動体C3の個別リスクが、領域R1、領域R2bおよび領域R3bの大きさで示されている。図13の(b)には、第2移動体C2および第2移動体C3の個別リスクが減少するようリスク補正されることで、個別リスクの領域R2bおよび領域R3bが領域R2aおよび領域R3aに補正されたことが示されている。つまり、大人1人と子供2人からなる集団では、大人が子供を見守り、子供の危険行動を抑制できることから、子供のリスクを単独で算出した場合よりも小さくなると考えられるからである。一方で、大人1人で子供1人を見守る場合よりも、子供の危険行動を抑制できないと考えられる。このため、子供のリスクを単独で算出した場合よりも、2人の子供それぞれのリスクは小さくなるが、大人1人で子供1人を見守る場合よりは2人の子供それぞれのリスクは大きくなる。
 図14には、共に子供の歩行者である第2移動体C4および第2移動体C5が集団に属している状況では、第2移動体C4および第2移動体C5の個別リスクがリスク補正される場合の例が示されている。図14の(a)でも、算出された第2移動体C4および第2移動体C5の個別リスクが、領域R4bおよび領域R5bの大きさで示されている。図14の(b)には、第2移動体C4および第2移動体C5の個別リスクが増大するようリスク補正されることで、個別リスクの領域R4bおよび領域R5bが領域R4aおよびR5aに補正されたことが示されている。つまり、子供2人からなる集団では、大人がおらず、子供の危険行動が相乗される可能性が高いことから、2人の子供のリスクそれぞれを単独で算出した場合よりも大きくなると考えられるからである。
 なお、共に子供の歩行者である第2移動体C4および第2移動体C5が集団に属している状況であっても、第2移動体C4および第2移動体C5の個別リスクが補正されなくてもよい。例えば、図7に示す判定基準ごとに、共に子供の歩行者であった場合に、個別リスクを補正するか否かが設定されていてもよい。また、例えば、共に子供の歩行者であった場合に、個別リスクを補正するか否かの設定を予め受け付けており、リスク補正部25は、設定された方の制御を一律に行ってもよい。
 [1.3.7 情報生成部26]
 情報生成部26は、リスク補正部25で補正された個別リスクに基づいて、第1移動体M1を制御する制御情報、および、第1移動体M1を遠隔で監視もしくは操作する遠隔監視者への通知を行う通知情報の少なくとも一方を生成する。なお、情報生成部26は、メモリに格納された所定のプログラムをプロセッサが実行することにより、生成機能を実現することができる。
 例えば、情報生成部26は、補正された個別リスクの値に応じて、一時停止させる制御、回避動作させる制御、注意喚起のための発話をさせる制御、点灯させる制御のうち、少なくとも1つの制御を第1移動体M1に行わせるための情報を、制御情報として生成してもよい。また、情報生成部26は、その後、走行再開させる制御を第1移動体M1に行わせるための情報を、制御情報として生成してもよい。例えば、情報生成部26は、補正された個別リスクの値に応じて、遠隔監視者に第1移動体M1の注視または第1移動体M1の操作を促すアラートを示すアラート情報を、通知情報として生成してもよい。ここで、通知情報には、アラートを示すアラート表示のサイズ、アラート表示の色、アラート表示の点滅の有無、アラートを通知する通知音の大きさ、通知音の高さのうち少なくとも1つを示す情報が含まれていてもよい。
 本実施の形態では、情報生成部26は、リスク補正部25により補正された個別リスクに基づいて、端末D1および第1移動体M1に対する制御内容を決定する。制御内容には、第1移動体M1に対する制御情報のみが含まれる場合、制御情報および端末D1への通知情報のみが含まれる場合、制御情報および端末D1への通知情報が含まれる場合がある。
 図15は、本実施の形態に係る補正された個別リスク値に応じて生成される情報の一例を示す図である。図15に示されるテーブルT6は、リスクと制御内容とを紐づける情報の一例である。
 図15のテーブルT6では、リスクと制御内容とを紐づける情報として、補正された個別リスクの値に応じて生成される制御情報および通知情報の組み合わせとその内容の一例が示されている。より詳細には、図15に示すように、情報生成部26は、補正された個別リスク値が例えば0~9である場合、テーブルT6に基づき、制御情報および通知情報を生成しない。また、情報生成部26は、補正された個別リスク値が10~19である場合、第1移動体M1を減速させるための制御情報を生成し、端末D1には無音の通知情報を生成する。また、情報生成部26は、補正された個別リスク値が20~29である場合、端末D1でアラートAを表示させる指示を含む通知情報のみを生成する。情報生成部26は、補正された個別リスク値が30以上である場合、詳細は省略するが、第1移動体M1の制御情報と端末D1への通知情報との両方を生成する。
 なお、端末D1への通知情報には、例えば描画内容、オブジェクトの点滅などのアラート表示、ボタンの有効化非有効化、音声出力などを指示する指示情報のうちの少なくとも1つが含まれていてもよい。
 また、第1移動体M1の制御情報には、速度制御、操舵制御、映像表示制御、音声出力制御などのうちの少なくとも1つを第1移動体M1に行わせるための情報が含まれていてもよい。制御情報は、さらに、補正された個別リスク以外の情報に基づいて生成されてもよい。例えば、第1移動体M1を運用するスタッフが接近している旨の情報を取得している場合などには、情報生成部26は、補正された個別リスクが高くても、端末D1へアラート表示などを指示する指示情報を通知情報に含めず、第1移動体M1の制御情報のみを生成してもよい。
 また、情報生成部26は、リスク補正部25により補正された個別リスクだけでなく、2以上の第2移動体が属する集団の状況を考慮して、端末D1へのアラート表示などを指示する指示情報を生成してもよい。例えば、2以上の第2移動体が属する集団の状況を遠隔監視者に通知するために、情報生成部26は、「歩行者集団接近中」、「手を繋いだ親子接近中」などの文言からなるアラート表示を指示する指示情報を生成してもよい。
 特に大人と小さい子供とのグループの場合、遠隔監視者が画面を見るタイミングによっては、大人の後ろに子供がいるなどしてよく確認しないとグループであることが画面上わかりづらいといったことが起こり得る。アラートが通知されることで、遠隔監視者が複数人いることを把握することができ、上記ケースにおいて小さい子供を見落としてしまうことを抑制することができる。
 なお、アラート表示には、同じ集団であることを認識可能な表示が含まれてもよい。アラート表示には、例えば、2以上の第2移動体が属する集団を強調する表示が含まれてもよい。アラート表示には、例えば、同じ集団のメンバー全員を囲む1つの矩形として表示することが含まれてもよいし、同じ集団のメンバーそれぞれを示す枠の表示態様を同じにすることであってもよい。また、同じ集団であると判定された判定理由に応じて個別リスクの度合いが異なると考えられるため、同じ集団であると判定された判定理由に応じて、または、判定理由に応じたリスクの度合いに応じて、枠の表示態様を異ならせてもよい。枠の表示態様には、枠線の態様および集団を示す色の態様の少なくとも一方が含まれる。また、アラート表示は、単に、判定理由、リスク度合いなどが重畳表示される表示であってもよい。例えば、特に小さい子供が親と手をつないでいる状況、抱っこしてもらっている状況などの物理的接続があって集団と判定された場合、子供の接近リスクは小さくなるが、物理的接続がなく、距離が近くて集団と判定された場合、子供の接近リスクはそれほど小さくならない。前者に比べ後者の場合は、遠隔監視者はより注意を払う必要が出てくる。そのため、アラート表示は、前者に比べて後者の場合をより強調して表示してもよい。
 また、アラート表示は、集団の状況が変化した場合に行われてもよい。例えば、物理的接続がある状態から物理的接続がなく距離が近くになった場合、より注意を払わないといけなくなるので、そのような場合にアラート表示が行われることで、アラート表示が効果的である。また、逆の場合には、アラート表示が行われない、または、アラート表示の強調度合い下げることで、遠隔監視者における注意を払う工数を下げることができ、遠隔監視者は、他のところに注意を払うのに工数を注ぐことができるようになる。アラート表示は、当該アラート表示が、より注意を払わないといけなくなるアラートであるか、注意を払う工数を下げられるアラートであるかを認識可能な態様で行われてもよい。当該態様として表示色を変えることが例示されるが、これに限定されない。アラート表示の態様を異ならせることは、所定動作を実行することの一例である。
 また、アラート表示には、どういう属性の集団であるかを示す表示が含まれてもよいし、集団に含まれる第2移動体の数を示す表示が含まれてもよい。どういう属性の集団であるかを示す表示としては、親と子供、大人・大人、子供・子供、車椅子乗員・車椅子押す人、人・ペットなどが例示されるが、これに限定されない。
 また、大人の後ろに子供がいる瞬間の画像であると、コンピュータ側でも集団であることを判定することが困難であるため、情報生成部26は、所定期間前にコンピュータ側で集団であると判定されていた場合には、大人の後ろに子供がいる等して1人の大人しか現在の画像に映っていないときでも集団であると推定して、集団であることを示すアラート表示を行わせてもよい。例えば、情報生成部26は、集団のうち誰かが画面上で確認不可となっていることを示す情報(例えば、「死角に子供がいます」などの表示)をアラート表示に含めてもよい。また、例えば、情報生成部26は、確認不可になっている人数をアラート表示に含めてもよい。
 また、情報生成部26は、リスク補正部25により補正された個別リスクよりも2以上の第2移動体が属する集団の状況を優先させて、第1移動体M1の制御情報を生成してもよい。例えば、情報生成部26は、先生とその先生に引率されている複数の児童とが集団に属している状況である場合、リスクの値的にはアラートおよび第1移動体M1の制御が必要と決定される場合でも、先生に引率されている集団であるから安全であり、補正された個別リスクが高くとも閾値以下であるときには、第1移動体M1の制御情報を生成しないとしてもよい。
 [1.3.8 出力部27]
 出力部27は、情報生成部26で生成された制御情報および通知情報の少なくとも一方を出力する。
 本実施の形態では、出力部27は、情報生成部26で決定された制御内容すなわち情報生成部26で生成された制御情報および通知情報の少なくとも一方を、通信部11を介して端末D1に送信する。なお、出力部27は、情報生成部26で決定された制御内容を第1移動体M1に送信することもできる。
 [2 動作]
 以上のように構成された情報処理装置10により実行される情報処理方法すなわち情報処理装置10の動作について以下説明する。
 [2.1 全体構成の動作]
 まず、情報処理装置10、第1移動体M1および端末D1の間に発生する情報のやり取りについて、図16を用いて説明する。
 図16は、本実施の形態に係る情報処理装置10を含む全体構成の動作(情報処理方法)を示すシーケンス図である。図16には、第1移動体M1から状態情報およびセンシング情報が情報処理装置10に対して送信され、情報処理装置10にて決定された制御内容をもとに端末D1で制御が行われる場合のシーケンスの一例が示されている。
 まず、第1移動体M1は、状態情報を、状態情報取得装置M13で取得し(S111)、取得した状態情報を、通信装置M11でネットワークNを介して情報処理装置10に送信する(S112)。
 次に、第1移動体M1は、センシング情報を、センシング装置M12で取得し(S113)、取得したセンシング情報を、通信装置M11でネットワークNを介して情報処理装置10に送信する(S114)。なお、状態情報が送信されるタイミング、およびセンシング情報が送信されるタイミングは、同時であってもよいし、異なっていてもよい。また、状態情報が取得され送信される頻度とセンシング情報が取得され送信される頻度とは異なっていてもよい。
 次に、情報処理装置10はネットワークNを介して、状態情報およびセンシング情報を受信すると(S121)、受信した状態情報およびセンシング情報を用いて情報処理を行い、制御内容を決定する(S122)。なお、情報処理の詳細については後述する。
 次に、情報処理装置10は、決定した制御内容を、ネットワークNを介して端末D1に送信する(S123)。
 次に、端末D1は、制御内容を通信装置D11で受信すると(S131)、受信した制御内容に基づき、制御を行う(S132)。
 なお、ステップS122において決定される制御内容によっては、図16に示す例のように端末D1のみが制御内容に基づき制御を行う場合以外に、第1移動体M1にのみ制御内容が送信され、第1移動体M1のみ制御が行われる場合もある。また、端末D1および第1移動体M1の両方に同時に制御内容が送信され、端末D1および第1移動体M1で制御が行われる場合も考えられる。また、端末D1および第1移動体M1に制御内容が送信されず、端末D1および第1移動体M1で制御が行われない場合も考えられる。
 なお、図16では、1つの端末D1と1つの第1移動体M1とが存在する場合について示されているが、これらは複数存在してもよい。この場合、遠隔監視者は、複数の端末D1のうちの特定の端末D1に対して制御を行えばよいし、遠隔監視者が複数存在する場合には全ての端末D1に対して制御を行ってもよい。
 [2.2 情報処理装置10の動作]
 続いて、図16のステップS121~ステップS123で行われる情報処理装置10の動作の一例について図17および図18を用いて説明する。
 図17は、本実施の形態に係る情報処理装置10の動作(情報処理方法)の一例を示すフローチャートである。図17には、本実施の形態に係る情報処理装置10の処理部20の処理の一例が示されている。
 図17に示すように、まず、情報処理装置10は、状態情報とセンシング情報とを取得する(S301)。本実施の形態では、情報処理装置10は、通信部11で、第1移動体M1が車載カメラなどのセンシング装置M12が取得した映像情報であるセンシング情報、および、状態情報取得装置M13が取得した状態情報を、ネットワークNを介して受信する。なお、状態情報には、第1移動体M1の位置情報、速度情報、傾き情報、方位情報、表示内容についての情報などが含まれていてもよい。
 次に、情報処理装置10は、ステップS301で取得したセンシング情報から、第2移動体を検出する(S302)。本実施の形態では、情報処理装置10の第2移動体検出部21は、取得した映像情報と、第2移動体の検出に必要な情報とを用いて画像認識を行うことで、2以上の第2移動体の検出を行う。なお、2以上の第2移動体のそれぞれは、歩行者であってもよいし、自転車、車いす、ベビーカー、シニアカーなどの乗り物に乗車している人であってもよいし、ペットなどであってもよい。
 次に、情報処理装置10は、ステップS301で取得した状態情報およびセンシング情報から、各第2移動体の位置情報を特定する(S303)。本実施の形態では、情報処理装置10の第2移動体位置特定部22は、取得した状態情報と、検出した第2移動体の映像上の位置情報とを用いて、第2移動体の第1移動体M1に対する位置座標を算出する。なお、状態情報に、第1移動体M1の位置座標、方向、カメラの位置情報、カメラの傾き、カメラの視野角などが含まれている場合、第2移動体位置特定部22は、状態情報に含まれるこれらの情報を用いて第2移動体の位置座標を算出してもよい。また、第2移動体位置特定部22は、さらに、算出された第2移動体の位置情報の時間変化から、第2移動体の第1移動体M1に対する速度情報および加速度情報を算出してもよい。
 次に、情報処理装置10は、ステップS301で取得した状態情報とステップS303で特定された位置座標とに基づいて、第2移動体それぞれの個別リスクを算出する(S304)。本実施の形態では、情報処理装置10の個別リスク算出部23は、各第2移動体の個別リスクを算出する。個別リスク算出部23は、ステップS302で特定した第2移動体のそれぞれの属性と、ステップS303で得た位置情報、速度情報、加速度情報などと、リスク算出の参照情報とを照らし合わせることにより各第2移動体の個別リスクを算出してもよい。
 ここで、図5AのテーブルT1~図5DのテーブルT4を用いて個別リスクが算出される場合の一例について説明する。例えば、9歳より年上の大人の歩行者1人と9歳以下の子供の歩行者1人とである2つの第2移動体の個別リスクを算出するとする。この場合、個別リスク算出部23は、図5AのテーブルT1を参照し、9歳より年上の歩行者のリスク値を[3]、9歳以下の歩行者のリスク値を[15]と算出できる。また、個別リスク算出部23は、例えば2つの第2移動体の車両である第1移動体M1に対する距離が3mであった場合、図5BのテーブルT2を参照し、2つの第2移動体のそれぞれのリスク値を[5]と算出できる。また、個別リスク算出部23は、状態情報に含まれる第1移動体M1の移動速度が3km/hであった場合、図5CのテーブルT3を参照し、2つの第2移動体のそれぞれのリスク値を[3]と算出できる。また、個別リスク算出部23は、例えば2つの第2移動体の速度が7km/hであった場合、図5DのテーブルT4を参照し、2つの第2移動体のそれぞれのリスク値を[8]と算出できる。そして、個別リスク算出部23は、これらのリスク値を組み合わせて、個別リスクとして算出する。以下、図17に戻って説明を続ける。
 次に、情報処理装置10は、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定する(S305)。本実施の形態では、情報処理装置10は、複数の第2移動体を検出した場合、集団関係判定部24で複数の第2移動体が、集団に属しているかを所定の関係を有しているかで判定する。例えば、集団関係判定部24は、複数の第2移動体の集団とその構成員とを特定してもよい。そして、集団関係判定部24は、記憶部12に保持されている集団判定情報と、特定された第2移動体の属性と、算出した第2移動体の第1移動体M1に対する位置情報等などとを元に、複数の第2移動体が集団に属するかの判定を行ってもよい。
 ここで、2以上の第2移動体が所定の関係性を有していることが判定される場合の具体例について説明する。例えば、2以上の第2移動体が大人1人と子供1人以上とであるとする。そして、ステップS303で特定された位置情報を元に、大人と子供が一定の距離内に一定時間以上立っている、または、一定の距離内で同一方向に同程度の速度で移動している状況であると特定できるとする。この場合、集団関係判定部24は、2以上の第2移動体が所定の関係性を有しており集団に属していると判定できる。また、大人が子供と手を繋いでいる場合、大人が子供を抱き上げている場合、人とペットとがリードで繋がっている場合など、物理的に拘束しあっている状況が映像情報から特定できるとする。この場合、集団関係判定部24は、2以上の第2移動体が所定の関係性を有しており集団に属していると判定できる。また、大人が子供を見守っている場合、人同士が見つめあっている場合など、一定時間以上視線を向けている人がいる場合など視線を向けている人物と視線を向けられている人物とがいる状況が映像情報から特定できるとする。この場合、集団関係判定部24は、視線を向けている人物と視線を向けられている人物からなる2以上の第2移動体が所定の関係性を有しており集団に属していると判定できる。また、大人が子供に呼びかけている場合、親子が会話している場合など声を掛け合っている状況が、状態情報に含まれる第1移動体M1の周辺の音声情報を元に特定できるとする。この場合、集団関係判定部24は、声を掛け合っている2以上の第2移動体が所定の関係性を有しており集団に属していると判定できる。
 ステップS305において、所定の関係性を有さず複数の第2移動体が集団に属さないと判定された場合(S305でNO)、情報処理装置10は、ステップS307に進む。
 一方、ステップS305において、所定の関係性を有し複数の第2移動体が集団に属すると判定された場合(S305でYES)、情報処理装置10は、ステップS304で算出された個別リスクを補正する(S306)。例えば、情報処理装置10のリスク補正部25は、ステップS305にて集団に属すると判定された第2移動体それぞれの個別リスクを補正する。つまり、リスク補正部25は、個別リスク算出部23により算出された複数の第2移動体のそれぞれの個別リスクを、集団に属する他の第2移動体からの影響を考慮して補正(リスク補正)する。
 ここで、図10のテーブルT5を用いて個別リスクを補正する場合の一例について説明する。例えば、30歳の歩行者1人と5歳の子供の歩行者1人とである2つの第2移動体が集団に属することが判定されており、図5AのテーブルT1により30歳の歩行者の個別リスクが[3]と算出され、5歳の子供の個別リスクが[15]と算出されているとする。この場合でも、図10のテーブルT5に示すように、集団に属する2つの第2移動体の状況すなわち9歳より年上の歩行者が、他の移動体を見守っている場合、他の移動体と手を繋いでいる場合、他の移動体を抱き上げている場合で個別リスクへのリスク補正値が異なる。
 例えば、集団に属する親子の状況として親が子供を見守っている場合、リスク補正部25は、図10のテーブルT5を参照して、9歳より年上の歩行者による他の第2移動体へのリスク補正値[-5]を得ることができる。このため、リスク補正部25は、子供の個別リスク[+15]をリスク補正値[-5]で補正することで、補正後の個別リスク[+10]を算出することができる。また、例えば、集団に属する親子の状況として親が子供と手を繋いでいる場合、リスク補正部25は、図10のテーブルT5を参照して、9歳より年上の歩行者による他の第2移動体へのリスク補正値[-12]を得ることができる。このため、リスク補正部25は、子供の個別リスク[+15]をリスク補正値[-12]で補正することで、補正後の個別リスク[+3]を算出することができる。また、例えば、集団に属する親子の状況として親が子供を抱き上げている場合、リスク補正部25は、図10のテーブルT5を参照して、9歳より年上の歩行者による他の第2移動体へのリスク補正値[-15]を得ることができる。このため、リスク補正部25は、子供の個別リスク[+15]をリスク補正値[-15]で補正することで、補正後の個別リスク[+0]を算出することができる。
 一方、集団に属する親子の状況として親が子供を見守っている場合、9歳より年が下の歩行者による他の第2移動体へのリスク補正値は存在しない。このため、リスク補正部25は、親の個別リスク[+3]を補正しない、もしくは、親の個別リスク[+3]をリスク補正値[9]で補正することで、補正後の個別リスク[+3]を算出することができる。
 なお、2つ以上の第2移動体の状況は経時的に変化する。このため、一定期間ごとにステップS305およびステップS306が繰り返され、補正後の個別リスクが更新されてもよい。例えば、手を繋いでいた親子が手を離した場合、例えば画像認識により2つの第2移動体が属する集団の状況が変化したことが検出される。これにより、図10のテーブルT5を参照して得られるリスク補正値が変化するので、補正後の個別リスクの値も変化する。
 また、例えば、30歳の歩行者1人と5歳の子供の歩行者3人とである4つの第2移動体が集団に属することが判定されており、図5AのテーブルT1により30歳の歩行者の個別リスクが[3]と算出され、5歳の子供それぞれの個別リスクが[15]と算出されているとする。この場合、図10のテーブルT5から、子供一人に対するリスク補正値として、9歳より年上の歩行者による他の第2移動体へのリスク補正値[-5]と、9歳以下である2人の歩行者の他の移動体に対するリスク補正値[+10([5]*[2]で得られる値)]とを得ることができる。このため、リスク補正部25は、子供それぞれの個別リスク[+15]をリスク補正値[+5([-5]+[10]で得られる値)]で補正することで、子供それぞれの補正後の個別リスク[+20]を算出することができる。以下、図17に戻って説明を続ける。
 なお、上記では、リスク補正部25は、親の個別リスクを補正しない例について説明したが、これに限定されず、親の個別リスクを補正してもよい。例えば、集団に属する親子の状況として親が子供を見守っている場合、子供による他の第2移動体(ここでは、親)へのリスク補正値がテーブルT5に含まれており、リスク補正部25は、当該テーブルT5に基づいて、親の個別リスクを補正してもよい。例えば、集団に属する親子の状況として親が子供を見守っている場合、リスク補正部25は、親の個別リスクを上昇させる補正をしてもよい。
 次に、情報処理装置10は、ステップS306で補正された個別リスクに基づいて、第1移動体M1を制御する制御情報、および、第1移動体M1を遠隔で監視もしくは操作する遠隔監視者への通知を行う通知情報の少なくとも一方を生成する(S307)。例えば、情報処理装置10の情報生成部26は、ステップS306で補正された個別リスクに基づいて、端末D1および第1移動体M1に対する制御内容を決定する。本実施の形態では、情報生成部26は、例えば図15に示すリスクと制御内容とを紐づける情報を用いて、補正されなかった個別リスクまたは補正された個別リスクを用いて、制御内容を決定することができる。
 ここで、図15のテーブルT6を用いて制御内容が決定される場合の一例について説明する。例えば、集団に属する30歳の歩行者1人と5歳の子供の歩行者3人において、子供の歩行者それぞれに対して補正後の個別リスクが[20]であるとする。この場合、情報生成部26は、図15のテーブルT6に従い制御内容を決定し、第1移動体M1に対する制御情報を生成せず、端末D1でアラートAを表示させる通知情報を生成する。
 次に、情報処理装置10は、ステップS307で生成した制御情報および通知情報の少なくとも一方を出力する(S308)。例えば、情報処理装置10の出力部27は、情報生成部26がステップS307において決定した制御情報を通信部11で送信する。
 図18は、図17に示すステップS307の詳細の一例を示すフローチャートである。
 ステップS307において、まず、情報処理装置10は、第1移動体M1の制御が必要かを判定する(S3071)。例えば、情報処理装置10の情報生成部26は、記憶部12が保持するリスクと制御内容とを紐づける情報を参照し、ステップS306で補正された個別リスクに基づいて、第1移動体M1の制御が必要か判定することができる。
 ステップS3071において、第1移動体M1の制御が必要であると判定した場合(S3071でYES)、情報生成部26は、制御情報を生成する(S3072)。
 一方、ステップS3071において、第1移動体M1の制御が必要でないと判定した場合(S3071でNO)、情報生成部26は、第1移動体M1に対してオペレーター(遠隔監視者)の注視または介入が必要かを判定する(S3073)。例えば、情報処理装置10の情報生成部26は、記憶部12が保持するリスクと制御内容とを紐づける情報を参照し、ステップS306で補正された個別リスクに基づいて、第1移動体M1に対してオペレーターの注視または介入が必要か判定することができる。
 ステップS3073において、オペレーターの注視または介入が必要であると判定した場合(S3073でYES)、情報生成部26は、通知情報を生成する(S3074)。
 一方、ステップS3073において、オペレーターの注視または介入が必要でない判定した場合(S3073でNO)、ステップS307の処理を終了する。
 [3 効果等]
 以上、本実施の形態によれば、歩行者などの移動体に対してより正確なリスクを算出し、車両などの移動体に対して必要十分な制御を行うことができる情報処理方法等を実現できる。より具体的には、実施の形態によれば、所定の関係を有し集団に属する第2移動体に対し、集団内の状況に応じたリスク補正を行うことで、より正確なリスク評価が可能となる。そして、正確なリスク評価をもとに端末D1へのアラート通知または第1移動体M1の制御を行うことで、遠隔監視者の介入回数を抑制でき負荷を軽減できる。
 車両前方に親子が接近している場面において算出され補正される個別リスクのイメージについて、比較例を挙げて説明する。
 図19Aは、ある場面において比較例に係る方法で算出されたリスクのイメージを示す図である。図19Bは、ある場面において本開示に係る方法で算出されたリスクのイメージを示す図である。
 図19Aおよび図19Bの(a)には、ある場面として、車両前方に親子が接近している場面の例が示されている。図19Aおよび図19Bの(b)には、親子それぞれについて領域の大きさとして算出された個別リスクの例が示されている。領域の大きさは、車両が危険回避のためにアラートを発動すべき範囲であり算出された個別リスクが大きいほど広い範囲となっている。つまり、親である大人はリスクが小さく、子供はリスクが大きいことを示す個別リスクが算出される。
 図19Aの(c)には、図19Aの(b)で算出された個別リスクに応じて、車両がアラート等を行っていることが示されている。つまり、比較例では、大人と子供との関係が考慮されていない、すなわち、親子であり親(大人)に見守られている子供は子供単独で存在する場合よりもリスクを小さく見積もれることが考慮されていない。そのため、車両に対して不必要な制御を実施することになり、車両の運行の効率が落ちる場合がある。
 一方、図19Bの(c)では、親子という集団内の状況を考慮して、図19Bの(b)で算出された個別リスクを補正している。そして、図19Bの(d)には、図19Bの(c)で補正された個別リスクに応じて、車両がアラート等を行っていることが示されている。
 図19Bの(d)と図19Aの(c)とを比較すると、車両前方に親子が接近しているという同一場面であっても、算出される子供の個別リスクが異なる。つまり、集団に属する子供に対し、親子関係があり親に見守られているという集団内の状況に応じたリスク補正を行うことで、より正確に評価されたリスク(補正された個別リスク)を得ることができる。これにより、車両などの移動体に対して必要十分な制御を行うことができる。
 (実施の形態の各種変形例)
 以下、実施の形態の各種変形例について、図20~図22を参照しながら説明する。なお、以下では、実施の形態との相違点を中心に説明し、実施の形態と同一又は類似の内容については説明を省略又は簡略化する。
 まず、複数の第2移動体が所定の関係性を有している状況において補正される個別リスクの他の例について、図20を参照しながら説明する。図20は、本変形例に係る集団内の他の第2移動体からの影響によるリスク補正の一例を概念的に示す図である。
 図20には、大人の歩行者である第2移動体A1と子供の歩行者である第2移動体C1とが集団に属している状況では、第2移動体C1の個別リスクのみがリスク補正される例が示されている。図20の(a)では、算出された第2移動体A1および第2移動体C1の個別リスクが、領域R1および領域R1bの大きさで示されている。領域R1および領域R1bは、例えば第1移動体M1が危険回避のためにアラートを発動すべき範囲を示しており、大きいほどリスクが大きいことを表している。ここで、第2移動体A1およびC1は近接しており、領域R1bは、領域R1を含む領域である。なお、領域R1は、第2移動体A1と第1移動体M1との間の領域を含んでいればよく、例えば第2移動体A1を含まない領域であってもよい。また、第2移動体A1および第2移動体C1は、例えば、領域R1b内の位置に位置していてもよい。
 図20の(b)には、第2移動体C1の個別リスクが減少するようリスク補正されることで、個別リスクの領域R1bが領域R1aに補正されたことが示されている。つまり、大人1人と子供1人とからなる集団では、大人が子供を見守り、子供の危険行動を抑制できることから、子供のリスクを単独で算出した場合よりも個別リスクが小さくなると考えられるからである。ここで、領域R1aは、領域R1と等しい領域である。なお、領域R1aは、領域R1bより小さく、かつ、領域R1を含む領域であればよい。
 このように、子供の歩行者に対応する領域R1bが、大人の歩行者に対応する領域R1の全てを含む領域である場合、子供の歩行者に対応する補正後の領域R1aは、大人の歩行者に対応する領域R1と一致するように補正されてもよい。言い換えると、領域R1bに第1移動体M1が進入してもアラートが発動されず、領域R1に第1移動体M1が進入した場合にアラートが発動されるように領域R1bが補正されてもよい。
 次に、複数の第2移動体が所定の関係性を有するかの判定(集団判定)の際、どの判定基準を満たしたかに応じて補正するリスク度合い(リスク補正値)を異ならせる例について説明する。例えば、図7に示すいずれの判定においてYESと判定されたかに応じて、図10に示すリスク補正値を異ならせてもよい。例えば、図7に示す判定基準ごとに図10に示すテーブルT5が設けられてもよいし、図10に示すテーブルT5のリスク補正値が、どの判定基準を満たしたかに応じてリスク補正部25により都度補正されてもよい。
 例えば、物理的につながっている(例えば、手をつなぐ、抱っこしているなど)場合、安全性が高いので、補正後の個別リスクがより小さな値となるように、よりマイナス方向に大きな値となるようにリスク補正値が補正されてもよい。また、例えば、2つの第2移動体の距離が所定距離以上近い場合、安全性がやや高いので、補正後の個別リスクが小さな値となるように、よりマイナス方向に大きな値となるようにリスク補正値が補正されてもよい。リスク補正値の補正量は、安全性に応じて設定されてもよく、例えば、2つの第2移動体の距離が所定距離以上近い場合に比べて物理的につながっている場合の方が安全性が高いので、物理的につながっている場合の方がより大きな補正量が設定されてもよい。例えば、リスク補正値の補正量と安全性とが対応付けられたテーブルが記憶部12に記憶されていてもよい。この場合、図7に示す判定基準ごとに安全性が設定される。
 次に、集団判定の際、判定した集団の関係性に応じて、第1移動体M1から集団に属する2以上の第2移動体に対する発話を異ならせる例について、図21を参照しながら説明する。以下では、集団の関係性に応じて、第1移動体M1から集団に対する発話を異ならせる例について説明する。なお、発話を異ならせるための動作は、所定動作の一例である。
 例えば、第1移動体M1は、集団の関係性が、大人と子供との関係性である場合、大人に対して子供と手をつなぐよう促すアラートを報知してもよいし、大人と大人との関係性である場合、通常のアラート(例えば、「車両が通ります」の音声)を報知してもよい。関係性とアラート態様とが対応付けられたテーブルを記憶部12が記憶しており、情報生成部26は、アラート態様を含む制御情報を生成してもよい。
 図21は、本変形例に係る、所定の関係性を有する2つの第2移動体が障害物を避ける場合の第1移動体に対する制御について説明するための図である。図21の(a)は、第1移動体M1、並びに、所定の関係性を有する2つの第2移動体A1およびC1が互いに近づくように移動しており、かつ、その間に障害物が存在する様子を示す図であり、図21の(b)は、2つの第2移動体A1およびC1が障害物を避けて通過することを優先して、第1移動体M1が停止している様子を示している。なお、図21では、2つの第2移動体A1およびC1が横2列で歩行(移動の一例)している場合を図示している。
 図21の(b)に示すように、2つの第2移動体A1およびC1のうち一の第2移動体が障害物を避ける場合、他方の第2移動体もそれに応じて障害物を避ける、つまり横2列のままの状態で障害物を避ける可能性がある。この場合、2つの第2移動体A1およびC1が第1移動体M1側に近づく(例えば、飛び出す)ことになる。
 この場合、所定の関係性を有する2つの第2移動体A1およびC1を、1つの第2移動体とみなし、当該1つの第2移動体と障害物との衝突をそれぞれの位置等に応じて予測し、予測結果に応じて第1移動体M1を車両制御してもよい。ここでの車両制御は、第1移動体M1を停止させる制御を含む。また、車両制御は、第1移動体M1を徐行させる、迂回させるなどの制御を含んでいてもよい。
 例えば、情報生成部26は、当該1つの第2移動体と障害物との衝突を予測した場合、障害物の手前で第1移動体M1を停止させることを含む制御情報を生成してもよい。このような処理は、所定の関係性を有する2以上の第2移動体に対して実行される。
 なお、図21では、所定の関係性を有する2つの第2移動体が横2列に移動する場合を例示したが、例えば、縦2列に移動する場合に第1移動体M1を停止させる制御が行われてもよい。所定の関係性を有する2つの第2移動体が障害物を通過するまで第1移動体M1を停止させるための動作は、所定動作の一例である。
 なお、本開示は、以下の内容で実現されてもよい。つまり、以下に示す処理以外は実行されなくてもよい。また、本開示は、以下の情報処理方法を実行する情報処理装置、または、以下の情報処理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。
 情報処理装置における情報処理方法であって、
 自律移動する第1移動体の周囲を撮影することで得たセンシング情報を取得し、
 前記センシング情報に基づいて、前記第1移動体の周囲に存在する第2移動体を検出し、
 前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定し、
 2以上の前記第2移動体が前記所定の関係性を有している状況であることを示す判定が行われた場合、前記所定の関係性に応じた報知を実行する
 情報処理方法。
 次に、遠隔監視制御および注視のための支援情報(例えば、アラート情報)の表示について説明する。
 上記において、「歩行者集団接近中」、「手を繋いだ親子接近中」などの文言からなるアラート表示を指示する指示情報を情報生成部26が生成する例について説明したが、本開示の情報処理方法は、所定の関係性を有する2以上の第2移動体の個別リスクを補正することなく、所定の関係性を有する2以上の第2移動体に対して、当該所定の関係性に応じたアラート表示を指示する指示情報を生成する方法として実現されてもよい。また、このような指示情報を生成する動作は、所定動作の一例である。
 次に、上記で説明した年齢の推定方法の一例について説明する。なお、年齢の推定方法は、以下に示す方法に限定されず、公知のいかなる方法が用いられてもよい。
 年齢の推定は、画像認識がベースで実行される。画像認識としては、メモリに格納された所定のプログラムをプロセッサが実行し、例えばディープラーニングによる機械学習、その他のAI技術などを用いた画像認識が例示される。
 第1の方法としては、顔認証で年齢を推定する方法が例示される。マスク、帽子、サングラスなどを身に着けていなければ、ある程度正確に年齢を推定可能である。第2の方法としては、人物認識後に身長で推定する方法が例示される。精度の高い年齢推定が必要である場合、第1の方法が採用されるとよく、子供か大人かなどの区別がある程度できればよい場合、第2の方法が採用されるとよい。第2の方法が用いられる場合、情報生成部26は、第1所定身長以下である場合を子供とみなし、第2所定身長以上である場合を大人とみなしてもよい。第1所定身長と第2所定身長とは同じ数値であってもよいし、異なる数値であってもよい。例えば、第1所定身長は120cmであり、第2所定身長は155cmであってもよい。この場合、身長が120cmより大きく、かつ、155cm未満である場合、情報生成部26は、一律に大人とみなしてもよいし、顔認証で年齢を推定してもよいし、服装で年齢を推定してもよい。
 次に、個別リスクを補正する場合の他の例について、図22を参照しながら説明する。以下では、所定の条件を満たす場合、リスク補正部25が個別リスクに対する補正をさらに行う例について説明する。
 所定の条件は、集団内にブラックリストに載っている人がいることであってもよい。ブラックリストには、第1移動体M1に対して過去に走行を妨害することなどを行った人を特定する情報が含まれており、例えば、過去に第1移動体M1に対していたずらを仕掛けた人を特定する情報が含まれる。リスク補正部25は、集団内にブラックリストに載っている人がいる場合、例えば、図10に示すテーブルT5のリスク補正値を、より個別リスクが高くなるように補正し、補正したリスク補正値を用いて個別リスクを補正してもよい。なお、ブラックリストに載っているかどうかは、例えば、顔認証により人を特定することにより行われてもよいが、これに限定されない。
 また、所定の条件は、集団内に、同じ条件(例えば、同じ位置、同じ状況など)であるが個別リスクが異なる第2移動体が存在することであってもよい。同じ位置とは、位置が所定距離以内であることを含む。同じ条件であるが個別リスクが異なる第2移動体としては、例えば、親と子供が例示される。この場合、リスク補正部25は、第1移動体M1に近い方にいる第2移動体が、個別リスクが高い方の人であるか低い方の人であるかのいずれかに応じて、個別リスクの補正の程度を異ならせてもよい。リスク補正部25は、例えば、第1移動体M1に近い方に個別リスクが高い方の人(例えば、子供)がいる場合、個別リスクの補正の程度を小さくする(つまり、個別リスクがより高くなる)補正を行い、第1移動体M1に近い方に個別リスクが低い方の人(例えば、大人)がいる場合、個別リスクの補正の程度を大きくする(つまり、個別リスクがより低くなる)補正を行ってもよい。リスク補正部25は、同じ条件であるが個別リスクが異なる第2移動体がいる場合、例えば、図10に示すテーブルT5のリスク補正値を、いずれが第1移動体M1側にいるかに応じて補正し、補正したリスク補正値を用いて個別リスクを補正してもよい。
 図22は、本変形例に係る、集団内の第2移動体と第1移動体M1との位置関係に基づくリスク補正の一例を説明するための図である。図22の(a)は、親子のうち子供が第1移動体M1側にいる場合を示しており、図22の(b)は、親子のうち親が第1移動体M1側にいる場合を示している。なお、親(第2移動体A1)は子供(第2移動体C1)より個別リスクが低いものとする。
 図22の(a)に示す場合、リスク補正部25は、親子のうち個別リスクが高い子供が第1移動体M1側にいる(子供の方が第1移動体M1に近い位置にいる)ので、個別リスクの補正の程度を小さくする。つまり、リスク補正部25は、子供の個別リスクがより高い値となるように補正する。
 また、図22の(b)に示す場合、リスク補正部25は、親子のうち個別リスクが低い親が第1移動体M1側にいる(親の方が第1移動体M1に近い位置にいる)ので、個別リスクの補正の程度を大きくする。つまり、リスク補正部25は、子供の個別リスクがより低い値となるように補正する。
 次に、上記の実施の形態では、個別リスク値を算出し、2以上の第2移動体が所定の関係性を有している状況である場合、2以上の第2移動体それぞれに対して算出された個別リスクを補正する例について説明したが、個別リスクの算出および個別リスクの補正は行われなくてもよい。例えば、本開示の一態様に係る情報処理装置における情報処理方法は、自律移動する第1移動体M1の周囲を撮影することで得たセンシング情報を取得し、センシング情報に基づいて、第1移動体M1の周囲に存在する第2移動体を検出し、第1移動体M1の周囲に存在する第2移動体が2以上検出された場合、センシング情報に基づいて、2以上の第2移動体が所定の関係性を有している状況であるか否かを判定し、2以上の第2移動体が所定の関係性を有している状況であることを示す判定が行われた場合、2以上の第2移動体が第1移動体M1と接触することを回避するための所定動作を実行することを含んでいればよい。所定動作は、端末D1に表示されるアラート表示の表示態様を異ならせるための動作であってもよいし、第1移動体M1からの集団に対する発話を異ならせることであってもよいし、所定の関係性を有する2つの第2移動体が障害物を通過するまで第1移動体M1を停止させることであってもよい。また、所定動作は、2以上の第2移動体それぞれが第1移動体M1と接触する危険可能性を示す個別リスクを算出し、2以上の第2移動体それぞれに対して算出された個別リスクを補正すること、さらには補正された個別リスクに関する情報を第1移動体M1および遠隔監視者の端末の少なくとも一方に通知することであってもよい。この場合、補正された個別リスクに関する情報は、例えば、制御情報および通知情報の少なくとも一方を含む。
 (付記)
 本開示における集団とは、所定の関係性を有する第2移動体同士の集合を指す。例えば、大人が子供を注視している場合、歩行者がリードで繋がれた犬と歩行している場合、子供が自転車に乗って同じ方向に移動している場合などには、互いに所定の関係性を有し集団に属していると判定できる。一方、第2移動体同士がすれ違っている場合、第2移動体同士の間の距離が大きい場合、大人と子供が近い位置に存在しているが互いに視線を向けていない場合などは、第2移動体同士は所定の関係性を有さないと判定し集団に属していないと見なす。
 また、本開示におけるリスクとは、上述したように、第2移動体が車両などの第1移動体M1に衝突する可能性の高さを示すものである。このようなリスクは、例えば、数値化した値で表され、リスクの値が大きいほどその危険性が高いと判断され得る。個別リスクの大きさは、車両である第1移動体M1と歩行者等の第2移動体との間の距離、第1移動体M1の速度および進行方向、第2移動体の速度および進行方向、第1移動体M1と第2移動体との間の障害物の有無、などの物理的な条件を考慮して算出される。また、個別リスクの大きさは、上述した物理的な条件の他、第2移動体の年齢、性別、服装など第2移動体の属性も考慮して算出される。例えば、全く同じ物理的条件下においても、第2移動体が大人の歩行者である場合と、自転車に乗った子供である場合とでは、後者の個別リスクの方が大きく算出される。
 また、以上の実施の形態の記載により、下記の技術が開示される。
 (技術1)情報処理装置における情報処理方法であって、自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得し、前記センシング情報に基づいて、前記第1移動体の周囲に存在する第2移動体を検出し、前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定し、2以上の前記第2移動体が前記所定の関係性を有している状況である場合、2以上の前記第2移動体が前記第1移動体と接触することを回避するための所定動作を実行する、情報処理方法。
 このように、センシング情報などに基づき、2以上の第2移動体が所定の関係性を有しているかを判定し、2以上の第2移動体が第1移動体と接触することを回避するための所定動作を実行することができる。第1移動体に対して不必要な動作が実行されないように所定動作が実行されることで、第1移動体に対して必要十分な制御を行うことができる情報処理方法を実現することができる。
 (技術2)前記第1移動体の第1位置と、2以上の前記第2移動体それぞれの第2位置とに基づいて、2以上の前記第2移動体それぞれが前記第1移動体と接触する危険可能性を示す個別リスクを算出し、2以上の前記第2移動体が前記所定の関係性を有している状況である場合、前記所定動作として、2以上の前記第2移動体それぞれに対して算出された前記個別リスクを補正し、補正された前記個別リスクに関する情報を、前記第1移動体、および、前記第1移動体を遠隔で監視もしくは操作する遠隔監視者の端末の少なくとも一方に通知する、技術1に記載の情報処理方法。
 これにより、2以上の第2移動体それぞれに対して算出された個別リスクを補正することができる。よって、第2移動体に対して、より正確なリスク評価を得ることができるので、第1移動体に対して必要十分な制御を行うことができる。また、例えば、第1移動体M1の遠隔監視者の介入回数または遠隔操作回数を抑制でき、遠隔監視者への負荷を軽減できる。
 (技術3)前記第1移動体の移動状態に関する状態情報を取得し、2以上の前記第2移動体が前記所定の関係性を有している状況である場合、検出された2以上の前記第2移動体それぞれの前記第2位置および属性を特定し、前記状態情報と、特定された2以上の前記第2移動体それぞれの前記第2位置とに基づいて、2以上の前記第2移動体それぞれの前記個別リスクを算出し、特定された2以上の前記第2移動体それぞれの前記第2位置および前記属性に基づいて、2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する、技術2に記載の情報処理方法。
 これにより、状態情報および属性を用いるので、個別リスクの算出および2以上の第2移動体が所定の関係性を有している状況であるか否かの判定を、より正確に行うことができる。
 (技術4)補正された前記個別リスクに関する前記情報は、前記第1移動体を制御する制御情報、および、前記遠隔監視者への通知を行う通知情報の少なくとも一方を含み、生成された前記制御情報および前記通知情報の少なくとも一方を出力する、技術2に記載の情報処理方法。
 これにより、第1移動体または遠隔監視者への通知が行われるので、第1移動体に対して必要十分な制御を行わせることができる。
 (技術5)前記センシング情報は、前記第1移動体の周囲を撮影した画像情報を1以上含む映像情報である、技術1~4のいずれかに記載の情報処理方法。
 これにより、映像情報を用いて、2以上の第2移動体の検出、2以上の第2移動体の検出それぞれの位置および属性の特定を容易に行える。また、映像情報を用いることで、2以上の第2移動体が所定の関係性を有するかの状況も容易に判定できる。
 (技術6)前記状態情報は、前記第1移動体の移動速度、移動方向および移動状態を含む、技術3に記載の情報処理方法。
 これにより、状態情報に含まれる第1移動体の移動速度、移動方向および移動状態を用いることができるので、より正確に個別リスクを算出できる。
 (技術7)前記個別リスクを補正する際、2以上の前記第2移動体それぞれの個別リスクが異なる場合において、2以上の前記第2移動体それぞれの種類および属性の少なくとも一方に基づいて、前記個別リスクが高い第2移動体の当該個別リスクを減少させるように補正する、技術3に記載の情報処理方法。
 これにより、第2移動体それぞれの種類および属性の少なくとも一方に基づいて個別リスクを減少させるように補正が行われるので、より正確な個別リスクを算出できる。
 (技術8)前記個別リスクを補正する際、第2移動体の種類、属性および補正値を含むテーブルを用いて、2以上の前記第2移動体それぞれに対して算出された前記個別リスクを補正する、技術2~技術4、技術6、技術7のいずれかに記載の情報処理方法。
 これにより、テーブルを用いて個別リスクを算出できるので、より容易に、かつ、少ない計算負荷で個別リスクを算出できる。
 (技術9)前記個別リスクを補正する際、検出された2以上の前記第2移動体が、所定年齢以上の人一人と前記所定年齢より小さい子供一人とからなる2つの前記第2移動体である場合、前記テーブルに基づき、2つの前記第2移動体のうち前記子供一人である第2移動体に対して算出された前記個別リスクを減少させるように補正する、技術8に記載の情報処理方法。
 このように、所定年齢以上の人一人と所定年齢より小さい子供一人とからなる2つの第2移動体に対して算出された個別リスクを、所定の関係性を有していることを考慮して補正することができる。これにより、所定年齢以上の人一人と所定年齢より小さい子供一人とからなる2つの第2移動体に対して、より正確なリスク評価を得ることができる。
 (技術10)前記個別リスクを補正する際、検出された2以上の前記第2移動体のそれぞれが、所定年齢より小さい子供である場合、前記テーブルに基づき、2以上の前記第2移動体のそれぞれに対して算出された前記個別リスクを増加させるように補正する、技術8に記載の情報処理方法。
 このように、所定年齢より小さい子供からなる2つの第2移動体に対して算出された個別リスクを、所定の関係性を有していることを考慮して補正することができる。これにより、所定年齢より小さい子供からなる2つの第2移動体に対して、より正確なリスク評価を得ることができる。
 (技術11)前記個別リスクを補正する際、検出された2以上の前記第2移動体が、大人一人と、所定年齢より小さい2以上の子供とからなる場合、前記テーブルに基づき、2以上の前記第2移動体のうち、前記2以上の子供である2以上の第2移動体それぞれに対して算出された前記個別リスクを減少させるように補正する、技術8に記載の情報処理方法。
 このように、大人一人と、所定年齢より小さい2以上の子供とからなる2以上の第2移動体に対して算出された個別リスクを、所定の関係性を有していることを考慮して補正することができる。これにより、大人一人と、所定年齢より小さい2以上の子供とからなる2以上の第2移動体に対して、より正確なリスク評価を得ることができる。
 (技術12)2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する際、2以上の前記第2移動体の間における距離、視線、物理的接続、所有物、動き、年齢、音声のうちの少なくとも一つの集団判定情報に基づき、2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する、技術1~技術11のいずれかに記載の情報処理方法。
 このように、2以上の第2移動体の間における距離、視線、物理的接続、所有物、動き、年齢、音声のうちの少なくとも一つを集団判定情報として用いることで、2以上の第2移動体が所定の関係性を有しているかを容易に判定できる。
 (技術13)前記制御情報および前記通知情報の少なくとも一方を生成する際、補正された前記個別リスクの値に応じて、一時停止させる制御、回避動作させる制御、注意喚起のための発話をさせる制御、点灯させる制御のうち、少なくとも1つの制御を、前記第1移動体に行わせるための情報を、前記制御情報として生成する、技術4に記載の情報処理方法。
 このように、一時停止させる制御、回避動作させる制御、注意喚起のための発話をさせる制御、点灯させる制御のうち、少なくとも1つの制御を、第1移動体の制御情報として生成することで、補正された個別リスクの値に応じて、負荷もなく容易に第1移動体の制御情報を生成することができる。
 (技術14)前記制御情報および前記通知情報の少なくとも一方を生成する際、補正された前記個別リスクの値に応じて、前記遠隔監視者に前記第1移動体の注視または前記第1移動体の操作を促すアラートを示すアラート情報を、前記通知情報として生成する、技術4に記載の情報処理方法。
 このように、遠隔監視者に第1移動体の注視または第1移動体の操作を促すアラートを示すアラート情報を、通知情報として生成することで、補正された個別リスクの値に応じて、負荷もなく容易に通知情報を生成することができる。
 (技術15)前記通知情報には、前記アラートを示すアラート表示のサイズ、前記アラート表示の色、前記アラート表示の点滅の有無、前記アラートを通知する通知音の大きさ、前記通知音の高さのうち少なくとも1つを示す情報が含まれる、技術14に記載の情報処理方法。
 これにより、通知情報として多様な通知を行うことができる。
 (他の実施の形態等)
 以上、一つまたは複数の態様に係る情報処理方法等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態、変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態、変形例に施したものも、本開示の範囲内に含まれてもよい。
 なお、上述した実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 なお、以下のような場合も本開示に含まれる。
 (1)上記の少なくとも1つの装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 (2)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 (3)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 (4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
 また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
 また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 本開示は、遠隔監視者が被操作対象の第1移動体を監視または遠隔操作するための制御情報を出力する方法等に利用可能である。
 10 情報処理装置
 11 通信部
 12 記憶部
 20 処理部
 21 第2移動体検出部
 22 第2移動体位置特定部
 23 個別リスク算出部
 24 集団関係判定部
 25 リスク補正部(実行部)
 26 情報生成部
 27 出力部
 A1、A2、C1、C2、C3、C4、C5 第2移動体
 D1 端末
 D11、M11 通信装置
 D12 入力装置
 D13 出力装置
 M1 第1移動体
 M12 センシング装置
 M13 状態情報取得装置
 M14 制御装置
 M15 駆動装置
 N ネットワーク
 R1、R1a、R1b、R2a、R2b、R3a、R3b、R4a、R4b、R5a、R5b 領域
 T1、T2、T3、T4、T5、T6 テーブル

Claims (17)

  1.  情報処理装置における情報処理方法であって、
     自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得し、
     前記センシング情報に基づいて、前記第1移動体の周囲に存在する第2移動体を検出し、
     前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定し、
     2以上の前記第2移動体が前記所定の関係性を有している状況である場合、2以上の前記第2移動体が前記第1移動体と接触することを回避するための所定動作を実行する
     情報処理方法。
  2.  前記第1移動体の第1位置と、2以上の前記第2移動体それぞれの第2位置とに基づいて、2以上の前記第2移動体それぞれが前記第1移動体と接触する危険可能性を示す個別リスクを算出し、
     2以上の前記第2移動体が前記所定の関係性を有している状況である場合、前記所定動作として、
     2以上の前記第2移動体それぞれに対して算出された前記個別リスクを補正し、
     補正された前記個別リスクに関する情報を、前記第1移動体、および、前記第1移動体を遠隔で監視もしくは操作する遠隔監視者の端末の少なくとも一方に通知する
     請求項1に記載の情報処理方法。
  3.  前記第1移動体の移動状態に関する状態情報を取得し、
     2以上の前記第2移動体が前記所定の関係性を有している状況である場合、
     検出された2以上の前記第2移動体それぞれの前記第2位置および属性を特定し、
     前記状態情報と、特定された2以上の前記第2移動体それぞれの前記第2位置とに基づいて、2以上の前記第2移動体それぞれの前記個別リスクを算出し、
     特定された2以上の前記第2移動体それぞれの前記第2位置および前記属性に基づいて、2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する
     請求項2に記載の情報処理方法。
  4.  補正された前記個別リスクに関する前記情報は、前記第1移動体を制御する制御情報、および、前記遠隔監視者への通知を行う通知情報の少なくとも一方を含み、
     生成された前記制御情報および前記通知情報の少なくとも一方を出力する、
     請求項2に記載の情報処理方法。
  5.  前記センシング情報は、前記第1移動体の周囲を撮影した画像情報を1以上含む映像情報である、
     請求項1~4のいずれか1項に記載の情報処理方法。
  6.  前記状態情報は、前記第1移動体の移動速度、移動方向および移動状態を含む、
     請求項3に記載の情報処理方法。
  7.  前記個別リスクを補正する際、
     2以上の前記第2移動体それぞれの個別リスクが異なる場合において、2以上の前記第2移動体それぞれの種類および属性の少なくとも一方に基づいて、前記個別リスクが高い第2移動体の当該個別リスクを減少させるように補正する
     請求項3に記載の情報処理方法。
  8.  前記個別リスクを補正する際、
     第2移動体の種類、属性および補正値を含むテーブルを用いて、2以上の前記第2移動体それぞれに対して算出された前記個別リスクを補正する、
     請求項2~4のいずれか1項に記載の情報処理方法。
  9.  前記個別リスクを補正する際、
     検出された2以上の前記第2移動体が、所定年齢以上の人一人と前記所定年齢より小さい子供一人とからなる2つの第2移動体である場合、前記テーブルに基づき、2つの前記第2移動体のうち前記子供一人である第2移動体に対して算出された前記個別リスクを減少させるように補正する、
     請求項8に記載の情報処理方法。
  10.  前記個別リスクを補正する際、
     検出された2以上の前記第2移動体のそれぞれが、所定年齢より小さい子供である場合、前記テーブルに基づき、2以上の前記第2移動体のそれぞれに対して算出された前記個別リスクを増加させるように補正する、
     請求項8に記載の情報処理方法。
  11.  前記個別リスクを補正する際、
     検出された2以上の前記第2移動体が、大人一人と、所定年齢より小さい2以上の子供とからなる場合、前記テーブルに基づき、2以上の前記第2移動体のうち、前記2以上の子供である2以上の前記第2移動体それぞれに対して算出された前記個別リスクを減少させるように補正する、
     請求項8に記載の情報処理方法。
  12.  2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する際、
     2以上の前記第2移動体の間における距離、視線、物理的接続、所有物、動き、年齢、音声のうちの少なくとも一つの集団判定情報に基づき、2以上の前記第2移動体が前記所定の関係性を有している状況であるか否かを判定する、
     請求項1~4のいずれか1項に記載の情報処理方法。
  13.  前記制御情報および前記通知情報の少なくとも一方を生成する際、
     補正された前記個別リスクの値に応じて、一時停止させる制御、回避動作させる制御、注意喚起のための発話をさせる制御、点灯させる制御のうち、少なくとも1つの制御を前記第1移動体に行わせるための情報を、前記制御情報として生成する、
     請求項4に記載の情報処理方法。
  14.  前記制御情報および前記通知情報の少なくとも一方を生成する際、
     補正された前記個別リスクの値に応じて、前記遠隔監視者に前記第1移動体の注視または前記第1移動体の操作を促すアラートを示すアラート情報を、前記通知情報として生成する、
     請求項4に記載の情報処理方法。
  15.  前記通知情報には、
     前記アラートを示すアラート表示のサイズ、前記アラート表示の色、前記アラート表示の点滅の有無、前記アラートを通知する通知音の大きさ、前記通知音の高さのうち少なくとも1つを示す情報が含まれる、
     請求項14に記載の情報処理方法。
  16.  自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得する取得部と、
     前記センシング情報に基づいて、前記第1移動体の周囲に存在する2以上の第2移動体を検出する検出部と、
     前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定する集団関係判定部と、
     2以上の前記第2移動体が前記所定の関係性を有している状況である場合、2以上の前記第2移動体が前記第1移動体と接触することを回避するための所定動作を実行する実行部とを備える、
     情報処理装置。
  17.  自律移動する第1移動体の周囲をセンシングすることで得たセンシング情報を取得し、
     前記センシング情報に基づいて、前記第1移動体の周囲に存在する第2移動体を検出し、
     前記第1移動体の周囲に存在する前記第2移動体が2以上検出された場合、前記センシング情報に基づいて、2以上の前記第2移動体が所定の関係性を有している状況であるか否かを判定し、
     2以上の前記第2移動体が前記所定の関係性を有している状況である場合、2以上の前記第2移動体が前記第1移動体と接触することを回避するための所定動作を実行することを、
     コンピュータに実行させるためのプログラム。
PCT/JP2023/029464 2022-09-05 2023-08-14 情報処理方法、情報処理装置、およびプログラム WO2024053344A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-141087 2022-09-05
JP2022141087 2022-09-05

Publications (1)

Publication Number Publication Date
WO2024053344A1 true WO2024053344A1 (ja) 2024-03-14

Family

ID=90190986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029464 WO2024053344A1 (ja) 2022-09-05 2023-08-14 情報処理方法、情報処理装置、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024053344A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
WO2020255751A1 (ja) * 2019-06-18 2020-12-24 株式会社日立製作所 自動運転システム
JP2022016962A (ja) * 2020-07-13 2022-01-25 株式会社Jvcケンウッド 画像認識装置、画像認識方法、及び画像認識プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
WO2020255751A1 (ja) * 2019-06-18 2020-12-24 株式会社日立製作所 自動運転システム
JP2022016962A (ja) * 2020-07-13 2022-01-25 株式会社Jvcケンウッド 画像認識装置、画像認識方法、及び画像認識プログラム

Similar Documents

Publication Publication Date Title
US10217343B2 (en) Alert generation correlating between head mounted imaging data and external device
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7155122B2 (ja) 車両制御装置及び車両制御方法
US20200192360A1 (en) Method and system for driving mode switching based on self-aware capability parameters in hybrid driving
US20210114613A1 (en) Alert control apparatus and alert control method
EP3729401B1 (en) Method and system for driving mode switching based on driver's state in hybrid driving
US20220055537A1 (en) Method and system for adapting augmented switching warning
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
KR20210088565A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US10152884B2 (en) Selective actions in a vehicle based on detected ambient hazard noises
WO2020213280A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP2020091790A (ja) 自動運転システム
WO2020250725A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US20200385025A1 (en) Information processing apparatus, mobile apparatus, information processing method, and program
KR20200133858A (ko) 자율 주행 장치 및 방법
CN113799785A (zh) 用于驾驶员和乘客的车载声学监控系统
US20220242452A1 (en) Vehicle occupant monitoring
WO2019122967A1 (en) Method and system for risk based driving mode switching in hybrid driving
WO2024053344A1 (ja) 情報処理方法、情報処理装置、およびプログラム
US20210291870A1 (en) Testing situational awareness of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
JP7230717B2 (ja) 車両用通知制御装置及び車両用通知制御方法
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23862884

Country of ref document: EP

Kind code of ref document: A1