WO2023053487A1 - 置き去り通知装置、置き去り通知方法および置き去り通知プログラム - Google Patents

置き去り通知装置、置き去り通知方法および置き去り通知プログラム Download PDF

Info

Publication number
WO2023053487A1
WO2023053487A1 PCT/JP2022/007779 JP2022007779W WO2023053487A1 WO 2023053487 A1 WO2023053487 A1 WO 2023053487A1 JP 2022007779 W JP2022007779 W JP 2022007779W WO 2023053487 A1 WO2023053487 A1 WO 2023053487A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
space
person
notification
information
Prior art date
Application number
PCT/JP2022/007779
Other languages
English (en)
French (fr)
Inventor
英史 大場
ウラディミール ズロコリッツァ
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023053487A1 publication Critical patent/WO2023053487A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present disclosure relates to an abandonment notification device, an abandonment notification method, and an abandonment notification program that detect a child or pet left behind in a car and notify the detection results.
  • a sensor that detects a person present in the vehicle is provided, and based on the sensor signal, the person is detected to be left behind in the vehicle, and the vehicle is controlled to respond to the person being left behind according to the detected position.
  • Techniques for determining are known.
  • the present disclosure proposes an abandoned object notification device, an abandoned object notification method, and an abandoned object notification program that are capable of detecting an abandoned object and appropriately notifying about its handling.
  • an abandoned notification device notifies a first person present in a given space of detected information when a living body present in the predetermined space is detected.
  • an acquisition unit that acquires the state of the living body and environment information of the space; and risk information calculated based on the information acquired by the acquisition unit when the living body continues to stay in the space. is displayed on a display device installed in the space or a terminal device used by the first person when the first person leaves the space.
  • FIG. 1 is a cross-sectional view of a vehicle according to an embodiment; FIG. It is a figure which shows the display part with which the vehicle which concerns on embodiment is equipped.
  • 4 is a flowchart (1) showing the flow of processing according to the embodiment; 10 is a flowchart (2) showing the flow of processing according to the embodiment; 3 is a flowchart (3) showing the flow of processing according to the embodiment;
  • 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment;
  • FIG. 1 is a block diagram showing a configuration example of an information processing system according to an embodiment;
  • FIG. It is a figure which shows an example of the communication process in the information processing system which concerns on embodiment.
  • FIG. 4 is a flowchart (1) showing the flow of processing of the information processing system according to the embodiment; 7 is a flowchart (2) showing the flow of processing of the information processing system according to the embodiment; It is a figure which shows the structural example of the vehicle which concerns on embodiment. It is a figure which shows an example of the user information storage part which concerns on embodiment. It is a figure which shows an example of the risk-management memory
  • FIG. 11 is a diagram (1) for explaining display control processing according to the embodiment; FIG.
  • FIG. 7B is a diagram (2) for explaining display control processing according to the embodiment
  • FIG. 13 is a diagram (3) for explaining display control processing according to the embodiment
  • 1 is a block diagram showing a schematic functional configuration example of a vehicle control system to which the present technology can be applied
  • FIG. 4 is a diagram illustrating an example of a sensing area by a vehicle control system to which the present technology can be applied
  • FIG. 2 is a hardware configuration diagram showing an example of a computer that implements the functions of the abandoned object notification device according to the present disclosure
  • Embodiment 1-1 Premises for information processing according to the present disclosure 1-2. Outline of information processing according to embodiment 1-3.
  • Information processing procedure according to the embodiment 1-4 Configuration example of information processing system according to embodiment 1-5.
  • Configuration example of vehicle according to embodiment 1-6 Configuration example of vehicle according to embodiment 1-6.
  • Others 3. Effects of the abandoned notification device according to the present disclosure; Hardware configuration
  • the information processing according to the embodiment of the present disclosure detects and notifies of the danger of a living body, such as an infant, that is difficult to notify of danger by itself and is left behind in a predetermined closed space.
  • the information processing related to this disclosure captures the function to prevent heat stroke accidents that occur when children are left behind from the viewpoint of risk judgment for vehicle users, and visualizes risks in stages based on past user records. This is to prevent serious accidents by notifying
  • the information processing according to this disclosure focuses on a set of notification functions rather than the performance of the detection device itself. This is due to the following reasons.
  • Abandonment accidents can be broadly classified into three types. The first is an accident that occurs when a child gets into the car for play and is trapped because he or she does not know how to open the door, without the parents ever noticing. Second, the child is left in the car for a long time because the driver gets out of the car while he is busy with his thoughts or other work, leaving the child in the car and immersing himself in work. This is an accident caused by The third is an accident caused by a parent intentionally leaving a child in the vehicle and leaving the vehicle to complete a temporary short-term requirement while the vehicle is being stopped while running errands.
  • the parent intended to leave the car for a short time with the intention of quickly shopping or picking up the ordered item at the roadside store, but the errands, etc. were prolonged, resulting in a long time. Children will be left in the car for a long time. During that time, the temperature in the vehicle interior rises rapidly, and the infant left behind in the vehicle suffers symptoms such as heat stroke, resulting in a serious accident.
  • parents find it difficult to complete shopping and errands such as "quick" stops at the store, such as parking in front of a street store and easily picking up items. In this way, there are many cases in which parents intentionally leave their infants in the vehicle and temporarily leave the vehicle. As a result, there is a risk that effective and continuous preventive effects cannot always be expected for abandoned accidents.
  • the information processing of the present disclosure can intuitively and hierarchically capture the risk of parents leaving their children in the vehicle. and how it can be dealt with from an ergonomic point of view. That is, the information processing of the present disclosure constitutes a series of mechanisms for parents to make action decisions when selecting risks and for parents to correctly grasp risks.
  • the information processing of the present disclosure includes well-known means for acting on parents' behavioral judgments to prevent accidents caused by intentionally or unintentionally leaving children behind under various circumstances.
  • the information processing of the present disclosure is not simply an escalation of an alarm based on the elapsed time of leaving the vehicle or an escalation based on the distance away from the vehicle, but rather the risk caused by the user leaving the infant in the vehicle depending on the situation.
  • HMI Human Machine Interface
  • working memory working memory
  • Working Memory a recording area that is used for limited action judgments.
  • risk countermeasures can appropriate risk countermeasures be taken?
  • Humans have a limited working memory capacity, and they recall memories by weighting them according to the degree of risk, such as danger. There is a risk of being trapped. In other words, even if a person needs to deal with it in the middle, if the importance (sense of risk) perceived by the person is weak, the working memory may not be strongly awakened, or the attention and awareness of the task may be slightly restored. Even if you receive a stimulus, you will not be able to recall the memory that the information is a risk.
  • the parent when it comes to making a choice after clearly showing the materials that can be used to judge how much actual risk it is for the user to leave the infant in the car and give priority to picking up the luggage, the parent For example, the decision to leave the vehicle with the infant may be made rather than leaving the infant alone. For example, the parent can avoid the risk by having a store clerk or the like take care of the infant temporarily, transfer the luggage to the vehicle first, and then pick up the infant once entrusted.
  • Accident prevention measures based on information processing according to the present disclosure do not simply detect that an infant remains in the vehicle and sound an alarm. etc., and notify the detected information to the driver. Furthermore, the information processing according to the present disclosure notifies the user if there is a possibility that the infant will remain in the vehicle, further confirms that the user is aware of the notification, and later confirms whether or not the infant has actually exited the vehicle. judge. Then, the information processing according to the present disclosure notifies the driver of the risk in stages after that, and if it is likely that the necessary countermeasures will be delayed, such as automatically unlocking the door and making an emergency call to a third party. It incorporates a phased relief plan for
  • the remedy when the user takes appropriate recovery measures is not the purpose of the implementation itself, but the effect of the implementation impact of this notification mechanism
  • a notification such as a horn sounds to people and attracts attention.
  • Other risks include the risk of being reprimanded later by family members and relatives, the risk of not being entrusted with appropriate protection when a child gets into a vehicle by a family who feels danger, and the door openings to avoid accidents where the child is left behind.
  • step-by-step countermeasures are automatically taken by the system, such as the risk of a suspicious third party approaching the child when the lock is unlocked, and the risk of criminal punishment such as protection liability if an SOS is sent to the emergency authorities. There are risks that will materialize.
  • the conventional infant abandonment accident prevention function is a function that detects the presence or absence of infants in the vehicle and simply informs the driver.
  • the countermeasures required by those who have children left behind did not necessarily match the actual situation.
  • a driver leaves an infant in the vehicle and leaves the vehicle Of course, the best measure is not to leave the infant in the vehicle, but there are many cases where just giving a notice is not enough. The reason for this is that users who intentionally leave infants in the vehicle do not see any difference in how they perceive the risk of being notified.
  • the processing described below is executed step by step.
  • a child As a premise, there are two main types of accidents in which a child is left behind, one is when the parent does not recognize the presence of the child, and the other is when the parent intentionally leaves the child in the vehicle. affects how it is judged. Parents do not intuitively understand that leaving an infant in the car is an explicit risk, so they make an easy decision, and as a result, there are many cases that lead to a tragic accident.
  • the information processing according to the present disclosure includes (1-1) detecting whether or not an infant is brought into the vehicle interior, and (1-2) even if the parent does not intend to, the child is left unattended as an extension of play. When it detects someone sneaking into a car or secretly getting into it, it notifies the driver of the detection result to tell tale or a smartphone app. (2) After that, the continuous stay of the infant in the vehicle is observed, and a reminder that the infant is in the vehicle is sent. (3) When parents get off the car, it is checked whether the infant will be taken out, and if the child gets off without getting off the child, a warning is issued. (4) Check whether or not the vehicle has been left behind when getting off the vehicle.
  • the notification of the warning forecast, the number of infant deaths at that time of year, the estimated graph of the temperature rise in the vehicle interior, An explicit mark or the like of the arrival time of the dangerous situation may be displayed. Furthermore, based on the past history, the user who tends to forget to leave the device may be re-notified of the risk that occurred in the past. In addition, (5) if the person forgets to leave the person behind, a call is made to the phone number registered for emergency preliminary notification (family member, police, or fire department). (6) Automatically release the vehicle door lock (release the lock sentinel) according to the timer.
  • the information processing according to the present disclosure hierarchically provides parents and drivers with information for risk judgment by following a series of step-by-step processing as described above.
  • Conventional measures against infants left behind are based on detecting that an infant is left in the vehicle and simply notifying them in some way. Even if it is done mechanically without the intervention of the user, it does not provide the stimulus for the user to influence risk-weighted decisions.
  • the information processing according to the present disclosure intermittently provides visual, auditory, and haptic multi-level stimuli according to different levels of the situation, so that the memory effect on risk continues to work, even if the vehicle leaving the infant in the vehicle, a sense of risk arises from different aspects of the risks posed to the infant left in the vehicle, which has the effect of evoking memories.
  • a person's memory is finite, and in order not to forget the scheduled errands, etc., while paying the utmost attention to the matters within the scope of the action, it is necessary to have many memories related to the errands. Minutes, it works hard to forget.
  • the information processing according to the present disclosure is thus expected to act as an important mechanism for car users to keep in mind the need for an early recovery, and to prevent children from being left unreasonably in the car for long periods of time.
  • FIG. 1 In the information processing according to the embodiment of the present disclosure, when a living body, such as an infant, is left behind in a predetermined closed space for which it is difficult to notify the body of danger by itself, such a living body is detected, and then the danger is detected step by step. shall be notified to
  • a vehicle 100 which is an automobile, is an example of a predetermined closed space
  • a driver 10 is an example of a subject that leaves a living body such as an infant in the vehicle 100
  • an infant 20 is an example of a living body that is left behind in the vehicle 100.
  • FIG. 1 is a cross-sectional view of vehicle 100 according to the embodiment.
  • the driver 10 is the parent or guardian of the infant 20.
  • the infant 20 is a child protected by the driver 10 and is too young to call for help or unlock the door by himself/herself.
  • the vehicle 100 is an example of an abandoned vehicle notification device according to the present disclosure, and executes information processing (abandoned vehicle notification processing) according to the embodiment by operating various functional units described later. As shown in FIG. 1 , vehicle 100 includes camera 201 and camera 202 .
  • the cameras 201 and 202 are, for example, depth sensor cameras equipped with ToF (Time of Flight) sensors. It is possible to detect a living body without blind spots inside the camera 100.
  • the cameras 201 and 202 may have various functions such as detection of biological signals using millimeter waves, etc.
  • the cameras 201 and 202 are It is also possible to detect the infant 20 in the range of the footwell 203 where the infant 20 tends to be hidden. It is not necessary to provide a sense of security by allowing the driver 10 to directly see an image of an infant sitting in the back seat while the vehicle is running, or sitting quietly awake, or the driver 10 being able to see the image directly.
  • a camera display function for convenience may be incorporated for operation.
  • the vehicle 100 periodically detects the condition of the infant 20 while driving and notifies the driver 10 of the detected information.
  • the vehicle 100 may display the state of the infant 20 photographed by the camera 201 or the camera 202 on the front panel, or may notify the state by voice.
  • the driver 10 is always conscious of the presence of the infant 20 in the vehicle 100 and whether the infant 20 is asleep or awake, thereby preventing the driver from forgetting the existence of the infant 20 carelessly. can do.
  • the driver 10 can grasp that the infant 20 that he/she did not intentionally put in the vehicle 100 is present. For example, even if an infant 20 enters the vehicle 100 for play or hides in the vehicle 100 without telling the driver 10, the driver 10 can grasp the situation.
  • the vehicle 100 is equipped with sensors for detecting temperature and humidity inside and outside the vehicle, future weather trends, predictions of temperature rise inside the vehicle, etc., and can acquire various environmental information. is. Such environmental information is used for detection and notification processing, etc., which will be described later.
  • FIG. 2 is a diagram showing the display unit 145 included in the vehicle 100 according to the embodiment.
  • the display unit 145 is a display provided on the front panel or the like of the vehicle 100, and displays various information.
  • the vehicle 100 displays the risk notification graph 204 based on the acquired environmental information when the driver 10 tries to leave the infant 20 behind in the vehicle when the driver 10 gets off.
  • the risk notification graph 204 is an example of risk information that the vehicle 100 provides to the driver 10. For example, risk notification graph 204 displays the risk of infant 20 being left behind in vehicle 100 over time since driver 10 left vehicle 100 .
  • the risk notification graph 204 includes a first range 205 in which the temperature rise inside the vehicle 100 is within 10°C, a second range 206 in which the temperature rise is within 20°C, and It includes a third range 207 indicating the estimated time to come back and a third range 208 where the temperature rise exceeds 30°C.
  • the vehicle 100 determines that the driver 10 is about to get off, such as when the vehicle is parked, it calculates the time until the driver 10 leaves the vehicle and returns based on the destination registered in the navigation system. In addition, vehicle 100 estimates how the temperature inside vehicle 100 rises over time based on the temperature inside the vehicle, the external environment, and the like. Then, vehicle 100 collectively displays this information as risk notification graph 204 . Thus, the vehicle 100 allows the driver 10 to grasp at a glance information about how much risk there is if the infant 20 is left behind in the vehicle 100 .
  • the vehicle 100 may transmit the risk notification graph 204 to a terminal device such as a smart phone used by the driver 10 and display the risk notification graph 204 on the terminal device.
  • the risk notification graph 204 also functions as a countdown timer until the driver 10 returns to the vehicle 100. For example, in the risk notification graph 204, as time elapses, the range displaying the first range 205 disappears, and the second range 206 and the third range 208 having dark colors gradually increase in proportion. To go. As a result, the driver 10 who has confirmed the risk notification graph 204 on the terminal device or the like is motivated to return to the vehicle 100 as soon as possible. It should be noted that it is not always necessary to keep displaying these risk information on the screen screen of a terminal device such as a smart phone used by the driver 10 with higher priority just because there is a risk.
  • the notification by the application may be forcibly stopped. Therefore, for example, when the screen is locked for security, the application displays a form that temporarily calls attention until the driver 10 performs a security release operation. The display may be performed in a manner that does not make the user feel annoyed.
  • the vehicle 100 always makes the driver 10 aware of the presence of the infant 20 before getting off the vehicle, and displays risk information in case the infant 20 is left behind, thereby making the driver 10 aware of the risk. Furthermore, the vehicle 100 prevents the occurrence of an abandonment accident by performing various processes step by step after the driver 10 gets off the vehicle. The flow of information processing executed by the vehicle 100 will be described below with reference to FIGS. 3 to 5. FIG.
  • FIG. 3 is a flowchart (1) showing the flow of processing according to the embodiment.
  • the vehicle 100 detects a living body (for example, an infant 20, etc.) other than the driver 10 (step S101). Specifically, the vehicle 100 performs various detection processes, such as detection using depth cameras such as the cameras 201 and 202, millimeter wave radar, and detection using RF (radio frequency) waves. In addition, the vehicle 100 may perform posture detection processing (signal detection or the like for grasping posture) in order to determine what posture the infant 20 is in (sleeping or awake). At this time, the vehicle 100 may attempt more accurate state detection in order to accurately determine whether the physical condition of the infant 20 has deteriorated or the like. For example, vehicle 100 may operate sensors at a higher operating frequency, such as increasing the sampling rate of video.
  • various detection processes such as detection using depth cameras such as the cameras 201 and 202, millimeter wave radar, and detection using RF (radio frequency) waves.
  • the vehicle 100 may perform posture detection processing (signal detection or the like for grasping posture) in order to determine what posture the infant 20 is in (sleeping or
  • the vehicle 100 can dynamically change the normal operation such as presence/absence confirmation and the detection of more detailed biological information such as a pulse wave. and can be suppressed.
  • the vehicle 100 raises the sampling rate in a specific period to evaluate a living body, evaluates physical behavior such as respiratory cycle and pulse wave, and dynamically changes the sensitivity of the sensor according to the result.
  • vehicle 100 may determine the state change based on the change in detection difference at time intervals T of several minutes.
  • the detector is placed in the space where the child seat is located near the center of the vehicle roof as shown in FIG. 202, which is different from the camera 201 suitable for driver monitoring.
  • the infant 20 can be detected by the camera 202 and the driver of the vehicle can be detected by the camera 201 with high accuracy.
  • the vehicle 100 determines whether or not the infant 20 has been detected (step S102). If infant 20 is not detected (step S102; No), vehicle 100 continues to detect infant 20. FIG. Such processing is not limited to when the vehicle 100 is running, and may be continued even when the vehicle 100 is stopped in order to detect that the infant 20 has accidentally boarded the vehicle.
  • the vehicle 100 When the infant 20 is detected (step S102; Yes), the vehicle 100 notifies the driver 10 of the presence of the infant 20 (step S103). At this time, if a living body other than the infant 20 riding with the driver 10 who is a guardian is detected, the vehicle 100 may notify the driver 10 to that effect before starting the vehicle 100 or the like. . As a result, the driver 10 can grasp a living body (such as another child different from the infant 20) of which he/she is unaware, thereby preventing the living body from being left behind.
  • a living body such as another child different from the infant 20
  • the vehicle 100 tracks the state of the infant 20 while driving and continues to notify the state (step S104). Thereby, the vehicle 100 periodically makes the driver 10 aware of the presence of the infant 20 . In parallel with detecting the infant 20, the vehicle 100 acquires environmental information such as the outside temperature (step S105).
  • the vehicle 100 may evaluate the degree of consciousness of the driver 10 (step S106). For example, the vehicle 100 uses the camera 201 or the like to determine whether the driver 10 is trying to confirm the presence of the infant 20 (for example, whether the driver is visually checking the infant 20 through a rearview mirror or the like). When the driver 10 is less interested in the infant 20, there is a high possibility that the driver 10 will forget that the infant 20 was left behind when getting off the vehicle.
  • the method of evaluating the degree of awareness is not limited to the rearview mirror or the like, and may be, for example, a camera image including the infant's seating position in the rear seat, or a display device for other purposes. may be
  • the vehicle 100 determines whether the driver 10 has arrived at the relay point or the destination (step S107). If the vehicle 100 has not arrived at the relay point or the destination (step S107; No), the vehicle 100 continues detecting the condition of the infant 20, notifying the driver 10, acquiring environmental information, and the like.
  • step S107 determines whether or not all living organisms riding in the vehicle 100 have gotten off. If it is determined that all the living bodies have left the vehicle (step S108; Yes), the vehicle 100 does not need to execute abandonment prevention processing, which will be described later. ). In this case, the vehicle 100 may continue the process of detecting whether the infant 20 or the like has accidentally entered the vehicle in a safe mode in which power consumption is suppressed.
  • step S108 if it is determined that no living body has left the vehicle (step S108; No), that is, if any living body is left behind in the vehicle 100, the vehicle 100 starts monitoring processing (step S109).
  • FIG. 4 is a flowchart (2) showing the flow of processing according to the embodiment.
  • the vehicle 100 collects data such as the time required for the driver 10 who is about to get off to finish his/her purpose (step S201). For example, when the destination of the drive navigation set by the driver 10 is a retail store such as a supermarket, the vehicle 100 determines whether the driver 10 returns to the vehicle 100 based on the average stay time of people staying at the store. Estimate time to come. The vehicle 100 may estimate the time until the driver 10 returns from the store based on the past action history of the driver 10 .
  • the vehicle 100 calculates the risk of leaving the infant 20 behind in the vehicle 100 (step S202). For example, the vehicle 100 calculates the future temperature rise inside the vehicle 100 based on the environmental information. In addition, the vehicle 100 calculates the time until the infant 20 suffers heat stroke or is exposed to life-threatening conditions under certain temperature and humidity. Vehicle 100 may acquire information such as the age and physique of infant 20 in advance, or may estimate the age and the like of infant 20 based on skeleton information and the like detected by camera 201 and the like. . Then, based on the estimated information, the vehicle 100 determines the risk based on information such as what kind of impact a child of that age is left behind inside the vehicle 100 and how long it can endure. Calculate information.
  • the vehicle 100 After calculating the risk, the vehicle 100 displays a timer indicating the risk on the display unit 145.
  • a timer is, for example, the risk notification graph 204 shown in FIG.
  • the vehicle 100 notifies the terminal device owned by the driver 10 of the risk notification graph 204 (step S203).
  • the vehicle 100 determines whether or not the infant 20 left behind in the vehicle 100 is an intentional wait by the driver 10 (step S204). For example, the vehicle 100 notifies the driver 10 of a confirmation message to let the driver 10 determine whether the infant 20 has been forgotten when getting off the vehicle or whether the infant 20 is intentionally left in the vehicle 100. ⁇
  • step S204 the vehicle 100 continues checking. For example, when the driver 10 leaves the vehicle 100 without judging that it is an intentional wait, the vehicle 100 performs processing such as transferring a confirmation message to the terminal device, and notifies the driver 10 of the presence of the infant 20. continue to notify.
  • step S204 if it is determined that the waiting is intentional by the driver 10 (step S204; Yes), the vehicle 100 detects that the driver 10 has gotten off (step S205). For example, the vehicle 100 detects the getting off of the driver 10 based on the image captured by the camera 201 or the like.
  • the vehicle 100 determines whether or not there is a fellow passenger watching over the infant 20 inside the vehicle 100 (step S206). For example, when a fellow passenger (another guardian, a child in a higher grade, etc.) who is larger than the infant 20 is detected, the vehicle 100 determines that there is a fellow passenger watching over the infant 20 (step S206; Yes). .
  • the vehicle 100 does not immediately perform risk management, which will be described later, and determines whether or not any abnormality has been detected inside the vehicle 100 (step S207). For example, in the vehicle 100, the temperature in the passenger compartment is rising even though the air conditioner is operating, the infant 20 is crying, the body temperature of the infant 20 is rising, and so on. is detected (step S207; Yes), a risk management process, which will be described later, is performed. On the other hand, if no abnormality is detected (step S207; No), vehicle 100 waits until an abnormality is detected.
  • step S208 vehicle 100 executes risk management processing (step S208).
  • FIG. 5 is a flowchart (3) showing the flow of processing according to the embodiment.
  • the vehicle 100 detects that the doors are locked when the driver 10 gets off (step S301). Then, the vehicle 100 calculates the return time of the driver 10 using the method described above (step S302). Thereby, the vehicle 100 can set a timer such as by when the driver 10 does not come back to start the risk processing. If the time estimated as the return time of the driver 10 is a time that exposes the infant 20 to danger, the vehicle 100 may warn the driver 10 to that effect. For example, if the vehicle 100 predicts that the temperature rise in the vehicle will exceed a predetermined temperature at the time estimated as the return time of the driver 10, or if the temperature rise is not taken into consideration, the infant 20 stays for a long time due to the age of the infant 20. is presumed to be dangerous, the driver 10 is warned to that effect.
  • the vehicle 100 starts a countdown timer as indicated by the risk notification graph 204 (step S303). Subsequent communication between the vehicle 100 and the driver 10 is performed via a terminal device or the like owned by the driver 10 .
  • the vehicle 100 may notify the terminal device of the reminder (such as by sounding an alarm) at regular intervals even before the return time elapses.
  • the vehicle 100 prepares for issuing an alarm to inform the risk (step S304). Note that even when an abnormality is detected in step S207, the vehicle 100 similarly prepares for issuing an alarm for risk notification.
  • the vehicle 100 determines whether or not an emergency salvage request has been received from the driver 10 (step S305).
  • Emergency salvage is a situation in which the driver 10 explicitly asks the surroundings to rescue the infant 20 when some kind of trouble occurs in the driver 10 and the driver 10 cannot return to the vehicle 100 by the scheduled time. is.
  • the driver 10 activates emergency salvage by operating a smartphone terminal device and transmitting a preset emergency salvage request to the vehicle 100 .
  • the vehicle 100 executes forced notification processing to the surroundings (step S306). For example, the vehicle 100 sounds an alarm (a horn or the like) or uses a flashing light or the like to inform the surroundings that the infant 20 is to be rescued.
  • an alarm a horn or the like
  • a flashing light or the like to inform the surroundings that the infant 20 is to be rescued.
  • the vehicle 100 determines whether or not the risk management conditions have been met (step S307).
  • the risk management conditions include the case where the driver 10 does not return to the vehicle 100 after a predetermined percentage (for example, 80%) of the predicted return time has passed, This is the case, for example, when there is no reply even though a message to return to the vehicle 100 has been sent to the user.
  • the risk management conditions may be set in advance by the driver 10 or may be arbitrarily set by an administrator or the like who manages the vehicle 100 .
  • step S307 the vehicle 100 executes the risk countermeasure process set together with the risk management condition. For example, the vehicle 100 transmits an SOS notification to pre-registered family members, emergency authorities in the relevant country, etc. (step S308).
  • the vehicle 100 determines whether or not another risk management condition is satisfied (step S309).
  • the other risk management conditions include detection of deterioration of the physical condition of the infant 20, detection of the infant 20 requesting rescue, and detection of a fellow passenger asking for help. and so on.
  • other risk management conditions may be set in advance by the driver 10, or may be arbitrarily set by an administrator or the like who manages the vehicle 100. FIG.
  • step S309 If another risk management condition is satisfied (step S309; Yes), the vehicle 100 executes the risk countermeasure process set together with the risk management condition. For example, the vehicle 100 performs processing such as unlocking the doors and transmitting recorded information of the in-vehicle video after unlocking the doors to the driver 10 (step S310).
  • the vehicle 100 makes the driver 10 more aware of the risks that occur when the infant 20 is left behind by stepwise taking risk countermeasures such as steps S306, S308, and S310. That is, if the driver 10 does not return to the vehicle 100 as soon as possible, the driver 10 may find that the infant 20 is left behind in the vehicle 100 or that a family member or the like leaves the infant 20 in the vehicle 100 to go shopping. Be aware of known risks. Alternatively, if the driver 10 does not return to the vehicle 100 early, the doors will be forcibly unlocked, and an unspecified third party will intervene in the rescue, or the driver will be kidnapped or burglarized. be aware of the risks of doing so. By making the driver 10 aware that such hierarchical processing is performed, the number of cases of being left behind can be reduced, and even if there is an abandonment, the driver 10 can be urged to return to the vehicle 100 as soon as possible. have an effect.
  • risk countermeasures such as steps S306, S308, and S310.
  • the vehicle 100 determines whether the driver 10 has returned to the vehicle 100 (step S311). If the driver 10 has returned to the vehicle 100 (step S311; Yes), the vehicle 100 ends the series of watching processes.
  • step S311 determines whether the current time is within the time set by the timer (step S312). If the current time is within the timer time (step S312; Yes), vehicle 100 continues the risk countermeasure process.
  • step S312 if the current time has exceeded the time set by the timer (step S312; No), the vehicle 100 contacts an emergency contact in the relevant country, such as a fire department, in order to rescue the infant 20 (step S313).
  • vehicle 100 can take measures to rescue infant 20 from inside vehicle 100 even in the worst case.
  • the vehicle 100 when the infant 20 located in a predetermined space such as the inside of the vehicle 100 is detected, transmits the detected information to the vehicle 100. Notify the driver 10 to do so.
  • the vehicle 100 acquires the condition of the infant 20 and the environment information of the vehicle 100, and risk information (for example, the risk notification graph 204) in the case where the infant 20 continues to stay in the vehicle 100, which is calculated based on the acquired information. is displayed on the display unit 145 or the terminal device used by the driver 10 when the driver 10 leaves the vehicle 100 .
  • the vehicle 100 intermittently provides visual, auditory, and haptic multilevel stimuli according to different levels of situations, so that the driver's 10 memory of risks can be continuously activated. .
  • the vehicle 100 provides the driver 10 with risk information for judging the risk to the infant 20 from various aspects. It arouses the senses and evokes memories about the infant 20. Accordingly, the vehicle 100 can prevent the infant 20 from being left behind, and can appropriately notify the driver 10 of how to deal with the situation.
  • FIG. 6 is a diagram showing a configuration example of the information processing system 1 according to the embodiment.
  • the network N is a generic term for networks that connect devices that make up the information processing system 1 .
  • the network N is the Internet, a mobile phone communication network, or the like.
  • the vehicle 100 is an example of an abandoned object notification device according to the present disclosure, and is a mobile body having an information processing function, such as an automobile.
  • the vehicle 100 executes various types of information processing described above.
  • the terminal 50 is an information processing terminal owned by the driver 10, and is a wearable device such as a smart phone, a tablet terminal, or a smart watch.
  • the cloud server 150 is a server device used by an administrator or the like who manages the vehicle 100 .
  • the cloud server 150 for example, provides various information to the vehicle 100, receives requests from the vehicle 100, and executes various information processing.
  • the communication base station 40 is a base station that relays communication when connecting the network N and each device.
  • FIG. 7 is a block diagram showing a configuration example of the information processing system 1 according to the embodiment. It should be noted that each block shown in FIG. 7 conceptually shows each mechanism and each function for the purpose of explanation only, and may be accompanied by various modifications.
  • the information processing system 1 includes a ToF camera 210, a VIS/IR (Visible/Infrared) camera 211, a millimeter-wave biological signal detector 212, an infant detector 213 when riding, and the like.
  • the information processing system 1 may also include a posture detector (Posture Body Tracking) or the like that is useful for detecting a human body. These detectors correspond, for example, to the cameras 201 and 202 shown in FIG.
  • the information processing system 1 configures an infant detection system 214 with these detectors. For example, the information processing system 1 detects the infant 20 inside the vehicle 100 by recognizing the image of the infant captured by the ToF camera 210, the VIS/IR camera 211, or the like.
  • the information processing system 1 acquires direct sunlight information 220, weather information 221, location information 222, etc. as various types of information.
  • the information processing system 1 acquires the information through the network N from environmental information announced by the Meteorological Agency of the country concerned and environmental information provided by various weather services.
  • the information processing system 1 may acquire such information from a temperature sensor, humidity sensor, or the like provided in the vehicle 100 .
  • the information processing system 1 also acquires the risk and return time calculated (estimated) by the risk and return time calculator 223 as various information.
  • the information processing system 1 generates a visualized graph generated by the graph and timer display generator 224 , a temperature rise graph inside the vehicle 100 , a body temperature rise graph of the infant 20 , a return graph such as the risk notification graph 204 . Acquire remaining time timer display etc. considering time.
  • the information processing system 1 configures a risk determiner 230 that determines the risk when the infant 20 is left behind based on the information obtained from the infant detection system 214 and various types of information.
  • the risk determiner 230 visualizes the risk notification graph 204 with the visualization processor 231.
  • the display device 232 such as a panel inside the vehicle controls to display the visualized risk notification graph 204 on the display unit 145 and the terminal 50 of the vehicle 100 .
  • the risk determiner 230 controls the horn/light blinking mechanism 233, and activates the horn/light when it determines that the danger to the infant 20 is high.
  • the risk determiner 230 determines that the risk to the infant 20 is high, it controls the door unlock mechanism 244 to unlock the door. Risk determiner 230 also controls air conditioner extension mechanism 245 to appropriately operate the air conditioner when the temperature inside vehicle 100 is expected to exceed a predetermined temperature.
  • the risk determiner 230 communicates with an external communication device or a communication base station 250 according to the situation in which the infant 20 is placed, and provides third party notification 251, SOS notification 252, etc. Various notifications such as the notification 253 to the terminal 50 and the like are transmitted.
  • FIG. 8 is a diagram showing an example of communication processing in the information processing system 1 according to the embodiment.
  • the vehicle 100 makes an emergency contact via the cloud server 150, for example, when the infant 20 is left inside the vehicle 100 and a predetermined time has passed.
  • the cloud server 150 based on the vehicle external communication 264, via the general-purpose base station 261 and the general-purpose base station 262, various management servers, SOS to the fire department of the country concerned, an automatic emergency call called e-call Send a notification 266 containing the contact.
  • the cloud server 150 establishes communication with the emergency communication room 267 such as a fire station.
  • the cloud server 150 may notify the pre-registered family members of the driver 10 via the general-purpose base station 261. Such notification is referred to as family registrant anomaly detection registration service type or the like.
  • Vehicle 100 may also contact pre-registered secondary report destination 270 directly via general-purpose base station 261 . Such notification is called family device internal registration direct notification type or the like.
  • the pre-registered secondary report destinations 270 are family members, relatives, and trusted friends of the driver 10, and the driver 10 registers them in advance as secondary report destinations. In this case, the vehicle 100 establishes contact with the pre-registered secondary notification destination 270 through various networks including wireless lines and wireless lines of mobile phones.
  • the vehicle 100 automatically determines the risk estimated by the risk estimator & converter 265 (for example, corresponding to the risk determiner 230 shown in FIG. 7) associated with the elapsed time of departure of the driver 10.
  • Vehicle external communications 264 may be used to establish communications with a general purpose base station 262 or the like.
  • the vehicle 100 may establish communication with the Eltres base station 263 and perform various notifications.
  • the general-purpose base station 262 or Eltres base station 263 that has received the risk notification transmission request transmits the notification to the smart phone or wearable device 271 used by the driver 10 .
  • the smart phone or wearable device 271 has an application that calculates the return time according to the behavior of the driver 10 in conjunction with the vehicle 100, such as a Pin Point stopover excursion type stopover return time estimation application. Installed.
  • the smartphone performs processing for tracking travel time when the driver 10 leaves the car.
  • FIG. 9A is a flowchart (1) showing the flow of processing of the information processing system 1 according to the embodiment. Note that descriptions of the processes that overlap with those described with reference to FIGS. 3 to 5 will be omitted.
  • the information processing system 1 detects the infant 20 and notifies the infant 20 of the state, etc. (step S401). After that, the information processing system 1 selects a situation in which the infant 20 is left behind (step S402). For example, the information processing system 1 selects whether the situation in which the infant 20 is left behind is intentional, whether the infant 20 remains alone, or whether the infant 20 remains with a guardian or the like who is different from the driver 10. conduct.
  • the information processing system 1 determines whether the infant 20 is left behind (step S403). When infant 20 is left behind with a guardian present, information processing system 1 regards the remaining person as a provisional guardian, and watching over by the provisional guardian is started (step S404). Further, when there is no person left in the vehicle 100, that is, when it is determined that there is no person left behind, the information processing system 1 continues the watching process (detection process inside the vehicle 100, etc.) with low power consumption (step S405).
  • the information processing system 1 starts abandonment prevention processing (step S406).
  • the information processing system 1 uses sensors and the like provided in the vehicle 100 to observe changes in the condition of the infant 20, such as whether the physical condition of the infant 20 is deteriorating, changes in the environment, and the like, and evaluates the necessity of notification (step S407).
  • the information processing system 1 performs risk management processing such as information update and emergency call according to the elapsed time (step S408). Details of the processing in step S408 will be described later using FIG. 9B.
  • the information processing system 1 determines whether or not the leftover situation has been resolved (step S421). If the left-behind situation has not been resolved (step S421; No), the information processing system 1 continues observation of changes in the condition of the infant 20 and the risk management process. On the other hand, when the stranded condition is resolved (step S421; Yes), the information processing system 1 terminates the monitoring when the driver 10 gets off the vehicle.
  • FIG. 9B is a flowchart (2) showing the flow of processing of the information processing system 1 according to the embodiment.
  • the information processing system 1 observes the vehicle interior temperature information according to the elapsed time, etc., and determines the status of increased risk (step S411). In addition, the information processing system 1 updates the evaluation of the risk change, and determines the notification type of the state monitoring evaluation value (what kind of notification is to be given for what kind of risk) (step S412).
  • the information processing system 1 determines the necessity of various notifications due to the increased risk (step S413). Specifically, the information processing system 1 performs unlocking processing of the vehicle 100 or controls horn activation processing depending on the situation (step S414).
  • the information processing system 1 notifies the smartphone or the like owned by the driver 10 of the alarm status of the abnormal situation (step S415).
  • the information processing system 1 may notify the driver 10 via relay by a base station (step S416).
  • the information processing system 1 may notify the management server such as the cloud server 150 of abnormality detection and the like via relay by the base station (step S417).
  • the information processing system 1 notifies an emergency control center (emergency command room) such as the fire department or e-call (step S418).
  • the information processing system 1 notifies the pre-registered secondary report destination (step S419).
  • the procedures described above are merely examples, and processing does not necessarily have to be performed in accordance with these procedures. As shown in the above procedure, by hierarchically organizing measures such as notifications, different risks become stimuli that awaken the memory of the driver 10 or the like visually and as knowledge, and the memory that needs to be dealt with is stimulated. It has a secondary and important effect that acts as
  • FIG. 10 is a diagram showing a configuration example of the vehicle 100 according to the embodiment of the present disclosure.
  • vehicle 100 has communication section 110 , storage section 120 , control section 130 , detection section 140 and display section 145 .
  • the configuration shown in FIG. 10 is a functional configuration, and the hardware configuration may differ from this.
  • the functions of vehicle 100 may be distributed and implemented in a plurality of physically separated devices.
  • the communication unit 110 is implemented by, for example, a network interface controller or NIC (Network Interface Card).
  • the communication unit 110 may be a USB interface configured by a USB (Universal Serial Bus) host controller, a USB port, or the like.
  • the communication unit 110 may be a wired interface or a wireless interface.
  • the communication unit 110 may be a wireless communication interface of a wireless LAN system or a cellular communication system.
  • Communication unit 110 functions as communication means or transmission means of vehicle 100 .
  • the communication unit 110 is connected to the network N by wire or wirelessly, and transmits and receives information to and from other information processing terminals such as the cloud server 150 and the terminal 50 via the network N.
  • the storage unit 120 is implemented by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 120 stores various data.
  • the storage unit 120 may store a learning device (image recognition model) that has learned a detection target, data related to the detected target, and the like.
  • the storage unit 120 may also store map data or the like for executing automatic driving.
  • the storage unit 120 also includes a user information storage unit 121 and a risk management storage unit 122 .
  • FIG. 11 is a diagram showing an example of the user information storage unit 121 according to the embodiment.
  • the user information storage unit 121 has items such as "user ID”, “terminal ID”, and “report destination ID”.
  • the information stored in the storage unit 120 may be conceptually indicated as "A01", but in reality, each piece of information described later is stored in the storage unit 120.
  • FIG. 11 is a diagram showing an example of the user information storage unit 121 according to the embodiment.
  • the user information storage unit 121 has items such as "user ID”, “terminal ID”, and “report destination ID”.
  • the information stored in the storage unit 120 may be conceptually indicated as "A01", but in reality, each piece of information described later is stored in the storage unit 120.
  • “User ID” is identification information for identifying the user of the vehicle 100 (for example, the driver 10).
  • Terminal ID is identification information for identifying the terminal device used by the user. As shown in FIG. 11 , one user may register a plurality of terminal devices in the user information storage unit 121 .
  • “Notification ID” is identification information for identifying a contact to which notification is made in the risk management process.
  • the notification destination ID is information (terminal ID, telephone number, e-mail address, etc.) for indicating the contact information of the user's family, friends, or the like.
  • the user information storage unit 121 is installed in the vehicle 100, but what is required is identification of an eligible notification destination, and may be managed and operated by an external cloud server or the like for linking.
  • FIG. 12 is a diagram showing an example of the risk management storage unit 122 according to the embodiment.
  • the risk management storage unit 122 has items such as "risk countermeasure ID”, "condition”, and "content of countermeasure”.
  • “Risk countermeasure ID” is identification information for identifying the risk management process executed by the vehicle 100 step by step. “Condition” is a condition for triggering the risk management process. “Contents of countermeasures” are specific contents to be executed as risk management processing.
  • the response content is "notify smartphone”
  • the vehicle 100 notifies the smartphone used by the driver 10 to prompt the driver to return to the vehicle 100 as soon as possible.
  • the content of the response is "notice to the outside (activation of the horn, etc.)"
  • the infant 20 is left behind inside the vehicle 100 by activating the horn or blinking the light. It means to let people know about it.
  • the response content is "notification to secondary report destinations, etc.”
  • vehicle 100 notifies the registered secondary report destinations of the rescue of infant 20 via cloud server 150, a base station, or the like.
  • the vehicle 100 unlocks the vehicle 100 and notifies the driver 10 of the fact that the lock has been unlocked and the recorded information of the situation inside the vehicle after the unlocking. It means to perform various processing such as sending.
  • the detection unit 140 detects various types of information regarding the vehicle 100 . Specifically, the detection unit 140 detects the environment around the vehicle 100, the location information of the vehicle 100, the information related to the equipment connected to the vehicle 100, and the like. The detection unit 140 may be read as a sensor that detects various types of information.
  • the detection unit 140 is a sensor having a function of imaging the surroundings of the vehicle 100, and is a so-called camera.
  • the detection unit 140 is implemented by a ToF camera, stereo camera, monocular camera, lensless camera, or the like.
  • the camera 201 illustrated in FIG. 1 and the like is an example of the detection unit 140 .
  • the detection unit 140 may also include a sensor for measuring the distance to objects inside the vehicle 100 and around the vehicle 100 .
  • the detection unit 140 may be a LiDAR (Light Detection and Ranging) that reads the three-dimensional structure of the surrounding environment of the vehicle 100 . LiDAR detects the distance and relative speed to an object by irradiating a surrounding object with a laser beam such as an infrared laser and measuring the time it takes for the beam to reflect and return.
  • the detection unit 140 may be a ranging system using a millimeter wave radar.
  • the detection unit 140 may include a depth sensor for acquiring depth data.
  • the detection unit 140 includes sensors for measuring travel information of the vehicle 100, environmental information, and the like.
  • the detection unit 140 detects behavior of the vehicle 100 .
  • the detection unit 140 is an acceleration sensor that detects vehicle acceleration, a gyro sensor that detects behavior, an IMU (Inertial Measurement Unit), or the like.
  • the detection unit 140 also includes a microphone that collects sounds around the vehicle 100, an illuminance sensor that detects the illuminance around the vehicle 100, a humidity sensor that detects the humidity around the vehicle 100, and a sensor that detects the location of the vehicle 100. It may also include a geomagnetic sensor or the like that detects the magnetic field in the .
  • the display unit 145 is a mechanism for outputting various information.
  • the display unit 145 is, for example, a liquid crystal display.
  • the display unit 145 displays an image captured by the detection unit 140 or displays risk information to be provided to the driver 10 .
  • the display unit 145 may also serve as a processing unit for receiving various operations from the user or the like who uses the vehicle 100 .
  • the display unit 145 may receive input of various information via key operations, a touch panel, or the like.
  • the control unit 130 uses a CPU (Central Processing Unit), an MPU (Micro Processing Unit), etc., to transfer a program (for example, an abandoned notification program according to the present disclosure) stored inside the vehicle 100 to a RAM (Random Access Memory), etc. is executed as a work area.
  • the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • control unit 130 includes a detection unit 131, a notification unit 132, an acquisition unit 133, and a display control unit 134, and realizes or executes information processing functions and actions described below. do.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 10, and may be another configuration as long as it performs information processing to be described later.
  • the detection unit 131 detects a living body located inside the vehicle 100 via the detection unit 140 and the like. Specifically, the detection unit 131 uses various sensors such as the camera 201 and the camera 202 to detect the infant 20 located in the rear seat, the foot space, or the like.
  • the vehicle 100 monitors a wide range inside the vehicle 100 by arranging a camera 202 or the like on the ceiling or the like in addition to the front.
  • the detection unit 131 can detect the infant 20 on the back seat or the like with high accuracy.
  • the detection unit 131 detects the infant 20 with higher accuracy by using the camera 202 which is a detection means installed in a different arrangement from the camera 201 for detecting the state of the driver 10 in the vehicle 100 .
  • the detection process according to the embodiment includes not only the process of simply detecting a living body inside the vehicle 100, but also the activities and behaviors of the living body, the exact location, and interactions with other people and objects inside the vehicle 100. It also includes detecting and registering as a detection target.
  • the detection unit 131 detects how many people are in the vehicle 100 , who left the vehicle 100 , what happened to the person left behind in the vehicle 100 , and how many people are in the vicinity of the vehicle 100 .
  • Various kinds of information such as whether there is such a person are also detected.
  • FIG. 13 is a diagram for explaining risk evaluation processing according to the embodiment.
  • FIG. 13 shows information and functions acquired by the vehicle 100 as a conceptual block diagram.
  • the detection unit 131 detects the situation 171 of the people in the vehicle, such as the number of people inside the vehicle 100 and the state of each person, as described above.
  • the detection unit 131 also detects environment information 172 inside the vehicle such as temperature and humidity inside the vehicle 100 .
  • the detection unit 131 detects environment information 173 outside the vehicle, such as the outside temperature outside the vehicle 100 and predicted temperature rise.
  • the detection unit 131 detects the position of the vehicle 100 (eg, whether it is in the home garage or on the road), whether the vehicle 100 is running, the surrounding road conditions and obstacles, and the roads and objects around the vehicle. etc. 174 is detected.
  • the vehicle 100 calculates the risk evaluation 175 based on the information detected by the detection unit 131.
  • Vehicle 100 transmits risk assessment 175 to HMI 176 .
  • the HMI 176 performs risk management processing 177 to warn or notify the driver 10 or the outside via an appropriate interface to reduce the calculated risk. That is, the vehicle 100 uses appropriate sensors (the cameras 201 and 202 shown in FIG. 1, other sensors not shown, etc.) to reliably detect people and conditions in the vehicle interior, and avoid various risks. handle.
  • the vehicle 100 is checked whether there is another person remaining in the vehicle 100, whether there is a problem with the temperature of the vehicle 100, or whether there is a third person in the vicinity.
  • the risks are dealt with.
  • the vehicle 100 may model the safety conditions (risk evaluation) when the infant 20 is left behind in the vehicle and calculate the risk. That is, the vehicle 100 models the influence of factors such as the temperature and humidity inside and outside the vehicle, the position where the vehicle is parked, the weather, the age and physique of the infant 20, and whether or not an adult other than the driver 10 is on board. become
  • the risk management process can also take different actions depending on the risk calculated by the model.
  • the vehicle 100 includes, as the detection unit 140, a plurality of ToF cameras having depth information capable of detecting the entire vehicle interior, such as the cameras 201 and 202 shown in FIG.
  • the ToF camera employs sensing technology that handles three-dimensional data, called 3DiToF technology, in order to specialize in detecting and monitoring the activities of the driver 10 and the infant 20 inside the vehicle.
  • sensing technology enables accurate 3D registration of both the driver 10 in the front seat and the infant 20 in the rear seat, posture estimation and tracking, and activity monitoring while maintaining a high frame rate. be done.
  • FIG. 14 is a diagram (1) for explaining detection processing according to the embodiment.
  • An image 180 shown in FIG. 14 shows an image when the behavior of the driver 10 is tracked by the ToF camera.
  • a ToF camera has an image recognition model installed inside and also has the ability to track recognized objects. Specifically, the ToF camera recognizes the smart phone handled by the driver 10 and displays the recognized object as indicated by an area 181 .
  • the vehicle 100 determines that the driver 10 is using the smart phone while driving, and thus determines that the action poses a risk, and calculates the risk evaluation.
  • the vehicle 100 can reduce the risk by intervening in the behavior of the driver 10 by issuing a warning with a voice such as "Please stop using the smart phone" or displaying a screen.
  • FIG. 15 is a diagram (2) for explaining detection processing according to the embodiment.
  • the ToF camera has a model that recognizes the posture information 191 of the driver 10. Based on the posture information 191 detected by the ToF camera, the vehicle 100 recognizes the behavior of the driver 10, such as the driver 10 driving with inattentiveness or shifting the line of sight to the back seat. determine that the behavior is risky. In this case as well, the vehicle 100 can reduce the risk by intervening with an audio warning or the like.
  • the ToF camera utilizes a high frame rate and 3D point cloud data to track the infant 20 when the infant 20 first enters the vehicle. If infant 20 does not show significant movement, detector 131 may assume that infant 20 is sleeping. In parallel, the detection unit 131 tracks another person using a plurality of cameras, and basically continues tracking from the time the person gets in the vehicle to the time the person gets off the vehicle.
  • the detection unit 131 detects that the driver 10 is facing backward, that the driver 10 is out of the seat position, that the infant 20 is lying down and does not move, and that the infant 20 is not moving. Detects parameterized posture information for determining that the has moved into the foot space. Accordingly, the notification unit 132, which will be described later, appropriately notifies the driver 10 of the condition of the infant 20, thereby being able to notify the current state of the infant 20.
  • the vehicle 100 detects the infant 20 using the detection unit 140 provided in the vehicle 100 as described above.
  • a function for monitoring the behavior of a person can be applied to prevention of being left behind. Therefore, according to the configuration of the vehicle 100 according to the embodiment, it is possible to prevent abandonment without increasing the cost for the functions of the vehicle 100 .
  • the detection unit 131 determines whether there are any adults inside the vehicle 100, and what the environment (temperature, etc.) is in the vehicle when all the adults other than the infant 20 get off the vehicle. It detects where the car is parked (indoor garage or outdoors in strong sunlight). The detection unit 131 calculates a risk according to each situation and performs risk evaluation.
  • the notification unit 132 and the acquisition unit 133, which will be described later, and the display control unit 134 notify the driver 10 of the risk, display the risk information, and in some cases notify the emergency contact according to the risk evaluation. and other risk management processes.
  • the vehicle 100 can take measures according to the situation, such as lowering the activation conditions for risk management processing.
  • the vehicle 100 executes processing for the driver 10 to take appropriate measures, such as notifying the driver 10 .
  • the driver 10 when the infant 20 is riding in the vehicle 100, (1) the driver 10 himself/herself installs a child seat, etc., and (2) the driver 10's family or the like puts the infant 20 in and goes to a nursery school. (3) allowing the child to ride with the child when he/she commute to school; (3) allowing the child to ride with him/her only on that day; (4) the infant 20 entering the vehicle 100 for fun; Therefore, the level of awareness of the infant 20 by the driver 10 also varies. For example, when the driver 10 visually confirms the condition of the infant 20 in the back seat or looks through the rearview mirror, it can be determined that the driver 10 is aware of the existence of the infant 20. .
  • the driver 10 may not be aware of the existence of the infant 20 or forget the existence.
  • the vehicle 100 may raise the risk evaluation of being left behind, and perform processing to make the driver 10 aware of the infant 20, such as notifying the infant 20 of the situation while driving.
  • the notification unit 132 When the detection unit 131 detects a living body inside the vehicle 100, the notification unit 132 notifies the person inside the vehicle 100 of the detected information. Specifically, the notification unit 132 notifies the driver 10 of the presence of the infant 20 by displaying the infant 20 detected in the backseat or the like on the display unit 145 or communicating the situation by voice.
  • the notification unit 132 notifies at least one of the position of the infant 20 in the vehicle, the sleeping condition of the infant 20, changes in the position of the infant 20, and changes in the sleeping condition.
  • the driver 10 is repeatedly conscious of the presence of the infant 20 before getting off the vehicle, so that the presence of the infant 20 can be easily remembered even when some business occurs after getting off the vehicle.
  • the notification unit 132 notifies the terminal 50 of a notification to prompt the driver 10 to return to the vehicle 100 when a predetermined time has elapsed after the driver 10 has left the vehicle 100 .
  • the notification unit 132 transmits a notification to the terminal 50 to prompt the driver 10 to return to the vehicle 100 when a predetermined percentage of the estimated return time from the time the driver 10 gets off until the time the driver 10 returns has passed. do.
  • the notification unit 132 calculates an estimated elapsed time from when the driver 10 leaves the vehicle 100 to when the driver 10 returns, which is calculated based on the distance to the destination of the driver 10 and the attribute of the destination, or When a predetermined percentage of the estimated elapsed time has passed, a notification is sent to the terminal 50 to prompt the vehicle 100 to return. Specifically, when the time required for the driver 10 to return to the vehicle 100 is calculated to be 20 minutes, the notification unit 132 notifies the driver 10 to return to the vehicle 100 when 10 minutes have passed. to the terminal 50.
  • the notification unit 132 may transmit other notifications to the terminal 50 or the like instead of the notification to prompt the vehicle 100 to return. For example, if the notification unit 132 detects that the temperature inside the car has risen sharply or that something has happened to the infant 20 (the infant 20 cries, the body temperature rises, etc.), the notification unit 132 The terminal 50 may be notified to that effect.
  • the notification unit 132 may notify the surroundings or a third party using other means, not limited to the notification to the terminal 50.
  • the notification unit 132 may send a notification prompting the driver to return to the vehicle 100 after a predetermined period of time has elapsed, or may fail to confirm a reply from the driver 10 to the notification, or An alarm may be issued to the outside of the space when at least one of the abnormalities is detected.
  • the notification unit 132 may issue an alarm to the outside of the vehicle 100 when a remote instruction is received from the driver 10 after the driver 10 leaves the vehicle 100 .
  • the notification unit 132 receives, via the terminal 50, a message indicating that the driver 10 cannot return to the vehicle 100 or a request for emergency salvage to rescue the infant 20, alarm.
  • the notification unit 132 refers to the risk management storage unit 122 and executes one of the defined risk management processes. As an example, the notification unit 132 notifies surrounding people that there is a danger inside the vehicle 100 by honking a horn or blinking a light.
  • the notification unit 132 executes further risk management processing if the driver 10 cannot be contacted even after issuing the above warning, or if the vehicle is left unattended.
  • the notification unit 132 when a predetermined time has elapsed after the driver 10 leaves the vehicle 100, the third party (secondary contact) registered in advance as an emergency contact, or Notifies the registered institution that the infant 20 is in the vehicle 100 .
  • the predetermined time may be the return time estimated at the time of getting off the vehicle, or may be a predetermined percentage of the estimated return time (for example, when 80% of the time has elapsed).
  • the notification unit 132 notifies the family, friends, etc. of the driver 10 registered in the user information storage unit 121 that the infant 20 has been left behind.
  • the notification unit 132 notifies the relevant country's fire department, an emergency center, or other organization of the request to rescue the infant 20 .
  • the notification unit 132 may simultaneously notify the location information of the vehicle 100, the vehicle body information of the vehicle 100, and the like.
  • the notification unit 132 does not necessarily contact the secondary report destination and the institution at the same time, but may contact the institution after a predetermined period of time has elapsed after contacting the secondary report destination.
  • the notification unit 132 receives a remote instruction from the driver 10, receives a request from a third party such as a secondary report destination or an organization, or receives a predetermined notification after notification to the secondary report destination or organization.
  • a third party such as a secondary report destination or an organization
  • receives a predetermined notification after notification to the secondary report destination or organization When at least one of the conditions for the passage of time is satisfied, control is performed so that the lock for accessing the vehicle 100 is unlocked, and the unlocked state is notified to the driver 10 .
  • notification unit 132 controls the lock mechanism to unlock vehicle 100 .
  • the notification unit 132 transmits the image captured by the detection unit 140 and the like to the terminal 50 of the driver 10, and continuously informs the driver 10 of the situation inside the vehicle 100. You may make it notify.
  • the notification unit 132 may notify the institution or the like to request rescue of the infant 20 based on the condition of the infant 20 after the door is unlocked. For example, if the body temperature of the infant 20 indicates an abnormal value, or if the estimated time for the driver 10 to return has passed, the notification unit 132 notifies the emergency center or the like to that effect, and the infant 20 may request rescue of
  • the acquisition unit 133 acquires various types of information. For example, the acquisition unit 133 acquires information sensed by the detection unit 140 and information provided by an external service or the like via the communication unit 110 .
  • the acquisition unit 133 acquires the state of the infant 20 detected by the detection unit 131, the environment information of the vehicle 100, and the like. At this time, the acquisition unit 133 uses a second detection means (for example, a The condition of the infant 20 may be obtained using the camera 202 shown in FIG. In this way, the acquiring unit 133 acquires the state of the infant 20 using the camera 202 that is different from the camera 201 that normally detects the line of sight of the driver 10 and the driving state. It is possible to determine sleeping conditions and the like.
  • a second detection means for example, a The condition of the infant 20 may be obtained using the camera 202 shown in FIG.
  • the acquiring unit 133 acquires the state of the infant 20 using the camera 202 that is different from the camera 201 that normally detects the line of sight of the driver 10 and the driving state. It is possible to determine sleeping conditions and the like.
  • the acquisition unit 133 When the acquisition unit 133 detects that the environmental information of the vehicle 100 has changed beyond a predetermined range after the driver 10 has left the vehicle 100 based on the acquired environmental information. , may operate a mechanism for maintaining the environment of the vehicle 100 . Specifically, the acquisition unit 133 operates a temperature maintenance device (such as an air conditioner) of the vehicle 100 to control the temperature inside the vehicle 100 to be kept constant.
  • a temperature maintenance device such as an air conditioner
  • the acquisition unit 133 may acquire information from a predetermined external server or the like. For example, when the driver 10 leaves the vehicle 100 , the acquisition unit 133 may acquire the distance to the destination to which the driver 10 is headed after leaving the vehicle 100 and the attribute of the destination. For example, the acquisition unit 133 acquires the time required for the driver 10 to reach and return to the destination based on the location information of the vehicle 100 parked and the destination registered in the navigation system. In addition, the acquisition unit 133 acquires the attribute of the destination (whether it is a supermarket or a convenience store, etc.), and further acquires the average stay time or the like linked to the attribute. Thereby, the vehicle 100 can estimate the return time of the driver 10 .
  • the acquisition unit 133 continuously acquires information used for risk management processing. For example, when the vehicle 100 is unlocked as a risk management process, the acquisition unit 133 acquires the condition of the infant 20 at the time of unlocking (whether there is a fever, is there a convulsion, etc.), and notifies the acquired information. It may be sent to section 132 .
  • the display control unit 134 displays the risk information in the case where the infant 20 continues to stay in the vehicle 100 , which is calculated based on the information acquired by the acquisition unit 133 , on the display unit 145 when the driver 10 leaves the vehicle 100 .
  • the terminal 50 used by the driver 10 is controlled to be displayed.
  • the display control unit 134 displays, as risk information, a graph that visualizes the degree of risk in the case where the infant 20 continues to stay in the vehicle 100 in stages along the length of time the infant 20 stays in the vehicle 100 .
  • the display control unit 134 displays a graph that visualizes the degree of risk based on the temperature change in the vehicle 100 calculated based on the environmental information acquired by the acquisition unit 133 .
  • the display control unit 134 may display, as the risk information, a graph that visualizes the degree of risk step by step based on the attributes corresponding to the age or build of the infant 20 .
  • the display control unit 134 may display different risk information according to the age or build of the infant 20 left behind.
  • the display control unit 134 may receive registration of the age of the infant 20 in advance from the driver 10, or use the age estimated from the physique and appearance recognized by the camera or the like to determine the age of the infant 20. attributes may be determined.
  • the display control unit 134 can display risk information according to various situations detected by the acquisition unit 133 .
  • the display control unit 134 based on the detection data of temperature rise factors such as the opening and closing of the windows of the vehicle 100, the operation status of the air conditioner, the condition-dependent temperature rise characteristics, the outside temperature, and the direct sunlight, Visualize and calculate temperature rise characteristics.
  • the display control unit 134 displays the instrument panel of the vehicle 100 and the display control unit 134 when the driver 10 unbuckles the seat belt to get off the vehicle, based on the detection data registered that the infant 20 is in the back seat or the like.
  • Via the HMI (display unit 145, etc.) such as the center console panel, the fact that the infant 20 remains and the graph showing the temperature rise risk curve are visually presented to the driver 10.
  • a notification may be sent to prompt the passenger to get off the vehicle.
  • the display control unit 134 uses information obtained from an external service such as a local weather forecast to predict a subsequent temperature rise even if the weather is temporarily bad, and display a warning. It may be presented to the driver 10.
  • FIG. 16 is a diagram (1) for explaining display control processing according to the embodiment.
  • FIG. 16 shows a risk notification graph 300, which is an example of a graph displayed by the display control unit 134.
  • FIG. Like the risk notification graph 204 shown in FIG. 2 and the like, the risk notification graph 300 indicates the degree of danger to the infant 20 over time.
  • the display control unit 134 may display a pictogram indicating the condition of the infant 20 together with the risk notification graph 300.
  • pictogram 301 shows the youngest infant displayed.
  • Pictogram 301 is associated with the innermost circumference of risk notification graph 300 . This means that the infant indicated by pictogram 301 takes less time to reach a dangerous state than other infants.
  • the pictogram 302 shows a middle-aged infant in the displayed.
  • Pictogram 302 is associated with the middle circle of risk notification graph 300 . This means that the infant represented by pictogram 302 has an intermediate time to reach a critical condition compared to other infants.
  • pictogram 303 indicates the oldest infant displayed.
  • Pictogram 303 is associated with the perimeter of risk notification graph 300 . This means that the infant indicated by pictogram 303 takes a longer time to reach a dangerous state than other infants.
  • the pictogram 304 shows how the driver 10 returns.
  • the display control unit 134 notifies the driver 10 of the time to return to the vehicle 100 by displaying the pictogram 304 in the risk notification graph 300 in the range indicating the time zone in which the driver 10 should return.
  • the pictogram 305 shows the infant 20 suffering from heat stroke.
  • the display control unit 134 considers the high risk range in the risk notification graph 300 (specifically, the range in which the temperature inside the car exceeds 30° C., and the age of the infant 20). By displaying the pictogram 305 together with the time range that is assumed to be dangerous to be driven, the driver 10 is notified that there is danger unless he returns to the vehicle 100 by this time.
  • pictogram 306 indicates an ambulance.
  • the display control unit 134 displays the pictogram 306 in accordance with the time period when the ambulance is automatically called when the driver 10 has left the vehicle 100 at a certain time period. Accordingly, the driver 10 can visually grasp how long it will take to call an ambulance after leaving the vehicle 100 from the risk notification graph 300 .
  • the form of the graph is not limited to this example, and the display control unit 134 may display a graph having only one circumference suitable for the age of the infant 20, such as the risk notification graph 204 in FIG. good. Also, the graph is not limited to a pie chart, and may be in various forms.
  • the display control unit 134 may display a graph in a manner different from that in FIG. For example, the display control unit 134 may display, as risk information, a graph including an estimated elapsed time from when the driver 10 leaves the vehicle 100 to when the driver 10 returns, and the degree of risk in the estimated elapsed time.
  • FIG. 17 is a diagram (2) for explaining the display control process according to the embodiment.
  • the display control unit 134 displays the graphs 311 and 320 on the screen of the terminal 50.
  • the graph 311 displays the time until the driver 10 returns to the vehicle 100 as a countdown timer, in addition to the relationship between the temperature rise in the vehicle and the danger level of the infant 20 .
  • the terminal 50 may appropriately notify the driver 10 according to the elapsed time.
  • a graph 320 is a graph with temperature rise on the vertical axis and time on the horizontal axis, and is a graph showing the relationship between the temperature rise in the vehicle and how much time elapses before the SOS is issued. By visually confirming these, the driver 10 can be conscious of the time to return to the vehicle 100 even after leaving the vehicle 100 .
  • the display control unit 134 may display on the terminal 50 the state of the infant 20 detected inside the vehicle. This point will be described with reference to FIG. FIG. 18 is a diagram (3) for explaining the display control process according to the embodiment.
  • the display control unit 134 displays a pictogram 312 and a graph 320 on the screen of the terminal 50.
  • pictogram 312 visually indicates what condition infant 20 is in at the moment.
  • a graph 320 is a graph with temperature rise on the vertical axis and time on the horizontal axis, and is a graph showing the relationship between the temperature rise in the vehicle and how much time elapses before the SOS is issued.
  • the display control unit 134 may display, on the terminal 50, an image of the infant 20 actually in the vehicle, instead of the pictogram 312. FIG.
  • the display control unit 134 may control a linked graph display application or the like so that the alert is displayed even on the lock screen.
  • the display control unit 134 may display different risk information than when the second person is not present.
  • the second person is, for example, a guardian who protects the infant 20, and there may be more than one person. If the second person is a child whose age is almost the same as that of the infant 20, the display control unit 134 may display the same risk information as when the infant 20 is left alone. This is because if the second person is a child not much different in age than infant 20, the risk assessment will not change as much as if infant 20 were left alone.
  • the display control unit 134 records the inside and surroundings of the vehicle 100 and controls the terminal 50 to display the recorded information. good. This allows the driver 10 to know that the vehicle 100 is in a dangerous state and to constantly monitor the state of the unlocked vehicle 100 .
  • the notification unit 132 when a predetermined time has elapsed after the driver 10 has left the vehicle 100, prompts the driver 10 to return to the vehicle 100 based on the past behavior history of the driver 10. Either the terminal 50 is notified of the notification or the institution registered as the secondary notification destination or emergency contact is notified that the infant 20 is in the vehicle 100, which is preferentially executed. You can judge.
  • the vehicle 100 displays as risk information that, based on the history, when the driver 10 leaves the vehicle 100 and a predetermined time has passed, the family is first notified. As a result, the vehicle 100 can further increase the driver's 10's awareness of returning to the vehicle 100, so that an abandonment accident can be prevented with a high probability.
  • the vehicle 100 may display as risk information that, based on the history, when the driver 10 leaves the vehicle 100 and a predetermined period of time has passed, a process of first activating the horn or the like is performed. .
  • the above-described processing can be optimized through predetermined learning processing based on the past behavior history of the driver 10, for example. As a result, the vehicle 100 can implement more effective abandonment accident deterrence along with the behavioral tendency of the driver 10 .
  • the infant 20 was taken as an example of the living body left in the vehicle 100, but the living body is not limited to the infant 20, and may be an adult or an animal such as a pet.
  • the vehicle 100 may be realized by an autonomous mobile body (automobile) that automatically drives.
  • vehicle 100 may have the configuration shown in FIGS. 19 and 20 in addition to the configuration shown in FIG. Note that each unit shown below may be included in each unit shown in FIG. 10, for example.
  • FIG. 19 is a block diagram showing a schematic functional configuration example of a vehicle control system 11 to which the present technology can be applied.
  • the vehicle control system 11 is provided in the vehicle 100 and performs processing related to driving support and automatic driving of the vehicle 100 .
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, It has a recording unit 28 , a driving support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • vehicle control ECU Electronic Control Unit
  • a communication unit 22 a communication unit 22
  • a map information storage unit 23 a GNSS (Global Navigation Satellite System) receiving unit 24
  • an external recognition sensor 25
  • an in-vehicle sensor 26 a vehicle sensor 27
  • It has a recording unit 28 , a driving support/automatic driving control unit 29 , a DMS (Driver Monitoring System) 30 , an HMI (Human Machine Interface) 31 , and a vehicle control unit 32 .
  • DMS Driver Monitoring System
  • the vehicle control ECU 21, communication unit 22, map information storage unit 23, GNSS reception unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, recording unit 28, driving support/automatic driving control unit 29, DMS 30, HMI 31, and , and the vehicle control unit 32 are communicably connected to each other via a communication network 41 .
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be communicated.
  • CAN is applied for data related to vehicle control
  • Ethernet is applied for large-capacity data.
  • Each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls all or part of the functions of the vehicle control system 11 .
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 uses a wireless communication method such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on an external network communicates with a server (hereinafter referred to as an external server) located in the
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method for communicating with the external network by the communication unit 22 is not particularly limited as long as it is a wireless communication method capable of digital two-way communication at a predetermined communication speed or higher and at a predetermined distance or longer.
  • the communication unit 22 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle include, for example, terminals worn by pedestrians, bicycles, and other moving bodies that move at relatively low speeds, terminals installed at fixed locations such as stores, or MTC (Machine Type Communication).
  • MTC Machine Type Communication
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 100, and the like from the outside. Further, for example, the communication unit 22 can transmit information about the vehicle 100, information about the surroundings of the vehicle 100, and the like to the outside.
  • the information about the vehicle 100 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 100, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a communication speed above a predetermined level by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link). can communicate with each device in the vehicle.
  • wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-Definition Link).
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (registered trademark)) such as radio beacons, optical beacons, and FM multiplex broadcasting.
  • VICS vehicle information and communication system
  • the map information accumulation unit 23 accumulates one or both of a map acquired from outside and a map created by the vehicle 100 .
  • the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, and vector maps.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 100 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • the vector map refers to a map adapted to an ADAS (Advanced Driver Assistance System) in which traffic information such as lane and signal positions are associated with a point cloud map.
  • ADAS Advanced Driver Assistance System
  • the point cloud map and vector map may be provided from an external server or the like, and based on the sensing results of the radar 52, LiDAR 53, etc., the vehicle 100 as a map for matching with a local map described later. It may be created and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route on which the vehicle 100 will travel from now on, is acquired from the external server or the like. .
  • the GNSS receiver 24 receives GNSS signals from GNSS satellites and acquires position information of the vehicle 100 .
  • the received GNSS signal is supplied to the driving support/automatic driving control unit 29 .
  • the GNSS receiver 24 is not limited to the method using the GNSS signal, and may acquire the position information using, for example, a beacon.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 100 , and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51 , a radar 52 , a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53 , and an ultrasonic sensor 54 .
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are numbers that can be realistically installed on the vehicle 100 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the shooting method of the camera 51 is not particularly limited as long as it is a shooting method that enables distance measurement.
  • the camera 51 may be a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, or any other type of camera as required.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment for the vehicle 100 .
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting sounds around the vehicle 100 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the number that can be realistically installed in the vehicle 100 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, in seats, steering wheels, etc., and detect various biometric information of passengers such as the driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 100 and supplies sensor data from each sensor to each section of the vehicle control system 11 .
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they are the number that can be realistically installed in the vehicle 100 .
  • the vehicle sensor 27 includes a velocity sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the recording unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the recording unit 28 is used, for example, as EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and as a storage medium, magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the recording unit 28 records various programs and data used by each unit of the vehicle control system 11 .
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 100 before and after an event such as an accident and biometric information acquired by the in-vehicle sensor 26. .
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 100 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 100 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 100 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 100 by matching the local map and the high-precision map.
  • the position of the vehicle 100 is based on, for example, the center of the rear wheels versus the axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 100 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 100 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 100 based on the GNSS signal and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 100 and a recognition process for recognizing the situation outside the vehicle 100 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 100 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 100 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 100 by clustering the point cloud based on sensor data from the LiDAR 53, the radar 52, or the like for each group of point groups. Thereby, the presence/absence, size, shape, and position of an object around the vehicle 100 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 100 by performing tracking that follows the movement of the masses of point groups classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 100 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. from the image data supplied from the camera 51 .
  • the types of objects around the vehicle 100 may be recognized by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 100 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 100 can be performed. Through this processing, the recognizing unit 73 can recognize the position and state of traffic signals, the content of traffic signs and road markings, the content of traffic restrictions, and the lanes in which the vehicle can travel.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 100 .
  • the surrounding environment to be recognized by the recognition unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan unit 62 creates an action plan for the vehicle 100.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough route from the start to the goal. This route planning is referred to as a trajectory plan.
  • trajectory generation Local path planning
  • Path planning may be distinguished from long-term path planning, and activation generation from short-term path planning, or local path planning.
  • a safety priority path represents a concept similar to boot generation, short-term path planning, or local path planning.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and target angular speed of the vehicle 100 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 100 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 100 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • the driver's condition to be recognized by the DMS 30 includes, for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, and the like.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like. Further, the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an externally connected device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 also performs output control for controlling the output, output content, output timing, output method, and the like of each of the generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 100, a warning display, an image such as a monitor image showing the situation around the vehicle 100, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, motion, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device provided in the vehicle 100, such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 100 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 100 .
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 100 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 100 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 100 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 100 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 100 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a control unit such as an ECU for controlling lights.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 100 .
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn.
  • FIG. 20 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 20 schematically shows the vehicle 100 viewed from above, the left end side being the front end (front) side of the vehicle 100, and the right end side being the rear end (rear) side of the vehicle 100.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 100 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 100 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 100 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range. Sensing area 102F covers the front of vehicle 100 to a position farther than sensing area 101F. Sensing area 102B covers the rear of vehicle 100 to a position farther than sensing area 101B. Sensing area 102L covers the rear periphery of the left side surface of vehicle 100 . The sensing area 102R covers the rear periphery of the right side surface of the vehicle 100 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 100, and the like.
  • the sensing result in the sensing area 102B is used, for example, for the rear collision prevention function of the vehicle 100 or the like.
  • the sensing results in sensing area 102L and sensing area 102R are used, for example, to detect an object in a blind spot on the side of vehicle 100, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • Sensing area 103F covers the front of vehicle 100 to a position farther than sensing area 102F.
  • Sensing area 103B covers the rear of vehicle 100 to a position farther than sensing area 102B.
  • Sensing area 103L covers the periphery of the left side surface of vehicle 100 .
  • Sensing area 103R covers the periphery of the right side surface of vehicle 100 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53. Sensing area 104 covers the front of vehicle 100 to a position farther than sensing area 103F. On the other hand, the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • Sensing area 105 covers the front of vehicle 100 to a position farther than sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may sense the sides of the vehicle 100 , and the LiDAR 53 may sense the rear of the vehicle 100 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the above-described embodiments and modifications can be appropriately combined within a range that does not contradict the processing content.
  • an automobile is taken as an example of a mobile object, but the information processing of the present disclosure can also be applied to mobile objects other than automobiles.
  • the mobile body may be a small vehicle such as a motorcycle or a tricycle, a large vehicle such as a bus or truck, or an autonomous mobile body such as a robot or drone.
  • the vehicle 100 is not necessarily integrated with the mobile body, and may be a cloud server or the like that acquires information from the mobile body via the network N and determines the removal range based on the acquired information.
  • the abandoned notification device (the vehicle 100 in the embodiment) according to the present disclosure includes the notification unit (the notification unit 132 in the embodiment), the acquisition unit (the acquisition unit 133 in the embodiment), and the display control unit (the In the form, it includes a display control unit 134).
  • the notification unit transmits the detected information to a first person (driver in the embodiment) located in the space. 10).
  • the acquisition unit acquires the state of the living body and the environmental information of the space.
  • the display control unit displays risk information (such as the risk information graph 204 in the embodiment) calculated based on the information acquired by the acquisition unit when the living body continues to stay in the space. At this time, control is performed to display on a display device (display unit 145 in the embodiment) installed in the space or on a terminal device (terminal 50 in the embodiment) used by the first person.
  • risk information such as the risk information graph 204 in the embodiment
  • the abandoned notification device not only detects and notifies the abandoned living body, but also notifies the living body's condition before the first person leaves the space. Further, the abandonment notification device performs stepwise notification to the first person, such as visualizing and displaying the risk information regarding the living body when the first person leaves the space thereafter.
  • the notification unit notifies at least one of the position where the living body is located in the space, the sleeping condition of the living body, changes in the existing position, and changes in sleeping conditions.
  • the abandoned person notification device appropriately notifies the first person of the biological information obtained via the ToF camera or the like.
  • the abandoned notification device can make the first person aware of the presence and state of the living body, and act on the consciousness of the first person so as to make it difficult for the living body to be forgotten when leaving the space.
  • the display control unit displays, as risk information, a graph that visualizes the degree of risk when the living body continues to stay in the space in stages, along with the staying time of the living body in the space.
  • the abandonment notification device can make the first person aware of the risks that arise when a living body is left in space by indicating the degree of danger in stages.
  • Graphing is one means, and visual stimulation may be provided in a display form other than a graph, such as pictograms of infants and children in which the risk of temperature rise is indicated by color changes.
  • the display control unit displays a graph that visualizes the degree of risk based on temperature changes in the space, which is calculated based on the environmental information acquired by the acquisition unit.
  • the abandoned notification device can make the first person strongly aware of changes in the degree of danger due to the weather, which the first person is less likely to be aware of. can.
  • the display control unit displays, as risk information, a graph that visualizes the degree of risk step by step based on the attributes according to the age or build of the living body.
  • the abandonment notification device displays risk information according to the attributes of the living body, so that the first person can be informed of a more accurate degree of risk.
  • the display control unit also displays, as risk information, a graph that includes the estimated elapsed time from when the first person leaves the space to when he or she returns, and the degree of risk in the estimated elapsed time.
  • the abandoned notification device displays a graph that shows the relationship between the estimated return time of the first person and the degree of danger, so that the first person should return. Time can be strongly conscious of the first person.
  • the display control unit displays different risk information than when the second person does not exist.
  • the abandonment notification device can perform risk management processing that is more realistic by performing risk assessment that considers their presence.
  • the acquisition unit detects that the environmental information of the space has changed beyond a predetermined range when the predetermined time has passed after the first person leaves the space, the acquisition unit maintains the environment of the space. to activate the mechanism of
  • the abandonment notification device activates various mechanisms in response to environmental changes such as temperature rise, so that even if the first person does not respond to the notification, the living body does not suffer from heatstroke or the like. can be secured.
  • the notification unit notifies the terminal device of a notification to prompt the first person to return to the space when a predetermined time has elapsed after the first person has left the space.
  • the abandoned notification device can remind the first person of the presence of the left-behind living body by sending a notification to a terminal device such as a smartphone.
  • the acquisition unit acquires the distance to the destination to which the first person leaves the space and the attribute of the destination.
  • the notification unit calculates an estimated elapsed time from when the first person leaves the space to when the first person returns based on the distance to the destination and the attributes of the destination, and after the first person leaves the space.
  • the terminal device is notified to prompt the first person to return to the space.
  • the abandoned notification device can adjust the time and date to suit the first person's business without unnaturally sending a large number of notifications. , an appropriate number of notifications can be given.
  • the notification unit detects that a predetermined period of time has passed since the notification prompting the person to return to the space was transmitted, or that a response from the first person to the notification cannot be confirmed, or that a biological abnormality has been detected. If at least one of the above cases applies, an alarm is issued to the outside of the space.
  • the abandonment notification device detects an abnormal behavior such as crying or convulsive seizures of the living body, and if any abnormalities occur, the living body is rescued by warning the surroundings.
  • the abandonment notification device not only informs the surroundings but also the first person, and makes the first person feel embarrassed and considerate of the surroundings, thereby placing a psychological burden on the first person. By giving it, it can be urged to quickly return to the living body.
  • the notification unit issues an alarm to the outside of the space when a remote instruction is received from the first person after the first person leaves the space.
  • the abandonment notification device can rescue the living body by warning the surroundings when some kind of abnormality occurs in the first person.
  • the notification unit when a predetermined time has passed after the first person leaves the space, notifies a third person registered in advance as an emergency contact or an organization registered as an emergency contact. On the other hand, it notifies that the living body exists in the space.
  • the abandoned-abandoned notification device notifies the surroundings in stages, such as notifying a third party or an organization, thereby reducing the risk of an abandoned-abandoned accident.
  • the abandonment notification device can instill in the first person an awareness of preventing accidents caused by abandonment.
  • the notification unit receives a remote instruction from the first person, receives a request from a third person or organization, or if a predetermined time has passed after notification to the third person or organization When at least one of the conditions is satisfied, control is performed so that the lock for accessing the space is unlocked, and the first person is notified that the lock has been unlocked.
  • the abandoned notification device carries out the unlocking process after the notification of the institution, etc., so that there is a risk that a third party will know that the person has been left behind, and that the third party will come into contact with the living body.
  • the abandonment notification device can instill in the first person the awareness that he/she should not be left behind.
  • the display control unit records the interior and surroundings of the space and controls to display the recorded information on the terminal device used by the first person.
  • the abandoned notification device provides the first person with the photographed image, thereby making it possible to notify the first person whether there is any problem in the space after unlocking.
  • the captured video need not be limited to the first person, and may be transmitted to, for example, an emergency call destination.
  • the acquisition unit acquires the state of the living body located in the space after the lock for accessing the space is unlocked.
  • the notification unit notifies the institution to request rescue of the living body based on the condition of the living body.
  • the abandonment notification device requests rescue according to the condition of the living body, so that even if the living body falls into a dangerous state, prompt treatment can be performed.
  • the notification unit is configured to prompt the first person to return to the space based on the past action history of the first person. Either notify the terminal device of the notification, or notify a third person registered as an emergency contact in advance or an institution registered as an emergency contact that the living body is in space. Determine which one should be executed with priority.
  • the abandonment notification device performs step-by-step risk management processing in accordance with the action history, so that it is possible to preferentially execute measures that are presumed to be more effective for the first person.
  • the space is a vehicle including a car
  • the first person is the driver of the vehicle
  • the living body is an infant.
  • the acquisition unit acquires the condition of the infant using the second detection means installed in the vehicle at a different position from the first detection means for detecting the driver's condition.
  • the abandonment notification device can prevent infant abandonment accidents by applying the above-described notification processing to infant abandonment in a car.
  • these functions such as notification work effectively, each of them becomes a psychological risk stimulus for the user, who is the first person, and as a result, it is possible to deal with it before the function of the notification system is activated. A secondary effect of prompting the user to take action is expected.
  • FIG. 21 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the abandoned device notification device according to the present disclosure.
  • a vehicle 100 according to an embodiment will be described below as an example of an abandoned vehicle notification device according to the present disclosure.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 . Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records an abandoned notification program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 130 and the like by executing an abandoned vehicle notification program loaded on the RAM 1200 .
  • the HDD 1400 also stores an abandoned object notification program according to the present disclosure and data in the storage unit 120 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the present technology can also take the following configuration.
  • a notification unit that, when a living body located in a predetermined space is detected, notifies a first person located in the space of the detected information; an acquisition unit that acquires the state of the living body and environmental information of the space; A display device installed in the space, when the first person leaves the space, displaying risk information in the case where the living body continues to stay in the space, which is calculated based on the information acquired by the acquisition unit.
  • a display control unit that controls to display on the terminal device used by the first person; an abandoned notification device.
  • the notification unit Notifying at least one of the position where the living body is located in the space, the sleeping situation of the living body, a change in the position where the living body is located, and a change in the sleeping situation;
  • the abandoned notification device according to (1).
  • the display control unit Displaying, as the risk information, a graph that visualizes the degree of risk in a case where the living body continues to stay in a stepwise manner along the stay time of the living body in the space; The abandoned notification device according to (1) or (2) above.
  • the display control unit displaying the graph visualizing the degree of risk based on the temperature change in the space, which is calculated based on the environmental information acquired by the acquisition unit;
  • the abandoned notification device according to (3) above.
  • the display control unit displaying, as the risk information, the graph in which the degree of risk is visualized step by step based on attributes according to the age or physique of the living body;
  • the abandoned notification device according to any one of (3) and (4) above.
  • the display control unit Displaying the graph including, as the risk information, an estimated elapsed time from when the first person leaves the space until it returns, and the degree of risk in the estimated elapsed time;
  • the abandoned notification device according to any one of (3) to (5).
  • the display control unit When a second person different from the first person is present in the space together with the living body, different risk information is displayed than when the second person is not present.
  • the abandoned notification device according to any one of (1) to (6).
  • the acquisition unit When it is detected that the environmental information of the space has changed beyond a predetermined range when a predetermined time has passed after the first person leaves the space, a mechanism for maintaining the environment of the space is provided. activate, The abandoned notification device according to any one of (1) to (7). (9) The notification unit Notifying the terminal device of a notification to prompt the first person to return to the space when a predetermined time has elapsed after the first person has left the space; The abandoned notification device according to any one of (1) to (8).
  • the acquisition unit When the first person leaves the space, the distance to the destination to which the first person leaves the space and the attribute of the destination are acquired;
  • the notification unit Based on the distance to the destination and the attributes of the destination, an estimated elapsed time from when the first person leaves the space to when the first person returns is calculated, and when the first person leaves the space. After the estimated elapsed time has elapsed, notifying the terminal device of a notification to prompt the first person to return to the space;
  • the abandoned notification device according to (9).
  • the notification unit When a predetermined period of time has elapsed after sending a notification prompting the user to return to the space, when a response from the first person to the notification cannot be confirmed, or when an abnormality in the living body is detected.
  • the notification unit After the first person leaves the space, when a remote instruction is received from the first person, an alarm is issued to the outside of the space.
  • the abandoned notification device according to any one of (9) to (11).
  • the notification unit When a predetermined time elapses after the first person leaves the space, the biometric is sent to a third person registered in advance as an emergency contact or an institution registered as an emergency contact. is located in said space, The abandoned notification device according to any one of (1) to (12).
  • the notification unit When a remote instruction is received from the first person, when a request is received from the third person or the institution, or when a predetermined time has passed after notification to the third person or the institution If at least one of the conditions is satisfied, control to unlock the lock for accessing the space, and notify the first person that the lock has been unlocked;
  • the abandoned notification device according to (13).
  • the display control unit When the lock for accessing the space is unlocked, the inside and the surroundings of the space are recorded, and the recorded information is controlled to be displayed on the terminal device used by the first person.
  • the abandoned notification device according to (14).
  • the notification unit When a predetermined period of time has elapsed after the first person has left the space, a notification is provided to prompt the first person to return to the space based on the past action history of the first person. Either notify the terminal device, or notify a third person registered in advance as an emergency contact or an institution registered as an emergency contact that the living body is located in the space, determine which of the The abandoned notification device according to any one of (1) to (16).
  • the space is a vehicle including an automobile, the first person is a driver of the vehicle, the living organism is an infant,
  • the acquisition unit acquires the state of the infant using a second detection means installed in a position different from the first detection means for detecting the state of the driver in the vehicle.
  • the abandoned notification device according to any one of (1) to (17).
  • the computer when a living body located in a predetermined space is detected, notifying a first person located in the space of the detected information; Acquiring the state of the living body and environmental information of the space; When the first person leaves the space, the risk information calculated based on the acquired information is displayed on a display device installed in the space or on the first person.
  • Abandonment notification methods including: (20) the computer, a notification unit that, when a living body located in a predetermined space is detected, notifies a first person located in the space of the detected information; an acquisition unit that acquires the state of the living body and environmental information of the space; A display device installed in the space, when the first person leaves the space, displaying risk information in the case where the living body continues to stay in the space, which is calculated based on the information acquired by the acquisition unit.
  • a display control unit that controls to display on the terminal device used by the first person; Abandoned notification program to function as.
  • communication base station 50 terminal 100 vehicle 110 communication unit 120 storage unit 130 control unit 131 detection unit 132 notification unit 133 acquisition unit 134 display control unit 140 detection unit 145 display unit 150 cloud server

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本開示に係る置き去り通知装置(100)は、所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部(132)と、前記生体の状態および当該空間の環境情報を取得する取得部(133)と、前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部(134)と、を備える。

Description

置き去り通知装置、置き去り通知方法および置き去り通知プログラム
 本開示は、車内に置き去りされた子どもやペット等を検出し、検出結果を通知する置き去り通知装置、置き去り通知方法および置き去り通知プログラムに関する。
 車両内に子どもやペットが置き去りされ、真夏など厳しい環境下にさらされて死亡事故に繋がる事例があり、国内外をとわず社会問題とされている。
 この問題に関連して、車両内に存在する人を検知するセンサを備え、センサ信号に基づいて車両内の人の置き去りを検出し、検出した位置に応じて置き去りに対応する車両への制御を決定する技術が知られている。
特開2020-4242号公報
 しかしながら、車両内の置き去りによる事故を防止するためには、様々な課題がある。例えば、置き去り検出に万能性を求めると専用機器の搭載が必要となり、車両購入者にとってコスト増になる。また、キャビン前方に配置したカメラ等の検出機器によって、常時正確に車両の後部座席等に置かれた子どもの状態を捉えるのは難しい。例えば、カメラの視野角から座席等の陰に子どもが隠れることを避けるには、充分な視野角が確保可能な専用配置が不可欠となるなどの制約がある。
 また、置き去りの事故発生要因には、大きく分けて二つのケースが多く見られる。1つには、普段のルーチンとは異なる行動が発生することによるもので、例えば、普段なら母親が子どもを幼稚園に送るところを、通勤途中の父親が代わりに送ることになった場合等である。このような非日常のパターンが発生すると、父親がうっかりそのまま普段通りに出勤をして、結果的に、車両内に子どもが置き去りにされてしまうおそれがある。また、2つ目のケースは、短時間の用事であるからと故意に意図して一時的に置き去りが行われ、運転手が結果的に用事に気を取られ、子どもを長時間車両内に置き去りにしてしまうようなケースである。特に後者は、置き去り状態におけるリスクを忘れて事故に繋がるため、置き去りそのものの検出よりも、その警報や注意対処の運用が最大の課題といえる。その背景には、人間のリスクに対する行動心理が大きく関わっている。リスクや、リスクをとった際の影響がどれほど大きいか等が、置き去り対処のための記憶を呼び覚ます重みとなり作用するからである。
 そこで、本開示では、置き去りを検知するとともに、その対処について適切に通知することのできる置き去り通知装置、置き去り通知方法および置き去り通知プログラムを提案する。
 上記の課題を解決するために、本開示に係る一形態の置き去り通知装置は、所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部と、前記生体の状態および当該空間の環境情報を取得する取得部と、前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部と、を備える。
実施形態に係る車両の断面図である。 実施形態に係る車両が備える表示部を示す図である。 実施形態に係る処理の流れを示すフローチャート(1)である。 実施形態に係る処理の流れを示すフローチャート(2)である。 実施形態に係る処理の流れを示すフローチャート(3)である。 実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理システムの構成例を示すブロック図である。 実施形態に係る情報処理システムにおける通信処理の一例を示す図である。 実施形態に係る情報処理システムの処理の流れを示すフローチャート(1)である。 実施形態に係る情報処理システムの処理の流れを示すフローチャート(2)である。 実施形態に係る車両の構成例を示す図である。 実施形態に係るユーザ情報記憶部の一例を示す図である。 実施形態に係るリスク管理記憶部の一例を示す図である。 実施形態に係るリスク評価処理を説明する図である。 実施形態に係る検出処理を説明する図(1)である。 実施形態に係る検出処理を説明する図(2)である。 実施形態に係る表示制御処理を説明する図(1)である。 実施形態に係る表示制御処理を説明する図(2)である。 実施形態に係る表示制御処理を説明する図(3)である。 本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術が適用され得る車両制御システムによるセンシング領域の例を示す図である。 本開示に係る置き去り通知装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
  1.実施形態
   1-1.本開示に係る情報処理の前提
   1-2.実施形態に係る情報処理の概要
   1-3.実施形態に係る情報処理の手順
   1-4.実施形態に係る情報処理システムの構成例
   1-5.実施形態に係る車両の構成例
   1-6.実施形態に係る変形例
  2.その他の実施形態
   2-1.移動体の構成
   2-2.その他
  3.本開示に係る置き去り通知装置の効果
  4.ハードウェア構成
(1.実施形態)
(1-1.本開示に係る情報処理の前提)
 本開示の実施形態に係る情報処理は、所定の閉鎖空間において、幼児など自身では身の危険を知らせることが難しい生体が取り残された場合に、かかる生体を検出および危険を通知するものである。
 近年、真夏の炎天下で車両の中に子供や幼児等が置き去りになることで起こる死亡事故が多く報告されている。このような子供の置き去り事故を防ぐために、車両内の幼児等の検出機器の搭載が広く論議され、小幼児検出機器の導入の必要性が提唱されている。
 本開示に係る情報処理は、子供の置き去りで起こる熱中症事故等を予防するための機能を、車両利用者に対するリスク判断視点でとらえ、過去の利用者の実績と、段階的にリスクを可視化して通知をする工夫とで、重大事故を予防するものである。
 本開示に係る情報処理は、検出機器の性能そのものではなく、一連の通知機能に焦点を置く。それは、以下の事由による。まず、置き去り事故は、大きく分けて3種類の事故に分類する事ができる。1つめは、親が全く気付かない状況で、子供が車内に遊びで入り込み、ドアの開け方を知らないために閉じ込められて起こる事故である。2つめは、運転手が考え事や何かしらの別の作業に追われた中で車両を降車することで、子供を車室内にうっかり残して、仕事等に没頭し長時間車内に子供が残っていることで発生する事故である。3つめは、親等が、用事のついでに車両を止めてその間一時の短期的要件を済ませるために、子供を車内に意識的に残して車両を離れることにより発生する事故である。この場合、親は、素早く買い物をするつもりや、注文済みの物を路面店でピックアップするつもりで車を少しの時間だけ車両を離れるつもりであったものの、用事等が長引いて結果的に長時間にわたり子供を車に残すことになる。そして、その間に急激に車室内の温度が上昇し、車両に置き去りになっている幼児が熱中症等の症状に陥ることで、重大な事故が発生する。
 事故予防の観点で重要となるのは、上記の2つめや3つめのケースのように、我が子が車内にいることに親が気づかない事が課題ではない点である。すなわち、意識的に子供を残して車を一時的に離れて用事を済ませたい親にとって、子供を一時的に残すことができない安全装備の仕組みは、実用的な観点で余計なお節介で邪魔な機能と見なされるという大きな課題を残す。親は、子供の面倒を見ないといけない状況に置かれると、例えば両手を用いるタスクである荷物の送搬入などを行う事が難しくなる。具体的には、親は、路面店の前に駐車して簡単に品物を引き取るといった、「素早く」店に立ち寄る類の買い物や用事をこなすことがやりにくくなる。このように、意図して親が車両に幼児を残して一時的に離れるケースは多くあるため、単純な置き去りで直ちに警報などのアラームを出すシステムでは、人間工学的に見てアラームが形骸化してしまい、置き去り事故に対し、必ずしも効果的に高い継続的な予防効果が期待できなくなるおそれがある。
 そこで、本開示の情報処理は、車両に設置して幼児等を検出する検出機器そのものの性能と合わせて、いかにして親が子供を車両に残すことのリスクを直感的かつ階層的にとらえられるか、また、いかにして対処できるかを人間工学的視点でとらえてなされるものである。すなわち、本開示の情報処理は、親がリスクを選択する際の行動判断、また、親がリスクを正しく把握するための一連の仕組みを構成する。例えば、本開示の情報処理は、多様な状況下で意図的に子供を残したり、あるいは意図せず置き去りしたりして発生する事故を防ぐよう、親の行動判断に働きかける周知手段を含む。具体的には、本開示の情報処理は、単純な置き去り経過時間に対する警報のエスカレーションや、車両から離れた距離等に対するエスカレーションではなく、利用者が幼児を車両に残すことで起こるリスクが状況によりどれだけ高まるか、を直感的に把握できるHMI(Human Machine Interface)を提供する。
 人が何かしらの行動判断を行う際には判断となる基準が必要あり、またそのための情報が必要である。通常、人は日常生活で様々な情報にさらされているが、重要なことは、その中から必要とされる重要度の高い情報を、限られた行動判断に用いる記録領域、いわゆるワーキングメモリ(Working Memory)に対して作用させることができ、結果的に適切なリスク対策処置ができるか、である。特に、直近のリスクとして感覚的に捉えにくい事象に対してのリスク回避は、後回しになる傾向がある。例えば、優先事項の高い行動や思考に関連する記憶がワーキングメモリの多くを占有している状況では、重要視されない事柄に関連した記憶が薄れ、忘れる可能性が高まる。このため、たとえ法律等によって、用事をこなすために車両へ子供を一時的に残すことを禁止したとしても、直接的に罰金を受けるような状況を可視化できない場合、その規定が形骸化するおそれがある。例えば、親は、片手では持てない荷物を引き取るのに手を繋がないと子供の安全が担保されない状況であれば、子供をリスクに直接的な晒すことを選ぶよりは、子供を車に残して荷物を受ける方が安全な対処と判断しかねない。
 人の作業記憶容量は限られており、危険等のリスク度合いに応じた重み付けで記憶を呼び覚ますが、リスクが低いと感じ取ったそれまでの入力情報は強く作用せず、他に優先する目先の事象にとらわれるおそれがある。すなわち、人は、途中対処が必要でも、本人の捉えた重要性(リスクとなる感覚)が薄ければ、ワーキングメモリに強く呼び覚まされる事がないか、あるいは、僅かに注意や課題に対する意識を戻す刺激を受けても、その情報がリスクとなる記憶を呼び戻すことができない事にもなる。
 つまり、車に幼児を残して荷の引き取りを優先する事が、利用者にとってどれ程の実際のリスクとなるか、判断が出来る材料を明示された上で選択をする状況となれば、親は、例えば幼児を残す選択ではなく、一旦幼児と一緒に車両を離れる判断をとりうる。例えば、親は、店員等に一時的に幼児の面倒を見て貰い、その間に荷物を先に車両に移載してから、改めて一旦預けた幼児を引き取るなどのリスク回避がとれる。
 本開示に係る情報処理による事故予防策は、単に車両に幼児が残っていることを検出して警報を鳴らすのではなく、車両に幼児等が乗車したことを検知すると、後部座席に乗っているか等を検出し、検出した情報を親等の運転手に通知する。さらに、本開示に係る情報処理は、車両内に幼児が残る可能性があれば通知し、通知を利用者が認識している事をさらに確認し、後で実際に幼児を降車させたか否かを判定する。そして、本開示に係る情報処理は、その後にリスクを段階的に運転手に通知し、さらに必要な対処が遅れそう場合には、ドアロックの自動解除や第三者への緊急発信など、合わせて段階的救済策を織り込むものである。
 なお、利用者が適切な復帰対策を行った際の救済策は、その実行自体を目的とするのではなく、この通知の仕組みの実装影響の効果は、それら実行が進むと、車両周囲にいる人にクラクション等の通知が鳴り響き注目される点にある。これは、例えば、運転手が車両に戻った際の恥ずかしさ、周囲の他人にとがめられるリスク、SOS発信先として登録された二次通報先(家族等)への連絡が通報されるなどを意味する。また、他のリスクとして、家族や周囲の身内から後日にとがめられるリスクや、危険性を感じる家族から幼児の車両への乗車時に適切な保護を託されなくなるリスク、置き去り事故を回避する目的でドアロック解除された際に不審な第三者が幼児に近接するリスク、救急当局等にSOS発信されることで保護責任など刑事罰を受けるリスクなど、各種段階的な対策が自動でシステムによって進められるなかで顕在化するリスクがある。
 結果として、車両に戻った利用者は、幼児を置き去りの無責任さから社会に周囲から批判されという心理的な負担として圧し掛かることが行動判断心理に作用する。このように、子供を車両に残すことの心理的なリスク負荷として記憶に作用することで、一時的にワーキングメモリを多く占有する思考の浮遊が発生した場合であっても、車両に幼児がいる記憶が著しく低下するのを防ぐことが可能となり、置き去り事故が発生する確率を抑制できる。
 更には、利用者が車両に戻るにしても、遅れた場合には車両に辿り付く前にドアロック解除が強制的にされるとなれば、直接的な幼児の長期放置を防ぐのみならず、車両内の物品盗難、置いてきた幼児の誘拐などの更なる危険に晒される。このことから、利用者には、通常のリスク判断行動心理の、それらリスクが直感的に判断心理に働く事で、車両に残した事を忘れることの状況認識(Situation Awareness)欠落に陥ることの回避が期待される。
 上述してきたように、従来の幼児置き去り事故防止機能とは、車両内の幼児等の有無を検出して運転手に単純に知らせる機能であり、置き去り事故に繋がる背景(親が意図して車に子供を残している等)から求められる対策としては、実情に必ずしもマッチしていなかった。運転手が、車両に幼児を残して離れる理由は様々であり、もちろん車両に幼児を残さないことが最善の対策といえようが、通知をするだけでは対策とならない場合が多い。理由としては、意図して幼児を車両に残している利用者にとっては、わざわざ通知を受ける事にはリスクの捉え方では違いがないからである。
 そこで、本開示に係る情報処理では、以下に説明する処理を段階的に実行する。前提として、幼児の置き去り事故には、幼児の存在を親が認識していない場合と、親が意図して車両に幼児を残す場合との大きく2種類に大別され、親が降車時のリスクをどのように判断するかが影響する。親は、幼児を車に残した事が直感的に明示的なリスクとして分からない事で、安易な判断をして、結果として悲惨な事故に繋がるケースが多いのが実態である。
 すなわち、仕組みとしてリスク感覚を適正化することが重要であり、本開示に係る情報処理では、意識判断が階層的に行われ、間違った一時の判断で取り返しの付かない熱中症等の死亡事故に繋がるのを防ぐものである。
 具体的には、本開示に係る情報処理は、(1-1)車室内への幼児の連れ込み有無について検出し、(1-2)あるいは親が意図せずとも、子供が遊びの延長で無人の車に忍び込んだり、こっそりと乗り込んだりしたことを検出した場合、運転手にテル・テール(tell tale)やスマホのアプリ等に検出結果を通知する。(2)その後に幼児の車両内の継続滞在を観測し、幼児が車室内にいることをリマインド通知する。(3)親等の降車時に幼児が連れ出されるかの下車確認をし、子供を降車させないで下車する場合には注意喚起を通知する。(4)降車時に置き去り選択をしたかどうかを確認する。なお、置き去り選択をしていない場合(意図した置き去りでない場合)、一定時間が経過すると、強制的に車両がクラクション等を鳴らして周囲に通知する。これにより、親は、羞恥の気持ちを抱いたり、過失や罰則を意識したりするので、今後の置き去りが抑制される。置き去りの確認操作が行われることで、記憶へのリスクとしての刷り込みがなされる。
 本開示に係る情報処理では、(4)の置き去り選択の際に、同地域の外気温や天気予報、注意予報の通知、例年のその時期の幼児死亡人数、車室内の温度上昇の推測グラフ、危険状況到達時間の明示的マーク等を表示してもよい。さらに、過去の履歴に基づいて、置き去りしたことを忘れやすい利用者に対しては、過去に発生したリスクを再通知してもよい。また、(5)置き去りを忘れた場合に、緊急予備通知の電話番号登録への呼び出し確認をする(家族や警察や消防当局)。(6)タイマーに応じて、車両ドアロックを自動解除(ロックセンチネル解除)する。(7)リモートで車室内カメラ画像を外部に伝送する、外部にSOSの自動送信をする。(8)クラクション、再入庫禁止、出庫の届け出完了までロックする。(9)アプリと組み合わせた運用を設定する事で、降車時警報や規定タイマー警報よりは時間延長が可能な設定を許容する一方で、その操作を通して利用者に戻るタイムリミットを周知する。
 本開示に係る情報処理は、以上のような一連の段階的な処理をふむことで、リスク判断する情報を階層的に親や運転手に提供する。従来の幼児置き去り対策の仕組みは、車両内に幼児が残っていることを検出して単純に幾つかの方法で通知すること等が基本となるが、そのような単純な通知は、利用者個人の働き掛けのないまま機械的に行われても、利用者にとってリスクに対する重み付けを成した判断を左右する刺激とはならない。一方、本開示に係る情報処理は、異なる階層の状況に応じて視覚的、聴覚的、ハプティックス的な複数階層の刺激を断続的に与えるので、リスクに対する記憶作用が持続的に働き、たとえ車両を降車して幼児を車両に残しても、車両に残した幼児に及ぶリスクが異なる側面からリスク感覚が起こり、記憶を呼び起こさせる効果をもたらす。
 人の記憶は有限であり、行動をしている範囲の事柄に最大限の注意を払いつつも予定として組み込んだ用事等を忘れずにこなすには、その用事が関連した記憶を多く持っている分、忘れにくく作用する。本開示に係る情報処理は、このように、車の利用者が早期の復帰必要性を念頭に置く重要な仕組みとして作用し、無理な長期の幼児車両内置き去りを予防する事が期待される。
(1-2.実施形態に係る情報処理の概要)
 以上、本開示に係る情報処理の前提を説明した。次に、図1乃至図5を用いて、本開示の実施形態に係る情報処理の概要を説明する。本開示の実施形態に係る情報処理は、所定の閉鎖空間において、幼児など自身では身の危険を知らせることが難しい生体が取り残された場合に、かかる生体を検出したうえで、その危険を段階的に通知するものである。
 実施形態では、所定の閉鎖空間の一例として自動車である車両100を、車両100に幼児等の生体を取り残す主体の一例として運転手10を、車両100に取り残される生体の一例として幼児20を、それぞれ例に挙げる。すなわち、実施形態では、車両100に車両100を運転する運転手10と、幼児20とが同乗している状況を例に挙げる。図1は、実施形態に係る車両100の断面図である。
 運転手10は、幼児20の親あるいは保護者等である。幼児20は、運転手10によって保護される子供であり、自身では助けを呼んだり、ドアロック解除等を行うことができない年齢の子供である。
 車両100は、本開示に係る置き去り通知装置の一例であり、後述する各種機能部を動作することにより、実施形態に係る情報処理(置き去り通知処理)を実行する。図1に示すように、車両100は、カメラ201およびカメラ202を備える。
 カメラ201およびカメラ202は、例えばToF((Time of Flight)センサを備える深度センサ付きカメラである。カメラ201やカメラ202は、車両100の前方や、天井、後部座席等に備えられることで、車両100の内部に所在する生体を死角なく検出可能である。なお、カメラ201およびカメラ202は、ミリ波による生体信号検出等の各種機能を備えてもよい。例えば、カメラ201およびカメラ202は、幼児20が隠れがちな足元スペース(footwell)203の範囲についても、幼児20の検出が可能である。なお、幼児を検出する機器は、必ずしも幼児の置き去り検出に特化した用途に限定して設置する必要はない。走行中に後部座席にいる幼児が寝ていたり、おとなしく起きたまま座っていたり、気になる様子を直接画像として運転手10が見られるようにすることで安心感を与えるといった、利便性用途のカメラ表示機能を組み込んで運用をしてもよい。
 車両100は、走行中、定期的に幼児20の状況を検出し、検出した情報を運転手10に通知する。例えば、車両100は、カメラ201やカメラ202により撮影された幼児20の状態をフロントパネルに表示してもよいし、状態を音声で通知してもよい。これにより、運転手10は、幼児20が車両100に所在することや、寝ているか起きているかなどの状態を常に意識することになるので、幼児20の存在をうっかり忘れてしまうといった事態を防止することができる。
 また、運転手10は、自分が意図して乗せたわけではない幼児20が車両100に所在することを把握できる。例えば、運転手10は、幼児20が遊びで車両100に入り込んでいたり、運転手10に内緒で車両100に隠れていたりする事態が発生したとしても、その事態を把握できる。
 なお、図1での図示は省略するが、車両100は、車内および外部の温度や湿度、今後の天気の動向、車内温度の上昇予測等を検知するセンサを備え、各種の環境情報を取得可能である。かかる環境情報は、後述する検出および通知処理等に利用される。
 次に、図2を用いて、車両100が表示するリスク情報について説明する。図2は、実施形態に係る車両100が備える表示部145を示す図である。表示部145は、車両100のフロントパネル等に備えられるディスプレイであり、各種情報を表示する。
 例えば、車両100は、運転手10が降車する際に幼児20を車内に取り残そうとする場合、取得した環境情報に基づいて、リスク通知グラフ204を表示する。
 リスク通知グラフ204は、車両100が運転手10に提供するリスク情報の一例である。例えば、リスク通知グラフ204は、運転手10が車両100を離れてからの経過時間に沿って、車両100に取り残される幼児20のリスクを表示するものである。
 具体的には、リスク通知グラフ204は、車両100内部の温度上昇が10℃以内である第1範囲205と、温度上昇が20℃以内である第2範囲206と、運転手10が車両100に戻ってくると推測される時間を示す第3範囲207と、温度上昇が30℃を超える第3範囲208とを含む。
 車両100は、駐車した場合など運転手10が降車しようとしたと判定すると、ナビゲーションシステムに登録された目的地等に基づき、運転手10が車両を離れて戻ってくるまでの時間を算出する。また、車両100は、車内温度および外部環境等に基づき、車両100の内部の温度が時間に沿ってどのように上昇するかを推定する。そして、車両100は、これらの情報をまとめてリスク通知グラフ204として表示する。これにより、車両100は、幼児20を車両100に取り残した場合にどれくらいのリスクが生じるかという情報を運転手10に一目で把握させることができる。なお、車両100は、リスク通知グラフ204を運転手10が利用するスマートフォン等の端末装置に送信し、端末装置上でリスク通知グラフ204を表示させてもよい。
 また、リスク通知グラフ204は、運転手10が車両100に戻ってくるまでのカウントダウンタイマーとしても機能する。例えば、リスク通知グラフ204は、時間の経過とともに、第1範囲205を表示している範囲が消去していき、徐々に濃い色彩を有する第2範囲206、第3範囲208の占める割合が高くなっていく。これにより、端末装置等でリスク通知グラフ204を確認した運転手10は、早く車両100に戻るための動機付けを与えられることになる。なお、これらリスク情報は、リスクがあるからといって、常時、運転手10が利用するスマートフォン等の端末装置のスクリーン画面に優先順位を上げて表示をし続けることを要しない。これらの表示がアプリ利用者にとって煩わしいと判断されると、アプリによる通知を強制的に止めてしまう事態を招きかねないからである。そのため、例えば、当該アプリは、セキュリティのために画面がロックされている状態で、運転手10がセキュリティ解除操作を行うまでの間に一時的に注意喚起をする形態の表示を行うなど、利用者に煩わしさを感じさせない態様で表示を行ってもよい。
 このように、車両100は、運転手10の降車前から常に幼児20の存在を意識させ、また幼児20を取り残した場合のリスク情報を表示することで、運転手10にリスクを意識させる。さらに、車両100は、運転手10に降車後に、段階的に各種処理を行うことで、置き去り事故が発生することを防止する。以下、図3乃至図5を用いて、車両100が実行する情報処理の流れについて説明する。
(1-3.実施形態に係る情報処理の手順)
 まず、図3を用いて、実施形態に係る処理の全体の流れを説明する。図3は、実施形態に係る処理の流れを示すフローチャート(1)である。
 図3に示すように、車両100は、運転手10以外に車両100内に所在する生体(例えば幼児20等)を検出する(ステップS101)。具体的には、車両100は、カメラ201やカメラ202等の深度カメラ、ミリ波レーダによる検出、RF(radio frequency)波を用いた検知等、種々の検出処理を行う。また、車両100は、幼児20がどのような姿勢でいるか(寝ているか、起きているか)を判定するために、姿勢検出処理(posture把握のための信号検出等)を行ってもよい。このとき、車両100は、幼児20の体調の悪化などに対して的確な判定を行うため、より正確な状態検出を試みてもよい。例えば、車両100は、映像のサンプリングレートを高めるなど、高い動作周波数でセンサを作動することができる。この場合、センサに関する消費電力が上がる可能性もあるが、車両100は、在不在確認等の定常時動作と、より詳細な脈波等の生体情報検出をする場合等を動的に変化させることで、それを抑制できる。例えば、車両100は、生体の評価を行うために特定期間でサンプリングレートを引き上げて、呼吸サイクルや脈波などの身体挙動評価をし、その結果に応じてセンサの感度を動的に変化させる。あるいは、車両100は、呼吸や脈波等の詳細生体評価が不要な場合は、数分おきの時間間隔Tを隔て、その検出差分の変化をもとに状態変化を判定してもよい。例えば、後部座席にいる幼児20を精度よく検出するには、検出器の車室内設置配置を幼児20が確認できる位置として図1に図示する車両ルーフ中央寄りのチャイルドシートがある空間に配置するようカメラ202を配し、運転者監視に適したカメラ201と異なる配置をする。これにより、幼児20をカメラ202で、車両の運転手をカメラ201でそれぞれ精度よく検出できる。
 車両100は、幼児20を検出したか否かを判定する(ステップS102)。幼児20が検出されない場合(ステップS102;No)、車両100は、幼児20の検出を継続する。かかる処理は、車両100の走行中に限らず、幼児20が誤って乗り込んできたことを検出するため、停止中にも継続されていてもよい。
 幼児20が検出された場合(ステップS102;Yes)、車両100は、幼児20の存在を運転手10に通知する(ステップS103)。このとき、車両100は、保護者である運転手10に連れだって乗車した幼児20以外に生体が検出されている場合、その旨を車両100の発進前等に運転手10に通知してもよい。これにより、運転手10は、自分が存在を意識しない生体(幼児20とは異なる別の子供等)を把握できるので、その生体が置き去りにされることを抑止できる。
 車両100は、走行中、幼児20の状態をトラッキングし、その状態の通知を継続する(ステップS104)。これにより、車両100は、運転手10に幼児20の存在を定期的に意識させる。また、車両100は、幼児20の検出と並行して、外気温等の環境情報を取得する(ステップS105)。
 走行中、車両100は、運転手10の意識度合いを評価してもよい(ステップS106)。例えば、車両100は、運転手10が幼児20の存在を確認しようとしているか(例えば、バックミラー等で幼児20の状態を目視しているか等)をカメラ201等を用いて判定する。幼児20への関心が低い場合、運転手10が降車時に幼児20を取り残したことを忘れる可能性が高いため、車両100は、リスクが通常より高いと判定して、後述するリスク対策処理を行ってもよい。なお、意識度合いの評価手法(運転手10による幼児20の確認方法)は、バックミラー等に限定されず、例えば後部座席の幼児着座位置を包含するカメラ画像や、他の用途の表示機器の表示であってもよい。
 続いて、車両100は、運転手10が中継地もしくは目的地に到着したか否かを判定する(ステップS107)。中継地もしくは目的地に到着していない場合(ステップS107;No)、車両100は、幼児20の状態の検知や運転手10への通知、環境情報の取得等を継続する。
 一方、中継地もしくは目的地に到着したと判定した場合(ステップS107;Yes)、車両100は、車両100に同乗しているすべての生体が降車したか否かを判定する(ステップS108)。すべての生体が降車したと判定した場合(ステップS108;Yes)、車両100は、後述する置き去り防止処理を実行する必要がないことから、見守り処理の一つのイベントが終了したと判定する(ステップS110)。この場合、車両100は、電力消費等を抑えたセーフモードにて、車内に幼児20等が誤って入り込んでいないか等を検出する処理を継続してもよい。
 一方、すべての生体が降車していないと判定した場合(ステップS108;No)、すなわち、いずれかの生体が車両100に取り残される場合、車両100は、見守り処理を開始する(ステップS109)。
 ステップS109の詳細内容について、図4を用いて説明する。図4は、実施形態に係る処理の流れを示すフローチャート(2)である。
 図4に示すように、車両100は、降車しようとする運転手10の目的終了までの時間等のデータを収集する(ステップS201)。例えば、車両100は、運転手10が設定したドライブナビゲーションの目的地がスーパーマーケット等の小売店である場合、その店舗に滞在する人間の平均滞在時間等に基づいて、運転手10が車両100に戻ってくるまでの時間を推定する。なお、車両100は、運転手10の過去の行動履歴に基づいて、当該店舗から運転手10が戻ってくるまでの時間を推定してもよい。
 続いて、車両100は、幼児20を車両100に取り残した場合の置き去りリスクを算出する(ステップS202)。例えば、車両100は、環境情報に基づいて、車両100内部の今後の温度上昇を算出する。また、車両100は、ある気温や湿度下において、幼児20が熱中症に陥ったり、生命の危険にさらされるまでの時間を算出する。なお、車両100は、幼児20の年齢や体格等の情報を予め取得していてもよいし、カメラ201等で検出された骨格情報等に基づいて、幼児20の年齢等を推定してもよい。そして、車両100は、推定した情報に基づいて、当該年齢の子供が車両100内部に取り残された場合にどのような影響を受けるか、どのくらいの時間耐えることができるかといった情報に基づいて、リスク情報を算出する。
 車両100は、リスクを算出したのち、かかるリスクを示すタイマーを表示部145に表示する。タイマーとは、例えば、図2に示したリスク通知グラフ204である。あるいは、車両100は、運転手10が所有する端末装置にリスク通知グラフ204を通知する(ステップS203)。
 その後、車両100は、幼児20の車両100への取り残しが、運転手10による意図的な待機であるか否か判断する(ステップS204)。例えば、車両100は、運転手10に対して確認メッセージを通知し、降車時に幼児20の存在を忘れていないか、意図して車両100に残していくのか、を運転手10に判断させる。
 運転手10による意図的な待機であると判断できない場合(ステップS204;No)、車両100は、確認を継続する。例えば、意図的な待機であると判断されないまま運転手10が車両100を離れた場合、車両100は、確認メッセージを端末装置に転送する等の処理を行い、運転手10に幼児20の存在を通知することを継続する。
 一方、運転手10による意図的な待機であると判断された場合(ステップS204;Yes)、車両100は、運転手10が降車したことを検出する(ステップS205)。例えば、車両100は、カメラ201等が撮影する映像に基づいて、運転手10の降車を検出する。
 その後、車両100は、車両100内部に幼児20を見守る同乗者がいるか否かを判定する(ステップS206)。例えば、車両100は、幼児20よりも体格の大きな同乗者(他の保護者や、高学年の児童等)が検出された場合、幼児20を見守る同乗者がいると判定する(ステップS206;Yes)。
 この場合、車両100は、後述するリスク管理をただちに行わず、車両100内部で何らかの異常が検出されたか否かを判定する(ステップS207)。例えば、車両100は、エアコンが動作しているにもかかわらず車室に温度が上昇していることや、幼児20が泣き叫んでいることや、幼児20の体温が上昇していること等の異常を検出すると(ステップS207;Yes)、後述するリスク管理処理を行う。一方、異常を検出しない場合(ステップS207;No)、車両100は、異常が検出されるまでは待機する。
 また、車両100は、幼児20のほかに同乗者がいない場合、あるいは、幼児20と同じような体格の幼児しか検出されず、幼児20を保護できると推定される人物がいない場合、幼児20を見守る同乗者がいないと判定する(ステップS206;No)。この場合、車両100は、リスク管理処理を実行する(ステップS208)。
 ステップS208の詳細内容について、図5を用いて説明する。図5は、実施形態に係る処理の流れを示すフローチャート(3)である。
 図5に示すように、車両100は、運転手10が降車したことに伴うドアロックを検出する(ステップS301)。そして、車両100は、前述した手法等を用いて運転手10の戻り時間を算出する(ステップS302)。これにより、車両100は、何時までに運転手10が戻ってこない場合にリスク処理を発動させるか、といったタイマーをセットすることができる。なお、車両100は、運転手10の戻り時間として推測した時間が、幼児20を危険にさらす時間である場合、その旨を運転手10に警告してもよい。例えば、車両100は、運転手10の戻り時間として推測した時刻において車内の温度上昇が所定温度を超えると予測される場合や、温度上昇を加味せずとも幼児20の年齢的に長時間の滞在が危険と推測される場合などに、その旨を運転手10に警告する。
 続けて、車両100は、リスク通知グラフ204で示されるようなカウントダウンタイマーを開始する(ステップS303)。この後の車両100と運転手10とのやりとりは、運転手10が所有する端末装置等を介して行われる。車両100は、戻り時間が経過する前であっても、一定時間ごとに、端末装置に対してリマインドのための通知(警報を鳴らす等)を行ってもよい。
 続けて、車両100は、リスク周知のための警報発信準備を行う(ステップS304)。なお、ステップS207において異常が検出された場合も、車両100は、同様にリスク周知のための警報発信準備を行う。
 例えば、車両100は、運転手10から緊急サルベージのリクエストを受け付けたか否かを判定する(ステップS305)。緊急サルベージとは、運転手10に何らかのトラブルが発生し、予定時刻までに車両100に戻れないような事態に陥った場合に、運転手10が明示的に周囲に幼児20の救出を依頼するものである。例えば、運転手10は、スマートフォンの端末装置を操作し、予め設定された緊急サルベージリクエストを車両100に送信することで、緊急サルベージを発動させる。
 運転手10から緊急サルベージのリクエストを受け付けた場合(ステップS305;Yes)、車両100は、周囲への強制的な周知処理を実行する(ステップS306)。例えば、車両100は、警報(クラクション等)を鳴らしたり、点滅する光等を利用したりして、幼児20を救出してほしい旨を周囲に知らせる。
 一方、運転手10から緊急サルベージのリクエストを受け付けていない場合(ステップS305;No)、車両100は、リスク管理条件を満たしたか否かを判定する(ステップS307)。例えば、リスク管理条件とは、運転手10が戻り予測時間のうち所定割合(例えば8割など)を経過したのに車両100に戻ってこない場合や、戻り予測時間の半分を経過したため運転手10に車両100に戻る旨のメッセージを通知したのにもかかわらず返信がない場合等である。なお、リスク管理条件は、予め運転手10によって設定されていてもよいし、車両100を管理する管理者等により任意に設定されてもよい。
 リスク管理条件を満たした場合(ステップS307;Yes)、車両100は、リスク管理条件と合わせて設定されているリスク対策処理を実行する。例えば、車両100は、予め登録された家族や、当該国の救急当局等へSOS通知を発信する(ステップS308)。
 なお、リスク管理条件を満たしていない場合(ステップS307;No)、車両100は、他のリスク管理条件を満たしたか否かを判定する(ステップS309)。例えば、他のリスク管理条件とは、幼児20の体調悪化が検出された場合、幼児20が救出を望むような声を上げている場合、同乗者が助けを求めている声が検出されたような場合等である。なお、他のリスク管理条件についても、予め運転手10によって設定されていてもよいし、車両100を管理する管理者等により任意に設定されてもよい。
 他のリスク管理条件を満たした場合(ステップS309;Yes)、車両100は、当該リスク管理条件と合わせて設定されているリスク対策処理を実行する。例えば、車両100は、ドアロック解除や、ドアロック解除後の車内映像の録画情報を運転手10に送信する等の処理を行う(ステップS310)。
 車両100は、ステップS306、ステップS308、ステップS310等のリスク対策を段階的に行うことにより、運転手10に、幼児20を取り残した場合に発生するリスクをより強く意識させる。すなわち、運転手10は、早めに車両100に戻らないと、周囲に幼児20が車両100内部に取り残されていることや、家族等に幼児20を車両100に残して買い物に行ったこと等が知られるリスクを意識する。あるいは、運転手10は、早めに車両100に戻らないと、強制的にドアロックが解除されることで、不特定の第三者が救出に介入してしまうことや、誘拐や車内荒らしに遭遇するリスクを意識する。このような階層的な処理が行われることを運転手10が意識することにより、置き去りの事案を減少させたり、置き去りがあったとしても運転手10に車両100に早く戻ることを促したりするといった効果が生ずる。
 その後、車両100は、運転手10が車両100に戻ってきたか否かを判定する(ステップS311)。運転手10が車両100に戻ってきた場合(ステップS311;Yes)、車両100は、一連の見守り処理を終了する。
 一方、運転手10が車両100に戻ってきていない場合(ステップS311;No)、車両100は、現時刻がタイマーの時間内であるか否かを判定する(ステップS312)。現時刻がタイマーの時間内であれば(ステップS312;Yes)、車両100は、リスク対策処理を継続する。
 一方、現時刻がタイマーの時間を超過している場合(ステップS312;No)、車両100は、幼児20の救出のため、消防等、当該国における緊急連絡先に連絡をする(ステップS313)。これにより、車両100は、最悪の場合であっても、幼児20を車両100内部から救出するための手立てを実行することができる。
 以上、図1乃至図5を用いて説明したように、実施形態に係る車両100は、車両100内部など所定の空間に所在する幼児20が検出された場合に、検出した情報を車両100に所在する運転手10に通知する。また、車両100は、幼児20の状態および車両100の環境情報を取得し、取得した情報に基づいて算出される、幼児20が車両100に滞在を続ける場合のリスク情報(例えばリスク通知グラフ204)を、車両100から運転手10が離れる際に、表示部145や運転手10が利用する端末装置に表示するよう制御する。
 すなわち、車両100は、異なる階層の状況に応じて視覚的、聴覚的、ハプティックス的な複数階層の刺激を断続的に与えるので、運転手10のリスクに対する記憶作用を持続的に働かせることができる。具体的には、車両100は、運転手10が幼児20を車両100に残した場合に、幼児20に及ぶリスクを様々な側面から判断するためのリスク情報を運転手10に与えることで、リスク感覚を喚起させ、幼児20に関する記憶を呼び起こさせる。これにより、車両100は、幼児20が置き去りされること抑止するとともに、その対処について適切に運転手10に通知することができる。
(1-4.実施形態に係る情報処理システムの構成例)
 上述の説明では、実施形態に係る処理を車両100が実行する例を示したが、かかる処理は、実施形態に係る情報処理システム1を構成する各装置が協働して実行してもよい。図6を用いて、実施形態に係る情報処理システム1について説明する。図6は、実施形態に係る情報処理システム1の構成例を示す図である。
 ネットワークNは、情報処理システム1を構成する各装置を接続するネットワークの総称である。例えば、ネットワークNは、インターネットや携帯電話通信網等である。
 車両100は、本開示に係る置き去り通知装置の一例であり、例えば自動車等、情報処理機能を備えた移動体である。車両100は、上述した各種情報処理を実行する。
 端末50は、運転手10が所有する情報処理端末であり、例えばスマートフォンやタブレット端末、スマートウォッチ等のウェアラブルデバイスである。
 クラウドサーバ150は、車両100を管理する管理者等によって利用されるサーバ装置である。クラウドサーバ150は、例えば、各種情報を車両100に提供したり、車両100から要求を受け付け、各種情報処理を実行する。
 通信基地局40は、ネットワークNと各装置とを接続する際に通信を中継する基地局である。
 続いて、図7を用いて、情報処理システム1に含まれる各処理部や、情報処理システム1が取り扱う各種情報について説明する。図7は、実施形態に係る情報処理システム1の構成例を示すブロック図である。なお、図7に示す各ブロックは、あくまで説明のために各機構や各機能を概念的に示したものであり、各種変形を伴ってもよい。
 例えば、情報処理システム1は、ToFカメラ210や、VIS/IR(Visible/Infrared)カメラ211や、ミリ波生体信号検出器212や、乗車時の幼児検出器213等を含む。また、情報処理システム1は、人体の検出に有用な姿勢検出器(Posture Body Tracking)等を含んでもよい。これらの検出器は、例えば、図1で示したカメラ201やカメラ202に対応する。
 情報処理システム1は、これらの検出器により、幼児検出システム214を構成する。例えば、情報処理システム1は、ToFカメラ210やVIS/IRカメラ211等に撮像された幼児を画像認識すること等により、車両100内部に所在する幼児20を検出する。
 また、情報処理システム1は、各種情報として、直射日光情報220や、天候情報221や、位置情報222等を取得する。例えば、情報処理システム1は、ネットワークNを介して、当該国の気象庁が発表する環境情報や、各種天気サービスが提供する環境情報から、これらの情報を取得する。あるいは、情報処理システム1は、車両100が備える温度センサや湿度センサ等から、これらの情報を取得してもよい。
 また、情報処理システム1は、各種情報として、リスクおよび戻り時間算出器223により算出(推定)されたリスクや戻り時間を取得する。また、情報処理システム1は、グラフおよびタイマー表示生成器224により生成される可視化されたグラフや、車両100内部の温度上昇グラフや、幼児20の体温上昇グラフや、リスク通知グラフ204のような戻り時間を考慮した残時間タイマー表示等を取得する。
 情報処理システム1は、幼児検出システム214から得られた情報と、各種情報に基づいて、幼児20が取り残された際のリスクを判定するリスク判定器230を構成する。
 リスク判定器230は、可視化処理器231によってリスク通知グラフ204を可視化する。また、車両内パネル等表示装置232は、可視化されたリスク通知グラフ204を車両100の表示部145や端末50に表示するよう制御する。また、リスク判定器230は、クラクション、ライト点滅機構233を制御し、幼児20に対する危険性が高いと判定した場合、クラクションやライトを作動させる。
 また、リスク判定器230は、幼児20に対する危険性が高いと判定した場合、ドアロック解除機構244を制御し、ドアロックを解除させる。また、リスク判定器230は、車両100内部が所定温度を超えることが予測される場合等に、エアコン延長機構245を制御し、適宜、エアコンを作動させる。
 また、リスク判定器230は、幼児20が置かれた状況に応じて、外部通信機器もしくは通信基地局250との通信を行い、第三者通知251や、SOS通知等252や、運転手10の端末50等への通知253等の各種通知を発信させる。
 続いて、図8を用いて、情報処理システム1における通信処理の例を示す。図8は、実施形態に係る情報処理システム1における通信処理の一例を示す図である。
 図8に示すように、車両100は、幼児20が車両100内部に置き去りされ、所定時間が経過した場合、例えばクラウドサーバ150を介して、緊急連絡を行う。例えば、クラウドサーバ150は、車両外部通信264に基づき、汎用基地局261や汎用基地局262を介して、各種管理サーバや、当該国の消防当局へのSOS、e-callと称される自動緊急連絡を含む通知266を送信する。これにより、クラウドサーバ150は、消防等の緊急連絡室267との連絡を確立する。
 また、クラウドサーバ150は、汎用基地局261を介して、予め登録していた運転手10の家族等に通知を行ってもよい。かかる通知は、家族登録者異常検知登録サービス型等と称される。また、車両100は、汎用基地局261を介して、直接、事前登録二次通報先270に連絡を行ってもよい。かかる通知は、家族機器内登録直接通知型等と称される。事前登録二次通報先270とは、運転手10の家族や身内、信頼できる友人等であり、運転手10が予め二次通報先として登録を行うものとする。この場合、車両100は、無線回線を含む各種ネットワークや、携帯電話の無線回線を通じて、事前登録二次通報先270との連絡を確立する。
 また、車両100は、運転手10の離車の経過時間に伴うリスク推定&換算機265(例えば、図7で示したリスク判定器230に対応する)によって推定されたリスクに応じて、自動で車両外部通信264を用いて、汎用基地局262等との通信を確立してもよい。また、車両100は、ELTRES(登録商標)のような省電力無線通信を利用する場合、Eltres基地局263と通信を確立し、各種通知を行ってもよい。
 例えば、リスク通知の送信要求を受けた汎用基地局262やEltres基地局263は、運転手10が利用するスマートフォンやウェアラブルデバイス271に通知を送信する。この場合、スマートフォンやウェアラブルデバイス271には、Pin Point立ち寄り回遊型立ち寄り戻り時間推定アプリと称されるような、車両100と連動して運転手10の行動に応じた戻り時間が算出されるアプリがインストールされる。例えば、スマートフォンは、車から運転手10が離れた際の移動時間をトラッキングする処理を行う。
 以上の処理について、情報処理システム1が実行する処理の流れについて、図9Aおよび図9Bを用いて説明する。図9Aは、実施形態に係る情報処理システム1の処理の流れを示すフローチャート(1)である。なお、図3乃至図5で説明した処理と重複するものについては、説明を省略する。
 図9Aに示すように、情報処理システム1は、幼児20の検出および幼児20の状態等の通知を行う(ステップS401)。その後、情報処理システム1は、幼児20が取り残される状況の選択を行う(ステップS402)。例えば、情報処理システム1は、幼児20が取り残される状況が意図的なものであるか、あるいは、幼児20のみで残るか、運転手10とは異なる保護者等と残るか、といった状況の選択を行う。
 情報処理システム1は、ステップS402の選択を受けて、幼児20の取り残し判断を行う(ステップS403)。保護者ありとともに幼児20が取り残される場合、情報処理システム1は居残る人物を暫定的な保護者とみなし、暫定保護者による見守りが開始される(ステップS404)。また、情報処理システム1は、車両100に残る人物がいない場合、すなわち取り残しがないと判定した場合、低消費電力による見守り処理(車両100内部の検出処理等)を継続する(ステップS405)。
 幼児20のみで取り残される場合、情報処理システム1は、置き去り予防処理を開始する(ステップS406)。情報処理システム1は、車両100が備えるセンサ等を用いて、幼児20が体調を悪化させていないか等の状態変化や、環境の変化等の観測、および、通知必要性の評価を行う(ステップS407)。そして、情報処理システム1は、経過時間に沿って、情報の更新および救急通報等のリスク管理処理を行う(ステップS408)。ステップS408の処理の詳細については、図9Bを用いて後述する。
 その後、情報処理システム1は、取り残し状況が解消されたか否かを判断する(ステップS421)。取り残し状況が解消されていない場合(ステップS421;No)、情報処理システム1は、幼児20の状態変化等の観測や、リスク管理処理を継続する。一方、取り残し状況が解消された場合(ステップS421;Yes)、情報処理システム1は、運転手10の降車に伴い監視モニタリングを終了する。
 続いて、図9Bを用いて、図9AのステップS408におけるリスク管理処理の詳細について説明する。図9Bは、実施形態に係る情報処理システム1の処理の流れを示すフローチャート(2)である。
 図9Bに示すように、情報処理システム1は、経過時間に応じた車内温度情報等を観測し、リスクが増加しているステータスを判断する(ステップS411)。また、情報処理システム1は、リスク変化の評価を更新し、状態監視評価値の通知種別(どのようなリスクにおいて、どのような通知を行うか)を判定する(ステップS412)。
 そして、情報処理システム1は、ステップS411およびステップS412で得られた情報に基づいて、リスクが増加したことによる各種通知の必要性を判定する(ステップS413)。具体的には、情報処理システム1は、状況に応じて車両100のアンロック処理を行ったり、クラクション作動処理を制御する(ステップS414)。
 また、情報処理システム1は、5Gなどの端末間通知が可能な場合には、運転手10が所有するスマートフォン等に異常事態の発報ステータスを通知する(ステップS415)。なお、情報処理システム1は、4Gなど端末間通知が不可能な通信規格を用いる場合、基地局による中継を経て(ステップS416)、運転手10に通知を行ってもよい。
 また、情報処理システム1は、ELTRESや商用携帯電話網を利用する場合も、基地局による中継を経て、異常検知等をクラウドサーバ150等の管理サーバに通知してもよい(ステップS417)。例えば、情報処理システム1は、消防当局やe-callなどの救急コントロールセンター(緊急指令室)に通知する(ステップS418)。あるいは、情報処理システム1は、予め登録されていた二次通報先への通知を行う(ステップS419)。なお、これら説明した手順は一例に過ぎず、必ずしもこの手順に沿って処理を行わなくともよい。かかる手順で示したように、階層的に通知等の対処が組まれている事で、異なるリスクが運転手10等に対して視覚的や知識としての記憶を呼び覚ます刺激となり、対処が必要な記憶として作用する副次的で重要な効果をもたらす。
(1-5.実施形態に係る車両の構成例)
 次に、図10を用いて、車両100の構成について説明する。図10は、本開示の実施形態に係る車両100の構成例を示す図である。図10に示すように、車両100は、通信部110と、記憶部120と、制御部130と、検知部140と、表示部145とを有する。なお、図10に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、車両100の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
 通信部110は、例えば、ネットワークインタフェースコントローラ(Network Interface Controller)やNIC(Network Interface Card)等によって実現される。通信部110は、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインターフェイスであってもよい。また、通信部110は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部110は、無線LAN方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部110は、車両100の通信手段或いは送信手段として機能する。例えば、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、クラウドサーバ150や端末50等、他の情報処理端末等との間で情報の送受信を行う。
 記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種データを記憶する。例えば、記憶部120は、検出対象を学習した学習器(画像認識モデル)や、検出した対象物に関するデータ等を記憶してもよい。また、記憶部120は、自動運転を実行するための地図データ等を記憶してもよい。また、記憶部120は、ユーザ情報記憶部121や、リスク管理記憶部122を備える。
 図11は、実施形態に係るユーザ情報記憶部121の一例を示す図である。図11に示すように、ユーザ情報記憶部121は、「ユーザID」、「端末ID」、「通知先ID」といった項目を有する。なお、図11および図12では、記憶部120に格納される情報を「A01」のように概念的に示す場合があるが、実際には、後述する各情報が記憶部120に記憶される。
 「ユーザID」は、車両100のユーザ(例えば運転手10)を識別するための識別情報である。「端末ID」は、ユーザが利用する端末装置を識別するための識別情報である。図11に示すように、ユーザ情報記憶部121には、一人のユーザが複数の端末装置を登録してもよい。「通知先ID」は、リスク管理処理において通知を行う連絡先を識別するための識別情報である。例えば、通知先IDは、ユーザの家族や友人等の連絡先を示すための情報(端末ID、電話番号、メールアドレス等)である。なお、本開示ではユーザ情報記憶部121を車両100に搭載した想定であるが、必要なのは適格な通知先の特定であり、外部のクラウドサーバ等で管理運用して紐づけを行ってもよい。
 次に、図12を用いて、リスク管理記憶部122について説明する。図12は、実施形態に係るリスク管理記憶部122の一例を示す図である。図12に示すように、リスク管理記憶部122は、「リスク対応ID」、「条件」、「対応内容」といった項目を有する。
 「リスク対応ID」は、車両100によって段階的に実行されるリスク管理処理を識別するための識別情報である。「条件」は、リスク管理処理が発動されるための条件である。「対応内容」は、リスク管理処理として実行される具体的な内容である。
 例えば、対応内容が「スマートフォンへの通知」である場合、車両100が、運転手10が利用するスマートフォンに対して、早く車両100に戻るよう促す旨の通知をすることを意味する。また、対応内容が「外部への周知(クラクション作動等)」である場合、車両100が、クラクションを作動させたり、ライトを点滅させたりすることで、車両100内部に幼児20が取り残されていることを周囲に周知することを意味する。また、対応内容が「二次通報先等への通知」である場合、車両100は、クラウドサーバ150や基地局等を介して、登録された二次通報先に幼児20の救出のための通知をすることを意味する。また、対応内容が「ドア開錠処理等」である場合、車両100が、車両100のロックを解除するとともに、解除された旨や、解除後の車内の状況を録画した情報を運転手10に送信するなど、種々の処理を行うことを意味する。
 図10に戻り説明を続ける。検知部140は、車両100に関する各種情報を検知する。具体的には、検知部140は、車両100の周囲の環境や、車両100の所在する位置情報や、車両100と接続されている機器に関する情報等を検知する。検知部140は、各種の情報を検知するセンサと読み替えてもよい。
 例えば、検知部140は、車両100の周囲を撮像する機能を有するセンサであり、いわゆるカメラである。例えば、検知部140は、ToFカメラやステレオカメラや単眼カメラ、レンズレスカメラ等によって実現される。例えば、図1等に示したカメラ201は、検知部140の一例である。
 また、検知部140は、車両100内部や、車両100の周囲にある物体との距離を測定するためのセンサを含んでもよい。例えば、検知部140は、車両100の周辺環境の三次元的な構造を読み取るLiDAR(Light Detection and Ranging)であってもよい。LiDARは、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、物体までの距離や相対速度を検知する。また、検知部140は、ミリ波レーダを使った測距システムであってもよい。また、検知部140は、深度データを取得するためのデプスセンサを含んでもよい。
 また、検知部140は、車両100の走行情報や環境情報等を測定するためのセンサを含む。例えば、検知部140は、車両100の挙動を検知する。例えば、検知部140は、車両の加速度を検知する加速度センサや、挙動を検知するジャイロセンサ、IMU(Inertial Measurement Unit)等である。
 また、検知部140は、車両100の周囲の音を収集するマイクロフォンや、車両100の周囲の照度を検知する照度センサや、車両100の周囲の湿度を検知する湿度センサや、車両100の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
 表示部145は、各種情報を出力するための機構である。表示部145は、例えば液晶ディスプレイ等である。例えば、表示部145は、検知部140によって撮像された画像を表示したり、運転手10に提供するためのリスク情報を表示したりする。また、表示部145は、車両100を利用するユーザ等から各種操作を受け付けるための処理部を兼ねてもよい。例えば、表示部145は、キー操作やタッチパネル等を介して、各種情報の入力を受け付けてもよい。
 制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、車両100内部に記憶されたプログラム(例えば、本開示に係る置き去り通知プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
 図10に示すように、制御部130は、検出部131と、通知部132と、取得部133と、表示制御部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図10に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
 検出部131は、検知部140等を介して、車両100内部に所在する生体を検出する。具体的には、検出部131は、カメラ201やカメラ202等の各種センサを用いて、後部座席や足元スペース等に所在する幼児20を検出する。
 通常、車両100のような自動車内のモニタリングは、車両100の前方上部に備えられるバックミラー付近や、運転席前方に位置するセンサ等を用いて行われる。かかるセンサによれば、運転手10の眠気や注意力が落ちていること等を検出することに優れているものの、後部座席や足元スペースを含む車両100内部の広い範囲をモニタリングすることが困難な場合がある。実施形態に係る車両100は、図1に示すように、前方に加えて天井部等にカメラ202等を配置することで、車両100内部の広い範囲をモニタリングする。これにより、検出部131は、後部座席等に所在する幼児20を高い精度で検出することができる。例えば、検出部131は、車両100内の運転手10の状態検出用のカメラ201と異なる配置に設置された検出手段であるカメラ202を用いることで、幼児20をより高い精度で検出する。
 なお、実施形態に係る検出処理には、単に車両100内部の生体を検出する処理のみならず、生体の活動や行動、正確な所在位置、ならびに車両100内の他の人物および物体との相互作用を検出し、検出対象として登録することも含まれる。
 幼児20の検出に際しては、幼児20の存在はもちろん、幼児20の年齢や体格、就寝状況、他の保護者の存在等の相互作用も含めて検出することが、安全性を測るうえで重要となる。すなわち、検出部131は、車両100の中に何人の人間が所在するか、そのうち誰が車両100を離れたか、車両100に残された人物に対して何が起こったか、車両100の外部周辺にどのような人物がいるか、といった種々の情報をあわせて検出する。
 なお、車両100は、検出部131によって検出される種々の情報に基づいて、幼児20の置き去りに関するリスク評価を行ってもよい。この点について、図13を用いて説明する。図13は、実施形態に係るリスク評価処理を説明する図である。図13では、車両100が取得する情報や機能を概念的なブロック図として示している。
 検出部131は、上述のように、車両100内部に所在する人数や、各人物の状態等、車両内の人物の状況171を検出する。また、検出部131は、車両100内部の温度や湿度等、車両内部の環境情報172を検出する。また、検出部131は、車両100外部の外気温や温度上昇予測等の車両外部の環境情報173を検出する。また、検出部131は、車両100の位置(自宅ガレージであるか路上であるか等)や、車両100が走行しているか否か、周辺の道路事情や障害物等、車両周辺の道路や物体等174を検出する。
 そして、車両100は、検出部131によって検出された情報に基づいてリスク評価175を算出する。車両100は、リスク評価175をHMI176に送信する。HMI176は、適切なインターフェイスを介して、運転手10や外部に警告を発したり、通知を行ったりするリスク管理処理177を行い、算出されたリスクを軽減させる。すなわち、車両100は、適切なセンサ(図1で示したカメラ201やカメラ202、図示しない他のセンサ等)を利用することで、車室内の人物および状態を確実に検出し、種々のリスクに対応する。
 例えば、車両100は、幼児20が車両100に一人で残される場合、他の人物が車両100に残っているか、車両100の温度等に問題がないか、周辺に第三者が存在していないか等の様々なリスクを検出するとともに、HMI176を制御し警告等を発するなどの介入を経て、リスクに対処する。
 なお、車両100は、幼児20が車内に置き去りにされる際の安全条件(リスク評価)をモデル化し、そのリスクを算出するようにしてもよい。すなわち、車両100は、車内および車外の温度や湿度、駐車された位置、天候、幼児20の年齢や体格、運転手10以外の大人が同乗しているか等の各要因がリスクに与える影響をモデル化する。リスク管理処理では、モデルによって算出されたリスクに応じて異なる対応をとることもできる。
 また、車両100は、検知部140として、図1で示したカメラ201やカメラ202等、車室全体を検知可能な奥行き情報を有する複数のToFカメラを備える。例えば、ToFカメラには、車室内の運転手10や幼児20の検出と活動のモニタリングに特化するため、3DiToF技術と称される、3次元データを取り扱うセンシング技術が採用される。かかるセンシング技術によれば、前方座席に所在する運転手10と後方座席に所在する幼児20との双方に対する正確な3D登録、および、姿勢推定や追跡、高フレームレートを維持した活動モニタリング等が実現される。
 この点について、図14および図15を用いて説明する。図14は、実施形態に係る検出処理を説明する図(1)である。
 図14に示す映像180は、ToFカメラによって運転手10の行動をトラッキングした際の映像を示す。例えば、ToFカメラは、内部に画像認識モデルをインストールしており、さらに、認識した物体をトラッキングする機能を有する。具体的には、ToFカメラは、運転手10が取り扱うスマートフォンを認識し、認識した物体を領域181で示すように表示する。これにより、車両100は、運転手10が走行中にスマートフォンを使用しているため、その行動がリスクにつながると判定し、リスク評価を算出する。この場合、車両100は、「スマートフォンの使用をやめてください」といった音声での警告や画面表示を行い、運転手10の行動に介入することで、そのリスクを低減させることができる。
 また、ToFカメラは、物体認識に限らず、種々の手法で運転手10等の行動を検出してもよい。図15は、実施形態に係る検出処理を説明する図(2)である。
 図15に示す例では、ToFカメラは、運転手10の姿勢情報191を認識するモデルを有する。車両100は、ToFカメラによって検出された姿勢情報191に基づいて、運転手10がわき見運転をしていることや、後方座席に視線を移していること等、運転手10の行動を把握し、その行動がリスクにつながると判定する。この場合も、車両100は、音声での警告等によって介入することで、そのリスクを低減させることができる。
 例えば、ToFカメラは、最初に車内に幼児20が入ってきた段階で、高いフレームレートと3D点群データを生かして、幼児20の追跡を実行する。幼児20に大きな動きが見られない場合、検出部131は、幼児20が寝ていると仮定してもよい。並行して、検出部131は、複数のカメラによって他の人物を追跡し、基本的には人物が乗車してから降車するまで、追跡を継続する。
 例えば、検出部131は、追跡した点群データに基づいて、運転手10が身体を後方に向けていることや、シート位置から外れたことや、幼児20が横たわって動かない状況や、幼児20が足元スペースに移動してしまったこと等を判定するためのパラメータ化された姿勢情報を検出する。これにより、後述する通知部132は、適宜、幼児20の状況を運転手10に通知することで、幼児20がいまどのような状態であるかを通知することができる。
 車両100は、上記のように車両100に備えられた検知部140を用いて幼児20の検出を行うので、あえて置き去り防止処理のためだけにカメラ等の構成を追加するのではなく、運転手10の行動を監視するための機能を置き去り防止に応用することができる。このため、実施形態に係る車両100の構成によれば、車両100の機能にかけるコストを増大させることなく、置き去り防止を行うことができる。
 具体的な検出処理の事例について説明する。例えば、検出部131は、車両100が駐車されたタイミングで、車両100内部に大人が乗っているか、幼児20以外の大人がすべて降車した際の車内環境(温度等)はどれくらいか、車両100はどこに駐車されたか(屋内のガレージか、日当たりが強い屋外か)等を検出する。検出部131は、それぞれの状況に応じたリスクを算出し、リスク評価を行う。後述する通知部132や、取得部133は、表示制御部134は、リスク評価に応じて、運転手10にリスクを通知したり、リスク情報を表示したり、場合によっては緊急連絡先に通知するなどのリスク管理処理を行う。リスク評価が低い場合、例えば屋内ガレージに駐車され、外気温が高くない場合等には、車両100は、リスク管理処理の発動条件を下げるなど、状況に応じた対応をとることができる。一方で、リスク評価が高い場合、上述してきたように、車両100は、運転手10への通知など、運転手10が適切な対応をとるための処理を実行する。
 一般に、幼児20が車両100に乗っているケースは、(1)運転手10自身がチャイルドシート等を設置して乗車させる、(2)運転手10の家族等が幼児20を乗せて保育園へ通園させたり、他の子供を学校へ通学させる際に同乗させる、(3)その日だけ突発的な依頼で同乗させる、(4)幼児20が遊びで車両100に入り込む、など、様々である。このため、運転手10が幼児20を意識するレベルも、同様に様々である。例えば、運転手10が後部座席の幼児20の様子を目視して確認する、バックミラー越しに確認するなどの行動がみられると、運転手10が幼児20の存在を意識していると判定できる。一方で、運転手10が幼児20の存在を気にかけていない場合、運転手10が幼児20の存在に気づいていない、あるいは存在を忘れている可能性がある。この場合、車両100は、置き去りのリスク評価を引き上げ、走行中、幼児20の様子を通知するなど、運転手10に対して幼児20を意識させる処理を行ってもよい。
 通知部132は、検出部131によって車両100内部に生体が検出された場合に、検出した情報を車両100内部に所在する人物に通知する。具体的には、通知部132は、後部座席等に検出された幼児20を表示部145に表示したり、音声で状況を伝えたりすることで、運転手10に幼児20の存在を通知する。
 例えば、通知部132は、車内において幼児20が所在する位置、幼児20の就寝状況、幼児20が所在する位置の変化、および、就寝状況の変化の少なくとも一つを通知する。これにより、運転手10は、降車前から幼児20の存在を繰り返し意識されることになるため、降車後に何らかの用事が生じた場合にも、幼児20の存在を想起しやすくなる。
 また、通知部132は、車両100から運転手10が離れた後に所定時間が経過した場合に、運転手10が車両100に戻ることを促すための通知を端末50に通知する。例えば、通知部132は、運転手10が降車してから戻るまでに推定される戻り時間のうち、所定の割合が経過した場合に、車両100に戻ることを促すための通知を端末50に送信する。
 例えば、通知部132は、運転手10の目的地までの距離および目的地の属性に基づいて算出された、運転手10が車両100を離れてから戻ってくるまでの推定経過時間、もしく、推定経過時間のうち所定の割合が経過した場合に、車両100に戻ることを促すための通知を端末50に送信する。具体的には、通知部132は、運転手10が車両100に戻るまでの時間が20分と算出された場合、半分の10分が経過した段階で、車両100に戻ることを促すための通知を端末50に送信する。
 また、通知部132は、車両100に戻ることを促すための通知でなく、他の通知を端末50等に送信してもよい。例えば、通知部132は、車内の温度が急上昇していることや、幼児20に異変が起きたこと(幼児20が泣き叫んだり、体温が上昇していたりすること等)が検出された場合、その旨を端末50に通知してもよい。
 また、通知部132は、端末50への通知に限らず、他の手段を用いて周囲や第三者に通知を行ってもよい。
 例えば、通知部132は、車両100に戻ることを促すための通知を送信したのちに所定時間が経過した場合、通知に対して運転手10からの返答が確認できない場合、もしくは、運転手10の異常を検出した場合の少なくとも一つに該当する場合に、空間の外部に対して警報を発してもよい。
 あるいは、通知部132は、車両100から運転手10が離れた後に、運転手10から遠隔指示を受け付けた場合に、車両100の外部に対して警報を発してもよい。例えば、通知部132は、端末50を介して、運転手10が車両100に戻ることができないことや、幼児20を救出するための緊急サルベージを要求する旨を受け付けた場合等に、外部に対して警報を発する。
 具体的には、通知部132は、リスク管理記憶部122を参照し、規定されたリスク管理処理の一つを実行する。一例として、通知部132は、クラクションを発したり、ライトを点滅させたりすることで、周囲の人間に車両100内部に危険がある旨を通知する。
 さらに、通知部132は、上記警報を発した後であっても運転手10と連絡がとれなかたり、置き去りが解消されなかったりする場合、さらなるリスク管理処理を実行する。
 例えば、通知部132は、車両100から運転手10が離れた後に所定時間が経過した場合に、予め緊急連絡先として登録されている第三者(二次通報先)、もしくは、緊急連絡先として登録されている機関に対して、幼児20が車両100に所在することを通知する。この場合、所定時間とは、降車時に推定した戻り時間であってもよいし、推定した戻り時間の所定の割合(例えば8割の時間が経過した場合など)であってもよい。
 例えば、通知部132は、ユーザ情報記憶部121に登録されている運転手10の家族や友人等に、幼児20が置き去りにされている旨を通知する。あるいは、通知部132は、当該国の消防当局や緊急救急センター等の機関に、幼児20の救出を要求する旨を通知する。この場合、通知部132は、車両100の位置情報や、車両100の車体情報等を同時に通知してもよい。また、通知部132は、必ずしも二次通報先と機関への連絡を同時に行うのではなく、二次通報先に連絡したのち所定時間経過後に、機関への連絡を行ってもよい。
 また、通知部132は、運転手10から遠隔指示を受け付けた場合、二次通報先等の第三者もしくは機関から要請があった場合、または、二次通報先もしくは機関への通知の後に所定時間が経過した場合の少なくともいずれかの条件を満たした場合、車両100にアクセスするための施錠を開錠するよう制御し、開錠した旨を運転手10に通知する。具体的には、通知部132は、ロック機構を制御し、車両100のロックを解除する。
 なお、開錠が行われた場合、幼児20を救出する手立てが出来るとともに、悪意のある第三者が車両100内部に侵入する可能性も生ずる。このため、通知部132は、車両100のロックが解除されたのち、検知部140等が撮像した映像を運転手10の端末50に送信し、運転手10に車両100内部の状況を継続的に通知するようにしてもよい。
 また、通知部132は、開錠がおこなわれたのちに、幼児20の状態に基づいて、機関等に対して幼児20の救出を求めるよう通知してもよい。例えば、通知部132は、幼児20の体温が異常値を示していたり、運転手10が戻ると推定された時間を超過していたりした場合、緊急救急センター等にその旨を通知し、幼児20の救出を要求してもよい。
 取得部133は、各種情報を取得する。例えば、取得部133は、検知部140によってセンシングされた情報や、通信部110を介して外部サービス等が提供する情報を取得する。
 例えば、取得部133は、検出部131によって検出された幼児20の状態や、車両100の環境情報等を取得する。このとき、取得部133は、車両100内において運転手10の状態検出を行う第1の検出手段(例えば図1で示したカメラ201)とは異なる位置に設置された第2の検出手段(例えば図1で示したカメラ202)を用いて、幼児20の状態を取得してもよい。このように、取得部133は、通常は運転手10の視線や運転状態を検出するためのカメラ201とは異なるカメラ202を用いて幼児20の状態を取得することで、より正確に幼児20の就寝状況等を判定することができる。
 取得部133は、取得した環境情報に基づいて、車両100から運転手10が離れた後に所定時間が経過した場合に、車両100の環境情報が所定の範囲を超えて変化したことを検知した場合、車両100の環境を維持するための機構を作動させてもよい。具体的には、取得部133は、車両100の温度維持装置(エアコン等)を作動させ、車両100内部の温度を一定に保つよう制御する。
 また、取得部133は、所定の外部サーバ等から情報を取得してもよい。例えば、取得部133は、車両100から運転手10が離れる際に、運転手10が車両100を離れた後に向かう目的地までの距離および目的地の属性を取得してもよい。例えば、取得部133は、車両100が駐車した位置と、ナビゲーションシステムに登録された目的地との位置情報に基づいて、運転手10が目的地まで行って戻ってくるまでの時間を取得する。また、取得部133は、目的地の属性(スーパーマーケットか、コンビニエンスストアであるか等)を取得し、さらにその属性に紐づけられた平均滞在時間等を取得する。これにより、車両100は、運転手10の戻り時間を推定することができる。
 取得部133は、リスク管理処理に用いる情報を継続的に取得する。例えば、取得部133は、リスク管理処理として車両100のロックが解除された場合、解除時の幼児20の状態(熱があるか、痙攣していないかなど)を取得し、取得した情報を通知部132に送ってもよい。
 表示制御部134は、取得部133によって取得された情報に基づいて算出される、幼児20が車両100に滞在を続ける場合のリスク情報を、車両100から運転手10が離れる際に、表示部145もしくは運転手10が利用する端末50に表示するよう制御する。
 例えば、表示制御部134は、リスク情報として、幼児20の車両100における滞在時間に沿って、幼児20が滞在を続ける場合の危険度を段階的に可視化したグラフを表示する。具体的には、表示制御部134は、取得部133によって取得された環境情報に基づいて算出される、車両100における温度変化に基づく危険度を可視化したグラフを表示する。
 なお、表示制御部134は、リスク情報として、幼児20の年齢もしくは体格に応じた属性に基づいて、危険度を段階的に可視化したグラフを表示してもよい。一般に、熱中症にかかったり、車内に放置されて危険な状態に陥ったりするまでの時間は、幼児20の年齢に依存すると考えられる。このため、表示制御部134は、取り残された幼児20の年齢もしくは体格に応じて異なるリスク情報を表示してもよい。なお、表示制御部134は、幼児20の年齢について、予め運転手10から登録を受け付けていてもよいし、カメラ等に認識された体格や外見から推定される年齢を利用して、幼児20の属性を決定してもよい。
 表示制御部134は、取得部133によって検出された種々の状況に応じて、リスク情報を表示することができる。例えば、表示制御部134は、車両100の窓の開閉、エアコンの稼働有無、条件依存の温度上昇特性と外気温、直射日光下等の温度上昇要因の検知データを元に、車室内の急激な温度上昇特性を視覚化算出する。表示制御部134は、後部座席等に幼児20がいることが登録された検出データに基づいて、運転手10が降車の為にシートベルトバックルを外した際に、車両100のインスツルメンタルパネルやセンタコンソールパネル等のHMI(表示部145等)を介して、幼児20が残存していること、および、温度上昇リスクカーブを示すグラフを視覚的に提示し、さらに、運転手10に幼児20の同伴降車を促す通知をしてもよい。
 なお、温度上昇推定は、例えば直射日光の当たらない朝の涼しい時間帯であっても、日が少し上り、直射日光が当たればすぐに温度上昇をする地域や季節であれば、その影響を考慮して算出される。一般に、降車時に直射日光が当たっていないと、運転手10は、温度上昇のリスクを低く見積もり、安易に幼児20を残して離席しがちである。このため、表示制御部134は、地域天気予報等の外部サービスから得られる情報を用いて、たとえ一時的に天候が悪い場合であっても、その後の温度上昇を予測し、注意喚起の表示を運転手10に提示してもよい。
 表示制御部134が表示するグラフの例について、図16を用いて説明する。図16は、実施形態に係る表示制御処理を説明する図(1)である。
 図16には、表示制御部134が表示するグラフの一例である、リスク通知グラフ300を示す。リスク通知グラフ300は、図2等で示したリスク通知グラフ204と同様、時間経過に沿った幼児20に危険度を示している。
 表示制御部134は、リスク通知グラフ300と合わせて、幼児20の状態を示すピクトグラムを表示してもよい。例えば、ピクトグラム301は、表示された中でもっとも年齢の低い幼児を示す。ピクトグラム301は、リスク通知グラフ300の最内周と関連付けられる。これは、ピクトグラム301で示される幼児は、危険な状態に達するまでの時間が他の幼児と比較して短いことを意味する。
 また、ピクトグラム302は、表示された中で中程度の年齢の幼児を示す。ピクトグラム302は、リスク通知グラフ300の真ん中の周と関連付けられる。これは、ピクトグラム302で示される幼児は、危険な状態に達するまでの時間が他の幼児と比較して中程度であることを意味する。
 また、ピクトグラム303は、表示された中で最も高い年齢の幼児を示す。ピクトグラム303は、リスク通知グラフ300の外周と関連付けられる。これは、ピクトグラム303で示される幼児は、危険な状態に達するまでの時間が他の幼児と比較して長いことを意味する。
 また、ピクトグラム304は、運転手10が戻る様子を示している。例えば、表示制御部134は、リスク通知グラフ300において運転手10が戻るべき時間帯を示す範囲にピクトグラム304を表示することで、車両100に戻るべき時間を運転手10に周知する。
 また、ピクトグラム305は、幼児20が熱中症にかかっている様子を示している。例えば、表示制御部134は、リスク通知グラフ300において危険度が高い範囲(具体的には、車内の温度が30℃を超えて上昇する範囲や、幼児20の年齢を考慮して、一人で放置されるには危険と推測される時間帯である範囲)にピクトグラム305を合わせて表示することで、この時間までに車両100に戻らないと危険があることを運転手10に周知する。
 また、ピクトグラム306は、救急車を示している。例えば、表示制御部134は、運転手10が車両100を離れたままある時間帯に達した場合に、救急車が自動で呼ばれる時間帯に合わせてピクトグラム306を表示する。これにより、運転手10は、車両100から離れてどのくらいの時間が経つと救急車が呼ばれるのか、をリスク通知グラフ300により視覚的に把握できる。
 なお、グラフの態様はこの例に限らず、表示制御部134は、図2のリスク通知グラフ204のように、幼児20の年齢に即した一つだけの円周を有するグラフを表示してもよい。また、グラフは、円グラフに限らず、様々な態様であってもよい。
 また、表示制御部134は、端末50にリスク情報を表示する場合、図16とは異なる態様のグラフを表示してもよい。例えば、表示制御部134は、リスク情報として、運転手10が車両100を離れてから戻ってくるまでの推定経過時間と、推定経過時間における危険度とを含むグラフを表示してもよい。
 この点について、図17を用いて説明する。図17は、実施形態に係る表示制御処理を説明する図(2)である。
 表示制御部134は、端末50の画面上に、グラフ311や、グラフ320を表示する。例えば、グラフ311は、車内の温度上昇と幼児20の危険度との関係に加えて、運転手10が車両100に戻るまでの時間がカウントダウンタイマーとして表示される。端末50は、経過時間に応じて、適宜、運転手10に対して通知を行ってもよい。また、グラフ320は、縦軸を温度上昇、横軸を時間としたグラフであり、車内の温度上昇と、どのくらいの経過時間後にSOSが発信されるかといった関係を示すグラフである。これらを視覚的に確認することで、運転手10は、車両100から離れた後も、車両100に戻るべき時間を意識することができる。
 また、他の例として、表示制御部134は、車内で検出された幼児20の状態を端末50に表示してもよい。この点について、図18を用いて説明する。図18は、実施形態に係る表示制御処理を説明する図(3)である。
 表示制御部134は、端末50の画面上に、ピクトグラム312や、グラフ320を表示する。例えば、ピクトグラム312は、幼児20が現時点でどのような状態であるかを視覚的に示すものである。また、グラフ320は、縦軸を温度上昇、横軸を時間としたグラフであり、車内の温度上昇と、どのくらいの経過時間後にSOSが発信されるかといった関係を示すグラフである。これらを視覚的に確認することで、運転手10は、幼児20が現時点でどのような状態であるかを把握できるので、早く車両100に戻るべきか、緊急の連絡を機関等に行うべきか等、様々な判断を行うことができる。なお、表示制御部134は、ピクトグラム312でなく、実際に車内にいる幼児20を映した映像等を端末50に表示してもよい。また、スマートフォン等、端末50がロック機能を有する場合、ロック画面においても注意喚起が表示されるよう、表示制御部134は、連動するグラフ表示アプリ等を制御してもよい。
 なお、表示制御部134は、運転手10とは異なる第2の人物が、幼児20とともに車両100に所在するときには、第2の人物が所在しない場合とは異なるリスク情報を表示してもよい。第2の人物とは、例えば、幼児20を保護する保護者であり、複数いてもよい。なお、第2の人物が幼児20とあまり変わらない年齢の子供である場合には、表示制御部134は、幼児20が一人で取り残された場合と変わらないリスク情報を表示してもよい。これは、第2の人物が幼児20とあまり変わらない年齢の子供である場合には、幼児20が一人で取り残された場合と、リスク評価があまり変化しないことによる。
 また、表示制御部134は、上述のリスク管理処理において、車両100のロックが解除されている場合、車両100の内部および周辺を録画し、録画した情報を端末50に表示するよう制御してもよい。これにより、運転手10は、車両100が危険な状態であることを知るとともに、開錠された車両100の状態を常に監視することができる。
(1-6.実施形態に係る変形例)
 上述した実施形態では、運転手10が車両100に戻れない場合の通知等のリスク管理処理について、予め規定された順序で通知等が行われる例を示した。しかし、本開示に係る置き去り通知処理は、段階的なリスクを運転手10が意識することにより置き去り事故の発生を抑止するものであることから、個人ごとに異なるリスク管理処理が行われてもよい。
 すなわち、通知部132は、車両100から運転手10が離れた後に所定時間が経過した場合に、過去の運転手10の行動履歴に基づいて、運転手10が車両100に戻ることを促すための通知を端末50に通知するか、二次通報先もしくは緊急連絡先として登録されている機関に対して幼児20が車両100に所在することを通知するか、のいずれを優先的に実行するかを判定してもよい。
 例えば、運転手10が、救急センター等の機関に知られることは構わなくとも、家族には幼児20を取り残したことを知られたくない、と考えた場合、家族への通知が行われる前に車両100に戻るという行為を繰り返すと想定される。この場合、車両100は、履歴に基づき、運転手10が車両100から離れて所定時間が経過した場合、第1に家族に通知するという処理が行われることをリスク情報として表示する。これにより、車両100は、車両100に戻るという運転手10の意識をより高めることができるため、置き去り事故を高い確率で抑止することができる。
 あるいは、運転手10が、救急センター等の機関に知られることは構わなくとも、周囲の第三者に知られるようなクラクション等の作動を抑えたい、と考えた場合、クラクション等の作動が行われる前に車両100に戻るという行為を繰り返すと想定される。この場合、車両100は、履歴に基づき、運転手10が車両100から離れて所定時間が経過した場合、第1にクラクション等を作動させるという処理が行われることをリスク情報として表示してもよい。
 上述のような処理は、例えば運転手10の過去の行動履歴に基づき、所定の学習処理を経て、最適化することが可能である。これにより、車両100は、運転手10の行動傾向に沿って、より効果の高い置き去り事故抑止を実現することができる。
 また、上記実施形態では、車両100に残される生体として幼児20を例に挙げたが、生体は幼児20に限らず、成人や、ペット等の動物であってもよい。
(2.その他の実施形態)
 上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
(2-1.移動体の構成)
 例えば、車両100は、自動運転を行う自律型移動体(自動車)によって実現されてもよい。この場合、車両100は、図10に示した構成の他に、図19および図20に示す構成を有してもよい。なお、以下に示す各部は、例えば、図10に示した各部に含まれてもよい。
 すなわち、本技術の車両100は、以下に示す車両制御システム11として構成することも可能である。図19は、本技術が適用され得る車両制御システム11の概略的な機能の構成例を示すブロック図である。
 車両制御システム11は、車両100に設けられ、車両100の走行支援及び自動運転に関わる処理を行う。
 車両制御システム11は、車両制御ECU(Electronic Control Unit )21、通信部22、地図情報蓄積部23、GNSS(Global Navigation Satellite System)受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
 車両制御ECU21、通信部22、地図情報蓄積部23、GNSS受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、DMS30、HMI31、及び、車両制御部32は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク41は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればCANが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
 なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、車両制御ECU21と通信部22が通信ネットワーク41を介して通信を行う場合、単に車両制御ECU21と通信部22とが通信を行うと記載する。
 車両制御ECU 21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種プロセッサにより構成される。車両制御ECU 21は、車両制御システム11全体もしくは一部の機能の制御を行う。
 通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部22は、複数の通信方式を用いて通信を行うことができる。
 通信部22が実行可能な車外との通信について、概略的に説明する。通信部22は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部22が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部22による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
 また例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、MTC(Machine Type Communication)端末である。さらに、通信部22は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
 通信部22は、例えば、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部22は、さらに、地図情報、交通情報、車両100の周囲の情報等を外部から受信することができる。また例えば、通信部22は、車両100に関する情報や、車両100の周囲の情報等を外部に送信することができる。通信部22が外部に送信する車両100に関する情報としては、例えば、車両100の状態を示すデータ、認識部73による認識結果等がある。さらに例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
 通信部22が実行可能な車内との通信について、概略的に説明する。通信部22は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部22は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部22は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部22は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部22は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信する。
 地図情報蓄積部23は、外部から取得した地図及び車両100で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両100に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ADAS(Advanced Driver Assistance System)に適合させた地図を指すものとする。
 ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両100で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両100がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
 GNSS受信部24は、GNSS衛星からGNSS信号を受信し、車両100の位置情報を取得する。受信したGNSS信号は、走行支援・自動運転制御部29に供給される。尚、GNSS受信部24は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。
 外部認識センサ25は、車両100の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。これに限らず、外部認識センサ25は、カメラ51、レーダ52、LiDAR53、及び、超音波センサ54のうち1種類以上のセンサを備える構成でもよい。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は、現実的に車両100に設置可能な数であれば特に限定されない。また、外部認識センサ25が備えるセンサの種類は、この例に限定されず、外部認識センサ25は、他の種類のセンサを備えてもよい。外部認識センサ25が備える各センサのセンシング領域の例は、後述する。
 なお、カメラ51の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ51は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ51は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
 また、例えば、外部認識センサ25は、車両100に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
 さらに、例えば、外部認識センサ25は、車両100の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
 車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備える各種センサの種類や数は、現実的に車両100に設置可能な数であれば特に限定されない。
 例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ26が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ26が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ26が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ27は、車両100の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備える各種センサの種類や数は、現実的に車両100に設置可能な数であれば特に限定されない。
 例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
 記録部28は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部28は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)およびRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記録部28は、車両制御システム11の各部が用いる各種プログラムやデータを記録する。例えば、記録部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両100の情報や車内センサ26によって取得された生体情報を記録する。
 走行支援・自動運転制御部29は、車両100の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
 分析部61は、車両100及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
 自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両100の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両100の自己位置を推定する。車両100の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両100の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両100の外部の状況の検出処理及び認識処理にも用いられる。
 なお、自己位置推定部71は、GNSS信号、及び、車両センサ27からのセンサデータに基づいて、車両100の自己位置を推定してもよい。
 センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部73は、車両100の外部の状況の検出を行う検出処理と、車両100の外部の状況の認識を行う認識処理と、を実行する。
 例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両100の外部の状況の検出処理及び認識処理を行う。
 具体的には、例えば、認識部73は、車両100の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部73は、LiDAR53又はレーダ52等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両100の周囲の物体を検出する。これにより、車両100の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両100の周囲の物体の動きを検出する。これにより、車両100の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 例えば、認識部73は、カメラ51から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両100の周囲の物体の種類を認識してもいい。
 例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置推定部71による自己位置の推定結果、及び、認識部73による車両100の周囲の物体の認識結果に基づいて、車両100の周囲の交通ルールの認識処理を行うことができる。認識部73は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
 例えば、認識部73は、車両100の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 行動計画部62は、車両100の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両100の運動特性を考慮して、車両100の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部62は、例えば、この経路追従の処理の結果に基づき、車両100の目標速度と目標角速度を計算することができる。
 動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両100の動作を制御する。
 例えば、動作制御部63は、後述する車両制御部32に含まれる、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両100が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS30は、車内センサ26からのセンサデータ、及び、後述するHMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合にDMS30の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI31は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
 HMI31によるデータの入力について、概略的に説明する。HMI31は、人がデータを入力するための入力デバイスを備える。HMI31は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。HMI31は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI31は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI31は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム11の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
 HMI31によるデータの提示について、概略的に説明する。HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI31は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。HMI31は、視覚情報として、例えば、操作画面、車両100の状態表示、警告表示、車両100の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、HMI31は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、HMI31は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
 HMI31が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI31は、車両100に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
 HMI31が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
 HMI31が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両100の搭乗者が接触する部分に設けられる。
 車両制御部32は、車両100の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
 ステアリング制御部81は、車両100のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部82は、車両100のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット等を備える。
 駆動制御部83は、車両100の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行うECU等の制御ユニット等を備える。
 ボディ系制御部84は、車両100のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うECU等の制御ユニット等を備える。
 ライト制御部85は、車両100の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うECU等の制御ユニット等を備える。
 ホーン制御部86は、車両100のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うECU等の制御ユニット等を備える。
 図20は、図19の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54等によるセンシング領域の例を示す図である。なお、図20において、車両100を上面から見た様子が模式的に示され、左端側が車両100の前端(フロント)側であり、右端側が車両100の後端(リア)側となっている。
 センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、複数の超音波センサ54によって車両100の前端周辺をカバーしている。センシング領域101Bは、複数の超音波センサ54によって車両100の後端周辺をカバーしている。
 センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両100の駐車支援等に用いられる。
 センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両100の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両100の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両100の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両100の右側面の後方の周辺をカバーしている。
 センシング領域102Fにおけるセンシング結果は、例えば、車両100の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両100の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両100の側方の死角における物体の検出等に用いられる。
 センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両100の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両100の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両100の左側面の周辺をカバーしている。センシング領域103Rは、車両100の右側面の周辺をカバーしている。
 センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
 センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両100の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
 センシング領域104におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
 センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。センシング領域105は、車両100の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
 センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
 なお、外部認識センサ25が含むカメラ51、レーダ52、LiDAR53、及び、超音波センサ54の各センサのセンシング領域は、図20以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両100の側方もセンシングするようにしてもよいし、LiDAR53が車両100の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでも良いし、複数であっても良い。
(2-2.その他)
 上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、上記実施形態では、移動体として自動車を例に挙げたが、本開示の情報処理は、自動車以外の移動体にも適用可能である。例えば、移動体は、自動二輪車や自動三輪車等の小型車両や、バスやトラック等の大型車両、あるいは、ロボットやドローン等の自律型移動体であってもよい。また、車両100は、必ずしも移動体と一体ではなく、移動体からネットワークNを介して情報を取得し、取得した情報に基づいて除去範囲を決定するクラウドサーバ等であってもよい。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
(3.本開示に係る置き去り通知装置の効果)
 上述のように、本開示に係る置き去り通知装置(実施形態では車両100)は、通知部(実施形態では通知部132)と、取得部(実施形態では取得部133)と、表示制御部(実施形態では表示制御部134)とを備える。通知部は、所定の空間(実施形態では車両100)に所在する生体(実施形態では幼児20)が検出された場合に、検出した情報を当該空間に所在する第1の人物(実施形態では運転手10)に通知する。取得部は、生体の状態および当該空間の環境情報を取得する。表示制御部は、取得部によって取得された情報に基づいて算出される、生体が空間に滞在を続ける場合のリスク情報(実施形態ではリスク情報グラフ204等)を、空間から第1の人物が離れる際に、空間に設置された表示装置(実施形態では表示部145)もしくは当該第1の人物が利用する端末装置(実施形態では端末50)に表示するよう制御する。
 このように、本開示に係る置き去り通知装置は、単に生体の置き去りを検出して通知をするのではなく、第1の人物が空間を離れる前に、生体の状況等を通知する。さらに、置き去り通知装置は、その後に第1の人物が空間を離れる際に生体に関するリスク情報を視覚化して表示するといった、段階的な通知を第1の人物に対して行う。
 一般に単調な通知は記憶に焼き付き難いが、視覚化し、さらに影響度合いに焼き直してなされる通知がなされると、第1の人物は、生体を残すことのリスクと、空間を一時離れる際の目的達成のバランス判断を経て判断の結論を出す事になるので、状況認識に関する記憶を呼び戻しやすくする。その結果、階層化された異なるレベルの複数のリスク刺激によって、生体が空間に残されて危険にさらされるという情報が意識の片隅に完全に追いやる状況に陥ることを低減する効果が期待できる。すなわち、生体の状況を予め通知し、その後にリスク情報を表示するといった複合的な視覚、知識等の異なる記憶部位に残るそのリマインダ機能は、第1の人物のワーキングメモリに多元的に作用するので、空間に生体を置き去りすることを完全に忘れるといったリスクを大幅に低減できる。このように、本開示に係る構成により、置き去り通知装置は、置き去りを検知するとともに、その対処について適切に通知することができる。
 また、通知部は、空間において生体が所在する位置、生体の就寝状況、所在する位置の変化、および、就寝状況の変化の少なくとも一つを通知する。
 このように、置き去り通知装置は、ToFカメラ等を介して得られる生体の情報を適宜、第1の人物に通知する。これにより、置き去り通知装置は、第1の人物に生体の存在と状態を意識させ、空間から離れる際に生体を忘れにくくするよう、第1の人物の意識に作用させることができる。
 また、表示制御部は、リスク情報として、生体の空間における滞在時間に沿って、生体が滞在を続ける場合の危険度を段階的に可視化したグラフを表示する。
 このように、置き去り通知装置は、危険度を段階的に示すことで、生体を空間に残した場合に生じするリスクを第1の人物に意識させることができる。なお、グラフ化は一つの手段であり、乳幼児や子供のピクトグラムに温度上昇危険度を色の変化で表すなど視覚刺激をグラフ以外の表示形態で提供をしてもよい。
 また、表示制御部は、取得部によって取得された環境情報に基づいて算出される、空間における温度変化に基づく危険度を可視化したグラフを表示する。
 このように、置き去り通知装置は、環境情報に基づいて危険度を可視化することで、第1の人物が意識しにくい、天候による危険度の変化などを、強く第1の人物に意識させることができる。
 また、表示制御部は、リスク情報として、生体の年齢もしくは体格に応じた属性に基づいて、危険度を段階的に可視化したグラフを表示する。
 このように、置き去り通知装置は、生体の属性に応じたリスク情報を表示することで、より正確な危険度を第1の人物に周知することができる。
 また、表示制御部は、リスク情報として、第1の人物が空間を離れてから戻ってくるまでの推定経過時間と、推定経過時間における危険度とを含むグラフを表示する。
 このように、置き去り通知装置は、第1の人物が離れる際に、第1の人物の戻る推定時刻と危険度との関係が示されたグラフを表示することで、第1の人物が戻るべき時間を第1の人物に強く意識させることができる。
 また、表示制御部は、第1の人物とは異なる第2の人物が、生体とともに空間に所在するときには、第2の人物が所在しない場合とは異なるリスク情報を表示する。
 このように、置き去り通知装置は、他の保護者等が存在する場合には、その存在を考慮したリスク評価を行うことで、より現実に即したリスク管理処理を行うことができる。
 また、取得部は、空間から第1の人物が離れた後に所定時間が経過した場合に、空間の環境情報が所定の範囲を超えて変化したことを検知した場合、空間の環境を維持するための機構を作動させる。
 このように、置き去り通知装置は、温度上昇等の環境変化に対応して各種機構を作動させることで、第1の人物等が通知に対応しない場合であっても、生体が熱中症等にかからないよう担保することができる。
 また、通知部は、空間から第1の人物が離れた後に所定時間が経過した場合に、第1の人物が空間に戻ることを促すための通知を端末装置に通知する。
 このように、置き去り通知装置は、スマートフォン等の端末装置に通知をすることで、第1の人物に対して、取り残した生体の存在をリマインドさせることができる。
 また、取得部は、空間から第1の人物が離れる際に、第1の人物が空間を離れた後に向かう目的地までの距離および目的地の属性を取得する。通知部は、目的地までの距離および目的地の属性に基づいて、第1の人物が空間を離れてから戻ってくるまでの推定経過時間を算出し、空間から第1の人物が離れた後に推定経過時間が経過した場合に、第1の人物が空間に戻ることを促すための通知を端末装置に通知する。
 このように、置き去り通知装置は、第1の人物の戻り時間を予め推定しておくことで、不自然に大量の通知を行うことなく、第1の人物の用事に合わせて、適切な時刻や、適切な回数の通知を行うことができる。
 また、通知部は、空間に戻ることを促すための通知を送信したのちに所定時間が経過した場合、通知に対して第1の人物からの返答が確認できない場合、もしくは、生体の異常を検出した場合の少なくとも一つに該当する場合に、空間の外部に対して警報を発する。
 このように、置き去り通知装置は、生体の泣き声や痙攣発作等の異常行動を検出するなど、何らかの異常が発生した場合等には、周囲への警報により生体を救出させる。あるいは、第1の人物が通知に応答しない場合に、置き去り通知装置は、第1の人物ではなく周囲に広く周知を行い、第1の人物に周囲への気遣いや羞恥さを覚えさせ心理負荷を与えることで、迅速に生体のものに戻ることを促すことができる。
 また、通知部は、空間から第1の人物が離れた後に、第1の人物から遠隔指示を受け付けた場合に、空間の外部に対して警報を発する。
 このように、置き去り通知装置は、第1の人物に何らかの異常が発生した場合などには、周囲への警報により生体を救出させることができる。
 また、通知部は、空間から第1の人物が離れた後に所定時間が経過した場合に、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して、生体が空間に所在することを通知する。
 このように、置き去り通知装置は、周囲への通知のあとには第三者や機関に通報するなど段階的な通知を行うことで、置き去り事故のリスクのほかに、第三者に置き去りをしたことを知られるというリスクを第1の人物に意識させる。これにより、置き去り通知装置は、第1の人物に置き去り事故を防止するという意識を植え付けることができる。
 また、通知部は、第1の人物から遠隔指示を受け付けた場合、第3の人物もしくは機関から要請があった場合、または、第3の人物もしくは機関への通知の後に所定時間が経過した場合の少なくともいずれかの条件を満たした場合、空間にアクセスするための施錠を開錠するよう制御し、開錠した旨を第1の人物に通知する。
 このように、置き去り通知装置は、機関等の通知のあとには、開錠処理を行うことで、第三者に置き去りをしたことを知られるというリスクに加え、生体に第三者が接触するという他のリスクを第1の人物に意識させる。これにより、置き去り通知装置は、第1の人物に置き去りをしてはいけないという意識を植え付けることができる。
 また、表示制御部は、空間にアクセスするための施錠が開錠された場合、空間の内部および周辺を録画し、録画した情報を第1の人物が利用する端末装置に表示するよう制御する。
 このように、置き去り通知装置は、撮影した映像を第1の人物に提供することで、開錠後の空間に問題がないかを第1の人物に知らせることができる。なお、撮影された映像は第1の人物への提供に限定される必要はなく、例えば緊急通報先等に伝送されてもよい。
 また、取得部は、空間にアクセスするための施錠が開錠された後に、空間に所在する生体の状態を取得する。通知部は、生体の状態に基づいて、機関に対して生体の救出を求めるよう通知する。
 このように、置き去り通知装置は、生体の状態に応じて救出を求めることで、生体が危険な状態に陥ったとしても、迅速な処置を行わせることができる。
 また、通知部は、空間から第1の人物が離れた後に所定時間が経過した場合に、過去の第1の人物の行動履歴に基づいて、第1の人物が空間に戻ることを促すための通知を端末装置に通知するか、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して生体が空間に所在することを通知するか、のいずれを優先的に実行するかを判定する。
 このように、置き去り通知装置は、行動履歴に合わせた段階的なリスク管理処理を行うことで、第1の人物により効果が高いと推測される対応を優先的に実行することができる。
 また、空間は自動車を含む車両であり、第1の人物は車両の運転手であり、生体は幼児である。また、取得部は、車両内において運転手の状態検出を行う第1の検出手段とは異なる位置に設置された第2の検出手段を用いて、幼児の状態を取得する。
 このように、置き去り通知装置は、上述した通知処理を自動車における幼児置き去りに適用することで、幼児の置き去り事故を抑止することができる。そして、これら通知等の機能が有効に働く事で、第1の人物である利用者にはその一つ一つが心理的なリスク刺激となり、結果的には通知システムの機能が稼働する以前に対処行動を利用者に促す副次的効果が期待される。
(4.ハードウェア構成)
 上述してきた本開示に係る置き去り通知装置等の情報機器は、例えば図21に示すような構成のコンピュータ1000によって実現される。図21は、本開示に係る置き去り通知装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下では、本開示に係る置き去り通知装置として、実施形態に係る車両100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る置き去り通知プログラムを記録する記録媒体である。
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が実施形態に係る車両100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた置き去り通知プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る置き去り通知プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部と、
 前記生体の状態および当該空間の環境情報を取得する取得部と、
 前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部と、
 を備える置き去り通知装置。
(2)
 前記通知部は、
 前記空間において前記生体が所在する位置、当該生体の就寝状況、当該所在する位置の変化、および、当該就寝状況の変化の少なくとも一つを通知する、
 前記(1)に記載の置き去り通知装置。
(3)
 前記表示制御部は、
 前記リスク情報として、前記生体の前記空間における滞在時間に沿って、当該生体が滞在を続ける場合の危険度を段階的に可視化したグラフを表示する、
 前記(1)または(2)に記載の置き去り通知装置。
(4)
 前記表示制御部は、
 前記取得部によって取得された環境情報に基づいて算出される、前記空間における温度変化に基づく前記危険度を可視化した前記グラフを表示する、
 前記(3)に記載の置き去り通知装置。
(5)
 前記表示制御部は、
 前記リスク情報として、前記生体の年齢もしくは体格に応じた属性に基づいて、前記危険度を段階的に可視化した前記グラフを表示する、
 前記(3)または(4)のいずれかに記載の置き去り通知装置。
(6)
 前記表示制御部は、
 前記リスク情報として、前記第1の人物が前記空間を離れてから戻ってくるまでの推定経過時間と、当該推定経過時間における前記危険度とを含む前記グラフを表示する、
 前記(3)から(5)のいずれかに記載の置き去り通知装置。
(7)
 前記表示制御部は、
 前記第1の人物とは異なる第2の人物が、当該生体とともに前記空間に所在するときには、当該第2の人物が所在しない場合とは異なるリスク情報を表示する、
 前記(1)から(6)のいずれかに記載の置き去り通知装置。
(8)
 前記取得部は、
 前記空間から第1の人物が離れた後に所定時間が経過した場合に、当該空間の環境情報が所定の範囲を超えて変化したことを検知した場合、当該空間の環境を維持するための機構を作動させる、
 前記(1)から(7)のいずれかに記載の置き去り通知装置。
(9)
 前記通知部は、
 前記空間から第1の人物が離れた後に所定時間が経過した場合に、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知する、
 前記(1)から(8)のいずれかに記載の置き去り通知装置。
(10)
 前記取得部は、
 前記空間から第1の人物が離れる際に、当該第1の人物が当該空間を離れた後に向かう目的地までの距離および当該目的地の属性を取得し、
 前記通知部は、
 前記目的地までの距離および当該目的地の属性に基づいて、前記第1の人物が当該空間を離れてから戻ってくるまでの推定経過時間を算出し、当該空間から第1の人物が離れた後に当該推定経過時間が経過した場合に、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知する、
 前記(9)に記載の置き去り通知装置。
(11)
 前記通知部は、
 前記空間に戻ることを促すための通知を送信したのちに所定時間が経過した場合、当該通知に対して当該第1の人物からの返答が確認できない場合、もしくは、前記生体の異常を検出した場合の少なくとも一つに該当する場合に、当該空間の外部に対して警報を発する、
 前記(9)または(10)に記載の置き去り通知装置。
(12)
 前記通知部は、
 前記空間から第1の人物が離れた後に、当該第1の人物から遠隔指示を受け付けた場合に、当該空間の外部に対して警報を発する、
 前記(9)から(11)のいずれかに記載の置き去り通知装置。
(13)
 前記通知部は、
 前記空間から第1の人物が離れた後に所定時間が経過した場合に、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して、前記生体が前記空間に所在することを通知する、
 前記(1)から(12)のいずれかに記載の置き去り通知装置。
(14)
 前記通知部は、
 前記第1の人物から遠隔指示を受け付けた場合、前記第3の人物もしくは前記機関から要請があった場合、または、当該第3の人物もしくは当該機関への通知の後に所定時間が経過した場合の少なくともいずれかの条件を満たした場合、前記空間にアクセスするための施錠を開錠するよう制御し、開錠した旨を当該第1の人物に通知する、
 前記(13)に記載の置き去り通知装置。
(15)
 前記表示制御部は、
 前記空間にアクセスするための施錠が開錠された場合、当該空間の内部および周辺を録画し、録画した情報を前記第1の人物が利用する端末装置に表示するよう制御する、
 前記(14)に記載の置き去り通知装置。
(16)
 前記取得部は、
 前記空間にアクセスするための施錠が開錠された後に、当該空間に所在する生体の状態を取得し、
 前記通知部は、
 前記生体の状態に基づいて、前記機関に対して当該生体の救出を求めるよう通知する、
 前記(15)に記載の置き去り通知装置。
(17)
 前記通知部は、
 前記空間から第1の人物が離れた後に所定時間が経過した場合に、過去の前記第1の人物の行動履歴に基づいて、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知するか、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して前記生体が前記空間に所在することを通知するか、のいずれを優先的に実行するかを判定する、
 前記(1)から(16)のいずれかに記載の置き去り通知装置。
(18)
 前記空間は自動車を含む車両であり、前記第1の人物は当該車両の運転手であり、前記生体は幼児であり、
 前記取得部は、前記車両内において前記運転手の状態検出を行う第1の検出手段とは異なる位置に設置された第2の検出手段を用いて、前記幼児の状態を取得する、
 前記(1)から(17)のいずれかに記載の置き去り通知装置。
(19)
 コンピュータが、
 所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知し、
 前記生体の状態および当該空間の環境情報を取得し、
 前記取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する、
 ことを含む置き去り通知方法。
(20)
 コンピュータを、
 所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部と、
 前記生体の状態および当該空間の環境情報を取得する取得部と、
 前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部と、
 として機能させるための置き去り通知プログラム。
 1   情報処理システム
 40  通信基地局
 50  端末
 100 車両
 110 通信部
 120 記憶部
 130 制御部
 131 検出部
 132 通知部
 133 取得部
 134 表示制御部
 140 検知部
 145 表示部
 150 クラウドサーバ

Claims (20)

  1.  所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部と、
     前記生体の状態および当該空間の環境情報を取得する取得部と、
     前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部と、
     を備える置き去り通知装置。
  2.  前記通知部は、
     前記空間において前記生体が所在する位置、当該生体の就寝状況、当該所在する位置の変化、および、当該就寝状況の変化の少なくとも一つを通知する、
     請求項1に記載の置き去り通知装置。
  3.  前記表示制御部は、
     前記リスク情報として、前記生体の前記空間における滞在時間に沿って、当該生体が滞在を続ける場合の危険度を段階的に可視化したグラフを表示する、
     請求項1に記載の置き去り通知装置。
  4.  前記表示制御部は、
     前記取得部によって取得された環境情報に基づいて算出される、前記空間における温度変化に基づく前記危険度を可視化した前記グラフを表示する、
     請求項3に記載の置き去り通知装置。
  5.  前記表示制御部は、
     前記リスク情報として、前記生体の年齢に応じた属性に基づいて、前記危険度を段階的に可視化した前記グラフを表示する、
     請求項3に記載の置き去り通知装置。
  6.  前記表示制御部は、
     前記リスク情報として、前記第1の人物が前記空間を離れてから戻ってくるまでの推定経過時間と、当該推定経過時間における前記危険度とを含む前記グラフを表示する、
     請求項3に記載の置き去り通知装置。
  7.  前記表示制御部は、
     前記第1の人物とは異なる第2の人物が、当該生体とともに前記空間に所在するときには、当該第2の人物が所在しない場合とは異なるリスク情報を表示する、
     請求項1に記載の置き去り通知装置。
  8.  前記取得部は、
     前記空間から第1の人物が離れた後に所定時間が経過した場合に、当該空間の環境情報が所定の範囲を超えて変化したことを検知した場合、当該空間の環境を維持するための機構を作動させる、
     請求項1に記載の置き去り通知装置。
  9.  前記通知部は、
     前記空間から第1の人物が離れた後に所定時間が経過した場合に、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知する、
     請求項1に記載の置き去り通知装置。
  10.  前記取得部は、
     前記空間から第1の人物が離れる際に、当該第1の人物が当該空間を離れた後に向かう目的地までの距離および当該目的地の属性を取得し、
     前記通知部は、
     前記目的地までの距離および当該目的地の属性に基づいて、前記第1の人物が当該空間を離れてから戻ってくるまでの推定経過時間を算出し、当該空間から第1の人物が離れた後に当該推定経過時間が経過した場合に、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知する、
     請求項9に記載の置き去り通知装置。
  11.  前記通知部は、
     前記空間に戻ることを促すための通知を送信したのちに所定時間が経過した場合、当該通知に対して当該第1の人物からの返答が確認できない場合、もしくは、前記生体の異常を検出した場合の少なくとも一つに該当する場合に、当該空間の外部に対して警報を発する、
     請求項9に記載の置き去り通知装置。
  12.  前記通知部は、
     前記空間から第1の人物が離れた後に、当該第1の人物から遠隔指示を受け付けた場合に、当該空間の外部に対して警報を発する、
     請求項9に記載の置き去り通知装置。
  13.  前記通知部は、
     前記空間から第1の人物が離れた後に所定時間が経過した場合に、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して、前記生体が前記空間に所在することを通知する、
     請求項1に記載の置き去り通知装置。
  14.  前記通知部は、
     前記第1の人物から遠隔指示を受け付けた場合、前記第3の人物もしくは前記機関から要請があった場合、または、当該第3の人物もしくは当該機関への通知の後に所定時間が経過した場合の少なくともいずれかの条件を満たした場合、前記空間にアクセスするための施錠を開錠するよう制御し、開錠した旨を当該第1の人物に通知する、
     請求項13に記載の置き去り通知装置。
  15.  前記表示制御部は、
     前記空間にアクセスするための施錠が開錠された場合、当該空間の内部および周辺を録画し、録画した情報を前記第1の人物が利用する端末装置に表示するよう制御する、
     請求項14に記載の置き去り通知装置。
  16.  前記取得部は、
     前記空間にアクセスするための施錠が開錠された後に、当該空間に所在する生体の状態を取得し、
     前記通知部は、
     前記生体の状態に基づいて、前記機関に対して当該生体の救出を求めるよう通知する、
     請求項15に記載の置き去り通知装置。
  17.  前記通知部は、
     前記空間から第1の人物が離れた後に所定時間が経過した場合に、過去の前記第1の人物の行動履歴に基づいて、当該第1の人物が当該空間に戻ることを促すための通知を前記端末装置に通知するか、予め緊急連絡先として登録されている第3の人物、もしくは、緊急連絡先として登録されている機関に対して前記生体が前記空間に所在することを通知するか、のいずれを優先的に実行するかを判定する、
     請求項1に記載の置き去り通知装置。
  18.  前記空間は自動車を含む車両であり、前記第1の人物は当該車両の運転手であり、前記生体は幼児であり、
     前記取得部は、前記車両内において前記運転手の状態検出を行う第1の検出手段とは異なる位置に設置された第2の検出手段を用いて、前記幼児の状態を取得する、
     請求項1に記載の置き去り通知装置。
  19.  コンピュータが、
     所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知し、
     前記生体の状態および当該空間の環境情報を取得し、
     前記取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する、
     ことを含む置き去り通知方法。
  20.  コンピュータを、
     所定の空間に所在する生体が検出された場合に、検出した情報を当該空間に所在する第1の人物に通知する通知部と、
     前記生体の状態および当該空間の環境情報を取得する取得部と、
     前記取得部によって取得された情報に基づいて算出される、前記生体が前記空間に滞在を続ける場合のリスク情報を、前記空間から第1の人物が離れる際に、前記空間に設置された表示装置もしくは当該第1の人物が利用する端末装置に表示するよう制御する表示制御部と、
     として機能させるための置き去り通知プログラム。
PCT/JP2022/007779 2021-09-28 2022-02-25 置き去り通知装置、置き去り通知方法および置き去り通知プログラム WO2023053487A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021158362 2021-09-28
JP2021-158362 2021-09-28

Publications (1)

Publication Number Publication Date
WO2023053487A1 true WO2023053487A1 (ja) 2023-04-06

Family

ID=85782169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007779 WO2023053487A1 (ja) 2021-09-28 2022-02-25 置き去り通知装置、置き去り通知方法および置き去り通知プログラム

Country Status (1)

Country Link
WO (1) WO2023053487A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160192A (ja) * 1999-12-03 2001-06-12 Hitachi Ltd 車の異常事態通報システム
JP2017218032A (ja) * 2016-06-08 2017-12-14 三菱電機株式会社 車載装置
JP2019139523A (ja) * 2018-02-09 2019-08-22 トヨタ自動車株式会社 車内状況報知システム
JP2019199153A (ja) * 2018-05-16 2019-11-21 株式会社Jvcケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP2020144613A (ja) * 2019-03-06 2020-09-10 日本電産モビリティ株式会社 車両制御装置および制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160192A (ja) * 1999-12-03 2001-06-12 Hitachi Ltd 車の異常事態通報システム
JP2017218032A (ja) * 2016-06-08 2017-12-14 三菱電機株式会社 車載装置
JP2019139523A (ja) * 2018-02-09 2019-08-22 トヨタ自動車株式会社 車内状況報知システム
JP2019199153A (ja) * 2018-05-16 2019-11-21 株式会社Jvcケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP2020144613A (ja) * 2019-03-06 2020-09-10 日本電産モビリティ株式会社 車両制御装置および制御方法

Similar Documents

Publication Publication Date Title
US11659038B2 (en) Smart vehicle
CN111788101B (zh) 确定和响应车辆的内部状态
US10576994B1 (en) Autonomous system operator cognitive state detection and alerting
CN108205731B (zh) 情境评估车辆系统
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11112793B2 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US11460842B2 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064805A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20210089048A1 (en) Smart vehicle
WO2019208015A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US20190064800A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US11526166B2 (en) Smart vehicle
CN107357194A (zh) 自主驾驶车辆中的热监测
US20190064803A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
CN114072865A (zh) 信息处理装置、移动装置、方法和程序
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US11285966B2 (en) Method and system for controlling an autonomous vehicle response to a fault condition
US20230045416A1 (en) Information processing device, information processing method, and information processing program
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
US20190064802A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
JP2016149105A (ja) 車両内人感知システム
WO2019046204A1 (en) MIXED-MODE DRIVING OF A VEHICLE HAVING AUTONOMOUS DRIVING CAPABILITIES
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2023053487A1 (ja) 置き去り通知装置、置き去り通知方法および置き去り通知プログラム
US20210291870A1 (en) Testing situational awareness of drivers tasked with monitoring a vehicle operating in an autonomous driving mode

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023551023

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE