WO2024121876A1 - 置き去り判定システム、置き去り判定装置、および、置き去り判定方法 - Google Patents

置き去り判定システム、置き去り判定装置、および、置き去り判定方法 Download PDF

Info

Publication number
WO2024121876A1
WO2024121876A1 PCT/JP2022/044646 JP2022044646W WO2024121876A1 WO 2024121876 A1 WO2024121876 A1 WO 2024121876A1 JP 2022044646 W JP2022044646 W JP 2022044646W WO 2024121876 A1 WO2024121876 A1 WO 2024121876A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
vehicle
abandonment
vehicle interior
unit
Prior art date
Application number
PCT/JP2022/044646
Other languages
English (en)
French (fr)
Inventor
靖憲 星原
勲旺 松島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/044646 priority Critical patent/WO2024121876A1/ja
Publication of WO2024121876A1 publication Critical patent/WO2024121876A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons

Definitions

  • This disclosure relates to an abandonment determination system, an abandonment determination device, and an abandonment determination method.
  • a technology uses a biosensor that detects the biological signals of an infant or other person present in the vehicle cabin from movements on the surface of the body as a sensor for determining whether or not an infant or other person has been left behind in the vehicle cabin, and determines whether or not an infant or other person has been left behind in the vehicle cabin based on the biological information from the biosensor (for example, Patent Document 1).
  • the radio waves emitted by the radio wave sensor have the property of being transmitted, reflected, or diffracted depending on the materials of the structures inside the vehicle cabin, so the radio wave sensor can detect the position and movement of moving objects inside the vehicle cabin over a wide area. Therefore, by determining whether or not a child or other person has been left behind inside the vehicle cabin based on information generated from the reflected waves received by the radio wave sensor, it becomes possible to determine whether or not a child or other person has been left behind inside the vehicle cabin over a wide area.
  • radio waves emitted by a radio wave sensor installed inside the vehicle cabin are propagated outside the vehicle cabin, which is not originally intended.
  • a radio wave sensor installed inside the vehicle cabin can also detect people and other objects present outside the vehicle cabin. Therefore, due to the radio wave sensor's properties of transmission, reflection, or diffraction, there is a possibility that the radio wave sensor may determine that a person or other object present outside the vehicle cabin is actually present inside the vehicle cabin.
  • the technology for determining whether or not a child has been left behind using a biosensor does not take into account the possibility of erroneous determination of whether or not a child has been left behind due to the nature of the radio wave sensor, as described above, and therefore remains unable to solve the above problem.
  • the present disclosure has been made to solve the above problems, and aims to provide an abandonment determination system that prevents erroneous determination of whether or not a child or other person has been left behind in a vehicle.
  • the abandoned person determination system includes a radio wave sensor that is provided in the vehicle interior and detects moving objects based on radio waves radiated toward the vehicle interior and reflected by objects in the vehicle interior, a biometric information acquisition unit that acquires biometric information extracted based on the detection result of the moving object detected by the radio wave sensor, a three-dimensional image acquisition unit that acquires a three-dimensional image that shows in three dimensions the distribution of the area in the vehicle interior where the moving object is present, generated based on the detection result of the moving object detected by the radio wave sensor, an interior vehicle determination unit that performs an interior vehicle interior determination as to whether or not a moving object deemed to be a person requiring assistance is present in the vehicle interior based on the three-dimensional image acquired by the three-dimensional image acquisition unit and the biometric information acquired by the biometric information acquisition unit, an exterior vehicle interior determination unit that performs an exterior vehicle interior determination as to whether or not a moving object deemed to be a person is present outside the vehicle interior based on the three-dimensional image acquired by the three-
  • This disclosure makes it possible to prevent erroneous determinations of whether or not a child or other person has been left behind in the vehicle.
  • FIG. 1 is a diagram showing a configuration example of an abandonment determination system according to a first embodiment
  • 1 is a diagram showing a configuration example of a biometric determination device according to a first embodiment
  • 1 is a diagram illustrating an example of the configuration of an abandonment determination device according to a first embodiment
  • 1 is a diagram for explaining in detail the radio wave sensor according to the first embodiment
  • 1 is a diagram for explaining in detail the radio wave sensor according to the first embodiment
  • 4 is a diagram for explaining a flow of signals in a radio wave transmitting/receiving section of the radio wave sensor according to the first embodiment.
  • FIG. FIG. 7A is an explanatory diagram showing an example of an FM transmission wave and an FM reception wave
  • FIG. 7B is an explanatory diagram showing the relationship between the transmission and reception period of the FM transmission wave and the frequency difference fd .
  • 8A, 8B, and 8C are diagrams showing examples of a three-dimensional image generated by the three-dimensional image generating unit in the first embodiment.
  • 1A and 1B are diagrams illustrating Doppler components when a moving object (occupant) is present and when a moving object (occupant) is not present;
  • 13 is a diagram showing an example of a first table for abandonment determination used by a first determination unit in a first abandonment determination process in the first embodiment;
  • FIG. 13 is a diagram showing an example of a second table for abandonment determination used by the second determination unit in the second abandonment determination process in embodiment 1.
  • FIGS. 12A and 12B are diagrams showing examples of a first alarm table and a second alarm table used by the alarm control unit to determine whether to output an alarm instruction in embodiment 1, where FIG. 12A is a diagram showing an example of the first alarm table and FIG. 12B is a diagram showing an example of the second alarm table.
  • 4 is a flowchart for explaining the operation of the abandonment determination system according to the first embodiment.
  • 14 is a flowchart for explaining the process of step ST2 in FIG. 13 in detail.
  • 4 is a flowchart for explaining the operation of the alarm control device according to the first embodiment.
  • 16A and 16B are diagrams illustrating an example of a hardware configuration of the abandonment determination device according to the first embodiment.
  • passenger monitoring systems that detect passengers in the vehicle cabin using sensors and determine their behavior have been introduced to the market.
  • Representative functions of such passenger monitoring systems include, for example, a function to detect driver behavior such as dozing or looking away while driving, with the main purpose of driving assistance.
  • technological and product development of passenger monitoring systems to further improve vehicle safety is progressing, such as a seat belt reminder for all seats by having a function to detect the seating positions or physiques of all passengers in the vehicle cabin, or a system to determine whether or not a child has been left behind in the vehicle cabin.
  • leaving young children behind in vehicles has become a social issue, and Euro NCAP (New Car Assessment Programme), which handles automobile assessments in Europe, plans to add "Child Presence Detection" as a test item in 2022.
  • a camera is one of the sensors that is put to practical use in the vehicle interior.
  • the images captured by the camera can not only detect the presence or absence of an occupant in the vehicle cabin or determine the physique of the occupant, but also enable more advanced detection or determination, such as personal authentication through facial recognition or detection of drowsiness by checking whether the driver's eyes are open or closed.
  • detection of the presence or absence of an occupant in the vehicle cabin or determination of the occupant's physical size is performed using an image captured within the camera's visible range, and therefore the detection range or determination range is limited.
  • the radio wave sensor generates a three-dimensional image by receiving the reflected radio waves that are reflected by a target object (more specifically, an occupant) and processing the signals.
  • the three-dimensional image makes it possible to detect the presence or absence of an occupant in the vehicle cabin, determine the seating position of the occupant, determine the physique of the occupant, or detect the movement of the occupant.
  • the radio wave sensor also extracts minute movements, such as the breathing of the occupant, from the reflected waves as biometric information, which makes it possible to determine the presence or absence of an object (more specifically, an occupant).
  • radio wave irradiation which is the detection range of the radio wave sensor.
  • the radio waves emitted by a radio wave sensor have the property of being transmitted, reflected, or diffracted depending on the materials of the structures in the vehicle interior, such as the seats or ceiling (hereinafter referred to as "vehicle structures"). Therefore, by widening the antenna directivity of the radio wave sensor and optimizing the installation position, the radio wave sensor has the characteristic of being able to realize a wide detection range.
  • the antenna directivity of the radio wave sensor corresponds to the lens angle of the camera.
  • the radio wave sensor is capable of achieving a wide detection range.
  • radio waves emitted from a radio wave sensor installed in the vehicle interior to monitor passengers in the vehicle interior also propagate outside the vehicle interior, which is not originally intended. Therefore, the radio wave sensor detects people around the vehicle, in other words, people outside the vehicle interior. Details of the radio wave sensor detecting people outside the vehicle interior will be described later with reference to the drawings.
  • a radio wave sensor detects a person outside the vehicle and a determination is made as to whether a child or other person has been left behind inside the vehicle using a three-dimensional image or biometric information generated based on the result of the radio wave sensor detecting an object (more specifically, an occupant), it may be determined that a child or other person has been left behind inside the vehicle even though in fact they have not.
  • the present disclosure provides an abandonment determination system that can determine whether or not a person requiring assistance, such as a small child, has been left behind in a vehicle cabin over a wide range by using information from a radio wave sensor (more specifically, three-dimensional images and biometric information), and that prevents erroneous determination of whether or not a person requiring assistance has been left behind due to the properties of the radio wave sensor, as described above.
  • a radio wave sensor more specifically, three-dimensional images and biometric information
  • the term "person requiring assistance” refers to a living body, such as a small child, that has difficulty getting out of the vehicle on its own if left behind in the vehicle.
  • the term “person requiring assistance” also includes living bodies such as pets.
  • the "person requiring assistance” is an infant, and the abandonment determination system determines whether an infant has been left behind in the vehicle cabin.
  • FIG. 1 is a diagram showing an example of the configuration of an abandonment determination system 100 according to the first embodiment.
  • the abandonment determination system 100 is composed of a liveness determination device 130 and an abandonment determination device 140 .
  • the abandonment determination device 140 is mounted on a vehicle and is connected to the biometric determination device 130 , the alarm control device 150 , and the vehicle information device 40 .
  • the biometric determination device 130 is mounted on a radio wave sensor 11 provided in the vehicle interior.
  • the biometric determination device 130 determines whether or not a moving object deemed to be a child is present inside the vehicle cabin (hereinafter referred to as "inside vehicle cabin determination") and whether or not a moving object is present outside the vehicle cabin (hereinafter referred to as “outside vehicle cabin determination”) based on the biometric information generated based on the detection result of the moving object detected by the radio wave sensor 11 and the three-dimensional image.
  • “moving object” refers to a person, including a vehicle occupant.
  • the radio wave sensor 11 will be described in detail later.
  • 2 is a diagram showing a configuration example of the liveness determining device 130 according to embodiment 1. Details of the configuration example of the liveness determining device 130 will be described later.
  • the vehicle information device 40 is mounted on the vehicle and is capable of communicating with the short-range wireless communication device 45 .
  • the short-range wireless communication device 45 is, for example, a mobile terminal carried by a person such as a vehicle owner, a vehicle key having a so-called keyless entry function, or a so-called smart key.
  • the vehicle information device 40 plays a role of controlling the unlocking and locking of the vehicle doors by exchanging key information with the vehicle key, for example.
  • the vehicle information device 40 includes a wireless communication status monitoring unit 41.
  • the wireless communication status monitoring unit 41 monitors the communication status with the short-range wireless communication device 45. More specifically, the wireless communication status monitoring unit 41 monitors whether or not wireless communication between the vehicle and the short-range wireless communication device 45 has been established.
  • the wireless communication status monitoring unit 41 outputs information regarding the communication status between the vehicle and the short-range wireless communication device 45, i.e., whether or not wireless communication between the vehicle and the short-range wireless communication device 45 has been established (hereinafter referred to as "communication status information") to the abandoned vehicle determination device 140.
  • the abandonment determination device 140 determines whether or not a child has been left behind in the vehicle cabin based on the results of the interior and exterior determination performed by the biometric determination device 130 and the communication status information obtained from the vehicle information equipment 40.
  • 3 is a diagram showing a configuration example of the abandonment determination device 140 according to embodiment 1. The configuration example of the abandonment determination device 140 will be described in detail later.
  • the alarm control device 150 is mounted on the vehicle and causes the alarm device 160 to output an alarm based on the result of the determination by the abandonment determination device 140 as to whether or not an infant has been left behind inside the vehicle compartment.
  • the warning device 160 is assumed to be, for example, a display device such as a display or an audio output device such as a speaker provided on a mobile terminal carried by the owner of the vehicle, or a lamp or horn provided in the vehicle. A detailed configuration example of the alarm control device 150 will be described later.
  • the radio wave sensor 11 will be described in detail.
  • the radio wave sensor 11 according to the first embodiment is equipped with an antenna having wide-angle directivity, and is provided inside the vehicle interior so that radio waves are irradiated to any occupants who may be present inside the vehicle interior.
  • FIG. 4 and 5 are diagrams for explaining the radio wave sensor 11 according to the first embodiment in detail.
  • FIG. 4 is a diagram showing an example of the interior of a vehicle cabin as viewed from the side of the vehicle.
  • FIG. 5 is a diagram showing an example of the interior and exterior of a vehicle when the vehicle is viewed from above.
  • the vehicle is designated "10".
  • the x-axis is an axis parallel to the vehicle width direction
  • the y-axis is an axis parallel to the vehicle height direction
  • the z-axis is an axis parallel to the vehicle length direction.
  • "parallel” is not limited to being strictly “parallel” and includes approximately parallel.
  • 4 and 5 are right-hand drive vehicles, this is merely an example, and the vehicle may be a left-hand drive vehicle.
  • the radio wave sensor 11 is installed, for example, at an upper portion inside the vehicle cabin.
  • FIG. 4 shows the state of the interior of the vehicle when there is an adult passenger 30 in the passenger seat and an occupant (more specifically, a child) 31 lying in a child seat 20 installed facing backwards in the rear seat.
  • the radio wave sensor 11 irradiates radio waves toward the occupants 30 and 31 inside the vehicle interior, and receives reflected waves of the radio waves from the occupants 30 and 31.
  • the image of the radio wave emitted from the radio wave sensor 11 and the reflected wave from the radio wave reflected by the occupant 30 and the occupant 31 is indicated by "13.”
  • FIG. 5 is a diagram showing the state inside and outside the vehicle cabin when an adult occupant 35 who was in the vehicle cabin gets out of the vehicle. There is no occupant in the vehicle cabin.
  • the occupant 35 is assumed to be, for example, a vehicle owner.
  • the occupant 35 carries a short-range wireless communication device 45 and moves between within the communication range of the short-range wireless communication device 45 (indicated by "46" in FIG. 5) and outside the communication range of the short-range wireless communication device 45.
  • FIG. 5 illustrates both the occupant 35 who is within the communication range of the short-range wireless communication device 45 and the occupant 35 who is outside the communication range of the short-range wireless communication device 45.
  • the radio wave sensor 11 is provided inside the vehicle cabin so that radio waves are irradiated to any occupants who may be present inside the vehicle cabin.
  • the irradiation range of the radio waves emitted by the radio wave sensor 11 is indicated by "15".
  • the irradiation range into which the radio wave sensor 11 emits radio waves can also be considered as the detection range in which the radio wave sensor 11 can detect an object.
  • the radio wave sensor 11 may process the reflected waves of the radio waves emitted to the people outside the vehicle cabin as signals of radio waves reflected by passengers inside the vehicle cabin.
  • the radio wave sensor 11 includes a radio wave transmitting/receiving unit 110, a sensor signal processing unit 120, and a liveness determination device 130.
  • the radio wave transmitting/receiving section 110 is made up of a transmitting antenna 111, a receiving antenna 112, a high frequency signal generating circuit section 113, a transmitting circuit section 114, a receiving circuit section 115, and an A/D conversion section .
  • the transmitting antenna 111 is a planar antenna configured on an electronic circuit board.
  • the transmitting antenna 111 has a plurality of transmitting antenna elements (not shown) that radiate radio waves toward a target area.
  • the receiving antenna 112 is a planar antenna configured on an electronic circuit board.
  • the receiving antenna 112 has a plurality of receiving antenna elements (not shown) that receive the reflected waves of the radio waves radiated from the transmitting antenna 111 .
  • FIG. 1 shows only one each of the transmitting antenna 111, receiving antenna 112, transmitting circuit unit 114, and receiving circuit unit 115, the transmitting antenna 111, receiving antenna 112, transmitting circuit unit 114, or receiving circuit unit 115 may be configured with multiple units in order to satisfy the requirements for signal processing performed by the sensor signal processing unit 120 (more specifically, the three-dimensional image generation unit 121 and the biometric information extraction unit 122).
  • the high frequency signal generating circuit section 113 generates a signal for sensing.
  • FIG. 6 is a diagram for explaining the flow of signals in the radio wave transmitting/receiving unit 110 of the radio wave sensor 11 according to the first embodiment.
  • modulation methods for the sensing signal of the radio wave sensor 11 There are various modulation methods for the sensing signal of the radio wave sensor 11, but here, we will explain an example in which the FM-CW (Frequency Modulation - Continuous Wave) method, which is often used for in-vehicle applications, is applied as the modulation method.
  • the FM-CW method is suitable for use in passenger monitoring systems because it can measure the distance, speed, and angle of a target object.
  • the high frequency signal generating circuit section 113 periodically generates an FM signal (called a chirp wave) whose frequency increases and decreases as shown in FIG. 6, and sends it to the transmitting circuit section 114 and the receiving circuit section 115.
  • an FM signal called a chirp wave
  • the transmission circuit unit 114 amplifies the signal power to obtain the power required for emitting radio waves, and emits the radio waves into the space inside the vehicle via the transmission antenna 111.
  • the target object refers to an object that reflects radio waves, such as the occupant 30 or occupant 31 shown in Figure 4, or a vehicle structure.
  • the receiving circuit section 115 receives, via the receiving antenna 112, the radio waves that have been reflected off the surface of the target object and returned to the radio wave transmitting/receiving section 110.
  • a signal similar to the FM transmission wave is input as a reception signal to the reception circuit section 115 as an FM reception wave.
  • the reception signal is input to the reception circuit section 115 with a time difference td that is required for the radio wave to reach the target object from the radio wave transmission/reception section 110 and return.
  • Fig. 7A is an explanatory diagram showing an example of the FM transmission wave and the FM reception wave.
  • the receiving circuit section 115 extracts the frequency difference fd between the frequency of the FM signal generated by the high frequency signal generating circuit section 113 and the frequency of the receiving signal, generates an intermediate frequency (IF) signal having the frequency difference fd , and outputs the intermediate frequency signal to the A/D (analog-digital) conversion section 116.
  • Fig. 7B is an explanatory diagram showing the relationship between the transmission and reception period of the FM transmission wave and the frequency difference fd .
  • the occupant 31 is located farther from the radio wave sensor 11 than the occupant 30. Therefore, when the occupant 31 is the target object, the time difference td and the frequency difference fd are larger than the time difference td and the frequency difference fd when the occupant 30 is the target object.
  • the A/D converter 116 converts the intermediate frequency signal from an analog signal to a digital signal.
  • the A/D conversion unit 116 outputs the digital signal to the sensor signal processing unit 120 .
  • the sensor signal processing unit 120 performs the following two types of signal processing (hereinafter referred to as “three-dimensional image generation processing” and “biometric information generation processing”).
  • the three-dimensional image generating process is performed by a three-dimensional image generating unit 121 included in the sensor signal processing unit 120.
  • the biometric information generating process is performed by a biometric information extracting unit 122 included in the sensor signal processing unit 120.
  • the three-dimensional image generating unit 121 generates a three-dimensional image based on the intermediate frequency signal output from the A/D conversion unit 116 of the radio wave transmitting/receiving unit 110 in a three-dimensional image generating process.
  • the intermediate frequency signal is generated from a reflected wave of a radio wave reflected by the surface of the target object.
  • the three-dimensional image generating unit 121 can calculate the position of the reflection point on the surface of the target object (more specifically, the distance and angle from the radio wave sensor 11) from the intermediate frequency signal.
  • the three-dimensional image generating section 121 can generate a three-dimensional image of the target object by performing signal processing on the reflected waves from the multiple reflection points.
  • the three-dimensional image generated by the three-dimensional image generating unit 121 represents in three dimensions the distribution of the area in the vehicle cabin where the moving object exists.
  • the three-dimensional image represents the minute movement of the moving object in the vehicle cabin, in other words, the target object that has reflected the radio wave irradiated by the radio wave sensor 11, by a plurality of grids that correspond to the reflection points of the radio wave in the three-dimensional space.
  • FIG. 8A, FIG. 8B, and FIG. 8C are diagrams showing examples of three-dimensional images generated by three-dimensional image generating section 121 in embodiment 1.
  • FIG. Fig. 8A shows an example of a top view of a three-dimensional image
  • Fig. 8B shows an example of a side view of a three-dimensional image
  • Fig. 8C shows an example of a front view of a three-dimensional image.
  • the three-dimensional image is shown in a three-view view for the sake of simplicity.
  • the three-dimensional images shown in Fig. 8A, Fig. 8B, and Fig. 8C are three-dimensional images in the case where the state of the interior of the vehicle is the state of the interior of the vehicle shown in Fig. 4.
  • a numerical value according to the speed of a target object existing at the position of the grid is assigned to each grid.
  • the faster the speed of a target object existing at the position of a certain grid the larger the numerical value assigned to that grid.
  • a grid included in a range in which a moving object with small movements exists is assigned a numerical value larger than that of a grid in which no moving object exists.
  • the grids to which larger numerical values are assigned are shown darker.
  • the grids included in the range in which a moving object exists are shown darker.
  • the occupant 31, i.e., the infant, is occluded by the child seat 20 or other vehicle structures. Due to this effect, the spatial distribution of the infant shown by the grid is hardly visible in the three-dimensional images shown in Fig. 8A, Fig. 8B, and Fig. 8C. In other words, it is difficult to determine the presence of an infant from the three-dimensional images shown in Fig. 8A, Fig. 8B, and Fig. 8C. As for the occupant 30, since the radio waves from the radio wave sensor 11 are irradiated onto the entire body of the occupant 30, the spatial distribution of the occupant 30 appears on the three-dimensional image as a grid based on the reflected waves.
  • the biometric information extraction unit 122 extracts, as biometric information, frequency components (Doppler components) superimposed on the reflected waves of a moving object due to minute movements such as breathing of the moving object, based on the intermediate frequency signal output from the A/D conversion unit 116 of the radio wave transmission/reception unit 110.
  • Fig. 9 is a diagram showing Doppler components when a moving object (occupant) is present and when no moving object (occupant) is present. Even if a spatial distribution indicating an infant does not appear on the three-dimensional image, as in the three-dimensional images shown in Figures 8A, 8B, and 8C, the biological information of the infant can be extracted by extracting the Doppler components.
  • the biometric information does not include information indicating the position of the moving object indicated by the biometric information, and therefore the position of the moving object cannot be identified from the biometric information. That is, even if it is attempted to determine the presence or absence of an occupant in the vehicle cabin from biometric information extracted based on the reflected waves of the radio waves irradiated by the radio wave sensor 11 reflected by the surface of the target object, it is difficult to distinguish between an occupant in the vehicle cabin and a person outside the vehicle cabin. For example, when the state of the inside and outside of the vehicle cabin is as shown in FIG. 5, the occupant 35 outside the vehicle cabin shown in FIG. 5 cannot be identified as a person outside the vehicle cabin from the biometric information.
  • the radio wave sensor 11 has a property that the radio waves irradiated by the radio wave sensor 11 are transmitted, reflected, or diffracted depending on the material of the vehicle structure. Due to this property, there is a possibility that the reflected waves that hit the surface of the person outside the vehicle cabin propagate into the vehicle cabin, and further hit the vehicle structure, and then the reflected waves are received by the radio wave sensor 11.
  • the biometric information extraction unit 122 may extract the biometric information of the person outside the vehicle cabin.
  • the sensor signal processing unit 120 outputs to the biometric determination device 130 the three-dimensional image generated by the three-dimensional image generation unit 121 in the three-dimensional image generation process and the biometric information extracted by the biometric information extraction unit 122 in the biometric information extraction process.
  • the biometric determination device 130 includes a biometric information acquisition unit 1301 , a three-dimensional image acquisition unit 1302 , an interior determination unit 131 , and an exterior determination unit 135 .
  • the vehicle interior determination unit 131 includes a first vehicle interior determination unit 132 and a second vehicle interior determination unit 133 .
  • the biometric information acquisition unit 1301 acquires the biometric information extracted by the biometric information extraction unit 122 of the sensor signal processing unit 120 .
  • the biometric information acquisition unit 1301 outputs the acquired biometric information to the second vehicle interior determination unit 133 of the vehicle interior determination unit 131.
  • the second vehicle interior determination unit 133 may have the function of the biometric information acquisition unit 1301.
  • the three-dimensional image acquisition unit 1302 acquires the three-dimensional image generated by the three-dimensional image generation unit 121 of the sensor signal processing unit 120 .
  • the three-dimensional image acquisition unit 1302 outputs the acquired three-dimensional image to the first vehicle interior determination unit 132 of the vehicle interior determination unit 131 and the vehicle exterior determination unit 135 .
  • the first vehicle interior determination unit 132 and the vehicle exterior determination unit 135 may have the functions of the three-dimensional image acquisition unit 1302.
  • the vehicle interior determination unit 131 determines whether or not a moving object regarded as a child is present inside the vehicle interior based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302 and the biometric information acquired by the biometric information acquisition unit 1301 . As described above, the vehicle interior determination unit 131 includes the first vehicle interior determination unit 132 and the second vehicle interior determination unit 133 .
  • the first vehicle interior determination unit 132 determines whether or not a moving object regarded as an infant is present in the vehicle interior (hereinafter referred to as "first vehicle interior determination") based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302. In the first embodiment, the process in which the first vehicle interior determination unit 132 performs the first vehicle interior determination is also referred to as “first vehicle interior determination process.” In the first embodiment, the first vehicle interior determination unit 132 determines whether or not "there is a moving object regarded as an infant in the vehicle interior” means, in more detail, whether or not "there is a moving object regarded as an abandoned infant in the vehicle interior.” In other words, the first vehicle interior determination unit 132 determines whether or not "there is only a moving object regarded as an infant in the vehicle interior.” The first vehicle interior determination process performed by the first vehicle interior determination unit 132 will be described in detail.
  • the first vehicle interior determination unit 132 first determines, in the part of the three-dimensional image corresponding to the area inside the vehicle interior, whether there is a moving object deemed to be an occupant inside the vehicle interior, and, if so, in which seat position the moving object deemed to be an occupant is located.
  • Each grid of the three-dimensional image is associated with a coordinate in the real space of the vehicle interior, which is expressed in a three-dimensional coordinate system that represents the real space of the vehicle interior.
  • the first vehicle interior determination unit 132 can identify an area of the three-dimensional image that corresponds to the area of the vehicle interior.
  • the three-dimensional image of the portion that corresponds to the area of the vehicle interior will be referred to as the "vehicle interior three-dimensional image.”
  • the first vehicle interior determination unit 132 determines whether or not a spatial distribution contained in the vehicle interior three-dimensional image (for example, the spatial distribution shown by a colored grid in Figure 8) is a spatial distribution corresponding to an occupant (hereinafter referred to as an ⁇ occupant spatial distribution'') based on the shape of the spatial distribution. Any method can be used for the judgment based on the shape of the spatial distribution, but one possible method is to use a model that has learned the shape of the occupant spatial distribution to judge whether the spatial distribution contained in a three-dimensional image of the interior of the vehicle is an occupant spatial distribution.
  • the first vehicle interior determination unit 132 may determine that the spatial distribution included in the vehicle interior three-dimensional image is an occupant spatial distribution if the relative speed vn corresponding to the spatial distribution included in the vehicle interior three-dimensional image is greater than a preset threshold value (hereinafter referred to as the "first speed determination threshold value"), for example.
  • a preset threshold value hereinafter referred to as the "first speed determination threshold value”
  • Each grid of the three-dimensional image is associated with the relative speed vn .
  • the first speed determination threshold value is stored in a location that can be referenced by the first vehicle interior determination unit 132. Even if the occupant is, for example, a small child lying in the child seat 20, there is a certain degree of movement. If the first vehicle interior determination unit 132 determines that the spatial distribution included in the vehicle interior three-dimensional image is an occupant spatial distribution, it determines that a moving object regarded as an occupant is present in the vehicle interior.
  • the first vehicle interior determination unit 132 determines that the spatial distribution included in the vehicle interior three-dimensional image is an occupant spatial distribution, it identifies the position of a moving object that is considered to be an occupant in the occupant spatial distribution from the distance R n , incidence angle ⁇ x,n and incidence angle ⁇ y,n related to the occupant spatial distribution. Note that if the distance R n from the radio wave sensor 11 and the incidence angle ⁇ x,n and incidence angle ⁇ y,n with respect to the radio wave sensor 11 are known, the first vehicle interior determination unit 132 can identify the position of the moving object that is considered to be an occupant.
  • the distance R n from the radio wave sensor 11 and the incidence angle ⁇ x,n and incidence angle ⁇ y,n with respect to the radio wave sensor 11 are associated with each grid of the vehicle interior three-dimensional image.
  • the first interior determination unit 132 may determine that the moving object to be regarded as an occupant is not present, for example, if the position of the moving object to be regarded as an occupant is a position that is not expected to be a position where an occupant is present.
  • the first vehicle interior determination unit 132 determines whether the detected moving object regarded as an occupant is an adult or a child, based on the occupant space distribution contained in the vehicle interior three-dimensional image. Any method may be used for the determination based on the size of the occupant space distribution, but for example, a mode may be considered in which it is determined whether the moving object regarded as an occupant is an adult or an infant from the size of the occupant space distribution. Also, for example, a mode may be considered in which it is determined whether the moving object regarded as an occupant is an adult or an infant by using a model that has learned the size of the occupant space distribution for adults and infants. When there are multiple moving objects that are regarded as occupants, the first interior determination unit 132 determines whether each of the moving objects is an adult or a child.
  • the first vehicle interior determination unit 132 determines whether or not a moving object determined to be a child is present among the moving objects regarded as occupants. When a moving object determined to be an infant is present among the moving objects regarded as occupants, the first vehicle interior determination unit 132 determines whether or not a moving object determined to be an adult is present in addition to the moving object determined to be an infant. When a moving object determined to be an adult is not present in addition to the moving object determined to be an infant, the first vehicle interior determination unit 132 determines that a moving object regarded as an infant is present in the vehicle interior.
  • the first interior determination unit 132 determines that there are no moving objects considered to be infants in the vehicle cabin.
  • the first vehicle interior determination unit 132 outputs the determination result as to whether or not a moving object regarded as a small child is present in the vehicle interior (hereinafter referred to as the “first vehicle interior determination result”) to the abandonment determination device 140 .
  • the first vehicle interior determination result includes information indicating whether or not there is a moving object that is regarded as a small child inside the vehicle interior.
  • the second vehicle interior determination unit 133 determines whether or not a moving object regarded as an infant is present in the vehicle interior (hereinafter referred to as "second vehicle interior determination") based on the biometric information acquired by the biometric information acquisition unit 1301.
  • second vehicle interior determination process the process of the second vehicle interior determination by the second vehicle interior determination unit 133 is also referred to as “second vehicle interior determination process.” The second vehicle interior determination process performed by the second vehicle interior determination unit 133 will now be described in detail.
  • the second vehicle interior determination unit 133 determines from the biometric information, in other words, from the extracted Doppler component, whether or not the characteristics of the Doppler component are associated with minute movements such as human breathing.
  • the second vehicle interior determination unit 133 determines that a moving object that is regarded as an infant is present in the vehicle interior. Note that it is not possible to distinguish between adults and infants from the characteristics of the Doppler components.
  • the second vehicle interior determination unit 133 determines that the characteristics of the Doppler components are associated with minute movements such as human breathing, it determines that the object is due to infant breathing.
  • the second interior determination unit 133 determines that there is no moving object that can be regarded as a child in the vehicle interior.
  • the second vehicle interior determination unit 133 outputs the determination result as to whether or not a moving object regarded as a small child is present in the vehicle interior (hereinafter referred to as the “second vehicle interior determination result”) to the abandonment determination device 140 .
  • the second vehicle interior determination result includes information indicating whether or not there is a moving object that is deemed to be a small child inside the vehicle interior.
  • the first vehicle interior judgment and the second vehicle interior judgment are collectively referred to simply as the “vehicle interior judgment.”
  • the first vehicle interior judgment result and the second vehicle interior judgment result are collectively referred to simply as the “vehicle interior judgment result.”
  • the outside-vehicle determination unit 135 determines whether or not there is a moving object that is regarded as a person outside the vehicle cabin (hereinafter referred to as "outside-vehicle determination") based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302.
  • the process of the outside-vehicle determination performed by the outside-vehicle determination unit 135 is also referred to as “outside-vehicle determination process.”
  • the outside-of-vehicle determination process performed by the outside-of-vehicle determination unit 135 will now be described in detail.
  • the outside-of-vehicle determination unit 135 determines whether or not a moving object that is regarded as a person is present in the portion of the three-dimensional image that corresponds to the area outside the vehicle cabin.
  • each grid of the three-dimensional image is associated with a coordinate in the real space inside the vehicle cabin, which is expressed in a three-dimensional coordinate system that represents the real space inside the vehicle cabin, so that the vehicle exterior determination unit 135 can identify an area of the three-dimensional image that corresponds to an area outside the vehicle cabin.
  • the three-dimensional image of the portion that corresponds to the area outside the vehicle cabin will be referred to as an "outside vehicle cabin three-dimensional image.”
  • the outside-compartment determination unit 135 determines, based on the shape of the spatial distribution included in the outside-compartment three-dimensional image, whether or not the spatial distribution is a spatial distribution corresponding to a person (hereinafter referred to as a "human spatial distribution"). Any method can be used for the determination based on the shape of the spatial distribution, but one possible method is to use a model that has learned the shape of the human spatial distribution to determine whether the spatial distribution contained in the three-dimensional image outside the vehicle cabin is a human spatial distribution.
  • the outside-of-vehicle determination unit 135 may determine that the spatial distribution included in the three-dimensional image of the outside of the vehicle is a human spatial distribution if the relative speed vn corresponding to the spatial distribution included in the three-dimensional image of the outside of the vehicle is greater than a preset threshold value (hereinafter referred to as a "second speed determination threshold value").
  • the second speed determination threshold value is stored in a location that the outside-of-vehicle determination unit 135 can refer to.
  • the outside-of-vehicle determination unit 135 determines that the spatial distribution contained in the outside-vehicle three-dimensional image is a human spatial distribution, it determines that a moving object regarded as a person is present outside the vehicle cabin. On the other hand, if the outside-compartment determination unit 135 determines that the spatial distribution contained in the outside-compartment three-dimensional image is not a human spatial distribution, it determines that there is no moving object that is considered to be a person outside the vehicle compartment. Unlike the first interior determination unit 132, the exterior determination unit 135 does not determine the position or physique (adult or child) of a moving object deemed to be a person, but only determines whether or not there is a moving object deemed to be a person outside the vehicle cabin.
  • the outside vehicle compartment determination unit 135 outputs the determination result as to whether or not there is a moving object regarded as a person outside the vehicle compartment (hereinafter referred to as the “outside vehicle compartment determination result”) to the abandonment determination device 140 .
  • the outside-of-vehicle determination result includes information indicating whether or not there is a moving object that is deemed to be a person outside the vehicle cabin.
  • the abandoned vehicle determination device 140 includes an interior determination result acquisition unit 141 , an exterior determination result acquisition unit 142 , a communication status information acquisition unit 143 , and the abandoned vehicle determination unit 14 .
  • the abandonment determination unit 14 includes a first determination unit 144 and a second determination unit 145 .
  • the vehicle interior determination result acquisition unit 141 acquires the vehicle interior determination result from the vehicle interior determination unit 131 of the biometric determination device 130. More specifically, the vehicle interior determination result acquisition unit 141 acquires the first vehicle interior determination result from the first vehicle interior determination unit 132 of the biometric determination device 130, and acquires the second vehicle interior determination result from the second vehicle interior determination unit 133 of the biometric determination device 130. The vehicle interior determination result acquisition unit 141 outputs the acquired vehicle interior determination result to the abandoned vehicle determination unit 14 . In addition, the abandoned vehicle determination unit 14 may have the function of the vehicle interior determination result acquisition unit 141.
  • the outside-vehicle determination result acquisition unit 142 acquires the outside-vehicle determination result from the outside-vehicle determination unit 135 of the biometric determination device 130.
  • the outside vehicle determination result acquisition unit 142 outputs the acquired outside vehicle determination result to the abandoned vehicle determination unit 14 .
  • the abandoned vehicle determination unit 14 may have the function of the outside vehicle compartment determination result acquisition unit 142.
  • the communication state information acquisition unit 143 acquires communication state information from the wireless communication state monitoring unit 41 of the vehicle information device 40 .
  • the communication status information acquisition unit 143 outputs the acquired communication status information to the abandonment determination unit 14 .
  • the abandonment determination unit 14 may have the function of the communication status information acquisition unit 143.
  • the abandonment determination unit 14 determines whether or not a child has been left behind in the vehicle cabin based on the vehicle interior determination result of the vehicle interior determination performed by the vehicle interior determination unit 131 in the biometric determination device 130, the vehicle exterior determination result of the vehicle exterior determination performed by the vehicle exterior determination unit 135 in the biometric determination device 130, and the communication status information obtained from the wireless communication status monitoring unit 41 of the vehicle information equipment 40.
  • the abandonment determination unit 14 includes the first determination unit 144 and the second determination unit 145 .
  • the first determination unit 144 determines whether or not an infant has been left behind inside the vehicle cabin (hereinafter referred to as the "first abandonment determination") based on the vehicle cabin determination result of the vehicle cabin determination performed by the vehicle cabin determination unit 131 and the vehicle exterior determination result of the vehicle exterior determination performed by the vehicle exterior determination unit 135.
  • the process in which the first determination unit 144 performs the first abandonment determination is also referred to as the "first abandonment determination process.”
  • the determination made by the first determination unit 144 as to whether or not an infant has been left behind in the vehicle cabin is a provisional determination.
  • the actual determination, which finalizes the determination result as to whether or not an infant has been left behind in the vehicle cabin, is made by the second determination unit 145 in response to the provisional determination result made by the first determination unit 144. Details of the second determination unit 145 will be described later.
  • the first abandonment determination process performed by the first determination unit 144 will now be described in detail.
  • the first determination unit 144 determines whether or not a child has been left behind inside the vehicle cabin based on the vehicle interior determination result and the vehicle exterior determination result in a redundant manner. For example, the first judgment unit 144 judges whether or not a child has been left behind in the vehicle cabin based on a table (hereinafter referred to as the ⁇ first table for leaving behind judgment'') in which the vehicle cabin interior judgment result, the vehicle exterior judgment result, and information indicating whether or not a child has been left behind in the vehicle cabin are associated with each other.
  • the first table for abandonment determination is generated in advance by an administrator or the like, and is stored in a location that can be referenced by the first determination unit 144 .
  • FIG. 10 is a diagram showing an example of the first abandonment determination table used by the first determination unit 144 in the first abandonment determination process in the first embodiment.
  • vehicle interior detection/determination result indicates the vehicle interior detection result
  • infant present indicates that the first vehicle interior determination result is information that there is a moving object considered to be an infant in the vehicle interior
  • no infant present indicates that the first vehicle interior determination result is information that there is no moving object considered to be an infant in the vehicle interior.
  • “Infant present (using biological information)” indicates that the second vehicle interior determination result is information that there is a moving object considered to be an infant in the vehicle interior
  • “no infant present (using biological information)” indicates that the second vehicle interior determination result is information that there is no moving object considered to be an infant in the vehicle interior
  • “Vehicle exterior detection/determination result” indicates the vehicle exterior detection result. In the first table for determining whether an infant has been left behind shown in FIG. 10, the "result of primary infant leaving behind determination” indicates information indicating whether an infant has been left behind in the vehicle compartment.
  • the first determination unit 144 compares the vehicle interior determination result and the vehicle exterior determination result with a first table for determining whether or not a child has been left behind inside the vehicle, as shown in FIG. 10.
  • the first judgment unit 144 will judge that an infant has been left behind in the vehicle cabin, in other words, that an infant has been left behind in the vehicle cabin, regardless of the content of the second interior judgment result.
  • the first interior vehicle interior judgment result being a judgment result indicating the presence of a moving object deemed to be a small child in the vehicle interior means, in other words, that the first interior vehicle interior judgment unit 132 in the biometric judgment device 130 has determined in the first interior vehicle interior judgment that a moving object deemed to be a small child is present in the vehicle interior.
  • the first vehicle cabin determination result has a high degree of reliability. Therefore, if the first vehicle cabin determination determines that there is a moving object deemed to be an infant inside the vehicle cabin, the first determination unit 144 can determine that an infant has been left behind inside the vehicle cabin, regardless of the second vehicle cabin determination result and the outside vehicle cabin determination result.
  • the first determination unit 144 determines whether or not there is an infant left behind in the vehicle interior, in other words, whether or not there is an occurrence of an infant being left behind in the vehicle interior. In other words, the first determination unit 144 sets the first abandonment determination to "suspend.” In other words, the first determination unit 144 does not determine whether or not there is an infant left behind in the vehicle interior.
  • the first interior vehicle interior judgment result being a judgment result indicating that there is no moving object deemed to be a small child in the vehicle interior means, in other words, that the first interior vehicle interior judgment unit 132 in the biometric judgment device 130 has determined in the first interior vehicle interior judgment that there is no moving object deemed to be a small child in the vehicle interior.
  • the second interior judgment result being a judgment result indicating the presence of a moving object deemed to be a small child in the vehicle cabin means, in other words, that the second interior judgment unit 133 in the biometric judgment device 130 has determined, in the second interior judgment, that a moving object deemed to be a small child is present in the vehicle cabin.
  • the outside-vehicle determination result being a determination result indicating the presence of a moving object deemed to be a person outside the vehicle cabin means, in other words, that the outside-vehicle determination unit 135 in the biometric determination device 130 has determined, in the outside-vehicle determination, that a moving object deemed to be a person is outside the vehicle cabin.
  • the first determination unit 144 in the first vehicle interior determination based on the vehicle interior three-dimensional image, even if a moving object deemed to be an infant is present, it may not be possible to determine this due to the influence of a child seat or vehicle structures blocking radio waves from the radio wave sensor 11. Therefore, when it is determined in the first vehicle interior determination that there is no moving object deemed to be an infant, the first determination unit 144 utilizes the second vehicle interior determination result of the second vehicle interior determination based on biological information. As a result, if it is determined in the second interior determination that a moving object deemed to be a small child is present in the vehicle interior, the first determination unit 144 further utilizes the result of the exterior determination.
  • the person inside the vehicle cabin may be regarded as an occupant in the vehicle cabin, and it may be determined as if there is an occupant in the vehicle cabin even though there is no occupant in the vehicle cabin. Therefore, even if the second vehicle interior determination determines that a moving object regarded as an infant is present in the vehicle interior, if the vehicle exterior determination determines that a moving object regarded as a person is present outside the vehicle interior, the moving object regarded as an infant that is determined to be present in the vehicle interior may not actually be present in the vehicle interior. In other words, the second vehicle interior determination unit 133 may have made an erroneous determination in the second vehicle interior determination process.
  • the alarm control unit 150 may output a false alarm in the subsequent alarm output control in the alarm control unit 150.
  • the first judgment unit 144 regards this combination of judgment results as a combination that may be an erroneous judgment, sets a status that makes the judgment result of the first abandonment judgment as to whether or not an infant has been left inside the vehicle interior indefinite, puts the first abandonment judgment on hold, and suppresses erroneous judgment of the first abandonment judgment.
  • the first judgment unit 144 will judge that an infant has been left behind in the vehicle cabin, in other words, an infant has been left behind in the vehicle cabin.
  • the outside-vehicle determination result being a determination result indicating that there is no moving object that can be considered to be a person outside the vehicle cabin means, in other words, that the outside-vehicle determination unit 135 in the biometric determination device 130 has determined, in the outside-vehicle determination, that there is no moving object that can be considered to be a person outside the vehicle cabin.
  • the first determination unit 144 can determine that there is no case of an infant being left behind in the vehicle compartment.
  • the first judgment unit 144 will disregard the outside vehicle cabin judgment result and determine that no infant has been left behind in the vehicle cabin, in other words, that no infant has been left behind in the vehicle cabin.
  • the second interior judgment result being a judgment result indicating that there is no moving object deemed to be a small child in the vehicle cabin means, in other words, that the second interior judgment unit 133 in the biometric judgment device 130 has determined in the second interior judgment that there is no moving object deemed to be a small child in the vehicle cabin.
  • the first determination unit 144 When it is determined in the first vehicle interior determination that there is no moving object that is deemed to be a small child, the first determination unit 144 utilizes the second vehicle interior determination result of the second vehicle interior determination based on the biological information. As a result, if the second interior judgment determines that there is no moving object considered to be a small child inside the vehicle cabin, the first judgment unit 144 can determine that a small child has not been left behind inside the vehicle cabin, regardless of the result of the exterior judgment.
  • the first determination unit 144 determines whether or not an infant has been left behind inside the vehicle cabin based on, for example, the vehicle interior determination result, the vehicle exterior determination result, and the first table for determination of whether an infant has been left behind.
  • the contents of the first abandoned vehicle determination table shown in Fig. 10 are merely an example.
  • the first abandoned vehicle determination result for the combination of the inside-vehicle determination result and the outside-vehicle determination result can be appropriately set according to the intention (policy) of a designer such as an administrator.
  • the method of performing the first abandonment determination by the first determination unit 144 as described above is merely one example.
  • the first judgment unit 144 may perform a first abandonment judgment by inputting the vehicle interior judgment result output from the vehicle interior judgment result acquisition unit 141 and the vehicle exterior judgment result output from the vehicle exterior judgment result acquisition unit 142 into a trained model that receives the vehicle interior judgment result and the vehicle exterior judgment result as input and outputs information indicating whether or not an infant has been left behind in the vehicle interior, and obtaining information indicating whether or not an infant has been left behind in the vehicle interior.
  • the first determination unit 144 outputs the determination result as to whether or not an infant has been left behind in the vehicle compartment (hereinafter referred to as the “first abandonment determination result”) to the second determination unit 145 .
  • the first abandoned child determination result includes information indicating whether or not an infant has been left behind in the vehicle compartment or whether it is uncertain (pending).
  • the second determination unit 145 determines whether or not an infant has been left behind in the vehicle cabin (hereinafter referred to as the "second abandonment determination") based on the first abandonment determination result of the first abandonment determination performed by the first determination unit 144 and the communication status information acquired by the communication status information acquisition unit 143.
  • the process in which the second determination unit 145 performs the second abandonment determination is also referred to as the "second abandonment determination process.”
  • the determination made by the second determination unit 145 as to whether or not an infant has been left behind in the vehicle cabin is a main determination that finalizes the determination result as to whether or not an infant has been left behind in the vehicle cabin.
  • the second determination unit 145 determines whether or not a child has been left behind in the vehicle cabin based on the first abandonment determination result and the communication status information in a redundant manner.
  • the second judgment unit 145 judges whether or not a child has been left behind in the vehicle cabin based on a table (hereinafter referred to as the ⁇ second table for leaving behind judgment'') in which the first leaving behind judgment result, information indicating whether wireless communication with the short-range wireless communication device 45 has been established, and information indicating whether or not a child has been left behind in the vehicle cabin are associated.
  • the second table for abandonment determination is generated in advance by an administrator or the like, and is stored in a location that the second determination unit 145 can refer to.
  • FIG. 11 is a diagram showing an example of the second abandonment determination table used by the second determination unit 145 in the second abandonment determination process in the first embodiment.
  • the "primary infant leaving behind determination result” indicates the first infant leaving behind determination result
  • the "wireless communication status” indicates whether wireless communication has been established between the vehicle and the short-range wireless communication device 45
  • the "secondary infant leaving behind determination result” indicates information indicating whether an infant has been left behind in the vehicle cabin.
  • the second determination unit 145 checks the first abandonment determination result and the communication status information against a second abandonment determination table as shown in FIG. 11 to determine whether or not an infant has been left behind in the vehicle compartment.
  • the second determination unit 145 can determine whether or not wireless communication with the short-range wireless communication device 45 has been established from the communication state information.
  • the second determination unit 145 assumes, for example, that the vehicle owner is in the vicinity of the vehicle and would be able to recognize the presence of an infant inside the vehicle, and determines that no infant has been left behind inside the vehicle, in other words, that no infant has been left behind inside the vehicle.
  • the second judgment unit 145 judges that an infant has not been left behind in the vehicle cabin.
  • the first abandonment judgment result being "infant abandoned” means, in other words, that the first abandonment judgment unit 14 has judged in the first abandonment judgment that an infant has been abandoned in the vehicle compartment.
  • the first abandonment judgment result being "infant abandoned or undetermined (pending)” means, in other words, that the first abandonment judgment unit 14 has put the first abandonment judgment on hold.
  • the second judgment unit 145 judges that an infant has been left behind in the vehicle cabin.
  • the second determination unit 145 assumes, for example, that the owner of the vehicle has left the vehicle without realizing that a small child has been left behind inside the vehicle.
  • the second determination unit 145 determines whether or not a child has been left behind in the vehicle compartment based on, for example, the first abandonment determination result, the communication status information, and the second abandonment determination table.
  • the contents of the second table for determining whether a vehicle is abandoned, as shown in Fig. 11, are merely an example.
  • the second abandonment determination result for the combination of the first abandonment determination result and whether wireless communication between the vehicle and the short-range wireless communication device 45 is established or not can be set as appropriate based on the intention (policy) of a designer such as an administrator.
  • the method of performing the second abandonment determination by the second determination unit 145 as described above is merely one example.
  • the second judgment unit 145 may perform the second abandonment judgment by inputting the first abandonment judgment result output from the first judgment unit 144 and the communication status information output from the communication status information acquisition unit 143 into a trained model that receives the first abandonment judgment result and communication status information and outputs information indicating whether or not an infant has been left behind in the vehicle cabin, and obtaining information indicating whether or not an infant has been left behind in the vehicle cabin.
  • the second determination unit 145 outputs the determination result as to whether or not an infant has been left behind in the vehicle compartment (hereinafter referred to as the “second abandonment determination result”) to the alarm control device 150 .
  • the second abandoned child determination result includes information indicating whether or not an infant has been left behind in the vehicle compartment.
  • the second determination unit 145 outputs the second abandonment determination result to the alarm control device 150 together with the first abandonment determination result.
  • the first abandonment determination result and the second abandonment determination result are collectively referred to simply as the "abandonment determination result.”
  • the alarm control device 150 includes an abandonment determination result acquisition unit 151 and an alarm control unit 152 .
  • the abandonment determination result acquisition unit 151 acquires the abandonment determination result from the abandonment determination device 140 . More specifically, the abandonment determination result acquisition unit 151 acquires the first abandonment determination result and the second determination result from the abandonment determination device 140 . The abandonment determination result acquisition unit 151 outputs the acquired abandonment determination result to the alarm control unit 152.
  • the alarm control unit 152 outputs an instruction to the alarm device 160 to output an alarm (hereinafter referred to as an "alarm instruction").
  • the warning control unit 152 can select whether to output a warning instruction based on the first abandonment determination result or based on the second abandonment determination result.
  • the alarm control unit 152 can select whether to output an alarm instruction based on the result of a first abandonment judgment by the first judgment unit 144, in other words, a provisional judgment, or to output an alarm instruction based on the result of a second abandonment judgment by the second judgment unit 145, in other words, a main judgment.
  • the alarm control unit 152 determines whether or not to output an alarm instruction based on a table (hereinafter referred to as the "first alarm table”) in which the first abandonment judgment result is associated with information indicating whether an alarm should be output, or a table (hereinafter referred to as the "second alarm table”) in which the second abandonment judgment result is associated with information indicating a child for which an alarm should be output.
  • the first alarm table and the second alarm table are generated in advance by an administrator or the like, and are stored in a location that the alarm control unit 152 can refer to.
  • the warning control unit 152 uses the first warning table to determine whether or not a warning output is required.
  • the warning control unit 152 uses the second warning table to determine whether or not a warning output is required.
  • FIG. 12 is a diagram showing an example of the first alarm table and the second alarm table used by the alarm control unit 152 to determine whether to output an alarm instruction in the first embodiment.
  • FIG. 12A shows an example of a first alarm table
  • FIG. 12B shows an example of a second alarm table.
  • first table for warning shown in FIG. 12A "Yes", “Undefined”, and “No” indicate the first abandonment judgment result, and "Warning ON” and “Warning OFF” indicate whether or not a warning output is required.
  • “Yes” and “No” indicate the second abandonment determination result, and "Warning ON” and “Warning OFF” indicate whether or not a warning output is required.
  • the alarm control unit 152 selects to output an alarm instruction based on the first abandonment determination result, if the first abandonment determination result indicates that an infant is left in the vehicle compartment (pending), in other words, if the first determination unit 144 has put the first abandonment determination on hold, the alarm control unit 152 determines that an alarm output is unnecessary (alarm OFF). In this case, the alarm control unit 152 does not output an alarm instruction.
  • the first determination unit 144 reserves the first abandonment determination when there is a possibility that the first abandonment determination is an erroneous determination.
  • the alarm control unit 152 determines that an alarm output is unnecessary in order to eliminate the inconvenience of an erroneous determination of the first abandonment determination, that is, a false alarm due to an erroneous determination of whether or not an infant has been left behind in the vehicle compartment.
  • the alarm control unit 152 selects to output an alarm instruction based on the second abandonment determination result, if the second abandonment determination result indicates that an infant has been left behind in the vehicle interior, in other words, if the second determination unit 145 determines that an infant has been left behind in the vehicle interior, the alarm control unit 152 determines that an alarm output is necessary (alarm ON). In this case, the alarm control unit 152 outputs an alarm instruction.
  • the alarm control unit 152 may output an alarm instruction when a state in which it has been determined that an alarm output is necessary continues for a preset time period (hereinafter referred to as the "alarm determination time period") or longer.
  • the alarm determination time period is, for example, 10 seconds. Note that this is merely an example, and the alarm determination time period can be any length as appropriate.
  • the alarm device 160 outputs an alarm based on the control of the alarm control device 150 .
  • the alarm device 160 outputs an alarm when an alarm instruction is output from the alarm control device 150 .
  • the warning device 160 displays a message to the effect that a vehicle has been abandoned inside the vehicle cabin.
  • the warning device 160 may output a buzzer, or may output a voice message to the effect that a vehicle has been abandoned inside the vehicle cabin.
  • the warning device 160 is a horn provided in a vehicle, the warning device 160 will sound.
  • the warning device 160 is a light provided in a vehicle, the warning device 160 will flash.
  • the first determination unit 144 in the abandonment determination device 140 reserves the first abandonment determination when there is a possibility that the first abandonment determination is an erroneous determination, thereby suppressing erroneous determination that an infant has been abandoned in the vehicle cabin, and the alarm control unit 152 in the alarm control device 150 does not output an alarm instruction based on the first abandonment determination result indicating that the first abandonment determination has been reserved, thereby suppressing false alarms that an infant has been abandoned in the vehicle cabin.
  • the abandonment determination system 100 can solve the above practical problems.
  • the second determination unit 145 in the abandonment determination device 140 performs the second abandonment determination by combining the three-dimensional image and biometric information output from the radio wave sensor 11 with the communication status information, so that the second determination unit 145 can suppress erroneous determination that an infant has been abandoned in the vehicle cabin and can prevent unnecessary alarms to the vehicle owner, etc., which can be considered as false alarms.
  • the alarm control unit 152 in the alarm control device 150 controls the output of the alarm instruction based on the second abandonment determination result that takes into account the communication status between the vehicle and the short-range wireless communication device 45, so that it can suppress false alarms that an infant has been abandoned in the vehicle cabin and can suppress unnecessary alarms to the vehicle owner, etc., which can be considered as false alarms. In this way, the abandonment determination system 100 can suppress false alarms that an infant has been abandoned in the vehicle cabin and can suppress unnecessary alarms to the vehicle owner, etc.
  • FIG. 13 is a flowchart for explaining the operation of the abandonment determination system 100 according to the first embodiment.
  • the abandoned vehicle determination system 100 repeats the operation shown in the flowchart of FIG. 13, for example, when the vehicle doors are locked, the vehicle power is turned off, or the shift position in the vehicle is set to "P," until the vehicle doors are unlocked or the vehicle power is turned on.
  • the processes of step ST1-1, and steps ST1-2 to ST3 are performed by the live body determination device 130, and the processes of step ST4-1, step ST4-2, and steps ST4-3 to ST6 are performed by the abandonment determination device 140.
  • the biometric information acquisition unit 1301 acquires the biometric information extracted by the biometric information extraction unit 122 of the sensor signal processing unit 120 (step ST1-1).
  • the biometric information acquisition unit 1301 outputs the acquired biometric information to the second vehicle interior determination unit 133 of the vehicle interior determination unit 131.
  • the three-dimensional image acquisition unit 1302 acquires the three-dimensional image generated by the three-dimensional image generation unit 121 of the sensor signal processing unit 120 (step ST1-2).
  • the three-dimensional image acquisition unit 1302 outputs the acquired three-dimensional image to the first vehicle interior determination unit 132 of the vehicle interior determination unit 131 and the vehicle exterior determination unit 135 .
  • the vehicle interior determination unit 131 executes a vehicle interior determination process to determine whether or not a moving object deemed to be a child is present in the vehicle interior based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302 in step ST1-2 and the biometric information acquired by the biometric information acquisition unit 1301 in step ST1-1 (step ST2).
  • the vehicle interior determination unit 131 outputs the vehicle interior determination result to the abandoned vehicle determination device 140 .
  • the outside-of-vehicle determination unit 135 executes an outside-of-vehicle determination process based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302 in step ST1-2 (step ST3).
  • the outside-vehicle determination unit 135 outputs the outside-vehicle determination result to the abandoned vehicle determination device 140 .
  • the vehicle interior determination result acquisition unit 141 acquires the vehicle interior determination result output from the vehicle interior determination unit 131 (step ST4-1).
  • the vehicle interior determination result acquisition unit 141 outputs the acquired vehicle interior determination result to the abandoned vehicle determination unit 14 .
  • the outside-vehicle determination result acquisition unit 142 acquires the outside-vehicle determination result from the outside-vehicle determination unit 135 (step ST4-2).
  • the outside vehicle determination result acquisition unit 142 outputs the acquired outside vehicle determination result to the abandoned vehicle determination unit 14 .
  • the communication state information acquisition unit 143 acquires communication state information from the wireless communication state monitoring unit 41 of the vehicle information device 40 (step ST4-3).
  • the communication status information acquisition unit 143 outputs the acquired communication status information to the abandonment determination unit 14 .
  • the first judgment unit 144 of the abandonment judgment unit 14 performs a first abandonment judgment process to make a first abandonment judgment based on the vehicle interior judgment result acquired by the vehicle interior judgment result acquisition unit 141 in step ST4-1 and the vehicle exterior judgment result acquired by the vehicle exterior judgment unit in step ST4-2 (step ST5).
  • the first determination unit 144 outputs the first abandonment determination result to the second determination unit 145 .
  • the second judgment unit 145 of the abandonment judgment unit 14 performs a second abandonment judgment process to make a second abandonment judgment based on the first abandonment judgment result of the first abandonment judgment performed by the first judgment unit 144 in step ST5 and the communication status information acquired by the communication status information acquisition unit 143 in step ST4-3 (step ST6).
  • the second determination unit 145 outputs the abandonment determination result to the alarm control device 150.
  • the second determination unit 145 outputs the second abandonment determination result to the alarm control device 150 together with the first abandonment determination result.
  • step ST1-1 and the process of step ST1-2 are performed in parallel, but this is merely an example.
  • the order of the process of step ST1-1 and the process of step ST1-2 may be reversed.
  • step ST4-1, the process of step ST4-2, and the process of step ST4-3 are performed in parallel, but this is merely an example.
  • the order of the process of step ST4-1, the process of step ST4-2, and the process of step ST4-3 may be changed.
  • FIG. 14 is a flowchart for explaining in detail the process of step ST2 in FIG.
  • the first vehicle interior determination unit 132 executes a first vehicle interior determination process to make a first vehicle interior determination as to whether or not a moving object deemed to be a child is present in the vehicle interior based on the three-dimensional image acquired by the three-dimensional image acquisition unit 1302 in step ST1-2 of Figure 13 (step ST1401).
  • the first vehicle interior determination unit 132 outputs the first vehicle interior determination result to the abandoned vehicle determination device 140.
  • the second vehicle interior determination unit 133 executes a second vehicle interior determination process to make a second vehicle interior determination as to whether or not a moving object deemed to be a child is present in the vehicle interior based on the biometric information acquired by the biometric information acquisition unit 1301 in step ST1-1 of Figure 13 (step ST1402).
  • the second vehicle interior determination unit 133 outputs the second vehicle interior determination result to the abandoned vehicle determination device 140.
  • step ST1401 is performed first, followed by the processing of step ST1402, but this is merely an example.
  • the processing of step ST1401 and the processing of step ST1402 may be performed in parallel, or the order of the processing of step ST1401 and the processing of step ST1402 may be reversed.
  • the abandonment determination system 100 performs an inside-vehicle determination as to whether or not a moving object regarded as an infant is present inside the vehicle, based on the three-dimensional image generated by the radio wave sensor 11 and the biological information extracted by the radio wave sensor 11.
  • the abandonment determination system 100 also performs an outside-vehicle determination as to whether or not a moving object regarded as a person is present outside the vehicle, based on the three-dimensional image.
  • the abandonment determination system 100 determines whether or not an infant has been left behind inside the vehicle, based on the result of the inside-vehicle determination (inside-vehicle determination result) and the result of the outside-vehicle determination (outside-vehicle determination result). Therefore, the abandonment determination system 100 can prevent erroneous determination of whether or not a small child has been left behind in the vehicle.
  • FIG. 15 is a flowchart for explaining the operation of the alarm control device 150 according to the first embodiment.
  • the alarm control device 150 carries out an operation as shown in the flowchart of FIG.
  • the abandonment determination result acquisition unit 151 acquires the abandonment determination result from the abandonment determination device 140 (step ST101). More specifically, the abandonment determination result acquisition unit 151 acquires the first abandonment determination result and the second determination result from the abandonment determination device 140 . The abandonment determination result acquisition unit 151 outputs the acquired abandonment determination result to the alarm control unit 152.
  • the alarm control unit 152 outputs an alarm instruction to the alarm device 160 when the first determination unit 144 of the abandonment determination device 140 provisionally determines that an infant has been left behind in the vehicle cabin based on the abandonment determination result acquired by the abandonment determination result acquisition unit 151 in step ST101, or when the second determination unit 145 of the abandonment determination device 140 determines that an infant has been left behind in the vehicle cabin.
  • the alarm control device 150 outputs an alarm instruction to output an alarm when the abandonment determination device 140 determines that an infant has been left behind inside the vehicle. This allows the alarm control device 150 to inform the vehicle owner or people in the vicinity of the vehicle that an infant has been left behind inside the vehicle.
  • the alarm control device 150 does not output an alarm instruction when the abandonment determination device 140 reserves the determination as to whether or not a child has been left behind in the vehicle compartment. Therefore, the alarm control device 150 can suppress false alarms when, for example, it is erroneously determined that an infant has been left behind in the vehicle compartment when in fact the infant has not been left behind.
  • the alarm control device 150 can suppress false alarms that a child has been left behind in the vehicle cabin by controlling the output of an alarm instruction based on the result of the determination (second abandonment determination result) made by the abandonment determination device 140 of whether or not a child has been left behind in the vehicle cabin by combining the three-dimensional image and biometric information output from the radio wave sensor 11 with the communication status information. For example, even if only a small child is present in the vehicle, if the vehicle owner is outside the vehicle and wireless communication is established between the vehicle and the short-range wireless communication device 45 carried by the vehicle owner, it is assumed that the vehicle owner is aware of the small child in the vehicle. In this case, the alarm is unnecessary, and if an alarm is output, it can be said that the output alarm is a false alarm. The alarm control device 150 can suppress such false alarms.
  • the first judgment unit 144 of the abandonment judgment device 140 judges to put on hold the judgment of whether abandonment has occurred (first abandonment judgment)
  • the put on hold state continues for a predetermined time (hereinafter referred to as the "first pending judgment time") or more
  • the first pending judgment time a predetermined time
  • the owner of the vehicle is outside the vehicle cabin and at a distance where the short-range wireless communication device 45 carried by the owner can establish communication with the vehicle, it is possible that the child may enter the vehicle cabin for some reason without the owner's knowledge and be unable to get out.
  • the first suspension determination time may be determined to be a time that an infant has been left behind in the vehicle cabin.
  • the first suspension determination time is, for example, 10 minutes. Note that this is merely an example, and the first suspension determination time may be longer than the warning determination time.
  • the first judgment unit 144 may notify the second judgment unit 145 that it has changed the first abandonment judgment result from a pending state to a judgment that an infant has been left behind, and the second judgment unit 145 may determine that an infant has been left behind in the vehicle cabin regardless of the content of the communication status information.
  • the abandonment determination system 100 reserves the right to suspend a determination that a child has been left behind in a vehicle cabin if there is a possibility that the determination is incorrect, and by preventing an alarm based on an incorrect determination from being output, it is possible to prevent a situation in which a truly necessary alarm is not output.
  • the warning control unit 152 of the warning control device 150 may be configured to output a warning instruction when the state in which the first judgment unit 144 of the abandonment judgment device 140 has reserved the judgment of whether abandonment has occurred (first abandonment judgment) continues for a preset time or more (hereinafter referred to as the "second pending judgment time").
  • the second pending judgment time is, for example, 10 minutes. Note that this is merely an example, and the second pending judgment time may be any time longer than the warning judgment time.
  • the alarm control device 150 can prevent situations in which a truly necessary alarm is not output, such as when, for example, a small child enters the vehicle cabin for some reason without the owner's knowledge and is unable to get out, even if the owner is outside the vehicle cabin and is close enough that the short-range wireless communication device 45 carried by the owner can establish communication with the vehicle.
  • the alarm control unit 152 is capable of selecting whether to output an alarm instruction based on the first abandonment judgment result or to output an alarm instruction based on the second abandonment judgment result, but this is merely one example.
  • the warning control unit 152 may always output a warning instruction based on the second abandonment determination result, in which case the first warning table does not need to be provided.
  • the alarm control unit 152 of the alarm control device 150 may perform control to change the alarm means of the alarm output from the alarm device 160, for example, with the elapsed time since it was determined that an infant was left behind in the vehicle cabin.
  • the alarm control unit 152 controls the alarm device 160 to output a louder sound as the elapsed time since it was determined that an infant was left behind in the vehicle cabin increases.
  • the alarm control unit 152 may control to change the content of the alarm output from the alarm device 160, such as changing from sending a message to outputting an alarm sound, with the elapsed time since it was determined that an infant was left behind in the vehicle cabin increasing.
  • the first alarm table or the second alarm table incorporates information regarding the alarm means by which the alarm device 160 should output an alarm.
  • the abandonment determination device 140 includes the first determination unit 144 and the second determination unit 145, but this is merely one example.
  • the abandonment determination device 140 does not necessarily have to include the second determination unit 145 , and may be configured without including the second determination unit 145 .
  • the first abandonment determination made by the first determination unit 144 in the abandonment determination device 140 as to whether or not an infant has been left behind in the vehicle compartment becomes a main determination.
  • the alarm control unit 152 in the alarm control device 150 uses the first alarm table to determine whether or not an alarm output is required.
  • the first alarm table does not need to be provided.
  • the process of step ST6 in the operation of the abandonment determination system 100 described using the flowchart of FIG. 13 can be omitted.
  • the determination made by the first vehicle interior determination unit 132 in its vehicle interior determination of "whether or not there is a moving object regarded as a small child in the vehicle interior" is taken to mean “whether or not only moving objects regarded as small children are present in the vehicle interior," but this is merely one example.
  • the determination made by the first interior compartment determination unit 132 in the first interior compartment determination "whether or not there is a moving object regarded as a small child in the vehicle cabin" may mean "whether or not there is a moving object regarded as a small child in the vehicle cabin, regardless of whether or not there are other adult occupants.”
  • the first vehicle interior judgment unit 132 in the vehicle interior judgment process, outputs information that matches all moving objects considered to be occupants present in the vehicle interior with information indicating whether the moving objects are adults or children to the abandoned vehicle judgment device 140 as the first vehicle interior judgment result.
  • the first judgment unit 144 of the abandonment judgment device 140 judges whether or not there are only moving objects regarded as small children in the vehicle cabin based on the first vehicle cabin judgment result, and uses this judgment result as the first vehicle cabin judgment result for matching with the first table for abandonment judgment.
  • the radio wave sensor 11 may generate a three-dimensional image of the inside of the vehicle compartment and a three-dimensional image of the outside of the vehicle compartment separately.
  • the first vehicle interior determination unit 132 performs a first vehicle interior determination process based on the vehicle interior three-dimensional image
  • the vehicle exterior determination unit 135 performs a vehicle exterior determination process based on the vehicle exterior three-dimensional image.
  • the biometric determination device 130 is mounted on the radio wave sensor 11, but this is merely an example.
  • the biometric determination device 130 may be provided outside the radio wave sensor 11 so as to be connectable to the radio wave sensor 11.
  • the biometric determination device 130 may be mounted on the abandonment determination device 140 .
  • the abandonment determination device 140 and the alarm control device 150 may be mounted on the radio wave sensor 11 .
  • the sensor signal processing unit 120 may be provided outside the radio wave sensor 11 . The sensor signal processing unit 120, the biometric determination device 130, the abandonment determination device 140, and the alarm control device 150 can be appropriately combined into a single device.
  • the respective components provided in the sensor signal processing unit 120 biometric information extraction unit 122 and three-dimensional image generation unit 121
  • the respective components provided in the biometric determination device 130 biometric information acquisition unit 1301, three-dimensional image acquisition unit 1302, vehicle interior determination unit 131, and vehicle exterior determination unit 135)
  • the respective components provided in the abandonment determination device 140 vehicle interior determination result acquisition unit 141, vehicle exterior determination result acquisition unit 142, communication status information acquisition unit 143, and abandonment determination unit 14
  • the respective components provided in the alarm control device 150 can be appropriately combined to be provided in a single device.
  • the outside vehicle compartment determination unit 135 may be provided in the abandonment determination device 140
  • the warning control unit 152 may be provided in the abandonment determination device 140.
  • the abandonment determination unit 14 may be provided in the living body determination device 130.
  • the abandonment determination system 100 is configured by the live body determination device 130 and the abandonment determination device 140, but this is merely one example.
  • the alarm control device 150 may be provided in the abandonment determination system 100, or the sensor signal processing unit 120 may be provided in the abandonment determination system 100.
  • the living body determination device 130, the abandonment determination device 140, and the alarm control device 150 are in-vehicle devices mounted in a vehicle, but this is merely one example.
  • the live body determination device 130, the abandonment determination device 140, or the alarm control device 150 may be provided in a server (not shown).
  • biometric information acquisition unit 1301, the three-dimensional image acquisition unit 1302, the vehicle interior determination unit 131, or the vehicle exterior determination unit 135 may be provided on the server, some or all of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication status information acquisition unit 143, or the abandonment determination unit 14 may be provided on the server, or some or all of the abandonment determination result acquisition unit 151 or the alarm control unit 152 may be provided on the server.
  • FIG. 16A and 16B are diagrams illustrating an example of a hardware configuration of the abandonment determination device 140 according to the first embodiment.
  • the functions of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication state information acquisition unit 143, and the abandonment determination unit 14 are realized by the processing circuit 1001. That is, the abandonment determination device 140 includes the processing circuit 1001 for controlling the determination of whether or not an infant is left behind in the vehicle interior.
  • the processing circuitry 1001 may be dedicated hardware as shown in FIG. 16A, or may be a processor 1004 that executes a program stored in memory as shown in FIG. 16B.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the functions of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication status information acquisition unit 143, and the abandoned vehicle determination unit 14 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is written as a program and stored in the memory 1005.
  • the processor 1004 executes the functions of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication status information acquisition unit 143, and the abandoned vehicle determination unit 14 by reading and executing the program stored in the memory 1005.
  • the abandoned vehicle determination device 140 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST4-1, ST4-2, and steps ST4-3 to ST6 in FIG. 13 described above.
  • the programs stored in the memory 1005 can be said to cause the computer to execute the procedures or methods of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication status information acquisition unit 143, and the abandoned vehicle determination unit 14.
  • the memory 1005 corresponds to, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), etc.
  • a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), etc.
  • the functions of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, the communication status information acquisition unit 143, and the abandoned vehicle determination unit 14 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the functions of the vehicle interior determination result acquisition unit 141, the vehicle exterior determination result acquisition unit 142, and the communication status information acquisition unit 143 can be realized by the processing circuit 1001 as dedicated hardware, and the functions of the abandoned vehicle determination unit 14 can be realized by the processor 1004 reading and executing a program stored in the memory 1005.
  • the abandoned vehicle determination device 140 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the radio wave sensor 11, the alarm control device 150, or the vehicle information device 40.
  • the hardware configuration of the biometric determination device 130 according to the first embodiment is similar to the hardware configuration of the abandonment determination device 140 described using FIGS. 16A and 16B, and therefore is not illustrated.
  • the functions of the biometric information acquisition unit 1301, the three-dimensional image acquisition unit 1302, the vehicle interior determination unit 131, and the vehicle exterior determination unit 135 are realized by the processing circuit 1001. That is, the biometric determination device 130 includes the processing circuit 1001 for performing vehicle interior determination processing and vehicle exterior determination processing based on the three-dimensional image generated by the radio wave sensor 11 and the biometric information extracted by the radio wave sensor 11.
  • the processing circuitry 1001 may be dedicated hardware as shown in FIG. 16A, or may be a processor 1004 executing a program stored in a memory 1005 as shown in FIG. 16B.
  • the processing circuit 1001 executes the functions of the biometric information acquisition unit 1301, the three-dimensional image acquisition unit 1302, the vehicle interior determination unit 131, and the vehicle exterior determination unit 135 by reading and executing a program stored in the memory 1005.
  • the biometric determination device 130 includes a memory 1005 for storing a program that, when executed by the processing circuit 1001, results in the execution of steps ST1-1 and ST1-2 to ST3 in FIG. 13 described above. It can also be said that the program stored in the memory 1005 causes a computer to execute the processing procedures or methods of the biometric information acquisition unit 1301, the three-dimensional image acquisition unit 1302, the vehicle interior determination unit 131, and the vehicle exterior determination unit 135.
  • the live body determination device 130 includes an abandoned body determination device 140 and other devices, an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with the abandoned body determination device 140 and other devices.
  • the hardware configuration of the alarm control device 150 is similar to the hardware configuration of the abandonment determination device 140 described using Figures 16A and 16B, and therefore is not illustrated.
  • the functions of the abandonment determination result acquisition unit 151 and the alarm control unit 152 are realized by the processing circuit 1001. That is, the alarm control device 150 includes the processing circuit 1001 for controlling the output of an alarm instruction based on the abandonment determination result by the abandonment determination device 140.
  • the processing circuitry 1001 may be dedicated hardware as shown in FIG. 16A, or may be a processor 1004 executing a program stored in a memory 1005 as shown in FIG. 16B.
  • the processing circuit 1001 executes the functions of the abandoned object determination result acquisition unit 151 and the alarm control unit 152 by reading and executing a program stored in the memory 1005. That is, the alarm control device 150 includes a memory 1005 for storing a program which, when executed by the processing circuit 1001, results in the execution of steps ST101 to ST102 in Fig. 15 described above. It can also be said that the program stored in the memory 1005 causes a computer to execute the processing procedures or methods of the abandoned object determination result acquisition unit 151 and the alarm control unit 152.
  • the alarm control device 150 includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the abandoned object determination device 140 or the alarm device 160 .
  • the abandoned vehicle determination system 100 includes a radio wave sensor 11 that is provided in a vehicle interior and detects a moving object based on a radio wave radiated toward the vehicle interior and reflected by an object in the vehicle interior, a biometric information acquisition unit 1301 that acquires biometric information extracted based on a detection result of the moving object detected by the radio wave sensor 11, a three-dimensional image acquisition unit 1302 that acquires a three-dimensional image that three-dimensionally represents a distribution of an area in which the moving object exists in the vehicle interior, the three-dimensional image acquired by the three-dimensional image acquisition unit 1302, and
  • the vehicle is equipped with an interior determination unit 131 which performs an interior determination as to whether or not a moving object deemed to be a person requiring assistance (infant) is present inside the vehicle cabin based on the biometric information acquired by the vehicle interior determination unit 1301, an exterior determination unit 135 which performs an exterior determination as to whether or not a moving object deemed to be a person is present outside the vehicle cabin based
  • the abandonment determination unit 14 is provided with a first determination unit that, when the first vehicle interior determination unit 132 determines that there is no moving object regarded as a person requiring assistance (infant) inside the vehicle interior in the first vehicle interior determination and the second vehicle interior determination unit 133 determines that there is a moving object regarded as a person requiring assistance (infant) inside the vehicle interior in the second vehicle interior determination, determines that abandonment has occurred if the vehicle exterior determination unit 135 determines that there is no moving object regarded as a person outside the vehicle interior in the vehicle exterior determination, and reserves the determination as to whether abandonment has occurred or not if the vehicle exterior determination unit 135 determines that there is a moving object regarded as a person outside the vehicle interior in the vehicle exterior determination. Therefore, the abandonment determination system 100 can suppress erroneous determination of whether or not a person requiring assistance has been left behind in the vehicle cabin.
  • the abandonment determination unit 14 is provided with a second determination unit 145 which makes a provisional determination based on the determination by the first determination unit 144 of whether or not abandonment has occurred (first abandonment determination), and makes a final determination of whether or not abandonment has occurred (second abandonment determination) based on the result of the provisional determination and communication status information regarding the communication status with the short-range wireless communication device 45 outside the vehicle cabin, obtained from a vehicle information device 40 which is mounted inside the vehicle cabin and monitors the communication status with the short-range wireless communication device 45 outside the vehicle cabin.
  • the abandonment determination system 100 combines the three-dimensional images and biometric information output from the radio wave sensor 11 with communication status information to determine whether or not a person requiring assistance has been left behind in the vehicle cabin, thereby confirming whether or not a person requiring assistance has been left behind in the vehicle cabin and suppressing erroneous determinations that a person requiring assistance has been left behind in the vehicle cabin.
  • the first vehicle interior determination unit 132 determines that there is no moving object regarded as a person requiring assistance (infant) inside the vehicle interior in the first vehicle interior determination and the second vehicle interior determination unit 133 determines that there is a moving object regarded as a person requiring assistance inside the vehicle interior in the second vehicle interior determination
  • the vehicle exterior determination unit 135 determines that there is no moving object regarded as a person outside the vehicle interior in the vehicle exterior determination
  • the first determination unit 144 provisionally determines that abandonment has occurred
  • the second judgment unit 145 reserves the judgment as to whether or not an abandonment has occurred
  • the first judgment unit 144 provisionally judges that an abandonment has occurred or reserves the judgment as to whether or not an abandonment has occurred, the second judgment unit 145 determines that an abandonment has not occurred if communication between the vehicle and the short-range wireless communication device 45 is established based on
  • the abandonment determination system 100 combines the three-dimensional images and biometric information output from the radio wave sensor 11 with communication status information to determine whether or not a person requiring assistance has been left behind in the vehicle cabin, thereby confirming whether or not a person requiring assistance has been left behind in the vehicle cabin and suppressing erroneous determinations that a person requiring assistance has been left behind in the vehicle cabin.
  • the abandonment determination system 100 includes an alarm control unit 152 that outputs an alarm instruction to output an alarm when the first determination unit 144 determines that abandonment has occurred, and the alarm control unit 152 can be configured not to output an alarm instruction when the first determination unit 144 reserves the determination of whether abandonment has occurred. Therefore, the abandonment determination system 100 can suppress false alarms, for example, when it is erroneously determined that a person requiring assistance has been left behind in the vehicle compartment when in fact the person requiring assistance has not been left behind.
  • the abandonment determination device 140 is configured to include: a radio wave sensor 11 that is provided inside the vehicle cabin and detects moving objects based on reflected waves emitted toward the vehicle cabin and reflected by objects inside the vehicle cabin; an interior determination result acquisition unit 141 that acquires an interior determination result of whether or not a moving object deemed to be a person requiring assistance (infant) is present inside the vehicle cabin, the image being generated based on the detection result of the moving object detected by the radio wave sensor 11, and based on biometric information extracted based on the detection result of the moving object detected by the radio wave sensor 11; an exterior determination result acquisition unit 142 that acquires an exterior determination result of whether or not a moving object deemed to be a person is present outside the vehicle cabin, based on the three-dimensional image; and an abandonment determination unit 14 that determines whether or not a person requiring assistance has been left behind inside the vehicle cabin, based on the interior determination result acquired by the interior determination result acquisition unit 141 and the exterior determination result acquired by the exterior determination result acquisition unit
  • any of the components of the embodiments may be modified or omitted.
  • the abandoned vehicle detection system disclosed herein can prevent erroneous determination of whether or not a small child or other person has been left behind in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

生体情報を取得する生体情報取得部（１３０１）と、３次元画像を取得する３次元画像取得部（１３０２）と、３次元画像と生体情報とに基づき、車室内に要介助者とみなす動体が存在するか否かの車室内判定を行う車室内判定部（１３１）と、３次元画像に基づき、車室外に人とみなす動体が存在するか否かの車室外判定を行う車室外判定部（１３５）と、車室内判定部（１３１）が行った車室内判定の判定結果と、車室外判定部（１３５）が行った車室外判定の判定結果とに基づき、車室内に要介助者の置き去りが発生しているか否かを判定する置き去り判定部（１４）とを備えた。

Description

置き去り判定システム、置き去り判定装置、および、置き去り判定方法
　本開示は、置き去り判定システム、置き去り判定装置、および、置き去り判定方法に関する。
　従来、車室内に設けられ、車室内に電波を放射し、放射した電波が物体で反射された反射波を受信することで車室内の動体の位置および動きを検知可能な電波センサ、が受信した当該反射波に基づいて生成された情報に基づいて、車室内における幼児等の置き去りの有無を判定する技術が知られている。
　ところで、車室内における幼児等の置き去りの有無を判定するためのセンサとして、体の表面の動きから車室内に存在する幼児等の生体信号を検出する生体センサを用い、当該生体センサからの生体情報により、車室内における幼児等の置き去りの有無を判定する技術が知られている（例えば、特許文献１）。
特開２０２０－１４９４８５号公報
　電波センサが放射する電波は、車室内の構造物等の材質に依存して透過、反射、または、回折する性質があるため、電波センサは、車室内の広範囲にて、当該車室内の動体の位置および動きを検知することができる。よって、電波センサが受信した反射波に基づいて生成された情報に基づいて車室内における幼児等の置き去りの有無を判定することで、車室内の広範囲にて、当該車室内における幼児等の置き去りの有無が判定可能となる。
　一方で、電波センサの検知範囲を適宜の範囲に制御することは困難である。そのため、車室内に設けられている電波センサが放射した電波は、本来意図されていない車室外に対しても伝搬される。すなわち、車室内に設けられた電波センサは、車室外に存在する人等も検知し得る。そのため、電波センサが有する、透過、反射、または、回折する性質によって、電波センサにおいて、車室外に存在する人等が、あたかも車室内に存在すると判定される可能性がある。
　上述したような、車室内に設けられ、車室内に電波を放射し、放射した電波が物体で反射された反射波を受信することで車室内の動体の位置および動きを検知可能な電波センサ、が受信した当該反射波に基づいて生成された情報に基づいて、車室内における幼児等の置き去りの有無を判定する従来技術では、上述したような電波センサの性質によって、車室内における幼児等の置き去りの有無を誤判定する可能性があるという課題があった。
　なお、特許文献１に開示されているような、生体センサを用いた幼児等の置き去り判定技術は、上述したような、電波センサの性質による幼児等の置き去りの有無の誤判定について考慮されておらず、依然として上記課題を解決できない。
　本開示は、上記のような課題を解決するためになされたもので、車室内における幼児等の置き去りの有無の誤判定を防ぐ置き去り判定システムを得ることを目的とする。
　本開示に係る置き去り判定システムは、車室内に設けられ、車室内に向けて放射した電波が車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ、が検知した動体の検知結果に基づき抽出された生体情報を取得する生体情報取得部と、電波センサが検知した動体の検知結果に基づき生成された、車室内において動体が存在する領域の分布を３次元であらわす３次元画像を取得する３次元画像取得部と、３次元画像取得部が取得した３次元画像と、生体情報取得部が取得した生体情報とに基づき、車室内に要介助者とみなす動体が存在するか否かの車室内判定を行う車室内判定部と、３次元画像取得部が取得した３次元画像に基づき、車室外に人とみなす動体が存在するか否かの車室外判定を行う車室外判定部と、車室内判定部が行った車室内判定の判定結果と、車室外判定部が行った車室外判定の判定結果とに基づき、車室内に要介助者の置き去りが発生しているか否かを判定する置き去り判定部とを備える。
　本開示によれば、車室内における幼児等の置き去りの有無の誤判定を防ぐことができる。
実施の形態１に係る置き去り判定システムの構成例を示す図である。 実施の形態１に係る生体判定装置の構成例を示す図である。 実施の形態１に係る置き去り判定装置の構成例を示す図である。 実施の形態１に係る電波センサについて詳細に説明するための図である。 実施の形態１に係る電波センサについて詳細に説明するための図である。 実施の形態１に係る電波センサの電波送受信部における信号の流れを説明するための図である。 図７Ａは、ＦＭ送信波およびＦＭ受信波の一例を示す説明図であり、図７Ｂは、ＦＭ送信波の送受信期間と周波数差分ｆｄとの関係を示す説明図である。 図８Ａ、図８Ｂ、および、図８Ｃは、実施の形態１において３次元画像生成部が生成する３次元画像の一例を示す図である。 動体（乗員）が存在する場合のドップラー成分と動体（乗員）が存在しない場合のドップラー成分とを示す図である。 実施の形態１にて第１判定部が第１置き去り判定処理にて用いる置き去り判定用第１テーブルの一例を示す図である。 実施の形態１にて第２判定部が第２置き去り判定処理にて用いる置き去り判定用第２テーブルの一例を示す図である。 実施の形態１にて警報制御部が警報指示の出力判定に用いる警報用第１テーブルおよび警報用第２テーブルの一例を示す図であって、図１２Ａは、警報用第１テーブルの一例を示す図であり、図１２Ｂは、警報用第２テーブルの一例を示す図である。 実施の形態１に係る置き去り判定システムの動作について説明するためのフローチャートである。 図１３のステップＳＴ２の処理について、詳細に説明するためのフローチャートである。 実施の形態１に係る警報制御装置の動作について説明するためのフローチャートである。 図１６Ａおよび図１６Ｂは、実施の形態１に係る置き去り判定装置のハードウェア構成の一例を示す図である。
　以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
　近年、車室内の乗員をセンサで検知し、その行動を判定する乗員モニタリングシステムが市場投入されている。当該乗員モニタリングシステムの代表的機能として、例えば、運転支援を主目的とした、運転者による居眠りまたは脇見運転等の行動を検知する機能が挙げられる。また、車室内における全ての乗員の着座位置または体格を検知する機能を有することで、全ての座席を対象としたシートベルトリマインダー、または、車室内における幼児等の置き去りの有無を判定するシステムなど、車の安全性を更に高めるための、乗員モニタリングシステムの技術開発および製品開発が進んでいる。
　特に、車室内における幼児等の置き去りは、社会的問題となっており、欧州で自動車アセスメントを手掛けるEuro NCAP(New Car Assessment Programme)には、試験項目として、２０２２年に「Child Presence Detection（幼児置き去り検知）」が加わる計画がある。
　ここで、車室内において実用化されているセンサとして、まず、カメラが挙げられる。
　カメラの撮像画像は、車室内における乗員の有無を検知する、または、当該乗員の体格を判定するだけでなく、顔認識による個人認証、または、目の開閉による居眠り検知など、高度な検知または判定が可能となる。
　しかし、上述したような、車室内における乗員の有無の検知、または、当該乗員の体格の判定は、カメラの可視領域にある撮像画像を用いて行われるため、その検知範囲または判定範囲は、制限される。
　車室内において実用化されているその他のセンサとして、電波センサが挙げられる。
　電波センサは、自身が照射した電波を目標対象物である物体（より詳細には乗員）が反射し、その反射波を受信して信号処理することで３次元画像を生成する。当該３次元画像は、車室内における乗員の有無の検知、乗員の着座位置の判定、乗員の体格の判定、または、乗員の動きの検知などを可能とする。
　また、電波センサは、反射波から、乗員の呼吸など、微小な動きを生体情報として抽出する。当該生体情報は、物体（より詳細には乗員）の有無の判定を可能とする。
　なお、電波センサにも当該電波センサの検知範囲となる電波照射範囲には制限はある。
　しかし、カメラがセンシングする可視光または近赤外線と異なり、電波センサが照射する電波には、車室内の、椅子または天井等の車室内の構造物（以下「車両構造物」という。）の材質に依存して透過、反射、または、回折する性質がある。よって、電波センサのアンテナ指向性を広角化し、設置位置を最適化すれば、電波センサは、その検知範囲を広範囲とすることを実現可能にできる特徴がある。なお、電波センサのアンテナ指向性は、カメラのレンズ画角に相当する。
　上述したとおり、電波センサは、その検知範囲を広範囲とすることが可能である。
　しかし、その一方で、電波センサにおいては、その検知範囲を適宜の範囲に制御することは困難である。
　例えば、車室内において車室内の乗員をモニタリングするために設けられている電波センサから照射された電波は、本来意図しない車室外にも伝搬する。そのため、電波センサは、車両周辺の人、言い換えれば、車室外の人を、検知する。電波センサが車室外の人を検知する詳細については、図面を用いて後述する。
　電波センサが車室外の人を検知することにより、電波センサが物体（より詳細には乗員）を検知した結果に基づいて生成される３次元画像または生体情報を用いて車室内における幼児等の置き去りの判定を行うと、例えば、車室内に幼児等の置き去りは発生していないにもかかわらず、当該置き去りが発生していると判定される可能性がある。
　本開示では、車室内における幼児等の要介助者の置き去りの有無を判定するにあたり、電波センサからの情報（詳細には３次元画像および生体情報）を用いることで当該置き去りの有無を広範囲に判定可能とするとともに、上述したような、電波センサの性質による要介助者の置き去りの有無の誤判定を防ぐ置き去り判定システムを提供する。
　本開示において、「要介助者」とは、幼児等、車両に置き去りにされると自力で車外へ出ることが困難な体格の生体を想定している。本開示においては、ペット等の生体も、「要介助者」に含むものとする。
　以下では、一例として、「要介助者」は幼児とし、置き去り判定システムは、車室内における幼児の置き去りの有無を判定するものとする。
実施の形態１．
　図１は、実施の形態１に係る置き去り判定システム１００の構成例を示す図である。
　置き去り判定システム１００は、生体判定装置１３０と置き去り判定装置１４０とで構成される。
　置き去り判定装置１４０は、車両に搭載され、生体判定装置１３０、警報制御装置１５０、および、車両情報機器４０と接続される。
　生体判定装置１３０は、車室内に設けられている電波センサ１１に搭載されている。
　生体判定装置１３０は、電波センサ１１が動体を検知した検知結果に基づき生成された生体情報と３次元画像とに基づき、車室内に幼児とみなす動体が存在するか否かの判定（以下「車室内判定」という。）、および、車室外に動体が存在するか否かの判定（以下「車室外判定」という。）を行う。実施の形態１において、「動体」とは、車両の乗員を含む人を意味する。電波センサ１１の詳細については、後述する。
　図２は、実施の形態１に係る生体判定装置１３０の構成例を示す図である。生体判定装置１３０の構成例の詳細については、後述する。
　車両情報機器４０は、車両に搭載され、近距離無線通信機４５と通信可能な機器である。
　近距離無線通信機４５は、例えば、車両の保有者等の人が携帯している携帯端末、いわゆるキーレスエントリーの機能を有する車両のキー、または、いわゆるスマートキーである。
　ここでは、車両情報機器４０は、例えば、車両のキーとキー情報をやり取りして車両のドアの開錠または施錠を制御する役割を担っている。
　車両情報機器４０は、無線通信状態監視部４１を備えている。無線通信状態監視部４１は、近距離無線通信機４５との通信状態を監視する。より詳細には、無線通信状態監視部４１は、車両と近距離無線通信機４５との無線通信が確立しているか否かを監視する。無線通信状態監視部４１は、車両と近距離無線通信機４５との通信状態、すなわち、車両と近距離無線通信機４５との無線通信が確立しているか否かに関する情報（以下「通信状態情報」という。）を置き去り判定装置１４０に出力する。
　置き去り判定装置１４０は、生体判定装置１３０が行った車室内判定の判定結果および車室外判定の判定結果と、車両情報機器４０から取得した通信状態情報とに基づき、車室内に幼児の置き去りが発生しているか否かを判定する。
　図３は、実施の形態１に係る置き去り判定装置１４０の構成例を示す図である。置き去り判定装置１４０の構成例の詳細については、後述する。
　警報制御装置１５０は、車両に搭載され、置き去り判定装置１４０による車室内に幼児の置き去りが発生しているか否かの判定結果に基づき、警報装置１６０に対して、警報を出力させる。
　警報装置１６０は、例えば、車両の所有者が携帯している携帯端末に備えられているディスプレイ等の表示装置もしくはスピーカ等の音声出力装置、または、車両に備えられているランプもしくはホーンを想定している。
　警報制御装置１５０の構成例の詳細については、後述する。
　ここで、電波センサ１１について、詳細に説明する。
　実施の形態１に係る電波センサ１１は、アンテナ指向性が広角のアンテナを搭載しており、車室内に存在し得る乗員に電波が照射されるように車室内に設けられている。
　図４および図５は、実施の形態１に係る電波センサ１１について詳細に説明するための図である。
　図４は、車両の側面からみた、車室内の様子の一例を示す図である。
　図５は、車両を上面からみた、車室内および車室外の様子の一例を示す図である。
　図４および図５において、車両は「１０」で示されている。
　車室内の実空間をあらわす３次元座標系における３次元座標軸のうちのｘ軸は、車幅方向と平行な軸、ｙ軸は、車高方向と平行な軸、ｚ軸は、車長方向と平行な軸である。なお、実施の形態１において、「平行」とは、厳密に「平行」であることに限定されず、略平行を含む。
　なお、図４および図５に示す車両は右ハンドル車としているが、これは一例に過ぎない。車両は左ハンドル車であってもよい。
　図４および図５に示すように、電波センサ１１は、例えば、車室内の上方に設置される。
　図４は、助手席に大人の乗員３０と、後部座席に後ろ向きに設置されたチャイルドシート２０に、当該チャイルドシート２０に寝かされている乗員（詳細には、幼児）３１が存在している場合の、車室内の様子を示す図としている。
　図４に示す車室内において、電波センサ１１は、車室内にいる乗員３０および乗員３１に向けて電波を照射し、乗員３０および乗員３１からの電波の反射波を受信する。
　図４において、電波センサ１１から照射される電波と、当該電波が乗員３０および乗員３１に反射した反射波のイメージが、「１３」で示されている。
　図５は、車室内にいた大人の乗員３５が、車両から降りた場合の、車室内および車室外の様子を示す図としている。車室内には乗員はいない。
　乗員３５は、例えば、車両の保有者を想定している。乗員３５は、近距離無線通信機４５を携帯しており、近距離無線通信機４５の通信範囲（図５にて「４６」で示されている）内と近距離無線通信機４５の通信範囲外との間を移動しているものとする。なお、図５では、便宜上、近距離無線通信機４５の通信範囲内にいる乗員３５も、近距離無線通信機４５の通信範囲外にいる乗員３５も、あわせて図示している。
　上述のとおり、電波センサ１１は、車室内に存在し得る乗員に電波が照射されるよう、車室内に設けられている。
　しかし、上述のとおり、電波センサ１１においては、その検知範囲を適宜の範囲に制御することは困難である。したがって、電波センサ１１が照射した電波は、車室外へも照射され得る。図５において、電波センサ１１が照射した電波の照射範囲は、「１５」で示されている。なお、電波センサ１１が電波を照射する照射範囲は、電波センサ１１が物体を検知可能な検知範囲ともいえる。
　電波センサ１１が照射した電波が車室外へも照射されると、車室外に存在している人にも電波が照射される。その結果、電波センサ１１は、車室外に存在している人に照射された電波の反射波を、車室内に存在している乗員に反射された電波の反射波として信号処理する場合がある。
　電波センサ１１による信号処理について説明する。
　電波センサ１１は、図１に示すように、電波送受信部１１０と、センサ信号処理部１２０と、生体判定装置１３０を備える。
　電波送受信部１１０は、送信アンテナ１１１、受信アンテナ１１２、高周波信号発生回路部１１３、送信回路部１１４、受信回路部１１５、および、Ａ／Ｄ変換部１１６から構成される。
　送信アンテナ１１１は、電子回路基板上に構成される平面アンテナである。
　送信アンテナ１１１は、対象領域に向けて電波を放射する複数の送信アンテナ素子（図示省略）を有している。
　受信アンテナ１１２は、電子回路基板上に構成される平面アンテナである。
　受信アンテナ１１２は、送信アンテナ１１１から放射された電波の反射波を受信する複数の受信アンテナ素子（図示省略）を有している。
　なお、図１では、送信アンテナ１１１、受信アンテナ１１２、送信回路部１１４、および、受信回路部１１５は、それぞれ１つのみ図示しているが、送信アンテナ１１１、受信アンテナ１１２、送信回路部１１４、または、受信回路部１１５は、センサ信号処理部１２０（より詳細には３次元画像生成部１２１および生体情報抽出部１２２）が行う信号処理に必要な要件を満たすために複数個で構成されることもある。
　高周波信号発生回路部１１３は、センシング用の信号を生成する。
　ここで、図６は、実施の形態１に係る電波センサ１１の電波送受信部１１０における信号の流れを説明するための図である。
　電波センサ１１のセンシング用の信号には各種変調方式があるが、ここでは変調方式として、車載用途でよく用いられるＦＭ－ＣＷ（Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎ　-　Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）方式を適用した事例で説明する。ＦＭ－ＣＷ方式は目標対象物の距離、速度、および、角度を計測できることから、乗員モニタリングシステムで用いられるのに適している。
　高周波信号発生回路部１１３は、図６に示すように周波数が増減するＦＭ信号（チャープ波という）を周期的に生成し、送信回路部１１４および受信回路部１１５に送る。
　送信回路部１１４は、電波の照射に必要な電力を得るために信号電力を増幅し、送信アンテナ１１１を介して車室内の空間に電波を照射させる。
　車内空間に照射された電波は、電波センサ１１の電波の照射範囲（図５の「１５」参照）に存在する目標対象物に到達すると、その一部は目標対象物の表面で反射して電波送受信部１１０に返ってくる。ここで、目標対象物とは、例えば、図４に示した乗員３０、乗員３１、または、車両構造物など、電波が反射する物体をいう。
　受信回路部１１５は、目標対象物の表面で反射して電波送受信部１１０に返ってきた電波を、受信アンテナ１１２を介して受信する。
　受信回路部１１５には、ＦＭ受信波として、ＦＭ送信波と同様の信号が受信信号として入力される。当該受信信号は、図７Ａに示すように、電波送受信部１１０から目標対象物間に電波が到達して、返ってくるまでに要する時間差ｔｄをおいて、受信回路部１１５に入力される。図７Ａは、ＦＭ送信波およびＦＭ受信波の一例を示す説明図である。
　受信回路部１１５は、高周波信号発生回路部１１３で生成されたＦＭ信号の周波数と受信信号の周波数との周波数差分ｆｄを抽出し、周波数差分ｆｄを有する中間周波数(ＩＦ)信号を生成して、当該中間周波数信号を、Ａ／Ｄ（アナログ・デジタル）変換部１１６に出力する。図７Ｂは、ＦＭ送信波の送受信期間と周波数差分ｆｄとの関係を示す説明図である。
　なお、例えば、図４に示す例において、乗員３１は乗員３０よりも電波センサ１１から離れた位置に存在している。そのため、乗員３１を目標対象物とした場合、時間差ｔｄおよび周波数差分ｆｄは、乗員３０を目標対象物とした場合の時間差ｔｄおよび周波数差分ｆｄよりも大きくなる。
　Ａ／Ｄ変換部１１６は、中間周波数信号を、アナログ信号からデジタル信号に変換する。
　Ａ／Ｄ変換部１１６は、デジタル信号を、センサ信号処理部１２０へ出力する。
　センサ信号処理部１２０は、以下の２つの信号処理（以下、「３次元画像生成処理」および「生体情報生成処理」という。）を行う。
　３次元画像生成処理は、センサ信号処理部１２０が備える３次元画像生成部１２１が行う。生体情報生成処理は、センサ信号処理部１２０が備える生体情報抽出部１２２が行う。
　まず、３次元画像生成部１２１が行う３次元画像生成処理について説明する。
　３次元画像生成部１２１は、３次元画像生成処理にて、電波送受信部１１０のＡ／Ｄ変換部１１６から出力された中間周波数信号に基づき、３次元画像を生成する。
　中間周波数信号は、目標対象物の表面で電波が反射された反射波から生成されたものである。３次元画像生成部１２１は、この中間周波数信号から、目標対象物の表面における反射点の位置（詳細には電波センサ１１からの距離および角度）を算出することができる。
　目標対象物の表面における反射点は複数存在するため、複数の反射点からの反射波を信号処理することで、３次元画像生成部１２１は、目標対象物に対して３次元画像を生成可能となる。
　３次元画像生成部１２１が生成する３次元画像は、車室内において動体が存在する領域の分布を３次元であらわす。詳細には、３次元画像は、車室内において、動体、言い換えれば、電波センサ１１が照射した電波を反射した目標対象物の微小な動きを、３次元空間における電波の反射点に対応付けた複数のグリッドであらわす。
　ここで、図８Ａ、図８Ｂ、および、図８Ｃは、実施の形態１において３次元画像生成部１２１が生成する３次元画像の一例を示す図である。
　図８Ａは３次元画像の上面図の一例を示し、図８Ｂは３次元画像の側面図の一例を示し、図８Ｃは３次元画像の正面図の一例を示す。なお、図８Ａ、図８Ｂ、および、図８Ｃでは、説明の簡単のため、３次元画像を三面図で示している。また、図８Ａ、図８Ｂ、および、図８Ｃを用いて示す３次元画像は、車室内の様子が、図４で示した車室内の様子であった場合の３次元画像としている。
　３次元画像では、各グリッドに対して、グリッドの位置に存在する目標対象物の速度に応じた数値が付与される。詳細には、あるグリッドについて、当該グリッドの位置に存在する目標対象物の速度が大きいほど、当該グリッドには大きい数値が付与される。すなわち、３次元画像において、微小運動する動体が存在する範囲に含まれるグリッドには、動体が存在しないグリッドよりも大きい数値が付与される。
　図８Ａ、図８Ｂ、および、図８Ｃに示す３次元画像では、付与されている数値が大きいグリッドほど濃く示されている。つまり、図８Ａ、図８Ｂ、および、図８Ｃに示す３次元画像において、動体が存在する範囲に含まれるグリッドほど、濃く示されている。
　なお、３次元画像において、静止しているもの、言い換えれば、速度が０の反射波の成分はあらわれない。
　図４で示したように、乗員３１、すなわち、幼児は、チャイルドシート２０、または、その他の車両構造物によって遮蔽される。この影響もあり、図８Ａ、図８Ｂ、および、図８Ｃに示す３次元画像では、グリッドで示される当該幼児の空間分布はほとんどあらわれていない。言い換えれば、図８Ａ、図８Ｂ、および、図８Ｃに示す３次元画像から、幼児が存在していることを判定するのは困難である。
　なお、乗員３０については、電波センサ１１からの電波が体全体に照射されるため、反射波に基づき、３次元画像上で、グリッドで示される乗員３０の空間分布があらわれる。
　次に、生体情報抽出部１２２が行う生体情報生成処理について説明する。
　生体情報抽出部１２２は、生体情報生成処理にて、電波送受信部１１０のＡ／Ｄ変換部１１６から出力された中間周波数信号に基づき、動体の呼吸などの微小な動きに伴い当該動体の反射波に重畳される周波数成分（ドップラー成分）を生体情報として抽出する。図９は、動体（乗員）が存在する場合のドップラー成分と動体（乗員）が存在しない場合のドップラー成分とを示す図である。
　図８Ａ、図８Ｂ、および、図８Ｃで示した３次元画像のように、当該３次元画像上では幼児を示す空間分布はあらわれなかったとしても、ドップラー成分を抽出することで、当該幼児の生体情報が抽出される。
　ただし、生体情報には、当該生体情報で示されている動体の位置を示す情報が含まれていない。よって、生体情報からは、動体の位置を特定することはできない。
　すなわち、電波センサ１１が照射した電波が目標対象物の表面で反射された反射波に基づいて抽出された生体情報から、車室内の乗員の有無を判定しようとしても、車室内の乗員と車室外の人とを識別することが困難である。例えば、車室内および車室外の様子が、図５に示すような車室内および車室外の様子であった場合、生体情報からでは、図５にて示されている車室外の乗員３５を、車室外の人として識別することはできない。また、上述したとおり、電波センサ１１には、電波センサ１１が照射する電波が、車両構造物の材質に依存して透過、反射、または、回折する性質がある。この性質により、車室外の人の表面にあたった反射波が車室内に伝搬し、更に、車両構造物にあたった後、当該反射波を電波センサ１１が受信する可能性がある。そうすると、生体情報抽出部１２２は、車室外の人の生体情報を抽出する可能性がある。この生体情報から、車室内の乗員の有無を判定しようとすると、車室内の人を車室内の乗員とみなし、車室内には乗員がいないにもかかわらず、あたかも乗員がいると判定される可能性がある。
　センサ信号処理部１２０は、３次元画像生成部１２１が３次元画像生成処理にて生成した３次元画像と、生体情報抽出部１２２が生体情報抽出処理にて抽出した生体情報とを、生体判定装置１３０に出力する。
　生体判定装置１３０の構成例について説明する。
　生体判定装置１３０は、図２に示すように、生体情報取得部１３０１と、３次元画像取得部１３０２と、車室内判定部１３１と、車室外判定部１３５とを備える。
　車室内判定部１３１は、第１車室内判定部１３２と第２車室内判定部１３３とを備える。
　生体情報取得部１３０１は、センサ信号処理部１２０の生体情報抽出部１２２が抽出した生体情報を取得する。
　生体情報取得部１３０１は、取得した生体情報を、車室内判定部１３１の第２車室内判定部１３３に出力する。
　なお、第２車室内判定部１３３が、当該生体情報取得部１３０１の機能を有していてもよい。
　３次元画像取得部１３０２は、センサ信号処理部１２０の３次元画像生成部１２１が生成した３次元画像を取得する。
　３次元画像取得部１３０２は、取得した３次元画像を、車室内判定部１３１の第１車室内判定部１３２、および、車室外判定部１３５に出力する。
　なお、第１車室内判定部１３２および車室外判定部１３５が、当該３次元画像取得部１３０２の機能を有していてもよい。
　車室内判定部１３１は、３次元画像取得部１３０２が取得した３次元画像と、生体情報取得部１３０１が取得した生体情報とに基づき、車室内に幼児とみなす動体が存在するか否かを判定する。
　上述のとおり、車室内判定部１３１は、第１車室内判定部１３２と第２車室内判定部１３３とを備える。
　第１車室内判定部１３２は、３次元画像取得部１３０２が取得した３次元画像に基づき、車室内に幼児とみなす動体が存在するか否かの判定（以下「第１車室内判定」という。）を行う。実施の形態１において、第１車室内判定部１３２が第１車室内判定を行う処理を、「第１車室内判定処理」ともいう。
　実施の形態１において、第１車室内判定部１３２が判定する、「車室内に幼児とみなす動体が存在するか否か」は、より詳細には、「車室内に、置き去りにされている幼児とみなす動体が存在するか否か」と意味する。すなわち、第１車室内判定部１３２は、「車室内に幼児とみなす動体のみが存在するか否か」を判定する。
　第１車室内判定部１３２による第１車室内判定処理について、詳細に説明する。
　第１車室内判定部１３２は、まず、３次元画像の車室内の領域に相当する部分において、車室内に乗員とみなす動体が存在しているか、乗員とみなす動体が存在している場合、当該乗員とみなす動体はどの座席の位置に存在しているかを判定する。
　なお、３次元画像の各グリッドには、車室内の実空間をあらわす３次元座標系であらわされる車室内の実空間上の座標が対応付けられている。第１車室内判定部１３２は、３次元画像の車室内の領域に相当する領域を特定可能である。以下、車室内の領域に相当する部分の３次元画像を、「車室内３次元画像」という。
　第１車室内判定部１３２は、車室内３次元画像に含まれている空間分布（例えば、図８でいうと色がついたグリッドで示されている空間分布）の形状に基づいて、当該空間分布が、乗員に対応する空間分布（以下「乗員空間分布」という。）であるか否かを判定する。
　空間分布の形状に基づく判定の手法は、どのような手法でもよいが、例えば、乗員空間分布の形状を学習しているモデルを用いて、車室内３次元画像に含まれている空間分布が、乗員空間分布であるか否かを判定する態様が考えられる。
　また、第１車室内判定部１３２は、車室内３次元画像に含まれている空間分布に対応する相対速度ｖｎが、例えば、予め設定された閾値（以下「第１速度判定用閾値」という。）よりも大きければ、当該空間分布が、乗員空間分布であると判定してもよい。なお、３次元画像の各グリッドには、相対速度ｖｎが対応付けられている。第１速度判定用閾値は、第１車室内判定部１３２が参照可能な場所に記憶されている。乗員は、例えば、チャイルドシート２０に寝かされている幼児であったとしても、ある程度の動きがある。
　第１車室内判定部１３２は、車室内３次元画像に含まれている空間分布が乗員空間分布であると判定すれば、車室内に乗員とみなす動体が存在していると判定する。
　また、第１車室内判定部１３２は、車室内３次元画像に含まれている空間分布が乗員空間分布であると判定すれば、乗員空間分布に係る距離Ｒｎ、入射角θｘ，ｎおよび入射角θｙ，ｎのそれぞれから、乗員空間分布に存在している乗員とみなす動体の位置を特定する。なお、電波センサ１１からの距離Ｒｎと、電波センサ１１に対する入射角θｘ，ｎおよび入射角θｙ，ｎとが分かれば、第１車室内判定部１３２は、乗員とみなす動体の位置の特定が可能である。なお、車室内３次元画像の各グリッドには、電波センサ１１からの距離Ｒｎと、電波センサ１１に対する入射角θｘ，ｎおよび入射角θｙ，ｎとが対応付けられている。
　ここで、第１車室内判定部１３２は、例えば、乗員とみなす動体の位置が、乗員が存在する位置として想定されない位置であった場合、乗員とみなす動体は存在していないと判定してもよい。
　そして、第１車室内判定部１３２は、車室内３次元画像に含まれている乗員空間分布に基づいて、検知した乗員とみなす動体が、大人であるのか、幼児であるのかを判定する。
　乗員空間分布の大きさに基づく判定の手法は、どのような手法でもよいが、例えば、乗員空間分布の大きさから、乗員とみなす動体が、大人であるのか、幼児であるのかを判定する態様が考えられる。また、例えば、大人および幼児におけるそれぞれの乗員空間分布の大きさを学習しているモデルを用いて、乗員とみなす動体が、大人であるのか、幼児であるのかを判定する態様が考えられる。
　第１車室内判定部１３２は、乗員とみなす動体が複数存在する場合、全ての動体について、大人であるのか、幼児であるのかを判定する。
　第１車室内判定部１３２は、乗員とみなす動体の中に、幼児であると判定した動体が存在するか否かを判定する。
　第１車室内判定部１３２は、乗員とみなす動体の中に、幼児であると判定した動体が存在する場合、当該動体の他に、大人であると判定した動体が存在するか否かを判定する。第１車室内判定部１３２は、幼児であると判定した動体の他に、大人であると判定した動体が存在していなければ、車室内に幼児とみなす動体が存在すると判定する。
　一方、第１車室内判定部１３２は、幼児であると判定した動体の他に、大人であると判定した動体が存在している場合、または、乗員とみなす動体の中に幼児であると判定した動体が存在しない、すなわち、乗員であるとみなす動体は全て大人であると判定した場合、車室内に幼児とみなす動体は存在しないと判定する。
　第１車室内判定部１３２は、車室内に幼児とみなす動体が存在するか否かの判定結果（以下「第１車室内判定結果」という。）を、置き去り判定装置１４０に出力する。
　第１車室内判定結果は、車室内に幼児とみなす動体があるかないかを示す情報を含む。
　第２車室内判定部１３３は、生体情報取得部１３０１が取得した生体情報に基づき、車室内に幼児とみなす動体が存在するか否かの判定（以下「第２車室内判定」という。）を行う。実施の形態１において、第２車室内判定部１３３が第２車室内判定を行う処理を、「第２車室内判定処理」ともいう。
　第２車室内判定部１３３による第２車室内判定処理について、詳細に説明する。
　第２車室内判定部１３３は、生体情報から、言い換えれば、ドップラー成分の抽出結果から、当該ドップラー成分の特性が人の呼吸などの微小な動きに伴うものであるか否かを判定する。
　ドップラー成分の特性が人の呼吸などの微小な動きに伴うものであると判定した場合、第２車室内判定部１３３は、車室内に幼児とみなす動体が存在すると判定する。なお、ドップラー成分の特性からは、大人と幼児の区別はできない。ここでは、第２車室内判定部１３３は、ドップラー成分の特性が人の呼吸などの微小な動きに伴うものであると判定すれば、それは幼児の呼吸によるものと判定する。
　一方、ドップラー成分の特性が人の呼吸などの微小な動きに伴うものではないと判定した場合、第２車室内判定部１３３は、車室内に幼児とみなす動体は存在しないと判定する。
　第２車室内判定部１３３は、車室内に幼児とみなす動体が存在するか否かの判定結果（以下「第２車室内判定結果」という。）を、置き去り判定装置１４０に出力する。
　第２車室内判定結果は、車室内に幼児とみなす動体があるかないかを示す情報を含む。
　なお、実施の形態１において、第１車室内判定と第２車室内判定を、まとめて単に「車室内判定」ともいう。また、第１車室内判定結果と第２車室内判定結果を、まとめて単に「車室内判定結果」ともいう。
　車室外判定部１３５は、３次元画像取得部１３０２が取得した３次元画像に基づき、車室外に人とみなす動体が存在するか否かの判定（以下「車室外判定」という。）を行う。実施の形態１において、車室外判定部１３５が車室外判定を行う処理を、「車室外判定処理」ともいう。
　車室外判定部１３５による車室外判定処理について、詳細に説明する。
　車室外判定部１３５は、３次元画像の車室外の領域に相当する部分において、人とみなす動体が存在しているか否かを判定する。
　上述のとおり、３次元画像の各グリッドには、車室内の実空間をあらわす３次元座標系であらわされる車室内の実空間上の座標が対応付けられているので、車室外判定部１３５は、３次元画像の車室外の領域に相当する領域を特定可能である。以下、車室外の領域に相当する部分の３次元画像を、「車室外３次元画像」という。
　車室外判定部１３５は、車室外３次元画像に含まれている空間分布の形状に基づいて、当該空間分布が、人に対応する空間分布（以下「人空間分布」という。）であるか否かを判定する。
　空間分布の形状に基づく判定の手法は、どのような手法でもよいが、例えば、人空間分布の形状を学習しているモデルを用いて、車室外３次元画像に含まれている空間分布が、人空間分布であるか否かを判定する態様が考えられる。
　また、車室外判定部１３５は、車室外３次元画像に含まれている空間分布に対応する相対速度ｖｎが、例えば、予め設定された閾値（以下「第２速度判定用閾値」という。）よりも大きければ、当該空間分布が、人空間分布であると判定してもよい。第２速度判定用閾値は、車室外判定部１３５が参照可能な場所に記憶されている。
　車室外判定部１３５は、車室外３次元画像に含まれている空間分布が人空間分布であると判別すれば、車室外に人とみなす動体が存在していると判定する。
　一方、車室外判定部１３５は、車室外３次元画像に含まれている空間分布が人空間分布ではないと判定すれば、車室外に人とみなす動体が存在していないと判定する。
　なお、車室外判定部１３５は、第１車室内判定部１３２のように、人とみなす動体の位置または体格（大人か幼児か）の判定までは行わず、車室外に人とみなす動体の存在有無のみ判定する。
　車室外判定部１３５は、車室外に人とみなす動体が存在するか否かの判定結果（以下「車室外判定結果」という。）を、置き去り判定装置１４０に出力する。
　車室外判定結果は、車室外に人とみなす動体があるかないかを示す情報を含む。
　置き去り判定装置１４０の構成例について説明する。
　置き去り判定装置１４０は、図３に示すように、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４とを備える。
　置き去り判定部１４は、第１判定部１４４と第２判定部１４５とを備える。
　車室内判定結果取得部１４１は、生体判定装置１３０の車室内判定部１３１から、車室内判定結果を取得する。より詳細には、車室内判定結果取得部１４１は、生体判定装置１３０の第１車室内判定部１３２から第１車室内判定結果を取得し、生体判定装置１３０の第２車室内判定部１３３から第２車室内判定結果を取得する。
　車室内判定結果取得部１４１は、取得した車室内判定結果を、置き去り判定部１４に出力する。
　なお、置き去り判定部１４が、当該車室内判定結果取得部１４１の機能を有していてもよい。
　車室外判定結果取得部１４２は、生体判定装置１３０の車室外判定部１３５から、車室外判定結果を取得する。
　車室外判定結果取得部１４２は、取得した車室外判定結果を、置き去り判定部１４に出力する。
　なお、置き去り判定部１４が、当該車室外判定結果取得部１４２の機能を有していてもよい。
　通信状態情報取得部１４３は、車両情報機器４０の無線通信状態監視部４１から、通信状態情報を取得する。
　通信状態情報取得部１４３は、取得した通信状態情報を、置き去り判定部１４に出力する。
　なお、置き去り判定部１４が、当該通信状態情報取得部１４３の機能を有していてもよい。
　置き去り判定部１４は、生体判定装置１３０にて車室内判定部１３１が行った車室内判定の車室内判定結果と、生体判定装置１３０にて車室外判定部１３５が行った車室外判定の車室外判定結果と、車両情報機器４０の無線通信状態監視部４１から取得した通信状態情報とに基づき、車室内に幼児の置き去りが発生しているか否かを判定する。
　上述のとおり、置き去り判定部１４は、第１判定部１４４と第２判定部１４５とを備える。
　第１判定部１４４は、車室内判定部１３１が行った車室内判定の車室内判定結果と、車室外判定部１３５が行った車室外判定の車室外判定結果とに基づき、車室内に幼児の置き去りが発生しているか否かの判定（以下「第１置き去り判定」という。）を行う。実施の形態１において、第１判定部１４４が第１置き去り判定を行う処理を、「第１置き去り判定処理」ともいう。
　なお、実施の形態１において、第１判定部１４４が行う、車室内に幼児の置き去りが発生しているか否かの判定は、仮判定である。車室内に幼児の置き去りが発生しているか否かの判定結果を確定させる本判定は、第１判定部１４４による仮判定の判定結果を受けて、第２判定部１４５が行う。第２判定部１４５の詳細については、後述する。
　第１判定部１４４による第１置き去り判定処理について、詳細に説明する。
　第１判定部１４４は、車室内判定結果と車室外判定結果とに基づき、車室内に幼児の置き去りが発生しているか否かを、重畳的に判定する。
　例えば、第１判定部１４４は、車室内に幼児の置き去りが発生しているか否かを、車室内判定結果と、車室外判定結果と、車室内における幼児の置き去りの有無を示す情報とが対応付けられたテーブル（以下「置き去り判定用第１テーブル」という。）に基づき判定する。
　置き去り判定用第１テーブルは、予め管理者等によって生成され、第１判定部１４４が参照可能な場所に記憶されている。
　ここで、図１０は、実施の形態１にて第１判定部１４４が第１置き去り判定処理にて用いる置き去り判定用第１テーブルの一例を示す図である。
　図１０に示す置き去り判定用第１テーブルにおいて、「車室内検知／判定結果」は車室内検知結果を示しており、「幼児あり（３次元画像利用）」は、第１車室内判定結果が車室内に幼児とみなす動体がある旨の情報であることを示しており、「幼児なし（３次元画像利用）」は、第１車室内判定結果が車室内に幼児とみなす動体がない旨の情報であることを示している。また、「幼児あり（生体情報利用）」は、第２車室内判定結果が車室内に幼児とみなす動体がある旨の情報であることを示しており、「幼児なし（生体情報利用）」は、第２車室内判定結果が車室内に幼児とみなす動体がない旨の情報であることを示している。また、「車室外検知／判定結果」は車室外検知結果であることを示している。
　また、図１０に示す置き去り判定用第１テーブルにおいて、「幼児置き去り１次判定結果」は、車室内における幼児置き去りの有無を示す情報を示している。
　第１判定部１４４は、車室内判定結果および車室外判定結果を、図１０に示すような置き去り判定用第１テーブルとつきあわせて、車室内に幼児の置き去りが発生しているか否かを判定する。
　例えば、第１車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であれば、第１判定部１４４は、第２車室内判定結果の内容にかかわらず、車室内に幼児の置き去りあり、言い換えれば、車室内に幼児の置き去りが発生している、と判定する。
　なお、第１車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、第１車室内判定部１３２が、第１車室内判定において、車室内に幼児とみなす動体が存在すると判定したということである。
　車室内３次元画像に基づく、車室内に幼児とみなす動体が存在するか否かの判定、すなわち、第１車室内判定は、その判定結果の信頼度が高い。つまり、第１車室内判定結果の信頼度は高い。よって、第１判定部１４４は、第１車室内判定において、車室内に幼児とみなす動体が存在すると判定されていれば、第２車室内判定結果、および、車室外判定結果にかかわらず、車室内に幼児の置き去りが発生していると判定できる。
　また、例えば、第１車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であって、第２車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であって、かつ、車室外判定結果が、車室外に人とみなす動体が存在する示す判定結果であれば、第１判定部１４４は、車室内に幼児の置き去りがあるか否か、言い換えれば、車室内に幼児の置き去りが発生しているか否かは、不定とする。言い換えれば、第１判定部１４４は、第１置き去り判定を「保留」とする。つまり、第１判定部１４４は、車室内に幼児の置き去りがあるともないとも判定しない。
　なお、第１車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、第１車室内判定部１３２が、第１車室内判定において、車室内に幼児とみなす動体が存在しないと判定したということである。
　第２車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、第２車室内判定部１３３が、第２車室内判定において、車室内に幼児とみなす動体が存在すると判定したということである。
　車室外判定結果が、車室外に人とみなす動体が存在することを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、車室外判定部１３５が、車室外判定において、車室外に人とみなす動体が存在すると判定したということである。
　車室内３次元画像に基づく第１車室内判定では、図８を用いて説明したとおり、チャイルドシートまたは車両構造物などによる電波センサ１１からの電波の遮蔽の影響で、幼児とみなす動体が存在していても、これを判定できないケースもある。そのため、第１車室内判定において幼児とみなす動体は存在しないと判定された場合、第１判定部１４４は、生体情報に基づく第２車室内判定の第２車室内判定結果を活用する。
　その結果、第２車室内判定で、車室内に幼児とみなす動体は存在すると判定された場合、第１判定部１４４は、更に、車室外判定結果を活用する。
　上述したとおり、生体情報から車室内の乗員の有無を判定しようとしても、車室内の乗員と車室外の人とを識別することは、困難である。また、上述したとおり、電波センサ１１が有する、照射する電波が、車両構造物の材質に依存して透過、反射、または、回折する性質により、車室外の人の表面にあたった反射波が車室内に伝搬し、更に、車室内の構造物にあたった後、当該反射波を電波センサ１１が受信する可能性があるため、生体情報から、車室内の乗員の有無を判定しようとすると、車室内の人を車室内の乗員とみなし、車室内には乗員がいないにもかかわらず、あたかも乗員がいると判定される可能性がある。
　したがって、第２車室内判定にて車室内に幼児とみなす動体が存在していると判定されたとしても、車室外判定で車室外に人とみなす動体が存在していると判定された場合は、車室内に存在していると判定された、幼児とみなす動体が、実際には車室内に存在しない動体である可能性がある。つまり、第２車室内判定部１３３が、第２車室内判定処理において、誤判定した可能性がある。仮に、第１判定部１４４が、車室内に幼児の置き去りが発生していると判定すると、当該判定も、誤判定である可能性がある。第１判定部１４４による、車室内に幼児の置き去りが発生しているかの判定、すなわち、第１置き去り判定が誤判定であると、後続の、警報制御装置１５０における警報の出力制御においても、警報制御装置１５０が誤警報を出力させてしまう可能性がある。
　そこで、第１判定部１４４は、第１車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であって、第２車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であって、かつ、車室外判定結果が、車室外に人とみなす動体が存在する示す判定結果であれば、これを誤判定の可能性がある判定結果の組み合わせとし、車室内に幼児の置き去りが発生しているか否かの第１置き去り判定の判定結果に不定とするステータスを設け、第１置き去り判定を保留とし、第１置き去り判定の誤判定を抑制する。
　一方で、例えば、第１車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であって、第２車室内判定結果が、車室内に幼児とみなす動体が存在することを示す判定結果であって、かつ、車室外判定結果が、車室外に人とみなす動体が存在しないことを示す判定結果であれば、第１判定部１４４は、車室内に幼児の置き去りあり、言い換えれば、車室内に幼児の置き去りが発生している、と判定する。
　車室外判定結果が、車室外に人とみなす動体が存在しないことを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、車室外判定部１３５が、車室外判定において、車室外に人とみなす動体が存在しないと判定したということである。
　上述したとおり、第２車室内判定にて車室内に幼児とみなす動体が存在していると判定されたとしても、車室外判定で車室外に人とみなす動体が存在していると判定された場合は、車室内に存在していると判定された、幼児とみなす動体が、実際には車室内に存在しない動体である可能性がある。
　しかし、上述の例では、車室外判定において車室外に人とみなす動体は存在しないと判定されているので、第２車室内判定にて車室内に存在すると判定された、幼児とみなす動体が、実際には車室内に存在しない動体である可能性は低い。よって、第１判定部１４４は、車室内に幼児の置き去りが発生しているとないと判定できる。
　また、例えば、第１車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であって、かつ、第２車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であれば、第１判定部１４４は、車室外判定結果は不問とし、車室内に幼児の置き去りなし、言い換えれば、車室内に幼児の置き去りは発生していないと判定する。
　なお、第２車室内判定結果が、車室内に幼児とみなす動体が存在しないことを示す判定結果であるとは、言い換えれば、生体判定装置１３０にて、第２車室内判定部１３３が、第２車室内判定において、車室内に幼児とみなす動体が存在しないと判定したということである。
　第１車室内判定において幼児とみなす動体は存在しないと判定された場合、第１判定部１４４は、生体情報に基づく第２車室内判定の第２車室内判定結果を活用する。
　その結果、第２車室内判定で、車室内に幼児とみなす動体は存在しないと判定されていた場合、第１判定部１４４は、車室外判定結果にかかわらず、車室内に幼児の置き去りは発生していないと判定できる。
　このように、第１判定部１４４は、車室内に幼児の置き去りが発生しているか否かを、例えば、車室内判定結果と、車室外判定結果と、置き去り判定用第１テーブルに基づき判定する。
　なお、図１０に示した置き去り判定用第１テーブルの内容は、一例に過ぎない。車室内判定結果と車室外判定結果との組み合わせに対する第１置き去り判定結果は、管理者等の設計者の意図（ポリシー）で適宜設定可能である。
　また、上述したような、第１判定部１４４による第１置き去り判定の方法は、一例に過ぎない。
　例えば、第１判定部１４４は、車室内判定結果と車室外判定結果とを入力とし、車室内に幼児の置き去りが発生しているか否かを示す情報を出力する学習済みのモデルに、車室内判定結果取得部１４１から出力された車室内判定結果と、車室外判定結果取得部１４２から出力された車室外判定結果とを入力して車室内に幼児の置き去りが発生しているか否かを示す情報を得ることで、第１置き去り判定を行ってもよい。
　第１判定部１４４は、車室内に幼児の置き去りが発生しているか否かの判定結果（以下「第１置き去り判定結果」という。）を、第２判定部１４５に出力する。
　第１置き去り判定結果は、車室内に幼児の置き去りがあるかないか不定（保留）かを示す情報を含む。
　第２判定部１４５は、第１判定部１４４が行った第１置き去り判定の第１置き去り判定結果と、通信状態情報取得部１４３が取得した通信状態情報とに基づき、車室内に幼児の置き去りが発生しているか否かの判定（以下「第２置き去り判定」という。）を行う。実施の形態１において、第２判定部１４５が第２置き去り判定を行う処理を、「第２置き去り判定処理」ともいう。
　なお、実施の形態１において、第２判定部１４５が行う、車室内に幼児の置き去りが発生しているか否かの判定は、車室内に幼児の置き去りが発生しているか否かの判定結果を確定させる本判定である。
　第２判定部１４５による第２置き去り判定処理について、詳細に説明する。
　第２判定部１４５は、第１置き去り判定結果と通信状態情報とに基づき、車室内に幼児の置き去りが発生しているか否かを、重畳的に判定する。
　例えば、第２判定部１４５は、車室内に幼児の置き去りが発生しているか否かを、第１置き去り判定結果と、近距離無線通信機４５との無線通信が確立しているか否かを示す情報と、車室内における幼児の置き去りの有無を示す情報とが対応付けられたテーブル（以下「置き去り判定用第２テーブル」という。）に基づき判定する。
　置き去り判定用第２テーブルは、予め管理者等によって生成され、第２判定部１４５が参照可能な場所に記憶されている。
　ここで、図１１は、実施の形態１にて第２判定部１４５が第２置き去り判定処理にて用いる置き去り判定用第２テーブルの一例を示す図である。
　図１１に示す置き去り判定用第２テーブルにおいて、「幼児置き去り１次判定結果」は、第１置き去り判定結果を示しており、「無線通信状態」とは、車両と近距離無線通信機４５との無線通信が確立しているか否かを示しており、「幼児置き去り２次判定結果」は、車室内における幼児置き去りの有無を示す情報を示している。
　第２判定部１４５は、第１置き去り判定結果および通信状態情報を、図１１に示すような置き去り判定用第２テーブルとつきあわせて、車室内に幼児の置き去りが発生しているか否かを判定する。
　なお、第２判定部１４５は、近距離無線通信機４５との無線通信が確立しているか否かを、通信状態情報から判定できる。
　車両と近距離無線通信機４５との無線通信が確立している場合、言い換えれば、人が車両の周辺にいる場合、第２判定部１４５は、例えば、車両の保有者が車両の周辺に存在しており、車室内に幼児がいたとしてもこれを認識できていると想定して、車室内に幼児の置き去りなし、言い換えれば、車室内に幼児の置き去りは発生していないと判定する。
　例えば、第１置き去り判定結果が「幼児の置き去りあり」である、または、第１置き去り判定結果が「幼児の置き去り不定（保留）」である場合、車両と近距離無線通信機４５との無線通信が確立していれば、第２判定部１４５は、車室内に幼児の置き去りは発生していないと判定する。
　なお、第１置き去り判定結果が「幼児の置き去りあり」であるとは、言い換えれば、第１置き去り判定部１４が、第１置き去り判定において、車室内に幼児の置き去りが発生していると判定したということである。また、第１置き去り判定結果が「幼児の置き去り不定（保留）」であるとは、言い換えれば、第１置き去り判定部１４が、第１置き去り判定を保留としたということである。
　例えば、第１置き去り判定結果が「幼児の置き去りあり」である、または、第１置き去り判定結果が「幼児の置き去り不定（保留）」である場合、車両と近距離無線通信機４５との無線通信が未確立であれば、第２判定部１４５は、車室内に幼児の置き去りが発生していると判定する。
　この場合、第２判定部１４５は、例えば、車両の保有者が、車室内に幼児が置き去りにされていることを認識しないまま、車両から離れてしまったと想定する。
　このように、第２判定部１４５は、車室内に幼児の置き去りが発生しているか否かを、例えば、第１置き去り判定結果と、通信状態情報と、置き去り判定用第２テーブルに基づき判定する。
　なお、図１１に示した置き去り判定用第２テーブルの内容は、一例に過ぎない。第１置き去り判定結果と、車両と近距離無線通信機４５との無線通信が確立しているか否かとの組み合わせに対する第２置き去り判定結果は、管理者等の設計者の意図（ポリシー）で適宜設定可能である。
　また、上述したような、第２判定部１４５による第２置き去り判定の方法は、一例に過ぎない。
　例えば、第２判定部１４５は、第１置き去り判定結果と通信状態情報とを入力とし、車室内に幼児の置き去りが発生しているか否かを示す情報を出力する学習済みのモデルに、第１判定部１４４から出力された第１置き去り判定結果と、通信状態情報取得部１４３から出力された通信状態情報とを入力して車室内に幼児の置き去りが発生しているか否かを示す情報を得ることで、第２置き去り判定を行ってもよい。
　第２判定部１４５は、車室内に幼児の置き去りが発生しているか否かの判定結果（以下「第２置き去り判定結果」という。）を、警報制御装置１５０に出力する。
　第２置き去り判定結果は、車室内に幼児の置き去りがあるかないかを示す情報を含む。
　なお、第２判定部１４５は、第２置き去り判定結果を、第１置き去り判定結果とともに、警報制御装置１５０に出力する。
　実施の形態１において、第１置き去り判定結果と第２置き去り判定結果とを、まとめて単に「置き去り判定結果」ともいう。
　警報制御装置１５０の構成例について説明する。
　警報制御装置１５０は、図１に示すように、置き去り判定結果取得部１５１と、警報制御部１５２とを備える。
　置き去り判定結果取得部１５１は、置き去り判定装置１４０から、置き去り判定結果を取得する。
　より詳細には、置き去り判定結果取得部１５１は、置き去り判定装置１４０から、第１置き去り判定結果および第２判定結果を取得する。
　置き去り判定結果取得部１５１は、取得した置き去り判定結果を、警報制御部１５２に出力する。
　警報制御部１５２は、置き去り判定装置１４０が、車室内に幼児の置き去りが発生していると判定した場合に、より詳細には、第１判定部１４４が、車室内に幼児の置き去りが発生していると仮判定した場合、または、第２判定部１４５が、車室内に幼児の置き去りが発生していると判定した場合に、警報装置１６０に対して、警報を出力させる指示（以下「警報指示」という。）を出力する。
　警報制御部１５２は、第１置き去り判定結果に基づいて警報指示を出力するか、第２置き去り判定結果に基づいて警報指示を出力するかを選択できる。
　すなわち、警報制御部１５２は、第１判定部１４４による第１置き去り判定、言い換えれば、仮判定、の結果に基づき警報指示を出力するか、第２判定部１４５による第２置き去り判定、言い換えれば、本判定、の結果に基づき警報指示を出力するかを選択できる。
　例えば、警報制御部１５２は、警報指示を出力するか否かを、第１置き去り判定結果と警報出力の要否を示す情報とが対応付けられたテーブル（以下「警報用第１テーブル」という。）、または、第２置き去り判定結果と警報出力の幼児を示す情報とが対応付けられたテーブル（以下「警報用第２テーブル」という。）に基づき判定する。
　警報用第１テーブルおよび警報用第２テーブルは、予め管理者等によって生成され、警報制御部１５２が参照可能な場所に記憶されている。
　警報制御部１５２は、第１置き去り判定結果に基づいて警報指示を出力することを選択した場合、警報用第１テーブルを用いて、警報出力の要否を判定する。
　警報制御部１５２は、第２置き去り判定結果に基づいて警報指示を出力することを選択した場合、警報用第２テーブルを用いて、警報出力の要否を判定する。
　ここで、図１２は、実施の形態１にて警報制御部１５２が警報指示の出力判定に用いる警報用第１テーブルおよび警報用第２テーブルの一例を示す図である。
　図１２Ａは、警報用第１テーブルの一例を示し、図１２Ｂは、警報用第２テーブルの一例を示す。
　図１２Ａに示す警報用第１テーブルにおいて、「あり」、「不定」、「なし」は、第１置き去り判定結果を示しており、「警報ＯＮ」、「警報ＯＦＦ」は、警報出力の要否を示している。
　図１２Ｂに示す警報用第２テーブルにおいて、「あり」、「なし」は、第２置き去り判定結果を示しており、「警報ＯＮ」、「警報ＯＦＦ」は、警報出力の要否を示している。
　例えば、警報制御部１５２は、第１置き去り判定結果に基づいて警報指示を出力することを選択した場合、第１置き去り判定結果が、車室内に幼児の置き去り不定（保留）を示していれば、言い換えれば、第１判定部１４４が、第１置き去り判定を保留とした場合は、警報出力は不要（警報ＯＦＦ）と判定する。この場合、警報制御部１５２は、警報指示を出力しない。
　上述のとおり、第１判定部１４４は、第１置き去り判定が誤判定の可能性がある場合に、当該第１置き去り判定を保留としている。警報制御部１５２は、第１置き去り判定の誤判定、つまり、車室内に幼児の置き去りが発生しているか否かの判定の誤判定による誤警報の煩わしさをなくすために、警報出力は不要と判定する。
　例えば、警報制御部１５２は、第２置き去り判定結果に基づいて警報指示を出力することを選択した場合、第２置き去り判定結果が、車室内に幼児の置き去りありを示していれば、言い換えれば、第２判定部１４５が、車室内に幼児の置き去りが発生していると判定した場合は、警報出力が必要（警報ＯＮ）と判定する。この場合、警報制御部１５２は、警報指示を出力する。
　例えば、警報制御部１５２は、警報出力が必要と判定した状態が、予め設定された時間（以下「警報判定用時間」という。）以上継続している場合に、警報指示を出力するようにしてもよい。警報判定用時間は、例えば、１０秒である。なお、これは一例に過ぎず、警報判定用時間は、適宜の長さとできる。
　警報装置１６０は、警報制御装置１５０の制御に基づき、警報を出力する。
　警報装置１６０は、警報制御装置１５０から警報指示が出力された場合に、警報を出力する。
　例えば、警報装置１６０が車両の所有者が携帯している携帯端末である場合、警報装置１６０は、車室内にて置き去りが発生している旨のメッセージを表示する。警報装置１６０は、ブザーを出力するようにしてもよいし、車室内にて置き去りが発生している旨のメッセージを音声出力してもよい。
　例えば、警報装置１６０が車両に備えられているホーンである場合、警報装置１６０は、鳴動する。例えば、警報装置１６０が車両に備えられているライドである場合、警報装置１６０は、点滅する。
　車室内に幼児が置き去りされていないにもかかわらず、幼児が置き去りにされていると判定され、車両の保有者または車両の周辺の人に誤警報してしまうことは、実用上問題がある。
　上述のように、置き去り判定装置１４０にて第１判定部１４４が、第１置き去り判定が誤判定の可能性がある場合には第１置き去り判定を保留とすることで、車室内に幼児が置き去りにされているとの誤判定を抑制し、警報制御装置１５０にて警報制御部１５２は、第１置き去り判定を保留とした旨の第１置き去り判定結果に基づき、警報指示を出力しないことで、車室内に幼児が置き去りにされていることへの誤警報を抑制できる。これにより、置き去り判定システム１００は、上記実用上の問題を解決できる。
　また、置き去り判定装置１４０にて第２判定部１４５が、電波センサ１１から出力される３次元画像および生体情報と、通信状態情報とを組み合わせて第２置き去り判定を行うことで、第２判定部１４５は、車室内に幼児が置き去りにされているとの誤判定を抑制するとともに、誤警報といえる、車両の保有者等への無用な警報を出力させないようにできる。そして、警報制御装置１５０にて警報制御部１５２は、車両と近距離無線通信機４５との通信状態が考慮された第２置き去り判定結果に基づき、警報指示の出力を制御することで、車室内に幼児が置き去りにされていることへの誤警報を抑制できるとともに、誤警報といえる、車両の保有者等への無用な警報を抑制できる。これにより、置き去り判定システム１００は、車室内に幼児が置き去りにされていることへの誤警報を抑制できるとともに車両の保有者等への無用な警報を抑制できる。
　実施の形態１に係る置き去り判定システム１００の動作について説明する。
　図１３は、実施の形態１に係る置き去り判定システム１００の動作について説明するためのフローチャートである。
　置き去り判定システム１００は、例えば、車両のドアが施錠される、車両の電源がオフにされる、または、車両においてシフトポジションが「Ｐ」にされると、車両のドアが開錠される、または、車両の電源がオンにされるまで、図１３のフローチャートで示すような動作を繰り返す。
　図１３において、ステップＳＴ１－１，ステップＳＴ１－２～ステップＳＴ３の処理は、生体判定装置１３０が行う処理であり、ステップＳＴ４－１，ステップＳＴ４－２，ステップＳＴ４－３～ステップＳＴ６の処理は、置き去り判定装置１４０が行う処理である。
　生体情報取得部１３０１は、センサ信号処理部１２０の生体情報抽出部１２２が抽出した生体情報を取得する（ステップＳＴ１－１）。
　生体情報取得部１３０１は、取得した生体情報を、車室内判定部１３１の第２車室内判定部１３３に出力する。
　３次元画像取得部１３０２は、センサ信号処理部１２０の３次元画像生成部１２１が生成した３次元画像を取得する（ステップＳＴ１－２）。
　３次元画像取得部１３０２は、取得した３次元画像を、車室内判定部１３１の第１車室内判定部１３２、および、車室外判定部１３５に出力する。
　車室内判定部１３１は、ステップＳＴ１－２にて３次元画像取得部１３０２が取得した３次元画像と、ステップＳＴ１－１にて生体情報取得部１３０１が取得した生体情報とに基づき、車室内に幼児とみなす動体が存在するか否かの車室内判定を行う車室内判定処理を実行する（ステップＳＴ２）。
　車室内判定部１３１は、車室内判定結果を、置き去り判定装置１４０に出力する。
　車室外判定部１３５は、ステップＳＴ１－２にて３次元画像取得部１３０２が取得した３次元画像に基づき、車室外判定を行う車室外判定処理を実行する（ステップＳＴ３）。
　車室外判定部１３５は、車室外判定結果を、置き去り判定装置１４０に出力する。
　車室内判定結果取得部１４１は、車室内判定部１３１から出力された車室内判定結果を取得する（ステップＳＴ４－１）。
　車室内判定結果取得部１４１は、取得した車室内判定結果を、置き去り判定部１４に出力する。
　車室外判定結果取得部１４２は、車室外判定部１３５から、車室外判定結果を取得する（ステップＳＴ４－２）。
　車室外判定結果取得部１４２は、取得した車室外判定結果を、置き去り判定部１４に出力する。
　通信状態情報取得部１４３は、車両情報機器４０の無線通信状態監視部４１から、通信状態情報を取得する（ステップＳＴ４－３）。
　通信状態情報取得部１４３は、取得した通信状態情報を、置き去り判定部１４に出力する。
　置き去り判定部１４の第１判定部１４４は、ステップＳＴ４－１にて車室内判定結果取得部１４１が取得した車室内判定結果と、ステップＳＴ４－２にて車室外判定部が取得した車室外判定結果とに基づき、第１置き去り判定を行う第１置き去り判定処理を実施する（ステップＳＴ５）。
　第１判定部１４４は、第１置き去り判定結果を、第２判定部１４５に出力する。
　置き去り判定部１４の第２判定部１４５は、ステップＳＴ５にて第１判定部１４４が行った第１置き去り判定の第１置き去り判定結果と、ステップＳＴ４－３にて通信状態情報取得部１４３が取得した通信状態情報とに基づき、第２置き去り判定を行う第２置き去り判定処理を実施する（ステップＳＴ６）。
　第２判定部１４５は、置き去り判定結果を、警報制御装置１５０に出力する。
　詳細には、第２判定部１４５は、第２置き去り判定結果を、第１置き去り判定結果とともに、警報制御装置１５０に出力する。
　なお、図１３のフローチャートでは、ステップＳＴ１－１の処理とステップＳＴ１－２の処理とが並行して行われるものとしているが、これは一例に過ぎない。ステップＳＴ１－１の処理とステップＳＴ１－２の処理の順番は前後してもよい。
　また、図１３のフローチャートでは、ステップＳＴ４－１の処理とステップＳＴ４－２の処理とステップＳＴ４－３の処理とが並行して行われるものとしているが、これは一例に過ぎない。ステップＳＴ４－１の処理とステップＳＴ４－２の処理とステップＳＴ４－３の処理の順番は前後してもよい。
　図１４は、図１３のステップＳＴ２の処理について、詳細に説明するためのフローチャートである。
　第１車室内判定部１３２は、図１３のステップＳＴ１－２にて３次元画像取得部１３０２が取得した３次元画像に基づき、車室内に幼児とみなす動体が存在するか否かの第１車室内判定を行う第１車室内判定処理を実行する（ステップＳＴ１４０１）。
　第１車室内判定部１３２は、第１車室内判定結果を、置き去り判定装置１４０に出力する。
　第２車室内判定部１３３は、図１３のステップＳＴ１－１にて生体情報取得部１３０１が取得した生体情報に基づき、車室内に幼児とみなす動体が存在するか否かの第２車室内判定を行う第２車室内判定処理を実行する（ステップＳＴ１４０２）。
　第２車室内判定部１３３は、第２車室内判定結果を、置き去り判定装置１４０に出力する。
　なお、図１４のフローチャートでは、ステップＳＴ１４０１の処理、ステップＳＴ１４０２の処理の順に行われるものとしているが、これは一例に過ぎない。ステップＳＴ１４０１の処理とステップＳＴ１４０２の処理とが並行して行われてもよいし、ステップＳＴ１４０１の処理とステップＳＴ１４０２の処理の順番が入れ替わってもよい。
　このように、置き去り判定システム１００は、電波センサ１１によって生成された３次元画像と、電波センサ１１によって抽出された生体情報とに基づき、車室内に幼児とみなす動体が存在するか否かの車室内判定を行う。また、置き去り判定システム１００は、３次元画像に基づき、車室外に人とみなす動体が存在するか否かの車室外判定を行う。そして、置き去り判定システム１００は、車室内判定の判定結果（車室内判定結果）と、車室外判定の判定結果（車室外判定結果）とに基づき、車室内に幼児の置き去りが発生しているか否かを判定する。
　そのため、置き去り判定システム１００は、車室内における幼児の置き去りの有無の誤判定を防ぐことができる。
　実施の形態１に係る警報制御装置１５０の動作について説明する。
　図１５は、実施の形態１に係る警報制御装置１５０の動作について説明するためのフローチャートである。
　警報制御装置１５０は、置き去り判定システム１００において、置き去り判定装置１４０から警報指示が出力されると、図１５のフローチャートで示すような動作を実施する。
　置き去り判定結果取得部１５１は、置き去り判定装置１４０から、置き去り判定結果を取得する（ステップＳＴ１０１）。
　より詳細には、置き去り判定結果取得部１５１は、置き去り判定装置１４０から、第１置き去り判定結果および第２判定結果を取得する。
　置き去り判定結果取得部１５１は、取得した置き去り判定結果を、警報制御部１５２に出力する。
　警報制御部１５２は、ステップＳＴ１０１にて置き去り判定結果取得部１５１が取得した置き去り判定結果に基づき、置き去り判定装置１４０が、第１判定部１４４が、車室内に幼児の置き去りが発生していると仮判定した場合、または、第２判定部１４５が、車室内に幼児の置き去りが発生していると判定した場合、警報装置１６０に対して、警報指示を出力する。
　このように、警報制御装置１５０は、置き去り判定装置１４０が、車室内に幼児の置き去りが発生していると判定した場合に、警報を出力させる警報指示を出力する。これにより、警報制御装置１５０は、車両の保有者、または、車両の周辺に存在している人等に対して、車室内に幼児の置き去りが発生していることを知らせることができる。
　また、警報制御装置１５０は、置き去り判定装置１４０が、車室内に幼児の置き去りが発生しているか否かの判定を保留とした場合には、警報指示を出力しない。
　そのため、警報制御装置１５０は、例えば、車室内に幼児が置き去りされていないにもかかわらず、幼児が置き去りにされていると誤判定された場合の誤警報を抑制できる。
　また、警報制御装置１５０は、置き去り判定装置１４０が、電波センサ１１から出力される３次元画像および生体情報と通信状態情報とを組み合わせて行った、車室内に幼児の置き去りが発生しているか否かの判定（第２置き去り判定）の判定結果（第２置き去り判定結果）に基づき、警報指示の出力を制御することで、車室内に幼児が置き去りにされていることへの誤警報を抑制できる。
　例えば、車室内に幼児のみが存在している場合であっても、車両の保有者が車室外にいて、車両と当該保有者が携帯している近距離無線通信機４５との無線通信が確立している場合には、当該保有者は車室内の幼児に気づいていると想定される。この場合、警報は無用な警報であり、仮に警報が出力された場合、出力された警報は誤警報といえる。警報制御装置１５０は、このような誤警報を抑制できる。
　以上の実施の形態１では、置き去り判定装置１４０の第１判定部１４４は、置き去りが発生しているか否かの判定（第１置き去り判定）を保留とすると判定した場合、当該保留とする状態が、予め設定された時間（以下「第１保留判定用時間」という。）以上継続している場合は、車室内に幼児の置き去りあり、すなわち、車室内に幼児の置き去りが発生している、と判定するようにしてもよい。
　例えば、車両の保有者が車室外の、当該保有者が携帯している近距離無線通信機４５が車両と通信を確立できる程度の距離に存在していたとしても、当該保有者が知らないうちに幼児が何等かの事情で車室内に入り、出られなくなるという事態も想定されなくはない。そこで、第１判定部１４４は、置き去りが発生しているか否かの判定（第１置き去り判定）を保留とすると判定した場合、保留とする状態が第１保留判定用時間以上継続している場合は、車室内に幼児の置き去りが発生していると判定するようにしてもよい。第１保留判定用時間は、例えば、１０分である。なお、これは一例に過ぎず、第１保留判定用時間は、警報判定用時間よりも長い時間になっていればよい。
　この場合、例えば、第１判定部１４４は、第１置き去り判定結果を保留していた状態から置き去りありとの判定に変更した旨を第２判定部１４５に通知し、第２判定部１４５は、通信状態情報の内容によらず、車室内に幼児の置き去りが発生していると判定してもよい。
　これにより、置き去り判定システム１００は、車室内に幼児の置き去りが発生しているとの判定が誤判定の可能性がある場合にこれを保留とし、誤判定に基づく警報が出力されないようにすることで、真に必要な警報まで出力されなくなる事態を防ぐことができる。
　また、以上の実施の形態１において、警報制御装置１５０の警報制御部１５２は、置き去り判定装置１４０の第１判定部１４４が、置き去りが発生しているか否かの判定（第１置き去り判定）を保留とした状態が、予め設定された時間（以下「第２保留判定用時間」という。）以上継続している場合には、警報指示を出力するようにしてもよい。第２保留判定用時間は、例えば、１０分である。なお、これは一例に過ぎず、第２保留判定用時間は、警報判定用時間よりも長い時間になっていればよい。
　これにより、警報制御装置１５０は、例えば、車両の保有者が車室外の、当該保有者が携帯している近距離無線通信機４５が車両と通信を確立できる程度の距離に存在していたとしても、当該保有者が知らないうちに幼児が何等かの事情で車室内に入り、出られなくなるという事態が発生した場合等、真に必要な警報が出力されなくなる事態を防ぐことができる。
　また、以上の実施の形態１では、警報制御装置１５０において、警報制御部１５２は、警報制御部１５２は、第１置き去り判定結果に基づいて警報指示を出力するか、第２置き去り判定結果に基づいて警報指示を出力するかを選択できるものとしていたが、これは一例に過ぎない。
　例えば、警報制御部１５２は、必ず、第２置き去り判定結果に基づいて警報指示を出力するものとしてもよい。この場合、警報用第１テーブルは備えられていなくてよい。
　また、以上の実施の形態１において、警報制御装置１５０の警報制御部１５２は、例えば、車室内に幼児の置き去りが発生していると判定されてからの経過時間とともに、警報装置１６０から出力させる警報の警報手段を変更する制御を行ってもよい。例えば、警報制御部１５２は、車室内に幼児の置き去りが発生していると判定されてからの経過時間が長くなればなるほど、警報装置１６０に対して、出力する音声が大きくなるよう制御する。また、例えば、警報制御部１５２は、メッセージの送信から警報音の出力へ変更する等、車室内に幼児の置き去りが発生していると判定されてからの経過時間が長くなるにつれて、警報装置１６０が出力する警報の内容を変更するよう制御してもよい。
　この場合、例えば、警報用第１テーブルまたは警報用第２テーブルに、どのような警報手段で警報装置１６０から警報を出力させるかの情報が組み込まれている。
　また、以上の実施の形態１では、置き去り判定装置１４０は、第１判定部１４４および第２判定部１４５を備えていたが、これは一例に過ぎない。
　置き去り判定装置１４０は、第２判定部１４５を備えることを必須とせず、第２判定部１４５を備えない構成としてもよい。
　この場合、置き去り判定装置１４０において、第１判定部１４４が行う、車室内に幼児の置き去りが発生しているか否かの第１置き去り判定は、本判定となる。
　また、この場合、警報制御装置１５０において、警報制御部１５２は、警報用第１テーブルを用いて、警報出力の要否を判定する。警報用第１テーブルが備えられていなくてよい。
　また、この場合、図１３のフローチャートを用いて説明した置き去り判定システム１００の動作について、ステップＳＴ６の処理は省略可能である。
　また、以上の実施の形態１では、第１車室内判定部１３２が車室内判定において判定する「車室内に幼児とみなす動体が存在するか否か」は、「車室内に幼児とみなす動体のみが存在するか否か」を意味するものとしたが、これは一例に過ぎない。
　例えば、以上の実施の形態１において、第１車室内判定部１３２が第１車室内判定において判定する「車室内に幼児とみなす動体が存在するか否か」は、「他に大人の乗員が存在するか否かにかかわらず、車室内に幼児とみなす動体が存在するか否か」を意味するものとしてもよい。
　この場合、例えば、第１車室内判定部１３２は、車室内判定処理において、車室内に存在する、全ての乗員とみなす動体と、その動体が大人か幼児かを示す情報とを対応付けた情報を、第１車室内判定結果として、置き去り判定装置１４０に出力する。
　置き去り判定装置１４０の第１判定部１４４は、第１車室内判定結果に基づき、車室内には幼児とみなす動体のみが存在するか否かを判定し、この判定結果を、第１車室内判定結果として、置き去り判定用第１テーブルとのつきあわせに用いる。
　また、以上の実施の形態１において、電波センサ１１は、車室内３次元画像と車室外３次元画像とをそれぞれ生成してもよい。
　この場合、生体判定装置１３０において、第１車室内判定部１３２は、車室内３次元画像に基づき第１車室内判定処理を実施し、車室外判定部１３５は、車室外３次元画像に基づき車室外判定処理を実施する。
　また、以上の実施の形態１では、生体判定装置１３０は電波センサ１１に搭載されているものとしたが、これは一例に過ぎない。生体判定装置１３０は、電波センサ１１の外部に、電波センサ１１と接続可能に備えられてもよい。
　例えば、生体判定装置１３０は、置き去り判定装置１４０に搭載されてもよい。
　また、これに限らず、例えば、置き去り判定装置１４０と警報制御装置１５０とが電波センサ１１に搭載されていてもよい。
　また、例えば、センサ信号処理部１２０が、電波センサ１１の外部に備えられてもよい。
　センサ信号処理部１２０、生体判定装置１３０、置き去り判定装置１４０、および、警報制御装置１５０は、適宜組み合わせて１つの装置とすることが可能である。
　また、以上の実施の形態１においてセンサ信号処理部１２０が備える各構成部（生体情報抽出部１２２および３次元画像生成部１２１）と、生体判定装置１３０が備える各構成部（生体情報取得部１３０１、３次元画像取得部１３０２、車室内判定部１３１、および、車室外判定部１３５）と、置き去り判定装置１４０が備える各構成部（車室内判定結果取得部１４１、車室外判定結果取得部１４２、通信状態情報取得部１４３、および、置き去り判定部１４）と、警報制御装置１５０が備える各構成部（置き去り判定結果取得部１５１および警報制御部１５２）とは、適宜組み合わせて１つの装置が備えるようにできる。
　例えば、車室外判定部１３５が置き去り判定装置１４０に備えられてもよいし、警報制御部１５２が置き去り判定装置１４０に備えられてもよい。また、例えば、置き去り判定部１４が生体判定装置１３０に備えられてもよい。
　また、以上の実施の形態１では、生体判定装置１３０と置き去り判定装置１４０とで置き去り判定システム１００を構成するものとしたが、これは一例に過ぎない。
　例えば、警報制御装置１５０が置き去り判定システム１００に備えられてもよいし、センサ信号処理部１２０が置き去り判定システム１００に備えられてもよい。
　また、以上の実施の形態１では、生体判定装置１３０、置き去り判定装置１４０、および、警報制御装置１５０は、車両に搭載されている車載装置としたが、これは一例に過ぎない。
　例えば、生体判定装置１３０、置き去り判定装置１４０、または、警報制御装置１５０が、サーバ（図示省略）に備えられてもよい。
　また、生体情報取得部１３０１、３次元画像取得部１３０２、車室内判定部１３１、または、車室外判定部１３５の一部または全部がサーバに備えられてもよいし、車室内判定結果取得部１４１、車室外判定結果取得部１４２、通信状態情報取得部１４３、または、置き去り判定部１４の一部または全部がサーバに備えられてもよいし、置き去り判定結果取得部１５１または警報制御部１５２の一部または全部がサーバに備えられてもよい。
　図１６Ａおよび図１６Ｂは、実施の形態１に係る置き去り判定装置１４０のハードウェア構成の一例を示す図である。
　実施の形態１において、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４の機能は、処理回路１００１により実現される。すなわち、置き去り判定装置１４０は、車室内における幼児の置き去りの有無を判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４の機能を実行する。すなわち、置き去り判定装置１４０は、プロセッサ１００４により実行されるときに、上述の図１３のステップＳＴ４－１，ステップＳＴ４－２，ステップＳＴ４－３～ステップＳＴ６が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３と、置き去り判定部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、車室内判定結果取得部１４１と、車室外判定結果取得部１４２と、通信状態情報取得部１４３については専用のハードウェアとしての処理回路１００１でその機能を実現し、置き去り判定部１４についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、置き去り判定装置１４０は、電波センサ１１、警報制御装置１５０、または、車両情報機器４０等の装置と、有線通信また無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　実施の形態１に係る生体判定装置１３０のハードウェア構成は、図１６Ａおよび図１６Ｂを用いて説明した置き去り判定装置１４０のハードウェア構成と同様であるため、図示を省略する。
　生体情報取得部１３０１と、３次元画像取得部１３０２と、車室内判定部１３１と、車室外判定部１３５の機能は、処理回路１００１により実現される。すなわち、生体判定装置１３０は、電波センサ１１によって生成された３次元画像と電波センサ１１によって抽出された生体情報とに基づき、車室内判定処理および車室外判定処理を行うための処理回路１００１を備える。
　処理回路１００１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、生体情報取得部１３０１と、３次元画像取得部１３０２と、車室内判定部１３１と、車室外判定部１３５の機能を実行する。すなわち、生体判定装置１３０は、処理回路１００１により実行されるときに、上述の図１３のステップＳＴ１－１，ステップＳＴ１－２～ステップＳＴ３が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、生体情報取得部１３０１と、３次元画像取得部１３０２と、車室内判定部１３１と、車室外判定部１３５の処理の手順または方法をコンピュータに実行させるものであるともいえる。
　生体判定装置１３０は、置き去り判定装置１４０等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　実施の形態１に係る警報制御装置１５０のハードウェア構成は、図１６Ａおよび図１６Ｂを用いて説明した置き去り判定装置１４０のハードウェア構成と同様であるため、図示を省略する。
　置き去り判定結果取得部１５１と、警報制御部１５２の機能は、処理回路１００１により実現される。すなわち、警報制御装置１５０は、置き去り判定装置１４０による置き去り判定結果に基づき警報指示の出力の制御を行うための処理回路１００１を備える。
　処理回路１００１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、置き去り判定結果取得部１５１と、警報制御部１５２の機能を実行する。すなわち、警報制御装置１５０は、処理回路１００１により実行されるときに、上述の図１５のステップＳＴ１０１～ステップＳＴ１０２が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、置き去り判定結果取得部１５１と、警報制御部１５２の処理の手順または方法をコンピュータに実行させるものであるともいえる。
　警報制御装置１５０は、置き去り判定装置１４０または警報装置１６０等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　以上のように、実施の形態１によれば、置き去り判定システム１００は、車室内に設けられ、車室内に向けて放射した電波が車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ１１、が検知した動体の検知結果に基づき抽出された生体情報を取得する生体情報取得部１３０１と、電波センサ１１が検知した動体の検知結果に基づき生成された、車室内において動体が存在する領域の分布を３次元であらわす３次元画像を取得する３次元画像取得部１３０２と、３次元画像取得部１３０２が取得した３次元画像と、生体情報取得部１３０１が取得した生体情報とに基づき、車室内に要介助者（幼児）とみなす動体が存在するか否かの車室内判定を行う車室内判定部１３１と、３次元画像取得部１３０２が取得した３次元画像に基づき、車室外に人とみなす動体が存在するか否かの車室外判定を行う車室外判定部１３５と、車室内判定部１３１が行った車室内判定の判定結果（車室内判定結果）と、車室外判定部１３５が行った車室外判定の判定結果（車室外判定結果）とに基づき、車室内に要介助者（幼児）の置き去りが発生しているか否かを判定する置き去り判定部１４とを備えた。
　そのため、置き去り判定システム１００は、車室内における幼児等の要介助者の置き去りの有無の誤判定を防ぐことができる。
　また、置き去り判定システム１００において、置き去り判定部１４は、第１車室内判定部１３２が第１車室内判定において車室内に要介助者（幼児）とみなす動体は存在しないと判定し、かつ、第２車室内判定部１３３が第２車室内判定において車室内に要介助者（幼児）とみなす動体が存在すると判定した場合、車室外判定部１３５が車室外判定において車室外に人とみなす動体が存在しないと判定すれば、置き去りが発生していると判定し、車室外判定部１３５が車室外判定において車室外に人とみなす動体が存在すると判定すれば、置き去りが発生しているか否かの判定を保留とする第１判定部を備える。
　そのため、置き去り判定システム１００は、車室内における要介助者の置き去りの有無の誤判定を抑制することができる。
　また、置き去り判定システム１００において、置き去り判定部１４は、第１判定部１４４による置き去りが発生しているか否かの判定（第１置き去り判定）を仮判定とし、当該仮判定の結果と、車室内に搭載され車室外の近距離無線通信機４５との通信状態を監視する車両情報機器４０、から取得した、車室外の近距離無線通信機４５との通信状態に関する通信状態情報とに基づき、置き去りが発生しているか否かの本判定（第２置き去り判定）を行う第２判定部１４５を備えた。
　置き去り判定システム１００は、電波センサ１１から出力される３次元画像および生体情報と、通信状態情報とを組み合わせて車室内に要介助者の置き去りが発生しているか否かの判定を行うことで、車室内における要介助者の置き去りの有無の判定を確定させるとともに、車室内に要介助者が置き去りにされているとの誤判定を抑制することができる。
　より詳細には、置き去り判定システム１００において、第１判定部１４４は、第１車室内判定部１３２が第１車室内判定において車室内に要介助者（幼児）とみなす動体は存在しないと判定し、かつ、第２車室内判定部１３３が第２車室内判定において車室内に要介助者とみなす動体が存在すると判定した場合、車室外判定部１３５が車室外判定において車室外に人とみなす動体が存在しないと判定すれば、置き去りが発生していると仮判定し、車室外判定部１３５が車室外判定において車室外に人とみなす動体が存在すると判定すれば、置き去りが発生しているか否かの判定を保留とし、第２判定部１４５は、第１判定部１４４が、置き去りが発生していると仮判定した場合、または、置き去りが発生しているか否かの判定を保留とした場合、通信状態情報に基づき、車両と近距離無線通信機４５との通信が確立されていれば置き去りは発生していないと判定し、車両と近距離無線通信機との通信が確立されていなければ置き去りが発生していると判定する。
　置き去り判定システム１００は、電波センサ１１から出力される３次元画像および生体情報と、通信状態情報とを組み合わせて車室内に要介助者の置き去りが発生しているか否かの判定を行うことで、車室内における要介助者の置き去りの有無の判定を確定させるとともに、車室内に要介助者が置き去りにされているとの誤判定を抑制することができる。
　また、置き去り判定システム１００は、第１判定部１４４が、置き去りが発生していると判定した場合に、警報を出力させる警報指示を出力する警報制御部１５２を備え、警報制御部１５２は、第１判定部１４４が、置き去りが発生しているか否かの判定を保留とした場合には、警報指示を出力しないように構成できる。
　そのため、置き去り判定システム１００は、例えば、車室内に要介助者が置き去りされていないにもかかわらず、要介助者が置き去りにされていると誤判定された場合の誤警報を抑制できる。
　また、実施の形態１によれば、置き去り判定装置１４０は、車室内に設けられ、車室内に向けて放射した電波が車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ１１、が検知した動体の検知結果に基づき生成された、車室内において動体が存在する領域の分布を３次元であらわす３次元画像と、電波センサ１１が検知した動体の検知結果に基づき抽出された生体情報とに基づき行われた、車室内に要介助者（幼児）とみなす動体が存在するか否かの車室内判定結果を取得する車室内判定結果取得部１４１と、３次元画像に基づき行われた、車室外に人とみなす動体が存在するか否かの車室外判定結果を取得する車室外判定結果取得部１４２と、車室内判定結果取得部１４１が取得した車室内判定結果と、車室外判定結果取得部１４２が取得した車室外判定結果とに基づき、車室内に要介助者の置き去りが発生しているか否かを判定する置き去り判定部１４とを備えるように構成した。
　そのため、置き去り判定装置１４０は、車室内における幼児等の要介助者の置き去りの有無の誤判定を防ぐことができる。
　なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る置き去り判定システムは、車室内における幼児等の置き去りの有無の誤判定を防ぐことができる。
　１００　置き去り判定システム、１１　電波センサ、１１０　電波送受信部、１１１　送信アンテナ、１１２　受信アンテナ、１１３　高周波信号発生回路部、１１４　送信回路部、１１５　受信回路部、１１６　Ａ／Ｄ変換部、１２０　センサ信号処理部、１２１　３次元画像生成部、１２２　生体情報抽出部、１３０　生体判定装置、１３０１　生体情報取得部、１３０２　３次元画像取得部、１３１　車室内判定部、１３２　第１車室内判定部、１３３　第２車室内判定部、１３５　車室外判定部、１４０　置き去り判定装置、１４１　車室内判定結果取得部、１４２　車室外判定結果取得部、１４３　通信状態情報取得部、１４　置き去り判定部、１４４　第１判定部、１４５　第２判定部、１５０　警報制御装置、１５１　置き去り判定結果取得部、１５２　警報制御部、１６０　警報装置、４０　車両情報機器、４１　無線通信状態監視部、４５　近距離無線通信機、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ。

Claims (20)

  1. 　車室内に設けられ、前記車室内に向けて放射した電波が前記車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ、が検知した前記動体の検知結果に基づき抽出された生体情報を取得する生体情報取得部と、
    　前記電波センサが検知した前記動体の前記検知結果に基づき生成された、前記車室内において前記動体が存在する領域の分布を３次元であらわす３次元画像を取得する３次元画像取得部と、
    　前記３次元画像取得部が取得した前記３次元画像と、前記生体情報取得部が取得した前記生体情報とに基づき、前記車室内に要介助者とみなす前記動体が存在するか否かの車室内判定を行う車室内判定部と、
    　前記３次元画像取得部が取得した前記３次元画像に基づき、車室外に人とみなす前記動体が存在するか否かの車室外判定を行う車室外判定部と、
    　前記車室内判定部が行った前記車室内判定の判定結果と、前記車室外判定部が行った前記車室外判定の判定結果とに基づき、前記車室内に前記要介助者の置き去りが発生しているか否かを判定する置き去り判定部
    　とを備えた置き去り判定システム。
  2. 　前記車室内判定部は、
    　前記３次元画像取得部が取得した前記３次元画像に基づき、前記車室内に前記要介助者とみなす前記動体が存在するか否かの第１車室内判定を行う第１車室内判定部と、
    　前記生体情報取得部が取得した前記生体情報に基づき、前記車室内に前記要介助者とみなす前記動体が存在するか否かの第２車室内判定を行う第２車室内判定部とを備えた
    　ことを特徴とする請求項１記載の置き去り判定システム。
  3. 　前記置き去り判定部は、
    　前記第１車室内判定部が前記第１車室内判定において前記車室内に前記要介助者とみなす前記動体は存在しないと判定し、かつ、前記第２車室内判定部が前記第２車室内判定において前記車室内に前記要介助者とみなす前記動体が存在すると判定した場合、前記車室外判定部が前記車室外判定において前記車室外に前記人とみなす前記動体が存在しないと判定すれば、前記置き去りが発生していると判定し、前記車室外判定部が前記車室外判定において前記車室外に前記人とみなす前記動体が存在すると判定すれば、前記置き去りが発生しているか否かの判定を保留とする第１判定部を備える
    　ことを特徴とする請求項２記載の置き去り判定システム。
  4. 　前記第１判定部は、
    　前記置き去りが発生しているか否かの判定を前記保留とする状態が、第１保留判定用時間以上継続している場合は、前記置き去りが発生していると判定する
    　ことを特徴とする請求項３記載の置き去り判定システム。
  5. 　前記置き去り判定部は、
    　前記第１判定部による前記置き去りが発生しているか否かの判定を仮判定とし、当該仮判定の結果と、前記車室内に搭載され前記車室外の近距離無線通信機との通信状態を監視する車両情報機器、から取得した、前記車室外の前記近距離無線通信機との通信状態に関する通信状態情報とに基づき、前記置き去りが発生しているか否かの本判定を行う第２判定部をさらに備えた
    　ことを特徴とする請求項３記載の置き去り判定システム。
  6. 　前記第１判定部は、
    　前記第１車室内判定部が前記第１車室内判定において前記車室内に前記要介助者とみなす前記動体は存在しないと判定し、かつ、前記第２車室内判定部が前記第２車室内判定において前記車室内に前記要介助者とみなす前記動体が存在すると判定した場合、前記車室外判定部が前記車室外判定において前記車室外に前記人とみなす前記動体が存在しないと判定すれば、前記置き去りが発生していると仮判定し、前記車室外判定部が前記車室外判定において前記車室外に前記人とみなす前記動体が存在すると判定すれば、前記置き去りが発生しているか否かの判定を前記保留とし、
    　前記第２判定部は、前記第１判定部が、前記置き去りが発生していると仮判定した場合、または、前記置き去りが発生しているか否かの判定を前記保留とした場合、前記通信状態情報に基づき、車両と前記近距離無線通信機との通信が確立されていれば前記置き去りは発生していないと判定し、前記車両と前記近距離無線通信機との通信が確立されていなければ前記置き去りが発生していると判定する
    　ことを特徴とする請求項５記載の置き去り判定システム。
  7. 　前記第１判定部が、前記置き去りが発生していると判定した場合に、警報を出力させる警報指示を出力する警報制御部を備え、
    　前記警報制御部は、前記第１判定部が、前記置き去りが発生しているか否かの判定を前記保留とした場合には、前記警報指示を出力しない
    　ことを特徴とする請求項３記載の置き去り判定システム。
  8. 　前記警報制御部は、
    　前記第１判定部が、前記置き去りが発生しているか否かの判定を前記保留とした状態が、第２保留判定用時間以上継続している場合には、前記警報指示を出力する
    　ことを特徴とする請求項７記載の置き去り判定システム。
  9. 　前記第２判定部が、前記置き去りが発生していると判定した場合に警報を出力させる警報指示を出力する警報制御部を備えた
    　ことを特徴とする請求項５または請求項６記載の置き去り判定システム。
  10. 　前記第１判定部が、前記置き去りが発生していると仮判定した場合、または、前記第２判定部が、前記置き去りが発生していると判定した場合に警報を出力させる警報指示を出力する警報制御部を備え、
    　前記警報制御部は、前記第１判定部による前記仮判定の結果に基づき前記警報指示を出力するか、前記第２判定部による前記本判定の結果に基づき前記警報指示を出力するかを選択する
    　ことを特徴とする請求項５または請求項６記載の置き去り判定システム。
  11. 　車室内に設けられ、前記車室内に向けて放射した電波が前記車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ、が検知した前記動体の検知結果に基づき生成された、前記車室内において前記動体が存在する領域の分布を３次元であらわす３次元画像と、前記電波センサが検知した前記動体の前記検知結果に基づき抽出された生体情報とに基づき行われた、前記車室内に要介助者とみなす前記動体が存在するか否かの車室内判定結果を取得する車室内判定結果取得部と、
    　前記３次元画像に基づき行われた、車室外に人とみなす前記動体が存在するか否かの車室外判定結果を取得する車室外判定結果取得部と、
    　前記車室内判定結果取得部が取得した前記車室内判定結果と、前記車室外判定結果取得部が取得した前記車室外判定結果とに基づき、前記車室内に前記要介助者の置き去りが発生しているか否かを判定する置き去り判定部
    　とを備えた置き去り判定装置。
  12. 　前記車室内判定結果は、
    　前記３次元画像に基づき行われた、前記車室内に前記要介助者とみなす前記動体が存在するか否かの第１車室内判定結果と、前記生体情報に基づき行われた、前記車室内に前記要介助者とみなす前記動体が存在するか否かの第２車室内判定結果とを含み、
    　前記置き去り判定部は、
    　前記第１車室内判定結果が前記車室内に前記要介助者とみなす前記動体は存在しないことを示し、かつ、前記第２車室内判定結果が前記車室内に前記要介助者とみなす前記動体が存在することを示している場合、前記車室外判定結果が前記車室外に前記人とみなす前記動体が存在しないことを示していれば、前記置き去りが発生していると判定し、前記車室外判定結果が前記車室外に前記人とみなす前記動体が存在することを示していれば、前記置き去りが発生しているか否かの判定を保留とする第１判定部を備える
    　ことを特徴とする請求項１１記載の置き去り判定装置。
  13. 　前記第１判定部は、
    　前記置き去りが発生しているか否かの判定を前記保留とする状態が、第１保留判定用時間以上継続している場合は、前記置き去りが発生していると判定する
    　ことを特徴とする請求項１２記載の置き去り判定装置。
  14. 　前記置き去り判定部は、
    　前記第１判定部による前記置き去りが発生しているか否かの判定を仮判定とし、当該仮判定の結果と、前記車室内に搭載され前記車室外の近距離無線通信機との通信状態を監視する車両情報機器、から取得した、前記車室外の前記近距離無線通信機との通信状態に関する通信状態情報とに基づき、前記置き去りが発生しているか否かの本判定を行う第２判定部をさらに備えた
    　ことを特徴とする請求項１３記載の置き去り判定装置。
  15. 　前記第１判定部は、
    　前記第１車室内判定結果が前記車室内に前記要介助者とみなす前記動体は存在しないことを示し、かつ、前記第２車室内判定結果が前記車室内に前記要介助者とみなす前記動体が存在することを示した場合、前記車室外判定結果が前記車室外に前記人とみなす前記動体が存在しないことを示していれば、前記置き去りが発生していると仮判定し、前記車室外判定結果が前記車室外に前記人とみなす前記動体が存在することを示していれば、前記置き去りが発生しているか否かの判定を保留とし、
    　前記第２判定部は、前記第１判定部が、前記置き去りが発生していると仮判定した場合、または、前記置き去りが発生しているか否かの判定を前記保留とした場合、前記通信状態情報に基づき、車両と前記近距離無線通信機との通信が確立されていれば前記置き去りは発生していないと判定し、前記車両と前記近距離無線通信機との通信が確立されていなければ前記置き去りが発生していると判定する
    　ことを特徴とする請求項１４記載の置き去り判定装置。
  16. 　前記第１判定部が、前記置き去りが発生していると判定した場合に、警報を出力させる警報指示を出力する警報制御部を備え、
    　前記警報制御部は、前記第１判定部が、前記置き去りが発生しているか否かの判定を前記保留とした場合には、前記警報指示を出力しない
    　ことを特徴とする請求項１２記載の置き去り判定装置。
  17. 　前記警報制御部は、
    　前記第１判定部が、前記置き去りが発生しているか否かの判定を前記保留とした状態が、第２保留判定用時間以上継続している場合には、前記警報指示を出力する
    　ことを特徴とする請求項１６記載の置き去り判定装置。
  18. 　前記第２判定部が、前記置き去りが発生していると判定した場合に警報を出力させる警報指示を出力する警報制御部を備えた
    　ことを特徴とする請求項１４または請求項１５記載の置き去り判定装置。
  19. 　前記第１判定部が、前記置き去りが発生していると仮判定した場合、または、前記第２判定部が、前記置き去りが発生していると判定した場合に警報を出力させる警報指示を出力する警報制御部を備え、
    　前記警報制御部は、前記第１判定部による前記仮判定の結果に基づき前記警報指示を出力するか、前記第２判定部による前記本判定の結果に基づき前記警報指示を出力するかを選択する
    　ことを特徴とする請求項１４または請求項１５記載の置き去り判定装置。
  20. 　車室内判定結果取得部が、車室内に設けられ、前記車室内に向けて放射した電波が前記車室内の物体によって反射された反射波に基づいて動体を検知する電波センサ、が検知した前記動体の検知結果に基づき生成された、前記車室内において前記動体が存在する領域の分布を３次元であらわす３次元画像と、前記電波センサが検知した前記動体の前記検知結果に基づき抽出された生体情報とに基づき行われた、前記車室内に要介助者とみなす前記動体が存在するか否かの車室内判定結果を取得するステップと、
    　車室外判定結果取得部が、前記３次元画像に基づき行われた、車室外に人とみなす前記動体が存在するか否かの車室外判定結果を取得するステップと、
    　置き去り判定部が、前記車室内判定結果取得部が取得した前記車室内判定結果と、前記車室外判定結果取得部が取得した前記車室外判定結果とに基づき、前記車室内に前記要介助者の置き去りが発生しているか否かを判定するステップ
    　とを備えた置き去り判定方法。
PCT/JP2022/044646 2022-12-05 2022-12-05 置き去り判定システム、置き去り判定装置、および、置き去り判定方法 WO2024121876A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044646 WO2024121876A1 (ja) 2022-12-05 2022-12-05 置き去り判定システム、置き去り判定装置、および、置き去り判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044646 WO2024121876A1 (ja) 2022-12-05 2022-12-05 置き去り判定システム、置き去り判定装置、および、置き去り判定方法

Publications (1)

Publication Number Publication Date
WO2024121876A1 true WO2024121876A1 (ja) 2024-06-13

Family

ID=91378689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044646 WO2024121876A1 (ja) 2022-12-05 2022-12-05 置き去り判定システム、置き去り判定装置、および、置き去り判定方法

Country Status (1)

Country Link
WO (1) WO2024121876A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003066157A (ja) * 2001-08-24 2003-03-05 Fujitsu Ten Ltd 車両内人体検出方法
JP2017007453A (ja) * 2015-06-19 2017-01-12 株式会社東海理化電機製作所 動体検知警告装置
US20200050874A1 (en) * 2016-09-23 2020-02-13 Iee International Electronics & Engineering S.A. Car interior surveillance system with e-call functionality
JP2020101415A (ja) * 2018-12-20 2020-07-02 パナソニックＩｐマネジメント株式会社 乗員状態検知システム
JP2020142718A (ja) * 2019-03-07 2020-09-10 日本電産モビリティ株式会社 車両制御装置
WO2021122603A1 (en) * 2019-12-20 2021-06-24 Iee International Electronics & Engineering S.A. Method for seat occupancy detection
WO2021240777A1 (ja) * 2020-05-29 2021-12-02 三菱電機株式会社 乗員検出装置および乗員検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003066157A (ja) * 2001-08-24 2003-03-05 Fujitsu Ten Ltd 車両内人体検出方法
JP2017007453A (ja) * 2015-06-19 2017-01-12 株式会社東海理化電機製作所 動体検知警告装置
US20200050874A1 (en) * 2016-09-23 2020-02-13 Iee International Electronics & Engineering S.A. Car interior surveillance system with e-call functionality
JP2020101415A (ja) * 2018-12-20 2020-07-02 パナソニックＩｐマネジメント株式会社 乗員状態検知システム
JP2020142718A (ja) * 2019-03-07 2020-09-10 日本電産モビリティ株式会社 車両制御装置
WO2021122603A1 (en) * 2019-12-20 2021-06-24 Iee International Electronics & Engineering S.A. Method for seat occupancy detection
WO2021240777A1 (ja) * 2020-05-29 2021-12-02 三菱電機株式会社 乗員検出装置および乗員検出方法

Similar Documents

Publication Publication Date Title
US20210016736A1 (en) 3D Time of Flight Active Reflecting Sensing Systems and Methods
US10459080B1 (en) Radar-based object detection for vehicles
EP3831647B1 (en) Vehicle occupant detection device
US11167771B2 (en) Vehicular gesture monitoring system
EP3119639B1 (en) Method and system for unattended child detection
US8854197B2 (en) Method of monitoring vehicle surroundings, and apparatus for monitoring vehicle surroundings
KR102389526B1 (ko) 차내 생명 감지 시스템 및 그 감지 방법
US11747313B2 (en) Methods and systems for detection of vehicle occupancy
CN104627030A (zh) 载具安全系统及应用于其上的安全侦测与处理方法
WO2021234836A1 (ja) 車室内検知装置、および、車室内検知方法
JP2018004369A (ja) 乗員検知システム及び乗員検知装置
JP2010204847A (ja) 運転者状態検出装置及びこれを用いた衝突早期検出装置
US10422874B2 (en) Method and system for spatial modeling of an interior of a vehicle
JP2020147172A (ja) 車両制御システムおよび車両制御装置
WO2024121876A1 (ja) 置き去り判定システム、置き去り判定装置、および、置き去り判定方法
JP4183001B2 (ja) 侵入検出システム
KR20130085833A (ko) 탑승객 감지 및 경보 시스템 및 그 방법
US20230356719A1 (en) Methods and systems for detection and prevention of unattended vehicle deaths
JP2021122300A (ja) 生体状態検出装置および生体状態検出方法
JP2020056628A (ja) 信号処理装置、センサシステム、警報システム、及び車両
WO2022162861A1 (ja) 乗員判定装置及び乗員判定方法
WO2023152936A1 (ja) 置き去り警報装置、置き去り警報システム、および置き去り警報方法
KR20210012790A (ko) 레이더기반 차량 내 탑승자 감지 방법 및 장치
KR102678018B1 (ko) 뒷좌석 승객 기반 차량 제어 장치 및 방법
WO2023195113A1 (ja) ドアロック制御装置、およびドアロック制御方法