WO2021240769A1 - 乗員検出装置および乗員検出方法 - Google Patents

乗員検出装置および乗員検出方法 Download PDF

Info

Publication number
WO2021240769A1
WO2021240769A1 PCT/JP2020/021303 JP2020021303W WO2021240769A1 WO 2021240769 A1 WO2021240769 A1 WO 2021240769A1 JP 2020021303 W JP2020021303 W JP 2020021303W WO 2021240769 A1 WO2021240769 A1 WO 2021240769A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
seat
vehicle
detected
person
Prior art date
Application number
PCT/JP2020/021303
Other languages
English (en)
French (fr)
Inventor
永 菅原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/021303 priority Critical patent/WO2021240769A1/ja
Priority to DE112020007252.5T priority patent/DE112020007252T8/de
Priority to JP2022527432A priority patent/JPWO2021240769A5/ja
Publication of WO2021240769A1 publication Critical patent/WO2021240769A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Definitions

  • the present disclosure relates to an occupant detection device that detects an occupant in a vehicle, and particularly to a technique for determining the attributes of the detected occupant.
  • Patent Document 1 it is confirmed by an electromagnetic wave sensor whether or not a seat on which a child seat of a vehicle is installed has a vital sign, and if the seat has a vital sign, there is a child (infant) in the vehicle.
  • An occupant detection device has been proposed.
  • Patent Document 1 assumes that the child is seated in the child seat, and the child not seated in the child seat (for example, the child using the booster seat, the child sitting directly in the seat, the seat). Children lying on top, etc.) are not detected as children. Considering the existence of children who are not seated in child seats, the accuracy of determining the attributes of the occupants (adults or children) is not sufficient.
  • an object of the present invention is to provide an occupant detection device capable of accurately determining the presence or absence of occupants in each seat of a vehicle and the attributes of occupants in each seat. do.
  • the occupant detection device includes an in-vehicle image acquisition unit that acquires an in-vehicle image that is an image taken inside the vehicle, and a face detection unit that searches for a person's face from the in-vehicle image and identifies the position of the detected face.
  • a biometric information acquisition unit that acquires biometric information in the vehicle detected by the electromagnetic wave sensor, and biometric detection that searches for a biological body existing in the vehicle based on the biometric information and identifies the position and size of the detected biological body. It is provided with a unit and an occupant determination unit that determines the presence or absence of an occupant in each seat of the vehicle and the attributes of the occupants in each seat based on the position of the face of the person and the position and size of the living body.
  • the occupant detection device determines the presence or absence of occupants in each seat and the attributes of the occupants in each seat based on the position of the face specified from the in-vehicle image and the position and size of the living body specified from the biometric information. Therefore, it is possible to accurately judge the attributes of the occupants in the vehicle.
  • FIG. 1 is a block diagram showing a configuration of the occupant detection device 10 according to the first embodiment.
  • the occupant detection device 10 is mounted on the vehicle.
  • the occupant detection device 10 does not have to be permanently installed in the vehicle, and may be realized on a portable device that can be brought into the vehicle, such as a mobile phone, a smartphone, or a PND (Portable Navigation Device).
  • a part or all of the functions of the occupant detection device 10 may be realized on a server installed outside the vehicle and capable of communicating with the occupant detection device 10.
  • the occupant detection device 10 is connected to an in-vehicle camera 21 and an electromagnetic wave sensor 22 included in a vehicle equipped with the occupant detection device 10.
  • the in-vehicle camera 21 is a camera that photographs a person (occupant) seated in each seat of the vehicle.
  • the in-vehicle camera 21 may be composed of one camera or may be composed of a plurality of cameras provided for each seat.
  • the in-vehicle camera 21 is installed at a position where a person seated in all seats can be photographed at the same time, for example, in the vicinity of an overhead console (OHC) or a rear view mirror.
  • OOC overhead console
  • the image taken by the in-vehicle camera 21 inside the vehicle is referred to as an “in-vehicle image”.
  • FIG. 2 shows an example of an in-vehicle image taken by the in-vehicle camera 21 installed on the overhead console.
  • the in-vehicle image of FIG. 2 shows five people, that is, the driver's seat occupant P1, the passenger seat occupant P2, the right rear seat occupant P3, the left rear seat occupant P4, and the rear seat center occupant P5. ..
  • the electromagnetic wave sensor 22 is a sensor that detects a living body existing in the vehicle, and is composed of, for example, a millimeter wave radar.
  • the electromagnetic wave sensor 22 detects a vital sign, which is a sign indicating the existence of a living body, and outputs information on the position of a detection point of the vital sign as biological information.
  • the position of the detection point of the vital sign for example, the distance from the electromagnetic wave sensor 22 to the detection point is calculated based on the frequency spectrum of the reflected wave of the radar, and the electromagnetic wave sensor is based on the phase difference of the reflected wave of the radar received by a plurality of antennas. It can be obtained by calculating the direction of the detection point from 22.
  • the electromagnetic wave sensor 22 is an in-vehicle camera such as a child riding on a rear-facing child seat, a sideways child seat, a child seat with a sunshade, or a person wearing a blanket. 21 can detect a person who is difficult to shoot.
  • the electromagnetic wave sensor 22 is installed on the ceiling of the vehicle, and all the seats of the vehicle are included in the detection range of the electromagnetic wave sensor 22. However, only the seats that are difficult to photograph with the in-vehicle camera 21, such as the rear seats of the vehicle, may be included in the detection range of the electromagnetic wave sensor 22.
  • the occupant detection device 10 includes an in-vehicle image acquisition unit 11, a face detection unit 12, a biological information acquisition unit 13, a biological detection unit 14, and an occupant determination unit 15.
  • the in-vehicle image acquisition unit 11 acquires an in-vehicle image taken by the in-vehicle camera 21.
  • the face detection unit 12 searches for a person's face from the vehicle interior image by analyzing the vehicle interior image acquired by the vehicle interior image acquisition unit 11, and identifies the detected face position (seat where the face is detected). More specifically, the face detection unit 12 identifies a face area, which is a region where a person's face is detected in the vehicle interior image, and detects the face based on the coordinate value of the face region (coordinate value in the vehicle interior image). Identify the seat that was used.
  • the face detection unit 12 may specify the face area by any method.
  • the face detection unit 12 specifies a rectangle surrounding the detected face image, specifically, a region in the rectangle consisting of four sides in contact with the contour line of the face as a face region.
  • the face detection unit 12 identifies the face areas F1 to F5 of the occupants P1 to P5 as shown in FIG. Based on the coordinate values of each vertex of F5, the seat where the face is detected is specified.
  • the biological information acquisition unit 13 acquires the biological information output by the electromagnetic wave sensor 22.
  • the biological detection unit 14 searches for a living body existing in the vehicle based on the biological information acquired by the biological information acquisition unit 13, and identifies the position and size of the detected living body. More specifically, the biological detection unit 14 identifies the position and size of the biological body based on the distribution of the detection points of vital signs included in the biological information.
  • the size of the living body specified by the living body detection unit 14 may be classified into at least an adult size and a child size, and is defined by, for example, the NHTSA (National Highway Traffic Safety Administration) standard. Standard adult males (AM50), petite adult females (AF05), large adult males (AM95), 10-year-old, 6-year-old and 3-year-old children (10YO, 6YO, 3YO) according to the size of the human body dummy. ) And so on.
  • the size of the living body specified by the biological information acquisition unit 13 is classified into two, an adult size and a child size.
  • the size of the living body is equal to or larger than a predetermined threshold value, it is determined to be an adult size, and if it is less than the threshold value, it is determined to be a child size.
  • a predetermined threshold value if it is equal to or larger than a predetermined threshold value, it is determined to be an adult size, and if it is less than the threshold value, it is determined to be a child size.
  • child a person of an age (for example, 12 years or younger) who may cause an accident if left in a vehicle is defined as a child.
  • FIGS. 5 and 6 examples of distribution of detection points of vital signs detected by the electromagnetic wave sensor 22 are shown in FIGS. 5 and 6.
  • FIG. 5 shows the distribution of vital sign detection points when the vehicle is viewed in a plane
  • FIG. 6 shows the distribution of vital sign detection points when the vehicle is viewed from the side. If the detection points of vital signs are distributed as shown in FIGS. 5 and 6, the biological detection unit 14 determines that an adult-sized living body is present in the seat on the left side of the second row of the vehicle.
  • the occupant determination unit 15 is in each seat and the presence or absence of an occupant in each seat of the vehicle based on the position of the face of the person specified by the face detection unit 12 and the position and size of the living body specified by the biometric detection unit 14. Determine the attributes of the occupants.
  • the attributes of the occupants determined by the occupant determination unit 15 are classified into two, an adult and a child. However, the attributes of the occupants may be further subdivided as in the above-mentioned human body dummy, for example.
  • the occupant determination unit 15 estimates the age of the occupant in the seat in which the face of the person is detected from the characteristics of the face or skeleton of the person in the vehicle interior image. Judgment shall be made, and the attributes of the occupants in the seat where the face of the person was not detected shall be judged based on the size of the living body.
  • FIG. 7 is a flowchart showing the operation of the occupant detection device 10 according to the first embodiment. Hereinafter, the operation of the occupant detection device 10 will be described with reference to FIG. 7.
  • the vehicle interior image acquisition unit 11 acquires the vehicle interior image taken by the vehicle interior camera 21 (step S101). Then, the face detection unit 12 searches for a person's face from the vehicle interior image by analyzing the vehicle interior image acquired by the vehicle interior image acquisition unit 11 (step S102), and identifies the position of the detected face (step S103). ).
  • the biological information acquisition unit 13 acquires the biological information output by the electromagnetic wave sensor 22 (step S104). Then, the biological detection unit 14 searches for a living body (vital sign) existing in the vehicle based on the biological information acquired by the biological information acquisition unit 13 (step S105), and specifies the position and size of the detected living body. (Step S106).
  • the occupant determination unit 15 performs the following processes S107 to S116 for each seat based on the position of the face of the person detected by the face detection unit 12 and the position and size of the living body detected by the biological detection unit 14. Execute for.
  • the occupant determination unit 15 selects a seat to be detected by the occupant (hereinafter referred to as “target seat”) (step S107), and confirms whether or not a person's face is detected in the target seat (step S108). ..
  • the occupant determination unit 15 confirms whether or not a living body is detected in the target seat (step S109). If both the face and the living body of the person are detected in the target seat (YES in step S109), the occupant determination unit 15 determines that there is an occupant in the target seat and analyzes the image of the occupant in the target seat in the vehicle interior image. Then, it is determined whether the occupant is an adult or a child based on the characteristics of the occupant's face or skeleton (step S110).
  • step S109 If the living body is not detected even though the face of the person is detected in the target seat (NO in step S109), the occupant determination unit 15 erroneously detects the face of the person by the face detection unit 12. Is determined to have occurred, and the target seat is determined to be vacant (step S111).
  • the occupant determination unit 15 confirms whether or not a living body is detected in the target seat (step S112).
  • the living body is detected even though the face of the person is not detected in the target seat (YES in step S112), the occupant determination unit 15 is in a place where the in-vehicle camera 21 cannot take a picture (for example, in a rearward facing child seat). It is determined that there is an occupant, and the size of the living body detected in the target seat is confirmed (step S113). If the size of the living body of the target seat is an adult size (YES in step S113), the occupant determination unit 15 determines that there is an adult in the target seat (step S114).
  • the occupant determination unit 15 determines that the target seat has a child (step S115). If neither the face nor the living body of the person is detected in the target seat (NO in step S112), the occupant determination unit 15 determines that the target seat is vacant (step S116).
  • the occupant determination unit 15 When the process of steps S107 to S116 is executed for all the seats, the occupant determination unit 15 outputs the determination result of the presence / absence of an occupant in each seat and the attribute of the occupant (adult or child), and ends the process. ..
  • step S110 when both the face of the person and the living body are detected in the target seat (YES in both steps S108 and S109), in step S110, the attribute of the occupant becomes the feature of the face or skeleton of the occupant. Although it is determined based on this, the size of the detected living body may be added to this determination.
  • the occupant determination unit 15 determining the occupant's attributes from both the characteristics of the occupant's face or skeleton and the detected size of the living body, further improvement in the determination accuracy of the occupant's attributes can be expected.
  • the detection range of the electromagnetic wave sensor 22 is the seats that are difficult to photograph with the in-vehicle camera 21.
  • the rear seat of the vehicle may be the only one.
  • the occupant detection device 10 performs the occupant detection method of FIG. 7 for the seats within the detection range of the electromagnetic wave sensor 22, and the other seats are based on the in-vehicle image taken by the in-vehicle camera 21.
  • the conventional occupant detection method for determining the presence or absence of an occupant and the attributes of the occupant may be performed.
  • the presence / absence of occupants in each seat and the attributes of the occupants in each seat are specified from the position of the face specified from the in-vehicle image and the biological information. Judgment is based on the position and size of the living body. Therefore, for example, even when the occupant is wrapped in a blanket or the occupant is a child who is not seated in the child seat, the attributes of the occupant can be accurately determined.
  • the attributes of the occupants detected by the occupant detection device 10 may include not only humans but also animals. That is, animals may be included in the classification of the size of the living body specified by the living body detection unit 14. Furthermore, the classification of animals may be subdivided into large, medium, small and the like.
  • FIG. 8 and 9 are diagrams showing an example of the hardware configuration of the occupant detection device 10, respectively.
  • Each function of the component of the occupant detection device 10 shown in FIG. 1 is realized by, for example, the processing circuit 50 shown in FIG. That is, the occupant detection device 10 acquires an in-vehicle image which is an image of the inside of the vehicle, searches for a person's face from the in-vehicle image, identifies the position of the detected face, and detects the inside of the vehicle by the electromagnetic wave sensor.
  • the vehicle obtains the biometric information of the vehicle, searches for the living body existing in the vehicle based on the biometric information, identifies the position and size of the detected living body, and based on the position of the face of the person and the position and size of the living body.
  • the processing circuit 50 for determining the presence / absence of an occupant in each seat and the attributes of the occupants in each seat is provided.
  • the processing circuit 50 may be dedicated hardware, or may be a processor (central processing unit (CPU: Central Processing Unit), processing unit, arithmetic unit, microprocessor, microcontroller, etc.) that executes a program stored in the memory. It may be configured by using a DSP (also called a Digital Signal Processor)).
  • the processing circuit 50 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). GateArray), or a combination of these, etc.
  • the functions of the components of the occupant detection device 10 may be realized by individual processing circuits, or these functions may be collectively realized by one processing circuit.
  • FIG. 9 shows an example of the hardware configuration of the occupant detection device 10 when the processing circuit 50 is configured by using the processor 51 that executes the program.
  • the functions of the components of the occupant detection device 10 are realized by software (software, firmware, or a combination of software and firmware).
  • the software or the like is described as a program and stored in the memory 52.
  • the processor 51 realizes the functions of each part by reading and executing the program stored in the memory 52. That is, the occupant detection device 10 performs a process of acquiring an in-vehicle image which is an image taken inside the vehicle when executed by the processor 51, searches for a person's face from the in-vehicle image, and determines the position of the detected face.
  • the process of specifying the process of acquiring the biometric information in the vehicle detected by the electromagnetic wave sensor, and the process of searching for the living body existing in the vehicle based on the biometric information and specifying the position and size of the detected living body.
  • a memory 52 for storing is provided. In other words, it can be said that this program causes the computer to execute the procedure and method of operation of the components of the occupant detection device 10.
  • the memory 52 is a non-volatile or non-volatile memory such as a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a flash memory, an EPROM (ErasableProgrammableReadOnlyMemory), and an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc) and its drive device, etc., or any storage medium used in the future. You may.
  • the present invention is not limited to this, and a configuration may be configured in which a part of the components of the occupant detection device 10 is realized by dedicated hardware and another part of the components is realized by software or the like.
  • the function is realized by the processing circuit 50 as dedicated hardware, and for some other components, the processing circuit 50 as the processor 51 is stored in the memory 52. It is possible to realize the function by reading and executing it.
  • the occupant detection device 10 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
  • FIG. 10 is a block diagram showing the configuration of the occupant detection device 10 according to the second embodiment.
  • the configuration of the occupant detection device 10 in FIG. 10 is the configuration in which the child seat detection unit 16 is added to the configuration in FIG. Since the other elements are the same as those in FIG. 1, the description of these elements will be omitted here.
  • the child seat detection unit 16 detects the seat in which the child seat is installed in the vehicle.
  • the child seat detection unit 16 searches for a child seat by analyzing the vehicle interior image acquired by the vehicle interior image acquisition unit 11, and based on the detected coordinate values of the child seat (coordinate values in the vehicle interior image), the child seat detection unit 16 searches for the child seat.
  • the seat in which the child seat is installed shall be specified.
  • the method of detecting a seat in which a child seat is installed is not limited to this, and for example, a method of detecting based on the output signal of the load sensor provided in each seat, the amount of pulling out the seat belt of each seat, the tension, or the like may be used. ..
  • the occupant determination unit 15 determines the attributes of the occupants in each seat in consideration of the position of the seat in which the child seat is installed. Specifically, when a living body is detected in a seat in which a child seat is installed, the occupant determination unit 15 determines that there is a child occupant in that seat.
  • FIG. 11 is a flowchart showing the operation of the occupant detection device 10 according to the second embodiment.
  • the flow of FIG. 11 is obtained by adding steps S120, S121, and S122 described below to the flow of FIG. 7. Since the other steps are the same as those in FIG. 7, the description of those steps is omitted here.
  • step S120 the child seat detection unit 16 analyzes the image inside the vehicle and searches for a seat in which the child seat is installed in the vehicle.
  • step S120 is executed after steps S102 and S103, but the order may be reversed.
  • Step S121 is executed when it is determined in step S109 that a living body is detected in the target seat (when it is determined to be YES in step S109).
  • the occupant determination unit 15 confirms whether or not a child seat has been detected in the target seat. At this time, if the child seat is detected in the target seat (YES in step S121), the process proceeds to step S115, and the occupant determination unit 15 determines that the target seat has a child. If the child seat is not detected in the target seat (NO in step S121), the process proceeds to step S110, and the occupant determination unit 15 analyzes the image of the occupant in the target seat in the vehicle interior image and analyzes the face or skeleton of the occupant. Determine whether the occupant is an adult or a child based on the characteristics of.
  • Step S122 is executed when it is determined in step S112 that a living body is detected in the target seat (when YES is determined in step S112).
  • the occupant determination unit 15 confirms whether or not a child seat has been detected in the target seat. If a child seat is detected in the target seat at this time (YES in step S122), the process proceeds to step S115, and the occupant determination unit 15 determines that the target seat has a child. If the child seat is not detected in the target seat (NO in step S122), the process proceeds to step S113, and the occupant determination unit 15 determines the attribute of the occupant in the target seat based on the size of the living body detected in the target seat. do.
  • the occupant detection device 10 accurately determines the attribute (child) of the occupant in the seat in which the child seat is installed in order to determine the attribute of the occupant in consideration of the position of the seat in which the child seat is installed. can do.
  • FIG. 12 is a block diagram showing the configuration of the occupant detection device 10 according to the third embodiment.
  • the configuration of the occupant detection device 10 of FIG. 12 is the configuration of FIG. 1 with the addition of the facial expression change detection unit 17. Since the other elements are the same as those in FIG. 1, the description of these elements will be omitted here.
  • the facial expression change detection unit 17 detects the change in the facial expression of the person by monitoring the change in the image of the face of the person detected by the face detection unit 12. More specifically, the facial expression change detection unit 17 can see the eyes (outer corners of both eyes, inner corners of both eyes, upper eyelids, lower eyelids, etc.), nose (base of nose, back of nose, ala of nose, tip of nose, etc.) and mouth from the image of the face of the person. Facial parts such as (upper lip, lower lip, etc.) are extracted as feature points, and the presence or absence of changes in facial expressions is determined from the positional relationship of those feature points.
  • the method for detecting the change in facial expression is not limited to this, and any method may be used.
  • the occupant determination unit 15 determines the attributes of the occupants in each seat in consideration of the detection result of the facial expression change of the person by the facial expression change detection unit 17. Specifically, the occupant determination unit 15 determines that the face does not belong to a person unless the facial expression of the person detected by the face detection unit 12 changes for a certain period of time or more, and the face is detected. The attributes of the seat occupants are judged based on the size of the living body, not on the image of the person. However, if no living body is detected in the seat, the occupant determination unit 15 determines that the face detection unit 12 has erroneously detected the face, and determines that the seat is vacant.
  • FIG. 13 is a flowchart showing the operation of the occupant detection device 10 according to the third embodiment.
  • the flow of FIG. 13 is obtained by adding step S130 described below to the flow of FIG. 7. Since the other steps are the same as those in FIG. 7, the description of those steps is omitted here.
  • Step S130 is executed when it is determined in step S109 that a living body is detected in the target seat (YES in step S109).
  • the occupant determination unit 15 determines whether or not the state in which there is no change in facial expression on the face detected in the target seat continues for a certain period of time or more based on the detection result of the facial expression change of the person by the facial expression change detection unit 17. to decide. If there is no change in facial expression for a certain period of time (YES in step S130), the process proceeds to step S113, and the occupant determination unit 15 determines whether the occupant is an adult or a child based on the size of the living body detected in the target seat. to decide.
  • step S130 If the state in which there is no change in facial expression continues for less than a certain period of time (NO in step S130), the process proceeds to step S110, and the occupant determination unit 15 analyzes the image of the occupant in the target seat in the in-vehicle image. , Determine whether the occupant is an adult or a child based on the facial or skeletal features of the occupant.
  • the attribute of the occupant in the seat where the face is detected is determined in the image of the person. Judgment is based on the size of the living body. This prevents children from being mistakenly identified as adults when they are wearing a mask or wearing a shirt with a person's face printed on them. In addition, for example, in order to hide the fact that the child has been left behind in the vehicle, it is possible to expect the effect of being able to detect the camouflage that makes the child look like an adult by putting on a mask.
  • FIG. 14 is a diagram showing a modified example in which the third embodiment is applied to the second embodiment. That is, the configuration of the occupant detection device 10 in FIG. 14 is the configuration in which the facial expression change detection unit 17 is added to the configuration in FIG.
  • FIG. 15 shows a flowchart showing the operation of the occupant detection device 10 shown in FIG.
  • the flow of FIG. 15 is obtained by adding step S130 described above to the flow of FIG.
  • Step S130 of FIG. 15 is executed when it is determined in step S121 described in the second embodiment that the child seat is not detected in the target seat. According to this modification, the effects of both embodiments 2 and 3 can be obtained.
  • the occupant detection devices 10 of the first to third embodiments include, for example, an occupant monitoring system that monitors the physical condition of the occupants in each seat, a child abandonment warning system that prevents children from being left behind in the vehicle, and the like. It is widely applicable to systems that utilize the attributes of.
  • an occupant monitoring system that monitors the physical condition of the occupants in each seat
  • a child abandonment warning system that prevents children from being left behind in the vehicle, and the like. It is widely applicable to systems that utilize the attributes of.
  • the fourth embodiment an example in which the occupant detection device 10 is applied to a child abandonment warning system is shown.
  • FIG. 16 is a block diagram showing the configuration of the child abandonment warning system 30 according to the fourth embodiment.
  • the child abandonment warning system 30 includes an occupant detection device 10 according to any one of the first to third embodiments and an alarm output unit 31 (the child abandonment warning system 30 of FIG. 16 is the first embodiment.
  • the occupant detection device 10 is provided).
  • the alarm output unit 31 monitors whether or not the occupant in the vehicle is only a child based on the determination result of the attribute of the occupant by the occupant detection device 10, and if the state of only the child continues for a certain period of time or more, the child is left behind. It is judged that there is a risk of being damaged, and an alarm is issued outside the vehicle.
  • FIG. 17 is a flowchart showing the operation of the child abandonment warning system 30.
  • the operation of the child abandonment warning system 30 will be described with reference to FIG.
  • the occupant detection device 10 When the child abandonment warning system 30 is activated, the occupant detection device 10 first executes an occupant detection process for determining the presence or absence of occupants in each seat and the attributes of the occupants (adult or child) (step S201). In the occupant detection process, the occupant detection device 10 executes the process shown in FIGS. 7, 11, 13, or 15.
  • the alarm output unit 31 confirms whether or not there is an occupant in the vehicle based on the result of the occupant detection process (step S202). If there are no occupants in the vehicle (NO in step S202), the alarm output unit 31 determines that all the occupants have disembarked from the vehicle and ends the process.
  • step S202 When there is an occupant in the vehicle (YES in step S202), the alarm output unit 31 confirms whether the occupant in the vehicle is only a child (step S203). If the occupants in the vehicle include an adult (NO in step S203), the process returns to step S201.
  • step S203 the alarm output unit 31 confirms whether the occupant in the vehicle has been a child only for a certain period of time or more (step S204). If the occupant in the vehicle is only a child for a certain period of time or longer (NO in step S204), the process returns to step S201.
  • step S204 If the occupant in the vehicle remains only a child for a certain period of time (YES in step S204), the alarm output unit 31 determines that the child may be left behind in the vehicle and goes out of the vehicle. An alarm is issued (step S205).
  • the child abandonment warning system 30 may detect the getting on and off of the occupant based on the door open / close signal, the output signal of the load sensor of the seat, and the like, and the process of FIG. 17 may be started at the timing when the occupant gets on and off. ..
  • the process of FIG. 17 is started at the timing when the occupants get on and off, it can be detected that after all the occupants get off the vehicle once, only the child is put on the vehicle again and left behind.
  • the child abandonment warning system 30 detects that the child may be left behind and issues an alarm, so that the child can be prevented from being left behind. Further, since the occupant detection process (step S201) for determining the presence / absence of an occupant in the vehicle and the attributes of the occupant is performed by the occupant detection device 10 according to any one of the first to third embodiments, the child is left behind. The fear can be detected accurately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Seats For Vehicles (AREA)

Abstract

乗員検出装置（１０）において、車内画像取得部（１１）は、車両内を撮影した画像である車内画像を取得する。顔検出部（１２）は、車内画像から人物の顔を探索し、検出された顔の位置を特定する。生体情報取得部（１３）は、電磁波センサ（２２）により検出された車両内の生体情報を取得する。生体検出部（１４）は、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する。乗員判断部（１５）は、人物の顔の位置ならびに生体の位置およびサイズに基づいて、車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する。

Description

乗員検出装置および乗員検出方法
　本開示は、車両内の乗員を検出する乗員検出装置に関し、特に、検出された乗員の属性を判断する技術に関する。
　例えば下記の特許文献１には、車両のチャイルドシートが設置された座席にバイタルサインがあるか否かを電磁波センサで確認し、その座席にバイタルサインが有る場合に車両内に子供（乳幼児）がいると判断する乗員検出装置が提案されている。
特開２０１９－１２３３５４号公報
　特許文献１の技術は、子供がチャイルドシートに着座していることが前提であり、チャイルドシートに着座していない子供（例えば、ブースターシートを使用している子供、座席に直接着座している子供、座席上に横たわっている子供など）は、子供として検知されない。チャイルドシートに着座していない子供の存在まで考慮すると、乗員の属性（大人か子供か）の判断精度は十分とは言えない。
　本開示は以上のような課題を解決するためになされたものであり、車両の各座席の乗員の有無および各座席の乗員の属性を精度よく判断可能な乗員検出装置を提供することを目的とする。
　本開示に係る乗員検出装置は、車両内を撮影した画像である車内画像を取得する車内画像取得部と、車内画像から人物の顔を探索し、検出された顔の位置を特定する顔検出部と、電磁波センサにより検出された車両内の生体情報を取得する生体情報取得部と、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する生体検出部と、人物の顔の位置ならびに生体の位置およびサイズに基づいて、車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する乗員判断部と、を備える。
　本開示に係る乗員検出装置は、各座席の乗員の有無および各座席にいる乗員の属性を、車内画像から特定された顔の位置、ならびに、生体情報から特定された生体の位置およびサイズに基づいて判断するため、車両内にいる乗員の属性を精度よく判断することができる。
　本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る乗員検出装置の構成を示す図である。 車内カメラにより撮影される車内画像の例を示す図である。 顔検出部により特定される顔領域の例を示す図である。 車両の座席配置の例を示す図である。 バイタルサインの検出点の分布の例を示す図である。 バイタルサインの検出点の分布の例を示す図である。 実施の形態１に係る乗員検出装置の動作を示すフローチャートである。 乗員検出装置のハードウェア構成例を示す図である。 乗員検出装置のハードウェア構成例を示す図である。 実施の形態２に係る乗員検出装置の構成を示す図である。 実施の形態２に係る乗員検出装置の動作を示すフローチャートである。 実施の形態３に係る乗員検出装置の構成を示す図である。 実施の形態３に係る乗員検出装置の動作を示すフローチャートである。 実施の形態３の変形例に係る乗員検出装置の構成を示す図である。 実施の形態３の変形例に係る乗員検出装置の動作を示すフローチャートである。 実施の形態４に係る子供置き去り警報システムの構成を示す図である。 実施の形態４に係る子供置き去り警報システムの動作を示すフローチャートである。
　＜実施の形態１＞
　図１は、実施の形態１に係る乗員検出装置１０の構成を示すブロック図である。本実施の形態では、乗員検出装置１０は、車両に搭載されているものとする。ただし、乗員検出装置１０は、車両に常設される必要はなく、例えば携帯電話やスマートフォン、ＰＮＤ（Portable Navigation Device）など、車両に持ち込み可能な携帯型の装置上で実現されていてもよい。また、乗員検出装置１０の機能の一部または全部が、車両の外部に設置され乗員検出装置１０と通信可能なサーバー上で実現されていてもよい。
　図１に示すように、乗員検出装置１０は、当該乗員検出装置１０を搭載する車両が備える車内カメラ２１および電磁波センサ２２に接続されている。
　車内カメラ２１は、車両の各座席に着座した人物（乗員）を撮影するカメラである。車内カメラ２１は、１つのカメラで構成されていてもよいし、座席ごとに設けられた複数のカメラから構成されていてもよい。車内カメラ２１が１つのカメラで構成される場合、車内カメラ２１は、例えばオーバーヘッドコンソール（ＯＨＣ）やリアビューミラーの近傍など、全ての座席に着座した人物を同時に撮影できる位置に設置される。以下、車内カメラ２１が車両内を撮影した画像を「車内画像」という。
　本実施の形態では、車内カメラ２１はオーバーヘッドコンソールに設置された１つのカメラで構成されているものとする。オーバーヘッドコンソールに設置された車内カメラ２１により撮影される車内画像の例を図２に示す。図２の車内画像には、５人の人物、すなわち運転席の乗員Ｐ１、助手席の乗員Ｐ２、右後席の乗員Ｐ３、左後席の乗員Ｐ４および後席中央の乗員Ｐ５が写っている。
　電磁波センサ２２は、車両内に存在する生体を検出するセンサであり、例えばミリ波レーダーで構成される。電磁波センサ２２は、生体が存在する旨を示すサインであるバイタルサインを検出し、バイタルサインの検出点の位置の情報を、生体情報として出力する。バイタルサインの検出点の位置は、例えば、レーダーの反射波の周波数スペクトルに基づき電磁波センサ２２から検出点までの距離を算出し、複数のアンテナで受信したレーダーの反射波の位相差に基づき電磁波センサ２２からの検出点の方向を算出することで求めることができる。
　また、ミリ波レーダーは樹脂や布を透過して生体を検知できるため、電磁波センサ２２は、後ろ向きチャイルドシート、横向きチャイルドシート、サンシェード付きのチャイルドシートなどに乗った子供や、毛布を被った人物など、車内カメラ２１では撮影困難な人物を検出することができる。本実施の形態では、電磁波センサ２２は車両の天井に設置されており、車両の全ての座席が電磁波センサ２２の検出範囲に含まれるものとする。しかし、例えば車両の後席など、車内カメラ２１で撮影困難な座席だけが電磁波センサ２２の検出範囲に含まれるようにしてもよい。
　図１に示すように、乗員検出装置１０は、車内画像取得部１１、顔検出部１２、生体情報取得部１３、生体検出部１４および乗員判断部１５を備えている。
　車内画像取得部１１は、車内カメラ２１が撮影した車内画像を取得する。顔検出部１２は、車内画像取得部１１が取得した車内画像を解析することで、車内画像から人物の顔を探索し、検出された顔の位置（顔が検出された座席）を特定する。より具体的には、顔検出部１２は、車内画像において人物の顔が検出された領域である顔領域を特定し、顔領域の座標値（車内画像における座標値）に基づいて、顔が検出された座席を特定する。
　顔検出部１２が顔領域を特定する方法は任意の方法でよい。本実施の形態では、顔検出部１２は、検出された顔の画像を囲む矩形、具体的には、顔の輪郭線に接する４つの辺からなる矩形内の領域を、顔領域として特定するものとする。例えば、図２のように車内画像に乗員Ｐ１～Ｐ５が写っていた場合、顔検出部１２は、図３のように乗員Ｐ１～Ｐ５それぞれの顔領域Ｆ１～Ｆ５を特定し、顔領域Ｆ１～Ｆ５の各頂点の座標値に基づいて、顔が検出された座席を特定する。
　生体情報取得部１３は、電磁波センサ２２が出力する生体情報を取得する。生体検出部１４は、生体情報取得部１３が取得した生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する。より具体的には、生体検出部１４は、生体情報に含まれるバイタルサインの検出点の分布に基づいて、生体の位置およびサイズを特定する。
　生体検出部１４が特定する生体のサイズは、少なくとも大人サイズと子供サイズとに分類されていればよいが、例えばＮＨＴＳＡ（National Highway Traffic Safety Administration：米国高速道路交通安全協会）の規格で定められている人体ダミーのサイズに準じて、標準体型の成人男性（ＡＭ５０）、小柄な成人女性（ＡＦ０５）、大柄な成人男性（ＡＭ９５）、１０歳、６歳および３歳の子供（１０ＹＯ、６ＹＯ、３ＹＯ）などと細分化してもよい。本実施の形態では、生体情報取得部１３が特定する生体のサイズは、大人サイズと子供サイズとの２つに分類されるものとする。つまり、生体のサイズが予め定められた閾値以上であれば大人サイズと判断され、閾値未満であれば子供サイズと判断される。なお、「子供」の定義は国や法律によって異なるが、車両に置き去りにされると事故を招きかねない年齢（例えば１２歳以下）の者が、子供として定義されることが好ましい。
　例えば車両の座席が図４のように配置されている場合において、電磁波センサ２２により検出されるバイタルサインの検出点の分布の例を図５および図６に示す。図５は車両を平面視したときのバイタルサインの検出点の分布であり、図６は車両を側面視したときのバイタルサインの検出点の分布である。バイタルサインの検出点が図５および図６のように分布していれば、生体検出部１４は、車両の２列目左側の座席に大人サイズの生体が存在すると判断する。
　乗員判断部１５は、顔検出部１２が特定した人物の顔の位置と、生体検出部１４が特定した生体の位置およびサイズとに基づいて、車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する。本実施の形態では、乗員判断部１５が判断する乗員の属性は、大人と子供との２つに分類されるものとする。ただし、乗員の属性は、例えば上記の人体ダミーのようにさらに細分化されてもよい。
　ここで、体格には個人差があり、大柄な子供や小柄な大人が存在する。そのため、人物の年齢は、体のサイズから判断するよりも顔や骨格の特徴から判断する方が精度よく判断できると考えられる。そこで本実施の形態では、乗員判断部１５は、人物の顔が検出された座席の乗員の属性については、車内画像に写った人物の顔または骨格の特徴から当該人物の年齢を推定することで判断し、人物の顔が検出されなかった座席の乗員の属性については、生体のサイズに基づいて判断するものとする。
　図７は、実施の形態１に係る乗員検出装置１０の動作を示すフローチャートである。以下、図７を参照しつつ、乗員検出装置１０の動作を説明する。
　乗員検出装置１０が起動すると、車内画像取得部１１は、車内カメラ２１が撮影した車内画像を取得する（ステップＳ１０１）。そして、顔検出部１２が、車内画像取得部１１が取得した車内画像を解析することで、車内画像から人物の顔を探索し（ステップＳ１０２）、検出された顔の位置を特定する（ステップＳ１０３）。
　また、生体情報取得部１３は、電磁波センサ２２が出力する生体情報を取得する（ステップＳ１０４）。そして、生体検出部１４が、生体情報取得部１３が取得した生体情報に基づいて車両内に存在する生体（バイタルサイン）を探索し（ステップＳ１０５）、検出された生体の位置およびサイズを特定する（ステップＳ１０６）。
　乗員判断部１５は、顔検出部１２が検出した人物の顔の位置と、生体検出部１４が検出した生体の位置およびサイズとに基づいて、以下のステップＳ１０７～Ｓ１１６の処理を、個々の座席に対して実行する。
　まず、乗員判断部１５は、乗員検出の対象とする座席（以下「対象座席」という）を選択し（ステップＳ１０７）、対象座席で人物の顔が検出されたか否かを確認する（ステップＳ１０８）。
　対象座席で人物の顔が検出されていた場合（ステップＳ１０８でＹＥＳ）、乗員判断部１５は、対象座席で生体が検出されたか否かを確認する（ステップＳ１０９）。対象座席で人物の顔も生体も検出されていれば（ステップＳ１０９でＹＥＳ）、乗員判断部１５は、対象座席に乗員がいると判断し、車内画像に写った対象座席の乗員の画像を解析して、当該乗員の顔または骨格の特徴に基づき、当該乗員が大人か子供かを判断する（ステップＳ１１０）。なお、対象座席で人物の顔が検出されたにもかかわらず生体が検出されていなかった場合には（ステップＳ１０９でＮＯ）、乗員判断部１５は、顔検出部１２で人物の顔の誤検出が生じたと判断し、対象座席は空席と判断する（ステップＳ１１１）。
　対象座席で人物の顔が検出されていない場合（ステップＳ１０８でＮＯ）も、乗員判断部１５は、対象座席で生体が検出されたか否かを確認する（ステップＳ１１２）。対象座席で人物の顔が検出されていないにもかかわらず生体が検出されていた場合（ステップＳ１１２でＹＥＳ）、乗員判断部１５は、車内カメラ２１で撮影できない所（例えば後ろ向きチャイルドシート内など）に乗員がいると判断し、対象座席で検出された生体のサイズを確認する（ステップＳ１１３）。対象座席の生体のサイズが大人サイズであれば（ステップＳ１１３でＹＥＳ）、乗員判断部１５は対象座席に大人がいると判断する（ステップＳ１１４）。また、対象座席の生体のサイズが子供サイズであれば（ステップＳ１１３でＮＯ）、乗員判断部１５は対象座席に子供がいると判断する（ステップＳ１１５）。なお、対象座席で人物の顔も生体も検出されていなかった場合には（ステップＳ１１２でＮＯ）、乗員判断部１５は、対象座席は空席と判断する（ステップＳ１１６）。
　乗員判断部１５は、ステップＳ１０７～Ｓ１１６の処理を全ての座席に対して実行すると、各座席の乗員の有無および乗員の属性（大人か子供か）の判断結果を出力して、処理を終了する。
　図７のフローでは、対象座席で人物の顔と生体との両方が検出された場合（ステップＳ１０８とＳ１０９の両方でＹＥＳ）、ステップＳ１１０において、乗員の属性が当該乗員の顔または骨格の特徴に基づいて判断されるが、この判断に、検出された生体のサイズを加味してもよい。乗員判断部１５が、乗員の顔または骨格の特徴と検出された生体のサイズとの両方から乗員の属性を判断することで、乗員の属性の判断精度のさらなる向上が期待できる。
　また、実施の形態１では、車両の全ての座席が電磁波センサ２２の検出範囲に含まれるものと仮定したが、上述したように、電磁波センサ２２の検出範囲は車内カメラ２１で撮影困難な座席（例えば車両の後席など）だけでもよい。その場合、乗員検出装置１０は、電磁波センサ２２の検出範囲内の座席に対しては図７の乗員検出方法を行い、それ以外の座席に対しては、車内カメラ２１が撮影した車内画像に基づいて乗員の有無および乗員の属性を判断する従来の乗員検出方法を行えばよい。
　以上のように、実施の形態１に係る乗員検出装置１０は、各座席の乗員の有無および各座席にいる乗員の属性を、車内画像から特定された顔の位置、ならびに、生体情報から特定された生体の位置およびサイズに基づいて判断する。そのため、例えば乗員が毛布にくるまっている場合や、乗員がチャイルドシートに着座していない子供である場合でも、当該乗員の属性を精度よく判断することができる。
　なお、乗員検出装置１０が検出する乗員の属性には、人間だけでなく、動物が含まれてもよい。すなわち、生体検出部１４が特定する生体のサイズの分類に動物が含まれてもよい。さらに、動物の分類は大型、中型、小型などに細分化されてもよい。
　図８および図９は、それぞれ乗員検出装置１０のハードウェア構成の例を示す図である。図１に示した乗員検出装置１０の構成要素の各機能は、例えば図８に示す処理回路５０により実現される。すなわち、乗員検出装置１０は、車両内を撮影した画像である車内画像を取得し、車内画像から人物の顔を探索し、検出された顔の位置を特定し、電磁波センサにより検出された車両内の生体情報を取得し、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定し、人物の顔の位置ならびに生体の位置およびサイズに基づいて、車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。
　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。乗員検出装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
　図９は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における乗員検出装置１０のハードウェア構成の例を示している。この場合、乗員検出装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、乗員検出装置１０は、プロセッサ５１により実行されるときに、車両内を撮影した画像である車内画像を取得する処理と、車内画像から人物の顔を探索し、検出された顔の位置を特定する処理と、電磁波センサにより検出された車両内の生体情報を取得する処理と、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する処理と、人物の顔の位置ならびに生体の位置およびサイズに基づいて、車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、乗員検出装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、乗員検出装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、乗員検出装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、乗員検出装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　＜実施の形態２＞
　図１０は、実施の形態２に係る乗員検出装置１０の構成を示すブロック図である。図１０の乗員検出装置１０の構成は、図１の構成に対し、チャイルドシート検出部１６を追加したものである。それ以外の要素は図１と同様であるため、ここではそれらの要素の説明は省略する。
　チャイルドシート検出部１６は、車両内のチャイルドシートが設置された座席を検出する。本実施の形態では、チャイルドシート検出部１６は、車内画像取得部１１が取得した車内画像を解析することでチャイルドシートを探索し、検出されたチャイルドシートの座標値（車内画像における座標値）に基づいて、当該チャイルドシートが設置された座席を特定するものとする。ただし、チャイルドシートが設置された座席の検出方法はこれに限られず、例えば、各座席に設けられた荷重センサの出力信号、各座席のシートベルトの引き出し量あるいは張力などに基づいて検出する方法でもよい。
　また本実施の形態では、乗員判断部１５は、チャイルドシートが設置された座席の位置を加味して、各座席にいる乗員の属性を判断する。具体的には、乗員判断部１５は、チャイルドシートが設置された座席で生体が検出されると、その座席には子供の乗員がいると判断する。
　図１１は、実施の形態２に係る乗員検出装置１０の動作を示すフローチャートである。図１１のフローは、図７のフローに対し、以下に説明するステップＳ１２０，Ｓ１２１，Ｓ１２２を追加したものである。それ以外のステップは、図７と同様であるため、ここではそれらのステップの説明は省略する。
　ステップＳ１２０では、チャイルドシート検出部１６が、車内画像を解析して、車両内のチャイルドシートが設置された座席を探索する。図１１のフローではステップＳ１２０がステップＳ１０２およびＳ１０３の後に実行されるが、その順番は逆でもよい。
　ステップＳ１２１は、ステップＳ１０９において対象座席で生体が検出されていると判断された場合（ステップＳ１０９でＹＥＳと判断された場合）に実行される。ステップＳ１２１では、乗員判断部１５が、対象座席でチャイルドシートが検出されたか否かを確認する。このとき対象座席でチャイルドシートが検出されていれば（ステップＳ１２１でＹＥＳ）、ステップＳ１１５へ進み、乗員判断部１５は対象座席に子供がいると判断する。対象座席でチャイルドシートが検出されていなければ（ステップＳ１２１でＮＯ）、ステップＳ１１０へ進み、乗員判断部１５は、車内画像に写った対象座席の乗員の画像を解析して、当該乗員の顔または骨格の特徴に基づき、当該乗員が大人か子供かを判断する。
　ステップＳ１２２は、ステップＳ１１２において対象座席で生体が検出されていると判断された場合（ステップＳ１１２でＹＥＳと判断された場合）に実行される。ステップＳ１２２では、乗員判断部１５が、対象座席でチャイルドシートが検出されたか否かを確認する。このとき対象座席でチャイルドシートが検出されていれば（ステップＳ１２２でＹＥＳ）、ステップＳ１１５へ進み、乗員判断部１５は対象座席に子供がいると判断する。対象座席でチャイルドシートが検出されていなければ（ステップＳ１２２でＮＯ）、ステップＳ１１３へ進み、乗員判断部１５は、対象座席で検出された生体のサイズに基づいて、対象座席にいる乗員の属性を判断する。
　実施の形態２に係る乗員検出装置１０は、チャイルドシートが設置された座席の位置を加味して乗員の属性を判断するため、チャイルドシートが設置された座席にいる乗員の属性（子供）を精度よく判断することができる。
　＜実施の形態３＞
　図１２は、実施の形態３に係る乗員検出装置１０の構成を示すブロック図である。図１２の乗員検出装置１０の構成は、図１の構成に対し、表情変化検出部１７を追加したものである。それ以外の要素は図１と同様であるため、ここではそれらの要素の説明は省略する。
　表情変化検出部１７は、顔検出部１２が検出した人物の顔の画像の変化を監視することで、その人物の表情の変化を検出する。より具体的には、表情変化検出部１７は、人物の顔の画像から目（両目尻、両目頭、上瞼、下瞼など）、鼻（鼻根・鼻背・鼻翼・鼻尖など）、口（上唇、下唇など）といった顔のパーツを特徴点として抽出し、それらの特徴点の位置関係から表情の変化の有無を判断する。ただし、表情の変化の検出方法はこれに限られず、任意の方法でよい。
　また本実施の形態では、乗員判断部１５は、表情変化検出部１７による人物の表情変化の検出結果を加味して、各座席にいる乗員の属性を判断する。具体的には、乗員判断部１５は、顔検出部１２が検出した人物の顔に表情の変化が一定時間以上なければ、その顔は人のものではないと判断し、その顔が検出された座席の乗員の属性を、人物の画像ではなく、生体のサイズに基づいて判断する。ただし、その座席で生体が検出されていなければ、乗員判断部１５は、顔検出部１２で顔の誤検出が生じたと判断し、当該座席を空席と判断する。
　図１３は、実施の形態３に係る乗員検出装置１０の動作を示すフローチャートである。図１３のフローは、図７のフローに対し、以下に説明するステップＳ１３０を追加したものである。それ以外のステップは、図７と同様であるため、ここではそれらのステップの説明は省略する。
　ステップＳ１３０は、ステップＳ１０９において対象座席で生体が検出されていると判断された場合（ステップＳ１０９でＹＥＳ）に実行される。ステップＳ１３０では、乗員判断部１５が、表情変化検出部１７による人物の表情変化の検出結果に基づいて、対象座席で検出された顔に表情の変化が無い状態が一定時間以上続いたか否かを判断する。表情の変化が無い状態が一定時間以上続いていれば（ステップＳ１３０でＹＥＳ）、ステップＳ１１３へ進み、乗員判断部１５は対象座席で検出された生体のサイズに基づいて乗員が大人か子供かを判断する。表情の変化が無い状態が続いたのが一定時間未満であれば（ステップＳ１３０でＮＯ）、ステップＳ１１０へ進み、乗員判断部１５は、車内画像に写った対象座席の乗員の画像を解析して、当該乗員の顔または骨格の特徴に基づき、当該乗員が大人か子供かを判断する。
　実施の形態３に係る乗員検出装置１０は、顔検出部１２が検出した人物の顔に表情の変化が一定時間以上なければ、その顔が検出された座席の乗員の属性を、人物の画像ではなく、生体のサイズに基づいて判断する。これにより、子供がお面を付けている場合や人の顔がプリントされたシャツを着ている場合などに、大人と誤判定されることが防止される。また、例えば子供を車両に置き去りにしたことを隠すために、子供にお面を付けて大人のように見せかける偽装を見破ることができるという効果も期待できる。
　なお、実施の形態３は実施の形態２と組み合わせることも可能である。図１４は、実施の形態３を実施の形態２に適用した変形例を示す図である。すなわち、図１４の乗員検出装置１０の構成は、図１０の構成に対し、表情変化検出部１７を追加したものである。
　また、図１４に示す乗員検出装置１０の動作を示すフローチャートを図１５に示す。図１５のフローは、図１１のフローに対し、上で説明したステップＳ１３０を追加したものである。図１５のステップＳ１３０は、実施の形態２で説明したステップＳ１２１において、対象座席でチャイルドシートが検出されていないと判断された場合に実行される。この変形例によれば、実施の形態２および３の両方の効果が得られる。
　＜実施の形態４＞
　実施の形態１～３の乗員検出装置１０は、例えば、各座席の乗員の身体状態を監視する乗員監視システムや、車両内に子供が置き去りにされることを防止する子供置き去り警報システムなど、乗員の属性を利用するシステムに広く適用可能である。実施の形態４では、乗員検出装置１０を子供置き去り警報システムに適用した例を示す。
　図１６は、実施の形態４に係る子供置き去り警報システム３０の構成を示すブロック図である。この子供置き去り警報システム３０は、実施の形態１～３のいずれかに係る乗員検出装置１０と、警報出力部３１とを備えている（図１６の子供置き去り警報システム３０は、実施の形態１に係る乗員検出装置１０を備えたものである）。
　警報出力部３１は、乗員検出装置１０による乗員の属性の判断結果に基づいて、車両内の乗員が子供だけかどうかを監視し、子供だけの状態が一定時間以上続いた場合に、子供が置き去りにされるおそれがあると判断して、車両外へ警報を発する。
　図１７は、子供置き去り警報システム３０の動作を示すフローチャートである。以下、図１７を参照しつつ、子供置き去り警報システム３０の動作を説明する。
　子供置き去り警報システム３０が起動すると、まず乗員検出装置１０が、各座席の乗員の有無および乗員の属性（大人か子供か）を判断する乗員検出処理を実行する（ステップＳ２０１）。乗員検出処理では、乗員検出装置１０により、図７、図１１、図１３または図１５で示した処理が実行される。
　警報出力部３１は、乗員検出処理の結果に基づいて、車両内に乗員がいるか否かを確認する（ステップＳ２０２）。車両内に乗員がいなければ（ステップＳ２０２でＮＯ）、警報出力部３１は、全ての乗員が車両から降りたと判断し、処理を終了する。
　車両内に乗員いる場合（ステップＳ２０２でＹＥＳ）、警報出力部３１は、車両内の乗員が子供だけかどうか確認する（ステップＳ２０３）。車両内の乗員に大人が含まれていれば（ステップＳ２０３でＮＯ）、ステップＳ２０１へ戻る。
　車両内の乗員が子供だけであった場合（ステップＳ２０３でＹＥＳ）、警報出力部３１は、車両内の乗員が子供だけの状態が一定時間以上続いているかどうか確認する（ステップＳ２０４）。車両内の乗員が子供だけの状態が一定時間以上続いていなければ（ステップＳ２０４でＮＯ）、ステップＳ２０１へ戻る。
　車両内の乗員が子供だけの状態が一定時間以上続いていれば（ステップＳ２０４でＹＥＳ）、警報出力部３１は、車両内に子供が置き去りにされるおそれがあると判断して、車両外へ警報を発する（ステップＳ２０５）。
　なお、子供置き去り警報システム３０が図１７の処理を開始するタイミングに制約はないが、子供の置き去りは車両が停止した後に発生するため、車両が停止したタイミングで図１７の処理が開始されるとよい。あるいは、子供置き去り警報システム３０がドアの開閉信号や座席の荷重センサの出力信号などに基づいて乗員の乗降を検出し、乗員が乗降したタイミングで図１７の処理が開始されるようにしてもよい。乗員が乗降したタイミングで図１７の処理が開始される場合、車両から全ての乗員が一旦降りた後に、子供だけが再び車両に乗せられて置き去りにされることも検出できる。
　実施の形態４に係る子供置き去り警報システム３０は、子供が置き去りにされるおそれがあることを検出して警報を発するため、子供の置き去りを防止することができる。また、車両内の乗員の有無および乗員の属性を判断する乗員検出処理（ステップＳ２０１）が、実施の形態１～３のいずれかに係る乗員検出装置１０によって行われるため、子供の置き去りが発生するおそれを精度よく検出することができる。
　なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
　上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。
　１０　乗員検出装置、１１　車内画像取得部、１２　顔検出部、１３　生体情報取得部、１４　生体検出部、１５　乗員判断部、１６　チャイルドシート検出部、１７　表情変化検出部、２１　車内カメラ、２２　電磁波センサ、３０　子供置き去り警報システム、３１　警報出力部、５０　処理回路、５１　プロセッサ、５２　メモリ。

Claims (10)

  1. 　車両内を撮影した画像である車内画像を取得する車内画像取得部と、
    　前記車内画像から人物の顔を探索し、検出された顔の位置を特定する顔検出部と、
    　電磁波センサにより検出された前記車両内の生体情報を取得する生体情報取得部と、
    　前記生体情報に基づいて前記車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する生体検出部と、
    　前記人物の顔の位置ならびに前記生体の位置およびサイズに基づいて、前記車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する乗員判断部と、
    を備える、
    乗員検出装置。
  2. 　前記生体検出部は、前記生体情報に含まれるバイタルサインの検出点の分布に基づいて前記生体の位置およびサイズを判断する、
    請求項１に記載の乗員検出装置。
  3. 　前記乗員判断部は、前記人物の顔が検出されなかった座席で前記生体が検出された場合に、その座席の乗員の属性を前記生体のサイズに基づいて判断する、
    請求項１に記載の乗員検出装置。
  4. 　前記乗員判断部は、前記人物の顔が検出された座席の乗員の属性を、前記車内画像に含まれる前記人物の画像に基づき当該人物の年齢を推定することで判断する、
    請求項１に記載の乗員検出装置。
  5. 　前記乗員判断部は、前記人物の顔の特徴から当該人物の年齢を推定する、
    請求項４に記載の乗員検出装置。
  6. 　前記乗員判断部は、前記人物の骨格の特徴から当該人物の年齢を推定する、
    請求項４に記載の乗員検出装置。
  7. 　チャイルドシートが設置された座席を検出するチャイルドシート検出部をさらに備え、
    　前記乗員判断部は、前記チャイルドシートが設置された座席で前記生体が検出された場合、その座席に子供がいると判断する、
    請求項１に記載の乗員検出装置。
  8. 　前記乗員判断部は、前記人物の顔が検出された座席で前記生体が検出されなかった場合、その座席は空席と判断する、
    請求項１に記載の乗員検出装置。
  9. 　前記人物の顔の画像の変化を監視することで当該人物の表情の変化を検出する表情変化検出部をさらに備え、
    　前記乗員判断部は、前記人物の表情に一定時間以上変化がない場合、その人物の顔が検出された座席の乗員の属性を、前記人物の画像ではなく、前記生体のサイズに基づいて判断する、
    請求項４に記載の乗員検出装置。
  10. 　乗員検出装置の車内画像取得部が、車両内を撮影した画像である車内画像を取得し、
    　前記乗員検出装置の顔検出部が、前記車内画像から人物の顔を探索し、検出された顔の位置を特定し、
    　前記乗員検出装置の生体情報取得部が、電磁波センサにより検出された前記車両内の生体情報を取得し、
    　前記乗員検出装置の生体検出部が、前記生体情報に基づいて前記車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定し、
    　前記乗員検出装置の乗員判断部が、前記人物の顔の位置ならびに前記生体の位置およびサイズに基づいて、前記車両の各座席の乗員の有無および各座席にいる乗員の属性を判断する、
    乗員検出方法。
PCT/JP2020/021303 2020-05-29 2020-05-29 乗員検出装置および乗員検出方法 WO2021240769A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/021303 WO2021240769A1 (ja) 2020-05-29 2020-05-29 乗員検出装置および乗員検出方法
DE112020007252.5T DE112020007252T8 (de) 2020-05-29 2020-05-29 Insassen-Detektionsvorrichtung, Alleine-Gelassenen-Kindalarmsystem, Verfahren zum Detektieren eines Insassen und Verfahren zum Ausgeben eines Alarms über ein allein gelassenes Kind
JP2022527432A JPWO2021240769A5 (ja) 2020-05-29 乗員検出装置、子供置き去り警報システム、乗員検出方法および子供置き去り警報方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021303 WO2021240769A1 (ja) 2020-05-29 2020-05-29 乗員検出装置および乗員検出方法

Publications (1)

Publication Number Publication Date
WO2021240769A1 true WO2021240769A1 (ja) 2021-12-02

Family

ID=78723281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021303 WO2021240769A1 (ja) 2020-05-29 2020-05-29 乗員検出装置および乗員検出方法

Country Status (2)

Country Link
DE (1) DE112020007252T8 (ja)
WO (1) WO2021240769A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115848306A (zh) * 2022-12-23 2023-03-28 阿维塔科技(重庆)有限公司 一种车辆遗留人员的检测方法、检测装置与车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401338B2 (ja) * 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) * 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
JP2007077774A (ja) * 2005-09-16 2007-03-29 Fujitsu Ten Ltd 車両用施錠装置
JP2008296777A (ja) * 2007-05-31 2008-12-11 Toyota Motor Corp 車両用開閉制御装置
JP2014219703A (ja) * 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
JP2020017107A (ja) * 2018-07-26 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019123354A (ja) 2018-01-16 2019-07-25 株式会社デンソー 乗員検知装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (ja) * 2001-07-24 2004-12-02 サンライト メディカル リミテッド 超音波を用いた骨年齢評価方法
JP2007077774A (ja) * 2005-09-16 2007-03-29 Fujitsu Ten Ltd 車両用施錠装置
JP2008296777A (ja) * 2007-05-31 2008-12-11 Toyota Motor Corp 車両用開閉制御装置
JP2014219703A (ja) * 2013-04-30 2014-11-20 セコム株式会社 顔認証システム
JP2020017107A (ja) * 2018-07-26 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115848306A (zh) * 2022-12-23 2023-03-28 阿维塔科技(重庆)有限公司 一种车辆遗留人员的检测方法、检测装置与车辆
CN115848306B (zh) * 2022-12-23 2024-05-17 阿维塔科技(重庆)有限公司 一种车辆遗留人员的检测方法、检测装置与车辆

Also Published As

Publication number Publication date
JPWO2021240769A1 (ja) 2021-12-02
DE112020007252T5 (de) 2023-04-27
DE112020007252T8 (de) 2023-05-04

Similar Documents

Publication Publication Date Title
WO2021240777A1 (ja) 乗員検出装置および乗員検出方法
US20070195990A1 (en) Vision-Based Seat Belt Detection System
WO2021240769A1 (ja) 乗員検出装置および乗員検出方法
CN112622617B (zh) 酒精联锁控制装置和方法
JP2008269496A (ja) 乗員情報検出システム、乗員拘束システム、車両
US11893804B2 (en) Method and device for protecting child inside vehicle, computer device, computer-readable storage medium, and vehicle
US7308349B2 (en) Method of operation for a vision-based occupant classification system
US11254284B2 (en) Vehicle and method of controlling the same
US20180326905A1 (en) On-vehicle apparatus, alert output method, and computer readable medium
US20060244828A1 (en) Vehicle passenger occupancy alert system using passenger image recognition
US20190095714A1 (en) Vehicle interior lidar detection systems
KR102591758B1 (ko) 차량 내 승객 감지장치 및 그 제어방법
US20230166737A1 (en) Cabin-inside detection device and cabin-inside detection method
JP2019189101A (ja) 乗員情報判定装置
CN111601736B (zh) 乘客检测装置、乘客检测系统以及乘客检测方法
US11146784B2 (en) Abnormality detection device and abnormality detection method
JP2013252863A (ja) 乗員拘束制御装置および乗員拘束制御方法
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
US20220182518A1 (en) Control device and photographing system
JP2005098886A (ja) 乗員の顔面検知装置
US20220314796A1 (en) Vehicle display device
JP7090707B2 (ja) 報知対象検知装置、警報システムおよび報知対象検知方法
JP2018100864A (ja) 乗員検出装置、乗員検出システム、乗員検出方法
WO2019207625A1 (ja) 乗員検知装置、乗員検知方法及び乗員検知システム
KR102463706B1 (ko) 탑승자 하차 경고 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937708

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527432

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20937708

Country of ref document: EP

Kind code of ref document: A1