WO2019180876A1 - 体格推定装置および体格推定方法 - Google Patents

体格推定装置および体格推定方法 Download PDF

Info

Publication number
WO2019180876A1
WO2019180876A1 PCT/JP2018/011415 JP2018011415W WO2019180876A1 WO 2019180876 A1 WO2019180876 A1 WO 2019180876A1 JP 2018011415 W JP2018011415 W JP 2018011415W WO 2019180876 A1 WO2019180876 A1 WO 2019180876A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
physique
seat
face
physique estimation
Prior art date
Application number
PCT/JP2018/011415
Other languages
English (en)
French (fr)
Inventor
大樹 工藤
貴弘 大塚
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019569505A priority Critical patent/JP6739672B2/ja
Priority to CN201880091339.3A priority patent/CN111867466A/zh
Priority to DE112018007120.0T priority patent/DE112018007120B4/de
Priority to PCT/JP2018/011415 priority patent/WO2019180876A1/ja
Publication of WO2019180876A1 publication Critical patent/WO2019180876A1/ja
Priority to US17/023,562 priority patent/US20210001796A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/006—Type of passenger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to a physique estimation device and a physique estimation method for estimating the physique of a vehicle occupant.
  • An automobile is equipped with an air bag in order to prevent or reduce injury to an occupant when an accident occurs.
  • the airbag control device changes whether or not the airbag operates according to the presence or absence of an occupant when an automobile accident occurs, and changes the pressure (deployment inflation force) when the airbag operates according to the occupant's physique To do.
  • Patent Document 1 describes a system that estimates the occupant's physique based on an image taken with a stereo camera mounted on the automobile.
  • Patent Document 1 Stereo cameras are more expensive than monocular cameras and require a large amount of calculation for image processing. For this reason, the system described in Patent Document 1 has a problem that it requires an expensive and high computing device.
  • This invention solves the said subject, and aims at obtaining the physique estimation apparatus and physique estimation method which can estimate the physique of the passenger
  • the physique estimation device includes a face detection unit and a physique estimation unit.
  • the face detection unit inputs an image in which the passenger compartment is photographed, and detects occupant face information from the input image.
  • the physique estimation unit determines the seat on which the occupant is seated based on the face information detected by the face detection unit, and calculates the seat height of the occupant using the difference between the reference position and the face position for the determined seat The occupant's physique is estimated based on the calculated occupant's sitting height.
  • the physique estimation device determines the seat on which the occupant is seated based on the occupant's face information detected from the image in which the passenger compartment is photographed, and the determined reference position of the seat and the position of the face And the occupant's physique is estimated based on the occupant's sitting height.
  • the face information detection target image may be an image taken with a monocular camera.
  • the physique estimation apparatus can estimate the physique of the passenger
  • FIG. 5A is a block diagram illustrating a hardware configuration that implements the functions of the physique estimation apparatus according to Embodiment 1.
  • FIG. 5B is a block diagram illustrating a hardware configuration for executing software that implements the functions of the physique estimation device according to Embodiment 1. It is a block diagram which shows the structural example of the physique estimation apparatus which concerns on Embodiment 2 of this invention.
  • 10 is a flowchart showing details of a physique estimation process in the second embodiment. It is a block diagram which shows the structural example of the physique estimation apparatus which concerns on Embodiment 3 of this invention. 10 is a flowchart illustrating details of a physique estimation process in the third embodiment. It is a figure which shows the outline
  • FIG. 1 is a block diagram showing a configuration example of a physique estimation apparatus 1 according to Embodiment 1 of the present invention.
  • the physique estimation device 1 inputs an image of the passenger compartment taken by the camera 2, detects the occupant's face information from the input image, and determines the seat on which the occupant is seated based on the detected face information. . Then, the physique estimation device 1 calculates the occupant's sitting height using the difference between the reference position and the face position for the determined seat, and estimates the occupant's physique based on the calculated occupant's sitting height.
  • the physique estimation device 1 is an in-vehicle device, but it may be provided outside the vehicle.
  • the physique estimation device 1 may be realized by a server device existing outside the vehicle.
  • the server device receives a captured image of the passenger compartment from the in-vehicle communication device, and returns the physique estimation result of the occupant estimated based on the received captured image to the in-vehicle communication device.
  • the in-vehicle communication device outputs the received occupant physique estimation result to the airbag control device 3.
  • the camera 2 is a monocular camera that has a shooting range in the vehicle interior.
  • the camera 2 may be an infrared camera capable of shooting in a dark place.
  • the camera 2 may be a visible light region camera such as a CCD camera or a CMOS camera.
  • the number of cameras 2 and their mounting positions are adjusted so that all passengers in the passenger compartment can be photographed.
  • a single camera 2 attached in the vicinity of a room mirror in the vehicle interior can shoot a wide area in the vehicle interior.
  • Two or more cameras 2 may be provided.
  • the camera 2 provided for each seat and including the corresponding seat in the imaging range may be used.
  • the physique estimation result of the occupant obtained for each sitting position by the physique estimation device 1 is output to the airbag control device 3.
  • the airbag control device 3 controls the operation of the airbag based on the passenger's physique estimation result input from the physique estimation device 1. For example, the airbag control device 3 changes the pressure when the airbag is activated according to the physique of the occupant.
  • the physique estimation device 1 includes a face detection unit 10 and a physique estimation unit 11.
  • the face detection unit 10 inputs an image in which the passenger compartment is photographed, and detects occupant face information from the input image.
  • the physique estimation unit 11 determines the seat on which the occupant is seated based on the face information detected by the face detection unit 10, and uses the difference between the reference position and the face position for the determined seat to determine the seat height of the occupant And the physique of the occupant is estimated based on the calculated seat height of the occupant.
  • FIG. 2 is a flowchart showing the physique estimation method according to the first embodiment, and shows a series of processes from the input of an image in which the passenger compartment is photographed until the occupant's physique is estimated.
  • the face detection unit 10 inputs an image in which the vehicle interior is photographed from the camera 2 and detects occupant face information from the input image (step ST1).
  • the face detection unit 10 may narrow down the face detection target to a seating position determination area to be described later, instead of setting the entire image as the face detection target. Thereby, the amount of calculation required for face detection can be reduced.
  • the face information is information indicating a face area in the image, and includes coordinates indicating the face position and the face size.
  • the face area may be the entire face area, or may be a partial area of the face as long as the face position and the face size can be specified.
  • the coordinates indicating the face position and the face size may be, for example, two diagonal coordinates on a rectangle inscribed by the face area.
  • the two diagonal points are, for example, an upper left point and a lower right point of the rectangle. Of the points on the rectangle, two or both of two points in the width direction of the face and two points in the height direction may be used.
  • the face information may include coordinates of face parts (eyes, nose, mouth, ears).
  • the face detection unit 10 outputs a face detection result including these pieces of face information to the physique estimation unit 11.
  • the physique estimation unit 11 determines the seat on which the occupant is seated based on the occupant's face information, and calculates the occupant's sitting height using the difference between the reference position and the face position for the determined seat.
  • the occupant's physique is estimated based on the calculated occupant's sitting height (step ST2).
  • the physique estimation unit 11 identifies the position and size of the occupant's face from the face information detected by the face detection unit 10, and the occupant is determined based on the identified position and size of the face. Determine the seat you are seated on.
  • the physique estimation unit 11 converts the difference between the reference position and the face position into the seat height of the occupant using the converted value corresponding to the determined seat.
  • the physique estimation unit 11 refers to the correspondence data between the body measurement data including the sitting height and the physique of the person based on the occupant's sitting height obtained by converting the difference, and determines the occupant's physique corresponding to the sitting height value. presume.
  • FIG. 3 is a flowchart showing details of the physique estimation process in the first embodiment, and shows a specific process of step ST2 of FIG.
  • the physique estimation unit 11 determines the seat on which the occupant is seated from the face detection result input from the face detection unit 10. For example, the physique estimation unit 11 determines whether or not the position of the face is included in the determination area for each seat, based on the coordinates of the position of the face specified from the face detection result.
  • FIG. 4 is a diagram illustrating a determination area for each seat in the image 2a in which the vehicle interior is photographed.
  • the image 2 a is an image in which the vehicle interior is photographed by the camera 2.
  • the determination areas 20 to 24 are determination areas set for each seat and indicate an image range where the face is located when the occupant is seated.
  • the determination areas 20 to 24 are determined in advance by experiments.
  • the judgment areas 20 to 24 are not limited to the case where the occupant seated in the corresponding seat is facing the front, even when the occupant is facing sideways, or when the occupant is facing down or up.
  • the determination area 20 is an image range where the face of the occupant seated in the driver's seat is located, and the determination area 21 is an image range where the face of the occupant seated in the passenger seat is located.
  • the determination area 22 is an image range where the face of an occupant seated on the rear seat of the driver's seat is located, and the determination area 23 is an image range where the face of the occupant seated on the rear seat of the passenger seat is located.
  • the determination area 24 is an image range in which the face of an occupant seated on the central rear seat is located.
  • the physique estimation unit 11 selects the seat on which the occupant is seated based on the size of the face specified from the face detection result when the face position overlaps the plurality of determination areas. Determine. For example, the determination area 20 corresponding to the driver's seat and the determination area 22 corresponding to the rear seat of the driver's seat partially overlap as shown in FIG. When it is determined that the position of the face is included in the overlapped area, the physique estimation unit 11 identifies the face size from the face detection result, and if the identified face size is greater than the threshold, the occupant It is determined that the user is seated in the driver's seat (the seat near the camera 2).
  • the physique estimation unit 11 determines that the occupant is seated in the rear seat (seat on the side far from the camera 2). Note that the threshold used to determine the size of the face is determined in advance by experiments.
  • the physique estimation unit 11 determines that an occupant is seated in the seat corresponding to the determination area, and the criterion for the determined seat
  • the difference between the position and the face position is calculated (step ST2a).
  • the position of the face for calculating the difference may be any of the upper end position, the lower end position, and the center position of the face area, or may be any position of the face parts (eyes, nose, mouth, ears). Good.
  • the reference position is, for example, the height position of the seating surface of the seat, and is represented by the coordinate value of the two-dimensional coordinate system of the image taken by the camera 2.
  • the coordinate of the height position of the seat surface in the image is set as the reference position.
  • the position coordinate where the seating surface of the seat is estimated as the height position in the two-dimensional coordinate system obtained by extending the two-dimensional coordinate system of the image to the outside of the image is set as the reference position.
  • the reference position is determined by experiment in advance.
  • the physique estimation unit 11 converts the difference between the reference position and the face position into the occupant's sitting height using the converted value (step ST3a).
  • the conversion value is a value for converting the distance between points in the two-dimensional coordinate system of the image into the distance in the vertical direction of the real space.
  • the conversion value is determined in advance by experiment.
  • the reference position and the converted value may be different values for each seat, or may be a common value for each seat. For example, since the height of the seat surface of the driver's seat and the height of the seat surface of the passenger seat are generally the same, a common reference value is used, and the heights of the three rear seats shown in FIG. Use the reference value.
  • the physique estimation unit 11 estimates the occupant's physique class based on the occupant's sitting height (step ST4a). For example, the physique estimation unit 11 compares the occupant's sitting height calculated in step ST3a with a threshold for classification, and estimates the occupant's physique class according to the comparison result.
  • the physique class is a class in which the size of the occupant is classified, and is determined, for example, according to a criterion for changing the pressure of the airbag.
  • the threshold value for the classification of the physique class is determined in advance by experiments.
  • the physique estimation result (for example, physique class) of the occupant by the physique estimation unit 11 is output from the physique estimation device 1 to the airbag control device 3.
  • the airbag control device 3 changes the pressure when the airbag is activated based on the physique estimation result of the occupant input from the physique estimation device 1.
  • the physique estimation unit 11 determines that no occupant is seated in the seat corresponding to the determination area (step ST5a). . Then, the physique estimation part 11 complete
  • the sitting height is the distance from the seating surface to the top of the person's head.
  • the coordinates indicating the face position for example, the coordinates of the lower end position of the face or the coordinates of the center position of the face may be detected.
  • the physique estimation unit 11 calculates the distance from the seating surface to the lower end position of the face, and the calculated value is the height of the face.
  • the sitting height is calculated by adding the standard values.
  • the physique estimation unit 11 calculates the distance from the seating surface to the center position of the face, and the face height is calculated with respect to the calculated value.
  • the seat height is calculated by adding a value obtained by halving the standard value of the height.
  • FIG. 5A is a block diagram illustrating a hardware configuration that implements the functions of the physique estimation device 1.
  • FIG. 5B is a block diagram illustrating a hardware configuration for executing software that implements the functions of the physique estimation device 1.
  • a camera interface 100 is an interface between the physique estimation apparatus 1 and the camera 2 shown in FIG. 1 and relays image information output from the camera 2 to the physique estimation apparatus 1.
  • the airbag control interface 101 is an interface between the physique estimation device 1 and the airbag control device 3 shown in FIG. 1, and relays the physique estimation result output from the physique estimation device 1 to the airbag control device 3. .
  • the non-volatile storage device 102 is a storage device that stores information obtained by occupant physique estimation processing by the physique estimation device 1.
  • the nonvolatile storage device 102 stores image information input from the camera 2, face information detected by the face detection unit 10, threshold information used for various determinations, reference values, converted values, and physique estimation results. Is done.
  • the nonvolatile storage device 102 may be a storage device provided independently of the physique estimation device 1. For example, a storage device that exists on the cloud may be used as the nonvolatile storage device 102.
  • the physique estimation device 1 includes a processing circuit for executing the processing from step ST1 to step ST2 shown in FIG.
  • This processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) that executes a program stored in a memory.
  • CPU Central Processing Unit
  • the processing circuit 103 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated), or the like. Circuit), FPGA (Field-Programmable Gate Array), or a combination thereof.
  • the functions of the face detection unit 10 and the physique estimation unit 11 may be realized by separate processing circuits, or these functions may be realized by a single processing circuit.
  • the processing circuit is the processor 104 shown in FIG. 5B
  • the functions of the face detection unit 10 and the physique estimation unit 11 are realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 105.
  • the processor 104 implements the functions of the face detection unit 10 and the physique estimation unit 11 by reading and executing the program stored in the memory 105. That is, the physique estimation device 1 includes a memory 105 for storing a program that, when executed by the processor 104, results in the processing from step ST1 to step ST2 shown in FIG. These programs cause a computer to execute the procedures or methods of the face detection unit 10 and the physique estimation unit 11.
  • the memory 105 may be a computer-readable storage medium in which a program for causing a computer to function as the face detection unit 10 and the physique estimation unit 11 is stored.
  • the memory 105 may be, for example, a nonvolatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically-EPROM), or a volatile memory.
  • a nonvolatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically-EPROM), or a volatile memory.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrically-EPROM
  • Magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs, and the like are applicable.
  • part of the functions of the face detection unit 10 and the physique estimation unit 11 may be realized by dedicated hardware, and a part thereof may be realized by software or firmware.
  • the face detection unit 10 realizes the function with a processing circuit as dedicated hardware.
  • the processor 104 may realize a function by reading and executing a program stored in the memory 105.
  • the processing circuit can realize each of the above functions by hardware, software, firmware, or a combination thereof.
  • the physique estimation device 1 determines the seat on which the occupant is seated based on the occupant face information detected from the image, and the determined reference position of the seat and the position of the face And the occupant's physique is estimated based on the occupant's sitting height.
  • the physique estimation unit 11 determines the seat on which the occupant is seated based on the position of the occupant's face and the size of the face detected from the image, and uses the converted value corresponding to the determined seat as the reference position. And the difference between the face position and the seat height of the passenger. Since it is only necessary to be able to identify the face position from the occupant face information detected from the image, the face information detection target image may be an image taken with a monocular camera. Thereby, the physique estimation apparatus 1 can estimate the physique of the vehicle occupant using the image taken by the monocular camera.
  • FIG. FIG. 6 is a block diagram showing a configuration of a physique estimation apparatus 1A according to Embodiment 2 of the present invention.
  • the physique estimation device 1A estimates the occupant's physique in the same manner as in the first embodiment, and when the child seat is detected, the physique of the occupant sitting on the child seat is subjected to the physique estimation process described in the first embodiment. Without presuming that the physique is classified as a child.
  • the physique estimation device 1A includes a face detection unit 10, a physique estimation unit 11A, and a child seat detection unit 12. As in the first embodiment, the physique estimation unit 11A determines the seat on which the occupant is seated based on the face information detected by the face detection unit 10, and determines the reference position and the face position for the determined seat. The seat height of the occupant is calculated using the difference between the occupants and the physique of the occupant is estimated based on the seat height of the occupant. Further, the physique estimation unit 11A determines the occupant sitting on the child seat based on the child seat detection result input from the child seat detection unit 12, and estimates that the determined physique of the occupant is classified as a child. To do.
  • the child seat detection unit 12 inputs an image in which the vehicle interior is photographed by the camera 2 and detects child seat information from the input image.
  • the child seat information detection process for example, an image recognition method using a HOG (Histogram of Oriented Gradient) feature amount may be used, or a known image recognition method other than this may be used.
  • the child seat detection result is, for example, the position coordinates of the child seat in the image.
  • the position coordinates of the child seat may be, for example, the position coordinates of a point included in the child seat area in the image, or may be the position coordinates of a point on a rectangle that is inscribed in the area.
  • the processing circuit that realizes the functions of the face detection unit 10, the physique estimation unit 11A, and the child seat detection unit 12 may be the processing circuit 103 that is dedicated hardware illustrated in FIG. 5A.
  • the processing circuit that realizes the functions of the face detection unit 10, the physique estimation unit 11A, and the child seat detection unit 12 may be the processor 104 that executes the program stored in the memory 105 shown in FIG. 5B.
  • some of the functions of the face detection unit 10, the physique estimation unit 11A, and the child seat detection unit 12 may be realized by dedicated hardware, and some may be realized by software or firmware.
  • FIG. 7 is a flowchart showing details of the physique estimation process in the second embodiment.
  • the processing from step ST1b, the processing from step ST3b to step ST5b, and the processing from step ST7b in FIG. 7 are the same as the processing from step ST1a to step ST5a shown in FIG.
  • the physique estimation unit 11A determines that the seat corresponding to this determination area is the seating position of the occupant. Subsequently, the physique estimation unit 11A determines whether or not the seat on which the occupant is seated is a child seat based on the child seat detection result input from the child seat detection unit 12 (step ST2b). For example, when the position coordinates of the child seat are included in the image area of the seat that is determined to be seated, the physique estimation unit 11A determines that the seat that is determined to be seated is the child seat.
  • step ST2b When it is determined that the seat on which the occupant is seated is not a child seat (step ST2b; NO), the physique estimation unit 11A executes a series of processes from step ST3b.
  • the physique estimation unit 11A determines that all the seats on which the occupant is seated are not child seats, and similarly executes a series of processes from step ST3b. To do.
  • the physique estimation unit 11A estimates that the physique of the occupant seated on the seat is a physique classified as a child (step ST6b). .
  • the physique estimation result of the occupant by the physique estimation unit 11A is output from the physique estimation device 1A to the airbag control device 3.
  • the airbag control device 3 changes the pressure (deployment inflation force) of the airbag in the child seat to a pressure corresponding to the child.
  • the physique estimation device 1A includes the child seat detection unit 12.
  • the physique estimation unit 11A determines an occupant seated on the child seat based on the child seat information detected by the child seat detection unit 12, and estimates that the determined physique of the occupant is a physique classified as a child.
  • the physique estimation unit 11A estimates that the physique of the occupant seated on the child seat is a physique classified as a child without calculating the occupant's sitting height. Thereby, the computational complexity required for a physique estimation process can be reduced.
  • FIG. FIG. 8 is a block diagram showing a configuration of a physique estimation apparatus 1B according to Embodiment 3 of the present invention.
  • the physique estimation device 1B detects the occupant's face information and shoulder information from the vehicle interior image, and determines the seat on which the occupant is seated based on the detected face information.
  • the physique estimation device 1B calculates the occupant's seat height from the seat on which the occupant is seated and face information, calculates the occupant's shoulder width from the shoulder information, and estimates the occupant's physique based on the occupant's shoulder width and seat height.
  • the physique estimation device 1B includes a face detection unit 10, a physique estimation unit 11B, and a shoulder detection unit 13. As in the first embodiment, the physique estimation unit 11B determines the seat on which the occupant is seated based on the face information detected by the face detection unit 10, and determines the reference position and the face position for the determined seat. The seat height of the occupant is calculated using the difference. Furthermore, the physique estimation unit 11B calculates the occupant's shoulder width based on the shoulder detection result by the shoulder detection unit 13, and estimates the occupant's physique based on the occupant's shoulder width and seat height.
  • the shoulder detection unit 13 inputs an image in which the passenger compartment is photographed, and detects passenger's shoulder information from the input image.
  • an image recognition method using HOG feature values may be used.
  • a shoulder region may be detected from an image by template matching using a shoulder image template.
  • other known image recognition methods may be used.
  • the shoulder detection result is, for example, the position coordinates of the shoulder portion in the image.
  • the position coordinates of the shoulder portion may be the position coordinates of a point included in the region of the shoulder portion in the image, or may be the position coordinate of a point on a rectangle that is inscribed in the region of the shoulder portion.
  • the shoulder detection unit 13 can detect only the shoulder information of the left shoulder of the occupant.
  • the passenger seated in the rear seat of the passenger seat may hide the left shoulder when viewed from the camera 2 by the passenger seat.
  • the shoulder detection unit 13 can detect only the shoulder information of the right shoulder of the passenger. Therefore, the shoulder detection unit 13 may detect the shoulder region by using the image feature amount for the left shoulder and the image feature amount for the right shoulder depending on the seat. Further, the shoulder detection unit 13 may detect the shoulder region by properly using the left shoulder template and the right shoulder template according to the seat.
  • the processing circuit that realizes the functions of the face detection unit 10, the physique estimation unit 11B, and the shoulder detection unit 13 may be the processing circuit 103 that is dedicated hardware illustrated in FIG. 5A.
  • the processing circuit that realizes the functions of the face detection unit 10, the physique estimation unit 11B, and the shoulder detection unit 13 may be the processor 104 that executes the program stored in the memory 105 shown in FIG. 5B.
  • Part of the functions of the face detection unit 10, the physique estimation unit 11B, and the shoulder detection unit 13 may be realized by dedicated hardware, and part of the functions may be realized by software or firmware.
  • FIG. 9 is a flowchart showing details of the physique estimation process in the third embodiment.
  • the processing from step ST1c to step ST3c and the processing from step ST6c in FIG. 9 are the same as the processing from step ST1a to step ST3a and the processing from step ST5a shown in FIG.
  • the physique estimation unit 11B calculates the shoulder width of the occupant based on the position of the shoulder portion included in the shoulder detection result (step ST4c). For example, when the position coordinates of both the left and right shoulder portions are obtained, the physique estimation unit 11B calculates the difference between the position coordinates of the left and right shoulder portions, and converts the difference into the shoulder width using the converted value.
  • the converted value is a value for converting the distance between points in the two-dimensional coordinate system of the image into a distance in the horizontal direction of the real space. The conversion value is determined in advance by experiment.
  • FIG. 10 is a diagram showing an outline of shoulder width calculation.
  • the physique estimation unit 11B calculates the coordinate P1 of the center position of the occupant A's face from the face detection result, and calculates the coordinates P2 of the shoulder end position of the occupant A from the shoulder detection result.
  • the physique estimation unit 11B calculates a difference ⁇ P between the coordinate P1 of the center position of the face and the coordinate P2 of the end position of the shoulder, and this difference ⁇ P 2 is converted to shoulder width.
  • the physique estimation unit 11B estimates the occupant's physique class from the mixed Gaussian distribution model using the occupant's sitting height and shoulder width (step ST5c). For example, the physique estimation unit 11B uses a mixed Gaussian distribution parameter with a mixture number of 4 (adult male, adult female, minor male, minor female) as the weight, sitting height, and shoulder width of the person included in the physical measurement statistical data. Get based on. Subsequently, the physique estimation unit 11B estimates the physique class of the occupant from the mixed Gaussian distribution model defined by the mixed Gaussian distribution parameters, using the sitting height and the shoulder width obtained from the image.
  • the mixed Gaussian distribution model is correspondence data between body measurement data including a sitting height and a shoulder width and a person's physique.
  • the physique estimation unit 11B may use SVM (Support Vector Machine), which is a data clustering method, for the physique estimation. Furthermore, the classification of the physique class may be based on other than the body weight, and the number of mixed Gaussian distribution parameters may be changed.
  • SVM Serial Vector Machine
  • the physique estimation device 1B includes the shoulder detection unit 13.
  • the physique estimation unit 11B calculates the occupant's shoulder width based on the shoulder information detected by the shoulder detection unit 13, and estimates the occupant's physique based on the calculated occupant's shoulder width and seat height.
  • the physique estimation unit 11B estimates the occupant's physique from the occupant's shoulder width and sitting height by referring to the correspondence data between the physical measurement data including the sitting height and the shoulder width and the physique of the person.
  • the physique estimation apparatus 1B can estimate the physique of a vehicle occupant using an image taken by a monocular camera.
  • Embodiment 4 Vehicle seats can generally be slid or reclined.
  • the occupant seated in the seat moves away from or approaches the camera 2.
  • the position of the occupant's face away from the camera 2 moves upward in the image taken by the camera 2 by sliding or reclining the seat. Due to the seat slide or reclining, the position of the occupant's face as viewed from the camera 2 moves downward in the image. For this reason, the position of the face may be deviated from the determination area by sliding or reclining the seat.
  • the physique estimation unit refers to data indicating the face position range and face size range corresponding to the seat slide position or reclining position, You may determine the seat you are doing.
  • FIG. 11 is a diagram showing a change in the position of the occupant's face corresponding to the seat slide position, and shows an image 2a in which the vehicle interior is photographed by the camera 2 facing from the front to the rear of the vehicle.
  • the driver's seat is slid forward, the position of the face of the occupant seated in the driver's seat moves outward and downward in the image 2a, and the face size increases.
  • the driver's seat is slid rearward, the position of the face of the occupant seated in the driver's seat moves to the center and upward in the image 2a, and the face size is reduced.
  • determination areas Pa, Pb, and Pc corresponding to the seat slide position are estimated.
  • the determination area Pa indicates an image range in which the face of an occupant seated in the driver seat that has been slid the most forward is located.
  • the determination area Pb shows an image range in which the face of an occupant seated in the driver's seat slid to the normal position is located.
  • the determination area Pc indicates an image range in which the face of an occupant seated in the driver's seat slid rearward is located.
  • the determination area Pa that is the widest image range is set in the physique estimation unit. Since the size of the face of the occupant seated in the driver's seat slid backward becomes smaller in the image 2a, the determination area Pc that is the narrowest image range is set in the physique estimation unit.
  • An intermediate image range corresponding to the normal slide position of the driver's seat is the determination region Pb. Note that the determination areas Pa, Pb, and Pc are determined in advance by experiments.
  • the physique estimation unit determines that the occupant is seated in the driver's seat regardless of whether the face position specified from the face detection result is included in any of the determination areas Pa, Pb, and Pc.
  • the case where the seat is slid is taken as an example. However, when the seat is reclined, the determination area corresponding to the reclining position is also used for the determination of the seat.
  • the reference position and the converted value used for calculating the seat height of the occupant also have different values depending on the seat slide position or reclining position. Therefore, a reference position and a converted value corresponding to the slide position or the reclining position are set in the physique estimation unit.
  • the physique estimation unit determines the seat on which the occupant is seated, the physique estimation unit calculates the seat height of the occupant using the converted value and the reference position corresponding to the slide position or the reclining position.
  • the physique estimation unit can accurately determine the seat on which the occupant is seated even when the seat is slid or reclined, and can calculate an accurate seat height.
  • the physique estimation device can estimate the physique of a vehicle occupant using an image taken by a monocular camera, it can be used for controlling an airbag, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Hospice & Palliative Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Air Bags (AREA)

Abstract

体格推定装置（１）が、車室内が撮影された画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。

Description

体格推定装置および体格推定方法
　この発明は、車両の乗員の体格を推定する体格推定装置および体格推定方法に関する。
　自動車には、事故が発生したときに乗員の負傷を防ぐまたは負傷を軽減するためにエアバッグが搭載されている。エアバッグ制御装置は、自動車の事故が発生したときの乗員の有無に応じてエアバッグの作動可否を変更し、乗員の体格に応じてエアバッグが作動したときの圧力（展開膨張力）を変更する。
　自動車の乗員の体格を推定する従来の技術として、例えば、特許文献１には、自動車に搭載されたステレオカメラで撮影された画像に基づいて乗員の体格を推定するシステムが記載されている。
特開２００８－２８３８号公報
　ステレオカメラは、単眼カメラに比べて高価であり、画像処理に必要な計算量も多い。このため、特許文献１に記載されたシステムには、高価でかつ計算能力の高い計算装置が必要になるという課題があった。
　この発明は上記課題を解決するものであり、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる体格推定装置および体格推定方法を得ることを目的とする。
　この発明に係る体格推定装置は、顔検出部および体格推定部を備える。顔検出部は、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する。体格推定部は、顔検出部によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
　この発明によれば、体格推定装置が、車室内が撮影された画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。
　画像から検出された乗員の顔情報から顔の位置を特定できればよいので、顔情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
この発明の実施の形態１に係る体格推定装置の構成例を示すブロック図である。 実施の形態１に係る体格推定方法を示すフローチャートである。 実施の形態１における体格推定処理の詳細を示すフローチャートである。 車室内が撮影された画像における座席ごとの判定領域を示す図である。 図５Ａは、実施の形態１に係る体格推定装置の機能を実現するハードウェア構成を示すブロック図である。図５Ｂは、実施の形態１に係る体格推定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 この発明の実施の形態２に係る体格推定装置の構成例を示すブロック図である。 実施の形態２における体格推定処理の詳細を示すフローチャートである。 この発明の実施の形態３に係る体格推定装置の構成例を示すブロック図である。 実施の形態３における体格推定処理の詳細を示すフローチャートである。 肩幅の算出の概要を示す図である。 座席のスライド位置に対応した顔の位置および大きさの変化を示す図である。
　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る体格推定装置１の構成例を示すブロック図である。体格推定装置１は、カメラ２によって撮影された車室内の画像を入力して、入力した画像から乗員の顔情報を検出し、検出した顔情報に基づいて乗員が着座している座席を判定する。そして、体格推定装置１は、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
　実施の形態１では、体格推定装置１が車載装置であることを想定しているが、車両外部に設けてもよい。例えば、車両外部に存在するサーバ装置で体格推定装置１を実現してもよい。この場合、サーバ装置が、車載通信機器から車室内の撮影画像を受信し、受信した撮影画像に基づいて推定された乗員の体格推定結果を車載通信機器に返信する。車載通信機器は、受信した乗員の体格推定結果をエアバッグ制御装置３に出力する。
　カメラ２は、車室内を撮影範囲とした単眼カメラである。例えば、カメラ２には、暗所での撮影が可能な赤外線カメラを用いてもよい。また、カメラ２は、ＣＣＤカメラまたはＣＭＯＳカメラといった可視光領域のカメラを用いてもよい。
　カメラ２は、車室内の全ての乗員が撮影されるように台数および取り付け位置が調整されている。例えば、車室内のルームミラー付近に取り付けられたカメラ２は、１台で車室内の広い範囲を撮影可能である。なお、カメラ２は、２台以上であってもよい。例えば、座席ごとに設けられて、対応する座席を撮影範囲に含むカメラ２を用いてもよい。
　体格推定装置１によって着座位置ごとに得られた乗員の体格推定結果はエアバッグ制御装置３に出力される。エアバッグ制御装置３は、体格推定装置１から入力した乗員の体格推定結果に基づいて、エアバッグの作動を制御する。例えば、エアバッグ制御装置３は、乗員の体格に応じてエアバッグが作動したときの圧力を変更する。
　体格推定装置１は、顔検出部１０および体格推定部１１を備えて構成される。
　顔検出部１０は、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する。体格推定部１１は、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する。
　次に動作について説明する。
　図２は、実施の形態１に係る体格推定方法を示すフローチャートであり、車室内が撮影された画像を入力してから乗員の体格が推定されるまでの一連の処理を示している。
　顔検出部１０は、カメラ２から車室内が撮影された画像を入力して、入力した画像から乗員の顔情報を検出する（ステップＳＴ１）。顔情報の検出処理には、例えば、ｈａａｒ－ｌｉｋｅ特徴量を用いた画像認識方法を用いてもよく、これ以外の既知の画像認識方法を用いてもよい。また、顔検出部１０は、画像全体を顔検出対象とするのではなく、顔検出対象を、後述する着座位置の判定領域に絞ってもよい。これにより、顔検出に要する計算量を低減することができる。
　顔情報は、画像内の顔の領域を示す情報であり、顔の位置および顔の大きさを示す座標が含まれる。顔の領域は、顔全体の領域であってもよいが、顔の位置および顔の大きさを特定できる範囲であれば、顔の一部の領域であってもよい。
　顔の位置および顔の大きさを示す座標としては、例えば、顔の領域が内接する矩形上の対角の２点の座標であってもよい。対角の２点とは、例えば、上記矩形の左上の点と右下の点とである。また、上記矩形上の点のうち、顔の幅方向の２点および高さ方向の２点のいずれか、または両方であってもよい。顔情報には、顔のパーツ（目、鼻、口、耳）の座標が含まれてもよい。顔検出部１０は、これらの顔情報を含む顔検出結果を体格推定部１１に出力する。
　次に、体格推定部１１は、乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、算出した乗員の座高に基づいて乗員の体格を推定する（ステップＳＴ２）。
　例えば、体格推定部１１は、顔検出部１０によって検出された顔情報から、乗員の顔の位置および顔の大きさを特定して、特定した顔の位置および顔の大きさに基づいて乗員が着座している座席を判定する。体格推定部１１は、判定した座席に応じた換算値を用いて基準位置と顔の位置との差分を乗員の座高に換算する。体格推定部１１は、上記差分を換算して得られた乗員の座高に基づいて、座高を含む身体計測データと人の体格との対応データを参照して、座高値に対応する乗員の体格を推定する。
　次に体格推定処理の詳細を説明する。
　図３は、実施の形態１における体格推定処理の詳細を示すフローチャートであり、図２のステップＳＴ２の具体的な処理を示している。
　ステップＳＴ１ａにおいて、体格推定部１１は、顔検出部１０から入力した顔検出結果から、乗員が着座している座席を判定する。例えば、体格推定部１１は、顔検出結果から特定した顔の位置の座標に基づいて、座席ごとの判定領域に顔の位置が含まれるか否かを判定する。
　図４は、車室内が撮影された画像２ａにおける座席ごとの判定領域を示す図である。
　画像２ａは、カメラ２によって車室内が撮影された画像である。判定領域２０～２４は、座席ごとに設定された判定領域であって、乗員が着座したときに顔が位置する画像範囲を示している。判定領域２０～２４は、事前に実験によって決定される。
　なお、判定領域２０～２４は、対応する座席に着座した乗員が正面を向いている場合に加え、乗員が横を向いたとき、あるいは乗員が下または上を向いたときであっても、乗員の顔が含まれるように調整された画像範囲である。
　判定領域２０は、運転席に着座した乗員の顔が位置する画像範囲であり、判定領域２１は、助手席に着座した乗員の顔が位置する画像範囲である。判定領域２２は、運転席の後部座席に着座した乗員の顔が位置する画像範囲であり、判定領域２３は、助手席の後部座席に着座した乗員の顔が位置する画像範囲である。判定領域２４は、中央の後部座席に着座した乗員の顔が位置する画像範囲である。
　体格推定部１１は、判定領域２０～２４のうち、顔の位置が複数の判定領域に重複している場合、顔検出結果から特定した顔の大きさに基づいて、乗員が着座している座席を判定する。例えば、運転席に対応する判定領域２０と運転席の後部座席に対応する判定領域２２とは、図４に示すように領域の一部が重複している。体格推定部１１は、この重複した領域に顔の位置が含まれると判定した場合、顔検出結果から顔の大きさを特定し、特定した顔の大きさが閾値よりも大きければ、乗員が、運転席（カメラ２に近い側の座席）に着座していると判定する。顔の大きさが閾値以下である場合、体格推定部１１は、乗員が後部座席（カメラ２から遠い側にある座席）に着座していると判定する。なお、顔の大きさの判定に用いる閾値は、事前に実験によって決定される。
　図３の説明に戻る。
　判定領域に顔の位置が含まれると判定した場合（ステップＳＴ１ａ；ＹＥＳ）、体格推定部１１は、この判定領域に対応する座席に乗員が着座していると判定し、判定した座席についての基準位置と顔の位置との差分を算出する（ステップＳＴ２ａ）。上記差分を算出する顔の位置としては、顔の領域の上端位置、下端位置および中央位置のいずれかでもよく、顔のパーツ（目、鼻、口、耳）のいずれかの位置であってもよい。
　基準位置は、例えば、座席の座面の高さ位置であり、カメラ２によって撮影された画像の２次元座標系の座標値で表される。画像に座席の座面が写る場合、画像内の座面の高さ位置の座標が基準位置とされる。画像に座席の座面が写らない場合、画像の２次元座標系を画像外まで拡張した２次元座標系において座席の座面が高さ位置と推定される位置座標が基準位置とされる。基準位置は、事前に実験によって決定される。
　次に、体格推定部１１は、換算値を用いて、基準位置と顔の位置との差分を乗員の座高に換算する（ステップＳＴ３ａ）。換算値は、画像の２次元座標系の点間の距離を実空間の鉛直方向の距離に換算する値である。換算値は、事前に実験によって決定される。
　基準位置および換算値は、座席ごとに異なる値であってもよく、座席によって共通の値であってもよい。例えば、運転席の座面の高さと助手席の座面の高さは一般に同じであるので共通の基準値を使用し、図４に示した３つの後部座席の高さも同じであるので、共通の基準値を使用する。
　体格推定部１１は、乗員の座高に基づいて乗員の体格クラスを推定する（ステップＳＴ４ａ）。例えば、体格推定部１１は、ステップＳＴ３ａで算出された乗員の座高を分類用閾値と比較し、比較の結果に応じて乗員の体格クラスを推定する。体格クラスは、乗員の大きさを分類したクラスであり、例えば、エアバッグの圧力を変更する判断基準に応じて決定される。体格クラスの分類用の上記閾値は、事前に実験によって決定される。
　体格推定部１１による乗員の体格推定結果（例えば、体格クラス）は、体格推定装置１からエアバッグ制御装置３に出力される。エアバッグ制御装置３は、体格推定装置１から入力した乗員の体格推定結果に基づいて、エアバッグが作動したときの圧力を変更する。
　なお、判定領域に顔の位置が含まれないと判定した場合（ステップＳＴ１ａ；ＮＯ）、体格推定部１１は、この判定領域に対応する座席に乗員が着座していないと判定する（ステップＳＴ５ａ）。この後、体格推定部１１は、この座席に関する処理を終了する。
　座高は、座面から人の頭頂部までの距離である。ただし、実施の形態１では、前述したように、顔の位置を示す座標として、例えば、顔の下端位置の座標または顔の中央位置の座標が検出される場合がある。この場合、体格推定部１１は、顔の位置の座標として顔の下端位置の座標が検出されると、座面から顔の下端位置までの距離を算出し、算出した値に顔の高さの標準値を加算して座高を算出する。同様に、顔の位置の座標として顔の中央位置の座標が検出されると、体格推定部１１は、座面から顔の中央位置までの距離を算出し、算出した値に対して顔の高さの標準値を１／２倍した値を加算して座高を算出する。
　以下、体格推定装置１を実現するハードウェア構成について説明する。
　図５Ａは、体格推定装置１の機能を実現するハードウェア構成を示すブロック図である。図５Ｂは、体格推定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図５Ａおよび図５Ｂにおいて、カメラインタフェース１００は、体格推定装置１と図１に示したカメラ２との間のインタフェースであり、カメラ２から体格推定装置１へ出力される画像情報を中継する。エアバッグ制御インタフェース１０１は、体格推定装置１と図１に示したエアバッグ制御装置３との間のインタフェースであり、体格推定装置１からエアバッグ制御装置３へ出力される体格推定結果を中継する。
　不揮発性記憶装置１０２は、体格推定装置１による乗員の体格推定処理で得られた情報を記憶する記憶装置である。不揮発性記憶装置１０２には、カメラ２から入力された画像情報、顔検出部１０によって検出された顔情報、各種の判定に使用される閾値情報、基準値、換算値、および体格推定結果が記憶される。不揮発性記憶装置１０２は、体格推定装置１とは独立して設けられた記憶装置であってもよい。例えば、不揮発性記憶装置１０２として、クラウド上に存在する記憶装置を利用してもよい。
　体格推定装置１における顔検出部１０および体格推定部１１の機能は処理回路によって実現される。すなわち、体格推定装置１は、図２に示すステップＳＴ１からステップＳＴ２までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　処理回路が、図５Ａに示す専用のハードウェアの処理回路１０３である場合、処理回路１０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。顔検出部１０および体格推定部１１の機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
　処理回路が、図５Ｂに示すプロセッサ１０４である場合、顔検出部１０および体格推定部１１の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０５に記憶される。
　プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、顔検出部１０および体格推定部１１の機能を実現する。すなわち、体格推定装置１は、プロセッサ１０４によって実行されるときに、図２に示すステップＳＴ１からステップＳＴ２までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０５を備える。これらのプログラムは、顔検出部１０および体格推定部１１の手順または方法をコンピュータに実行させるものである。メモリ１０５は、コンピュータを、顔検出部１０および体格推定部１１として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
　メモリ１０５には、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
　また、顔検出部１０および体格推定部１１の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、顔検出部１０は、専用のハードウェアとしての処理回路で機能を実現する。体格推定部１１については、プロセッサ１０４が、メモリ１０５に記憶されたプログラムを読み出して実行することによって機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
　以上のように、実施の形態１に係る体格推定装置１は、画像から検出された乗員の顔情報に基づいて乗員が着座している座席を判定し、判定した座席の基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。特に、体格推定部１１が、画像から検出された乗員の顔の位置および顔の大きさに基づいて乗員が着座している座席を判定し、判定した座席に応じた換算値を用いて基準位置と顔の位置との差分を乗員の座高に換算する。画像から検出された乗員の顔情報から顔の位置を特定できればよいので、顔情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置１は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
実施の形態２．
　図６は、この発明の実施の形態２に係る体格推定装置１Ａの構成を示すブロック図である。図６において、図１と同一の構成要素には同一の符号を付して説明を省略する。体格推定装置１Ａは、実施の形態１と同様にして乗員の体格を推定するとともに、チャイルドシートが検出されると、チャイルドシートに着座する乗員の体格を、実施の形態１で説明した体格推定処理を行うことなく、子供に分類される体格であると推定する。
　体格推定装置１Ａは、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２を備える。体格推定部１１Ａは、実施の形態１と同様に、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出し、乗員の座高に基づいて乗員の体格を推定する。また、体格推定部１１Ａは、チャイルドシート検出部１２から入力したチャイルドシート検出結果に基づいて、チャイルドシートに着座位置している乗員を判定し、判定した乗員の体格を子供に分類される体格であると推定する。
　チャイルドシート検出部１２は、カメラ２によって車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出する。チャイルドシート情報の検出処理には、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔ）特徴量を用いた画像認識方法を用いてもよく、これ以外の既知の画像認識方法を用いてもよい。チャイルドシート検出結果は、例えば、画像内のチャイルドシートの位置座標である。また、チャイルドシートの位置座標は、例えば、画像内のチャイルドシートの領域に含まれる点の位置座標であってもよく、この領域が内接する矩形上の点の位置座標であってもよい。
　顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能を実現する処理回路は、図５Ａに示した専用のハードウェアである処理回路１０３であってもよい。また、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能を実現する処理回路は、図５Ｂに示した、メモリ１０５に記憶されたプログラムを実行するプロセッサ１０４であってもよい。
　さらに、顔検出部１０、体格推定部１１Ａおよびチャイルドシート検出部１２の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　次に動作について説明する。
　顔検出部１０による動作は実施の形態１と同様であるので説明を省略する。
　図７は、実施の形態２における体格推定処理の詳細を示すフローチャートである。図７のステップＳＴ１ｂの処理、ステップＳＴ３ｂからステップＳＴ５ｂまでの処理、およびステップＳＴ７ｂの処理は、図３に示したステップＳＴ１ａからステップＳＴ５ａまでの処理と同じであるので説明を省略する。
　判定領域に顔の位置が含まれると判定した場合（ステップＳＴ１ｂ；ＹＥＳ）、体格推定部１１Ａは、この判定領域に対応する座席を乗員の着座位置と判定する。
　続いて、体格推定部１１Ａは、チャイルドシート検出部１２から入力されたチャイルドシート検出結果に基づいて、乗員が着座する座席がチャイルドシートであるか否かを判定する（ステップＳＴ２ｂ）。例えば、体格推定部１１Ａは、チャイルドシートの位置座標が、乗員が着座していると判定した座席の画像領域に含まれる場合、乗員が着座していると判定した座席がチャイルドシートであると判定する。
　乗員が着座する座席がチャイルドシートではないと判定した場合（ステップＳＴ２ｂ；ＮＯ）、体格推定部１１Ａは、ステップＳＴ３ｂからの一連の処理を実行する。
　チャイルドシート検出部１２によって画像からチャイルドシート情報が検出されなかった場合、体格推定部１１Ａは、乗員が着座する全ての座席についてチャイルドシートではないと判定するので、同様に、ステップＳＴ３ｂからの一連の処理を実行する。
　乗員が着座する座席がチャイルドシートであると判定した場合（ステップＳＴ２ｂ；ＹＥＳ）、体格推定部１１Ａは、この座席に着座する乗員の体格を子供に分類される体格であると推定する（ステップＳＴ６ｂ）。体格推定部１１Ａによる乗員の体格推定結果は、体格推定装置１Ａからエアバッグ制御装置３に出力される。エアバッグ制御装置３は、チャイルドシートにおけるエアバッグの圧力（展開膨張力）を、子供に対応した圧力に変更する。
　以上のように、実施の形態２に係る体格推定装置１Ａは、チャイルドシート検出部１２を備える。体格推定部１１Ａは、チャイルドシート検出部１２によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している乗員を判定し、判定した乗員の体格を子供に分類される体格であると推定する。体格推定部１１Ａは、乗員の座高を算出することなく、チャイルドシートに着座する乗員の体格を子供に分類される体格であると推定する。これにより、体格推定処理に要する計算量を低減することができる。
実施の形態３．
　図８は、この発明の実施の形態３に係る体格推定装置１Ｂの構成を示すブロック図である。図８において、図１と同一の構成要素には同一の符号を付して説明を省略する。体格推定装置１Ｂは、車室内の画像から乗員の顔情報および肩情報を検出し、検出した顔情報に基づいて乗員が着座している座席を判定する。体格推定装置１Ｂは、乗員が着座している座席と顔情報から乗員の座高を算出し、肩情報から乗員の肩幅を算出し、乗員の肩幅と座高に基づいて乗員の体格を推定する。
　体格推定装置１Ｂは、顔検出部１０、体格推定部１１Ｂおよび肩検出部１３を備える。
　体格推定部１１Ｂは、実施の形態１と同様に、顔検出部１０によって検出された顔情報に基づいて乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて乗員の座高を算出する。さらに、体格推定部１１Ｂは、肩検出部１３による肩検出結果に基づいて乗員の肩幅を算出し、乗員の肩幅および座高に基づいて乗員の体格を推定する。
　肩検出部１３は、車室内が撮影された画像を入力し、入力した画像から乗員の肩情報を検出する。肩情報の検出処理には、例えば、ＨＯＧ特徴量を用いた画像認識方法を用いてもよい。また、肩画像のテンプレートを用いたテンプレートマッチングで画像から肩の領域を検出してもよい。ただし、これ以外の既知の画像認識方法を用いてもよい。
　肩検出結果は、例えば画像内の肩部分の位置座標である。肩部分の位置座標は、画像内の肩部分の領域に含まれる点の位置座標であってもよく、肩部分の領域が内接する矩形上の点の位置座標であってもよい。
　例えば、右ハンドルの車両において、運転席の後部座席に着座している乗員は、運転席によってカメラ２から見て右肩が隠れてしまう場合がある。この場合、肩検出部１３は、乗員の左肩の肩情報しか検出できない。一方、助手席の後部座席に着座している乗員は、助手席によってカメラ２から見て左肩が隠れることがあり、この場合、肩検出部１３は、乗員の右肩の肩情報しか検出できない。
　そこで、肩検出部１３は、座席に応じて、左肩用の画像特徴量と右肩用の画像特徴量とを使い分けて肩の領域を検出してもよい。また、肩検出部１３は、座席に応じて、左肩用と右肩用のテンプレートとを使い分けて肩の領域を検出してもよい。
　顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能を実現する処理回路は、図５Ａに示した専用のハードウェアである処理回路１０３であってもよい。また、顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能を実現する処理回路は、図５Ｂに示した、メモリ１０５に記憶されたプログラムを実行するプロセッサ１０４であってもよい。顔検出部１０、体格推定部１１Ｂおよび肩検出部１３の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　次に動作について説明する。
　顔検出部１０による動作は実施の形態１と同様であるので説明を省略する。
　図９は、実施の形態３における体格推定処理の詳細を示すフローチャートである。図９のステップＳＴ１ｃからステップＳＴ３ｃまでの処理およびステップＳＴ６ｃの処理は、図３に示したステップＳＴ１ａからステップＳＴ３ａまでの処理およびステップＳＴ５ａの処理と同じであるので説明を省略する。
　体格推定部１１Ｂは、肩検出結果に含まれる肩部分の位置に基づいて乗員の肩幅を算出する（ステップＳＴ４ｃ）。例えば、体格推定部１１Ｂは、左右両方の肩部分の位置座標が得られた場合、左右の肩部分の位置座標の差分を算出し、換算値を用いて差分を肩幅に換算する。換算値は、画像の２次元座標系の点間の距離を実空間の水平方向の距離に換算する値である。換算値は、事前に実験によって決定される。
　図１０は、肩幅の算出の概要を示す図である。図１０に示すように、体格推定部１１Ｂは、顔検出結果から乗員Ａの顔の中心位置の座標Ｐ１を算出し、肩検出結果から乗員Ａの肩の端位置の座標Ｐ２を算出する。肩検出部１３によって乗員Ａの片方の肩しか検出されなかった場合、体格推定部１１Ｂは、顔の中心位置の座標Ｐ１と肩の端位置の座標Ｐ２との差分ΔＰを算出し、この差分ΔＰを２倍した値を肩幅に換算する。
　次に、体格推定部１１Ｂは、乗員の座高および肩幅を用いて混合ガウス分布モデルから乗員の体格クラスを推定する（ステップＳＴ５ｃ）。
　例えば、体格推定部１１Ｂは、混合数を４（成人男性、成人女性、未成年男性、未成年女性）とした混合ガウス分布パラメータを、身体計測統計データに含まれる人の体重、座高および肩幅に基づいて取得する。続いて、体格推定部１１Ｂは、画像から得られた座高および肩幅を用いて、上記混合ガウス分布パラメータで規定される混合ガウス分布モデルから乗員の体格クラスを推定する。上記混合ガウス分布モデルが、座高および肩幅を含む身体計測データと人の体格との対応データである。
　体格の推定に混合ガウス分布を用いたが、体格推定部１１Ｂは、データクラスタリング手法であるＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を、体格の推定に用いてもよい。さらに、体格クラスの分類では体重以外を基準としてもよく、混合ガウス分布パラメータの混合数を変えてもよい。
　以上のように、実施の形態３に係る体格推定装置１Ｂは、肩検出部１３を備える。体格推定部１１Ｂは、肩検出部１３によって検出された肩情報に基づいて乗員の肩幅を算出し、算出した乗員の肩幅および座高に基づいて乗員の体格を推定する。
　特に、体格推定部１１Ｂは、座高および肩幅を含む身体計測データと人の体格との対応データを参照して、乗員の肩幅および座高から乗員の体格を推定する。
　このように、画像から検出された乗員の顔情報から顔の位置を特定でき、肩情報から肩の位置を特定できればよいので、顔情報および肩情報の検出対象の画像は、単眼カメラで撮影された画像であってもよい。これにより、体格推定装置１Ｂは、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができる。
実施の形態４．
　車両の座席は、一般にスライドまたはリクライニングさせることが可能である。
　カメラ２が車両前方から後方に向いている場合、座席をスライドまたはリクライニングさせると、この座席に着座している乗員は、カメラ２から見て離れたり近づいたりする。座席のスライドまたはリクライニングによって、カメラ２から見て離れた状態の乗員の顔の位置は、カメラ２によって撮影された画像内で上側に移動する。座席のスライドまたはリクライニングによって、カメラ２から見て近づいた状態の乗員の顔の位置は、画像内で下側に移動する。このため、座席のスライドまたはリクライニングによって判定領域から顔の位置が外れてしまうことがある。
　一方、座席のスライドまたはリクライニングによって、カメラ２から見て離れた状態の乗員の顔の大きさは、カメラ２によって撮影された画像内で小さくなる。
　また、座席のスライドまたはリクライニングによって、カメラ２から見て近づいた状態の乗員の顔の大きさは、上記画像内で大きくなる。
　そこで、実施の形態１～３のいずれかに係る体格推定部は、座席のスライド位置またはリクライニング位置に対応する顔の位置範囲および顔の大きさの範囲を示すデータを参照して、乗員が着座している座席を判定してもよい。
　図１１は、座席のスライド位置に対応する乗員の顔の位置の変化を示す図であり、車両前方から後方に向いたカメラ２によって車室内が撮影された画像２ａを示している。
　運転席が前にスライドされた場合、運転席に着座している乗員の顔の位置は、画像２ａ内の外側でかつ下側に移動し、かつ、顔の大きさが大きくなる。運転席が後ろにスライドされた場合は、運転席に着座している乗員の顔の位置は、画像２ａ内の中央でかつ上側に移動し、かつ、顔の大きさが小さくなる。
　座席のスライドに伴う画像２ａ内の顔の位置および顔の大きさの変化を反映させるために、図１１に示すように、座席のスライド位置に対応した判定領域Ｐａ，Ｐｂ，Ｐｃを、体格推定部に設定しておく。判定領域Ｐａは、最も前にスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。判定領域Ｐｂは、通常位置にスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。判定領域Ｐｃは、最も後ろにスライドされた運転席に着座した乗員の顔が位置する画像範囲を示している。
　前にスライドされた運転席に着座している乗員の顔の大きさは、画像２ａ内で大きくなるので、体格推定部には、最も広い画像範囲である判定領域Ｐａが設定される。
　後ろにスライドされた運転席に着座している乗員の顔の大きさは、画像２ａ内で小さくなるので、体格推定部には、最も狭い画像範囲である判定領域Ｐｃが設定される。
　運転席の通常のスライド位置に対応する中間の広さの画像範囲が判定領域Ｐｂである。
　なお、判定領域Ｐａ，Ｐｂ，Ｐｃは事前に実験によって決定される。体格推定部は、顔検出結果から特定された顔の位置が判定領域Ｐａ，Ｐｂ，Ｐｃのいずれに含まれる場合であっても、乗員が運転席に着座していると判定する。
　図１１では、座席をスライドさせる場合を例に挙げたが、座席をリクライニングさせる場合も同様に、リクライニング位置に対応した判定領域が座席の判定に用いられる。
　また、乗員の座高を算出するために使用される基準位置および換算値についても、座席のスライド位置またはリクライニング位置に応じて異なる値となる。
　そこで、体格推定部には、スライド位置またはリクライニング位置に対応した基準位置および換算値が設定される。体格推定部は、乗員が着座している座席を判定すると、スライド位置またはリクライニング位置に対応した換算値および基準位置を用いて乗員の座高を算出する。これにより、体格推定部は、座席がスライドまたはリクライニングされた場合であっても、乗員が着座している座席を正確に判定することができ、正確な座高を算出することが可能となる。
　なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
　この発明に係る体格推定装置は、単眼カメラで撮影された画像を用いて車両の乗員の体格を推定することができるので、例えば、エアバッグの制御に利用可能である。
　１，１Ａ，１Ｂ　体格推定装置、２　カメラ、２ａ　画像、３　エアバッグ制御装置、１０　顔検出部、１１，１１Ａ，１１Ｂ　体格推定部、１２　チャイルドシート検出部、１３　肩検出部、２０～２４　判定領域、１００　カメラインタフェース、１０１　エアバッグ制御インタフェース、１０２　不揮発性記憶装置、１０３　処理回路、１０４　プロセッサ、１０５　メモリ。

Claims (7)

  1. 　車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出する顔検出部と、
    　前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定する体格推定部とを備えたこと
    　を特徴とする体格推定装置。
  2. 　前記体格推定部は、車室内が撮影された画像から検出された前記乗員の顔の位置および顔の大きさに基づいて、前記乗員が着座している座席を判定し、換算値を用いて前記基準位置と顔の位置との差分を前記乗員の座高に換算すること
    　を特徴とする請求項１記載の体格推定装置。
  3. 　車室内が撮影された画像を入力し、入力した画像からチャイルドシート情報を検出するチャイルドシート検出部を備え、
    　前記体格推定部は、前記チャイルドシート検出部によって検出されたチャイルドシート情報に基づいて、チャイルドシートに着座している前記乗員を特定し、特定した前記乗員の体格を子供に分類される体格であると推定すること
    　を特徴とする請求項１または請求項２記載の体格推定装置。
  4. 　車室内が撮影された画像を入力し、入力した画像から前記乗員の肩情報を検出する肩検出部を備え、
    　前記体格推定部は、前記肩検出部によって検出された肩情報に基づいて前記乗員の肩幅を算出し、算出した前記乗員の肩幅および座高に基づいて前記乗員の体格を推定すること
    　を特徴とする請求項１または請求項２記載の体格推定装置。
  5. 　前記体格推定部は、座高および肩幅を含む身体計測データと人の体格との対応データを参照して、前記乗員の肩幅および座高から前記乗員の体格を推定すること
    　を特徴とする請求項４記載の体格推定装置。
  6. 　前記体格推定部は、座席のスライド位置またはリクライニング位置に対応する顔の位置範囲および顔の大きさの範囲を示すデータを参照して、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、スライド位置またはリクライニング位置に対応した前記換算値および前記基準位置を用いて前記乗員の座高を算出すること
    　を特徴とする請求項２記載の体格推定装置。
  7. 　顔検出部が、車室内が撮影された画像を入力し、入力した画像から乗員の顔情報を検出するステップと、
    　体格推定部が、前記顔検出部によって検出された顔情報に基づいて前記乗員が着座している座席を判定し、判定した座席についての基準位置と顔の位置との差分を用いて前記乗員の座高を算出し、算出した前記乗員の座高に基づいて前記乗員の体格を推定するステップとを備えたこと
    　を特徴とする体格推定方法。
PCT/JP2018/011415 2018-03-22 2018-03-22 体格推定装置および体格推定方法 WO2019180876A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019569505A JP6739672B2 (ja) 2018-03-22 2018-03-22 体格推定装置および体格推定方法
CN201880091339.3A CN111867466A (zh) 2018-03-22 2018-03-22 体格估计装置及体格估计方法
DE112018007120.0T DE112018007120B4 (de) 2018-03-22 2018-03-22 Physis-Ermittlungseinrichtung und Physis-Ermittlungsverfahren
PCT/JP2018/011415 WO2019180876A1 (ja) 2018-03-22 2018-03-22 体格推定装置および体格推定方法
US17/023,562 US20210001796A1 (en) 2018-03-22 2020-09-17 Physique estimation device and physique estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011415 WO2019180876A1 (ja) 2018-03-22 2018-03-22 体格推定装置および体格推定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/023,562 Continuation US20210001796A1 (en) 2018-03-22 2020-09-17 Physique estimation device and physique estimation method

Publications (1)

Publication Number Publication Date
WO2019180876A1 true WO2019180876A1 (ja) 2019-09-26

Family

ID=67986055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011415 WO2019180876A1 (ja) 2018-03-22 2018-03-22 体格推定装置および体格推定方法

Country Status (5)

Country Link
US (1) US20210001796A1 (ja)
JP (1) JP6739672B2 (ja)
CN (1) CN111867466A (ja)
DE (1) DE112018007120B4 (ja)
WO (1) WO2019180876A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131739A (ja) * 2020-02-20 2021-09-09 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
JP2022053216A (ja) * 2020-09-24 2022-04-05 豊田合成株式会社 車両内状態検知装置
US11305714B2 (en) * 2019-07-16 2022-04-19 Subaru Corporation Vehicle occupant protection system
US20220172493A1 (en) 2020-11-30 2022-06-02 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium
JP2022530605A (ja) * 2020-03-30 2022-06-30 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 子供状態検出方法及び装置、電子機器、記憶媒体
WO2023095297A1 (ja) * 2021-11-26 2023-06-01 日本電気株式会社 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体
WO2024194907A1 (ja) * 2023-03-17 2024-09-26 三菱電機株式会社 乗員検知装置、および、乗員検知方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7287239B2 (ja) * 2019-10-18 2023-06-06 株式会社デンソー 乗員体格判定装置
US11148628B1 (en) * 2020-03-31 2021-10-19 GM Global Technology Operations LLC System and method for occupant classification and the regulation of airbag deployment based thereon

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030218319A1 (en) * 2002-05-22 2003-11-27 Takata Corporation Occupant protection device
JP2005526971A (ja) * 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
JP2008002838A (ja) * 2006-06-20 2008-01-10 Takata Corp 車両乗員検出システム、作動装置制御システム、車両
JP2010203837A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
JP2011164063A (ja) * 2010-02-15 2011-08-25 Stanley Electric Co Ltd 車載装置の受付制御装置および受付制御方法
JP2014201174A (ja) * 2013-04-03 2014-10-27 本田技研工業株式会社 車両制御システム
JP2015231121A (ja) * 2014-06-04 2015-12-21 シャープ株式会社 撮像装置、生体計測ブース、撮像装置の制御方法、プログラム、記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838794B2 (ja) * 1998-10-20 2006-10-25 タカタ株式会社 乗員拘束装置
US20040024507A1 (en) * 2002-07-31 2004-02-05 Hein David A. Vehicle restraint system for dynamically classifying an occupant and method of using same
JP4623501B2 (ja) * 2005-02-18 2011-02-02 タカタ株式会社 検知システム、報知装置、駆動装置、車両
JP2007022401A (ja) * 2005-07-19 2007-02-01 Takata Corp 乗員情報検出システム、乗員拘束装置、車両
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2010203836A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
US20100182425A1 (en) 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
US9934442B2 (en) * 2013-10-09 2018-04-03 Nec Corporation Passenger counting device, passenger counting method, and program recording medium
CN105054936B (zh) * 2015-07-16 2017-07-14 河海大学常州校区 基于Kinect景深图像的快速身高和体重测量方法
EP3165408B1 (en) 2015-11-08 2018-10-03 Thunder Power New Energy Vehicle Development Company Limited Automatic passenger airbag switch
CN105632104B (zh) * 2016-03-18 2019-03-01 内蒙古大学 一种疲劳驾驶检测系统和方法
US10112505B2 (en) 2016-09-21 2018-10-30 Intel Corporation Occupant profiling system
JP6870294B2 (ja) 2016-11-25 2021-05-12 株式会社アイシン 乗員情報検出装置およびプログラム
CN107798685B (zh) * 2017-11-03 2019-12-03 北京旷视科技有限公司 行人身高确定方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005526971A (ja) * 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
US20030218319A1 (en) * 2002-05-22 2003-11-27 Takata Corporation Occupant protection device
JP2008002838A (ja) * 2006-06-20 2008-01-10 Takata Corp 車両乗員検出システム、作動装置制御システム、車両
JP2010203837A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
JP2011164063A (ja) * 2010-02-15 2011-08-25 Stanley Electric Co Ltd 車載装置の受付制御装置および受付制御方法
JP2014201174A (ja) * 2013-04-03 2014-10-27 本田技研工業株式会社 車両制御システム
JP2015231121A (ja) * 2014-06-04 2015-12-21 シャープ株式会社 撮像装置、生体計測ブース、撮像装置の制御方法、プログラム、記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11305714B2 (en) * 2019-07-16 2022-04-19 Subaru Corporation Vehicle occupant protection system
JP2021131739A (ja) * 2020-02-20 2021-09-09 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
JP7401338B2 (ja) 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
JP2022530605A (ja) * 2020-03-30 2022-06-30 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 子供状態検出方法及び装置、電子機器、記憶媒体
JP7259078B2 (ja) 2020-03-30 2023-04-17 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 子供状態検出方法及び装置、電子機器、記憶媒体
JP2022053216A (ja) * 2020-09-24 2022-04-05 豊田合成株式会社 車両内状態検知装置
US20220172493A1 (en) 2020-11-30 2022-06-02 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium
DE102021130719A1 (de) 2020-11-30 2022-06-02 Faurecia Clarion Electronics Co., Ltd. Informationsverarbeitungsgerät, programm und aufzeichnungsmedium
JP7524041B2 (ja) 2020-11-30 2024-07-29 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、及びプログラム
US12094223B2 (en) 2020-11-30 2024-09-17 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium
WO2023095297A1 (ja) * 2021-11-26 2023-06-01 日本電気株式会社 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体
WO2024194907A1 (ja) * 2023-03-17 2024-09-26 三菱電機株式会社 乗員検知装置、および、乗員検知方法

Also Published As

Publication number Publication date
DE112018007120B4 (de) 2022-03-10
JP6739672B2 (ja) 2020-08-12
DE112018007120T5 (de) 2020-11-05
JPWO2019180876A1 (ja) 2020-04-30
CN111867466A (zh) 2020-10-30
US20210001796A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
WO2019180876A1 (ja) 体格推定装置および体格推定方法
CN113556975A (zh) 检测车辆中的对象并获得对象信息的系统、装置和方法
JP4928571B2 (ja) ステレオ検出器を訓練する方法
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
JP4810052B2 (ja) 乗員センサ
US9822576B2 (en) Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle
JP2021504236A5 (ja)
US11861867B2 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
US10417511B2 (en) Image processor, detection apparatus, learning apparatus, image processing method, and computer program storage medium
CN110537207B (zh) 脸部朝向推定装置及脸部朝向推定方法
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
JP2020047273A (ja) ３次元特徴点情報生成装置
JP2010100142A (ja) 車両デバイス制御装置
WO2018167995A1 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP7134364B2 (ja) 体格判定装置および体格判定方法
CN114475511B (zh) 基于视觉的气囊启动
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
GB2568669A (en) Vehicle controller
JP2020194294A (ja) 関節点検出装置
JP2019008400A (ja) 操作制御装置、操作制御システムおよびプログラム
JP7558426B2 (ja) 体格判定装置および体格判定方法
Park et al. Model-based characterisation of vehicle occupants using a depth camera
JP2012141281A (ja) 体積検出装置、及び、体積検出方法
JP7195963B2 (ja) 頭部判別装置、コンピュータプログラム、および記憶媒体
JP5548111B2 (ja) シート検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911215

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019569505

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18911215

Country of ref document: EP

Kind code of ref document: A1