WO2023084738A1 - 体格判定装置および体格判定方法 - Google Patents

体格判定装置および体格判定方法 Download PDF

Info

Publication number
WO2023084738A1
WO2023084738A1 PCT/JP2021/041747 JP2021041747W WO2023084738A1 WO 2023084738 A1 WO2023084738 A1 WO 2023084738A1 JP 2021041747 W JP2021041747 W JP 2021041747W WO 2023084738 A1 WO2023084738 A1 WO 2023084738A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature amount
physique
posture
occupant
feature
Prior art date
Application number
PCT/JP2021/041747
Other languages
English (en)
French (fr)
Inventor
弥生 林
直哉 馬場
浩隆 坂本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/041747 priority Critical patent/WO2023084738A1/ja
Priority to JP2023559346A priority patent/JPWO2023084738A1/ja
Publication of WO2023084738A1 publication Critical patent/WO2023084738A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers

Definitions

  • the present disclosure relates to a human physique determination device and a physique determination method.
  • Patent Literature 1 discloses a technique of calculating a value of a body feature value based on a captured image captured when vehicle information satisfies a specific condition.
  • the present disclosure has been made to solve the above-described problems, and aims to improve the accuracy of calculating the value of the feature value and improving the accuracy of physique determination.
  • a physique determination device includes a posture information acquisition unit that acquires information about the posture of an occupant, and a plurality of feature quantities used to determine the physique of the occupant, and calculates a feature quantity value for each of the feature quantities.
  • a feature quantity identifying unit that identifies a feature quantity that satisfies the calculation conditions based on information about the posture of the occupant, from among a plurality of feature quantities for which calculation conditions are set;
  • the vehicle includes a feature amount calculation section that calculates a feature amount value based on an image, and a physique determination section that determines the physique of an occupant based on the feature amount value calculated by the feature amount calculation section.
  • the calculation accuracy of the value of the feature amount is improved. Therefore, the accuracy of physique determination can be improved.
  • FIG. 1 is a diagram showing a configuration example of a physique determination device according to Embodiment 1;
  • FIG. 4 is a diagram showing an example of calculation conditions set for each type of feature amount in Embodiment 1.
  • FIG. 4A and 4B are diagrams showing an example of captured images when the horizontal direction of the body is the front direction and the right direction in Embodiment 1;
  • FIG. 4A and 4B are diagrams showing an example of a captured image when the vertical direction of the face is the horizontal direction and when the face is upward with respect to the horizontal direction in Embodiment 1.
  • FIG. 10 is a diagram showing an example of a captured image when the left upper arm is not extended forward and when the left upper arm is extended forward in Embodiment 1; 4 is a flowchart for explaining the operation of the physique determination device according to Embodiment 1; 1 is a diagram showing a hardware configuration example of a physique determination device according to Embodiment 1; FIG.
  • FIG. 1 is a diagram showing a configuration example of a physique determination device 1. As shown in FIG.
  • the physique determination device 1 determines the physique based on a plurality of body feature values, and outputs information about the physique as a determination result.
  • the feature amount is, for example, "shoulder width length", “neck length”, or “upper arm length”, etc.
  • a plurality of feature amounts used for physique determination are determined in advance. Details of the feature amount will be described later.
  • the physique determined by the physique determination device 1 is one of "infant”, “small”, “standard”, and “large”.
  • the information about the physique may be a numerical value representing the physique, such as "0: infant”, “1: small”, “2: medium”, or “3: large”. It may be an index indicating the degree of size.
  • An imaging device 2 , a control device 3 , and a posture detection device 4 are connected to the physique determination device 1 .
  • the image capturing device 2 captures an image of an occupant in the vehicle and outputs a captured image.
  • the imaging device 2 is, for example, a near-infrared camera or a visible light camera.
  • the imaging device 2 is installed at a position capable of imaging at least the range in which the passenger's upper body should exist in the vehicle interior.
  • the range in which the upper body should exist is, for example, a range corresponding to the space in front of the backrest and headrest of the seat.
  • the imaging device 2 is installed in the center of a vehicle instrument panel (hereinafter referred to as "instrument panel"), and the front portion including the driver's seat and the front passenger seat is mounted from the center of the instrument panel.
  • the seat shall be imaged.
  • the installation position of the imaging device 2 is not limited to the center of the instrument panel, and may be, for example, the front of each seat.
  • the control device 3 controls the in-vehicle equipment based on the determination results output by the physique determination device 1 .
  • the in-vehicle device is, for example, an airbag control device, a seatbelt control device, or a notification control device.
  • In-vehicle equipment controlled by the control device 3 is not limited to these.
  • the airbag control device is an ECU (Engine Control Unit) for the airbag system, and deploys the airbag based on the judgment result output by the physique judging device 1 in order to suppress harm when the airbag is deployed. control. Specifically, the airbag control device performs control such as not deploying the airbag when the physique is "infant” and reducing the deploying speed when the physique is "small”.
  • the seat belt control device adjusts the restraining force of the seat belt based on the determination result output by the physique determination device 1.
  • the notification control device is, for example, a device that notifies that an infant has been left unattended. Notify the occupants outside the vehicle that
  • the posture detection device 4 detects the posture of the occupant in the vehicle cabin based on the captured image output by the imaging device 2, and outputs information about the posture (hereinafter referred to as "posture information") as a detection result.
  • the posture detected by the posture detection device 4 is, for example, the lateral direction of the body, the vertical direction of the face, the lateral direction of the face, the state of the right upper arm, or the state of the left left arm.
  • the posture detected by the posture detection device 4 is not limited to the one described above.
  • the posture detection device 4 detects whether or not the left-right direction of the body is the front direction. In addition, the posture detection device 4 detects whether or not the lateral direction of the face is the front direction. Further, the posture detection device 4 detects whether or not the vertical direction of the face is horizontal. The posture detection device 4 also detects the state of the left upper arm. Then, the posture detection device 4 outputs the detection result as posture information.
  • the "front direction” is forward in the traveling direction of the vehicle.
  • the horizontal direction of the body is the front direction
  • the horizontal direction of the face is the front direction
  • the angle of rotation (yaw angle) of the face in the left or right direction with respect to the front direction is larger than a predetermined second angle.
  • the vertical direction of the face is the horizontal direction
  • the downward or upward rotation angle (pitch angle) of the face with respect to the horizontal direction is greater than a predetermined third angle. Suppose it is a small case.
  • the state of the upper left arm detected by the posture detection device 4 is whether or not the distance in the depth direction of the left shoulder (hereinafter referred to as "depth distance”) is close to the depth distance of the left elbow, that is, the depth distance of the joint point of the left shoulder. and the difference between the depth distances of the joint points of the left elbow is within a predetermined range.
  • depth distance is the distance in the depth direction from the imaging device 2 toward the subject.
  • the posture detection device 4 may detect the leftward or rightward rotation angle of the body with respect to the front direction, and output the detected rotation angle as the posture information. Further, the posture detection device 4 may detect the leftward or rightward rotation angle of the face with respect to the front direction, and output the detected rotation angle as the posture information. Further, the posture detection device 4 may detect the downward or upward rotation angle of the face with respect to the horizontal direction, and output the detected rotation angle as the posture information.
  • a well-known technique may be used for the method of detecting the attitude by the attitude detection device 4, so the description thereof is omitted.
  • the physique determination device 1 includes a posture information acquisition unit 11 , a feature amount identification unit 12 , a feature amount calculation unit 13 , and a physique determination unit 14 .
  • the posture information acquisition unit 11 acquires the occupant posture information output by the posture detection device 4 .
  • the feature amount specifying unit 12 selects a plurality of feature amounts that are used to determine the physique of the occupant and for which calculation conditions for calculating the value of the feature amount are set for each of the plurality of feature amounts. Based on the posture information of the occupant output by the detection device 4, the feature quantity that satisfies the calculation conditions is specified. That is, the feature amount specifying unit 12 determines whether or not the posture of the occupant satisfies the feature amount calculation condition for each feature amount, and specifies the feature amount that satisfies the calculation condition.
  • a feature amount is a length between a plurality of feature points of the body, and is used for physique determination.
  • a feature point is a predetermined point on the human body, for example, a nose tip feature point, neck feature point, right shoulder joint point, left shoulder joint point, right elbow joint point, left elbow joint point A point, a hip joint point, a right wrist joint point, a left wrist joint point, a right knee joint point, a left knee joint point, a right ankle joint point, or a left ankle joint point.
  • the plurality of feature amounts used for physique determination are "length of shoulder width", "length of neck”, and "length of upper left arm”.
  • a feature amount may be used.
  • shoulder width length is the length between the right shoulder joint point or the left shoulder joint point and the neck feature point.
  • Stress length is the length between the nose minutiae and the neck minutiae.
  • Left upper arm length is the length between the left shoulder articulation point and the left elbow articulation point.
  • the “shoulder width length” may be the length between the joint point of the right shoulder and the joint point of the left shoulder.
  • a feature value is associated with information indicating the type of the feature value, and a set of multiple feature points is associated with each feature value type.
  • the type of the feature amount "shoulder width” is associated with the joint point of the left shoulder and the feature point of the neck.
  • the type of the feature quantity “neck length” is associated with the nose tip feature point and the neck joint point.
  • the left shoulder joint point and the left elbow joint point are associated with the feature amount "left upper arm length”.
  • the calculation condition is a condition for determining whether or not the posture is suitable for calculating the value of the feature amount.
  • calculation conditions for calculating the value of each feature amount are set for each type of feature amount.
  • FIG. 2 shows an example of calculation conditions set for each type of feature amount.
  • the condition set for the type of the feature quantity “length of shoulder width” is the condition that “the horizontal direction of the body is the front direction”. Specifically, the condition is that "posture information regarding the lateral direction of the body is a determination result indicating the front direction.” This is because the length of the shoulder width on the captured image differs from the original value depending on the orientation of the body, and the accuracy of the physique determination decreases.
  • (a) be the length of the shoulder width on the captured image when the left-right direction of the occupant's body is the front direction.
  • (a′) be the length of the shoulder width on the captured image when the left-right direction of the body of the occupant is to the right with respect to the front direction.
  • the length (a') of the shoulder width on the captured image is detected to be shorter than the length (a) of the shoulder width on the captured image, so the accuracy of physique determination decreases.
  • the first angle range for body orientation determination is predetermined, and the calculation condition set for the type of the feature quantity "shoulder width length" is set to "horizontal direction of the body with respect to the frontal direction.”
  • the rotation angle is within a predetermined first angle range.”
  • the condition set for the type of the feature value “neck length” is that “the horizontal direction of the body is the front direction, the horizontal direction of the face is the front direction, and the vertical direction of the face is is horizontal”. Specifically, “the posture information regarding the lateral direction of the body is a determination result indicating the front direction, and the posture information regarding the lateral direction of the face is a determination result indicating the front direction, and the posture regarding the vertical direction of the face” The information is a judgment result indicating the horizontal direction.”
  • (b) be the length of the neck on the captured image when the vertical direction of the face is horizontal.
  • (b') be the length of the neck on the captured image when the vertical direction of the face is upward with respect to the horizontal direction. At this time, the neck length (b') on the captured image is detected to be longer than the neck length (b) on the captured image, so the accuracy of physique determination decreases.
  • a second angle range for body orientation determination, a third angle range for horizontal face orientation determination, and a fourth angle range for vertical face orientation determination are predetermined.
  • the calculation condition set for the type of the feature amount “neck length” is that “the rotation angle of the body in the horizontal direction with respect to the frontal direction is within a predetermined second angle range and the frontal direction is The horizontal rotation angle of the face as a reference is within a predetermined third angle range, and the vertical rotation angle of the face with respect to the horizontal direction is within a predetermined fourth angle range. You can say "Yes.”
  • the condition set for the type of the feature quantity “left arm length” is “the difference between the depth distance of the left shoulder joint point and the depth distance of the left elbow joint point must be within a predetermined range”. be. Specifically, "the posture information regarding the state of the left upper arm is a determination result indicating that the difference between the depth distance of the joint point of the left shoulder and the depth distance of the joint point of the left elbow is within a predetermined range.” This is the condition. This is because the length of the left upper arm in the captured image when the upper left arm is extended forward becomes a different value than when the left upper arm is not extended forward, and the accuracy of physique determination decreases. is.
  • the length of the left upper arm is (c) and also, as shown in FIG. 5B, when the left upper arm extends forward, that is, when the depth distance of the left shoulder joint point is greater than the depth distance of the left elbow joint point, the length of the left upper arm is (c′ ). At this time, the length (c') of the left upper arm on the captured image is detected to be shorter than the length (c) of the left upper arm on the captured image, so the accuracy of physique determination decreases.
  • the feature amount calculator 13 acquires the captured image output by the imaging device 2 . Then, the feature amount calculation unit 13 calculates the value of the feature amount specified by the feature amount specifying unit 12 based on the captured image. Specifically, the feature amount calculation unit 13 calculates the length of a line segment connecting a plurality of feature points associated with the type of feature amount specified by the feature amount specifying unit 12. It is calculated based on the captured image. For example, when the type of the feature amount is a type indicating "shoulder width length", the feature amount calculation unit 13 calculates the length of the line segment connecting the joint point of the left shoulder and the feature point of the neck based on the captured image. calculate.
  • the feature amount calculation unit 13 calculates feature point coordinates based on the captured image.
  • Feature point coordinates are coordinates of feature points on a captured image.
  • a well-known technique may be used as a method of calculating the feature point coordinates based on the captured image. For example, it may be calculated using a machine learning model that receives a captured image as an input and outputs information indicating feature point coordinates and feature point types.
  • the feature amount calculator 13 calculates the length of a line segment connecting the calculated feature points. Note that the method of calculating the feature point coordinates is not limited to using a machine learning model.
  • the physique determination unit 14 determines the physique of the occupant based on the value of the feature amount calculated by the feature amount calculation unit 13 .
  • the physique determination unit 14 may use a well-known technique for determining the physique based on the value of the feature amount.
  • the physique determination unit 14 estimates the physique using the value of the feature amount calculated by the feature amount calculation unit 13 and the learning model generated by machine learning.
  • a learning model is constructed to estimate a result for an input by so-called supervised learning according to pre-generated learning data based on a combination of input and teacher label data.
  • the learning model is learned to output information about the physique corresponding to the value of the feature value according to the learning data in which the input is the value of the feature value and the teacher label is the information about the physique of the occupant.
  • FIG. 6 is a flow chart for explaining the operation of the physique determination device 1 according to the first embodiment.
  • the posture information acquisition unit 11 receives from the posture detection device 4 “whether the lateral direction of the body is the front direction”, “whether the lateral direction of the face is the front direction”, “ Determination of whether or not the vertical direction of the face is horizontal, and whether or not the difference between the depth distance of the left shoulder joint point and the depth distance of the left elbow joint point is within a predetermined range. The result shall be obtained as posture information.
  • posture information acquisition section 11 acquires posture information output from posture detection device 4 (step ST101).
  • the driver is performing an operation to fasten the seat belt after sitting on the seat.
  • the posture of the driver is such that, as shown in FIG. 5A, the direction of the body is to the left of the front, the direction of the face is to the lower left of the front, and the position of the left shoulder in the depth direction. The position of the left elbow in the depth direction is close to the posture.
  • the posture information acquisition unit 11 obtains the determination result indicating that the horizontal direction of the body is not the front direction, the determination result that the horizontal direction of the face is not the front direction, and the horizontal direction of the face. and a determination result indicating that the difference between the depth distance of the left shoulder joint point and the depth distance of the left elbow joint point is within a predetermined range.
  • the feature amount specifying unit 12 selects a plurality of feature amounts that are used for determining the physique of the driver, and for which calculation conditions for calculating the value of the feature amount are set for each of the feature amounts. Among them, the feature amount that satisfies the calculation condition is specified based on the information about the posture of the driver (step ST102).
  • the feature amount identifying unit 12 Based on the determination result obtained by the posture information obtaining unit 11, the feature amount identifying unit 12 identifies the feature amount "left upper arm length" as a feature amount that satisfies the calculation conditions. Then, the feature quantity specifying unit 12 outputs the type of the feature quantity indicating the feature quantity “left upper arm length”.
  • the feature amount calculation unit 13 acquires the captured image output by the imaging device 2, and calculates the value of the feature amount specified by the capture feature amount specifying unit 12 based on the captured image (step ST103). ).
  • the type of the feature amount output by the feature amount specifying unit 12 is the type indicating the "length of the left upper arm”
  • the feature amount calculation unit 13 corresponds to the feature amount "length of the left upper arm”.
  • the length between a plurality of feature points that is, the length between the joint point of the left shoulder and the joint point of the left elbow is calculated based on the captured image.
  • the physique determination device 1 determines whether or not all the values of the feature amounts necessary for physique determination have been calculated (step ST104). When all the values of the feature amounts necessary for physique determination have been calculated ("YES" in step ST104), the operation of physique determination apparatus 1 proceeds to step ST105. On the other hand, when all the values of the feature amounts necessary for physique determination have not been calculated (“NO" in step ST104), the operation of physique determination apparatus 1 returns to step ST101.
  • the physique determination unit 14 determines the physique of the driver based on the value of the feature amount calculated by the feature amount calculation unit 13, and outputs information about the physique to the control device 3 (step ST105).
  • the physique determination apparatus 1 since the physique determination apparatus 1 has not calculated the feature amount "shoulder length" and the feature amount "neck length", the process of the physique determination apparatus 1 returns to step ST101.
  • the driver puts on the seatbelt, starts the engine, and then starts driving.
  • the driver's posture is such that the position of the left shoulder in the depth direction is separated from the position of the left elbow in the depth direction.
  • the posture of the driver is such that the lateral direction of the body is the front direction, the lateral direction of the face is the front direction, and the vertical direction of the face is the horizontal direction.
  • the posture information acquisition unit 11 obtains the determination result indicating that the horizontal direction of the body is the front direction, the determination result that the horizontal direction of the face is the front direction, and the vertical direction of the face.
  • a determination result indicating that the direction is horizontal and a determination result indicating that the difference between the depth distance of the left shoulder joint point and the depth distance of the left elbow joint point is not within a predetermined range are acquired (step ST101). ).
  • the feature quantity specifying unit 12 specifies the feature quantity “shoulder width length” and the feature quantity “neck length” as feature quantities that satisfy the calculation conditions based on the determination result acquired by the posture information acquisition unit 11. . Then, the feature quantity specifying unit 12 outputs the type of the feature quantity indicating the feature quantity “shoulder length” and the type of the feature quantity indicating the feature quantity “neck length” (step ST102).
  • the feature amount calculation unit 13 acquires the captured image output by the imaging device 2, and calculates the value of the feature amount "shoulder width length” and the value of the feature amount "neck length” based on the acquired captured image. Calculate (step ST103).
  • the operation of the physique determination device 1 proceeds to step ST105.
  • the physique determination unit 14 inputs the value of "length of shoulder width", the value of "length of neck”, and the value of "length of left upper arm” to the learning model to determine the physique of the driver (step ST105). ). Then, the physique determination unit 14 outputs, for example, "2: standard” to the control device 3 as the determination result.
  • the physique determination unit 14 performs physique determination when values of all feature amounts are calculated. may perform physique determination.
  • the value of the feature amount is calculated based on the captured image captured under conditions suitable for calculating the value of each feature amount. Since the calculation accuracy of the quantity value is improved, the accuracy of physique determination can be improved.
  • the posture detection device 4 may detect whether or not the body is bent forward and whether or not the body is bent. Then, the physique determination apparatus 1 assumes that the feature amount "sitting height” is used for physique determination, and sets the type of the feature amount “sitting height” to "the body is not slouched forward and the body is curved.” A calculation condition “not satisfied” may be set. The "height of sitting height” on the captured image is detected to be shorter than it should be when the body is bent forward, and longer than it should be when the body is bent. Therefore, the accuracy of physique determination can be improved by adding a calculation condition that "the body is not slouched forward and the body is not arched" to the type of feature value "sitting height". can.
  • the physique determination device 1 sets the calculation conditions set for the types of the feature amounts “shoulder width length” and “neck length” to “the body is not slouched forward and the body is not arched.” ” may be added.
  • the "shoulder width” on the captured image is detected to be longer than it should be when the body is slouched forward, and it is detected to be shorter than it should be when the body is bent.
  • the "length of the neck” on the captured image is detected to be longer than it should be when the body is bent forward, and it is detected to be shorter than it should be when the body is bent. Therefore, by adding the calculation condition that "the body is not slouched forward and the body is not arched" to the types of the feature values "shoulder width length” and "neck length”, can improve the accuracy of
  • the posture detection device 4 may detect whether or not the person is in a normal sitting posture.
  • the normal sitting posture is a posture in which the lateral direction of the body is the front direction, the lateral direction of the face is the front direction, and the vertical direction of the face is the horizontal direction.
  • the physique determination device 1 may specify the feature amount based on the determination result indicating whether or not the person is in the normal sitting posture.
  • a calculation condition of "regular sitting posture" is set for the type of the feature amount "shoulder width" and the type of the feature amount "neck length”.
  • the posture information is the detection result output by the posture detection device 4, but instead of the detection result or in addition to the detection result, the vehicle information is used as the posture information.
  • the physique determination device 1 detects that the passenger has put on and removed a seatbelt based on the vehicle information, or detects that the passenger has operated the side brake, the physique determination device 1 determines that the posture of the passenger is the feature value "the length of the upper left arm. , the posture is determined to be suitable for calculating the value of .
  • the physique determination apparatus 1 acquires vehicle information as occupant posture information, and determines whether or not the occupant posture is suitable for calculating the value of each feature value based on the vehicle information.
  • the posture information acquisition unit 11 acquires vehicle information from an ECU (not shown) as posture information.
  • vehicle information is vehicle information that can estimate the posture of the occupant, and is, for example, information indicating the operation of attaching and detaching the seatbelt, or information indicating the operation of the parking brake. Specifically, it is information indicating that the seatbelt has changed from not worn to worn, or information that indicates that the handbrake has changed from being applied to being released.
  • the feature quantity specifying unit 12 specifies a feature quantity that satisfies the calculation conditions based on the vehicle information acquired by the posture information acquiring unit 11 .
  • a condition using vehicle information is set for the type of feature amount.
  • a calculation condition is set for the type of the feature amount "left upper arm length" that "the information indicating the seatbelt attachment/detachment operation indicates that the seatbelt has changed from the unworn state to the worn state.”
  • a calculation condition is set such that "the information indicating the operation of the parking brake indicates that the parking brake has changed from being applied to being released.”
  • the physique determination apparatus 1 may use, as posture information, information output by an authentication device that performs personal authentication of the occupant instead of or in addition to the determination result output by the posture detection device 4. good.
  • the passenger's personal information In order for the authentication device to authenticate the passenger, the passenger's personal information must be registered in the authentication device in advance.
  • the passenger's personal information is acquired by the authentication device based on the captured image of the passenger, and includes, for example, the positional relationship of facial parts such as eyes and nose.
  • the authentication device When the authentication device detects an occupant whose personal information is not registered, the authentication device causes an output device such as a display device to output information instructing the occupant to take a posture suitable for registering personal information. It is assumed that a posture suitable for registering personal information is determined in advance. After that, based on the captured image output by the imaging device 2, the authentication device determines whether or not the occupant has a posture suitable for registration of personal information, and outputs the determination result. Then, when the authentication device determines that the posture is suitable for registration of personal information, the authentication device acquires personal information based on the captured image.
  • an output device such as a display device to output information instructing the occupant to take a posture suitable for registering personal information. It is assumed that a posture suitable for registering personal information is determined in advance. After that, based on the captured image output by the imaging device 2, the authentication device determines whether or not the occupant has a posture suitable for registration of personal information, and outputs the determination result. Then, when the authentication device determines that the posture
  • the physique determination device 1 determines that the posture of the occupant is the value of the feature quantity “length of shoulder width” and It is determined that the posture is suitable for calculating the value of the feature amount “neck length”.
  • the posture suitable for registering personal information is a posture in which the horizontal direction of the body is facing forward, the horizontal direction of the face is facing the front, and the vertical direction of the face is horizontal. be.
  • the posture information acquisition unit 11 acquires a determination result output by an authentication device (not shown) as posture information, that is, a determination result indicating whether or not the posture is suitable for registration of personal information.
  • the feature quantity specifying unit 12 specifies a feature quantity that satisfies the calculation conditions based on the information that the posture information acquisition unit 11 acquires from the authentication device.
  • the type of the feature amount "shoulder width” or the type of the feature amount “neck length” is set to "indicate that the information obtained from the authentication device is a posture suitable for registration of personal information”. conditions are set.
  • the calculation conditions set for each feature amount are described as shown in FIG. Any condition may be used as long as it determines whether or not the reference posture for is met.
  • a reference posture is, for example, a posture used when generating a learning model that is used when the physique determination device 1 determines a physique. For example, when using a learning model generated using a posture in which the occupant is facing right with respect to the front, it is determined whether the posture of the occupant is facing right with respect to the front.
  • the conditions for the calculation may be used as the calculation conditions.
  • the physique determination device 1 is mounted on a vehicle in the first embodiment, it may be mounted on another moving body.
  • FIG. 7A and 7B are diagrams showing an example of the hardware configuration of the physique determination device 1 according to Embodiment 1.
  • the processing circuit 5 implements the functions of the posture information acquisition unit 11 , the feature amount identification unit 12 , the feature amount calculation unit 13 , and the physique determination unit 14 . That is, the physique determination apparatus 1 calculates the value of the feature amount for each of the plurality of feature amounts used for physique determination based on the captured image captured under conditions suitable for calculating the value of each feature amount, A processing circuit 5 is provided for performing control for determining a physique based on the calculated feature value.
  • the processing circuit 5 may be dedicated hardware as shown in FIG. 7A, or may be a CPU (Central Processing Unit) 6 that executes a program stored in the memory 7 as shown in FIG. 7B.
  • CPU Central Processing Unit
  • the processing circuit 5 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processing circuit 5 When the processing circuit 5 is the CPU 6, the functions of the posture information acquisition unit 11, the feature amount identification unit 12, the feature amount calculation unit 13, and the physique determination unit 14 are performed by software, firmware, or a combination of software and firmware. Realized. That is, the posture information acquisition unit 11, the feature amount identification unit 12, the feature amount calculation unit 13, and the physique determination unit 14 are implemented by a CPU 6 that executes programs stored in the memory 7 or the like, or by a system LSI (Large-Scale Integration). ) and other processing circuits.
  • the program stored in the memory 7 or the like causes the computer to execute the procedures and methods of the posture information acquisition unit 11, the feature amount identification unit 12, the feature amount calculation unit 13, and the physique determination unit 14.
  • the memory 7 is, for example, a non-volatile or Volatile A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the functions of the posture information acquisition unit 11, the feature amount identification unit 12, the feature amount calculation unit 13, and the physique determination unit 14 are partly implemented by dedicated hardware, and partly implemented by software or firmware. You may make it
  • the physique determination device 1 also has an input interface device 8 and an output interface device 9 that communicate with the imaging device 2, the posture detection device 4, the control device 3, or the like.
  • physique determination device 1 physique determination device 2 imaging device 3 control device 4 posture detection device 5 processing circuit 6 CPU 7 memory 8 input interface device 9 output interface device 11 posture information acquisition unit 12 feature amount identification unit 13 feature amount calculation unit 14 physique determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)

Abstract

体格判定装置（１）は、乗員の姿勢に関する情報を取得する姿勢情報取得部（１１）と、乗員の体格の判定に用いられる複数の特徴量であって、特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の特徴量のうち、乗員の姿勢に関する情報に基づいて算出条件を満たす特徴量を特定する特徴量特定部（１２）と、特徴量特定部によって特定された特徴量について撮像画像に基づいて特徴量の値を算出する特徴量算出部（１３）と、特徴量算出部によって算出された特徴量の値に基づいて乗員の体格を判定する体格判定部（１４）とを備える。

Description

体格判定装置および体格判定方法
　本開示は、人の体格判定装置および体格判定方法に関するものである。
　従来、撮像画像に基づいて算出した体の特徴量を用いて体格を判定する技術が知られている。体格判定の精度の向上のためには、体の特徴量の値を精度よく算出する必要がある。例えば、特許文献１には、車両情報が特定の条件を満たした場合に撮像された撮像画像に基づいて、体の特徴量の値を算出する技術が開示されている。
特開２０１９－５５７５９
　しかし、特許文献１に記載された従来技術は、体の特徴量の種別に拘わらず、同一の条件で撮像された撮像画像に基づいて特徴量の値を算出しているため、特徴量の値の算出精度が低く、体格判定の精度が低いという問題がある。
　本開示は、上記のような課題を解決するためになされたもので、特徴量の値の算出精度を向上させ、体格判定の精度を向上させることを目的とする。
　本開示に係る体格判定装置は、乗員の姿勢に関する情報を取得する姿勢情報取得部と、乗員の体格の判定に用いられる複数の特徴量であって、特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の特徴量のうち、乗員の姿勢に関する情報に基づいて算出条件を満たす特徴量を特定する特徴量特定部と、特徴量特定部によって特定された特徴量について撮像画像に基づいて特徴量の値を算出する特徴量算出部と、特徴量算出部によって算出された特徴量の値に基づいて乗員の体格を判定する体格判定部を備えるものである。
　本開示によれば、複数の特徴量の各々について、それぞれの特徴量の値の算出に適した撮像画像に基づいて特徴量の値を算出することによって、特徴量の値の算出精度が向上するため、体格判定の精度を向上させることができる。
実施の形態１に係る体格判定装置の構成例を示す図である。 実施の形態１において特徴量の種別毎に設定された算出条件の一例を示す図である。 実施の形態１において体の左右方向の向きが正面方向である場合と右方向である場合の撮像画像の一例を示す図である。 実施の形態１において顔の上下方向の向きが水平方向である場合と水平方向に対して上方向である場合の撮像画像の一例を示す図である。 実施の形態１において左上腕が前方に伸びていない場合と左上腕が前方に伸びている場合の撮像画像の一例を示す図である。 実施の形態１に係る体格判定装置の動作を説明するためのフローチャートである。 実施の形態１に係る体格判定装置のハードウェア構成例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１における体格判定装置１について図１から図７を用いて説明する。
　ここで、本実施の形態１において、体格判定装置１は車両に搭載されものとする。
　図１は、体格判定装置１の構成例を示す図である。
　体格判定装置１は、体の複数の特徴量に基づいて体格を判定し、判定結果として体格に関する情報を出力する。特徴量は例えば、「肩幅の長さ」、「首の長さ」または「上腕の長さ」等であり、体格の判定に用いられる複数の特徴量は予め定められている。特徴量の詳細については後述する。
　本実施の形態１では、体格判定装置１が判定する体格は、「幼児」、「小柄」、「標準」、「大柄」の何れかであるとする。そして、体格に関する情報は、例えば、「０：幼児」、「１：小柄」、「２：標準」、または「３：大柄」のように、体格をあらわす数値であってもよいし、体格の大きさ度合いを示す指数であってもよい。
　体格判定装置１には、撮像装置２、制御装置３、および姿勢検出装置４が接続されている。
　撮像装置２は、車室内の乗員を撮像し撮像画像を出力する。撮像装置２は、例えば、近赤外線カメラまたは可視光カメラである。撮像装置２は、少なくとも車室内の乗員の上半身が存在すべき範囲を撮像することが可能な位置に設置される。上半身が存在すべき範囲とは、例えば、座席の背もたれおよびヘッドレストの前方の空間に相当する範囲である。
　本実施の形態１では、一例として、撮像装置２は、車両のインストルメントパネル（以下「インパネ」と記載する）の中央に設置されており、インパネの中央から運転席および助手席を含む前部座席を撮像するものとする。なお、撮像装置２の設置位置はインパネの中央に限られず、例えば、各座席の正面もよい。
　制御装置３は、体格判定装置１によって出力された判定結果に基づいて車載機器を制御する。車載機器は、例えば、エアバッグ制御装置、シートベルト制御装置または報知制御装置等である。なお、制御装置３が制御する車載機器はこれらに限られない。
　エアバッグ制御装置は、エアバッグシステム用のＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、エアバッグ展開時の加害性抑圧のために、体格判定装置１によって出力された判定結果に基づいてエアバッグの展開の制御を行う。具体的には、エアバッグ制御装置は、体格が「幼児」である場合はエアバックを展開しない、体格が「小柄」の場合は展開速度を小さくする等の制御を行う。
　シートベルト制御装置は、体格判定装置１によって出力された判定結果に基づいて、シートベルトの拘束力を調整する。
　報知制御装置は、例えば、幼児置去りを報知する装置であり、体格判定装置１によって出力された体格判定結果が「幼児」を示す情報のみである場合、車室内に幼児が置去りになっていることを車外の乗員に報知する。
　姿勢検出装置４は、撮像装置２によって出力された撮像画像に基づいて、車室内の乗員の姿勢を検出し、検出結果として姿勢に関する情報（以下、「姿勢情報」と記載する）を出力する。姿勢検出装置４が検出する姿勢は、例えば、体の左右方向の向き、顔の上下方向の向き、顔の左右方向の向き、右上腕の状態、または左上腕の状態等である。
　なお、姿勢検出装置４が検出する姿勢は上述したものに限られない。
　本実施の形態１では、姿勢検出装置４は、体の左右方向の向きが正面方向であるか否かを検出する。また、姿勢検出装置４は、顔の左右方向の向きが正面方向であるか否かを検出する。また、姿勢検出装置４は、顔の上下方向の向きが水平方向であるか否かを検出する。また、姿勢検出装置４は、左上腕の状態を検出する。そして、姿勢検出装置４は、検出結果を姿勢情報として出力する。
　「正面方向」は車両の進行方向前方であるとする。そして、「体の左右方向の向きが正面方向である」とは、正面方向を基準とした体の左方向または右方向への回転角度が、予め定められた第１の角度より小さい場合であるとする。
　また、「顔の左右方向の向きが正面方向である」とは、正面方向を基準とした顔の左方向または右方向への回転角度（yaw角）が、予め定められた第２の角度より小さい場合であるとする。
　また、「顔の上下方向の向きが水平方向である」とは、水平方向を基準とした顔の下方向または上方向への回転角度（pitch角）が、予め定められた第３の角度より小さい場合であるとする。
　姿勢検出装置４が検出する左上腕の状態とは、左肩の奥行方向の距離（以下「奥行距離」と記載する）と左肘の奥行距離が近いか否か、即ち左肩の関節点の奥行距離と左肘の関節点の奥行距離の差が予め定められた範囲内であるか否か、である。ここで、「奥行距離」とは、撮像装置２から被写体に向かう奥行方向の距離である。
　なお、姿勢検出装置４は、正面方向を基準とした体の左方向または右方向への回転角度を検出し、検出した回転角度を姿勢情報として出力してもよい。また、姿勢検出装置４は、正面方向を基準とした顔の左方向または右方向への回転角度を検出し、検出した回転角度を姿勢情報として出力してもよい。また、姿勢検出装置４は、水平方向を基準とした顔の下方向または上方向への回転角度を検出し、検出した回転角度を姿勢情報として出力してもよい。
　姿勢検出装置４が、姿勢を検出する方法は、周知の技術を用いればよいため説明を省略する。
　体格判定装置１は、姿勢情報取得部１１、特徴量特定部１２、特徴量算出部１３、および体格判定部１４を備える。
　姿勢情報取得部１１は、姿勢検出装置４によって出力された乗員の姿勢情報を取得する。
　特徴量特定部１２は、乗員の体格の判定に用いられる複数の特徴量であって、特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の特徴量のうち、姿勢検出装置４によって出力された乗員の姿勢情報に基づいて、算出条件を満たす特徴量を特定する。すなわち、特徴量特定部１２は、乗員の姿勢が特徴量の算出条件を満たしているか否かを特徴量毎に判定し、算出条件を満たす特徴量を特定する。
　特徴量とは、体の複数の特徴点間の長さであり、体格判定に用いられるものである。特徴点とは、予め定められた人の体における点であり、例えば、鼻頭の特徴点、首の特徴点、右肩の関節点、左肩の関節点、右肘の関節点、左肘の関節点、腰の関節点、右手首の関節点、左手首の関節点、右膝の関節点、左膝の関節点、右足首の関節点、または左足首の関節点等である。
　本実施の形態１では、体格の判定に用いられる複数の特徴量は、「肩幅の長さ」、「首の長さ」、および「左上腕の長さ」であるとして説明するが、他の特徴量を用いてもよい。
　「肩幅の長さ」は、右肩の関節点または左肩の関節点と首の特徴点との間の長さである。「首の長さ」は、鼻頭の特徴点と首の特徴点との間の長さである。「左上腕の長さ」は、左肩の関節点と左肘の関節点との間の長さである。
　なお、「肩幅の長さ」は右肩の関節点と左肩の関節点との間の長さとしてもよい。
　特徴量には、特徴量の種別を示す情報が対応付けられており、特徴量の種別毎に、複数の特徴点の組が対応付けられている。例えば、特徴量「肩幅」の種別には、左肩の関節点および首の特徴点が対応付けられている。特徴量「首の長さ」の種別には、鼻頭の特徴点および首の関節点が対応付けられている。特徴量「左上腕の長さ」には、左肩の関節点および左肘の関節点が対応付けられている。
　算出条件とは、特徴量の値の算出に適している姿勢か否かを判定する条件である。ここで、特徴量の種別の各々には、それぞれの特徴量の値を算出する算出条件が設定されている。
　特徴量の種別毎に設定された算出条件の一例を図２に示す。
　特徴量「肩幅の長さ」の種別に設定される条件は、「体の左右方向の向きが正面方向である」という条件である。具体的には、「体の左右方向に関する姿勢情報が、正面方向を示す判定結果である」という条件である。
　これは、体の向きによって撮像画像上の肩幅の長さが本来と異なる値となり、体格判定の精度が低下するためである。
　例えば、図３Ａに示すように、乗員の体の左右方向の向きが正面方向である場合の撮像画像上の肩幅の長さを（ａ）とする。また、図３Ｂに示すように、乗員の体の左右方向の向きが正面方向に対して右方向である場合の撮像画像上の肩幅の長さを（ａ’）とする。このとき、撮像画像上の肩幅の長さ（ａ）に比べて、撮像画像上の肩幅の長さ（ａ’）は、本来よりも短く検出されるため体格判定の精度が低下する。
　なお、体向き判定用の第１の角度の範囲が予め定められており、特徴量「肩幅の長さ」の種別に設定された算出条件を、「正面方向を基準とした体の左右方向の回転角度が予め定められた第１の角度の範囲内である」としてもよい。
　特徴量「首の長さ」の種別に設定される条件は、「体の左右方向の向きが正面方向である、かつ顔の左右方向の向きが正面方向である、かつ顔の上下方向の向きが水平方向である」という条件である。具体的には、「体の左右方向に関する姿勢情報が、正面方向を示す判定結果である、かつ顔の左右方向に関する姿勢情報が、正面方向を示す判定結果である、かつ顔の上下方向に関する姿勢情報が、水平方向を示す判定結果である」という条件である。
　これは、体の左右方向の向きが、正面方向に対して左方向または右方向となった場合、首の特徴点の位置が変化し、撮像画像上の首の長さが本来と異なる値となり、体格判定の精度が低下するためである。
　また、顔の左右方向の向きが、正面方向に対して左方向または右方向となった場合、または顔の上下方向の向きが、水平方向に対して上方向または下方向となった場合、鼻頭の特徴点の位置が変化し、撮像画像上の首の長さが本来と異なる値となり、体格判定の精度が低下するためである。
　例えば、図４Ａに示すように、顔の上下方向の向きが水平方向である場合の撮像画像上の首の長さを（ｂ）とする。また、図４Ｂに示すように、顔の上下方向の向きが水平方向に対して上方向である場合の撮像画像上の首の長さを（ｂ’）とする。このとき、撮像画像上の首の長さ（ｂ）に比べて、撮像画像上の首の長さ（ｂ’）は 、本来よりも長く検出されるため体格判定の精度が低下する。
　また、例えば、顔の左右方向の向きが正面方向に対して右方向となった場合、鼻の特徴点が右に動くため、撮像画像上の首の長さが本来よりも長く検出され、体格判定の精度が低下する。また、例えば、体の左右方向の向きが、正面方向に対して右方向となった場合、首の特徴点が右に動くため、撮像画像上の首の長さが本来よりも長く検出され、体格判定の精度が低下する。
　なお、体向き判定用の第２の角度の範囲、左右方向の顔向き判定用の第３の角度の範囲、および上下方向の顔向き判定用の第４の角度の範囲が予め定められており、特徴量「首の長さ」の種別に設定された算出条件が、「正面方向を基準とした体の左右方向の回転角度が予め定められた第２の角度の範囲内、かつ正面方向を基準とした顔の左右方向の回転角度が予め定められた第３の角度の範囲内、かつ水平方向を基準とした顔の上下方向の回転角度が予め定められた第４の角度の範囲内である」としてもよい。
　特徴量「左上腕の長さ」の種別に設定される条件は、「左肩の関節点の奥行距離と左肘の関節点の奥行距離との差が予め定められた範囲内であること」である。具体的には、「左上腕の状態に関する姿勢情報が、左肩の関節点の奥行距離と左肘の関節点の奥行距離の差が予め定められた範囲内であることを示す判定結果である」という条件である。これは、左上腕が前方に伸びていない場合に比べて、左上腕が前方に伸びている場合の撮像画像上の左上腕の長さが本来と異なる値となり、体格判定の精度が低下するためである。
　例えば、図５Ａに示すように、左上腕が前方に伸びていない場合、即ち左肩の関節点の奥行距離と、左肘の関節点の奥行距離が同じ場合の左上腕の長さを（ｃ）とする。また、図５Ｂに示すように、左上腕が前方に伸びている場合、即ち左肩の関節点の奥行距離が、左肘の関節点の奥行距離より大きい場合の左上腕の長さを（ｃ’）とする。このとき、撮像画像上の左上腕の長さ（ｃ）に比べて、撮像画像上の左上腕の長さ（ｃ’）は、本来よりも短く検出されるため体格判定の精度が低下する。
　特徴量算出部１３は、撮像装置２によって出力された撮像画像を取得する。そして、特徴量算出部１３は、特徴量特定部１２によって特定された特徴量について撮像画像に基づいて特徴量の値を算出する。
　具体的には、特徴量算出部１３は、特徴量特定部１２によって特定された特徴量の種別に対応付けられた複数の特徴点を結ぶ線分の長さを、撮像装置２により出力された撮像画像に基づいて算出する。例えば、特徴量の種別が「肩幅の長さ」を示す種別である場合、特徴量算出部１３は、撮像画像に基づいて左肩の関節点と首の特徴点とを結ぶ線分の長さを算出する。
　特徴量算出部１３は、撮像画像に基づいて特徴点座標を算出する。特徴点座標とは、撮像画像上における特徴点の座標である。撮像画像に基づいて特徴点座標を算出する方法は周知の技術を用いればよい。例えば、撮像画像を入力として特徴点座標および特徴点の種別を示す情報を出力する機械学習モデルを用いて算出すればよい。特徴量算出部１３は、算出した複数の特徴点を結ぶ線分の長さを算出する。
　なお、特徴点座標の算出方法は、機械学習モデルを用いたものに限られない。
　体格判定部１４は、特徴量算出部１３によって算出された特徴量の値に基づいて乗員の体格を判定する。ここで、体格判定部１４が、特徴量の値に基づいて体格を判定する方法は周知の技術を用いればよい。
　例えば、体格判定部１４は、特徴量算出部１３によって算出された特徴量の値および機械学習によって生成された学習モデルを用いて体格を推定する。学習モデルは、入力および教師ラベルのデータの組み合わせに基づいて予め生成されている学習用データに従って、いわゆる教師あり学習により、入力に対する結果を推定するよう構築される。ここでは、学習モデルは、入力を特徴量の値、教師ラベルを乗員の体格に関する情報とする学習用データに従って、特徴量の値に対する体格に関する情報を出力するよう学習したものである。
　次に、実施の形態１に係る体格判定装置１の動作について説明する。
　図６は、実施の形態１に係る体格判定装置１の動作を説明するためのフローチャートである。
　ここでは、体格を判定する乗員は運転者であるとする。また、体格判定に用いられる特徴量は「肩幅の長さ」、「首の長さ」、および「左上腕の長さ」であるとする。そして、特徴量毎の値の算出条件は、図２に示す算出条件であるとする。
　また、姿勢情報取得部１１は、姿勢検出装置４から、「体の左右方向の向きが正面方向であるか否か」、「顔の左右方向の向きが正面方向であるか否か」、「顔の上下方向の向きが水平方向であるか否か」および「左肩の関節点の奥行距離と左肘の関節点の奥行距離の差が予め定められた範囲内であるか否か」の判定結果を、姿勢情報として取得するものとする。
　初めに、姿勢情報取得部１１は、姿勢検出装置４によって出力された姿勢情報を取得する（ステップＳＴ１０１）。
　ここでは、運転者が座席に着座した後、シートベルトを装着する操作を行っているとする。このときの運転者の姿勢は、図５Ａに示すように体の向きが正面方向に対して左方向であり、顔向きが正面方向に対して左下方向であり、かつ左肩の奥行方向の位置と左肘の奥行方向の位置が近い、という姿勢となっている。
　姿勢情報取得部１１は、体の左右方向の向きが正面方向ではないことを示す判定結果、顔の左右方向の向きが正面方向ではないことを示す判定結果、顔の上下方向の向きが水平方向ではないことを示す判定結果、および左肩の関節点の奥行距離と左肘の関節点の奥行距離との差が予め定められた範囲内であることを示す判定結果を取得する。
　続いて、特徴量特定部１２は、運転者の体格の判定に用いられる複数の特徴量であって、特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の特徴量のうち、運転者の姿勢に関する情報に基づいて算出条件を満たす特徴量を特定する（ステップＳＴ１０２）。
　特徴量特定部１２は、姿勢情報取得部１１によって取得された判定結果に基づいて、算出条件を満たす特徴量として特徴量「左上腕の長さ」を特定する。そして、特徴量特定部１２は、特徴量「左上腕の長さ」を示す特徴量の種別を出力する。
　特徴量算出部１３は、撮像装置２によって出力された撮像画像を取得するとともに、取特徴量特定部１２によって特定された特徴量について、撮像画像に基づいて特徴量の値を算出する（ステップＳＴ１０３）。
ここでは、特徴量算出部１３は、特徴量特定部１２によって出力された特徴量の種別が「左上腕の長さ」を示す種別であるので、特徴量「左上腕の長さ」に対応する複数の特徴点間の長さ、即ち、左肩の関節点と左肘の関節点との間の長さを、撮像画像に基づいて算出する。
　続いて、体格判定装置１は、体格判定に必要な特徴量の値を全て算出したか否か判定する（ステップＳＴ１０４）。体格判定に必要な特徴量の値を全て算出している場合（ステップＳＴ１０４の「ＹＥＳ」の場合）、体格判定装置１の動作は、ステップＳＴ１０５へ進む。一方、体格判定に必要な特徴量の値を全て算出していない場合（ステップＳＴ１０４の「ＮＯ」の場合）、体格判定装置１の動作は、ステップＳＴ１０１へ戻る。
　体格判定部１４は、特徴量算出部１３によって算出された特徴量の値に基づいて運転者の体格を判定し、体格に関する情報を制御装置３へ出力する（ステップＳＴ１０５）。
　ここでは、体格判定装置１は、特徴量「肩幅の長さ」の値および特徴量「首の長さ」の値を算出していないため、体格判定装置１の処理は、ステップＳＴ１０１へ戻る。
　次に、運転者がシートベルトを装着しエンジンを始動させた後、運転を開始したとする。この場合、運転者はハンドルを把持しているので、運転者の姿勢は、左肩の奥行方向の位置と左肘の奥行方向の位置が離れている姿勢となっている。また、運転者の姿勢は、体の左右方向の向きが正面方向であり、顔の左右方向の向きが正面方向かつ顔の上下方向の向きが水平方向である、という姿勢となっている。
　そのため、姿勢情報取得部１１は、体の左右方向の向きが正面方向であることを示す判定結果、顔の左右方向の向きが正面方向であることを示す判定結果、顔の上下方向の向きが水平方向であることを示す判定結果、および左肩の関節点の奥行距離と左肘の関節点の奥行距離との差が予め定められた範囲内ではないことを示す判定結果を取得する（ステップＳＴ１０１）。
　特徴量特定部１２は、姿勢情報取得部１１によって取得された判定結果に基づいて、算出条件を満たす特徴量として特徴量「肩幅の長さ」、および特徴量「首の長さ」を特定する。そして、特徴量特定部１２は、特徴量「肩幅の長さ」を示す特徴量の種別、および特徴量「首の長さ」を示す特徴量の種別を出力する（ステップＳＴ１０２）。
　特徴量算出部１３は、撮像装置２によって出力された撮像画像を取得するとともに、取得した撮像画像に基づいて特徴量「肩幅の長さ」の値および特徴量「首の長さ」の値を算出する（ステップＳＴ１０３）。
　体格判定装置１は、体格判定に必要な特徴量の値を全て算出したので、体格判定装置１の動作はステップＳＴ１０５へ進む。
　体格判定部１４は、「肩幅の長さ」の値、「首の長さ」の値、および「左上腕の長さ」の値を学習モデルへ入力し運転者の体格を判定する（ステップＳＴ１０５）。そして、体格判定部１４は、例えば、判定結果として「２：標準」を制御装置３へ出力する。
　なお、体格判定装置１は、全ての特徴量の値を算出した場合に、体格判定部１４が体格判定を行うとしたが、少なくとも二つの特徴量の値を算出した場合に、体格判定部１４が体格判定を行うとしてもよい。
　以上のように、体格判定に用いられる複数の特徴量の各々について、それぞれの特徴量の値の算出に適した条件で撮像された撮像画像に基づいて特徴量の値を算出することによって、特徴量の値の算出精度が向上するため、体格判定の精度を向上させることができる。
　なお、姿勢検出装置４は、体が前屈みとなっているか否か、および体が反り身となっているか否かを検出するとしてもよい。
　そして、体格判定装置１は、体格判定に特徴量「座高の高さ」が用いられるとし、特徴量「座高の高さ」の種別に「体が前屈みとなっていない、かつ体が反り身となっていない」という算出条件が設定されるとしてもよい。
　撮像画像上の「座高の高さ」は、体が前屈みになった場合は本来よりも短く検出され、体が反り身になった場合は本来よりも長く検出される。そのため、特徴量「座高の高さ」の種別に「体が前屈みとなっていない、かつ体が反り身となっていない」という算出条件を追加することによって、体格判定の精度を向上させることができる。
　また、体格判定装置１は、特徴量「肩幅の長さ」および「首の長さ」の種別に設定される算出条件に「体が前屈みとなっていない、かつ体が反り身となっていない」という条件を追加するとしてもよい。
　撮像画像上の「肩幅」は、体が前屈みになった場合は本来よりも長く検出され、体が反り身になった場合は本来よりも短く検出される。また、撮像画像上の「首の長さ」は体が前屈みになった場合は本来よりも長く検出され、体が反り身になった場合は本来よりも短く検出される。そのため、特徴量「肩幅の長さ」および「首の長さ」の種別に「体が前屈みとなっていない、かつ体が反り身となっていない」という算出条件を追加することによって、体格判定の精度を向上させることができる。
　また、姿勢検出装置４は、正規着座姿勢か否かを検出するとしてもよい。
　正規着座姿勢とは、体の左右方向の向きが正面方向、顔の左右方向の向きが正面方向、かつ顔の上下方向の向きが水平方向である姿勢である。
　そして、体格判定装置１は、正規着座姿勢であるか否かを示す判定結果に基づいて、特徴量を特定してもよい。
　この場合、特徴量「肩幅の長さ」の種別および特徴量「首の長さ」の種別に「正規着座姿勢である」という算出条件が設定される。
　なお、上述した体格判定装置１では、姿勢情報が姿勢検出装置４によって出力された検出結果であるとしたが、その検出結果に替えて、またはその検出結果に加えて車両情報を姿勢情報として用いてもよい。
　例えば、体格判定装置１は、車両情報に基づいて乗員によるシートベルトの着脱操作を検知した場合、または乗員によるサイドブレーキの操作を検知した場合、乗員の姿勢が、特徴量「左上腕の長さ」の値の算出に適した姿勢であると判定する。
　これは、例えば、乗員がシーベルトの着脱操作を行っている場合、図５Ａに示すように「左肩の関節点の奥行距離と左肘の関節点の奥行距離の差が予め定められた範囲内」である姿勢となっていると推定されるためである。乗員がサイドブレーキを操作する場合も同様である。
　この場合、体格判定装置１は、乗員の姿勢情報として車両情報を取得し、車両情報に基づいて乗員の姿勢がそれぞれの特徴量の値の算出に適した姿勢であるか否かを判定する。
　姿勢情報取得部１１は、姿勢情報として図示しないＥＣＵから車両情報を取得する。車両情報は、乗員の姿勢を推定できる車両情報であり、例えば、シートベルトの着脱操作を示す情報、またはサイドブレーキの操作を示す情報等である。具体的には、シートベルトが未着用から着用された状態に変化したことを示す情報、またはサイドブレーキがかけられた状態から解除された状態に変化したことを示す情報等である。
　特徴量特定部１２は、姿勢情報取得部１１によって取得された車両情報に基づいて算出条件を満たす特徴量を特定する。
　ここで、特徴量の種別に対して車両情報を用いた条件が設定されている。例えば、特徴量「左上腕の長さ」の種別に「シートベルトの着脱操作を示す情報が、シートベルトが未着用状態から着用状態に変化したことを示す」という算出条件が設定されている。また、例えば、「サイドブレーキの操作を示す情報が、サイドブレーキがかけられた状態から解除された状態に変化したことを示す」という算出条件が設定されている。
　また、体格判定装置１は、姿勢検出装置４によって出力された判定結果に替えて、またはその判定結果に加えて、乗員の個人認証を行う認証装置によって出力される情報を姿勢情報として用いてもよい。
　認証装置が乗員の認証を行うためには、乗員の個人情報が事前に認証装置に登録されている必要がある。乗員の個人情報は、乗員の撮像画像に基づいて認証装置によって取得されるものであり、例えば、目や鼻等の顔の部位の位置関係等である。
　認証装置は、個人情報が登録されていない乗員を検知した場合、当該乗員に対して個人情報の登録に適した姿勢をとるように指示する情報を、表示装置等の出力装置に出力させる。なお、個人情報の登録に適した姿勢は予め定められているものとする。その後、認証装置は、撮像装置２によって出力された撮像画像に基づいて、当該乗員が個人情報の登録に適した姿勢であるか否かを判定するとともに、判定結果を出力する。そして、認証装置は、個人情報の登録に適した姿勢であると判定した場合、その撮像画像に基づいて個人情報を取得する。
　体格判定装置１は、認証装置によって出力された判定結果が、個人情報の登録に適した姿勢であることを示すものである場合、乗員の姿勢が、特徴量「肩幅の長さ」の値および特徴量「首の長さ」の値の算出に適した姿勢であると判定する。
　これは、個人情報の登録に適した姿勢が、体の左右方向の向きが正面方向、顔の左右方向の向きが正面方向、かつ顔の上下方向の向きが水平方向である、という姿勢だからである。
　姿勢情報取得部１１は、姿勢情報として図示しない認証装置によって出力される判定結果、即ち個人情報の登録に適した姿勢であるか否かを示す判定結果を取得する。
　特徴量特定部１２は、姿勢情報取得部１１が認証装置から取得した情報に基づいて算出条件を満たす特徴量を特定する。
　ここで、特徴量「肩幅の長さ」の種別または特徴量「首の長さ」の種別には、「認証装置から取得した情報が、個人情報の登録に適した姿勢であることを示す」という条件が設定されている。
　なお、本実施の形態１において、特徴量毎に設定された算出条件が図２に示すものであるとして説明したが、これらの条件に限られず、乗員の姿勢が、体格判定装置１による体格判定のための基準姿勢に合致するか否かを判定する条件であればよい。基準姿勢とは、例えば、体格判定装置１によって体格を判定するときに用いられる学習モデルの生成の際に用いた姿勢である。例えば、乗員が正面方向に対して右方向を向いている姿勢を用いて生成した学習モデルを使用する場合は、乗員の姿勢が、正面方向に対して右方向を向いているか否かを判定するための条件を算出条件としてもよい。
　なお、本実施の形態１において、体格判定装置１は車両に搭載されものとしたが、他の移動体に搭載されてもよい。
　図７Ａ、図７Ｂは、実施の形態１に係る体格判定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、姿勢情報取得部１１と、特徴量特定部１２と、特徴量算出部１３と、体格判定部１４の機能は、処理回路５により実現される。すなわち、体格判定装置１は、体格判定に用いられる複数の特徴量の各々について、それぞれの特徴量の値の算出に適した条件で撮像された撮像画像に基づいて特徴量の値を算出し、算出した特徴量の値に基づいて体格を判定する制御を行うための処理回路５を備える。
　処理回路５は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６であってもよい。
　処理回路５が専用のハードウェアである場合、処理回路５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路５がＣＰＵ６の場合、姿勢情報取得部１１と、特徴量特定部１２と、特徴量算出部１３と、体格判定部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、姿勢情報取得部１１と、特徴量特定部１２と、特徴量算出部１３と、体格判定部１４は、メモリ７等に記憶されたプログラムを実行するＣＰＵ６、またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、メモリ７等に記憶されたプログラムは、姿勢情報取得部１１と、特徴量特定部１２と、特徴量算出部１３と、体格判定部１４の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、１３ＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、姿勢情報取得部１１と、特徴量特定部１２と、特徴量算出部１３と、体格判定部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。
　また、体格判定装置１は、撮像装置２、姿勢検出装置４または制御装置３等との通信を行う、入力インタフェース装置８、および、出力インタフェース装置９を有する。
　なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　１　体格判定装置
　２　撮像装置
　３　制御装置
　４　姿勢検出装置
　５　処理回路
　６　ＣＰＵ
　７　メモリ
　８　入力インタフェース装置
　９　出力インタフェース装置
　１１　姿勢情報取得部
　１２　特徴量特定部
　１３　特徴量算出部
　１４　体格判定部

Claims (9)

  1. 　乗員の姿勢に関する情報を取得する姿勢情報取得部と、
    　前記乗員の体格の判定に用いられる複数の特徴量であって、前記特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の前記特徴量のうち、前記乗員の姿勢に関する情報に基づいて前記算出条件を満たす前記特徴量を特定する特徴量特定部と、
    　前記特徴量特定部によって特定された前記特徴量について撮像画像に基づいて前記特徴量の値を算出する特徴量算出部と、
    　前記特徴量算出部によって算出された前記特徴量の値に基づいて前記乗員の体格を判定する体格判定部と、
    　を備えることを特徴とする体格判定装置。
  2. 　前記姿勢に関する情報は、撮像画像に基づいて乗員の姿勢を検出する姿勢検出装置によって出力される検出結果であることを特徴とする請求項１記載の体格判定装置。
  3. 　前記姿勢に関する情報は、車両情報であることを特徴とする請求項１記載の体格判定装置。
  4. 　前記姿勢に関する情報は、乗員の個人認証を行う認証装置によって出力される情報であることを特徴とする請求項１記載の体格判定装置。
  5. 　前記特徴量は肩幅の長さ、首の長さまたは上腕の長さであることを特徴とする請求項１記載の体格判定装置。
  6. 　前記特徴量である前記肩幅の長さに設定された前記算出条件は前記乗員の体の左右方向の向きが正面方向であることを特徴とする請求項５記載の体格判定装置。
  7. 　前記特徴量である前記首の長さに設定された前記算出条件は前記乗員の体の左右方向の向きが正面方向、前記乗員の顔の左右方向の向きが正面方向、および前記乗員の顔の上下方向の向きが水平方向であることを特徴とする請求項５記載の体格判定装置。
  8. 　前記特徴量である前記上腕の長さに設定された前記算出条件は前記乗員の肩の関節点の奥行距離と前記乗員の肘の関節点の奥行距離との差が予め定められた閾値以下であることを特徴とする請求項５記載の体格判定装置。
  9. 　乗員の姿勢に関する情報を取得するステップと、
    　前記乗員の体格の判定に用いられる複数の特徴量であって、前記特徴量の各々に特徴量の値を算出する算出条件が設定されている複数の前記特徴量のうち、前記乗員の姿勢に関する情報に基づいて前記算出条件を満たす前記特徴量を特定するステップと、
    　特定された前記特徴量について撮像画像に基づいて前記特徴量の値を算出するステップと、
    　算出された前記特徴量の値に基づいて前記乗員の体格を判定するステップと、
    を備えることを特徴とする体格判定方法。
PCT/JP2021/041747 2021-11-12 2021-11-12 体格判定装置および体格判定方法 WO2023084738A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/041747 WO2023084738A1 (ja) 2021-11-12 2021-11-12 体格判定装置および体格判定方法
JP2023559346A JPWO2023084738A1 (ja) 2021-11-12 2021-11-12

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041747 WO2023084738A1 (ja) 2021-11-12 2021-11-12 体格判定装置および体格判定方法

Publications (1)

Publication Number Publication Date
WO2023084738A1 true WO2023084738A1 (ja) 2023-05-19

Family

ID=86335429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041747 WO2023084738A1 (ja) 2021-11-12 2021-11-12 体格判定装置および体格判定方法

Country Status (2)

Country Link
JP (1) JPWO2023084738A1 (ja)
WO (1) WO2023084738A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018083561A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員情報検出装置およびプログラム
US20190329672A1 (en) * 2018-04-25 2019-10-31 Ford Global Technologies, Llc Methods and apparatus to facilitate anthropometric seat adjustments
WO2019207625A1 (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 乗員検知装置、乗員検知方法及び乗員検知システム
JP2020047273A (ja) * 2018-09-13 2020-03-26 アイシン精機株式会社 ３次元特徴点情報生成装置
JP2020104680A (ja) * 2018-12-27 2020-07-09 アイシン精機株式会社 室内監視装置
JP2021066276A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 乗員体格判定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018083561A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員情報検出装置およびプログラム
WO2019207625A1 (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 乗員検知装置、乗員検知方法及び乗員検知システム
US20190329672A1 (en) * 2018-04-25 2019-10-31 Ford Global Technologies, Llc Methods and apparatus to facilitate anthropometric seat adjustments
JP2020047273A (ja) * 2018-09-13 2020-03-26 アイシン精機株式会社 ３次元特徴点情報生成装置
JP2020104680A (ja) * 2018-12-27 2020-07-09 アイシン精機株式会社 室内監視装置
JP2021066276A (ja) * 2019-10-18 2021-04-30 株式会社デンソー 乗員体格判定装置

Also Published As

Publication number Publication date
JPWO2023084738A1 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
US20070289799A1 (en) Vehicle occupant detecting system
US20080080741A1 (en) Occupant detection system
JP6739672B2 (ja) 体格推定装置および体格推定方法
US20070289800A1 (en) Vehicle seat detecting system
JP2008269496A (ja) 乗員情報検出システム、乗員拘束システム、車両
WO2019163124A1 (ja) 三次元位置推定装置及び三次元位置推定方法
EP3560770A1 (en) Occupant information determination apparatus
JP7134364B2 (ja) 体格判定装置および体格判定方法
WO2018167995A1 (ja) 運転者状態推定装置、及び運転者状態推定方法
CN111601736A (zh) 乘客检测装置、乘客检测系统以及乘客检测方法
WO2023084738A1 (ja) 体格判定装置および体格判定方法
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
US20230294628A1 (en) Apparatus for estimating behavior of vehicle occupant and method for the same
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP7501548B2 (ja) ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム
CN114475511B (zh) 基于视觉的气囊启动
JP7374373B2 (ja) 体格判定装置および体格判定方法
JP2019074964A (ja) 運転不能状態予測装置及び運転不能状態予測システム
JP7479575B2 (ja) 体格推定装置および体格推定方法
JP2019074963A (ja) 所定部位検出装置及び所定部位検出システム
JP2019074965A (ja) 運転不能状態検出装置及び運転不能状態検出システム
JP7402719B2 (ja) 画像処理装置、コンピュータプログラム、および異常推定システム
JP7500001B2 (ja) 体格判定装置および体格判定方法
US20230316777A1 (en) Image processing device and image processing method
US20240127606A1 (en) Seat belt detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964093

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023559346

Country of ref document: JP