WO2025253567A1 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法Info
- Publication number
- WO2025253567A1 WO2025253567A1 PCT/JP2024/020598 JP2024020598W WO2025253567A1 WO 2025253567 A1 WO2025253567 A1 WO 2025253567A1 JP 2024020598 W JP2024020598 W JP 2024020598W WO 2025253567 A1 WO2025253567 A1 WO 2025253567A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- control
- information
- control target
- candidate
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
Definitions
- This disclosure relates to an information processing device and an information processing method.
- Patent Document 1 discloses an occupant restraint control device that detects facial features from an image captured by a camera and, based on whether or not the facial features are detected, changes the degree to which an airbag actuator and a seatbelt actuator operate an airbag and a seatbelt pretensioner that restrain the occupant in that seat.
- Patent Document 1 describes that it is possible to distinguish between a person and a doll from the trajectory of movement of the facial features, and that if the position of the facial features is extracted within a predetermined range on the lower side of the image and that this position does not move, it may be determined that a doll or the like has been placed on the seat.
- the present disclosure has been made to solve the above-mentioned problems, and aims to provide an information processing device that provides control information for performing control according to the attributes or situation of the living organism to be controlled, and that is highly accurate and can provide control information that is generated while minimizing unnecessary processing load for estimating the attributes or situation of the living organism.
- the information processing device disclosed herein is an information processing device that provides control information for performing control according to the attributes or circumstances of a living organism to be controlled, and includes an information acquisition unit that acquires target information regarding a control target candidate from a target information acquisition device; a first processing unit that performs a first determination process that determines whether the control target candidate is a living organism based on the target information acquired by the information acquisition unit and whether the control target candidate exhibits biological characteristics; and a second processing unit that performs a second determination process that, when the first processing unit determines that the control target candidate is a living organism, designates the control target candidate as a control target and generates control information by estimating the attributes or circumstances of the control target.
- an information processing device can provide control information that is generated with high accuracy and reduces unnecessary processing load for estimating the attributes or status of a living body.
- FIG. 1 is a diagram illustrating a configuration example of an information processing device according to a first embodiment
- FIG. 1 is a diagram illustrating an example of a test dummy used in a vehicle performance test.
- 1 is a flowchart illustrating an operation of the information processing device according to the first embodiment.
- 4 is a flowchart for explaining in more detail the operation of the first processing unit in step ST2 of FIG. 3 .
- 4 is a flowchart for explaining in more detail the operation of the second processing unit in step ST4 of FIG. 3 .
- 6A and 6B are diagrams illustrating an example of a hardware configuration of an information processing device according to the first embodiment.
- FIG. 1 is a diagram showing an example of the configuration of an information processing device 1 according to the first embodiment.
- the information processing device 1 is connected to a target information acquisition device 2 and a control device 3 .
- the control device 3 performs control according to the attributes or situation of the living organism.
- the "living organism" is assumed to be a human.
- the attributes of the living organism include, for example, the age, sex, or physique of the living organism.
- the physique includes, for example, body thickness, height, or weight.
- the situation of the living organism includes, for example, the emotion, alertness, posture, or physical condition of the living organism. Note that these are merely examples, and the attributes or situation of the living organism may be any attributes or situations of the living organism that are sufficient to determine the control content performed by the control device 3.
- the target information acquisition device 2 detects an object within a range where a target of control by the control device 3 (hereinafter referred to as a "control target”) should be present, and acquires information about the detected object.
- the object detected by the target information acquisition device 2 is a candidate for a control target (hereinafter referred to as a "control target candidate").
- the control target candidate may include a living organism that is a control target and an object other than a living organism that should not be a control target, i.e., a non-living organism.
- the target information acquisition device 2 outputs information relating to control target candidates (hereinafter referred to as “target information”) to the information processing device 1 .
- the information processing device 1 acquires target information from the target information acquisition device 2, determines whether the control target candidate detected by the target information acquisition device 2 is a living organism based on the acquired target information, and if it determines that the control target candidate is a living organism, designates the control target candidate determined to be a living organism as a control target and estimates the attribute or situation of the control target.
- the information processing device 1 then generates information (hereinafter referred to as "control information") for the control device 3 to perform control according to the attribute or situation of the control target, and outputs the generated control information to the control device 3.
- the information processing device 1 determines, based on the target information acquired from the target information acquisition device 2, that the control target candidate detected by the target information acquisition device 2 is not a living organism, i.e., is a non-living organism, it does not estimate the attributes or status of the control target candidate determined to be a non-living organism, and does not generate control information or output the control information to the control device 3. This prevents the information processing device 1 from mistakenly determining that a non-living control target candidate is a living organism, resulting in an incorrect estimation of the living organism's attributes or status, and resulting in incorrect control by the control device 3. An example configuration of the information processing device 1 will be described in detail later.
- the living organism to be controlled is a vehicle occupant. It is also assumed that the control device 3 is mounted on the vehicle and performs airbag control in the vehicle according to the age of the vehicle occupant. More specifically, it is assumed that the control device 3 performs airbag control that controls the degree of opening or height of the airbag according to the age of the occupant.
- the target information acquisition device 2 is assumed to be an imaging device mounted on a vehicle to monitor the interior of the vehicle, and to acquire captured images of the interior of the vehicle as target information.
- the imaging device is assumed to be, for example, a near-infrared camera or a visible light camera.
- the imaging device may be, for example, a shared imaging device with a so-called "Driver Monitoring System (DMS)" mounted on a vehicle to monitor the state of the driver inside the vehicle.
- DMS Driver Monitoring System
- the imaging device is installed so as to be able to capture an image of at least the interior of the vehicle, including the area where the upper body of a vehicle occupant should be present.
- the area where the upper body of a vehicle occupant should be present is, for example, the area corresponding to the seat back and the space near the front of the headrest.
- the imaging device may be installed in the center of an overhead console or dashboard in the vehicle cabin so as to be able to capture an image of the interior of the vehicle cabin from the center of the overhead console or dashboard.
- the imaging device may be installed so as to be able to capture an image of only the driver, or so as to be able to capture an image of passengers in the rear seats.
- the information processing device 1 determines, based on the captured image output from the target information acquisition device 2, whether the object captured in the captured image, i.e., the control target candidate, is a living organism, i.e., an occupant who is the control target, and if it determines that the control target candidate is an occupant, estimates the age of the occupant. Based on the estimated age of the occupant, the information processing device 1 generates control information for the control device 3 to control the airbag according to the age of the occupant, and outputs the generated control information to the control device 3.
- a vehicle when monitoring the interior of a vehicle, there is a possibility that something other than a living organism may be detected as an occupant.
- vehicle seats are shaped to fit the shape of a human body, there is a possibility that the seat may be mistakenly detected as an occupant due to its shape.
- the doll may be mistakenly detected as an occupant if a doll that has a shape similar to a human and a face or facial features similar to a human is brought into a vehicle, the doll may be mistakenly detected as an occupant.
- FIG. 2 is a diagram for explaining an example of a test dummy used in vehicle performance tests.
- the dummy has a shape similar to a human and may have a face or facial features similar to a human, but these are not reproduced to strictly match the shape, face, and facial features of a human. Therefore, if the dummy is mistakenly detected as an occupant, as described above, this may lead to the airbag control not operating correctly or causing abnormal operation.
- control here, airbag control
- a non-living object that should not be the control target is mistakenly determined to be a living object (here, an occupant)
- a living object here, an occupant
- the above-mentioned dummy dolls are not created to match actual people, but they often resemble a human shape and have facial features similar to those of a human. Therefore, in order to prevent the dummy doll from being mistakenly determined to be a living person, a detailed determination based on the presence or absence of biological features is required. However, the more detailed the process for determining whether or not a person is a living person, the greater the processing load. If an attempt is made to determine whether or not a person is a living person during the process of detecting information used in subsequent control, the attributes or circumstances of the non-living person may also be estimated, which may result in unnecessary processing that places a heavy load on the subsequent control.
- the information processing device 1 accurately determines whether a control target candidate is a living organism (here, an occupant) and generates control information while minimizing unnecessary processing load for estimating the attributes or status of the living organism (here, age). This allows the information processing device 1 to provide the control device 3 with control information that is generated with high accuracy and while minimizing unnecessary processing load for estimating the attributes or status of the living organism.
- the information processing device 1 includes an information acquisition unit 11 , a first processing unit 12 , and a second processing unit 13 .
- the information acquisition unit 11 acquires the target information from the target information acquisition device 2. Here, the information acquisition unit 11 acquires a captured image of the interior of the vehicle as the target information. The information acquisition unit 11 outputs the acquired captured image to the first processing unit 12 .
- the first processing unit 12 performs a process (hereinafter referred to as the "first determination process") to determine whether or not the control target candidate is a living organism, based on the target information acquired by the information acquisition unit 11 and depending on whether or not the control target candidate exhibits biometric characteristics. That is, here, the first processing unit 12 performs a first determination process to determine whether or not the control target candidate is an occupant, based on the captured image acquired by the information acquisition unit 11 and depending on whether or not the control target candidate exhibits biometric characteristics.
- a process hereinafter referred to as the "first determination process”
- the first determination process will be described in detail with reference to an example.
- the first processing unit 12 determines whether the control target candidate is an occupant based on the captured image and in accordance with the living/non-living condition.
- the living/non-living determination conditions are conditions that define what characteristics of a control target candidate based on target information can be used to determine whether the control target candidate exhibits a living/non-living characteristic, or whether the control target candidate does not exhibit a living/non-living characteristic.
- the living/non-living determination conditions are set in advance by a developer or the like.
- the living/non-living determination condition information may include, for example, the following conditions ⁇ Condition (1)> to ⁇ Condition (6)>.
- ⁇ Condition (2)> When facial features of the candidate to be controlled are detected and the degree of match between the facial features of the candidate to be controlled and the facial features of a person previously learned is equal to or greater than a second threshold, the candidate to be controlled is determined to exhibit biological features, and when facial features of the candidate to be controlled are detected and the degree of match between the facial features of the candidate to be controlled and the facial features of a person previously learned is less than the second threshold, the candidate to be controlled is determined not to exhibit biological features. If no facial features of the candidate for control are detected, it is determined that the candidate for control does not exhibit biological features.
- ⁇ Condition (3)> When facial parts of the candidate to be controlled are detected and biological movements of the candidate to be controlled are seen from the facial features of the candidate to be controlled, the candidate to be controlled is determined to exhibit biological features, and when facial parts of the candidate to be controlled are detected and biological movements of the candidate to be controlled are not seen from the facial features of the candidate to be controlled, the candidate to be controlled is determined not to exhibit biological features.
- the facial feature-based biological movements are movements of the face or facial parts observed in a person. More specifically, the facial feature-based biological movements include head movement (changes in head position or face direction), eye movement, blinking, or pulse waves. If no facial features of the candidate for control are detected, it is determined that the candidate for control does not exhibit biological features.
- ⁇ Condition (5)> When the skeleton points of the candidate control object are detected and biological movement of the candidate control object is observed from the skeleton points of the candidate control object, the candidate control object is determined to exhibit biological characteristics, and when the skeleton points of the candidate control object are detected and biological movement of the candidate control object is not observed from the skeleton points of the candidate control object, the candidate control object is determined to not exhibit biological characteristics.
- the biological movement based on the skeleton points includes a predetermined movement of the skeleton points or a predetermined periodic movement of the skeleton points. If no skeleton points are detected for the control object candidate, it is determined that the control object candidate does not exhibit biological features.
- the first threshold, the second threshold, and the third threshold are set in advance by a developer or the like and are stored in a storage unit (not shown).
- the facial features that are to be included in ⁇ Condition (1)> to ⁇ Condition (3)> are predetermined.
- the predetermined facial features are the outer corners of the eyes, the inner corners of the eyes, the inner corners of the eyebrows, the corners of the mouth, or the tip of the nose.
- the skeleton points to be used in ⁇ Conditions (4)> to ⁇ Conditions (6)> are predetermined.
- the predetermined skeleton points are the skeleton points representing both shoulders, both elbows, or the neck.
- the preset skeletal point movements or preset periodic skeletal point movements in ⁇ Condition (5)> are set in advance by developers, etc., and information about the movements is stored in a storage unit (not shown).
- the developers, etc. set in advance skeletal point movements or periodic skeletal point movements that are assumed to accompany actions that a human might take, such as natural body movements or squirming movements, which are not seen in non-living objects such as dummies.
- the characteristic feature of a dummy in ⁇ Condition (6)> is, for example, that it is made of metal parts.
- a dummy may have exposed metal parts at the joints corresponding to skeletal points such as the neck, shoulders, or elbows (see, for example, Figure 2). In this way, a dummy may have a characteristic feature that a living being cannot have. By detecting this, a living being can be distinguished from a non-living being.
- the first processing unit 12 first detects facial parts of the control target candidate based on the captured image.
- the first processing unit 12 may detect facial features using, for example, a known image recognition technique that detects multiple feature points of a face in a captured image based on the captured image.
- the detected facial features are represented by, for example, coordinates on the captured image.
- the first processing unit 12 detects the facial features of the candidate control object, it calculates the facial features of the candidate control object from the facial features and calculates the degree of match with the facial features of the trained dummy.
- the first processing unit 12 can calculate the inter-eyebrow distance from the distance between the points representing both eyebrows on the captured image.
- the first processing unit 12 calculates the degree of match between the calculated inter-eyebrow distance and the inter-eyebrow distance of the trained dummy.
- the inter-eyebrow distance of the trained dummy is stored in advance in a storage unit (not shown).
- the first processing unit 12 may input the captured image into a trained model in machine learning (hereinafter referred to as a "machine learning model") and obtain information indicating the degree of match with the facial features of a trained dummy, thereby calculating the degree of match.
- machine learning model machine learning
- the machine learning model is a model that receives a captured image of a face as input and outputs information indicating the degree of match between the facial features of the face and the facial features of a dummy, and is generated in advance and stored in a storage unit (not shown). If the calculated degree of coincidence is equal to or greater than a first threshold, the first processing unit 12 determines that the control target candidate does not exhibit a biological characteristic and is a non-biological target. On the other hand, if the calculated degree of coincidence is less than the first threshold, the first processing unit 12 determines that the control target candidate exhibits a biological characteristic and is a biological target, i.e., an occupant.
- the first processing unit 12 determines that the control target candidate does not exhibit biometric features, and determines that the control target candidate is non-biometric.
- the face and facial features of the dummy doll are not designed to be strictly matched to a human face and facial features. By comparing the facial features, it is determined whether the candidate control object exhibits biometric features.
- the first processing unit 12 first detects facial parts of the control target candidate based on the captured image.
- the first processing unit 12 calculates the facial features of the candidate to be controlled from the facial parts and calculates the degree of coincidence with the facial features of a person that has already been learned.
- the first processing unit 12 calculates the degree of coincidence between the calculated inter-eyebrow distance and the inter-eyebrow distance of a trained person.
- the inter-eyebrow distance of the trained person is stored in advance in a storage unit (not shown).
- the first processing unit 12 may input the captured image into a machine learning model and obtain information indicating the degree of match with learned facial features of a person, thereby calculating the degree of match.
- the machine learning model is a model that receives a captured image of a face as input and outputs information indicating the degree of match between the facial features of the face and the facial features of a person, and is generated in advance and stored in a storage unit (not shown). If the calculated degree of coincidence is equal to or greater than the second threshold, the first processing unit 12 determines that the control target candidate exhibits a biometric characteristic and is an occupant.
- the first processing unit 12 determines that the control target candidate does not exhibit a biometric characteristic and is a non-biological target. Furthermore, if no facial features of the control target candidate are detected, the first processing unit 12 determines that the control target candidate does not exhibit biometric features, and determines that the control target candidate is non-biometric.
- the first processing unit 12 first detects facial parts of the control target candidate based on the captured image. When the first processing unit 12 detects the facial features of the control target candidate, it determines whether or not the control target candidate exhibits biological movements (head movement, eye movement, blinking, or pulse wave) based on the facial features of the control target candidate. If the first processing unit 12 determines that the control target candidate exhibits biological movements based on the facial features of the control target candidate, it determines that the control target candidate exhibits biological movements and is an occupant.
- biological movements head movement, eye movement, blinking, or pulse wave
- the first processing unit 12 determines that the control target candidate does not exhibit biological movements and is a non-biological person. For example, the first processing unit 12 stores the captured images acquired from the information acquisition unit 11 in a chronological order in an internal buffer or the like. The first processing unit 12 can use a known image recognition technique to detect whether or not biological movements are observed in the control target candidate from the facial features of the control target candidate for the captured images in chronological order stored in the internal buffer or the like. Furthermore, if no facial features of the control target candidate are detected, the first processing unit 12 determines that the control target candidate does not exhibit biometric features, and determines that the control target candidate is non-biometric.
- the first processing unit 12 first detects a plurality of skeleton points of the control object candidate based on the captured image.
- the first processing unit 12 may detect the skeleton points of the control target candidate using, for example, a known image recognition technique that detects the skeleton points on the captured image based on the captured image.
- the detected skeleton points are represented by, for example, coordinates on the captured image.
- the first processing unit 12 calculates the positional relationship of each skeleton point.
- the first processing unit 12 calculates the similarity between the calculated positional relationship of each skeleton point and the positional relationship of each skeleton point of a preset person. Furthermore, for example, when multiple skeleton points of a control target candidate are detected, the first processing unit 12 may input the captured image into a machine learning model and obtain information indicating the similarity with the positional relationship of each skeleton point of a person that has been set in advance, thereby calculating the similarity.
- the machine learning model is a model that receives an image of a person as input, and outputs information indicating the similarity between the positional relationship of each skeleton point of the person in the captured image and the positional relationship of each skeleton point of a person that has been set in advance, and is generated in advance and stored in a storage unit (not shown). If the calculated similarity is equal to or greater than a third threshold, the first processing unit 12 determines that the control target candidate exhibits a biological characteristic and is an occupant. On the other hand, if the calculated coincidence is less than the third threshold, the first processing unit 12 determines that the control target candidate does not exhibit a biological characteristic and is a non-biological target. Furthermore, if multiple skeleton points of the control object candidate are not detected, the first processing unit 12 determines that the control object candidate does not exhibit biological characteristics, and determines that the control object candidate is non-biological.
- the first processing unit 12 first detects a plurality of skeleton points of the control object candidate based on the captured image. When multiple skeleton points of a control target candidate are detected, the first processing unit 12 determines whether or not biological movement (predetermined skeleton point movement or predetermined periodic skeleton point movement) is observed in the control target candidate from the skeleton points of the control target candidate. When biological movement is observed in the control target candidate from the skeleton points of the control target candidate, the first processing unit 12 determines that the control target candidate exhibits biological characteristics and determines that the control target candidate is an occupant.
- biological movement predetermined skeleton point movement or predetermined periodic skeleton point movement
- the first processing unit 12 determines that the control target candidate does not exhibit biological characteristics and determines that the control target candidate is a non-biological subject.
- the first processing unit 12 can use known image recognition technology to detect whether or not biological movement is observed in the candidate control object from the skeletal points of the candidate control object, using a time series of captured images stored in an internal buffer or the like.
- the first processing unit 12 determines that the control object candidate exhibits biological characteristics and determines that the control object candidate is non-biological.
- the first processing unit 12 first detects a plurality of skeleton points of the control object candidate based on the captured image.
- the first processing unit 12 detects multiple skeleton points of the control target candidate, it detects characteristics specific to a dummy doll, such as detecting metal in a predetermined range of area (hereinafter referred to as the "doll characteristic determination area") on the captured image that includes the skeleton points.
- the first processing unit 12 detects characteristics specific to a dummy doll in the doll characteristic determination area, it determines that the control target candidate does not exhibit biological characteristics and is a non-biological object.
- the first processing unit 12 may detect metal using a known image recognition processing technique. Furthermore, for example, the first processing unit 12 may detect characteristics specific to a dummy doll by pattern matching with an image that exhibits characteristics specific to a dummy doll. For example, if no features specific to a dummy doll are detected in the doll feature determination area, the first processing unit 12 determines that the candidate control object exhibits biological features and determines that the candidate control object is an occupant. Furthermore, if multiple skeleton points of the control object candidate are not detected, the first processing unit 12 determines that the control object candidate does not exhibit biological characteristics, and determines that the control object candidate is non-biological.
- the above-mentioned conditions for determining whether a person is alive or not are merely examples. Conditions other than ⁇ Condition (1)> to ⁇ Condition (6)> may also be set as the conditions for determining whether a person is alive or not. Furthermore, the first processing unit 12 may determine whether or not a control target candidate exhibits a biometric characteristic by combining a plurality of conditions set in the living/non-living determination conditions.
- the first processing unit 12 determines that the control target candidate is a living organism, i.e., if it determines that the control target candidate is an occupant, it designates the control target candidate as a control target, in other words, an occupant, and outputs information about the occupant (hereinafter referred to as ⁇ control target information'') to the second processing unit 13.
- the control target information includes information indicating the existence of a control target and information related to the feature amounts detected in the first process.
- the information related to the feature amounts detected in the first process includes, for example, information indicating facial parts, facial feature amounts, biological movements based on the facial feature amounts, skeletal points, or biological movements of skeletal points.
- the control target information may include, for example, a captured image acquired by the information acquisition unit 11.
- the second processing unit 13 When the first processing unit 12 determines that the control target candidate is a living organism, the second processing unit 13 performs a process (hereinafter referred to as the "second determination process") in which the control target candidate is designated as a control target, estimates the attributes or status of the control target based on the control target information, and generates control information.
- the second processing unit 13 when the first processing unit 12 determines that the candidate control object is an occupant, the second processing unit 13 performs a second judgment process in which the candidate control object is the occupant who is the control object, estimates the age of the occupant based on the control object information, and generates control information. For example, when the first processing unit 12 outputs control object information, the second processing unit 13 can determine that the first processing unit 12 has determined that the control object candidate is an occupant.
- the second processing unit 13 may estimate the age of the occupant using a known technique for estimating a person's age. For example, the second processing unit 13 may estimate the age of the occupant using a known technique for estimating a person's age based on facial features. Note that information regarding the facial features is included in the control target information. The second processing unit 13 does not need to perform processing such as detecting facial features from the captured image or calculating facial features. In addition, the second processing unit 13 may, for example, estimate the facial features of the occupant using a machine learning model that inputs facial features and outputs information indicating age, and then estimate the occupant's age from the obtained information indicating age.
- the second processing unit 13 After estimating the age of the occupant, the second processing unit 13 determines the degree of airbag opening or height, etc., based on the estimated age of the occupant. The second processing unit 13 generates control information for controlling the airbag according to the determined degree of airbag opening or height, etc.
- control condition information information indicating the control conditions (hereinafter referred to as "control condition information") is stored in a storage unit (not shown).
- the second processing unit 13 may determine the degree of airbag opening or height, etc., according to the estimated age of the occupant by referring to the control condition information. Then, the second processing unit 13 outputs the generated control information to the control device 3 .
- the control device 3 controls the airbag based on the control information output from the second processing unit 13 .
- FIG. 3 is a flowchart for explaining the operation of the information processing device 1 according to the first embodiment.
- the information processing device 1 starts the operation shown in the flowchart of Figure 3, and repeats the operation shown in the flowchart of Figure 3 until the vehicle power is turned off and power is no longer supplied to the information processing device 1.
- the information acquisition unit 11 acquires target information, in this case, a captured image of the interior of the vehicle, from the target information acquisition device 2 (step ST1).
- the information acquisition unit 11 outputs the acquired captured image to the first processing unit 12 .
- the first processing unit 12 performs a first determination process based on the captured image acquired by the information acquisition unit 11 in step ST1 (step ST2). If, as a result of the first judgment process, the first processing unit 12 determines that the control target candidate is a living organism, that is, if it determines that the control target candidate is an occupant (if "YES" in step ST3), it sets the control target candidate to the occupant who is the control target, and outputs the control target information to the second processing unit 13. If the first processing unit 12 determines that the control target candidate is a non-living body as a result of the first determination process (in the case of "NO" in step ST3), the first processing unit 12 does not output the control target information to the second processing unit 13. Then, the operation of the information processing device 1 skips the process of step ST4.
- step ST3 determines that the candidate control object is a living body (if "YES" in step ST3), the second processing unit 13 determines that the candidate control object is the occupant who is the control object and performs a second judgment process (step ST4).
- the second processing unit 13 generates control information and outputs the generated control information to the control device 3 .
- FIG. 4 is a flowchart that provides a more detailed explanation of the operation of first processing unit 12 in step ST2 of Figure 3.
- the first processing unit 12 determines whether the control target candidate exhibits biometric characteristics based on the captured image and in accordance with the living/non-living determination conditions (step ST11).
- step ST11 If it is determined in step ST11 that the control target candidate exhibits biological characteristics ("YES" in step ST11), the first processing unit 12 determines that the control target candidate is a living organism, in other words, an occupant (step ST12). The first processing unit 12 then outputs the control target information to the second processing unit 13 (step ST14).
- step ST11 determines that the control target candidate does not exhibit biometric characteristics ("NO" in step ST11).
- step ST13 determines that the control target candidate is non-biometric.
- step ST14 does not output the control target information to the second processing unit 13, and ends the first determination process.
- FIG. 5 is a flowchart for explaining in more detail the operation of second processing unit 13 in step ST4 of Figure 3.
- the second processing unit 13 acquires it (step ST21).
- the second processing unit 13 estimates the attribute or situation of the control object, in this case the age of the occupant, based on the control object information acquired in step ST21 (step ST22), and generates control information (step ST23). Then, the second processing unit 13 outputs the control information generated in step ST23 to the control device 3 (step ST24).
- the information processing device 1 performs a process (first determination process) of determining whether the control target candidate is an occupant based on the target information acquired from the target information acquisition device 2.
- a process first determination process
- the information processing device 1 determines that the control target candidate is an occupant, it estimates the age of the occupant and generates control information.
- the information processing device 1 determines that the control target candidate is not an occupant, in other words, is a non-living body, it does not perform the process (second determination process) of estimating the age of the occupant.
- a control target candidate is an occupant or a non-living object such as a dummy doll.
- age estimation will be performed for a non-living object, which may result in unnecessary heavy processing that is unnecessary for airbag control in a later stage.
- the information processing device 1 separates the first determination process, which determines whether the control target candidate is an occupant or a non-living thing such as a dummy doll, from the second determination process, which estimates the age of the occupant and generates control information, into separate processes.
- the first determination process determines in more detail whether the control target candidate is an occupant or a non-living thing based on whether the control target candidate exhibits biological characteristics, and only if the first determination process determines that the control target candidate is an occupant is the second determination process performed, which estimates the age of the occupant and generates control information.
- estimation processes using machine learning models and biological reaction detection processes require more complex calculations, and are therefore expected to impose a higher processing load than simple image processing.
- the information processing device 1 can provide control information that is generated with high accuracy and reduces unnecessary processing load for estimating the age of the occupant.
- the attribute or situation of the occupant estimated by the second processing unit 13 is age
- the control performed by the control device 3 is airbag control
- the control performed by the control device 3 may be seat belt control, seat position control, or seat reclining control.
- the control performed by the control device 3 may be air conditioning or sound control in the vehicle cabin.
- the attribute or situation of the occupant estimated by the second processing unit 13 may be, for example, the emotion or physique of the occupant.
- the second processing unit 13 can estimate the emotion of the occupant from a pulse wave using, for example, a known technique.
- the second processing unit 13 can estimate the physique of the occupant from skeleton points using, for example, a known technique.
- the target information acquisition device 2 is an imaging device, but this is merely an example.
- the target information acquisition device 2 may be, for example, a millimeter wave sensor.
- the millimeter wave sensor emits radio waves toward the area where an occupant should be present, in this case, the vehicle interior, and detects control target candidates based on the waves reflected by the control target candidates, including occupants present in the vehicle interior.
- the millimeter wave sensor can detect the distance to the control target candidate, the angle, and the speed of the control target candidate.
- the millimeter wave sensor outputs information about the detected object (hereinafter referred to as "object detection information”) to the information processing device 1 as target information.
- the information acquisition unit 11 acquires object detection information
- the first processing unit 12 determines whether the control target candidate is an occupant or a non-living object based on the object detection information, depending on whether the control target candidate exhibits biological characteristics.
- the living/non-living condition is set to, for example, the following ⁇ Condition (7)>.
- the biological responses of the candidate control targets include heart rate or respiration.
- the first processing unit 12 determines whether the movement indicated by the object detection information is estimated to be a heartbeat or breathing.
- the millimeter-wave sensor detects minute movements on the surface of the body. When a person breathes, the chest and abdomen move slightly. The millimeter-wave sensor can detect these minute movements.
- the first processing unit 12 may detect the heartbeat or breathing from the minute movements detected by the millimeter wave sensor based on the object detection information. Since the method for detecting the heartbeat or breathing from the minute movements detected by the millimeter wave sensor is a well-known method, detailed description thereof will be omitted.
- the second processing unit 13 calculates, for example, the heart rate or respiratory rate of the occupant, and estimates the attributes or condition of the occupant from the calculated heart rate or respiratory rate.
- a plurality of target information acquisition devices 2 may be connected to the information processing device 1.
- an imaging device and a millimeter wave sensor may be connected to the information processing device 1, and the information processing device 1 may perform the first determination process or the second determination process based on the captured image and object detection information.
- the information processing device 1 is an in-vehicle device, and the information acquisition unit 11, the first processing unit 12, and the second processing unit 13 are provided in the in-vehicle device.
- an information processing system may be configured with an on-board device and a server, with some of the information acquisition unit 11, first processing unit 12, and second processing unit 13 being mounted on the vehicle's on-board device and the others being provided on a server connected to the on-board device via a network.
- the information acquisition unit 11, the first processing unit 12, and the second processing unit 13 may all be provided in the server.
- the living body to be controlled is a vehicle occupant, but this is merely an example.
- the living body to be controlled may be an occupant of a moving body other than a vehicle, such as a ship or an airplane, or a person in a factory, a room, or a living room.
- the control device 3 may be a control device that performs control according to the attributes or circumstances of a living body in any situation.
- the control device 3 may be a control device that controls the temperature or direction of air conditioning in a room according to the age of a person present in the room.
- the information processing device 1 can be applied to an information processing device that provides control information for performing various controls according to the attributes or situations of the control target performed by the control device 3.
- FIG. 6A and 6B are diagrams illustrating an example of a hardware configuration of the information processing device 1 according to the first embodiment.
- the functions of the information acquisition unit 11, the first processing unit 12, and the second processing unit 13 are realized by the processing circuit 101. That is, the information processing device 1 includes the processing circuit 101 for performing a first determination process for determining whether a control target candidate is a living body or a non-living body, and a second determination process only when the first determination process determines that the control target candidate is a living body, thereby generating control information.
- the processing circuitry 101 may be dedicated hardware as shown in FIG. 6A, or may be a processor 104 that executes a program stored in memory as shown in FIG. 6B.
- the processing circuit 101 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
- ASIC Application Specific Integrated Circuit
- FPGA Field-Programmable Gate Array
- the processing circuit is a processor 104
- the functions of the information acquisition unit 11, first processing unit 12, and second processing unit 13 are realized by software, firmware, or a combination of software and firmware.
- the software or firmware is written as a program and stored in memory 105.
- the processor 104 performs the functions of the information acquisition unit 11, first processing unit 12, and second processing unit 13 by reading and executing the program stored in memory 105.
- the information processing device 1 is equipped with memory 105 for storing a program that, when executed by the processor 104, results in the execution of steps ST1 to ST4 of Figure 3 described above. It can also be said that the program stored in memory 105 causes the computer to execute the processing procedures or methods of the information acquisition unit 11, first processing unit 12, and second processing unit 13.
- memory 105 includes, for example, non-volatile or volatile semiconductor memory such as RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), etc.
- non-volatile or volatile semiconductor memory such as RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), etc.
- the information processing device 1 also includes an input interface device 102 and an output interface device 103 that perform wired or wireless communication with devices such as the target information acquisition device 2 or the control device 3.
- the information processing device 1 is an information processing device 1 that provides control information for performing control according to the attributes or situation of the living body to be controlled, and is configured to include an information acquisition unit 11 that acquires target information regarding the control target candidate from the target information acquisition device 2, a first processing unit 12 that performs a first determination process to determine whether the control target candidate is a living body or not based on the target information acquired by the information acquisition unit 11 and whether the control target candidate exhibits biological characteristics, and a second processing unit 13 that, when the first processing unit 12 determines that the control target candidate is a living body, performs a second determination process to designate the control target candidate as a control target, estimate the attributes or situation of the control target, and generate control information.
- This allows the information processing device 1 to provide control information that is generated with high accuracy while minimizing unnecessary processing load for estimating the biometric attribute or situation, thereby preventing erroneous control according to the biometric attribute or situation.
- the second processing unit 13 determines that the control target candidate is not a control target and does not perform the second determination process. This allows the information processing device 1 to provide control information that is generated with high accuracy while minimizing unnecessary processing load for estimating the biometric attribute or situation, thereby preventing erroneous control according to the biometric attribute or situation.
- the target information acquisition device 2 includes an imaging device, and the target information is an image captured by the imaging device of the control target candidate.
- the first processing unit 12 detects movements including blinking, eye movement, head movement, or pulse waves of the control target candidate based on the captured image in the first determination process, and determines whether the control target candidate is a living organism. This allows the information processing device 1 to accurately determine whether the control target is a living organism, thereby preventing erroneous control in accordance with the attributes or situation of the living organism.
- the target information acquisition device 2 includes an imaging device, and the target information is an image captured by the imaging device of the control target.
- the first processing unit 12 in the first determination process, detects, based on the captured image, movements of the skeletal points of the candidate control target that are expected to accompany actions that a person may perform, or periodic movements of the skeletal points, as biological characteristics, and determines whether the candidate control target is a living organism. This allows the information processing device 1 to accurately determine whether the control target is a living organism, thereby preventing erroneous control in accordance with the attributes or situation of the living organism.
- the target information acquisition device 2 includes a millimeter wave sensor, and the target information is object detection information in which the millimeter wave sensor detects a control target candidate.
- the first processing unit 12 in the first determination process, detects the heartbeat or breathing of the control target candidate as a biological characteristic based on the object detection information, and determines whether the control target candidate is a living organism. This allows the information processing device 1 to accurately determine whether the control target is a living organism, thereby preventing erroneous control in accordance with the attributes or situation of the living organism.
- the second processing unit 13 is configured to estimate the age, emotion, or physique of the control target as the attribute or situation of the control target in the second determination process. Since the age, emotion, or physique is estimated as the attribute or situation of the control target only when the control target candidate is determined to be a living organism in the first determination process, the information processing device 1 can prevent the generation of control information that could lead to erroneous control due to an erroneous estimation of the age, emotion, or physique. As a result, the information processing device 1 can prevent erroneous control according to the attribute or situation of the living organism.
- the information processing device disclosed herein is applied to an information processing device that provides control information for performing control according to the attributes or situation of the living body to be controlled, and is capable of providing control information that is highly accurate and is generated while minimizing unnecessary processing load for estimating the attributes or situation of the living body.
- 1 Information processing device 11 Information acquisition unit, 12 First processing unit, 13 Second processing unit, 2 Target information acquisition device, 3 Control device, 101 Processing circuit, 102 Input interface device, 103 Output interface device, 104 Processor, 105 Memory.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
対象情報取得装置から制御対象候補に関する対象情報を取得する情報取得部(11)と、対象情報に基づき、制御対象候補が生体的な特徴を示しているか否かによって、制御対象候補が生体であるか否かを判定する第一判定処理を行う第一処理部(12)と、第一処理部(12)が制御対象候補は生体であると判定した場合に、制御対象候補を制御対象とし、当該制御対象の属性または状況を推定して制御用情報を生成する第二判定処理を行う第二処理部(13)とを備えた。
Description
本開示は、情報処理装置および情報処理方法に関する。
従来、生体の属性または状況に応じて種々の制御を行う技術が知られている。
例えば、特許文献1には、カメラで撮影した画像から顔の特徴を検出し、顔の特徴の検出の有無に基づいて、エアバッグ作動装置およびシートベルト作動装置が、その座席の乗員を拘束するエアバッグおよびシートベルトプリテンショナを作動させる度合いを変更する乗員拘束制御装置が開示されている。特許文献1には、顔特徴の移動の軌跡から人と人形とを区別できること、また、顔特徴の位置が画像の下側所定の範囲に抽出されて、その位置が移動しない場合には、人形などが座席に置かれたと判断してもよいことが記載されている。
例えば、特許文献1には、カメラで撮影した画像から顔の特徴を検出し、顔の特徴の検出の有無に基づいて、エアバッグ作動装置およびシートベルト作動装置が、その座席の乗員を拘束するエアバッグおよびシートベルトプリテンショナを作動させる度合いを変更する乗員拘束制御装置が開示されている。特許文献1には、顔特徴の移動の軌跡から人と人形とを区別できること、また、顔特徴の位置が画像の下側所定の範囲に抽出されて、その位置が移動しない場合には、人形などが座席に置かれたと判断してもよいことが記載されている。
生体の属性または状況に応じた制御を行う際、当該制御が誤った制御とならないようにするためには、精度良く生体の属性または状況が推定される必要がある。精度良く生体の属性または状況が推定されるためには、精度良く生体と非生体とが判別される必要がある。生体と非生体との判別を誤った結果、生体の属性または状況が誤推定され、誤推定された生体の属性または状況に応じて行なわれた種々の制御が誤った制御となるおそれがあるためである。
従来技術では、後段の制御(エアバッグ作動装置およびシートベルト作動装置の制御)のための生体の属性または状況に関する情報(顔特徴)を用いて生体と非生体(人と人形)を判別するため、生体と非生体の判別に係る処理に負荷がかからないようにできるものの、顔特徴の位置と動きからのみの簡易な判別であるため、生体と非生体の判別精度が高くない。一方で、従来技術において、仮に、より詳細な処理により生体と非生体の判別精度を上げようとすると、後段の制御に用いる生体の属性または状況に関する情報を得るのに無用な負荷がかかることになる。
このように、従来技術では、生体の属性または状況に応じて行う制御が誤った制御となることを防ぐための、生体と非生体との判別精度の向上と当該制御のための生体の属性または状況の推定の処理負荷の増加防止との両立ができないという課題があった。
従来技術では、後段の制御(エアバッグ作動装置およびシートベルト作動装置の制御)のための生体の属性または状況に関する情報(顔特徴)を用いて生体と非生体(人と人形)を判別するため、生体と非生体の判別に係る処理に負荷がかからないようにできるものの、顔特徴の位置と動きからのみの簡易な判別であるため、生体と非生体の判別精度が高くない。一方で、従来技術において、仮に、より詳細な処理により生体と非生体の判別精度を上げようとすると、後段の制御に用いる生体の属性または状況に関する情報を得るのに無用な負荷がかかることになる。
このように、従来技術では、生体の属性または状況に応じて行う制御が誤った制御となることを防ぐための、生体と非生体との判別精度の向上と当該制御のための生体の属性または状況の推定の処理負荷の増加防止との両立ができないという課題があった。
本開示は上記のような課題を解決するためになされたもので、制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理装置であって、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供可能な情報処理装置を得ることを目的とする。
本開示に係る情報処理装置は、制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理装置であって、対象情報取得装置から制御対象候補に関する対象情報を取得する情報取得部と、情報取得部が取得した対象情報に基づき、制御対象候補が生体的な特徴を示しているか否かによって、制御対象候補が生体であるか否かを判定する第一判定処理を行う第一処理部と、第一処理部が制御対象候補は生体であると判定した場合に、制御対象候補を制御対象とし、当該制御対象の属性または状況を推定して制御用情報を生成する第二判定処理を行う第二処理部とを備えたものである。
本開示によれば、情報処理装置は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、実施の形態1に係る情報処理装置1の構成例を示す図である。
情報処理装置1は、対象情報取得装置2および制御装置3と接続される。
制御装置3は、生体の属性または状況に応じた制御を行う。なお、実施の形態1において、「生体」は、人を想定している。また、実施の形態1にて、生体の属性は、例えば、生体の年齢、性別、または体格を含む。体格とは、例えば、体の厚み、身長、または、体重を含む。また、生体の状況は、例えば、生体の感情、覚醒度、姿勢、または体調を含む。なお、これらは一例に過ぎず、生体の属性または状況は、制御装置3によって行われる制御内容を決定するための生体の属性または状況であればよい。
実施の形態1.
図1は、実施の形態1に係る情報処理装置1の構成例を示す図である。
情報処理装置1は、対象情報取得装置2および制御装置3と接続される。
制御装置3は、生体の属性または状況に応じた制御を行う。なお、実施の形態1において、「生体」は、人を想定している。また、実施の形態1にて、生体の属性は、例えば、生体の年齢、性別、または体格を含む。体格とは、例えば、体の厚み、身長、または、体重を含む。また、生体の状況は、例えば、生体の感情、覚醒度、姿勢、または体調を含む。なお、これらは一例に過ぎず、生体の属性または状況は、制御装置3によって行われる制御内容を決定するための生体の属性または状況であればよい。
対象情報取得装置2は、制御装置3による制御の対象(以下「制御対象」という。)が存在すべき範囲において物体を検出し、検出した物体に関する情報を取得する。対象情報取得装置2が検出する物体は、制御対象の候補(以下「制御対象候補」という。)である。制御対象候補には、制御対象である生体と制御対象とすべきではない生体以外、すなわち、非生体とが含まれ得る。
対象情報取得装置2は、制御対象候補に関する情報(以下「対象情報」という。)を、情報処理装置1に出力する。
対象情報取得装置2は、制御対象候補に関する情報(以下「対象情報」という。)を、情報処理装置1に出力する。
情報処理装置1は、対象情報取得装置2から対象情報を取得し、取得した対象情報に基づき、対象情報取得装置2によって検出された制御対象候補が生体か否かを判定し、制御対象候補が生体であると判定した場合に、当該生体であると判定した制御対象候補を制御対象とし、制御対象の属性または状況を推定する。そして、情報処理装置1は、制御装置3が制御対象の属性または状況に応じた制御を行うための情報(以下「制御用情報」という。)を生成し、生成した制御用情報を制御装置3に出力する。
情報処理装置1は、対象情報取得装置2から取得した対象情報に基づき、対象情報取得装置2によって検出された制御対象候補が生体ではない、すなわち、非生体であると判定した場合には、当該非生体であると判定した制御対象候補の属性または状況の推定は行わず、制御用情報の生成、および、制御装置3に対する制御用情報の出力も行わない。
これにより、情報処理装置1は、非生体である制御対象候補が生体であると誤って判定された結果、生体の属性または状況が誤推定され、その結果、制御装置3による制御が誤った制御となることを防ぐ。
情報処理装置1の構成例の詳細については、後述する。
情報処理装置1は、対象情報取得装置2から取得した対象情報に基づき、対象情報取得装置2によって検出された制御対象候補が生体ではない、すなわち、非生体であると判定した場合には、当該非生体であると判定した制御対象候補の属性または状況の推定は行わず、制御用情報の生成、および、制御装置3に対する制御用情報の出力も行わない。
これにより、情報処理装置1は、非生体である制御対象候補が生体であると誤って判定された結果、生体の属性または状況が誤推定され、その結果、制御装置3による制御が誤った制御となることを防ぐ。
情報処理装置1の構成例の詳細については、後述する。
以下の実施の形態1では、一例として、制御対象である生体は、車両の乗員であることを想定する。また、制御装置3は、車両に搭載され、車両にて、車両の乗員の年齢に応じたエアバッグ制御を行うことを想定する。より詳細には、制御装置3は、乗員の年齢に応じてエアバッグの開き具合または高さ等を制御するエアバッグ制御を行うものとする。
また、対象情報取得装置2は、車両に搭載され車室内をモニタリングする撮像装置とし、車室内を撮像した撮像画像を対象情報として取得することを想定する。撮像装置は、例えば、近赤外線カメラ、または、可視光カメラを想定する。撮像装置は、例えば、車室内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバーモニタリングシステム(Driver Monitoring System,DMS)」が有する撮像装置と共用のものでもよい。なお、撮像装置は、少なくとも、車両の乗員の上半身が存在すべき範囲を含む車室内の範囲を撮像可能に設置される。車室内の乗員の上半身が存在すべき範囲とは、例えば、座席の背もたれ、および、ヘッドレストの前方付近の空間に相当する範囲である。
例えば、撮像装置は、車室内のオーバーヘッドコンソールまたはダッシュボードの中央に、オーバーヘッドコンソールまたはダッシュボードの中央から車室内を撮像可能に設置される。撮像装置は、例えば、運転者のみを撮像可能に設置されもよいし、後部座席の乗員を撮像可能に設置されてもよい。
例えば、撮像装置は、車室内のオーバーヘッドコンソールまたはダッシュボードの中央に、オーバーヘッドコンソールまたはダッシュボードの中央から車室内を撮像可能に設置される。撮像装置は、例えば、運転者のみを撮像可能に設置されもよいし、後部座席の乗員を撮像可能に設置されてもよい。
そして、以下の実施の形態1では、一例として、情報処理装置1は、対象情報取得装置2から出力された撮像画像に基づき、当該撮像画像で撮像されている物体、すなわち制御対象候補が、生体、すなわち制御対象である乗員、であるか否かを判定し、制御対象候補が乗員であると判定した場合に、当該乗員の年齢を推定することを想定する。情報処理装置1は、推定した乗員の年齢に基づき、制御装置3が乗員の年齢に応じたエアバッグ制御を行うための制御用情報を生成し、生成した制御用情報を制御装置3に出力するものとする。
例えば、車室内のモニタリングにおいては、生体以外のものが乗員として検出されてしまう可能性がある。
例えば、車両のシートは人の体の形状に沿った形になっているため、その形状から、シートが乗員と誤検出される可能性がある。
また、例えば、人の形状に似た形状を有し、人と同じように顔または顔のパーツを有している人形が車内に持ち込まれていると、人形を乗員と誤検出する可能性がある。
例えば、車両が、上述した制御装置3のような、乗員の年齢に応じたエアバッグ制御機能を搭載している場合、量産判定前等に、車両にダミー人形を乗せて当該エアバッグ制御機能が正しく作動するか否かの性能試験が開発者等によって行われ、乗員の年齢に応じたエアバッグ制御が適切に行われているかの性能の確認が行われる。仮に、試験用のダミー人形を乗員と誤検出し、さらに乗員と誤検出したダミー人形の年齢が誤推定された場合、上記エアバッグ制御が正しく動作しない、または、異常動作を起こしてしまう可能性がある。
ここで、図2は、車両の性能試験で用いられる試験用のダミー人形の一例を説明するための図である。
図2に示すように、ダミー人形は、人の形状に似た形状を有し、人と同じように顔または顔のパーツを有し得るが、これらは、厳密に人の形状、顔、および、顔のパーツと整合がとれるように再現されたものではない。そのため、ダミー人形を乗員と誤検出してしまうと、上述のように、エアバッグ制御が正しく動作しない、または、異常動作を起こすという事態を招き得る。
例えば、車両のシートは人の体の形状に沿った形になっているため、その形状から、シートが乗員と誤検出される可能性がある。
また、例えば、人の形状に似た形状を有し、人と同じように顔または顔のパーツを有している人形が車内に持ち込まれていると、人形を乗員と誤検出する可能性がある。
例えば、車両が、上述した制御装置3のような、乗員の年齢に応じたエアバッグ制御機能を搭載している場合、量産判定前等に、車両にダミー人形を乗せて当該エアバッグ制御機能が正しく作動するか否かの性能試験が開発者等によって行われ、乗員の年齢に応じたエアバッグ制御が適切に行われているかの性能の確認が行われる。仮に、試験用のダミー人形を乗員と誤検出し、さらに乗員と誤検出したダミー人形の年齢が誤推定された場合、上記エアバッグ制御が正しく動作しない、または、異常動作を起こしてしまう可能性がある。
ここで、図2は、車両の性能試験で用いられる試験用のダミー人形の一例を説明するための図である。
図2に示すように、ダミー人形は、人の形状に似た形状を有し、人と同じように顔または顔のパーツを有し得るが、これらは、厳密に人の形状、顔、および、顔のパーツと整合がとれるように再現されたものではない。そのため、ダミー人形を乗員と誤検出してしまうと、上述のように、エアバッグ制御が正しく動作しない、または、異常動作を起こすという事態を招き得る。
このように、車両にて乗員の属性または状況(ここでは年齢)に応じた制御(ここではエアバッグ制御)が行われる場合、制御対象とすべきではない非生体を誤って生体(ここでは乗員)と判定してしまうと、後段で行われる制御が誤った制御になるおそれがある。したがって、生体であるか否かの判定を精度良く行い、生体であるか否かの誤った判定に基づく誤った制御用情報が生成されないようにすることが求められる。
特に、上述したようなダミー人形は、図2に示すように、実際の人と整合がとれるように生成されたものではないものの、人の形状によく似ており、人と同じように顔のパーツを有している場合がある。そのため、ダミー人形を生体と誤判定することを防ぐためには、その生体的な特徴の有無による詳細な判定が必要となる。しかし、生体か否かの判定処理をより詳細にすると、その分だけ処理負荷が大きくなる。仮に、後段の制御に用いられる情報を検出する過程で生体か非生体かの判定を行おうとすると、非生体に対する属性または状況の推定も行われ、後段の制御に無用な負荷の大きい処理を無用に行ってしまう可能性がある。
特に、上述したようなダミー人形は、図2に示すように、実際の人と整合がとれるように生成されたものではないものの、人の形状によく似ており、人と同じように顔のパーツを有している場合がある。そのため、ダミー人形を生体と誤判定することを防ぐためには、その生体的な特徴の有無による詳細な判定が必要となる。しかし、生体か否かの判定処理をより詳細にすると、その分だけ処理負荷が大きくなる。仮に、後段の制御に用いられる情報を検出する過程で生体か非生体かの判定を行おうとすると、非生体に対する属性または状況の推定も行われ、後段の制御に無用な負荷の大きい処理を無用に行ってしまう可能性がある。
実施の形態1に係る情報処理装置1は、上述したようなことを考慮して、制御対象候補が生体(ここでは乗員)か否かの判定を精度良く行うとともに、生体の属性または状況(ここでは年齢)の推定のための無用な処理負荷をおさえて制御用情報を生成する。これにより、情報処理装置1は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報を、制御装置3に提供することができる。
実施の形態1に係る情報処理装置1の構成例について説明する。
図1に示すように、情報処理装置1は、情報取得部11と、第一処理部12と、第二処理部13を備える。
図1に示すように、情報処理装置1は、情報取得部11と、第一処理部12と、第二処理部13を備える。
情報取得部11は、対象情報取得装置2から対象情報を取得する。ここでは、情報取得部11は、車室内が撮像された撮像画像を、対象情報として取得する。
情報取得部11は、取得した撮像画像を、第一処理部12に出力する。
情報取得部11は、取得した撮像画像を、第一処理部12に出力する。
第一処理部12は、情報取得部11が取得した対象情報に基づき、制御対象候補が生体的な特徴を示しているか否かによって、制御対象候補が前記生体であるか否かを判定する処理(以下「第一判定処理」という。)を行う。すなわち、ここでは、第一処理部12は、情報取得部11が取得した撮像画像に基づき、制御対象候補が生体的な特徴を示しているか否かによって、制御対象候補は乗員であるか否かを判定する第一判定処理を行う。
第一判定処理の詳細について、一例を挙げて説明する。
第一処理部12は、撮像画像に基づき、生体非生体判定用条件に従って、制御対象候補は乗員であるか否かを判定する。
生体非生体判定用条件は、対象情報に基づく制御対象候補の特徴がどのような特徴である場合に、当該制御対象候補が生体的な特徴を示していると判定できるか、または、当該制御対象候補が生体的な特徴を示していないと判定できるか、が定義された条件である。生体非生体判定用条件は、予め開発者等によって設定される。開発者等は、生体非生体判定用条件を設定すると、設定した生体非生体判定用条件を示す情報(以下「生体非生体判定用条件情報」という。)を図示しない記憶部に記憶させておく。図示しない記憶部は、情報処理装置1が参照可能な場所に備えられている。
生体非生体判定用条件には、例えば、以下の、<条件(1)>~<条件(6)>のような条件が設定されている。
第一処理部12は、撮像画像に基づき、生体非生体判定用条件に従って、制御対象候補は乗員であるか否かを判定する。
生体非生体判定用条件は、対象情報に基づく制御対象候補の特徴がどのような特徴である場合に、当該制御対象候補が生体的な特徴を示していると判定できるか、または、当該制御対象候補が生体的な特徴を示していないと判定できるか、が定義された条件である。生体非生体判定用条件は、予め開発者等によって設定される。開発者等は、生体非生体判定用条件を設定すると、設定した生体非生体判定用条件を示す情報(以下「生体非生体判定用条件情報」という。)を図示しない記憶部に記憶させておく。図示しない記憶部は、情報処理装置1が参照可能な場所に備えられている。
生体非生体判定用条件には、例えば、以下の、<条件(1)>~<条件(6)>のような条件が設定されている。
<条件(1)>
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みのダミー人形の顔の特徴量との一致度が第一閾値以上である場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みのダミー人形の顔の特徴量との一致度が第一閾値未満である場合、制御対象候補は生体的な特徴を示していると判定する。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みのダミー人形の顔の特徴量との一致度が第一閾値以上である場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みのダミー人形の顔の特徴量との一致度が第一閾値未満である場合、制御対象候補は生体的な特徴を示していると判定する。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
<条件(2)>
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みの人の顔の特徴量との一致度が第二閾値以上である場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みの人の顔の特徴量との一致度が第二閾値未満である場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みの人の顔の特徴量との一致度が第二閾値以上である場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量と事前に学習済みの人の顔の特徴量との一致度が第二閾値未満である場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
<条件(3)>
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定する。
顔の特徴量に基づく生体的な動きは、人にみられる顔または顔のパーツの動きである。より詳細には、顔の特徴量に基づく生体的な動きは、頭移動(頭位置または顔向きの変化)、視線移動、瞬き、または、脈波を含む。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の顔パーツが検出され、かつ、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定する。
顔の特徴量に基づく生体的な動きは、人にみられる顔または顔のパーツの動きである。より詳細には、顔の特徴量に基づく生体的な動きは、頭移動(頭位置または顔向きの変化)、視線移動、瞬き、または、脈波を含む。
制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
<条件(4)>
制御対象候補の複数の骨格点が検出され、かつ、各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度が第三閾値以上である場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の複数の骨格点が検出され、かつ、各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度が第三閾値未満である場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の複数の骨格点が検出され、かつ、各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度が第三閾値以上である場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の複数の骨格点が検出され、かつ、各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度が第三閾値未満である場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
<条件(5)>
制御対象候補の骨格点が検出され、かつ、制御対象候補の骨格点から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の骨格点が検出され、かつ、制御対象候補の骨格点から制御対象候補に生体的な動くがみられない場合、制御対象候補は生体的な特徴を示していないと判定する。
骨格点に基づく生体的な動きは、予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動きを含む。
制御対象候補の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の骨格点が検出され、かつ、制御対象候補の骨格点から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の骨格点が検出され、かつ、制御対象候補の骨格点から制御対象候補に生体的な動くがみられない場合、制御対象候補は生体的な特徴を示していないと判定する。
骨格点に基づく生体的な動きは、予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動きを含む。
制御対象候補の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
<条件(6)>
制御対象候補の骨格点が検出され、かつ、当該骨格点においてダミー人形特有の特徴が検出された場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補の骨格点が検出され、かつ、当該骨格点においてダミー人形特有の特徴が検出されない場合、制御対象候補は生体的な特徴を示していると判定する。
制御対象候補の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の骨格点が検出され、かつ、当該骨格点においてダミー人形特有の特徴が検出された場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補の骨格点が検出され、かつ、当該骨格点においてダミー人形特有の特徴が検出されない場合、制御対象候補は生体的な特徴を示していると判定する。
制御対象候補の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定する。
なお、第一閾値、第二閾値、および、第三閾値は、予め開発者等によって設定され、図示しない記憶部に記憶されている。
また、<条件(1)>~<条件(3)>における顔パーツをどのパーツとするかは、予め決められている。例えば、予め決められた顔パーツは、目尻、目頭、眉頭、口角、または、鼻頭である。
また、<条件(4)>~<条件(6)>における骨格点をどの骨格点とするかは、予め決められている。例えば、予め決められた骨格点は、両肩、両肘、または、首を示す骨格点である。
また、<条件(5)>における予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動きは、予め開発者等によって設定され、当該動きに関する情報が図示しない記憶部に記憶されている。開発者等は、例えば、人による体の自然な動き、または、もぞもぞする動き等、ダミー人形等の非生体にはみられない、人が行い得る行動に伴うと想定される骨格点の動き、または、周期的な骨格点の動きを予め設定しておく。
また、<条件(6)>におけるダミー人形特有の特徴とは、例えば、金属部品であることである。ダミー人形は、首、肩、または、肘等の骨格点に相当する関節がむき出しの金属部品で構成されることがある(例えば、図2参照)。このように、ダミー人形は、生体が有し得ない、ダミー人形特有の特徴を有することがある。これを検出することで、生体と非生体とが判別される。
また、<条件(1)>~<条件(3)>における顔パーツをどのパーツとするかは、予め決められている。例えば、予め決められた顔パーツは、目尻、目頭、眉頭、口角、または、鼻頭である。
また、<条件(4)>~<条件(6)>における骨格点をどの骨格点とするかは、予め決められている。例えば、予め決められた骨格点は、両肩、両肘、または、首を示す骨格点である。
また、<条件(5)>における予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動きは、予め開発者等によって設定され、当該動きに関する情報が図示しない記憶部に記憶されている。開発者等は、例えば、人による体の自然な動き、または、もぞもぞする動き等、ダミー人形等の非生体にはみられない、人が行い得る行動に伴うと想定される骨格点の動き、または、周期的な骨格点の動きを予め設定しておく。
また、<条件(6)>におけるダミー人形特有の特徴とは、例えば、金属部品であることである。ダミー人形は、首、肩、または、肘等の骨格点に相当する関節がむき出しの金属部品で構成されることがある(例えば、図2参照)。このように、ダミー人形は、生体が有し得ない、ダミー人形特有の特徴を有することがある。これを検出することで、生体と非生体とが判別される。
例えば、第一処理部12は、上記<条件(1)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の顔パーツを検出する。
第一処理部12は、例えば、撮像画像に基づいて撮像画像上の顔の複数の特徴点を検出する公知の画像認識技術を用いて顔パーツを検出すればよい。なお、検出される顔パーツは、例えば、撮像画像上の座標であらわされる。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、当該顔パーツから制御対象候補の顔の特徴量を算出し、学習済みのダミー人形の顔の特徴量との一致度を算出する。例えば、顔の特徴量が眉間距離である場合、第一処理部12は、両眉を示す点の撮像画像上の距離から眉間距離を算出できる。第一処理部12は、算出した眉間距離と学習済みのダミー人形の眉間距離との一致度を算出する。なお、学習済みのダミー人形の眉間距離は、予め図示しない記憶部に記憶されている。
また、例えば、第一処理部12は、制御対象候補の顔パーツが検出できた場合、撮像画像を機械学習における学習済みのモデル(以下「機械学習モデル」という。)に入力し、学習済みのダミー人形の顔の特徴量との一致度を示す情報を得ることで、当該一致度を算出してもよい。上記機械学習モデルは、顔が撮像された撮像画像を入力とし、当該顔の特徴量とダミー人形の顔の特徴量との一致度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した一致度が第一閾値以上であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体であると判定する。一方、第一処理部12は、算出した一致度が第一閾値未満であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は生体、すなわち乗員と判定する。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
上述のとおり、ダミー人形が有する顔および顔のパーツは、厳密に人の顔および顔のパーツと整合がとれるようにはなっていない。顔の特徴量の比較によって、制御対象候補が生体的な特徴を示しているか否かが判定される。
第一処理部12は、例えば、撮像画像に基づいて撮像画像上の顔の複数の特徴点を検出する公知の画像認識技術を用いて顔パーツを検出すればよい。なお、検出される顔パーツは、例えば、撮像画像上の座標であらわされる。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、当該顔パーツから制御対象候補の顔の特徴量を算出し、学習済みのダミー人形の顔の特徴量との一致度を算出する。例えば、顔の特徴量が眉間距離である場合、第一処理部12は、両眉を示す点の撮像画像上の距離から眉間距離を算出できる。第一処理部12は、算出した眉間距離と学習済みのダミー人形の眉間距離との一致度を算出する。なお、学習済みのダミー人形の眉間距離は、予め図示しない記憶部に記憶されている。
また、例えば、第一処理部12は、制御対象候補の顔パーツが検出できた場合、撮像画像を機械学習における学習済みのモデル(以下「機械学習モデル」という。)に入力し、学習済みのダミー人形の顔の特徴量との一致度を示す情報を得ることで、当該一致度を算出してもよい。上記機械学習モデルは、顔が撮像された撮像画像を入力とし、当該顔の特徴量とダミー人形の顔の特徴量との一致度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した一致度が第一閾値以上であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体であると判定する。一方、第一処理部12は、算出した一致度が第一閾値未満であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は生体、すなわち乗員と判定する。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
上述のとおり、ダミー人形が有する顔および顔のパーツは、厳密に人の顔および顔のパーツと整合がとれるようにはなっていない。顔の特徴量の比較によって、制御対象候補が生体的な特徴を示しているか否かが判定される。
例えば、第一処理部12は、上記<条件(2)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の顔パーツを検出する。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、当該顔パーツから制御対象候補の顔の特徴量を算出し、学習済みの人の顔の特徴量との一致度を算出する。
例えば、第一処理部12は、算出した眉間距離と学習済みの人の眉間距離との一致度を算出する。なお、学習済みの人の眉間距離は、予め図示しない記憶部に記憶されている。
また、例えば、第一処理部12は、制御対象候補の顔パーツが検出できた場合、撮像画像を機械学習モデルに入力し、学習済みの人の顔の特徴量との一致度を示す情報を得ることで、当該一致度を算出してもよい。上記機械学習モデルは、顔が撮像された撮像画像を入力とし、当該顔の特徴量と人の顔の特徴量との一致度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した一致度が第二閾値以上であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、算出した一致度が第二閾値未満であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、当該顔パーツから制御対象候補の顔の特徴量を算出し、学習済みの人の顔の特徴量との一致度を算出する。
例えば、第一処理部12は、算出した眉間距離と学習済みの人の眉間距離との一致度を算出する。なお、学習済みの人の眉間距離は、予め図示しない記憶部に記憶されている。
また、例えば、第一処理部12は、制御対象候補の顔パーツが検出できた場合、撮像画像を機械学習モデルに入力し、学習済みの人の顔の特徴量との一致度を示す情報を得ることで、当該一致度を算出してもよい。上記機械学習モデルは、顔が撮像された撮像画像を入力とし、当該顔の特徴量と人の顔の特徴量との一致度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した一致度が第二閾値以上であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、算出した一致度が第二閾値未満であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、上記<条件(3)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の顔パーツを検出する。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、制御対象候補の顔の特徴量から制御対象候補に生体的な動き(頭移動、視線移動、瞬き、または、脈波)がみられるか否かを判定する。第一処理部12は、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、情報取得部11から取得した撮像画像を、時系列で内部のバッファ等に記憶しておく。第一処理部12は、内部のバッファ等に記憶しておいた時系列の撮像画像に対して、公知の画像認識技術を用いて、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられるか否かを検出できる。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
第一処理部12は、制御対象候補の顔パーツが検出できた場合、制御対象候補の顔の特徴量から制御対象候補に生体的な動き(頭移動、視線移動、瞬き、または、脈波)がみられるか否かを判定する。第一処理部12は、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、情報取得部11から取得した撮像画像を、時系列で内部のバッファ等に記憶しておく。第一処理部12は、内部のバッファ等に記憶しておいた時系列の撮像画像に対して、公知の画像認識技術を用いて、制御対象候補の顔の特徴量から制御対象候補に生体的な動きがみられるか否かを検出できる。
また、第一処理部12は、制御対象候補の顔パーツが検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、上記<条件(4)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の複数の骨格点を検出する。
第一処理部12は、例えば、撮像画像に基づいて撮像画像上の複数の骨格点を検出する公知の画像認識技術を用いて制御対象候補の複数の骨格点を検出すればよい。なお、検出される複数の骨格点は、例えば、撮像画像上の座標であらわされる。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、各骨格点の位置関係を算出する。そして、第一処理部12は、算出した各骨格点の位置関係と、予め設定されている人の各骨格点の位置関係との類似度を算出する。
また、例えば、第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、撮像画像を機械学習モデルに入力し、予め設定されている人の各骨格点の位置関係との類似度を示す情報を得ることで、当該類似度を算出してもよい。上記機械学習モデルは、人が撮像された撮像画像を入力とし、当該撮像画像上の人の各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した類似度が第三閾値以上であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、算出した一致度が第三閾値未満であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
第一処理部12は、例えば、撮像画像に基づいて撮像画像上の複数の骨格点を検出する公知の画像認識技術を用いて制御対象候補の複数の骨格点を検出すればよい。なお、検出される複数の骨格点は、例えば、撮像画像上の座標であらわされる。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、各骨格点の位置関係を算出する。そして、第一処理部12は、算出した各骨格点の位置関係と、予め設定されている人の各骨格点の位置関係との類似度を算出する。
また、例えば、第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、撮像画像を機械学習モデルに入力し、予め設定されている人の各骨格点の位置関係との類似度を示す情報を得ることで、当該類似度を算出してもよい。上記機械学習モデルは、人が撮像された撮像画像を入力とし、当該撮像画像上の人の各骨格点の位置関係と予め設定されている人の各骨格点の位置関係との類似度を示す情報を出力するモデルであり、予め生成され、図示しない記憶部に記憶されている。
第一処理部12は、算出した類似度が第三閾値以上であれば、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、算出した一致度が第三閾値未満であれば、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、上記<条件(5)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の複数の骨格点を検出する。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、制御対象候補の骨格点から制御対象候補に生体的な動き(予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動き)がみられるか否かを判定する。第一処理部12は、制御対象候補の骨格点から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、制御対象候補の骨格点から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、内部のバッファ等に記憶しておいた時系列の撮像画像に対して、公知の画像認識技術を用いて、制御対象候補の骨格点から制御対象候補に生体的な動きがみられるか否かを検出できる。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は非生体と判定する。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、制御対象候補の骨格点から制御対象候補に生体的な動き(予め設定された骨格点の動き、または、予め設定された周期的な骨格点の動き)がみられるか否かを判定する。第一処理部12は、制御対象候補の骨格点から制御対象候補に生体的な動きがみられる場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員と判定する。一方、第一処理部12は、制御対象候補の骨格点から制御対象候補に生体的な動きがみられない場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、内部のバッファ等に記憶しておいた時系列の撮像画像に対して、公知の画像認識技術を用いて、制御対象候補の骨格点から制御対象候補に生体的な動きがみられるか否かを検出できる。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は非生体と判定する。
例えば、第一処理部12は、上記<条件(6)>に従って制御対象候補が生体か非生体かを判定する場合、まず、撮像画像に基づき、制御対象候補の複数の骨格点を検出する。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、例えば、撮像画像上で骨格点を含む所定の範囲の領域(以下「人形特徴判定領域」という。)において金属が検出される等、ダミー人形特有の特徴を検出する。第一処理部12は、人形特徴判定領域においてダミー人形特有の特徴が検出された場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体であると判定する。例えば、第一処理部12は、公知の画像認識処理技術を用いて、金属を検出すればよい。また、例えば、第一処理部12は、ダミー人形特有の特徴を示す画像とのパターンマッチングによって、ダミー人形特有の特徴を検出してもよい。
第一処理部12は、例えば、人形特徴判定領域においてダミー人形特有の特徴が検出されなかった場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員であると判定する。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
第一処理部12は、制御対象候補の複数の骨格点が検出できた場合、例えば、撮像画像上で骨格点を含む所定の範囲の領域(以下「人形特徴判定領域」という。)において金属が検出される等、ダミー人形特有の特徴を検出する。第一処理部12は、人形特徴判定領域においてダミー人形特有の特徴が検出された場合、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体であると判定する。例えば、第一処理部12は、公知の画像認識処理技術を用いて、金属を検出すればよい。また、例えば、第一処理部12は、ダミー人形特有の特徴を示す画像とのパターンマッチングによって、ダミー人形特有の特徴を検出してもよい。
第一処理部12は、例えば、人形特徴判定領域においてダミー人形特有の特徴が検出されなかった場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補は乗員であると判定する。
また、第一処理部12は、制御対象候補の複数の骨格点が検出されなかった場合は、制御対象候補は生体的な特徴を示していないと判定し、制御対象候補は非生体と判定する。
なお、上述した<条件(1)>~<条件(6)>のような生体非生体判定用条件は、一例に過ぎない。生体非生体判定用条件には、<条件(1)>~<条件(6)>以外の条件が設定されていてもよい。
また、第一処理部12は、生体非生体判定用条件にて設定されている複数の条件を組み合わせて、制御対象候補は生体的な特徴を示しているか否かを判定してもよい。
また、第一処理部12は、生体非生体判定用条件にて設定されている複数の条件を組み合わせて、制御対象候補は生体的な特徴を示しているか否かを判定してもよい。
第一処理部12は、制御対象候補が生体であると判定した場合、すなわち、制御対象候補が乗員であると判定した場合、制御対象候補を制御対象、言い換えれば、乗員とし、乗員に関する情報(以下「制御対象情報」という。)を、第二処理部13に出力する。
制御対象情報は、制御対象が存在することを示す情報と、第一処理にて検出された特徴量に関する情報を含む。第一処理にて検出された特徴量に関する情報は、例えば、顔のパーツ、顔の特徴量、顔の特徴量に基づく生体的な動き、骨格点、または、骨格点の生体的な動き、を示す情報を含む。制御対象情報は、例えば、情報取得部11が取得した撮像画像、を含んでもよい。
制御対象情報は、制御対象が存在することを示す情報と、第一処理にて検出された特徴量に関する情報を含む。第一処理にて検出された特徴量に関する情報は、例えば、顔のパーツ、顔の特徴量、顔の特徴量に基づく生体的な動き、骨格点、または、骨格点の生体的な動き、を示す情報を含む。制御対象情報は、例えば、情報取得部11が取得した撮像画像、を含んでもよい。
第二処理部13は、第一処理部12が制御対象候補は生体であると判定した場合に、制御対象候補を制御対象とし、制御対象情報に基づき当該制御対象の属性または状況を推定し、制御用情報を生成する処理(以下「第二判定処理」という。)を行う。
ここでは、第二処理部13は、第一処理部12が制御対象候補は乗員であると判定した場合に、制御対象候補を制御対象である乗員とし、制御対象情報に基づき、乗員の年齢を推定し、制御用情報を生成する第二判定処理を行う。
第二処理部13は、例えば、第一処理部12から制御対象情報が出力された場合に、第一処理部12が制御対象候補は乗員であると判定した、と判定できる。
ここでは、第二処理部13は、第一処理部12が制御対象候補は乗員であると判定した場合に、制御対象候補を制御対象である乗員とし、制御対象情報に基づき、乗員の年齢を推定し、制御用情報を生成する第二判定処理を行う。
第二処理部13は、例えば、第一処理部12から制御対象情報が出力された場合に、第一処理部12が制御対象候補は乗員であると判定した、と判定できる。
第二処理部13は、人の年齢を推定する公知の技術を用いて、乗員の年齢を推定すればよい。例えば、第二処理部13は、顔の特徴量に基づいて人の年齢を推定する公知の技術を用いて乗員の年齢を推定することができる。なお、顔の特徴量に関する情報は、制御対象情報に含まれている。第二処理部13は、撮像画像から顔のパーツを検出する、または、顔の特徴量を算出する等の処理を行わなくてよい。
また、第二処理部13は、例えば、顔の特徴量を入力とし、年齢を示す情報を出力する機械学習モデルに、乗員の顔の特徴量を推定し、得られた年齢を示す情報から、乗員の年齢を推定してもよい。
第二処理部13は、乗員の年齢を推定すると、推定した乗員の年齢に基づき、エアバッグの開き具合または高さ等を決定する。第二処理部13は、決定したエアバッグの開き具合または高さ等でエアバッグを制御させるための制御用情報を生成する。なお、推定された乗員の年齢がどれぐらいである場合に、エアバッグの開き具合または高さ等、エアバッグ制御の内容をどのようなものにするかが定義された制御用条件が、予め管理者等によって生成され、制御用条件を示す情報(以下「制御用条件情報」という。)が図示しない記憶部に記憶されている。第二処理部13は、制御用条件情報を参照して、推定した乗員の年齢に応じたエアバッグの開き具合または高さ等を決定すればよい。
そして、第二処理部13は、生成した制御用情報を制御装置3に出力する。
制御装置3は、第二処理部13から出力された制御用情報に基づいて、エアバッグの制御を行う。
また、第二処理部13は、例えば、顔の特徴量を入力とし、年齢を示す情報を出力する機械学習モデルに、乗員の顔の特徴量を推定し、得られた年齢を示す情報から、乗員の年齢を推定してもよい。
第二処理部13は、乗員の年齢を推定すると、推定した乗員の年齢に基づき、エアバッグの開き具合または高さ等を決定する。第二処理部13は、決定したエアバッグの開き具合または高さ等でエアバッグを制御させるための制御用情報を生成する。なお、推定された乗員の年齢がどれぐらいである場合に、エアバッグの開き具合または高さ等、エアバッグ制御の内容をどのようなものにするかが定義された制御用条件が、予め管理者等によって生成され、制御用条件を示す情報(以下「制御用条件情報」という。)が図示しない記憶部に記憶されている。第二処理部13は、制御用条件情報を参照して、推定した乗員の年齢に応じたエアバッグの開き具合または高さ等を決定すればよい。
そして、第二処理部13は、生成した制御用情報を制御装置3に出力する。
制御装置3は、第二処理部13から出力された制御用情報に基づいて、エアバッグの制御を行う。
実施の形態1に係る情報処理装置1の動作について説明する。
図3は、実施の形態1に係る情報処理装置1の動作について説明するためのフローチャートである。
情報処理装置1は、例えば、車両の電源がオンにされ、情報処理装置1に電源が供給されると、図3のフローチャートで示すような動作を開始し、車両の電源がオフにされ、情報処理装置1に電源が供給されなくなるまで、図3のフローチャートで示すような動作を繰り返す。
図3は、実施の形態1に係る情報処理装置1の動作について説明するためのフローチャートである。
情報処理装置1は、例えば、車両の電源がオンにされ、情報処理装置1に電源が供給されると、図3のフローチャートで示すような動作を開始し、車両の電源がオフにされ、情報処理装置1に電源が供給されなくなるまで、図3のフローチャートで示すような動作を繰り返す。
情報取得部11は、対象情報取得装置2から対象情報、ここでは車室内が撮像された撮像画像、を取得する(ステップST1)。
情報取得部11は、取得した撮像画像を、第一処理部12に出力する。
情報取得部11は、取得した撮像画像を、第一処理部12に出力する。
第一処理部12は、ステップST1にて情報取得部11が取得した撮像画像に基づき、第一判定処理を行う(ステップST2)。
第一処理部12は、第一判定処理を行った結果、制御対象候補が生体であると判定した場合、すなわち、制御対象候補が乗員であると判定した場合(ステップST3の“YES”の場合)、制御対象候補を制御対象である乗員とし、制御対象情報を第二処理部13に出力する。
第一処理部12は、第一判定処理を行った結果、制御対象候補が非生体であると判定した場合(ステップST3の“NO”の場合)は、制御対象情報の第二処理部13への出力を行わない。そして、情報処理装置1の動作は、ステップST4の処理をスキップする。
第一処理部12は、第一判定処理を行った結果、制御対象候補が生体であると判定した場合、すなわち、制御対象候補が乗員であると判定した場合(ステップST3の“YES”の場合)、制御対象候補を制御対象である乗員とし、制御対象情報を第二処理部13に出力する。
第一処理部12は、第一判定処理を行った結果、制御対象候補が非生体であると判定した場合(ステップST3の“NO”の場合)は、制御対象情報の第二処理部13への出力を行わない。そして、情報処理装置1の動作は、ステップST4の処理をスキップする。
第二処理部13は、第一処理部12が制御対象候補は生体であると判定した場合(ステップST3の“YES”の場合)に、制御対象候補を制御対象である乗員とし、第二判定処理を行う(ステップST4)。
第二処理部13は、制御用情報を生成し、生成した制御用情報を制御装置3に出力する。
第二処理部13は、制御用情報を生成し、生成した制御用情報を制御装置3に出力する。
図4は、図3のステップST2における第一処理部12の動作についてより詳細に説明するためのフローチャートである。
第一処理部12は、撮像画像に基づき、生体非生体判定用条件に従って、制御対象候補は生体的な特徴を示しているか否かを判定する(ステップST11)。
ステップST11にて、制御対象候補は生体的な特徴を示していると判定した場合(ステップST11の“YES”の場合)、第一処理部12は、制御対象候補を生体、言い換えれば、乗員と判定する(ステップST12)。そして、第一処理部12は、制御対象情報を、第二処理部13に出力する(ステップST14)。
一方、ステップST11にて、制御対象候補は生体的な特徴を示していないと判定した場合(ステップST11の“NO”の場合)、第一処理部12は、制御対象候補を非生体と判定する(ステップST13)。そして、第一処理部12は、ステップST14はスキップし、制御対象情報の第二処理部13への出力を行わず、第一判定処理を終了する。
図5は、図3のステップST4における第二処理部13の動作についてより詳細に説明するためのフローチャートである。
第二処理部13は、第一処理部12から制御対象情報が出力されると、これを取得する(ステップST21)。
第二処理部13は、ステップST21にて取得した制御対象情報に基づき制御対象の属性または状況、ここでは、乗員の年齢、を推定し(ステップST22)、制御用情報を生成する(ステップST23)。
そして、第二処理部13は、ステップST23にて生成した制御用情報を制御装置3に出力する(ステップST24)。
第二処理部13は、ステップST21にて取得した制御対象情報に基づき制御対象の属性または状況、ここでは、乗員の年齢、を推定し(ステップST22)、制御用情報を生成する(ステップST23)。
そして、第二処理部13は、ステップST23にて生成した制御用情報を制御装置3に出力する(ステップST24)。
このように、情報処理装置1は、対象情報取得装置2から取得した対象情報に基づき、制御対象候補は乗員であるか否かを判定する処理(第一判定処理)を行う。情報処理装置1は、制御対象候補は乗員であると判定した場合に、当該乗員の年齢を推定し、制御用情報を生成する。情報処理装置1は、制御対象候補が乗員ではない、言い換えれば、非生体であると判定した場合は、乗員の年齢を推定する処理(第二判定処理)自体、行わない。
これにより、情報処理装置1は、精度が良く、かつ、乗員の年齢の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、乗員の年齢に応じたエアバッグ制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度が良く、かつ、乗員の年齢の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、乗員の年齢に応じたエアバッグ制御が誤った制御となることを防ぐことができる。
上述したように、制御対象候補が乗員かダミー人形等の非生体かをより精度良く行うためには、より詳細な判定が必要となる。一方、制御対象候補が非生体であった場合、仮に、後段のエアバッグ制御に用いる制御用情報の生成のために年齢を推定する過程で制御対象候補が乗員か非生体かの判定を行おうとすると、非生体に対する年齢推定が行われ、後段のエアバッグ制御には無用な、負荷の大きい処理を無用に行ってしまう可能性がある。
これに対し、情報処理装置1は、制御対象候補が乗員かダミー人形等の非生体かを判定する第一判定処理と、乗員の年齢を推定し制御用情報を生成する第二判定処理とを独立した別の処理とし、第一判定処理にて、制御対象候補が生体的な特徴を示しているか否かによってより詳細に制御対象候補が乗員か非生体かを判定し、第一判定処理にて制御対象候補が乗員であると判定した場合にのみ、乗員の年齢を推定し制御用情報を生成する第二判定処理を行うようにした。
なお、一般的に、機械学習モデルを用いた推定処理、および、生体反応の検出処理はより複雑な計算を必要とするため、単純な画像処理と比較して処理負荷が高くなる傾向にあると想定される。
これに対し、情報処理装置1は、制御対象候補が乗員かダミー人形等の非生体かを判定する第一判定処理と、乗員の年齢を推定し制御用情報を生成する第二判定処理とを独立した別の処理とし、第一判定処理にて、制御対象候補が生体的な特徴を示しているか否かによってより詳細に制御対象候補が乗員か非生体かを判定し、第一判定処理にて制御対象候補が乗員であると判定した場合にのみ、乗員の年齢を推定し制御用情報を生成する第二判定処理を行うようにした。
なお、一般的に、機械学習モデルを用いた推定処理、および、生体反応の検出処理はより複雑な計算を必要とするため、単純な画像処理と比較して処理負荷が高くなる傾向にあると想定される。
そのため、情報処理装置1は、精度が良く、かつ、乗員の年齢の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。
なお、実施の形態1では、情報処理装置1において、第二処理部13が推定する乗員の属性または状況は年齢とし、制御装置3が行う制御はエアバッグ制御としたが、これは一例に過ぎない。
例えば、制御装置3が行う制御は、シートベルト制御、シート位置またはシートのリクライニングの制御であってもよい。また、例えば、制御装置3が行う制御は、車室内における空調または音響の制御であってもよい。
また、例えば、第二処理部13が推定する乗員の属性または状況は、乗員の感情であってもよいし、体格であってもよい。なお、第二処理部13は、例えば、公知の技術を用いて、脈波から乗員の感情を推定することができる。また、第二処理部13は、例えば、公知の技術を用いて、骨格点から乗員の体格を推定することができる。
例えば、制御装置3が行う制御は、シートベルト制御、シート位置またはシートのリクライニングの制御であってもよい。また、例えば、制御装置3が行う制御は、車室内における空調または音響の制御であってもよい。
また、例えば、第二処理部13が推定する乗員の属性または状況は、乗員の感情であってもよいし、体格であってもよい。なお、第二処理部13は、例えば、公知の技術を用いて、脈波から乗員の感情を推定することができる。また、第二処理部13は、例えば、公知の技術を用いて、骨格点から乗員の体格を推定することができる。
また、以上の実施の形態1では、対象情報取得装置2は撮像装置であるものとしたが、これは一例に過ぎない。対象情報取得装置2は、例えば、ミリ波センサであってもよい。
ミリ波センサは、乗員が存在すべき範囲、ここでは車室内、に向けて電波を放射し、放射した電波が車室内に存在する乗員を含む制御対象候補によって反射した反射波に基づいて制御対象候補を検出する。ミリ波センサは、制御対象候補までの距離、角度、および、制御対象候補の速度を検出できる。
ミリ波センサは、検出した物体に関する情報(以下「物体検出情報」という。)を、対象情報として情報処理装置1に出力する。
情報処理装置1にて情報取得部11は、物体検出情報を取得し、第一処理部12は、物体検出情報に基づき、制御対象候補が生体的な特徴を示しているかによって、制御対象候補が乗員か非生体かを判定する。
この場合、生体非生体判定用条件には、例えば、以下の<条件(7)>のような条件が設定されている。
ミリ波センサは、乗員が存在すべき範囲、ここでは車室内、に向けて電波を放射し、放射した電波が車室内に存在する乗員を含む制御対象候補によって反射した反射波に基づいて制御対象候補を検出する。ミリ波センサは、制御対象候補までの距離、角度、および、制御対象候補の速度を検出できる。
ミリ波センサは、検出した物体に関する情報(以下「物体検出情報」という。)を、対象情報として情報処理装置1に出力する。
情報処理装置1にて情報取得部11は、物体検出情報を取得し、第一処理部12は、物体検出情報に基づき、制御対象候補が生体的な特徴を示しているかによって、制御対象候補が乗員か非生体かを判定する。
この場合、生体非生体判定用条件には、例えば、以下の<条件(7)>のような条件が設定されている。
<条件(7)>
制御対象候補の生体反応が検出された場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の生体反応が検出されない場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の生体反応は、心拍または呼吸を含む。
制御対象候補の生体反応が検出された場合、制御対象候補は生体的な特徴を示していると判定し、制御対象候補の生体反応が検出されない場合、制御対象候補は生体的な特徴を示していないと判定する。
制御対象候補の生体反応は、心拍または呼吸を含む。
第一処理部12は、物体検知情報に基づき、物体検知情報で示されている動きが、心拍または呼吸と推定されるかを判定する。ミリ波センサは、体の表面の微小な動きを検出する。人は呼吸するとき、胸や腹部がわずかに動く。ミリ波センサは、この微小な動きを検出できる。
第一処理部12は、物体検知情報に基づき、ミリ波センサが検出した微小な動きから、心拍または呼吸を検出すればよい。ミリ波センサが検出した微小な動きから心拍または呼吸を検出する方法は公知の方法であるため、詳細な説明を省略する。
また、この場合、第二処理部13は、例えば、乗員の心拍数または呼吸数を算出し、算出した心拍数または呼吸数から、乗員の属性または状況を推定する。
第一処理部12は、物体検知情報に基づき、ミリ波センサが検出した微小な動きから、心拍または呼吸を検出すればよい。ミリ波センサが検出した微小な動きから心拍または呼吸を検出する方法は公知の方法であるため、詳細な説明を省略する。
また、この場合、第二処理部13は、例えば、乗員の心拍数または呼吸数を算出し、算出した心拍数または呼吸数から、乗員の属性または状況を推定する。
また、以上の実施の形態1において、対象情報取得装置2は情報処理装置1に複数接続されてもよい。例えば、撮像装置とミリ波センサが情報処理装置1に接続され、情報処理装置1は、撮像画像と物体検出情報とから、第一判定処理または第二判定処理を行ってもよい。
また、以上の実施の形態1では、情報処理装置1は、車載装置とし、情報取得部11と、第一処理部12と、第二処理部13は車載装置に備えられるものとした。
これに限らず、情報取得部11と、第一処理部12と、第二処理部13のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで情報処理システムを構成するようにしてもよい。
また、情報取得部11と、第一処理部12と、第二処理部13が全部サーバに備えられてもよい。
これに限らず、情報取得部11と、第一処理部12と、第二処理部13のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで情報処理システムを構成するようにしてもよい。
また、情報取得部11と、第一処理部12と、第二処理部13が全部サーバに備えられてもよい。
また、以上の実施の形態1では、制御対象である生体は車両の乗員であるものとしたが、これは一例に過ぎない。例えば、制御対象は、船舶または飛行機等、車両以外の移動体の乗員であってもよいし、工場内、室内、または居室内における人であってもよい。
制御装置3は、あらゆる場面において生体の属性または状況に応じた制御を行う制御装置とできる。例えば、制御装置3は、居室にて、当該居室に存在している人の年齢に応じて空調の温度または風向きを制御する制御装置であってもよい。
情報処理装置1は、制御装置3が行う制御対象の属性または状況に応じた種々の制御に応じて、当該制御を行うための制御用情報を提供する情報処理装置に適用できる。
制御装置3は、あらゆる場面において生体の属性または状況に応じた制御を行う制御装置とできる。例えば、制御装置3は、居室にて、当該居室に存在している人の年齢に応じて空調の温度または風向きを制御する制御装置であってもよい。
情報処理装置1は、制御装置3が行う制御対象の属性または状況に応じた種々の制御に応じて、当該制御を行うための制御用情報を提供する情報処理装置に適用できる。
図6Aおよび図6Bは、実施の形態1に係る情報処理装置1のハードウェア構成の一例を示す図である。
実施の形態1において、情報取得部11と、第一処理部12と、第二処理部13の機能は、処理回路101により実現される。すなわち、情報処理装置1は、制御対象候補が生体か非生体かを判定する第一判定処理と、第一判定処理にて制御対象候補が生体であると判定した場合にのみ第二判定処理を行って、制御用情報を生成する制御を行うための処理回路101を備える。
処理回路101は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリに格納されるプログラムを実行するプロセッサ104であってもよい。
実施の形態1において、情報取得部11と、第一処理部12と、第二処理部13の機能は、処理回路101により実現される。すなわち、情報処理装置1は、制御対象候補が生体か非生体かを判定する第一判定処理と、第一判定処理にて制御対象候補が生体であると判定した場合にのみ第二判定処理を行って、制御用情報を生成する制御を行うための処理回路101を備える。
処理回路101は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリに格納されるプログラムを実行するプロセッサ104であってもよい。
処理回路101が専用のハードウェアである場合、処理回路101は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路がプロセッサ104の場合、情報取得部11と、第一処理部12と、第二処理部13の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ105に記憶される。プロセッサ104は、メモリ105に記憶されたプログラムを読み出して実行することにより、情報取得部11と、第一処理部12と、第二処理部13の機能を実行する。すなわち、情報処理装置1は、プロセッサ104により実行されるときに、上述の図3のステップST1~ステップST4が結果的に実行されることになるプログラムを格納するためのメモリ105を備える。また、メモリ105に記憶されたプログラムは、情報取得部11と、第一処理部12と、第二処理部13の処理の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ105とは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、情報取得部11と、第一処理部12と、第二処理部13の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、情報取得部11については専用のハードウェアとしての処理回路101でその機能を実現し、第一処理部12と第二処理部13についてはプロセッサ104がメモリ105に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
図示しない記憶部は、例えば、メモリ105またはHDD等で構成される。
また、情報処理装置1は、対象情報取得装置2または制御装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置102および出力インタフェース装置103を備える。
図示しない記憶部は、例えば、メモリ105またはHDD等で構成される。
また、情報処理装置1は、対象情報取得装置2または制御装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置102および出力インタフェース装置103を備える。
以上のように、実施の形態1によれば、情報処理装置1は、制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理装置1であって、対象情報取得装置2から制御対象候補に関する対象情報を取得する情報取得部11と、情報取得部11が取得した対象情報に基づき、制御対象候補が生体的な特徴を示しているか否かによって、制御対象候補が生体であるか否かを判定する第一判定処理を行う第一処理部12と、第一処理部12が制御対象候補は生体であると判定した場合に、制御対象候補を制御対象とし、当該制御対象の属性または状況を推定して制御用情報を生成する第二判定処理を行う第二処理部13を備えるように構成した。
これにより、情報処理装置1は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
情報処理装置1において、第二処理部13は、第一処理部12が制御対象候補は生体ではないと判定した場合は、制御対象候補は制御対象ではないとして、第二判定処理を行わない。
これにより、情報処理装置1は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
また、対象情報取得装置2は撮像装置を含み、対象情報は撮像装置が制御対象候補を撮像した撮像画像であり、情報処理装置1において、第一処理部12は、第一判定処理において、撮像画像に基づき、制御対象候補の瞬き、視線移動、頭移動、または、脈波を含む動きを生体的な特徴として検出し、制御対象候補は生体であるか否かを判定するようにした。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
また、対象情報取得装置2は撮像装置を含み、対象情報は撮像装置が前記制御対象を撮像した撮像画像であり、情報処理装置1において、第一処理部12は、第一判定処理において、撮像画像に基づき、制御対象候補の、人が行い得る行動に伴うと想定される骨格点の動き、または、骨格点の周期的な動きを生体的な特徴として検出し、制御対象候補は生体であるか否かを判定するようにした。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
また、対象情報取得装置2はミリ波センサを含み、対象情報はミリ波センサが制御対象候補を検出した物体検出情報であり、情報処理装置1において、第一処理部12は、第一判定処理において、物体検出情報に基づき、制御対象候補の心拍または呼吸を生体的な特徴として検出し、制御対象候補は生体であるか否かを判定するようにした。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
これにより、情報処理装置1は、精度良く、制御対象が生体であるか否かを判定することができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
また、情報処理装置1において、第二処理部13は、第二判定処理において、制御対象の年齢、感情、または、体格を、制御対象の属性または状況として推定するようにした。
第一判定処理において制御対象候補が生体と判定された場合にのみ、制御対象の属性または状況として年齢、感情、または、体格を推定するので、情報処理装置1は、年齢、感情、または、体格を誤推定することにより誤った制御が行われ得る制御用情報が生成されることを防ぐことができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
第一判定処理において制御対象候補が生体と判定された場合にのみ、制御対象の属性または状況として年齢、感情、または、体格を推定するので、情報処理装置1は、年齢、感情、または、体格を誤推定することにより誤った制御が行われ得る制御用情報が生成されることを防ぐことができる。その結果、情報処理装置1は、生体の属性または状況に応じた制御が誤った制御となることを防ぐことができる。
なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
本開示に係る情報処理装置は、制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理装置に適用され、精度が良く、かつ、生体の属性または状況の推定のための無用な処理負荷をおさえて生成された制御用情報、を提供ことができる。
1 情報処理装置、11 情報取得部、12 第一処理部、13 第二処理部、2 対象情報取得装置、3 制御装置、101 処理回路、102 入力インタフェース装置、103 出力インタフェース装置、104 プロセッサ、105 メモリ。
Claims (8)
- 制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理装置であって、
対象情報取得装置から制御対象候補に関する対象情報を取得する情報取得部と、
前記情報取得部が取得した前記対象情報に基づき、前記制御対象候補が生体的な特徴を示しているか否かによって、前記制御対象候補が前記生体であるか否かを判定する第一判定処理を行う第一処理部と、
前記第一処理部が前記制御対象候補は前記生体であると判定した場合に、前記制御対象候補を前記制御対象とし、当該制御対象の前記属性または前記状況を推定して前記制御用情報を生成する第二判定処理を行う第二処理部
とを備えた情報処理装置。 - 前記第二処理部は、
前記第一処理部が前記制御対象候補は前記生体ではないと判定した場合は、前記制御対象候補は前記制御対象ではないとして、前記第二判定処理を行わない
ことを特徴とする請求項1記載の情報処理装置。 - 前記対象情報取得装置は撮像装置を含み、前記対象情報は前記撮像装置が前記制御対象候補を撮像した撮像画像であり、
前記第一処理部は、前記第一判定処理において、前記撮像画像に基づき、前記制御対象候補の瞬き、視線移動、頭移動、または、脈波を含む動きを前記生体的な特徴として検出し、前記制御対象候補は前記生体であるか否かを判定する
ことを特徴とする請求項1または請求項2記載の情報処理装置。 - 前記対象情報取得装置は撮像装置を含み、前記対象情報は前記撮像装置が前記制御対象を撮像した撮像画像であり、
前記第一処理部は、前記第一判定処理において、前記撮像画像に基づき、前記制御対象候補の、人が行い得る行動に伴うと想定される骨格点の動き、または、前記骨格点の周期的な動きを前記生体的な特徴として検出し、前記制御対象候補は前記生体であるか否かを判定する
ことを特徴とする請求項1または請求項2記載の情報処理装置。 - 前記対象情報取得装置はミリ波センサを含み、前記対象情報は前記ミリ波センサが前記制御対象候補を検出した物体検出情報であり、
前記第一処理部は、前記第一判定処理において、前記物体検出情報に基づき、前記制御対象候補の心拍または呼吸を前記生体的な特徴として検出し、前記制御対象候補は前記生体であるか否かを判定する
ことを特徴とする請求項1または請求項2記載の情報処理装置。 - 前記第二処理部は、前記第二判定処理において、前記制御対象の年齢、感情、または、体格を、前記制御対象の前記属性または前記状況として推定する
ことを特徴とする請求項1または請求項2記載の情報処理装置。 - 前記制御対象は車両の乗員である
ことを特徴とする請求項1記載の情報処理装置。 - 制御対象となる生体の属性または状況に応じた制御を行うための制御用情報を提供する情報処理方法であって、
情報取得部が、対象情報取得装置から制御対象候補に関する対象情報を取得するステップと、
第一処理部が、前記情報取得部が取得した前記対象情報に基づき、前記制御対象候補が生体的な特徴を示しているか否かによって、前記制御対象候補が前記生体であるか否かを判定する第一判定処理を行うステップと、
第二処理部が、前記第一処理部が前記制御対象候補は前記生体であると判定した場合に、前記制御対象候補を前記制御対象とし、当該制御対象の前記属性または前記状況を推定して前記制御用情報を生成する第二判定処理を行うステップ
とを備えた情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/020598 WO2025253567A1 (ja) | 2024-06-06 | 2024-06-06 | 情報処理装置および情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/020598 WO2025253567A1 (ja) | 2024-06-06 | 2024-06-06 | 情報処理装置および情報処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025253567A1 true WO2025253567A1 (ja) | 2025-12-11 |
Family
ID=97960639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/020598 Pending WO2025253567A1 (ja) | 2024-06-06 | 2024-06-06 | 情報処理装置および情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025253567A1 (ja) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010195139A (ja) * | 2009-02-24 | 2010-09-09 | Takata Corp | 乗員拘束制御装置および乗員拘束制御方法 |
| JP2010214990A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 車両用制御装置および方法、並びにプログラム |
| JP2018185749A (ja) * | 2017-04-27 | 2018-11-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および固体撮像装置の制御方法 |
| WO2020194508A1 (ja) * | 2019-03-26 | 2020-10-01 | 三菱電機株式会社 | 車両警報装置、および、車両警報方法 |
| WO2021240769A1 (ja) * | 2020-05-29 | 2021-12-02 | 三菱電機株式会社 | 乗員検出装置および乗員検出方法 |
| WO2021240777A1 (ja) * | 2020-05-29 | 2021-12-02 | 三菱電機株式会社 | 乗員検出装置および乗員検出方法 |
| WO2023119538A1 (ja) * | 2021-12-23 | 2023-06-29 | 三菱電機株式会社 | 乗員監視装置、および、乗員監視方法 |
| WO2023127072A1 (ja) * | 2021-12-28 | 2023-07-06 | 三菱電機株式会社 | 置き去り検知装置及び置き去り検知方法 |
| WO2023195060A1 (ja) * | 2022-04-05 | 2023-10-12 | 三菱電機株式会社 | 乗員検知装置および乗員検知方法 |
-
2024
- 2024-06-06 WO PCT/JP2024/020598 patent/WO2025253567A1/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010195139A (ja) * | 2009-02-24 | 2010-09-09 | Takata Corp | 乗員拘束制御装置および乗員拘束制御方法 |
| JP2010214990A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 車両用制御装置および方法、並びにプログラム |
| JP2018185749A (ja) * | 2017-04-27 | 2018-11-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および固体撮像装置の制御方法 |
| WO2020194508A1 (ja) * | 2019-03-26 | 2020-10-01 | 三菱電機株式会社 | 車両警報装置、および、車両警報方法 |
| WO2021240769A1 (ja) * | 2020-05-29 | 2021-12-02 | 三菱電機株式会社 | 乗員検出装置および乗員検出方法 |
| WO2021240777A1 (ja) * | 2020-05-29 | 2021-12-02 | 三菱電機株式会社 | 乗員検出装置および乗員検出方法 |
| WO2023119538A1 (ja) * | 2021-12-23 | 2023-06-29 | 三菱電機株式会社 | 乗員監視装置、および、乗員監視方法 |
| WO2023127072A1 (ja) * | 2021-12-28 | 2023-07-06 | 三菱電機株式会社 | 置き去り検知装置及び置き去り検知方法 |
| WO2023195060A1 (ja) * | 2022-04-05 | 2023-10-12 | 三菱電機株式会社 | 乗員検知装置および乗員検知方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6973258B2 (ja) | 画像解析装置、方法およびプログラム | |
| JP6264495B1 (ja) | 運転者監視装置、運転者監視方法、学習装置及び学習方法 | |
| JP7374373B2 (ja) | 体格判定装置および体格判定方法 | |
| CN110537207B (zh) | 脸部朝向推定装置及脸部朝向推定方法 | |
| JP2019527448A (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| US9928404B2 (en) | Determination device, determination method, and non-transitory storage medium | |
| CN111742191B (zh) | 三维位置推定装置及三维位置推定方法 | |
| CN105715144A (zh) | 用于运行用于门和/或窗的能够激活的锁止装置的方法、用于车辆的保险装置以及车辆 | |
| JP2017199303A (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
| CN116194342A (zh) | 用于分析车辆内部的计算机实现的方法 | |
| JP7399283B2 (ja) | 乗員検出装置、子供置き去り警報システム、乗員検出方法および子供置き去り警報方法 | |
| CN118470695B (zh) | 一种汽车舱内睡眠识别方法、装置、电子设备及介质 | |
| WO2021070611A1 (ja) | 画像処理装置、および非一時的なコンピュータ可読媒体 | |
| JP7611839B2 (ja) | 異常状態推定装置および異常状態推定方法 | |
| WO2018168038A1 (ja) | 運転者の着座判定装置 | |
| JPWO2021205508A5 (ja) | ||
| US10706301B2 (en) | Detection device, learning device, detection method, learning method, and recording medium | |
| CN115990105A (zh) | 胸板位置的确定 | |
| CN119018052B (zh) | 车辆的后视镜调节方法、装置、车辆及存储介质 | |
| US20240386600A1 (en) | Physique determination device and physique determination method | |
| WO2022180655A1 (ja) | 乗員検知装置および乗員検知方法 | |
| WO2021070609A1 (ja) | 画像処理装置、および非一時的なコンピュータ可読媒体 | |
| JP7734854B2 (ja) | 体格判定装置および体格判定方法 | |
| JP7412514B1 (ja) | キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム | |
| JP3751467B2 (ja) | 車載機器制御装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24942656 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2026525431 Country of ref document: JP Kind code of ref document: A |