WO2021044567A1 - 操作者判定装置および操作者判定方法 - Google Patents

操作者判定装置および操作者判定方法 Download PDF

Info

Publication number
WO2021044567A1
WO2021044567A1 PCT/JP2019/034914 JP2019034914W WO2021044567A1 WO 2021044567 A1 WO2021044567 A1 WO 2021044567A1 JP 2019034914 W JP2019034914 W JP 2019034914W WO 2021044567 A1 WO2021044567 A1 WO 2021044567A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
estimation unit
estimated
skeleton
unit
Prior art date
Application number
PCT/JP2019/034914
Other languages
English (en)
French (fr)
Inventor
瑞貴 川瀬
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/034914 priority Critical patent/WO2021044567A1/ja
Priority to JP2021543880A priority patent/JP7003335B2/ja
Priority to DE112019007569.1T priority patent/DE112019007569T5/de
Publication of WO2021044567A1 publication Critical patent/WO2021044567A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for

Definitions

  • the present invention relates to an operator determination device and an operator determination method for determining an operator who operates a device installed in a vehicle.
  • a technique of predicting the movement of the operator's hand using an image taken by the camera and determining the operator based on the movement of the hand is disclosed (see, for example, Patent Document 1). ). Further, a technique for determining an operator based on the position of the operator's arm in an image captured by the camera is disclosed (see, for example, Patent Document 2). By determining the operator in this way, it is possible to invalidate the operation of the driver and enable the operation of another occupant while the vehicle is traveling.
  • the operator's hand or arm is detected by image processing the image taken by the camera.
  • the object may be erroneously detected as the hand or arm.
  • the operator may be erroneously determined.
  • conventionally it cannot be said that the operator who operates the equipment installed in the vehicle is accurately determined.
  • the present invention has been made to solve such a problem, and provides an operator determination device and an operator determination method capable of accurately determining an operator who operates a device installed in a vehicle.
  • the purpose is to provide.
  • the operator determination device has an image acquisition unit that acquires an image of the occupant in the vehicle taken by the camera, and an occupant's face based on the image acquired by the image acquisition unit.
  • the facial feature point estimation unit that estimates the feature points of the occupant
  • the head position estimation unit that estimates the relative position of the occupant's head with respect to the camera based on the facial feature points estimated by the facial feature point estimation unit, and image acquisition.
  • the part estimation part Based on the image acquired by the part, the part estimation part that estimates the size of multiple parts of the occupant in the image, the relative position of the occupant's head estimated by the head position estimation part, and the part estimation part estimated.
  • a skeletal estimation unit that estimates the occupant's skeleton based on the size of each part, and a predictive operation that indicates a sign that the occupant will operate the equipment installed in the vehicle based on the skeletal movement estimated by the skeletal estimation unit. It is provided with a predictive operation estimation unit that estimates the above, and an operator determination unit that determines an occupant who operates the device based on the predictive operation estimated by the predictive operation estimation unit.
  • the operator determination device estimates the skeleton of the occupant based on the relative position of the occupant's head estimated by the head position estimation unit and the size of each part estimated by the part estimation unit. Based on the estimation unit and the movement of the skeleton estimated by the skeleton estimation unit, the predictive operation estimation unit estimates the predictive operation that indicates the sign that the occupant operates the equipment installed in the vehicle, and the predictive operation estimation unit estimates. Since it is provided with an operator determination unit that determines an occupant who operates the device based on the predictive operation, it is possible to accurately determine the operator who operates the device installed in the vehicle.
  • FIG. 1 is a block diagram showing an example of the configuration of the operator determination device 1 according to the present embodiment. Note that FIG. 1 shows the minimum necessary configuration for configuring the operator determination device according to the present embodiment. Further, it is assumed that the operator determination device 1 is mounted in the vehicle.
  • the operator determination device 1 includes an image acquisition unit 2, a face feature point estimation unit 3, a head position estimation unit 4, a site estimation unit 5, a skeleton estimation unit 6, and a predictive operation estimation.
  • a unit 7 and an operator determination unit 8 are provided.
  • the image acquisition unit 2 is connected to the camera 9.
  • the camera 9 is mounted in the vehicle, for example, as shown in FIGS. 3 and 4 described later.
  • the image acquisition unit 2 acquires an image of the occupant in the vehicle taken by the camera 9.
  • the facial feature point estimation unit 3 estimates the facial feature points of the occupant based on the image acquired by the image acquisition unit 2.
  • the head position estimation unit 4 estimates the relative position of the occupant's head with respect to the camera 9 based on the facial feature points estimated by the face feature point estimation unit 3.
  • the part estimation unit 5 estimates the sizes of a plurality of parts of the occupant in the image based on the image acquired by the image acquisition unit 2.
  • the skeleton estimation unit 6 estimates the skeleton of the occupant based on the relative position of the occupant's head estimated by the head position estimation unit 4 and the size of each part estimated by the site estimation unit 5.
  • the predictive operation estimation unit 7 estimates a predictive operation that indicates a sign that the occupant operates the equipment installed in the vehicle based on the movement of the skeleton estimated by the skeleton estimation unit 6.
  • the operator determination unit 8 determines an occupant who operates the device based on the predictive operation estimated by the predictive operation estimation unit 7.
  • FIG. 2 is a block diagram showing an example of the configuration of the operator determination device 10 according to another configuration. It is assumed that the operator determination device 10 is mounted in the vehicle.
  • the operator determination device 10 includes an image acquisition unit 2, a face feature point estimation unit 3, a head position estimation unit 4, a site estimation unit 5, a skeleton estimation unit 6, and a predictive operation estimation.
  • a unit 7, an operator determination unit 8, and a determination result output unit 11 are provided.
  • the image acquisition unit 2 is connected to the camera 9.
  • the determination result output unit 11 is connected to the CID (Center Information Display) 12.
  • the CID 12 is installed in the center cluster in the vehicle.
  • the center cluster is the central part of the instrument panel and corresponds between the driver's seat and the passenger seat.
  • the image acquisition unit 2 acquires an image of the occupant in the vehicle taken by the camera 9.
  • the camera 9 takes a picture so as to include at least the occupants seated in the driver's seat and the passenger's seat.
  • the camera 9 may capture not only the driver's seat and the passenger seat but also the occupant seated in the rear seat.
  • the facial feature point estimation unit 3 estimates the facial feature points of the occupant based on the image acquired by the image acquisition unit 2. Specifically, the face feature point estimation unit 3 collates the image acquired by the image acquisition unit 2 with a learning dictionary (not shown) prepared in advance, and the face of the occupant included in the image acquired by the image acquisition unit 2. Estimate facial feature points that indicate positions such as, eyes, and nose. For example, the facial feature point estimation unit 3 includes the position and size of the occupant's pupil, the distance between the centers of the pupils of both eyes, the position of both ends of the eyebrows, the position of both ends of the eyes, the position of the tip of the nose, and both ends of the mouth.
  • the position and the like are estimated as facial feature points, but the present invention is not limited to these, and other facial feature points may be estimated.
  • the learning dictionary the feature points of the faces of a plurality of people are recorded.
  • the face feature point estimation unit 3 estimates the facial feature points of each occupant.
  • the head position estimation unit 4 estimates the relative position of the occupant's head with respect to the camera 9 based on the facial feature points estimated by the face feature point estimation unit 3. Specifically, the head position estimation unit 4 estimates the physical relative position of the occupant's head with respect to the camera 9 based on the distance between the occupant's eyes or the size of the pupil estimated by the face feature point estimation unit 3. .. That is, the head position estimation unit 4 estimates the distance between the camera 9 and the occupant's head.
  • the relative position of the occupant's head with respect to the camera 9 is estimated based on the distance between the occupant's eyes or the size of the pupil, which is less affected by the physical disparity. Therefore, regardless of the physique of the occupant, the relative position of the occupant's head with respect to the camera 9 can be estimated with high accuracy. Further, even when the seat position in which the occupant is seated changes, the relative position of the occupant's head with respect to the camera 9 can be accurately estimated according to the change.
  • the part estimation unit 5 estimates the sizes of a plurality of parts of the occupant in the image based on the image acquired by the image acquisition unit 2. Specifically, the part estimation unit 5 collates the image acquired by the image acquisition unit 2 with a learning dictionary (not shown) prepared in advance, and the neck and shoulders of the occupant included in the image acquired by the image acquisition unit 2. Estimate the size and position of each part in the image, such as, arms, hands, and upper body. In the learning dictionary, the size and position of each part of a plurality of people in the image are recorded. When a plurality of occupants are included in the image, the part estimation unit 5 estimates the sizes of the plurality of parts of each occupant. Further, the unit of the size of each part of the occupant in the image estimated by the part estimation unit 5 is pix (pixel).
  • the skeleton estimation unit 6 determines the skeleton of the occupant based on the relative position of the occupant's head with respect to the camera 9 estimated by the head position estimation unit 4 and the size of each part of the occupant in the image estimated by the part estimation unit 5. To estimate. Specifically, first, the skeleton estimation unit 6 converts the size of each part of the occupant in the image estimated by the part estimation unit 5 into the actual size of each part of the occupant. When there are a plurality of occupants, the skeleton estimation unit 6 estimates the actual size of each part of each occupant.
  • the skeleton estimation unit 6 calculates the actual shoulder width d according to the following equation (1).
  • n indicates the size of the shoulder width in the image.
  • M indicates the width of the image, which is determined by the angle of view ⁇ of the camera 9.
  • x indicates the distance between the camera 9 and the occupant's head, and corresponds to the relative position of the occupant's head with respect to the camera 9 estimated by the head position estimation unit 4.
  • the skeleton estimation unit 6 corrects the size of each part in the image estimated by the part estimation unit 5 with the relative position of the occupant's head estimated by the head position estimation unit 4, thereby causing the occupant to Calculate the actual size of each part.
  • the skeleton estimation unit 6 uses the relative position of the occupant's head with respect to the camera 9 estimated by the head position estimation unit 4 to determine the actual size of each part of the occupant. It is calculated. Therefore, even when the seat position in which the occupant is seated changes, the skeleton estimation unit 6 can accurately calculate the actual size of each portion of the occupant.
  • the skeleton estimation unit 6 may calculate the sitting height of the occupant, the size of the face, and the length of the arm.
  • the size of each part of the occupant in the image can be converted to the actual size of each part of the occupant because all the parts of the occupant are present at the relative position of the occupant's head with respect to the camera 9. This is because it is assumed that there is. It can be assumed that the shoulders, spine, and face are located at approximately the same positions as the occupant's head relative to the camera 9, but this is not the case because the arms can be moved significantly around the shoulders.
  • the site estimation unit 5 may estimate the maximum arm size as the occupant's arm size when the arm size becomes maximum due to a change over time in the image. In this case, the skeleton estimation unit 6 converts the arm size in the image estimated by the site estimation unit 5 into the actual arm size.
  • the skeleton estimation unit 6 estimates the skeleton of the occupant based on the actual size of each part of the occupant. Specifically, the skeleton estimation unit 6 inputs the actual size of each part of the occupant into a learned learner (not shown) that has been machine-learned to estimate the skeleton of the occupant, and learns. By executing the arithmetic processing of the instrument, the estimation result of the skeleton of the occupant is acquired from the learner. When there are a plurality of occupants, the skeleton estimation unit 6 estimates the skeleton of each occupant.
  • the learning device has a learning dictionary (not shown) recorded by associating the actual size of each part of a plurality of persons with the skeleton of each person. For example, when the skeleton estimation unit 6 inputs the occupant's sitting height, shoulder width, face size, and arm length into the learning device, the learning device collates the actual size of each input part with the learning dictionary. Then, it is presumed that the skeleton with the highest likelihood is the skeleton of the occupant having each input part. In this way, there is a correlation between the actual size of each part of the occupant and the skeleton of the occupant. The skeleton estimation unit 6 acquires the estimation result of the skeleton of the occupant from the learner.
  • a learning dictionary (not shown) recorded by associating the actual size of each part of a plurality of persons with the skeleton of each person. For example, when the skeleton estimation unit 6 inputs the occupant's sitting height, shoulder width, face size, and arm length into the learning device, the learning device collates
  • the sign operation estimation unit 7 estimates a sign operation indicating a sign that the occupant operates the CID 12 based on the movement of the skeleton of the occupant estimated by the skeleton estimation unit 6. For example, the predictive operation estimation unit 7 estimates that the occupant has performed a predictive operation on the CID 12 when the movement of the skeleton from the shoulder to the hand of the occupant is the movement toward the CID 12.
  • the predictive operation estimation unit 7 may estimate the predictive operation based not only on the movement of the skeleton from the shoulder to the hand of the occupant but also on the movement of the skeleton of other parts of the occupant. Further, the predictive operation estimation unit 7 may estimate the predictive operation based on other movements as well as the movement toward the CID 12.
  • the predictive operation estimation unit 7 may estimate the predictive operation based not only on the movement of the skeleton of the occupant but also on the movement of the joints of the occupant. For example, an occupant's elbow joint bends inward but not outward. As described above, since the range in which the joint moves is limited, the accuracy of estimating the predictive operation can be improved by considering not only the movement of the skeleton but also the movement of the joint.
  • the predictive operation estimation unit 7 may estimate the predictive operation based not only on the movement of the skeleton of the occupant but also on the line-of-sight direction and the face direction of the occupant.
  • the line-of-sight direction and face orientation of the occupant may be detected by performing image processing on the image acquired by the image acquisition unit 2.
  • the predictive operation estimation unit 7 estimates that the occupant is not performing the predictive operation when the movement of the skeleton of the occupant is toward the CID 12 but the line-of-sight direction and the face direction of the occupant are not toward the CID 12. May be good. In this way, the accuracy of estimating the predictive operation can be improved by considering not only the movement of the skeleton but also the line-of-sight direction and the face orientation of the occupant.
  • the predictive operation estimation unit 7 may consider either the line-of-sight direction or the face direction of the occupant. Further, the predictive operation estimation unit 7 may estimate the predictive operation in consideration of the movement of the joint.
  • the predictive operation estimation unit 7 may estimate the predictive operation using a learning dictionary (not shown). In this case, the predictive operation estimation unit 7 collates the skeleton movement estimated by the skeleton estimation unit 6 with the learning dictionary, and estimates the predictive operation of the occupant with respect to the device. In the learning dictionary, the predictive operations of a plurality of persons with respect to the device are recorded.
  • the operator determination unit 8 determines the occupant who operates the CID 12 based on the predictive operation estimated by the predictive operation estimation unit 7. For example, assume a vehicle in which the steering wheel is installed on the right side in the direction of travel. In this case, when the movement from the shoulder to the hand on the right side of the occupant is a movement toward the CID 12, the operator determination unit 8 determines that the operator of the CID 12 is an occupant in the passenger seat. Further, when the movement from the shoulder to the hand on the left side of the occupant is the movement toward the CID 12, the operator determination unit 8 determines that the operator of the CID 12 is an occupant in the passenger seat.
  • the predictive operation estimated by the predictive operation estimation unit 7 includes not only the movement of the skeleton of the occupant but also the movement of the joints of the occupant, the line-of-sight direction of the occupant, the face orientation of the occupant, and the like. ..
  • the operator determination unit 8 determines the operator of the device based on these predictive operations estimated by the predictive operation estimation unit 7, that is, the movement of the occupant estimated by the predictive operation estimation unit 7. As a result, the operator determination unit 8 can determine whether the occupant seated in the driver's seat, the passenger seat, or the rear seat operates the CID 12.
  • the determination result output unit 11 outputs a determination result indicating the occupant operating the CID 12 determined by the operator determination unit 8 to the CID 12.
  • the CID12 controls the validity or invalidity of the operation according to the occupant who operates the CID12. For example, as shown in FIG. 3, when the driver operates the CID 12, the operation of the driver is invalidated. In the example of FIG. 3, an "x" mark indicating that the operation is invalid is displayed on the screen of the CID 12, but any information may be used as long as it is information indicating that the operation is invalid. .. Further, as shown in FIG. 4, when the passenger seat occupant operates the CID 12, the operation of the passenger seat occupant is enabled. In the example of FIG. 4, "OK" indicating that the operation is valid is displayed on the screen of the CID 12, but any information may be used as long as it is information indicating that the operation is valid.
  • FIGS. 3 and 4 show a case where information indicating that the operation is invalid or valid is displayed, but the present invention is not limited to this.
  • a voice indicating that the operation is invalid or valid may be output.
  • information indicating that the operation is invalid or valid may be displayed, and a voice indicating that the operation is invalid or valid may be output.
  • the determination result output unit 11 may output the determination result to the air conditioner installed in the vehicle.
  • the air conditioner invalidates the operation when the driver operates the air conditioner, but may enable the operation when the passenger in the passenger seat operates the air conditioner. Further, the air conditioner may change the wind direction toward the operator of the air conditioner.
  • the determination result output unit 11 may output the determination result to the audio equipment installed in the vehicle.
  • the audio device invalidates the operation when the driver operates the audio device, but may enable the operation when the passenger in the passenger seat operates the audio device. Further, the audio device may play music according to the preference of the operator of the audio device.
  • FIG. 5 is a flowchart showing an example of the operation of the operator determination device 1 shown in FIG.
  • step S11 the image acquisition unit 2 acquires an image of the occupant in the vehicle taken by the camera 9.
  • step S12 the facial feature point estimation unit 3 estimates the facial feature points of the occupant based on the image acquired by the image acquisition unit 2.
  • step S13 the head position estimation unit 4 estimates the relative position of the occupant's head with respect to the camera 9 based on the facial feature points estimated by the face feature point estimation unit 3.
  • step S14 the part estimation unit 5 estimates the sizes of a plurality of parts of the occupant in the image based on the image acquired by the image acquisition unit 2.
  • step S15 the skeleton estimation unit 6 estimates the skeleton of the occupant based on the relative position of the occupant's head estimated by the head position estimation unit 4 and the size of each part estimated by the site estimation unit 5. ..
  • step S16 the predictive operation estimation unit 7 estimates a predictive operation indicating a sign that the occupant operates the equipment installed in the vehicle based on the movement of the skeleton of the occupant estimated by the skeleton estimation unit 6.
  • the operator determination unit 8 determines the occupant who operates the device based on the predictive operation estimated by the predictive operation estimation unit 7.
  • FIG. 6 is a flowchart showing an example of the operation of the operator determination device 10 shown in FIG. Since steps S21 to S27 in FIG. 6 correspond to steps S11 to S17 in FIG. 5, description thereof will be omitted here. Hereinafter, step S28 will be described.
  • step S28 the determination result output unit 11 outputs a determination result indicating the occupant operating the CID 12 determined by the operator determination unit 8 to the device.
  • the head position estimation unit 4 accurately estimates the relative position of the occupant's head with respect to the camera 9 based on the distance between the eyes of the occupant or the size of the pupil, which is less affected by the difference in body size. be able to.
  • the skeleton estimation unit 6 can accurately estimate the skeleton of the occupant by using the relative position of the occupant estimated with high accuracy.
  • the predictive operation estimation unit 7 can accurately estimate the predictive operation based on the accurate movement of the skeleton of the occupant. In this way, the operator determination devices 1 and 10 can accurately determine the operator who operates the equipment installed in the vehicle even when the seat position in which the occupant is seated changes. It becomes.
  • Each function of the determination result output unit 11 is realized by the processing circuit. That is, the operator determination devices 1 and 10 acquire the image of the occupant in the vehicle taken by the camera, estimate the feature points of the occupant's face, estimate the relative position of the occupant's head with respect to the camera, and image. It is provided with a processing circuit for estimating the size of a plurality of parts of the occupant in the above, estimating the skeleton of the occupant, estimating the predictive operation of the occupant, and determining the operator.
  • the processing circuit may be dedicated hardware, and is a processor (CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP) that executes a program stored in a memory. It may also be called a Digital Signal Processor).
  • processor Central Processing Unit
  • CPU Central Processing Unit
  • processing unit a processing unit
  • arithmetic unit a microprocessor
  • microcomputer a microcomputer
  • DSP Digital Signal Processor
  • the processing circuit 13 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated Circuit). , FPGA (Field Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • Each function of the image acquisition unit 2, the face feature point estimation unit 3, the head position estimation unit 4, the part estimation unit 5, the skeleton estimation unit 6, the predictive operation estimation unit 7, the operator determination unit 8, and the determination result output unit 11 Each may be realized by the processing circuit 13, or each function may be collectively realized by one processing circuit 13.
  • the processing circuit 13 is the processor 14 shown in FIG. 8, the image acquisition unit 2, the face feature point estimation unit 3, the head position estimation unit 4, the site estimation unit 5, the skeleton estimation unit 6, the predictive operation estimation unit 7, and the operator
  • Each function of the determination unit 8 and the determination result output unit 11 is realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is written as a program and stored in the memory 15.
  • the processor 14 realizes each function by reading and executing the program recorded in the memory 15. That is, the operator determination devices 1 and 10 acquire the image of the occupant in the vehicle taken by the camera, the step of estimating the feature points of the occupant's face, and the relative position of the occupant's head with respect to the camera.
  • a step, a step of estimating the size of a plurality of parts of the occupant in the image, a step of estimating the skeleton of the occupant, a step of estimating the predictive operation of the occupant, and a step of determining the operator will be executed.
  • a memory 15 for storing a program is provided. Further, these programs include an image acquisition unit 2, a face feature point estimation unit 3, a head position estimation unit 4, a site estimation unit 5, a skeleton estimation unit 6, a predictive operation estimation unit 7, an operator determination unit 8, and a determination result. It can also be said that the procedure or method of the output unit 11 is executed by the computer.
  • the memory is, for example, non-volatile or volatile such as RAM (RandomAccessMemory), ROM (ReadOnlyMemory), flash memory, EPROM (ErasableProgrammableReadOnlyMemory), and EPROM (ElectricallyErasableProgrammableReadOnlyMemory). It may be a sex semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a DVD (Digital Versatile Disc), or any other storage medium that will be used in the future.
  • some functions may be realized by dedicated hardware, and other functions may be realized by software or firmware.
  • the processing circuit can realize each of the above-mentioned functions by hardware, software, firmware, or a combination thereof.
  • the operator determination device described above is an appropriate combination of an in-vehicle navigation device, that is, a car navigation device, a PND (Portable Navigation Device) that can be mounted on a vehicle, a server provided outside the vehicle, and the like. It can also be applied to a navigation device constructed as a system or a device other than the navigation device. In this case, each function or each component of the operator determination device is distributed and arranged in each function for constructing the system.
  • the function of the operator determination device can be arranged on the server.
  • the vehicle is equipped with a camera 9 and a CID 12.
  • the server 16 includes an image acquisition unit 2, a face feature point estimation unit 3, a head position estimation unit 4, a site estimation unit 5, a skeleton estimation unit 6, a predictive operation estimation unit 7, an operator determination unit 8, and a determination result output.
  • a unit 11 is provided. With such a configuration, an operator determination system can be constructed.
  • software that executes the operation according to the above embodiment may be incorporated into, for example, a server.
  • the operator determination method realized by the server executing this software acquires an image of the occupant in the vehicle taken by the camera, estimates the feature points of the occupant's face based on the acquired image, and estimates.
  • the relative position of the occupant's head with respect to the camera is estimated based on the feature points of the face, and the size of multiple parts of the occupant in the image is estimated based on the acquired image, and the estimated size of the occupant's head is estimated.
  • a predictive operation that estimates the occupant's skeleton based on the relative position and the estimated size of each part, and indicates a sign that the occupant will operate the equipment installed in the vehicle based on the estimated skeletal movement. Is estimated, and the occupant operating the device is determined based on the estimated predictive operation.
  • 1 operator judgment device 2 image acquisition unit, 3 face feature point estimation unit, 4 head position estimation unit, 5 part estimation unit, 6 skeleton estimation unit, 7 predictive operation estimation unit, 8 operator judgment unit, 9 camera, 10 Operator judgment device, 11 judgment result output unit, 12 CID, 13 processing circuit, 14 processor, 15 memory, 16 server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明は、車両内に設置された機器を操作する操作者を正確に判定することが可能な操作者判定装置および操作者判定方法を提供することを目的とする。本発明による操作者判定装置は、カメラが撮影した車両内の乗員の画像を取得する画像取得部と、画像に基づいて乗員の顔の特徴点を推定する顔特徴点推定部と、顔の特徴点に基づいてカメラに対する乗員の頭の相対的な位置を推定する頭位置推定部と、画像に基づいて画像における乗員の複数の部位の大きさを推定する部位推定部と、乗員の頭の相対的な位置と各部位の大きさとに基づいて乗員の骨格を推定する骨格推定部と、骨格の動きに基づいて乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定する予兆操作推定部と、予兆操作に基づいて機器を操作する乗員を判定する操作者判定部とを備える。

Description

操作者判定装置および操作者判定方法
　本発明は、車両内に設置された機器を操作する操作者を判定する操作者判定装置および操作者判定方法に関する。
　従来、車両が走行中において、車両内に設置されたナビゲーション装置などの機器に対する運転者の操作を無効にする技術がある。当該技術では、運転者だけでなく助手席の乗員を含む他の乗員の操作も無効となってしまい、機器の利便性が悪くなるという課題があった。
　上記の課題の対策として、カメラが撮影した画像を用いて操作者の手の動きを予測し、当該手の動きに基づいて操作者を判定する技術が開示されている（例えば、特許文献１参照）。また、カメラが撮影した画像における操作者の腕の位置に基づいて操作者を判定する技術が開示されている（例えば、特許文献２参照）。このように操作者を判定することによって、車両が走行中において、運転者の操作を無効とし、他の乗員の操作を有効とすることができる。
特開２０１４－５８２６８号公報 特開２００５－２７４４０９号公報
　特許文献１，２に開示されている技術では、カメラが撮影した画像を画像処理することによって操作者の手または腕を検出している。しかし、例えば、カメラが撮影した画像に手または腕以外の物が含まれていると、当該物が手または腕として誤検出される可能性がある。この場合、操作者を誤判定する可能性がある。このように、従来では、車両内に設置された機器を操作する操作者を正確に判定しているとはいえなかった。
　本発明は、このような問題を解決するためになされたものであり、車両内に設置された機器を操作する操作者を正確に判定することが可能な操作者判定装置および操作者判定方法を提供することを目的とする。
　上記の課題を解決するために、本発明による操作者判定装置は、カメラが撮影した車両内の乗員の画像を取得する画像取得部と、画像取得部が取得した画像に基づいて、乗員の顔の特徴点を推定する顔特徴点推定部と、顔特徴点推定部が推定した顔の特徴点に基づいて、カメラに対する乗員の頭の相対的な位置を推定する頭位置推定部と、画像取得部が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する部位推定部と、頭位置推定部が推定した乗員の頭の相対的な位置と、部位推定部が推定した各部位の大きさとに基づいて、乗員の骨格を推定する骨格推定部と、骨格推定部が推定した骨格の動きに基づいて、乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定する予兆操作推定部と、予兆操作推定部が推定した予兆操作に基づいて、機器を操作する乗員を判定する操作者判定部とを備える。
　本発明によると、操作者判定装置は、頭位置推定部が推定した乗員の頭の相対的な位置と、部位推定部が推定した各部位の大きさとに基づいて、乗員の骨格を推定する骨格推定部と、骨格推定部が推定した骨格の動きに基づいて、乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定する予兆操作推定部と、予兆操作推定部が推定した予兆操作に基づいて、機器を操作する乗員を判定する操作者判定部とを備えるため、車両内に設置された機器を操作する操作者を正確に判定することが可能となる。
　本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態による操作者判定装置の構成の一例を示すブロック図である。 本発明の実施の形態による操作者判定装置の構成の一例を示すブロック図である。 本発明の実施の形態による操作者判定装置の判定結果の出力の一例を示す図である。 本発明の実施の形態による操作者判定装置の判定結果の出力の一例を示す図である。 本発明の実施の形態による操作者判定装置の動作の一例を示すフローチャートである。 本発明の実施の形態による操作者判定装置の動作の一例を示すフローチャートである。 本発明の実施の形態による操作者判定装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態による操作者判定装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態による操作者判定システムの構成の一例を示すブロック図である。
　本発明の実施の形態について、図面に基づいて以下に説明する。
　＜実施の形態＞
　＜構成＞
　図１は、本実施の形態による操作者判定装置１の構成の一例を示すブロック図である。なお、図１では、本実施の形態による操作者判定装置を構成する必要最小限の構成を示している。また、操作者判定装置１は、車両内に搭載されているものとする。
　図１に示すように、操作者判定装置１は、画像取得部２と、顔特徴点推定部３と、頭位置推定部４と、部位推定部５と、骨格推定部６と、予兆操作推定部７と、操作者判定部８とを備えている。また、画像取得部２は、カメラ９に接続されている。カメラ９は、例えば後述する図３，４に示すように、車両内に搭載されている。
　画像取得部２は、カメラ９が撮影した車両内の乗員の画像を取得する。顔特徴点推定部３は、画像取得部２が取得した画像に基づいて、乗員の顔の特徴点を推定する。頭位置推定部４は、顔特徴点推定部３が推定した顔の特徴点に基づいて、カメラ９に対する乗員の頭の相対的な位置を推定する。部位推定部５は、画像取得部２が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する。
　骨格推定部６は、頭位置推定部４が推定した乗員の頭の相対的な位置と、部位推定部５が推定した各部位の大きさとに基づいて、乗員の骨格を推定する。予兆操作推定部７は、骨格推定部６が推定した骨格の動きに基づいて、乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定する。操作者判定部８は、予兆操作推定部７が推定した予兆操作に基づいて、機器を操作する乗員を判定する。
　次に、図１に示す操作者判定装置１を含む操作者判定装置の他の構成について説明する。
　図２は、他の構成に係る操作者判定装置１０の構成の一例を示すブロック図である。なお、操作者判定装置１０は、車両内に搭載されているものとする。
　図２に示すように、操作者判定装置１０は、画像取得部２と、顔特徴点推定部３と、頭位置推定部４と、部位推定部５と、骨格推定部６と、予兆操作推定部７と、操作者判定部８と、判定結果出力部１１とを備えている。また、画像取得部２は、カメラ９に接続されている。判定結果出力部１１は、ＣＩＤ（Center Information Display）１２に接続されている。ＣＩＤ１２は、車両内のセンタークラスターに設置されている。センタークラスターは、インストルメントパネルの中央部であり、運転席と助手席との間に相当する。
　画像取得部２は、カメラ９が撮影した車両内の乗員の画像を取得する。カメラ９は、少なくとも運転席および助手席のそれぞれに着座した乗員を含むように撮影する。なお、カメラ９は、運転席および助手席だけでなく、後部座席に着座した乗員を含むように撮影してもよい。
　顔特徴点推定部３は、画像取得部２が取得した画像に基づいて、乗員の顔の特徴点を推定する。具体的には、顔特徴点推定部３は、画像取得部２が取得した画像を予め準備した学習辞書（図示せず）と照合し、画像取得部２が取得した画像に含まれる乗員の顔、目、および鼻などの位置を示す顔の特徴点を推定する。例えば、顔特徴点推定部３は、乗員の瞳孔の位置および大きさ、両目の各瞳孔の中心の間隔である両目の間隔、眉の両端位置、目の両端位置、鼻頭の位置、口の両端位置などを顔の特徴点として推定するが、これらに限らず顔の他の特徴点を推定してもよい。学習辞書には、複数の人物の顔の特徴点が記録されている。なお、顔特徴点推定部３は、画像に複数の乗員が含まれている場合、各乗員の顔の特徴点を推定する。
　頭位置推定部４は、顔特徴点推定部３が推定した顔の特徴点に基づいて、カメラ９に対する乗員の頭の相対的な位置を推定する。具体的には、頭位置推定部４は、顔特徴点推定部３が推定した乗員の両目の間隔または瞳孔の大きさに基づいて、カメラ９に対する乗員の頭の物理的な相対位置を推定する。すなわち、頭位置推定部４は、カメラ９と乗員の頭との距離を推定する。
　本実施の形態では、体格差の影響が少ない乗員の両目の間隔または瞳孔の大きさに基づいて、カメラ９に対する乗員の頭の相対的な位置を推定している。従って、乗員の体格に関わらず、カメラ９に対する乗員の頭の相対的な位置を精度良く推定することができる。また、乗員が着座している座席位置が変化した場合であっても、当該変化に応じて、カメラ９に対する乗員の頭の相対的な位置を精度良く推定することができる。
　部位推定部５は、画像取得部２が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する。具体的には、部位推定部５は、画像取得部２が取得した画像を予め準備した学習辞書（図示せず）と照合し、画像取得部２が取得した画像に含まれる乗員の首、肩、腕、手、および上半身などの各部位の画像における大きさおよび位置を推定する。学習辞書には、複数の人物の各部位の画像における大きさおよび位置が記録されている。なお、部位推定部５は、画像に複数の乗員が含まれている場合、各乗員の複数の部位の大きさを推定する。また、部位推定部５が推定した画像における乗員の各部位の大きさの単位はｐｉｘ（ピクセル）である。
　骨格推定部６は、頭位置推定部４が推定したカメラ９に対する乗員の頭の相対的な位置と、部位推定部５が推定した画像における乗員の各部位の大きさとに基づいて、乗員の骨格を推定する。具体的には、まず、骨格推定部６は、部位推定部５が推定した画像における乗員の各部位の大きさを、乗員の各部位の実際の大きさに変換する。なお、骨格推定部６は、乗員が複数である場合、各乗員の各部位の実際の大きさを推定する。
　ここで、骨格推定部６が、部位推定部５が推定した画像における乗員の肩幅を実際の肩幅に変換する方法について説明する。骨格推定部６は、下記の式（１）に従って、実際の肩幅ｄを算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｎは、画像における肩幅の大きさを示している。Ｍは、画像の横幅を示しており、カメラ９の画角θによって決まる。ｘは、カメラ９と乗員の頭との距離を示しており、頭位置推定部４が推定したカメラ９に対する乗員の頭の相対的な位置に対応する。このように、骨格推定部６は、部位推定部５が推定した画像における各部位の大きさを、頭位置推定部４が推定した乗員の頭の相対的な位置で補正することによって、乗員の各部位の実際の大きさを算出する。
　上記の式（１）に示すように、骨格推定部６は、頭位置推定部４が推定したカメラ９に対する乗員の頭の相対的な位置を用いて、乗員の各部位の実際の大きさを算出している。従って、乗員が着座している座席位置が変化した場合であっても、骨格推定部６は乗員の各部位の実際の大きさを正確に算出することができる。なお、上記では、乗員の肩幅を算出する場合について説明したが、乗員の他の部位についても同様に算出することができる。例えば、骨格推定部６は、乗員の座高、顔の大きさ、および腕の長さを算出してもよい。
　画像における乗員の各部位の大きさを、乗員の各部位の実際の大きさに変換することができるのは、カメラ９に対する乗員の頭の相対的な位置に乗員の全ての部位が存在していると仮定しているからである。肩、背骨、および顔が、カメラ９に対する乗員の頭の相対的な位置とほぼ同じ位置に存在することは想定できるが、腕は肩を中心として大きく動かすことができるためこの限りではない。腕については、部位推定部５は、画像の経時的な変化で腕の大きさが最大となったとき、当該最大となった腕の大きさを乗員の腕の大きさと推定してもよい。この場合、骨格推定部６は、部位推定部５が推定した画像における腕の大きさを、実際の腕の大きさに変換する。
　次に、骨格推定部６は、乗員の各部位の実際の大きさに基づいて、乗員の骨格を推定する。具体的には、骨格推定部６は、乗員の骨格を推定するための機械学習を行った学習済みの学習器（図示せず）に、乗員の各部位の実際の大きさを入力し、学習器の演算処理を実行することで、乗員の骨格の推定結果を学習器から取得する。なお、骨格推定部６は、乗員が複数である場合、各乗員の骨格を推定する。
　学習器は、複数の人物の各部位の実際の大きさと、各人物の骨格とを対応付けて記録された学習辞書（図示せず）を有している。例えば、骨格推定部６が、乗員の座高、肩幅、顔の大きさ、および腕の長さを学習器に入力した場合、学習器は、入力した各部位の実際の大きさを学習辞書と照合し、尤度が最も大きい骨格が、入力した各部位を有する乗員の骨格であると推定する。このように、乗員の各部位の実際の大きさと乗員の骨格とは相関関係を有している。骨格推定部６は、乗員の骨格の推定結果を学習器から取得する。
　予兆操作推定部７は、骨格推定部６が推定した乗員の骨格の動きに基づいて、乗員がＣＩＤ１２を操作する予兆を示す予兆操作を推定する。例えば、予兆操作推定部７は、乗員の肩から手までの骨格の動きがＣＩＤ１２に向かう動きであるとき、乗員がＣＩＤ１２に対して予兆操作をしたと推定する。
　なお、予兆操作推定部７は、乗員の肩から手までの骨格の動きに限らず、乗員の他の部位の骨格の動きに基づいて予兆操作を推定してもよい。また、予兆操作推定部７は、ＣＩＤ１２に向かう動きに限らず、他の動きに基づいて予兆操作を推定してもよい。
　予兆操作推定部７は、乗員の骨格の動きだけでなく、乗員の関節の動きにも基づいて予兆操作を推定してもよい。例えば、乗員の肘の関節は、内側には曲がるが、外側には曲がらない。このように、関節が動く範囲は限定されるため、骨格の動きだけでなく関節の動きも考慮することによって、予兆操作の推定の精度を向上させることができる。
　予兆操作推定部７は、乗員の骨格の動きに限らず、乗員の視線方向および顔向きにも基づいて予兆操作を推定してもよい。乗員の視線方向および顔向きは、画像取得部２が取得した画像を画像処理することによって検出してもよい。例えば、予兆操作推定部７は、乗員の骨格の動きはＣＩＤ１２に向かっているが、乗員の視線方向および顔向きがＣＩＤ１２に向いていないとき、当該乗員は予兆操作をしていないと推定してもよい。このように、骨格の動きだけでなく乗員の視線方向および顔向きも考慮することによって、予兆操作の推定の精度を向上させることができる。なお、予兆操作推定部７は、乗員の視線方向または顔向きのいずれか一方を考慮してもよい。また、予兆操作推定部７は、関節の動きも考慮して予兆操作を推定してもよい。
　予兆操作推定部７は、学習辞書（図示せず）を用いて予兆操作を推定してもよい。この場合、予兆操作推定部７は、骨格推定部６が推定した骨格の動きを学習辞書と照合し、機器に対する乗員の予兆操作を推定する。学習辞書には、機器に対する複数の人物の予兆操作が記録されている。
　操作者判定部８は、予兆操作推定部７が推定した予兆操作に基づいて、ＣＩＤ１２を操作する乗員を判定する。例えば、進行方向の右側にハンドルが設置された車両を想定する。この場合、乗員の右側の肩から手まで動きがＣＩＤ１２に向かう動きであるとき、操作者判定部８は、ＣＩＤ１２の操作者は助手席の乗員であると判定する。また、乗員の左側の肩から手までの動きがＣＩＤ１２に向かう動きであるとき、操作者判定部８は、ＣＩＤ１２の操作者は助手席の乗員であると判定する。
　なお、上記では、乗員の肩から手までの動きから乗員を判定する例について説明したが、これに限るものではない。上記で説明した通り、予兆操作推定部７が推定した予兆操作には、乗員の骨格の動きだけでなく、乗員の関節の動き、乗員の視線方向、および乗員の顔向きなどが含まれている。操作者判定部８は、予兆操作推定部７が推定したこれらの予兆操作、すなわち予兆操作推定部７が推定した乗員の動きに基づいて機器の操作者を判定する。これにより、操作者判定部８は、運転席、助手席、または後部座席のいずれに着座した乗員がＣＩＤ１２を操作するのかを判定することができる。
　判定結果出力部１１は、操作者判定部８が判定したＣＩＤ１２を操作する乗員を示す判定結果をＣＩＤ１２に出力する。
　ＣＩＤ１２は、当該ＣＩＤ１２を操作する乗員に応じて、操作の有効または無効を制御する。例えば、図３に示すように、運転者がＣＩＤ１２を操作する場合、当該運転者の操作を無効にする。図３の例では、ＣＩＤ１２の画面に操作が無効であることを示す「×」印が表示されているが、操作が無効であることを示す情報であればどのような情報であってもよい。また、図４に示すように、助手席の乗員がＣＩＤ１２を操作する場合、当該助手席の乗員の操作を有効にする。図４の例では、ＣＩＤ１２の画面に操作が有効であることを示す「ＯＫ」が表示されているが、操作が有効であることを示す情報であればどのような情報であってもよい。
　なお、図３，４では、操作が無効または有効であることを示す情報を表示する場合を示しているが、これに限るものではない。例えば、操作が無効または有効であることを示す音声を出力してもよい。また、操作が無効または有効であることを示す情報を表示し、かつ操作が無効または有効であることを示す音声を出力してもよい。
　上記では、判定結果出力部１１がＣＩＤ１２に判定結果を出力する場合について説明したが、これに限るものではない。以下では、判定結果の出力例について説明する。
　例えば、判定結果出力部１１は、車両内に設置されたエアコンに判定結果を出力してもよい。この場合、エアコンは、運転者がエアコンを操作する場合は当該操作を無効にするが、助手席の乗員がエアコンを操作する場合は当該操作を有効にしてもよい。また、エアコンは、当該エアコンの操作者に向けて風向きを変更するようにしてもよい。
　判定結果出力部１１は、車両内に設置されたオーディオ機器に判定結果を出力してもよい。この場合、オーディオ機器は、運転者がオーディオ機器を操作する場合は当該操作を無効にするが、助手席の乗員がオーディオ機器を操作する場合は当該操作を有効にしてもよい。また、オーディオ機器は、当該オーディオ機器の操作者の好みに応じた楽曲を再生するようにしてもよい。
　＜動作＞
　図５は、図１に示す操作者判定装置１の動作の一例を示すフローチャートである。
　ステップＳ１１において、画像取得部２は、カメラ９が撮影した車両内の乗員の画像を取得する。ステップＳ１２において、顔特徴点推定部３は、画像取得部２が取得した画像に基づいて、乗員の顔の特徴点を推定する。
　ステップＳ１３において、頭位置推定部４は、顔特徴点推定部３が推定した顔の特徴点に基づいて、カメラ９に対する乗員の頭の相対的な位置を推定する。ステップＳ１４において、部位推定部５は、画像取得部２が取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定する。
　ステップＳ１５において、骨格推定部６は、頭位置推定部４が推定した乗員の頭の相対的な位置と、部位推定部５が推定した各部位の大きさとに基づいて、乗員の骨格を推定する。ステップＳ１６において、予兆操作推定部７は、骨格推定部６が推定した乗員の骨格の動きに基づいて、乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定する。ステップＳ１７において、操作者判定部８は、予兆操作推定部７が推定した予兆操作に基づいて、機器を操作する乗員を判定する。
　図６は、図２に示す操作者判定装置１０の動作の一例を示すフローチャートである。なお、図６のステップＳ２１～ステップＳ２７は、図５のステップＳ１１～ステップＳ１７に対応するため、ここでは説明を省略する。以下では、ステップＳ２８について説明する。
　ステップＳ２８において、判定結果出力部１１は、操作者判定部８が判定したＣＩＤ１２を操作する乗員を示す判定結果を機器に出力する。
　＜効果＞
　本実施の形態によれば、頭位置推定部４は、体格差の影響が少ない乗員の両目の間隔または瞳孔の大きさに基づいてカメラ９に対する乗員の頭の相対的な位置を精度良く推定することができる。骨格推定部６は、精度良く推定された乗員の相対的な位置を用いて、乗員の骨格を精度良く推定することができる。予兆操作推定部７は、乗員の正確な骨格の動きに基づいて予兆操作を精度良く推定することができる。このように、操作者判定装置１，１０は、乗員が着座している座席位置が変化した場合であっても、車両内に設置された機器を操作する操作者を正確に判定することが可能となる。
　＜ハードウェア構成＞
　上記で説明した操作者判定装置１０における画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１の各機能は、処理回路により実現される。すなわち、操作者判定装置１，１０は、カメラが撮影した車両内の乗員の画像を取得し、乗員の顔の特徴点を推定し、カメラに対する乗員の頭の相対的な位置を推定し、画像における乗員の複数の部位の大きさを推定し、乗員の骨格を推定し、乗員の予兆操作を推定し、操作者を判定するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサ（ＣＰＵ（Central Processing Unit）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）であってもよい。
　処理回路が専用のハードウェアである場合、図７に示すように、処理回路１３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１の各機能をそれぞれ処理回路１３で実現してもよく、各機能をまとめて１つの処理回路１３で実現してもよい。
　処理回路１３が図８に示すプロセッサ１４である場合、画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１５に格納される。プロセッサ１４は、メモリ１５に記録されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、操作者判定装置１，１０は、カメラが撮影した車両内の乗員の画像を取得するステップ、乗員の顔の特徴点を推定するステップ、カメラに対する乗員の頭の相対的な位置を推定するステップ、画像における乗員の複数の部位の大きさを推定するステップ、乗員の骨格を推定するステップ、乗員の予兆操作を推定するステップ、操作者を判定するステップが結果的に実行されることになるプログラムを格納するためのメモリ１５を備える。また、これらのプログラムは、画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Digital Versatile Disc）等、または、今後使用されるあらゆる記憶媒体であってもよい。
　なお、画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１の各機能について、一部の機能を専用のハードウェアで実現し、他の機能をソフトウェアまたはファームウェアで実現するようにしてもよい。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　＜システム構成＞
　以上で説明した操作者判定装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）、および車両の外部に設けられたサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、操作者判定装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。
　具体的には、一例として、操作者判定装置の機能をサーバに配置することができる。例えば、図９に示すように、車両には、カメラ９およびＣＩＤ１２を備える。また、サーバ１６は、画像取得部２、顔特徴点推定部３、頭位置推定部４、部位推定部５、骨格推定部６、予兆操作推定部７、操作者判定部８、および判定結果出力部１１を備える。このような構成とすることによって、操作者判定システムを構築することができる。
　このように、操作者判定装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。
　また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現される操作者判定方法は、カメラが撮影した車両内の乗員の画像を取得し、取得した画像に基づいて、乗員の顔の特徴点を推定し、推定した顔の特徴点に基づいて、カメラに対する乗員の頭の相対的な位置を推定し、取得した画像に基づいて、画像における乗員の複数の部位の大きさを推定し、推定した乗員の頭の相対的な位置と、推定した各部位の大きさとに基づいて、乗員の骨格を推定し、推定した骨格の動きに基づいて、乗員が車両内に設置された機器を操作する予兆を示す予兆操作を推定し、推定した予兆操作に基づいて、機器を操作する乗員を判定することである。
　このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。
　なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
　本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　１　操作者判定装置、２　画像取得部、３　顔特徴点推定部、４　頭位置推定部、５　部位推定部、６　骨格推定部、７　予兆操作推定部、８　操作者判定部、９　カメラ、１０　操作者判定装置、１１　判定結果出力部、１２　ＣＩＤ、１３　処理回路、１４　プロセッサ、１５　メモリ、１６　サーバ。

Claims (9)

  1. 　カメラが撮影した車両内の乗員の画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に基づいて、前記乗員の顔の特徴点を推定する顔特徴点推定部と、
    　前記顔特徴点推定部が推定した前記顔の特徴点に基づいて、前記カメラに対する前記乗員の頭の相対的な位置を推定する頭位置推定部と、
    　前記画像取得部が取得した前記画像に基づいて、前記画像における前記乗員の複数の部位の大きさを推定する部位推定部と、
    　前記頭位置推定部が推定した前記乗員の頭の相対的な位置と、前記部位推定部が推定した各前記部位の大きさとに基づいて、前記乗員の骨格を推定する骨格推定部と、
    　前記骨格推定部が推定した前記骨格の動きに基づいて、前記乗員が前記車両内に設置された機器を操作する予兆を示す予兆操作を推定する予兆操作推定部と、
    　前記予兆操作推定部が推定した前記予兆操作に基づいて、前記機器を操作する前記乗員を判定する操作者判定部と、
    を備える、操作者判定装置。
  2. 　前記頭位置推定部は、前記乗員の両目の間隔または瞳孔の大きさに基づいて、前記カメラに対する前記乗員の頭の相対的な位置を推定することを特徴とする、請求項１に記載の操作者判定装置。
  3. 　前記予兆操作推定部は、前記乗員の関節の動きに基づいて、前記予兆操作を推定することを特徴とする、請求項１に記載の操作者判定装置。
  4. 　前記予兆操作推定部は、前記乗員の視線方向および顔向きに基づいて、前記予兆操作を推定することを特徴とする、請求項１に記載の操作者判定装置。
  5. 　前記骨格推定部は、前記部位推定部が推定した各前記部位の大きさを、前記頭位置推定部が推定した前記乗員の頭の相対的な位置で補正して、前記乗員の各部位の実際の大きさを算出することを特徴とする、請求項１に記載の操作者判定装置。
  6. 　前記乗員の各部位の実際の大きさは、前記乗員の座高、肩幅、顔の大きさ、および腕の長さを含むことを特徴とする、請求項５に記載の操作者判定装置。
  7. 　前記骨格推定部は、前記乗員の骨格を推定するための機械学習を行った学習済みの学習器に、前記乗員の各部位の実際の大きさを入力し、前記学習器の演算処理を実行することで、前記乗員の骨格の推定結果を前記学習器から取得することを特徴とする、請求項５に記載の操作者判定装置。
  8. 　前記操作者判定部が判定した前記機器を操作する前記乗員を示す判定結果を出力する判定結果出力部をさらに備えることを特徴とする、請求項１に記載の操作者判定装置。
  9. 　カメラが撮影した車両内の乗員の画像を取得し、
    　取得した前記画像に基づいて、前記乗員の顔の特徴点を推定し、
    　推定した前記顔の特徴点に基づいて、前記カメラに対する前記乗員の頭の相対的な位置を推定し、
    　取得した前記画像に基づいて、前記画像における前記乗員の複数の部位の大きさを推定し、
    　推定した前記乗員の頭の相対的な位置と、推定した各前記部位の大きさとに基づいて、前記乗員の骨格を推定し、
    　推定した前記骨格の動きに基づいて、前記乗員が前記車両内に設置された機器を操作する予兆を示す予兆操作を推定し、
    　推定した前記予兆操作に基づいて、前記機器を操作する前記乗員を判定する、操作者判定方法。
PCT/JP2019/034914 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法 WO2021044567A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/034914 WO2021044567A1 (ja) 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法
JP2021543880A JP7003335B2 (ja) 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法
DE112019007569.1T DE112019007569T5 (de) 2019-09-05 2019-09-05 Bediener-Beurteilungsvorrichtung und Bediener-Beurteilungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034914 WO2021044567A1 (ja) 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法

Publications (1)

Publication Number Publication Date
WO2021044567A1 true WO2021044567A1 (ja) 2021-03-11

Family

ID=74853086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034914 WO2021044567A1 (ja) 2019-09-05 2019-09-05 操作者判定装置および操作者判定方法

Country Status (3)

Country Link
JP (1) JP7003335B2 (ja)
DE (1) DE112019007569T5 (ja)
WO (1) WO2021044567A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004195A1 (ja) * 2022-07-01 2024-01-04 三菱電機株式会社 操作判定装置及び操作判定方法
US11983952B2 (en) 2019-09-05 2024-05-14 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010036762A (ja) * 2008-08-06 2010-02-18 Denso Corp 行動推定装置、プログラム
JP2015118404A (ja) * 2013-12-16 2015-06-25 株式会社オートネットワーク技術研究所 運転支援装置
JP2017215861A (ja) * 2016-06-01 2017-12-07 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
JP2018131110A (ja) * 2017-02-16 2018-08-23 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、及び推定プログラム
WO2018234403A1 (de) * 2017-06-21 2018-12-27 SMR Patents S.à.r.l. Verfahren zum betreiben einer anzeigevorrichtung für einen kraftwagen, sowie kraftwagen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274409A (ja) 2004-03-25 2005-10-06 Sanyo Electric Co Ltd カーナビゲーション装置
JP5944287B2 (ja) 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010036762A (ja) * 2008-08-06 2010-02-18 Denso Corp 行動推定装置、プログラム
JP2015118404A (ja) * 2013-12-16 2015-06-25 株式会社オートネットワーク技術研究所 運転支援装置
JP2017215861A (ja) * 2016-06-01 2017-12-07 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
JP2018131110A (ja) * 2017-02-16 2018-08-23 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、及び推定プログラム
WO2018234403A1 (de) * 2017-06-21 2018-12-27 SMR Patents S.à.r.l. Verfahren zum betreiben einer anzeigevorrichtung für einen kraftwagen, sowie kraftwagen

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983952B2 (en) 2019-09-05 2024-05-14 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method
WO2024004195A1 (ja) * 2022-07-01 2024-01-04 三菱電機株式会社 操作判定装置及び操作判定方法

Also Published As

Publication number Publication date
JPWO2021044567A1 (ja) 2021-03-11
DE112019007569T5 (de) 2022-04-28
JP7003335B2 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP4940168B2 (ja) 駐車スペース認識装置
JP6301159B2 (ja) 三次元指先トラッキング
JP6509361B2 (ja) 駐車支援装置及び駐車支援方法
JP7003335B2 (ja) 操作者判定装置および操作者判定方法
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
JPWO2006093250A1 (ja) 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体
JP4735361B2 (ja) 車両乗員顔向き検出装置および車両乗員顔向き検出方法
JP5636493B2 (ja) 画像処理装置、及び画像表示装置
JP7134364B2 (ja) 体格判定装置および体格判定方法
JP2017068424A (ja) 姿勢計測装置及び姿勢計測方法
JP6669182B2 (ja) 乗員監視装置
JP4319535B2 (ja) 顔の向き検知装置
WO2021156914A1 (ja) 注意方向判定装置および注意方向判定方法
JP2009139324A (ja) 車両用走行路面検出装置
JP2018101212A (ja) 車載器および顔正面度算出方法
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP6737212B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
US20210383701A1 (en) Providing a model of a vehicle to a rider at an accurate orientation
JP6770488B2 (ja) 注視対象物推定装置、注視対象物推定方法、およびプログラム
CN110895675A (zh) 用于确定3d空间中的对象的特征点的坐标的方法
JP2007038859A (ja) 表示機器制御装置
US20210082140A1 (en) Estimation device, estimation method, and computer program product
JP2720630B2 (ja) 自律走行車の操舵制御装置
JP6869452B2 (ja) 距離測定装置及び距離測定方法
JP7301256B2 (ja) 顔向き判定装置および顔向き判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944264

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543880

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19944264

Country of ref document: EP

Kind code of ref document: A1