WO2021240671A1 - ジェスチャ検出装置およびジェスチャ検出方法 - Google Patents

ジェスチャ検出装置およびジェスチャ検出方法 Download PDF

Info

Publication number
WO2021240671A1
WO2021240671A1 PCT/JP2020/020839 JP2020020839W WO2021240671A1 WO 2021240671 A1 WO2021240671 A1 WO 2021240671A1 JP 2020020839 W JP2020020839 W JP 2020020839W WO 2021240671 A1 WO2021240671 A1 WO 2021240671A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
face
hand
occupant
hand candidate
Prior art date
Application number
PCT/JP2020/020839
Other languages
English (en)
French (fr)
Inventor
太郎 熊谷
拓也 村上
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/020839 priority Critical patent/WO2021240671A1/ja
Priority to US17/917,668 priority patent/US20230154226A1/en
Priority to JP2022527342A priority patent/JP7289406B2/ja
Publication of WO2021240671A1 publication Critical patent/WO2021240671A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to a gesture detection device and a gesture detection method.
  • Patent Document 1 proposes a control device that detects information about a user's hand only from a gesture area set based on the area of the driver's face.
  • the gesture detection device detects the occupant's hand based on the image. Therefore, depending on the state of the image, the gesture detection device may detect an object other than the hand as a hand.
  • the present disclosure is for solving the above-mentioned problems, and an object of the present disclosure is to provide a gesture detection device that accurately detects a hand in a gesture of an occupant.
  • the gesture detection device includes a face frame information acquisition unit, a hand candidate detection unit, and a determination unit.
  • the face frame information acquisition unit acquires face frame information.
  • the face frame is set to surround the occupant's face detected based on the image taken by the image pickup device provided in the vehicle.
  • the hand candidate detection unit detects a hand candidate that is a candidate for the occupant's hand based on the image.
  • the determination unit serves as the occupant's hand in the gesture of the occupant whose hand candidate is the detection target, based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame set to surround the hand candidate in the image. Reject the candidate information so that it is not detected.
  • a gesture detection device for accurately detecting a hand in a occupant's gesture is provided.
  • FIG. It is a functional block diagram which shows the structure of the gesture detection apparatus in Embodiment 1.
  • FIG. It is a figure which shows an example of the structure of the processing circuit included in a gesture detection device. It is a figure which shows another example of the structure of the processing circuit included in the gesture detection apparatus.
  • FIG. It is a functional block diagram which shows the structure of the gesture detection apparatus in Embodiment 2.
  • FIG. It is a flowchart which shows the gesture detection method in Embodiment 2.
  • FIG. 8 It is a figure which shows an example which the hand candidate frame in FIG. 8 is enlarged. It is a figure which shows an example of the face frame and the hand candidate frame of an occupant in the frame to be processed. It is a figure which shows an example of the face frame and the hand candidate frame of an occupant in another frame to be processed. It is a flowchart which shows the gesture detection method in Embodiment 3.
  • FIG. It is a block diagram which shows the structure of the gesture detection device and the device which operates in connection with it in Embodiment 4.
  • FIG. 1 is a functional block diagram showing the configuration of the gesture detection device 100 according to the first embodiment. Further, FIG. 1 shows an image pickup device 110 and a face detection unit 10 as devices that operate in connection with the gesture detection device 100.
  • the image pickup device 110 is provided in the vehicle.
  • the image pickup device 110 captures an image of an occupant inside the vehicle.
  • the face detection unit 10 detects the face of the occupant based on the image.
  • the face detection unit 10 sets a face frame so as to surround the face. "Enclosing the face” includes enclosing the entire outline of the face, or including and enclosing a predetermined facial part even if the entire outline is not enclosed.
  • the gesture detection device 100 detects the gesture of the hand of the occupant of the vehicle based on the image taken by the image pickup device 110.
  • the gesture detection device 100 includes a face frame information acquisition unit 20, a hand candidate detection unit 30, and a determination unit 40.
  • the face frame information acquisition unit 20 acquires information on the occupant's face frame from the face detection unit 10.
  • the hand candidate detection unit 30 detects a hand candidate that is a candidate for the occupant's hand based on the image taken by the image pickup device 110.
  • the hand candidate detection unit 30 detects a hand candidate by, for example, matching a pattern of the shape of an object (information on the luminance distribution) in the image with a predetermined pattern of the shape of the hand. Further, the hand candidate detection unit 30 sets a hand candidate frame so as to surround the hand candidate.
  • the determination unit 40 rejects the hand candidate information based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame in the video.
  • the gesture detection device 100 does not identify the rejected hand candidate as a hand constituting the occupant's gesture.
  • FIG. 2 is a diagram showing an example of the configuration of the processing circuit 90 included in the gesture detection device 100.
  • Each function of the face frame information acquisition unit 20, the hand candidate detection unit 30, and the determination unit 40 is realized by the processing circuit 90. That is, the processing circuit 90 has a face frame information acquisition unit 20, a hand candidate detection unit 30, and a determination unit 40.
  • the processing circuit 90 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field). -ProgrammableGateArray), or a circuit that combines these.
  • the functions of the face frame information acquisition unit 20, the hand candidate detection unit 30, and the determination unit 40 may be individually realized by a plurality of processing circuits, or may be collectively realized by one processing circuit.
  • FIG. 3 is a diagram showing another example of the configuration of the processing circuit included in the gesture detection device 100.
  • the processing circuit includes a processor 91 and a memory 92.
  • each function of the face frame information acquisition unit 20, the hand candidate detection unit 30, and the determination unit 40 is realized.
  • each function is realized by executing the software or firmware described as a program by the processor 91.
  • the gesture detection device 100 has a memory 92 for storing the program and a processor 91 for executing the program.
  • the program describes a function of the gesture detection device 100 to acquire information on a face frame set to surround the occupant's face detected based on an image taken by an image pickup device 110 provided in the vehicle. ing. Further, the program describes a function in which the gesture detection device 100 detects a hand candidate, which is a candidate for a occupant's hand, based on the image. In addition, the program includes the occupant's gesture in which the hand candidate is the target of detection, based on predetermined conditions regarding the overlap of the face frame and the hand candidate frame set to surround the hand candidate in the video. A function to reject the information of the hand candidate is described so that it is not detected as a hand. As described above, the program causes the computer to execute the procedure or method of the face frame information acquisition unit 20, the hand candidate detection unit 30, and the determination unit 40.
  • the processor 91 is, for example, a CPU (Central Processing Unit), an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the memory 92 is, for example, non-volatile or volatile such as RAM (RandomAccessMemory), ROM (ReadOnlyMemory), flash memory, EPROM (ErasableProgrammableReadOnlyMemory), EEPROM (ElectricallyErasableProgrammableReadOnlyMemory). It is a semiconductor memory.
  • the memory 92 may be any storage medium used in the future, such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD.
  • Each function of the face frame information acquisition unit 20, the hand candidate detection unit 30, and the determination unit 40 may be partially realized by dedicated hardware and the other part may be realized by software or firmware. In this way, the processing circuit realizes each of the above functions by hardware, software, firmware, or a combination thereof.
  • FIG. 4 is a flowchart showing the gesture detection method in the first embodiment.
  • the face detection unit 10 detects the face of the occupant based on the image taken by the image pickup device 110 provided in the vehicle, and forms a face frame so as to surround the face. It is set.
  • step S1 the face frame information acquisition unit 20 acquires information on the occupant's face frame from the face detection unit 10.
  • step S2 the hand candidate detection unit 30 detects a hand candidate that is a candidate for the occupant's hand based on the image captured by the image pickup device 110. Further, the hand candidate detection unit 30 sets a hand candidate frame so as to surround the hand candidate.
  • step S3 the determination unit 40 determines whether or not to reject the hand candidate information based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame in the video.
  • the determination unit 40 rejects the hand candidate information according to the determination result.
  • the rejected hand candidate is not detected as a occupant's hand in the occupant's gesture to be detected. In other words, the gesture detection device 100 does not identify the rejected hand candidate as a hand constituting the occupant's gesture.
  • the gesture detection device 100 in the first embodiment includes a face frame information acquisition unit 20, a hand candidate detection unit 30, and a determination unit 40.
  • the face frame information acquisition unit 20 acquires face frame information.
  • the face frame is set to surround the face of the occupant detected based on the image taken by the image pickup device 110 provided in the vehicle.
  • the hand candidate detection unit 30 detects a hand candidate that is a candidate for the occupant's hand based on the image.
  • the determination unit 40 determines the occupant's hand in the gesture of the occupant whose hand candidate is the detection target, based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame set so as to surround the hand candidate in the image. Reject the candidate information so that it is not detected as.
  • Such a gesture detection device 100 accurately detects the hand in the gesture of the occupant.
  • the gesture detection method in the first embodiment acquires information on a face frame set to surround the occupant's face, which is detected based on an image taken by an image pickup device 110 provided in the vehicle.
  • the gesture detection method detects a hand candidate that is a candidate for the occupant's hand based on the image.
  • the gesture detection method is based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame set so as to surround the hand candidate in the image, and the gesture detection method is based on a predetermined condition of the occupant in the gesture of the occupant whose hand candidate is the detection target. Reject the candidate hand information so that it is not detected as a hand.
  • the occupant's hand in the gesture is accurately detected.
  • the gesture detection device and the gesture detection method according to the second embodiment will be described.
  • the second embodiment is a subordinate concept of the first embodiment, and the gesture detection device according to the second embodiment includes each configuration of the gesture detection device 100 according to the first embodiment. The same configuration and operation as in the first embodiment will be omitted.
  • FIG. 5 is a functional block diagram showing the configuration of the gesture detection device 101 according to the second embodiment. Further, FIG. 5 shows an image pickup device 110 and an in-vehicle device 120 as devices that operate in connection with the gesture detection device 101.
  • the image pickup device 110 is provided in the front center of the vehicle interior.
  • the image pickup apparatus 110 photographs the interior of the vehicle at a wide angle, and photographs both the driver's seat and the passenger seat at the same time.
  • the image pickup device 110 is, for example, a camera that detects infrared rays, a camera that detects visible light, and the like.
  • the gesture detection device 101 according to the second embodiment detects the gesture of the hand of the occupant of the vehicle based on the image captured by the image pickup device 110.
  • the gesture is a gesture for operating the in-vehicle device 120.
  • the in-vehicle device 120 is, for example, an air conditioner, an audio system, or the like.
  • the gesture detected by the gesture detection device 101 controls the temperature of the air conditioner, adjusts the volume of the audio, and the like.
  • the in-vehicle device 120 is not limited to the air conditioner and the audio.
  • the gesture detection device 101 includes a video acquisition unit 50, a face detection unit 10, a storage unit 60, a face frame information acquisition unit 20, a hand candidate detection unit 30, and a determination unit 40.
  • the image acquisition unit 50 acquires the image captured by the image pickup device 110 for each frame.
  • the face detection unit 10 detects the face of the occupant for each frame of the image.
  • the face detection unit 10 sets a face frame for the face. That is, the face frame is set for each frame.
  • the face frame does not have to be set to surround all the contours of the face, for example, it may be set to surround a predetermined face part. Further, the outer shape of the face frame may be rectangular or may have other shapes.
  • the face frame may be read as a face area.
  • the storage unit 60 stores the information of the face frame for each frame.
  • the face frame information acquisition unit 20 acquires face frame information for each frame.
  • the face frame information acquisition unit 20 acquires the information of the face frame in the frame to be processed.
  • the face frame information acquisition unit 20 operates as follows.
  • the frame before the frame to be processed is the first frame
  • the frame to be processed is the second frame.
  • the occupant's face in the first frame is detected.
  • the occupant's face in the second frame is not detected.
  • the face frame information acquisition unit 20 acquires the face frame information in the first frame from the storage unit 60.
  • the second frame is a frame within a predetermined number of frames from the first frame.
  • the predetermined number of frames may be stored in the gesture detection device 101, for example, or may be input from the outside.
  • the first frame is preferably a frame in which the face of the occupant is detected most recently from the second frame.
  • the hand candidate detection unit 30 detects a hand candidate that is a candidate for the occupant's hand for each frame of the image captured by the image pickup device 110.
  • the hand candidate detection unit 30 selects a occupant's hand candidate by, for example, matching a pattern of the shape of an object (information of luminance distribution) in the image with a predetermined pattern of the shape of the hand, that is, by pattern matching processing.
  • the shape of the hand to be detected may be either the shape of the open hand or the shape of the closed hand.
  • the shape of the hand to be detected may be, for example, the shape of the hand indicating the number, the shape of the hand indicating the direction, the shape of the hand indicating the intention of the occupant (OK, Good, etc.), or the like.
  • the hand candidate detection unit 30 sets a hand candidate frame so as to surround the hand candidate. That is, the hand candidate frame is set for each frame.
  • the size of the hand candidate frame is set based on, for example, the size of the face frame.
  • the size of the hand candidate frame is set to the same size as the face frame with respect to the center position of the hand candidate frame.
  • the size of the hand candidate frame is set to a size in which the face frame is enlarged or reduced by an arbitrary magnification with respect to the center position of the hand candidate frame. The magnification can be changed as appropriate depending on the accuracy of the detection of the hand candidate.
  • the hand candidate frame may be read as a hand candidate area.
  • the determination unit 40 rejects the hand candidate information for each frame based on a predetermined condition regarding the overlap between the face frame and the hand candidate frame.
  • the predetermined conditions may be stored in the gesture detection device 101, for example, or may be input from the outside. An example of predetermined conditions will be described later. "Rejecting" may include the determination unit 40 identifying the hand candidate as something other than a hand. Alternatively, "rejecting” may include invalidating the information of the hand candidate by the determination unit 40. In any case, the rejected hand candidate is not detected as the occupant's hand in the occupant's gesture to be detected. In other words, the gesture detection device 101 does not identify the rejected hand candidate as a hand constituting the occupant's gesture.
  • the gesture detection device 101 identifies the hand candidate not rejected by the determination unit 40 as a hand constituting the gesture of the occupant. Based on the gesture by the occupant's hand identified by the gesture detection device 101, the operation process of the in-vehicle device 120 and the like are executed. In the functional block diagram shown in FIG. 5, the functional unit that performs processing between the determination unit 40 and the in-vehicle device 120 is not shown.
  • the determination unit 40 in the second embodiment rejects the hand candidate information when at least a part of the face frame overlaps with the hand candidate frame and the center of the face frame is included in the hand candidate frame. That is, the predetermined condition in the second embodiment is that at least a part of the face frame overlaps with the hand candidate frame and the center of the face frame is included in the hand candidate frame.
  • the determination unit 40 determines the hand candidate in the second frame based on the condition regarding the overlap between the face frame in the first frame and the hand candidate frame in the second frame. Reject the information of. For example, in the determination unit 40, at least a part of the face frame of the first frame overlaps with the hand candidate frame of the second frame, and the center of the face frame of the first frame is included in the hand candidate frame of the second frame. In this case, the information of the hand candidate in the second frame is rejected.
  • the functions of the face detection unit 10, the face frame information acquisition unit 20, the hand candidate detection unit 30, the determination unit 40, the image acquisition unit 50, and the storage unit 60 are realized by the processing circuit shown in FIG. 2 or FIG. ..
  • FIG. 6 is a flowchart showing the gesture detection method in the second embodiment.
  • step S10 the image acquisition unit 50 acquires a frame to be processed in the image captured by the image pickup device 110.
  • step S20 the face detection unit 10 detects the face of the occupant in the frame to be processed.
  • step S30 the gesture detection device 101 determines whether or not the occupant's face has been detected. If the occupant's face is detected, step S40 is executed. If the occupant's face is not detected, step S70 is executed.
  • step S40 the face detection unit 10 sets a face frame for the detected face.
  • step S50 the storage unit 60 stores the face frame information for each frame.
  • the face frame information acquisition unit 20 acquires information on the face frame in the frame to be processed.
  • the face frame information acquisition unit 20 may acquire the face frame information from the face detection unit 10 or the storage unit 60. Further, the face frame information acquisition unit 20 calculates the center of the face frame. The center of the face frame is calculated by the face detection unit 10 and may be included in the face frame information.
  • step S70 the face frame information acquisition unit 20 determines whether or not the frame to be processed is within a predetermined number of frames from the frame in which the face of the occupant was detected most recently. If the frame to be processed is within a predetermined number of frames, that is, if this condition is satisfied, step S80 is executed. If this condition is not met, the gesture detection method ends.
  • step S80 the face frame information acquisition unit 20 acquires the face frame information in the frame in which the face of the occupant was detected most recently from the storage unit 60. Further, the face frame information acquisition unit 20 calculates the center of the face frame. The center of the face frame may be included in the information of the face frame stored in the storage unit 60.
  • step S90 the hand candidate detection unit 30 detects the occupant's hand candidate in the frame to be processed.
  • the hand candidate detection unit 30 sets a hand candidate frame for the hand candidate.
  • step S100 the determination unit 40 determines whether or not the overlap between the face frame and the hand candidate frame satisfies a predetermined condition.
  • the predetermined condition is that at least a part of the face frame overlaps with the hand candidate frame and the center of the face frame is included in the hand candidate frame. If this condition is satisfied, step S110 is executed. If this condition is not met, the gesture detection method ends.
  • FIG. 7 is a diagram showing an example of the occupant's face frame 12 and the hand candidate frame 32.
  • the occupant does not make a hand gesture for operating the in-vehicle device 120.
  • the face detection unit 10 accurately detects the occupant's face 11, and the face frame 12 is set based on the detection result.
  • the hand candidate detection unit 30 erroneously detects the occupant's face 11 as a hand candidate, and the hand candidate frame 32 is set based on the detection result.
  • the hand candidate detection unit 30 has the occupant's face 11 as a hand with at least a part of the fingers closed (thumbs-up hand, etc.). It may be determined that it is detected as a hand candidate.
  • a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32. Therefore, step S110 is executed.
  • FIG. 8 is a diagram showing another example of the occupant's face frame 12 and the hand candidate frame 32.
  • the occupant is performing the gesture of the hand 31 for operating the in-vehicle device 120 next to the face 11.
  • the face detection unit 10 accurately detects the occupant's face 11, and the face frame 12 is set based on the detection result.
  • the hand candidate detection unit 30 accurately detects the occupant's hand 31 as a hand candidate, and the hand candidate frame 32 is set based on the detection result.
  • the determination unit 40 ends the gesture detection method without rejecting the hand candidate information.
  • FIG. 9 is a diagram showing an example in which the hand candidate frame 32 in FIG. 8 is enlarged.
  • the hand candidate detection unit 30 accurately detects the occupant's hand 31 as a hand candidate.
  • a hand candidate frame 32 that is doubled vertically and horizontally is set with the center 33 of the hand 31 as a reference.
  • a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32. Therefore, step S110 is executed.
  • step S110 the determination unit 40 rejects the hand candidate information.
  • the determination unit 40 identifies the hand candidate as something other than a hand.
  • the determination unit 40 replaces the detection result of the hand candidate with the detection result of an object other than the hand. In this way, the determination unit 40 rejects the hand candidate information based on a predetermined condition regarding the overlap between the face frame 12 and the hand candidate frame 32. This completes the gesture detection method.
  • the gesture detection device 101 performs a hand candidate detection process and a hand candidate frame 32 setting process after performing a face 11 detection process and a face frame 12 information acquisition process.
  • the gesture detection device 101 may execute the face 11 detection process and the face frame 12 information acquisition process after the hand candidate detection process and the hand candidate frame 32 setting process.
  • the gesture detection device 101 may execute the hand candidate detection process and the hand candidate frame 32 setting process in parallel with the face 11 detection process and the face frame 12 information acquisition process.
  • the face detection unit 10 succeeds in detecting the occupant's face 11 in the first frame, and fails to detect the occupant's face 11 in the second frame after the first frame.
  • the first frame is a frame in which the occupant's face 11 is detected most recently from the second frame.
  • step S10 the image acquisition unit 50 acquires the second frame of the image captured by the image pickup device 110.
  • step S20 the face detection unit 10 fails to detect the occupant's face 11 in the second frame.
  • step S30 the gesture detection device 101 determines that the occupant's face 11 has not been detected.
  • Step S70 is executed.
  • step S70 the face frame information acquisition unit 20 determines whether or not the second frame is within a predetermined number of frames from the first frame in which the occupant's face 11 is detected most recently. As described above, in order to satisfy this condition for the first frame and the second frame, step S80 is executed.
  • step S80 the face frame information acquisition unit 20 acquires the information of the face frame 12 in the first frame from the storage unit 60.
  • step S90 the hand candidate detection unit 30 detects the occupant's hand candidate in the second frame.
  • the hand candidate detection unit 30 sets the hand candidate frame 32 for the hand candidate.
  • step S100 in the determination unit 40, at least a part of the face frame 12 of the second frame overlaps with the hand candidate frame 32 of the first frame, and the center 13 of the face frame 12 of the second frame is the first frame. It is determined whether or not the hand candidate frame 32 is included. If this condition is satisfied, step S110 is executed. If this condition is not met, the gesture detection method ends.
  • step S110 the determination unit 40 rejects the hand candidate information in the second frame. This completes the gesture detection method.
  • the predetermined condition in the second embodiment is that at least a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32. Is.
  • Such a gesture detection device 101 reduces the identification of objects other than the occupant's hand as the hand 31. That is, the gesture detection device 101 accurately detects the hand 31 that constitutes the gesture of the occupant. For example, when the occupant's head is a buzz cut, the hand candidate detection unit 30 determines that the occupant's head (or face 11) is a hand 31 with at least a part of the fingers closed, and determines that the occupant's head (or face 11) is a hand 31. It may be detected as a hand candidate (for example, FIG. 7). Or, for example, when the occupant's hairstyle is spicy, the hand candidate detection unit 30 may detect the occupant's face 11 as a palm and a hand candidate whose hairstyle is a finger.
  • the determination unit 40 of the gesture detection device 101 is when at least a part of the face frame 12 overlaps with the hand candidate frame 32 and the center 13 of the face frame 12 is included in the hand candidate frame 32. Reject the candidate information. Therefore, the gesture detection device 101 accurately detects the occupant's hand 31 regardless of the shape, hairstyle, etc. of the occupant's face 11.
  • the predetermined conditions regarding the overlap between the face frame 12 and the hand candidate frame 32 are not limited to the above conditions.
  • the condition may be, for example, that the area of the overlapping region of the face frame 12 and the hand candidate frame 32 is equal to or larger than a predetermined threshold value.
  • the condition may be that the ratio of the area of the overlapping region to the area of the face frame 12 or the hand candidate frame 32 is equal to or more than a predetermined threshold value.
  • the condition may be that the hand candidate frame 32 overlaps the predetermined area in the face frame 12.
  • the predetermined region is, for example, a region opposite to the direction in which the image pickup apparatus 110 is provided.
  • the gesture detection device 101 in the second embodiment includes a storage unit 60.
  • the storage unit 60 stores the information of the face frame 12 set for each frame for the face 11 detected for each frame of the video.
  • the face frame information acquisition unit 20 is in the first frame.
  • the information of the face frame 12 is acquired from the storage unit 60.
  • the second frame is a frame within a predetermined number of frames from the first frame.
  • the hand candidate detection unit 30 detects the hand candidate in the second frame.
  • the determination unit 40 rejects the hand candidate information in the second frame based on the predetermined condition regarding the overlap between the face frame 12 in the first frame and the hand candidate frame 32 in the second frame.
  • the hand candidate detection unit 30 causes the occupant's face 11 to be detected. , Head, etc. may be erroneously detected as a hand candidate.
  • the gesture detection device 101 according to the second embodiment has a face frame 12 in the frame in which the face 11 is detected before the frame to be processed and a hand candidate frame 32 in the frame to be processed. Judge the overlap with. Therefore, the gesture detection device 101 prevents the occupant's face 11 or the head from being detected as the hand 31 even when the occupant's face 11 is temporarily not detected. As a result, the detection accuracy of the occupant's hand 31 is improved.
  • the first frame in the second embodiment is a frame in which the occupant's face 11 is detected most recently from the second frame.
  • the gesture detection device 101 determines the overlap between the most recently detected face frame 12 and the hand candidate frame 32 in the frame to be processed. Therefore, the gesture detection device 101 accurately detects the occupant's hand 31.
  • the gesture detection device and the gesture detection method according to the third embodiment will be described.
  • the third embodiment is a subordinate concept of the first embodiment, and the gesture detection device according to the third embodiment includes each configuration of the gesture detection device 101 according to the second embodiment. The same configuration and operation as those of the first and second embodiments will be omitted.
  • the face detection unit 10 detects the occupant's face 11 for each frame of the image. At this time, the face detection unit 10 detects the face parts of the occupant.
  • the face detection unit 10 can detect the occupant's face 11 without necessarily detecting all the face parts. For example, the face detection unit 10 detects the occupant's face 11 by detecting at least two eyes. In that case, nose and mouth detection is not always necessary.
  • the face frame information acquisition unit 20 acquires information on the occupant's face parts detected by the face detection unit 10.
  • the determination unit 40 rejects the hand candidate information when the following two conditions are satisfied.
  • One condition is a case where a predetermined condition regarding the overlap between the face frame 12 and the hand candidate frame 32 is satisfied.
  • the predetermined condition in the third embodiment is that at least a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32.
  • Another condition is that the face parts detected by the face detection unit 10 include all of the predetermined face parts.
  • the predetermined information on the face part may be stored in the gesture detection device, for example, or may be input from the outside.
  • the predetermined facial parts are two eyes, a nose, and a mouth.
  • FIG. 10 is a diagram showing an example of an occupant's face frame 12 and a hand candidate frame 32 in the frame to be processed.
  • the occupant is gesturing the hand 31 for operating the in-vehicle device 120 near the face 11.
  • the face detection unit 10 detects two eyes and a nose as face parts. Since most of the mouth is hidden behind the hand 31, the face detection unit 10 does not detect the mouth as a face part.
  • the hand candidate detection unit 30 detects the hand 31 near the occupant's face 11 as a hand candidate.
  • a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32.
  • the face parts detected by the face detection unit 10 are only two eyes and a nose, and do not include all of the two eyes, a nose and a mouth as predetermined face parts. In other words, the face parts detected by the face detection unit 10 include only a part of the predetermined face parts. Therefore, the determination unit 40 does not reject the information of the hand candidate.
  • FIG. 11 is a diagram showing an example of an occupant's face frame 12 and a hand candidate frame 32 in another frame to be processed.
  • the occupant is not gesturing the hand 31.
  • the face detection unit 10 detects two eyes, a nose, and a mouth as face parts.
  • the hand candidate detection unit 30 erroneously detects the occupant's face 11 as a hand candidate.
  • a part of the face frame 12 overlaps with the hand candidate frame 32, and the center 13 of the face frame 12 is included in the hand candidate frame 32.
  • the face parts detected by the face detection unit 10 are two eyes, a nose and a mouth, and include all of the two eyes, a nose and a mouth as predetermined face parts. Therefore, the determination unit 40 rejects the hand candidate information.
  • the functions of the face detection unit 10, the face frame information acquisition unit 20, and the determination unit 40 are realized by the processing circuit shown in FIG. 2 or FIG.
  • FIG. 12 is a flowchart showing the gesture detection method according to the third embodiment. Step S20 is replaced with step S25, and steps S102 and S104 are added to the flowchart shown in FIG.
  • Step S10 is the same as step S10 shown in FIG.
  • step S25 the face detection unit 10 detects the occupant's face parts and the face 11.
  • Steps S30 to S100 are the same as steps S30 to S100 shown in FIG.
  • step S100 when a part of the face frame 12 overlaps with the hand candidate frame 32 and the center 13 of the face frame 12 is included in the hand candidate frame 32, step S102 is executed.
  • step S102 the face frame information acquisition unit 20 acquires information on the occupant's face parts detected by the face detection unit 10.
  • step S104 the determination unit 40 determines whether or not the face parts detected by the face detection unit 10 include all of the predetermined face parts. If the detected face parts include all of the predetermined face parts, step S110 is executed. If the detected face part does not include all of the predetermined face parts, the determination unit 40 does not reject the information of the hand candidate, and the gesture detection method ends. In other words, if the detected face part contains only a part of the predetermined face part, the gesture detection method ends.
  • the face frame information acquisition unit 20 in the third embodiment acquires information on the face parts of the occupant detected based on the image.
  • the determination unit 40 satisfies the predetermined conditions regarding the overlap between the face frame 12 and the hand candidate frame 32, and the face parts detected based on the image include all of the predetermined face parts, the determination unit 40 is used. Reject the candidate information.
  • Such a gesture detection device determines whether or not to accurately reject the hand candidate information even when the occupant makes a gesture of the hand 31 for operating the in-vehicle device 120 near the face 11. do.
  • the gesture detection device shown in each of the above embodiments can be applied to a system constructed by appropriately combining a navigation device, a communication terminal, a server, and the functions of applications installed in the navigation device.
  • the navigation device includes, for example, a PND (Portable Navigation Device) and the like.
  • the communication terminal includes, for example, a mobile terminal such as a mobile phone, a smartphone and a tablet.
  • FIG. 13 is a block diagram showing the configuration of the gesture detection device 101 and the device that operates in connection with the gesture detection device 101 in the fourth embodiment.
  • the gesture detection device 101 and the communication device 130 are provided in the server 300.
  • the gesture detection device 101 acquires an image taken by the image pickup device 110 provided in the vehicle 1 via the communication device 140 and the communication device 130.
  • the gesture detection device 101 acquires information on the occupant's face frame 12 detected based on the image.
  • the gesture detection device 101 detects a hand candidate based on the image and sets the hand candidate frame 32.
  • the gesture detection device 101 rejects the hand candidate information based on a predetermined condition regarding the overlap between the occupant's face frame 12 and the hand candidate frame 32.
  • the gesture detection device 101 identifies the hand candidate that has not been rejected as the hand 31 that constitutes the gesture of the occupant. Based on the gesture by the occupant's hand 31 identified by the gesture detection device 101, the operation process of the in-vehicle device 120 and the like are executed.
  • the gesture detection device 101 By arranging the gesture detection device 101 in the server 300 in this way, the configuration of the device provided in the vehicle 1 is simplified.
  • gesture detection device 101 may be provided in the server 300, and some of the other parts may be provided in the vehicle 1, so that they may be arranged in a distributed manner. The same effect is obtained when the gesture detection device 100 shown in the first embodiment is provided in the server 300.
  • each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

乗員のジェスチャにおける手を正確に検出するジェスチャ検出装置を提供する。ジェスチャ検出装置は、顔枠情報取得部、手候補検出部および判定部を含む。顔枠情報取得部は、顔枠の情報を取得する。その顔枠は、車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される。手候補検出部は、その映像に基づいて、乗員の手の候補である手候補を検出する。判定部は、その映像における顔枠と手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、手候補が検出対象である乗員のジェスチャにおける乗員の手として検出されないように、手候補の情報を棄却する。

Description

ジェスチャ検出装置およびジェスチャ検出方法
　本開示は、ジェスチャ検出装置およびジェスチャ検出方法に関する。
　車両の乗員による車載機器の操作に関して、乗員の手のジェスチャを検出することにより、乗員がその車載機器に接触することなく、その車載機器を操作するシステムが提案されている。例えば、ジェスチャ検出装置は、車内に設けられたカメラ等によって撮影された映像に基づいて乗員の手を検出する。車載機器は乗員の手のジェスチャに従って動作することから、ジェスチャ検出装置における乗員の手の検出には正確性が求められる。特許文献１には、運転手の顔の領域に基づいて設定されたジェスチャ領域のみから、ユーザの手に関する情報を検出する制御装置が提案されている。
特開２０１４－１１９２９５号公報
　ジェスチャ検出装置は、映像に基づいて乗員の手を検出する。そのため、映像の状態によっては、ジェスチャ検出装置は、手以外の物を手として検出する場合がある。
　本開示は、上記の課題を解決するためのものであり、乗員のジェスチャにおける手を正確に検出するジェスチャ検出装置の提供を目的とする。
　本開示に係るジェスチャ検出装置は、顔枠情報取得部、手候補検出部および判定部を含む。顔枠情報取得部は、顔枠の情報を取得する。その顔枠は、車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される。手候補検出部は、その映像に基づいて、乗員の手の候補である手候補を検出する。判定部は、その映像における顔枠と手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、手候補が検出対象である乗員のジェスチャにおける乗員の手として検出されないように、手候補の情報を棄却する。
　本開示によれば、乗員のジェスチャにおける手を正確に検出するジェスチャ検出装置が提供される。
　本開示の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。
実施の形態１におけるジェスチャ検出装置の構成を示す機能ブロック図である。 ジェスチャ検出装置が含む処理回路の構成の一例を示す図である。 ジェスチャ検出装置が含む処理回路の構成の別の一例を示す図である。 実施の形態１におけるジェスチャ検出方法を示すフローチャートである。 実施の形態２におけるジェスチャ検出装置の構成を示す機能ブロック図である。 実施の形態２におけるジェスチャ検出方法を示すフローチャートである。 乗員の顔枠および手候補枠の一例を示す図である。 乗員の顔枠および手候補枠の別の一例を示す図である。 図８における手候補枠が拡大された一例を示す図である。 処理対象のフレームにおける乗員の顔枠および手候補枠の一例を示す図である。 別の処理対象のフレームにおける乗員の顔枠および手候補枠の一例を示す図である。 実施の形態３におけるジェスチャ検出方法を示すフローチャートである。 実施の形態４におけるジェスチャ検出装置およびそれに関連して動作する装置の構成を示すブロック図である。
　＜実施の形態１＞
　図１は、実施の形態１におけるジェスチャ検出装置１００の構成を示す機能ブロック図である。また、図１には、ジェスチャ検出装置１００と関連して動作する装置として、撮像装置１１０および顔検出部１０が示されている。
　撮像装置１１０は、車両に設けられている。撮像装置１１０は、車両の室内の乗員の映像を撮影する。
　顔検出部１０は、その映像に基づいて、乗員の顔を検出する。顔検出部１０は、その顔を囲むように顔枠を設定する。「顔を囲む」とは、顔の輪郭を全て囲むこと、または、輪郭の全てを囲んでいなくても、予め定められた顔パーツを含んで囲むことを含む。
　ジェスチャ検出装置１００は、撮像装置１１０によって撮影された映像に基づいて、車両の乗員の手のジェスチャを検出する。
　ジェスチャ検出装置１００は、顔枠情報取得部２０、手候補検出部３０および判定部４０を含む。
　顔枠情報取得部２０は、顔検出部１０から乗員の顔枠の情報を取得する。
　手候補検出部３０は、撮像装置１１０によって撮影された映像に基づいて、乗員の手の候補である手候補を検出する。手候補検出部３０は、例えばその映像における物体の形状のパターン（輝度分布の情報）と予め定められた手の形状のパターンとをマッチングすることにより、手候補を検出する。また、手候補検出部３０は、その手候補を囲むように手候補枠を設定する。
　判定部４０は、その映像における顔枠と手候補枠との重なりに関する予め定められた条件に基づいて、手候補の情報を棄却する。ジェスチャ検出装置１００は、棄却された手候補を、乗員のジェスチャを構成する手として識別しない。
　図２は、ジェスチャ検出装置１００が含む処理回路９０の構成の一例を示す図である。顔枠情報取得部２０、手候補検出部３０および判定部４０の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、顔枠情報取得部２０、手候補検出部３０および判定部４０を有する。
　処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。顔枠情報取得部２０、手候補検出部３０および判定部４０の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。
　図３は、ジェスチャ検出装置１００が含む処理回路の構成の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、顔枠情報取得部２０、手候補検出部３０および判定部４０の各機能が実現される。例えば、プログラムとして記載されたソフトウェアまたはファームウェアが、プロセッサ９１によって実行されることにより各機能が実現される。このように、ジェスチャ検出装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。
　プログラムには、ジェスチャ検出装置１００が、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得する機能が記載されている。また、プログラムには、ジェスチャ検出装置１００が、その映像に基づいて、乗員の手の候補である手候補を検出する機能が記載されている。さらに、プログラムには、その映像における顔枠と手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、手候補が検出対象である乗員のジェスチャにおける乗員の手として検出されないように、手候補の情報を棄却する機能が記載されている。このように、プログラムは、顔枠情報取得部２０、手候補検出部３０および判定部４０の手順または方法をコンピュータに実行させるものである。
　プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。
　上記の顔枠情報取得部２０、手候補検出部３０および判定部４０の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上記の各機能を実現する。
　図４は、実施の形態１におけるジェスチャ検出方法を示すフローチャートである。図４に示されるステップＳ１よりも前に、顔検出部１０は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて乗員の顔を検出し、その顔を囲むように顔枠を設定している。
　ステップＳ１にて、顔枠情報取得部２０は、顔検出部１０から乗員の顔枠の情報を取得する。
　ステップＳ２にて、手候補検出部３０は、撮像装置１１０によって撮影された映像に基づいて、乗員の手の候補である手候補を検出する。また、手候補検出部３０は、その手候補を囲むように手候補枠を設定する。
　ステップＳ３にて、判定部４０は、その映像における顔枠と手候補枠との重なりに関する予め定められた条件に基づいて、手候補の情報を棄却するか否かを判定する。判定部４０は、その判定結果に従い、手候補の情報を棄却する。棄却された手候補は、検出対象である乗員のジェスチャにおける乗員の手として検出されない。言い換えると、ジェスチャ検出装置１００は、棄却された手候補を、乗員のジェスチャを構成する手として識別しない。
　まとめると、実施の形態１におけるジェスチャ検出装置１００は、顔枠情報取得部２０、手候補検出部３０および判定部４０を含む。顔枠情報取得部２０は、顔枠の情報を取得する。その顔枠は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される。手候補検出部３０は、その映像に基づいて、乗員の手の候補である手候補を検出する。判定部４０は、その映像における顔枠と手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、手候補が検出対象である乗員のジェスチャにおける乗員の手として検出されないように、手候補の情報を棄却する。
　このようなジェスチャ検出装置１００は、乗員のジェスチャにおける手を正確に検出する。
　また、実施の形態１におけるジェスチャ検出方法は、車両に設けられた撮像装置１１０によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得する。また、ジェスチャ検出方法は、その映像に基づいて、乗員の手の候補である手候補を検出する。さらにジェスチャ検出方法は、その映像における顔枠と手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、手候補が検出対象である乗員のジェスチャにおける乗員の手として検出されないように、手候補の情報を棄却する。
　このようなジェスチャ検出方法によれば、乗員のジェスチャにおける手が正確に検出される。
　＜実施の形態２＞
　実施の形態２におけるジェスチャ検出装置およびジェスチャ検出方法を説明する。実施の形態２は実施の形態１の下位概念であり、実施の形態２におけるジェスチャ検出装置は、実施の形態１におけるジェスチャ検出装置１００の各構成を含む。なお、実施の形態１と同様の構成および動作については説明を省略する。
　図５は、実施の形態２におけるジェスチャ検出装置１０１の構成を示す機能ブロック図である。また、図５には、ジェスチャ検出装置１０１と関連して動作する装置として、撮像装置１１０および車載機器１２０が示されている。
　撮像装置１１０は、車両の室内の前方中央に設けられている。撮像装置１１０は、車両の室内を広角で撮影し、運転席および助手席の両方を一度に撮影する。撮像装置１１０は、例えば、赤外線を検知するカメラ、可視光を検知するカメラ等である。実施の形態２におけるジェスチャ検出装置１０１は、撮像装置１１０によって撮影される映像に基づいて、車両の乗員の手のジェスチャを検出する。そのジェスチャは、車載機器１２０を操作するためのジェスチャである。車載機器１２０とは、例えば、エアコン、オーディオ等である。ジェスチャ検出装置１０１によって検出されたジェスチャによって、エアコンの温度調節、オーディオの音量調節等が実行される。ただし、車載機器１２０はエアコンおよびオーディオに限定されるものではない。
　ジェスチャ検出装置１０１は、映像取得部５０、顔検出部１０、記憶部６０、顔枠情報取得部２０、手候補検出部３０および判定部４０を含む。
　映像取得部５０は、撮像装置１１０によって撮影された映像をフレームごとに取得する。
　顔検出部１０は、その映像のフレームごとに、乗員の顔を検出する。顔検出部１０は、その顔に対して顔枠を設定する。つまり、顔枠はフレームごとに設定される。顔枠は、顔の輪郭を全て囲むように設定される必要はなく、例えば、予め定められた顔パーツを囲むように設定されていればよい。また、顔枠の外形は矩形であってもよいし、その他の形状であってもよい。なお顔枠は、顔領域と読み替えてもよい。
　記憶部６０は、顔検出部１０によって顔の検出が成功した場合、フレームごとにその顔枠の情報を記憶する。
　顔枠情報取得部２０は、フレームごとに、顔枠の情報を取得する。顔枠情報取得部２０は、処理対象のフレームにおける乗員の顔が検出されている場合、その処理対象のフレームにおける顔枠の情報を取得する。処理対象のフレームにおける乗員の顔が検出されない場合、顔枠情報取得部２０は、以下のように動作する。ここでは、処理対象のフレームよりも前のフレームを第１フレームとし、処理対象のフレームを第２フレームとする。第１フレームにおける乗員の顔は検出される。第２フレームにおける乗員の顔は検出されない。この場合、第２フレームの処理において、顔枠情報取得部２０は、第１フレームにおける顔枠の情報を記憶部６０から取得する。
　その第２フレームは、第１フレームから予め定められたフレーム数以内のフレームである。予め定められたフレーム数は、例えば、ジェスチャ検出装置１０１に記憶されていてもよいし、外部から入力されたものであってもよい。第１フレームは、第２フレームから遡って直近で乗員の顔が検出されたフレームであることが好ましい。
　手候補検出部３０は、撮像装置１１０によって撮影された映像のフレームごとに、乗員の手の候補である手候補を検出する。手候補検出部３０は、例えばその映像における物体の形状のパターン（輝度分布の情報）と予め定められた手の形状のパターンとをマッチングすることにより、つまりパターンマッチング処理により、乗員の手候補を検出する。検出対象の手の形状は、開いた状態の手の形状および閉じた状態の手の形状のうちいずれであってもよい。検出対象の手の形状は、例えば、数を示す手の形状、方向を示す手の形状、乗員の意思（ＯＫまたはＧｏｏｄなど）を示す手の形状等であってもよい。
　手候補検出部３０は、手候補を囲むように手候補枠を設定する。つまり、手候補枠はフレームごとに設定される。手候補枠の大きさは、例えば、顔枠の大きさに基づいて設定される。例えば、手候補枠の大きさは、手候補枠の中心位置を基準として、顔枠と同じ大きさに設定される。または例えば、手候補枠の大きさは、手候補枠の中心位置を基準として、顔枠が任意の倍率で拡大または縮小された大きさに設定される。その倍率は、手候補の検出についての正確性に応じて、適宜変更可能である。なお、手候補枠は手候補領域と読み替えてもよい。
　判定部４０は、顔枠と手候補枠との重なりに関する予め定められた条件に基づいて、フレームごとに、手候補の情報を棄却する。予め定められた条件は、例えば、ジェスチャ検出装置１０１に記憶されていてもよいし、外部から入力されたものであってもよい。予め定められた条件の一例は、後述する。「棄却する」とは、判定部４０が手候補を手以外の物として識別することを含んでいてもよい。または、「棄却する」とは、判定部４０が手候補の情報を無効にすることを含んでいてもよい。いずれにしても、棄却された手候補は、検出対象である乗員のジェスチャにおける乗員の手として検出されない。言い換えると、ジェスチャ検出装置１０１は、棄却された手候補を、乗員のジェスチャを構成する手として識別しない。一方で、ジェスチャ検出装置１０１は、判定部４０で棄却されなかった手候補を乗員のジェスチャを構成する手として識別する。ジェスチャ検出装置１０１によって識別された乗員の手によるジェスチャに基づいて、車載機器１２０の操作処理等が実行される。なお、図５に示される機能ブロック図において、判定部４０と車載機器１２０との間の処理を行う機能部の図示は省略されている。
　実施の形態２における判定部４０は、顔枠の少なくとも一部が手候補枠と重なり、かつ、顔枠の中心が手候補枠内に含まれる場合に、手候補の情報を棄却する。つまり、実施の形態２における予め定められた条件とは、顔枠の少なくとも一部が手候補枠と重なり、かつ、顔枠の中心が手候補枠内に含まれることである。
　第１フレームと第２フレームとが上記の関係を有する場合、判定部４０は、第１フレームにおける顔枠と第２フレームにおける手候補枠との重なりに関する条件に基づいて、第２フレームにおける手候補の情報を棄却する。例えば、判定部４０は、第１フレームの顔枠の少なくとも一部が第２フレームの手候補枠と重なり、かつ、第１フレームの顔枠の中心が第２フレームの手候補枠内に含まれる場合に、第２フレームの手候補の情報を棄却する。
　上記の顔検出部１０、顔枠情報取得部２０、手候補検出部３０、判定部４０、映像取得部５０および記憶部６０の機能は、図２または図３に示される処理回路によって実現される。
　図６は、実施の形態２におけるジェスチャ検出方法を示すフローチャートである。
　ステップＳ１０にて、映像取得部５０は、撮像装置１１０によって撮影された映像における処理対象のフレームを取得する。
　ステップＳ２０にて、顔検出部１０は、処理対象のフレームにおける乗員の顔を検出する。
　ステップＳ３０にて、ジェスチャ検出装置１０１は、乗員の顔が検出されたか否かを判定する。乗員の顔が検出されている場合、ステップＳ４０が実行される。乗員の顔が検出されていない場合、ステップＳ７０が実行される。
　ステップＳ４０にて、顔検出部１０は、検出された顔に対して顔枠を設定する。
　ステップＳ５０にて、記憶部６０は、フレームごとに顔枠の情報を記憶する。
　ステップＳ６０にて、顔枠情報取得部２０は、処理対象のフレームにおける顔枠の情報を取得する。顔枠情報取得部２０は、その顔枠の情報を顔検出部１０から取得してもよいし、記憶部６０から取得してもよい。また、顔枠情報取得部２０は、顔枠の中心を算出する。顔枠の中心は、顔検出部１０によって算出され、顔枠の情報に含まれていてもよい。
　ステップＳ７０にて、顔枠情報取得部２０は、処理対象のフレームが、直近で乗員の顔が検出されたフレームから予め定められたフレーム数以内のフレームであるか否かを判定する。処理対象のフレームが予め定められたフレーム数以内のフレームである場合、つまり、この条件が満たされる場合、ステップＳ８０が実行される。この条件が満たされない場合、ジェスチャ検出方法は終了する。
　ステップＳ８０にて、顔枠情報取得部２０は、直近で乗員の顔が検出されたフレームにおける顔枠の情報を記憶部６０から取得する。また、顔枠情報取得部２０は、顔枠の中心を算出する。顔枠の中心は、記憶部６０に記憶された顔枠の情報に含まれていてもよい。
　ステップＳ９０にて、手候補検出部３０は、処理対象のフレームにおける乗員の手候補を検出する。手候補検出部３０は、その手候補に対して手候補枠を設定する。
　ステップＳ１００にて、判定部４０は、顔枠と手候補枠との重なりが予め定められた条件を満たすか否かを判定する。ここでは、予め定められた条件は、顔枠の少なくとも一部が手候補枠と重なり、かつ、顔枠の中心が手候補枠内に含まれることである。この条件が満たされる場合、ステップＳ１１０が実行される。この条件が満たされない場合、ジェスチャ検出方法は終了する。
　図７は、乗員の顔枠１２および手候補枠３２の一例を示す図である。図７において、乗員は、車載機器１２０の操作のための手のジェスチャを行っていない。顔検出部１０は、正確に乗員の顔１１を検出しており、その検出結果に基づいて、顔枠１２が設定されている。手候補検出部３０は、乗員の顔１１を誤って手候補として検出しており、その検出結果に基づいて、手候補枠３２が設定されている。図７のように、乗員の頭が丸坊主である場合、手候補検出部３０は、その乗員の顔１１を、少なくとも一部の指が閉じられた状態の手（サムズアップの手など）であると判断し、それを手候補として検出する場合がある。しかし、図７においては、顔枠１２の一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれている。そのため、ステップＳ１１０が実行される。
　図８は、乗員の顔枠１２および手候補枠３２の別の一例を示す図である。図８において、乗員は、車載機器１２０の操作のための手３１のジェスチャを、顔１１の横で行っている。顔検出部１０は、正確に乗員の顔１１を検出しており、その検出結果に基づいて、顔枠１２が設定されている。手候補検出部３０は、乗員の手３１を正確に手候補として検出しており、その検出結果に基づいて、手候補枠３２が設定されている。顔枠１２の一部は手候補枠３２と重なっているものの、顔枠１２の中心１３は手候補枠３２内に含まれていない。そのため、判定部４０は、手候補の情報を棄却することなく、ジェスチャ検出方法は終了する。
　図９は、図８における手候補枠３２が拡大された一例を示す図である。手候補検出部３０は、乗員の手３１を正確に手候補として検出している。ここでは、手３１の中心３３を基準として、縦横２倍に拡大された手候補枠３２が設定されている。顔枠１２の一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれている。そのため、ステップＳ１１０が実行される。
　ステップＳ１１０にて、判定部４０は、手候補の情報を棄却する。例えば、判定部４０は、手候補を手以外の物として識別する。例えば、判定部４０は、手候補の検出結果を手以外の物の検出結果に置き換える。このように、判定部４０は、顔枠１２と手候補枠３２との重なりに関する予め定められた条件に基づいて、手候補の情報を棄却する。以上で、ジェスチャ検出方法は終了する。
　上記のジェスチャ検出方法において、ジェスチャ検出装置１０１は、顔１１の検出処理および顔枠１２の情報の取得処理を行った後、手候補の検出処理および手候補枠３２の設定処理を行っている。しかし、ジェスチャ検出装置１０１は、手候補の検出処理および手候補枠３２の設定処理の後に、顔１１の検出処理および顔枠１２の情報の取得処理を実行してもよい。または、ジェスチャ検出装置１０１は、手候補の検出処理および手候補枠３２の設定処理を、顔１１の検出処理および顔枠１２の情報の取得処理と並行して実行してもよい。
　次に、一例として、映像を構成する第１フレームと第２フレームとが上記の関係を有する場合の、第２フレームにおけるジェスチャ検出方法を説明する。ここでは、顔検出部１０は、第１フレームにおいて乗員の顔１１の検出に成功し、第１フレームよりも後の第２フレームにおいて乗員の顔１１の検出に失敗している。その第１フレームは、第２フレームから遡って直近で乗員の顔１１が検出されたフレームである。
　ステップＳ１０にて、映像取得部５０は、撮像装置１１０によって撮影された映像の第２フレームを取得する。
　ステップＳ２０にて、顔検出部１０は、第２フレームにおける乗員の顔１１の検出に失敗する。
　ステップＳ３０にて、ジェスチャ検出装置１０１は、乗員の顔１１が検出されていないと判定する。ステップＳ７０が実行される。
　ステップＳ７０にて、顔枠情報取得部２０は、第２フレームが、直近で乗員の顔１１が検出された第１フレームから予め定められたフレーム数以内のフレームであるか否かを判定する。上記のように、第１フレームと第２フレームとは、この条件を満たすため、ステップＳ８０が実行される。
　ステップＳ８０にて、顔枠情報取得部２０は、第１フレームにおける顔枠１２の情報を記憶部６０から取得する。
　ステップＳ９０にて、手候補検出部３０は、第２フレームにおける乗員の手候補を検出する。手候補検出部３０は、その手候補に対して手候補枠３２を設定する。
　ステップＳ１００にて、判定部４０は、第２フレームの顔枠１２の少なくとも一部が第１フレームの手候補枠３２と重なり、かつ、第２フレームの顔枠１２の中心１３が第１フレームの手候補枠３２内に含まれるか否かを判定する。この条件が満たされる場合、ステップＳ１１０が実行される。この条件が満たされない場合、ジェスチャ検出方法は終了する。
　ステップＳ１１０にて、判定部４０は、第２フレームにおける手候補の情報を棄却する。以上で、ジェスチャ検出方法は終了する。
　以上のように、実施の形態２における予め定められた条件は、顔枠１２の少なくとも一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれることである。
　このようなジェスチャ検出装置１０１は、乗員の手以外の物が手３１として識別されることを低減させる。つまり、ジェスチャ検出装置１０１は、乗員のジェスチャを構成する手３１を正確に検出する。例えば、乗員の頭が丸坊主である場合、手候補検出部３０は、その乗員の頭（または顔１１）を、少なくとも一部の指が閉じられた状態の手３１であると判断し、それを手候補として検出する場合がある（例えば図７）。または例えば、乗員の髪型がスパイキーである場合、手候補検出部３０は、その乗員の顔１１が手のひらであり、髪型が指である手候補として検出する場合がる。そのような場合、顔枠１２と手候補枠３２とは、互いに近い距離で重なりあう。実施の形態２におけるジェスチャ検出装置１０１の判定部４０は、顔枠１２の少なくとも一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれる場合に、手候補の情報を棄却する。そのため、ジェスチャ検出装置１０１は、乗員の顔１１の形状、髪型等によらず、乗員の手３１を正確に検出する。
　顔枠１２と手候補枠３２との重なりに関する予め定められた条件は、上記の条件に限定されるものではない。その条件は、例えば、顔枠１２と手候補枠３２との重なり領域の面積が予め定められた閾値以上であること、であってもよい。または例えば、その条件は、顔枠１２または手候補枠３２の面積に対する重なり領域の面積の比率が、予め定められた閾値以上であること、であってもよい。または例えば、その条件は、顔枠１２内の予め定められた領域に手候補枠３２が重なっていること、であってもよい。その予め定められた領域とは、例えば、撮像装置１１０が設けられている方向とは反対側の領域である。
　実施の形態２におけるジェスチャ検出装置１０１は、記憶部６０を含む。記憶部６０は、映像のフレームごとに検出される顔１１に対してフレームごとに設定される顔枠１２の情報を記憶する。映像の第１フレームにおける乗員の顔１１が検出され、かつ、第１フレームよりも後の第２フレームにおける乗員の顔１１が検出されなかった場合、顔枠情報取得部２０は、第１フレームにおける顔枠１２の情報を記憶部６０から取得する。その第２フレームは、第１フレームから予め定められたフレーム数以内のフレームである。手候補検出部３０は、第２フレームにおける手候補を検出する。判定部４０は、予め定められた条件としての、第１フレームにおける顔枠１２と第２フレームにおける手候補枠３２との重なりに関する条件に基づいて、第２フレームにおける手候補の情報を棄却する。
　顔検出のパターンマッチング処理と手候補検出のパターンマッチング処理とは互いに異なるため、顔検出部１０が乗員の顔１１の検出に失敗した場合であっても、手候補検出部３０が乗員の顔１１、頭等を手候補として誤って検出する場合がある。そのような場合であっても、実施の形態２におけるジェスチャ検出装置１０１は、処理対象のフレームよりも前に顔１１が検出されたフレームにおける顔枠１２と、処理対象のフレームにおける手候補枠３２との重なりを判定する。そのため、ジェスチャ検出装置１０１は、一時的に乗員の顔１１が検出されない状態であっても、乗員の顔１１または頭が手３１として検出されることを防ぐ。その結果、乗員の手３１の検出精度が向上する。
　実施の形態２における第１フレームは、第２フレームから遡って直近で乗員の顔１１が検出されたフレームである。
　一時的に乗員の顔１１が検出されない状態であっても、ジェスチャ検出装置１０１は、直近で検出された顔枠１２と、処理対象のフレームにおける手候補枠３２との重なりを判定する。そのため、ジェスチャ検出装置１０１は、乗員の手３１を正確に検出する。
　＜実施の形態３＞
　実施の形態３におけるジェスチャ検出装置およびジェスチャ検出方法を説明する。実施の形態３は実施の形態１の下位概念であり、実施の形態３におけるジェスチャ検出装置は、実施の形態２におけるジェスチャ検出装置１０１の各構成を含む。なお、実施の形態１または２と同様の構成および動作については説明を省略する。
　顔検出部１０は、映像のフレームごとに、乗員の顔１１を検出する。この際、顔検出部１０は、乗員の顔パーツを検出する。顔検出部１０は、必ずしも全ての顔パーツを検出しなくても、乗員の顔１１を検出できる。例えば、顔検出部１０は、少なくとも２つの目を検出することにより乗員の顔１１を検出する。その場合、鼻および口の検出は必ずしも必要ない。
　顔枠情報取得部２０は、顔検出部１０によって検出される乗員の顔パーツの情報を取得する。
　判定部４０は、以下の２つの条件が満たされる場合、手候補の情報を棄却する。１つの条件は、顔枠１２と手候補枠３２との重なりに関する予め定められた条件が満たされる場合である。実施の形態３におけるその予め定められた条件とは、顔枠１２の少なくとも一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれることである。もう１つの条件は、顔検出部１０によって検出された顔パーツが予め定められた顔パーツの全てを含むことである。予め定められた顔パーツの情報は、例えば、ジェスチャ検出装置に記憶されていてもよいし、外部から入力されたものであってもよい。
　以下、予め定められた顔パーツが２つの目、鼻および口である例を説明する。
　図１０は、処理対象のフレームにおける乗員の顔枠１２および手候補枠３２の一例を示す図である。図１０において、乗員は、顔１１の近くで、車載機器１２０の操作のための手３１のジェスチャを行っている。顔検出部１０は、乗員の顔１１を検出する際、顔パーツとして２つの目および鼻を検出する。口の大部分は手３１の後ろに隠れているため、顔検出部１０は顔パーツとして口を検出しない。手候補検出部３０は、乗員の顔１１の近くの手３１を手候補として検出する。顔枠１２の一部は手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれている。顔検出部１０で検出された顔パーツは、２つの目および鼻のみであり、予め定められた顔パーツとしての２つの目、鼻および口の全てを含んでいるわけではない。言い換えると、顔検出部１０で検出された顔パーツは、予め定められた顔パーツの一部のみを含んでいる。したがって、判定部４０は、手候補の情報を棄却しない。
　図１１は、別の処理対象のフレームにおける乗員の顔枠１２および手候補枠３２の一例を示す図である。図１１において、乗員は、手３１のジェスチャを行っていない。顔検出部１０は、乗員の顔１１を検出する際、顔パーツとして２つの目、鼻および口を検出する。手候補検出部３０は、乗員の顔１１を誤って手候補として検出している。顔枠１２の一部は手候補枠３２と重なり、顔枠１２の中心１３が手候補枠３２内に含まれている。顔検出部１０によって検出された顔パーツは、２つの目、鼻および口であり、予め定めされた顔パーツとしての２つの目、鼻および口の全てを含んでいる。したがって、判定部４０は、手候補の情報を棄却する。
　上記の顔検出部１０、顔枠情報取得部２０および判定部４０の機能は、図２または図３に示される処理回路によって実現される。
　図１２は、実施の形態３におけるジェスチャ検出方法を示すフローチャートである。図６に示されるフローチャートに対し、ステップＳ２０がステップＳ２５に置き換えられ、かつ、ステップＳ１０２およびＳ１０４が追加されている。
　ステップＳ１０は、図６に示されるステップＳ１０と同じである。
　ステップＳ２５にて、顔検出部１０は、乗員の顔パーツおよび顔１１を検出する。
　ステップＳ３０からＳ１００までは、図６に示されるステップＳ３０からＳ１００と同様である。ステップＳ１００において、顔枠１２の一部が手候補枠３２と重なり、かつ、顔枠１２の中心１３が手候補枠３２内に含まれている場合、ステップＳ１０２が実行される。
　ステップＳ１０２にて、顔枠情報取得部２０は、顔検出部１０によって検出される乗員の顔パーツの情報を取得する。
　ステップＳ１０４にて、判定部４０は、顔検出部１０によって検出された顔パーツが予め定められた顔パーツの全てを含むか否かを判定する。検出された顔パーツが予め定められた顔パーツの全てを含む場合、ステップＳ１１０が実行される。検出された顔パーツが予め定められた顔パーツの全てを含むわけではない場合、判定部４０は手候補の情報を棄却せずに、ジェスチャ検出方法は終了する。言い換えると、検出された顔パーツが予め定められた顔パーツの一部のみを含む場合、ジェスチャ検出方法は終了する。
　以上をまとめると、実施の形態３における顔枠情報取得部２０は、映像に基づいて検出される乗員の顔パーツの情報を取得する。判定部４０は、顔枠１２と手候補枠３２との重なりに関する予め定められた条件が満たされ、かつ、映像に基づいて検出された顔パーツが予め定められた顔パーツの全てを含む場合、手候補の情報を棄却する。
　このようなジェスチャ検出装置は、乗員が顔１１の近くで車載機器１２０の操作のための手３１のジェスチャを行った場合であっても、正確に手候補の情報を棄却するか否かを判定する。
　＜実施の形態４＞
　以上の各実施の形態に示されたジェスチャ検出装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
　図１３は、実施の形態４におけるジェスチャ検出装置１０１およびそれに関連して動作する装置の構成を示すブロック図である。
　ジェスチャ検出装置１０１および通信装置１３０がサーバ３００に設けられている。ジェスチャ検出装置１０１は、車両１に設けられた撮像装置１１０で撮影された映像を、通信装置１４０および通信装置１３０を介して取得する。ジェスチャ検出装置１０１は、その映像に基づいて検出される乗員の顔枠１２の情報を取得する。ジェスチャ検出装置１０１は、その映像に基づいて手候補を検出し、手候補枠３２を設定する。ジェスチャ検出装置１０１は、乗員の顔枠１２と手候補枠３２との重なりに関する予め定められた条件に基づいて、手候補の情報を棄却する。ジェスチャ検出装置１０１は、棄却されなかった手候補を、乗員のジェスチャを構成する手３１として識別する。ジェスチャ検出装置１０１によって識別された乗員の手３１によるジェスチャに基づいて、車載機器１２０の操作処理等が実行される。
　このように、ジェスチャ検出装置１０１がサーバ３００に配置されることにより、車両１に設けられる装置の構成が簡素化される。
　また、ジェスチャ検出装置１０１の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、それらが分散して配置されてもよい。実施の形態１に示されたジェスチャ検出装置１００がサーバ３００に設けられる場合も同様の効果を奏する。
　なお、本開示は、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
　本開示は詳細に説明されたが、上記の説明は、全ての局面において、例示であり、限定されるものではない。例示されていない無数の変形例が、想定され得る。
　１　車両、１０　顔検出部、１１　顔、１２　顔枠、１３　中心、２０　顔枠情報取得部、３０　手候補検出部、３１　手、３２　手候補枠、３３　中心、４０　判定部、５０　映像取得部、６０　記憶部、１００　ジェスチャ検出装置、１０１　ジェスチャ検出装置、１１０　撮像装置、１２０　車載機器。

Claims (6)

  1. 　車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得する顔枠情報取得部と、
    　前記映像に基づいて、前記乗員の手の候補である手候補を検出する手候補検出部と、
    　前記映像における前記顔枠と前記手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、前記手候補が検出対象である前記乗員のジェスチャにおける前記乗員の前記手として検出されないように、前記手候補の情報を棄却する判定部と、を備える、ジェスチャ検出装置。
  2. 　前記映像のフレームごとに検出される前記顔に対して前記フレームごとに設定される前記顔枠の前記情報を記憶する記憶部をさらに備え、
    　前記映像の第１フレームにおける前記乗員の前記顔が検出され、かつ、前記第１フレームから予め定められたフレーム数以内の第２フレームであって前記第１フレームよりも後の前記第２フレームにおける前記乗員の前記顔が検出されなかった場合、
    　前記顔枠情報取得部は、前記第１フレームにおける前記顔枠の前記情報を前記記憶部から取得し、
    　前記手候補検出部は、前記第２フレームにおける前記手候補を検出し、
    　前記判定部は、前記予め定められた条件としての、前記第１フレームにおける前記顔枠と前記第２フレームにおける前記手候補枠との重なりに関する条件に基づいて、前記第２フレームにおける前記手候補の前記情報を棄却する、請求項１に記載のジェスチャ検出装置。
  3. 　前記第１フレームは、前記第２フレームから遡って直近で前記乗員の前記顔が検出されたフレームである、請求項２に記載のジェスチャ検出装置。
  4. 　前記顔枠情報取得部は、前記映像に基づいて検出される前記乗員の顔パーツの情報をさらに取得し、
    　前記判定部は、前記顔枠と前記手候補枠との重なりに関する前記予め定められた条件が満たされ、かつ、前記映像に基づいて検出された前記顔パーツが予め定められた顔パーツの全てを含む場合、前記手候補の前記情報を棄却する、請求項１に記載のジェスチャ検出装置。
  5. 　前記予め定められた条件は、
    　前記顔枠の少なくとも一部が前記手候補枠と重なり、かつ、前記顔枠の中心が前記手候補枠内に含まれることである、請求項１に記載のジェスチャ検出装置。
  6. 　車両に設けられた撮像装置によって撮影された映像に基づいて検出される乗員の顔を囲むように設定される顔枠の情報を取得し、
    　前記映像に基づいて、前記乗員の手の候補である手候補を検出し、
    　前記映像における前記顔枠と前記手候補を囲むように設定される手候補枠との重なりに関する予め定められた条件に基づいて、前記手候補が検出対象である前記乗員のジェスチャにおける前記乗員の前記手として検出されないように、前記手候補の情報を棄却する、ジェスチャ検出方法。
PCT/JP2020/020839 2020-05-27 2020-05-27 ジェスチャ検出装置およびジェスチャ検出方法 WO2021240671A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/020839 WO2021240671A1 (ja) 2020-05-27 2020-05-27 ジェスチャ検出装置およびジェスチャ検出方法
US17/917,668 US20230154226A1 (en) 2020-05-27 2020-05-27 Gesture detection apparatus and gesture detection method
JP2022527342A JP7289406B2 (ja) 2020-05-27 2020-05-27 ジェスチャ検出装置およびジェスチャ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020839 WO2021240671A1 (ja) 2020-05-27 2020-05-27 ジェスチャ検出装置およびジェスチャ検出方法

Publications (1)

Publication Number Publication Date
WO2021240671A1 true WO2021240671A1 (ja) 2021-12-02

Family

ID=78723084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020839 WO2021240671A1 (ja) 2020-05-27 2020-05-27 ジェスチャ検出装置およびジェスチャ検出方法

Country Status (3)

Country Link
US (1) US20230154226A1 (ja)
JP (1) JP7289406B2 (ja)
WO (1) WO2021240671A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048937A (ja) * 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2014197252A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
WO2018122891A1 (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
JP2018528536A (ja) * 2015-08-31 2018-09-27 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 運転行動を監視する方法及びシステム
WO2019229938A1 (ja) * 2018-05-31 2019-12-05 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2019536673A (ja) * 2017-08-10 2019-12-19 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 運転状態監視方法及び装置、運転者監視システム、並びに車両

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048937A (ja) * 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2014197252A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
JP2018528536A (ja) * 2015-08-31 2018-09-27 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 運転行動を監視する方法及びシステム
WO2018122891A1 (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
JP2019536673A (ja) * 2017-08-10 2019-12-19 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 運転状態監視方法及び装置、運転者監視システム、並びに車両
WO2019229938A1 (ja) * 2018-05-31 2019-12-05 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
US20230154226A1 (en) 2023-05-18
JP7289406B2 (ja) 2023-06-09
JPWO2021240671A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US20150146079A1 (en) Electronic apparatus and method for photographing image thereof
US9733763B2 (en) Portable device using passive sensor for initiating touchless gesture control
US20110141257A1 (en) Apparatus and method for registering plurality of facial images for face recognition
US9886766B2 (en) Electronic device and method for adding data to image and extracting added data from image
US11074428B2 (en) Fingerprint identification device and method
JP2012121386A (ja) 車載装置
US9560272B2 (en) Electronic device and method for image data processing
CN106940802B (zh) 用于使用生物测量学信息的认证的方法和设备
CN104902143A (zh) 一种基于分辨率的图像去噪方法及装置
US20150278207A1 (en) Electronic device and method for acquiring image data
WO2021240671A1 (ja) ジェスチャ検出装置およびジェスチャ検出方法
US11768543B2 (en) Methods and apparatuses for controlling a system via a sensor
US20120201470A1 (en) Recognition of objects
US11956530B2 (en) Electronic device comprising multi-camera, and photographing method
WO2021240668A1 (ja) ジェスチャ検出装置およびジェスチャ検出方法
CN113936304B (zh) 一种指纹识别方法、移动终端和存储介质
KR101995711B1 (ko) 생체 인증 방법 및 장치
CN110308821B (zh) 触控响应方法及电子设备
JP7483060B2 (ja) 手検出装置、ジェスチャー認識装置および手検出方法
WO2021186710A1 (ja) ジェスチャ検出装置及びジェスチャ検出方法
WO2021229741A1 (ja) ジェスチャ検出装置およびジェスチャ検出方法
CN112766128A (zh) 交通信号灯检测方法、装置和计算机设备
WO2022149251A1 (ja) ジェスチャ認識装置およびジェスチャ認識方法
JP7051014B2 (ja) 顔検出処理装置および顔検出処理方法
JP2019068932A (ja) 視線検出装置及び視線検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938184

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527342

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20938184

Country of ref document: EP

Kind code of ref document: A1