WO2021192007A1 - 顔検出装置 - Google Patents

顔検出装置 Download PDF

Info

Publication number
WO2021192007A1
WO2021192007A1 PCT/JP2020/012916 JP2020012916W WO2021192007A1 WO 2021192007 A1 WO2021192007 A1 WO 2021192007A1 JP 2020012916 W JP2020012916 W JP 2020012916W WO 2021192007 A1 WO2021192007 A1 WO 2021192007A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
detection
unit
search area
occupant
Prior art date
Application number
PCT/JP2020/012916
Other languages
English (en)
French (fr)
Inventor
和樹 國廣
太郎 熊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022509809A priority Critical patent/JP7345632B2/ja
Priority to US17/793,744 priority patent/US20230060049A1/en
Priority to PCT/JP2020/012916 priority patent/WO2021192007A1/ja
Publication of WO2021192007A1 publication Critical patent/WO2021192007A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a face detection device mounted on a vehicle and detecting a occupant of the vehicle.
  • an area for searching the occupant's face (hereinafter referred to as a search area) is set in the image to detect the occupant's face. It is disclosed that when a successful position is recorded and the detection of the occupant's face fails, the position where the occupant's face is successfully detected is searched again preferentially (see, for example, Patent Document 1).
  • the present disclosure has been made to solve the above-mentioned problems, and provides a face detection device capable of detecting an occupant's face by expanding the search area even when the occupant's face cannot be detected in the search area.
  • the purpose is.
  • the face detection device is an image acquisition unit that acquires an image captured by an occupant from an image pickup device mounted on the vehicle and images an occupant inside the vehicle, and an image acquired by the image acquisition unit.
  • the search area setting unit that sets the search area in which the face is searched, the detection unit that searches the search area and detects the occupant's face, and the detection unit determines whether or not the occupant's face is successfully detected.
  • the search area setting unit includes a detection determination unit, and expands the search area searched by the detection unit when the detection determination unit determines that the detection of the occupant's face has failed.
  • the search area is expanded to detect the occupant's face, so that the detection accuracy is improved.
  • FIG. It is a block diagram which shows schematic structure of the face detection apparatus which concerns on Embodiment 1.
  • FIG. It is explanatory drawing which shows the imaging range of the imaging apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the hardware configuration example of the face detection apparatus which concerns on Embodiment 1.
  • FIG. It is explanatory drawing which shows schematic the search area of the face detection apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation example of the face detection apparatus which concerns on Embodiment 1.
  • FIG. It is explanatory drawing of the 1st region which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the operation example of the face detection apparatus which concerns on Embodiment 2.
  • It is a block diagram which shows schematic structure of the face detection apparatus which concerns on Embodiment 3.
  • FIG. It is a flowchart which shows the operation example of the face detection apparatus which concerns on Embodiment 3.
  • FIG. 1 is a block diagram schematically showing the configuration of the face detection device 100 according to the first embodiment.
  • the face detection device 100 includes an image acquisition unit 1, a search area setting unit 2, a detection unit 3, and a detection determination unit 4.
  • the face detection device 100 is connected to the image pickup device 200 and the control device 300, and information related to the detection of the occupant's face (hereinafter referred to as face detection) in the image captured by the image pickup device 200 (hereinafter referred to as the captured image). Is output from the output unit 5 of the face detection device 100 to the control device 300.
  • the image pickup device 200 and the control device 300 may be provided in the face detection device 100.
  • FIG. 2 is an explanatory diagram showing an imaging range of the imaging device 200 according to the first embodiment.
  • the image pickup device 200 is composed of, for example, a wide-angle camera, an infrared camera, or the like.
  • the image pickup apparatus 200 is arranged in one or more units, an instrument panel, a steering column, a rearview mirror, or the like so that at least the occupants 503 and 504 seated in the driver's seat 501 and the passenger seat 502 can be simultaneously imaged.
  • the image pickup apparatus 200 may include a rear seat (not shown) in the image pickup range.
  • the occupants 503 and 504 to be imaged by the imaging device 200 are also collectively referred to as “occupants”. That is, the occupant includes the driver.
  • the image pickup device 200 images the inside of the vehicle at intervals of, for example, 30 to 60 fps (frames per second), and outputs the captured image to the image acquisition unit 1 of the face detection device 100.
  • the imaging region of the imaging device 200 is shown by region A.
  • the face detection device 100 performs the face detection process every time the captured image is acquired from the image pickup device 200, that is, every frame.
  • the search area setting unit 2 sets a search area in which the detection unit 3 described below searches for the face of the occupant in the captured image acquired by the image acquisition unit 1.
  • the search area is set based on, for example, the coordinates in the captured image. The setting of the search area will be described later.
  • the detection unit 3 analyzes the captured image and detects the face of the occupant in the search area. Then, the detection unit 3 acquires the region where the occupant's face is detected (hereinafter referred to as the face region) and the feature information of the occupant's face in the face region.
  • the detection unit 3 detects the face of the occupant
  • the detection unit 3 acquires the coordinates related to the face area surrounding the occupant's face from the captured image, for example, a rectangle in contact with the contour of the occupant's face.
  • the coordinates related to the face area are, for example, the coordinates of each vertex, center, etc. of the rectangle when the face area is rectangular.
  • the detection unit 3 calculates the width, height, area, and the like of the face region from the coordinates of the face region. Further, the facial feature information of the occupant is, for example, the contrast ratio of the elements of the occupant's face such as eyes, nose, mouth, and cheeks after normalizing the size of the face. Then, the detection unit 3 outputs the acquired coordinates of the face area and the feature information of the occupant's face to the search area setting unit 2 and the detection determination unit 4. Here, it is preferable that the detection unit 3 searches for the face of the occupant each time the image acquisition unit 1 acquires the captured image.
  • the detection determination unit 4 determines whether or not the detection unit 3 succeeds in face detection using the facial feature information of the occupant in the search area. For example, if the detection determination unit 4 determines from the contrast ratio in the face region detected by the detection unit 3 that the brightness distribution in the face region is like a face, the detection determination unit 3 determines that the face detection was successful, and the brightness distribution. If it is determined that the face does not look like a face, the detection unit 3 determines that the face detection has failed.
  • the detection determination unit 4 also said that the face detection failed when at least one of the width, height, and area of the face area detected by the detection unit 3 was equal to or less than a predetermined size or larger than or equal to a predetermined size. You may judge. In this case, the detection determination unit 4 may acquire the coordinates of the face region from the detection unit 3 and determine whether or not the detection unit 3 succeeds in face detection. Further, the detection determination unit 4 adds and records the number of times the detection unit 3 determines that the face detection has failed. Here, the detection determination unit 4 may determine whether or not the brightness distribution in the face region detected by the detection unit 3 looks like a face by referring to learning data stored in a recording unit (not shown). good.
  • the control device 300 is a device that controls a vehicle equipped with the face detection device 100.
  • the control device 300 uses the detection result of the face detection device 100 to adjust, for example, the positions and inclinations of the seats of the driver's seat 501 and the passenger's seat 502, control the acoustic device, control the switching of the driving mode of the vehicle, and the like. ..
  • the door is unlocked, the door is opened, the seat belt is attached, the ignition is turned on, the human sensor is turned on, the shift lever is moved to the drive position, and the vehicle speed exceeds 0 km / h.
  • the face detection device 100 outputs a signal to start the face detection operation.
  • the seatbelt is removed, the ignition is turned off, the motion sensor is turned off, the shift lever is moved to the parking position, the navigation device has finished guiding, or the own vehicle has returned to the home. If so, a signal is output to the face detection device 100 to the effect that the face detection operation is terminated.
  • FIG. 3 is a diagram showing a hardware configuration example of the face detection device according to the first embodiment.
  • the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5 of the face detection device 100 are processing circuits 100a which are dedicated hardware. It may be a processor 100b that executes a program stored in the memory 100c as shown in FIG. 3B.
  • the processing circuit 100a is, for example, It corresponds to a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination thereof.
  • the functions of the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5 may be realized by a processing circuit, or the functions of each unit may be combined into one processing circuit. It may be realized by.
  • the functions of each unit are software, firmware, and so on. Or it is realized by a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 100c.
  • the processor 100b realizes each function of the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5 by reading and executing the program stored in the memory 100c. That is, when the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5 are executed by the processor 100b, each step shown in FIG. 5 described later is executed as a result.
  • a memory 100c for storing a program to be executed is provided. Further, it can be said that these programs cause the computer to execute the procedures or methods of the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5.
  • the processor 100b is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic unit, a processor, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the memory 100c may be, for example, a non-volatile or volatile semiconductor memory such as RAM (RandomAccessMemory), ROM (ReadOnlyMemory), flash memory, EPROM (ErasableProgrammableROM), and EPROM (ElectricallyEPROM).
  • RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • flash memory EPROM (ErasableProgrammableROM), and EPROM (ElectricallyEPROM).
  • it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), or a DVD (Digital Versatile Disc).
  • the processing circuit 100a in the face detection device 100 can realize each of the above-mentioned functions by hardware, software, firmware, or a combination thereof. Further, at least a part of the functions of the image acquisition unit 1, the search area setting unit 2, the detection unit 3, the detection determination unit 4, and the output unit 5 may be executed by an external server.
  • FIG. 4 is an explanatory diagram schematically showing a search area according to the first embodiment.
  • the captured image is divided into an imaging region, a detection region, and a search region.
  • the imaging region, the detection region, the search region, and the face region are represented by regions A, B, C, and D, respectively.
  • the imaging region is the entire captured image acquired by the image acquisition unit 1.
  • the detection area is an area in which an occupant is normally considered to be present in the captured image.
  • the detection area may be set in advance in consideration of the range in which the face of the occupant who is the target of face detection moves.
  • the search area is an area set in the search area setting unit 2 provided in the imaging area.
  • the search area setting unit 2 starts the operation of the face detection device 100, that is, when the search for the face of the occupant is started, the search area setting unit 2 first sets a predetermined area such as the entire imaging area, the entire detection area, or a predetermined area. Set as a search area.
  • the search area defined when the search for the occupant's face is started is referred to as a search start area.
  • the search start area is not different from the search area and is included in the search area.
  • the search area setting unit 2 sets the search area so as to include at least a part of the face area based on the coordinates, the center, and the like of the occupant's face area.
  • the search area setting unit 2 sets a rectangle having a width Ws and a height Hs as a search area by using the coordinates of the face area.
  • the size of Ws is equal to or greater than the width Wf of the face region detected by the detection unit 3
  • the magnitude of Hs is equal to or greater than the height Hf of the face region detected by the detection unit 3.
  • Ws and Hs are about 1.2 to 1.5 times as much as Wf and Hf, respectively.
  • the search area may be set so as to include at least a part of the face area that the detection unit 3 has succeeded in detecting.
  • the search area setting unit 2 searches so that a part of the face area detected by the detection unit 3 goes out of the search area.
  • the area may be set. Further, it is preferable that the center of the search area coincides with the center of the face area that has been successfully detected. In this way, the range in which the occupant's face is likely to exist can be set as the search area. Further, the center of the search region may be deviated from the center of the face region as long as it does not interfere with face detection.
  • search area setting unit 2 searches for the set search area (search area in n frames) and fails in face detection, the search area setting unit 2 newly expands the previously set search area. It is set again as a search area (search area in n + 1 frame).
  • n is an integer greater than 0.
  • the search area setting unit 2 has a width Ws n + 1 so as to include at least a part of a search area having a width Ws n and a height Hs n set previously. , The area of height Hs n + 1 is set again as the search area, and the search area is expanded. That is, even if the search area setting unit 2 expands the search area so that the search area for newly setting the search area searched by the detection unit 3 is included, a part of the search area searched by the detection unit 3 is new.
  • the search area may be expanded so as to go out of the search area set to.
  • Ws n + 1 is larger than Ws n
  • Hs n + 1 is larger than Hs n.
  • Ws n + 1 and Hs n + 1 are Wf and Hf multiplied by a predetermined magnification, respectively.
  • Wf and Hf may be multiplied by a magnification larger than the magnification multiplied by the previous time, respectively.
  • Ws n + 1 and Hs n + 1 may be expanded by multiplying Ws n and Hs n by a predetermined magnification, respectively.
  • the search area may be expanded by using the coordinates of the search area set last time. Further, the search area may be expanded to a predetermined size by adding a constant to at least one of Ws n + 1 and Hs n + 1 after being expanded by a predetermined magnification.
  • the predetermined magnification is about 1.5 to 3 times. In this way, by expanding the search area using at least one of the previously detected size of the face area and the previously set size of the search area, it is possible to prevent the search area from being excessively expanded with respect to the face area. can.
  • the center of the newly set expanded search area coincides with the center of the face area detected last time.
  • the search area setting unit 2 can expand the search area at a position where the occupant's face is likely to exist.
  • the center of the newly set expanded search area may coincide with the center of the previously set search area.
  • the center of the newly set search area may deviate from the center of the face area successfully detected by the detection unit 3 or the center of the search area searched by the previous detection unit 3 as long as the center does not interfere with face detection. good.
  • the search area setting unit 2 newly sets the center of the face area that the detection unit 3 succeeded in detecting or the center of the search area searched by the previous detection unit 3. It is not necessary to match the center of the search area. In this way, it is possible to expand the search area while moving it.
  • the search area setting unit 2 may maintain or change the search area when the detection unit 3 fails to detect a face in the set search area.
  • the search area setting unit 2 does not expand the search area, and sets the search area searched by the detection unit 3 last time as the search area again.
  • the search area setting unit 2 changes, for example, the search area to a predetermined area defined as the search start area. Further, the search area may be changed to an area different from the predetermined area defined as the search start area.
  • the search area is set so that a part of the search area is included outside the detection area (the area indicated by the diagonal line in FIG. 4), and when the detection unit 3 detects a face outside the detection area, it is detected. It is preferable that the determination unit 4 determines that the detection unit 3 has failed in face detection. In this case, if the detection determination unit 4 detects at least a part of the occupant's face outside the detection area, it may be determined that the detection of the occupant's face has failed.
  • the detection area is set to a range that does not include the side window of the vehicle, it is possible to prevent the detection unit 3 from erroneously detecting the human face outside the vehicle, the face of the occupant reflected in the side window, etc., and the detection accuracy is improved. improves.
  • FIG. 5 is a flowchart showing an operation example of the face detection device 100 according to the first embodiment. Further, although the flowchart of FIG. 5 does not show the process of ending the operation of the face detection device 100, when the face detection device 100 receives a command from the control device 300 to end the operation of the face detection device, End the operation.
  • the search area setting unit 2 sets a predetermined area as the search start area in the captured image acquired by the image acquisition unit 1 (ST101).
  • the detection unit 3 searches for the occupant's face in the search start area (ST102).
  • the detection determination unit 4 determines that the detection unit 3 has failed in face detection (ST102; NO)
  • the detection unit 3 searches for the occupant's face again in the search start region. That is, the detection unit 3 repeats the search for the occupant's face until the face detection is successful in the search start region.
  • the search area setting unit 2 acquires the coordinates of the face region from the detection unit 3 (ST103). ).
  • the search area setting unit 2 sets the search area using the acquired coordinates of the face area (ST104).
  • the search area setting unit 2 sets the search area based on the face area so as to include, for example, at least a part of the face area detected by the detection unit 3.
  • the detection unit 3 continues the search for the occupant's face within the set search area (ST105).
  • the face detection device 100 repeats the above-mentioned processes of steps ST103 to ST105.
  • the search area setting unit 2 expands the search area (ST106).
  • the search area setting unit 2 sets the coordinates of the search area so as to include at least a part of the search area searched by the detection unit 3 last time, and expands the search area.
  • the search area is expanded so as to include all the search areas searched by the detection unit 3 in the process of step ST105.
  • the detection unit 3 searches for the occupant's face in the expanded search area (ST107).
  • the detection determination unit 4 determines that the detection unit 3 succeeds in face detection in the expanded search area (ST107; YES)
  • the process proceeds to step ST103, and the face detection device 100 proceeds to the above-mentioned steps ST103 to ST103.
  • the process of ST105 is repeated.
  • step ST107 when the detection determination unit 4 determines that the face detection has failed in the expanded search area (ST107; NO), the process proceeds to step ST108 described below.
  • the detection determination unit 4 adds and records the number of times it is determined that the face detection has failed in the search area (hereinafter, referred to as the first detection failure number) (ST108). Further, a threshold value (hereinafter, referred to as a first threshold value) is set in advance for the number of first detection failures.
  • the detection determination unit 4 determines whether or not the number of first detection failures is equal to or less than the first threshold value (ST109), and the detection determination unit 4 determines that the number of first detection failures exceeds the first threshold value (ST109).
  • ST109; NO a detection failure signal indicating that the number of first detection failures exceeds the first threshold value is output from the output unit 5 to the control device 300 (ST110).
  • the first threshold value is an integer greater than 0.
  • the first detection failure count is reset (ST111), and the search area setting unit 2 changes the search area to a predetermined area defined as the search start area. Then, the detection unit 3 searches for the occupant's face again in the search start area.
  • the search area setting unit 2 expands the search area until the face detection is successful, and the number of first detection failures is the first threshold value. The search area is repeatedly expanded until the value exceeds.
  • the number of first detection failures is also reset when the detection determination unit 4 determines that the detection unit 3 has succeeded in face detection.
  • the search area setting unit 2 uses the search area in which the previous face detection was successful as a reference.
  • the search area is expanded and the search area is expanded a predetermined number of times until the detection unit 3 succeeds in detecting the face.
  • the image acquisition unit 1 that acquires the captured image
  • the search area setting unit 2 that sets the search area for the captured image acquired by the image acquisition unit 1, and the search area are searched, and the face of the occupant is detected.
  • the detection unit 3 and the detection determination unit 4 for determining whether or not the detection unit 3 succeeded in detecting the occupant's face are provided, and the search area setting unit 2 determines that the occupant's face has failed to be detected.
  • the search area setting unit 2 determines that the occupant's face has failed to be detected.
  • the search area setting unit 2 determines that the occupant's face has failed to be detected.
  • the face area detected by the detection unit 3 may have a shape such as an oval.
  • the flatness, the length of the major axis and the minor axis, the center of the ellipse, and the like may be used as information related to the face region detected by the detection unit 3.
  • the search area setting unit 2 expands the search area by referring to at least one of the face area detected by the detection unit 3 and the search area searched by the detection unit 3 last time.
  • the search area may be expanded by going back several frames in the past and referring to at least one of the face area detected by the detection unit 3 and the search area searched by the detection unit 3.
  • the face area may be detected by the occupant's face elements such as eyes, nose, mouth, and cheeks.
  • the detection unit 3 may detect the face region based on the size of each element and the relative position of each element. In this way, when the orientation of the occupant's face changes, the search area setting unit 2 can set the search area corresponding to the orientation of the face.
  • an example of outputting a signal to the control device 300 when the face detection fails has been described, but even when the face detection is successful, the control device 300 indicates that the face detection is successful.
  • a signal, information related to the detected face region, or the like may be output.
  • the image pickup device 200 simultaneously captures images of the occupants 503 and 504 seated in the driver's seat 501 and the passenger seat 502, respectively.
  • the seated occupants 503 and 504 may be imaged, respectively.
  • an imaging device 200 for imaging the occupant 503 seated in the driver's seat 501 and an imaging device 200 for imaging the occupant 504 seated in the passenger seat 502 may be provided.
  • the face detection device 100 includes an image acquisition unit 1, a search area setting unit 2, a detection unit 3, and a detection determination unit 4, as in the first embodiment.
  • the processing operation of the face detection device 100 is different from that of the first embodiment in that the face is detected using the first region described later.
  • the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 6 is an explanatory diagram of the first region according to the second embodiment.
  • FIG. 6A is a view of the inside of the vehicle imaged by the image pickup device 200 from above
  • FIG. 6B is a view of the inside of the vehicle imaged by the image pickup device 200 from the side. It is shown in area E.
  • the first area is an area provided around, for example, the headrest 505, which is set based on the position of the driver's seat and the position of the image pickup device 200 for each vehicle type.
  • the first region is set in consideration of the adjustment width of the driver's seat 501 in the front-rear direction, the adjustment width of the inclination of the driver's seat 501, and the adjustment width of the headrest 505 of the driver's seat 501 in the vertical direction. .. Further, the first region may be set in consideration of the average seat position of the driver's seat 501, the average sitting height of the driver, or the range imaged when a general driver performs a normal driving operation. good.
  • the first region is preferably an region including all the headrests 505 of the driver's seat 501.
  • the first area may be set for each of the passenger seat 502 and the rear seat.
  • the average seat position of the occupants and the average sitting height of the occupants are taken into consideration in consideration of the adjustment width of each seat in the front-rear direction, the adjustment width of the inclination of each seat, and the adjustment width of the headrest 505 in the vertical direction.
  • the range in which a general occupant is normally imaged may be set as the first region.
  • FIG. 7 is a flowchart showing an operation example of the face detection device 100 according to the second embodiment.
  • the same steps as the processing of the face detection device 100 according to the first embodiment are designated by the same reference numerals as those shown in FIG. 5, and the description thereof will be omitted or simplified.
  • the flowchart of FIG. 7 does not show the process of ending the operation of the face detection device 100, when the face detection device 100 receives a command from the control device 300 to end the operation of the face detection device, End the operation.
  • the search area setting unit 2 sets the first area as the search start area in the captured image acquired by the image acquisition unit 1 (ST201). Then, the detection unit 3 searches for the occupant's face in the first region (ST202). When the detection determination unit 4 determines that the detection unit 3 has failed to detect the face in the first region (ST202; NO), the detection unit 3 searches for the occupant's face again in the first region. That is, the detection unit 3 searches the first region until the face detection is successful in the first region.
  • the search area setting unit 2 acquires the coordinates of the face region from the detection unit 3 (ST202; YES). ST103), the search area is set based on the coordinates of the face area (ST104), and the process proceeds to step ST105.
  • step ST105 If the face detection is successful in the search area in step ST105 (ST105; YES), the face detection device 100 repeats the above-mentioned processes of steps ST103 to ST104.
  • step ST105 when face detection fails in the search area in step ST105 (ST105; NO), the search area setting unit 2 expands the search area (ST106), and the detection unit 3 again expands the search area. , Search for the occupant's face (ST107).
  • step ST107 If the face detection is successful in step ST107 (ST107; YES), the process proceeds to step ST103, and the above-mentioned processes of steps ST103 to ST104 are repeated.
  • step ST107 If face detection fails in step ST107 (ST107; NO), the detection determination unit 4 adds and records the number of first detection failures (ST108). If it is determined in the process of step ST109 that the number of first detection failures is equal to or less than the first threshold value (ST109; YES), the process proceeds to step ST106. On the other hand, when it is determined that the number of first detection failures exceeds the first threshold value (ST109; NO), the process proceeds to step ST203 described below.
  • the detection determination unit 4 determines whether or not the number of first detection failures exceeds the second threshold value.
  • the second threshold value is an integer larger than the first threshold value.
  • the process proceeds to step ST107, and the search area after the expansion proceeds for a predetermined number of times for the occupant.
  • the detection unit 3 is the face of the occupant in the search area maintained without being expanded to the search area setting unit 2.
  • the detection determination unit 4 determines that the number of first detection failures exceeds the second threshold value (ST203; NO)
  • the detection determination unit 4 resets the number of first detection failures (ST204).
  • the search area setting unit 2 receives a signal from the detection determination unit 4 indicating that the first detection failure count has been reset, the search area setting unit 2 changes the search area to the first area (ST205).
  • the detection unit 3 searches for the occupant's face in the first region (ST206).
  • the detection determination unit 4 determines that the occupant's face has been successfully detected in the first region (ST206; YES)
  • the process proceeds to step ST103, and the search region setting unit 2 determines the face detected by the detection unit 3. Acquire the coordinates of the area and set the search area.
  • the detection determination unit 4 determines whether or not the number of second detection failures is equal to or less than a predetermined third threshold value (ST208).
  • the detection determination unit 4 determines that the number of second detection failures is equal to or less than the third threshold value (ST208; YES)
  • the process proceeds to step ST206, and the detection unit 3 searches for the occupant's face in the first region. do.
  • the third threshold value is an integer larger than 0.
  • the detection determination unit 4 determines that the number of second detection failures exceeds the third threshold value (ST208; NO), it outputs a detection failure signal indicating that the number of second detection failures exceeds the third threshold value. Output from unit 5 to the control device 300 (ST209).
  • the detection determination unit 4 After outputting the detection failure signal, the detection determination unit 4 resets the number of second detection failures (ST210), proceeds to the process of step ST201, and the search area setting unit 2 maintains the search area in the first area. Then, the detection unit 3 searches for the occupant's face again in the first region. Here, the first detection failure count and the second detection failure count are reset when the detection determination unit 4 determines that the face detection is successful, in addition to the processing of steps ST204 and ST210. NS.
  • the search area setting unit 2 expands the search area. Then, when the detection unit 3 fails to detect the face of the occupant a predetermined number of times, the search area setting unit 2 changes the search area to the first area. In this way, even if the detection of the occupant's face fails, the search area is expanded to detect the occupant's face again, and the search area is provided in the first area provided on the headrest of the seat where the occupant sits. By changing the above, the area where the face of the occupant to be detected is likely to exist can be searched again, so that the detection accuracy is improved.
  • the first region is used as the search start region
  • any of the entire imaging region, the entire detection region, and a predetermined region may be used as the search start region.
  • the search area setting unit 2 changes the search area to the first area when the detection determination unit 4 determines that the number of first detection failures exceeds the second threshold value.
  • the search area setting unit 2 may change the search area to the first area. In this case, the process of step ST203 may be omitted without providing the second threshold value.
  • FIG. 8 is a block diagram schematically showing the configuration of the face detection device 101 according to the third embodiment.
  • the face detection device 101 according to the present embodiment includes an image acquisition unit 1, a search area setting unit 2, a detection unit 3, and a detection determination unit 4.
  • the feature amount calculation unit 6, the movement amount calculation unit 7, and the authentication unit 8 are provided, and the authentication unit 8 authenticates the occupant detected by the detection unit 3.
  • the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the feature amount calculation unit 6 acquires the feature information of the occupant's face detected by the detection unit 3, calculates and records the feature amount of the occupant's face.
  • the feature amount is, for example, the size of each element such as eyes, nose, mouth, and cheek after normalizing the size of the face, the distance between the contour and each element, the distance between each element, and the like. It is a value peculiar to the occupant.
  • the feature amount calculation unit 6 calculates the amount of change in the feature amount of the occupant's face previously detected by the detection unit 3 and the newly detected feature amount of the occupant's face.
  • the amount of change in the feature amount is, for example, the difference between the previously detected feature amount of the occupant's face and the newly detected feature amount of the occupant's face, the rate of change, and the like.
  • the movement amount calculation unit 7 calculates the movement amount between the occupant's face previously detected by the detection unit 3 and the newly detected occupant's face.
  • the amount of movement is, for example, when the face area is rectangular, the amount of movement of the center of the rectangle, the center of each side of the rectangle, the apex of the rectangle, etc. Including the amount of change.
  • the authentication unit 8 authenticates the occupant by the detection unit 3 determining whether or not the occupant who succeeded in face detection last time and the occupant who newly succeeded in face detection match.
  • determining whether or not the previously detected occupant and the newly detected occupant match is referred to as face recognition.
  • Various known algorithms can be used for face recognition, and detailed description of these algorithms will be omitted.
  • the authentication unit 8 calculates, for example, the amount of change in the feature amount calculated by the feature amount calculation unit 6 and the movement amount calculated by the movement amount calculation unit 7 between the previously detected occupant's face and the newly detected occupant's face. , It is determined whether or not the face authentication is successful by comparing with the authentication threshold. Then, the authentication unit 8 outputs the determination result of whether or not the face authentication is successful to the search area setting unit 2.
  • the authentication threshold value is a threshold value used for face authentication set in advance after the operation of the face detection device 101 is started. Here, when the feature amount and the movement amount exceed the authentication threshold value, the authentication unit 8 determines that the face authentication has failed.
  • the authentication unit 8 adds and records the number of times it is determined that the face recognition has failed (hereinafter, referred to as the number of times the authentication has failed). Then, when the authentication unit 8 determines that the face authentication has failed, the search area setting unit 2 expands, maintains, or changes the search area.
  • the feature amount calculation unit 6 that calculates the feature amount of the occupant's face
  • the movement amount calculation unit 7 that calculates the movement amount of the occupant's face
  • the feature amount calculation unit 6 and the movement amount calculation unit 7 calculate each.
  • the authentication unit 8 that performs face authentication using the feature amount and the movement amount, it is possible to determine whether or not the occupants detected by the detection unit 3 match.
  • FIG. 9 is a flowchart showing an operation example of the face detection device 101 according to the third embodiment.
  • the same steps as the processing of the face detection device 100 according to the first embodiment are designated by the same reference numerals as those shown in FIG. 5, and the description thereof will be omitted or simplified.
  • the flowchart of FIG. 9 does not show the process of terminating the operation of the face detection device 101, the face detection device 101 operates when a command to end the face detection operation is received from the control device 300. To finish.
  • the detection unit 3 searches for the occupant's face until the occupant's face is successfully detected in the search start area.
  • the detection determination unit 4 determines that the detection unit 3 has succeeded in detecting the occupant's face (ST102; YES)
  • the feature amount calculation unit 6 acquires the feature information of the occupant's face detected by the detection unit 3. Then, the feature amount is calculated and recorded (ST301).
  • the search area setting unit 2 acquires the coordinates of the face area from the detection unit 3 (ST103) and sets the search area (ST104). Then, the detection unit 3 searches for the occupant's face in the set search area (ST105).
  • the detection unit 3 calculates the detected feature information of the occupant's face and the coordinates of the face area into the feature amount calculation unit 6. And output to the movement amount calculation unit 7, respectively. Further, the feature amount calculation unit 6 determines the feature amount of the occupant's face that has been successfully detected, and the movement amount calculation unit 7 determines the occupant's face area that was successfully detected last time and the occupant's face area that was newly detected. Calculate the amount of movement. Then, the feature amount calculation unit 6 and the movement amount calculation unit 7 output the feature amount and the movement amount to the authentication unit 8, respectively. Further, the authentication unit 8 performs face recognition using the feature amount, the movement amount, and the authentication threshold value (ST302).
  • the authentication unit 8 determines a determination result indicating that the face recognition is successful. Output to the search area setting unit 2. Then, the process proceeds to step ST103, the search area setting unit 2 sets the search area using the coordinates of the face area detected by the detection unit 3, and the detection unit 3 sets the search area in the set search area. Continue searching for the face.
  • step ST302 when the authentication unit 8 determines that the previously detected occupant and the newly detected occupant do not match, that is, when face recognition fails (ST302; NO), the process proceeds to step ST303 described below.
  • the number of times face recognition failed is recorded by the authentication unit 8.
  • the authentication unit 8 adds and records the number of authentication failures (ST303). Further, a threshold value (hereinafter, referred to as an authentication determination threshold value) is set in advance for the number of authentication failures.
  • the authentication unit 8 determines whether or not the number of authentication failures is equal to or less than the authentication determination threshold value (ST304), and when the authentication unit 8 determines that the number of authentication failures exceeds the authentication determination threshold value (ST304; NO), authentication is performed.
  • An authentication failure signal indicating that the number of failures has exceeded the authentication determination threshold is output from the output unit 5 to the control device 300 (ST308).
  • the authentication determination threshold value is an integer greater than 0.
  • the search area setting unit 2 changes the search area to a predetermined area defined as the search start area (ST101). Then, the detection unit 3 searches for the occupant's face again in the search start region (ST102).
  • the process proceeds to step ST105, and the detection unit 3 processes the step ST104 by the search area setting unit 2.
  • the search area maintained in is searched again from the search area set in.
  • step ST105 when the detection determination unit 4 determines that the detection unit 3 has failed in face detection (ST105; NO), the process proceeds to the process of step ST106.
  • the search area is expanded in step ST106, and the detection unit 3 searches for the occupant's face in the expanded face area (ST107). Then, when the face detection fails in the process of step ST107 (ST107; NO), the processes of steps ST108 to ST111 are performed, the search area is expanded, and the search for the occupant's face is repeated a predetermined number of times.
  • step ST107 if the face detection is successful in the process of step ST107 (ST107; YES), the authentication unit 8 performs face authentication of the occupant detected by the detection unit 3 (ST305) in the same manner as the process of step ST302.
  • step ST305 If the occupant's face authentication is successful (ST305; YES), the process proceeds to step ST103, and the search for the occupant's face is continued. When the face recognition of the occupant fails (ST305; NO), the number of authentication failures is added and recorded (ST306).
  • step ST106 steps ST106 to ST107, and steps ST305 are performed to expand the search area, search the search area, and detect. Repeat the face recognition of the occupant.
  • an authentication failure signal indicating that the number of authentication failures exceeds the authentication determination threshold value is output from the output unit 5 to the control device 300 (ST308).
  • the number of authentication failures is reset (STST309), and the search area setting unit 2 changes the search area to a predetermined area defined as the search start area (ST101). Then, the detection unit 3 searches for the occupant's face again in the search start region (ST102).
  • the number of first detection failures is reset not only when the process in step ST111 but also when the detection determination unit 4 determines that the face detection is successful.
  • the number of authentication failures is also reset when the authentication unit 8 determines that the face authentication is successful.
  • the authentication unit 8 determines whether or not the occupant detected from the feature amount and the movement amount of the occupant's face matches the occupant detected at the start of face detection. Then, when it is determined that the occupants detected by the authentication unit 8 do not match, the search area setting unit 2 either expands, maintains, or changes the search area. Further, when the face authentication of the occupant fails a predetermined number of times, the search area setting unit 2 changes the search area. In this way, when the detection of the occupant's face fails, the range for searching the occupant's face is expanded and the occupant's face is detected again, so that the detection accuracy is improved.
  • the search area is expanded, maintained, and changed. Since the occupant's face is searched again by performing either of the above, the detection accuracy of the occupant's face can be ensured.
  • search area is not expanded during the processes of steps ST304 and ST105, that is, when the faces of the occupants are detected and it is determined that the occupants do not match, has been described.
  • a process of expanding the search area may be performed between the processes of ST304 and ST105.
  • the amount of movement may be calculated based on the amount of change in the center, the minor axis, the major axis, and the like.
  • the authentication unit 8 performs face authentication using the feature amount and the movement amount
  • the face authentication may be performed using either the feature amount or the movement amount.
  • an authentication threshold value may be set for each of the feature amount and the movement amount, and the authentication unit 8 may compare either the feature amount or the movement amount with the authentication threshold value. Further, when the authentication threshold value is not provided for each of the feature amount and the movement amount, the feature amount and the movement amount may be normalized and compared with the authentication threshold value.
  • the face detection devices 100 and 101 in the present disclosure are used to detect an occupant other than the occupant 503, and a plurality of occupants are used. The same applies when detecting.
  • the above-mentioned plurality of occupants may be detected.
  • the search area setting unit 2 expands or maintains the search area based on the center of the search area previously searched when the detection of the occupant's face fails.
  • the search area may be expanded or maintained while moving the center of the search area. For example, when the center of the face area detected by the detection unit 3 in the past several frames is recorded in a recording unit (not shown) or the like to specify the direction in which the occupant's face has moved, and the detection unit 3 fails in face detection. If the search area setting unit 2 moves the center in the specified movement direction to expand or maintain the search area, the face of the occupant can be detected immediately.
  • the search area setting unit 2 has described an example in which the width and height of the search area previously searched by the detection unit 3 are expanded by a predetermined magnification.
  • the search area may be extended using at least one of width and height.
  • the search area may be expanded by using at least one of the width and height of the face area acquired from the detection unit 3.
  • at least one of the width and height of the search area searched last time may be expanded by a predetermined magnification.
  • the expansion magnification may be changed according to the number of times the detection unit 3 fails to detect the face of the occupant and the size of the face area acquired from the detection unit 3.
  • the search area setting unit 2 has described an example in which the search area is not expanded when the detection unit 3 fails to detect the face of the occupant in the search start area. Even if the detection of the occupant's face fails, the search area may be expanded. That is, even when the face detection devices 100 and 101 start face detection and the occupant's face cannot be detected even once, the search area setting unit 2 may expand the search area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

車両内部の乗員を撮像した画像を用いて乗員の顔を検出する顔検出装置において、検出対象の顔が探索領域外に移動した場合、乗員の顔の検出に失敗した探索領域を探索し続けるおそれがある。　顔検出装置に、車両に搭載され車両内部の乗員を撮像する撮像装置（２００）から乗員が撮像された撮像画像を取得する画像取得部（１）と、画像取得部（１）が取得した撮像画像に、乗員の顔が探索される探索領域を設定する探索領域設定部（２）と、探索領域を探索し、乗員の顔を検出する検出部（３）と、検出部（３）が乗員の顔の検出に成功したか否かを判定する検出判定部（４）と、を備え、探索領域設定部（２）は、検出判定部（４）により検出部（３）が乗員の顔の検出に失敗したと判定された場合、検出部（３）が探索した探索領域を拡張する。これにより、乗員の顔の検出に失敗した場合にも、探索領域を拡張して乗員の顔を検出するため、検出精度が向上する。

Description

顔検出装置
　本開示は、車両に搭載され、車両の乗員を検出する顔検出装置に関する。
　車両内部の乗員を撮像した画像を用いて乗員の顔を検出する顔検出装置として、乗員の顔を探索する領域（以下、探索領域という。）を画像内に設定して乗員の顔の検出に成功した位置を記録し、乗員の顔の検出に失敗した場合、乗員の顔の検出に成功した位置を優先的に再度探索することが開示されている（例えば、特許文献１参照。）。
特開２０１０－１２８９６１号公報
　しかしながら、乗員が動く等して、検出対象の顔が探索領域外に移動した場合、顔を検出することができず、乗員の顔の検出に失敗した探索領域を探索し続けるおそれがある。
　本開示は、上述の課題を解決するためになされたもので、乗員の顔が探索領域内で検出できない場合にも、探索領域を拡張して、乗員の顔を検出できる顔検出装置を提供することを目的とする。
　本開示に係る顔検出装置は、車両に搭載され車両内部の乗員を撮像する撮像装置から、乗員が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に、乗員の顔が探索される探索領域を設定する探索領域設定部と、探索領域を探索し、乗員の顔を検出する検出部と、検出部が乗員の顔の検出に成功したか否かを判定する検出判定部と、を備え、探索領域設定部は、検出判定部により検出部が乗員の顔の検出に失敗したと判定された場合、検出部が探索した探索領域を拡張するものである。
　本開示によれば、乗員の顔の検出に失敗した場合にも、探索領域を拡張して乗員の顔を検出するため、検出精度が向上する。
実施の形態１に係る顔検出装置の構成を概略的に示すブロック図である。 実施の形態１に係る撮像装置の撮像範囲を示す説明図である。 実施の形態１に係る顔検出装置のハードウェア構成例を示す図である。 実施の形態１に係る顔検出装置の探索領域を概略的に示す説明図である。 実施の形態１に係る顔検出装置の動作例を示すフローチャートである。 実施の形態２に係る第１領域の説明図である。 実施の形態２に係る顔検出装置の動作例を示すフローチャートである。 実施の形態３に係る顔検出装置の構成を概略的に示すブロック図である。 実施の形態３に係る顔検出装置の動作例を示すフローチャートである。
　以下、図面に基づいて実施の形態について説明する。
実施の形態１．
　図１は、実施の形態１に係る顔検出装置１００の構成を概略的に示すブロック図である。顔検出装置１００は、画像取得部１、探索領域設定部２、検出部３、及び検出判定部４を備える。顔検出装置１００は、撮像装置２００及び制御装置３００と接続され、撮像装置２００が撮像した画像（以下、撮像画像という。）における、乗員の顔の検出（以下、顔検出という。）に係る情報は、顔検出装置１００の出力部５から制御装置３００へ出力される。ここで、撮像装置２００及び制御装置３００の少なくともいずれかを顔検出装置１００に備えるようにしてもよい。
　図２は、実施の形態１に係る撮像装置２００の撮像範囲を示す説明図である。図２では、顔検出装置１００を搭載した車両の内部を上方から見ている。撮像装置２００は、例えば広角カメラ、赤外線カメラ等で構成される。撮像装置２００は、少なくとも運転席５０１及び助手席５０２にそれぞれ着座する乗員５０３、５０４を同時に撮像可能なように、一台又は複数台、インストルメントパネル、ステアリングコラム、ルームミラー等に配置される。ここで、撮像装置２００は、図示していない後部座席を撮像範囲に含んでいてもよい。以下、撮像装置２００の撮像対象となる乗員５０３、５０４をまとめて「乗員」ともいう。すなわち、乗員は運転者を含むものである。
　撮像装置２００は、例えば３０～６０ｆｐｓ（frames per second）の間隔で車両内部を撮像して、撮像画像を顔検出装置１００の画像取得部１へ出力する。図２の例において、撮像装置２００の撮像領域を領域Ａで示している。また、顔検出装置１００は、撮像装置２００から撮像画像を取得する度、つまり毎フレーム顔検出の処理を行うと好ましい。
　探索領域設定部２は、画像取得部１が取得した撮像画像において、次に説明する検出部３が乗員の顔を探索する探索領域を設定する。探索領域は、例えば撮像画像における座標に基づいて設定される。探索領域の設定については後述する。
　検出部３は、撮像画像の解析を行い、探索領域内において、乗員の顔を検出する。そして、検出部３は、乗員の顔が検出された領域（以下、顔領域という。）と、顔領域における乗員の顔の特徴情報とを取得する。検出部３は、乗員の顔を検出したら、撮像画像から、例えば乗員の顔の輪郭に接する矩形等の、乗員の顔を囲む顔領域に係る座標を取得する。ここで、顔領域に係る座標は、例えば、顔領域が矩形である場合、矩形の各頂点、中心等の座標である。検出部３は、顔領域の幅、高さ、及び面積等を、顔領域の座標から算出する。また、乗員の顔の特徴情報とは、例えば、顔の大きさを正規化した上での、目、鼻、口、頬等の、乗員の顔の要素のコントラスト比等である。そして検出部３は、取得した顔領域の座標及び乗員の顔の特徴情報を、探索領域設定部２及び検出判定部４に出力する。ここで、検出部３は、画像取得部１が撮像画像を取得する度に乗員の顔の探索を行うと好ましい。
　検出判定部４は、探索領域内において、乗員の顔の特徴情報を用いて検出部３が顔検出に成功したか否かを判定する。検出判定部４は、例えば、検出部３が検出した顔領域内のコントラスト比から、顔領域の輝度分布が顔らしいと判定すれば、検出部３が顔検出に成功したと判定し、輝度分布が顔らしくないと判定すれば、検出部３が顔検出に失敗したと判定する。
　また、検出判定部４は、検出部３が検出した顔領域の幅、高さ、及び面積の少なくともいずれかが所定の大きさ以下又は所定の大きさ以上である場合も顔検出に失敗したと判定してもよい。この場合、検出判定部４は、検出部３から顔領域の座標を取得して検出部３が顔検出に成功したか否かを判定すればよい。さらに、検出判定部４は、検出部３が顔検出に失敗したと判定した回数を加算して記録する。ここで、検出判定部４は、検出部３が検出した顔領域内の輝度分布が顔らしいか否かの判定を、図示していない記録部に保存された学習データを参照して行ってもよい。
　制御装置３００は、顔検出装置１００が搭載された車両を制御する装置である。制御装置３００は、顔検出装置１００の検出結果を用いて、例えば運転席５０１及び助手席５０２の座席シートの位置及び傾きの調整、音響装置の制御、車両の運転モードの切り替えの制御等を行う。
　また、制御装置３００は、例えば、ドアの開錠、ドアのオープン、シートベルトの装着、イグニッションのＯＮ、人感センサのＯＮ、シフトレバーがドライブの位置に移動、車両速度が０ｋｍ／ｈを超えた、ナビゲーション装置が案内を開始した、及び自車両が自宅を出発した等のいずれかを検知した場合、顔検出装置１００に顔検出の動作を開始させる旨の信号を出力する。一方、例えば、シートベルトの取り外し、イグニッションのＯＦＦ、人感センサのＯＦＦ、シフトレバーがパーキングの位置に移動、ナビゲーション装置が案内を終了した、及び自車両が自宅へ帰着した等のいずれかを検知した場合、顔検出装置１００に顔検出の動作を終了させる旨の信号を出力する。
　次に、顔検出装置１００のハードウェア構成例を説明する。図３は、実施の形態１に係る顔検出装置のハードウェア構成例を示す図である。顔検出装置１００の、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５は、図３（ａ）に示すように専用のハードウェアである処理回路１００ａであってもよいし、図３（ｂ）に示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
　図３（ａ）に示すように、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、又はこれらを組み合わせたものが該当する。画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図３（ｂ）に示すように、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５の各機能を実現する。すなわち、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５は、プロセッサ１００ｂにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５の手順又は方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital Signal Processor）等のことである。メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
　なお、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、顔検出装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、画像取得部１、探索領域設定部２、検出部３、検出判定部４、及び出力部５の少なくとも一部の機能を、外部サーバに実行させてもよい。
　次に、探索領域設定部２が設定する探索領域について説明する。図４は、実施の形態１に係る探索領域を概略的に示す説明図である。撮像画像は、撮像領域、検知領域、及び探索領域に区分される。図４の例において、撮像領域、検知領域、探索領域、及び顔領域は、それぞれ領域Ａ、領域Ｂ、領域Ｃ、及び領域Ｄで示されている。撮像領域は、画像取得部１が取得した撮像画像の全体である。また、検知領域は、撮像画像内において乗員が通常存在すると考えられる領域である。ここで、検知領域は、顔検出の対象となる乗員の顔が動く範囲を考慮して予め設定すればよい。
　探索領域は、撮像領域内に設けられた、探索領域設定部２に設定された領域である。探索領域設定部２は、顔検出装置１００の動作開始時、つまり乗員の顔の探索を開始する場合は、例えば撮像領域全体、検知領域全体、予め定めた領域等、所定の領域を、初めに探索領域として設定する。以下、説明のため、乗員の顔の探索を開始する場合に定めた探索領域を、探索開始領域という。探索開始領域は、探索領域と異なるものではなく、探索領域に含まれる。また、検出部３が顔検出に成功した場合、探索領域設定部２は、乗員の顔領域の座標、中心等に基づき、顔領域の少なくとも一部を含むように探索領域を設定する。
　探索領域の設定について説明する。探索領域設定部２は、例えば、検出部３が検出した顔領域が矩形である場合、顔領域の座標を用いて、幅Ｗｓ、高さＨｓの矩形を探索領域として設定する。ここで、Ｗｓの大きさは、検出部３が検出した顔領域の幅Ｗｆ以上であり、Ｈｓの大きさは、検出部３が検出した顔領域の高さＨｆ以上である。例えば、Ｗｓ及びＨｓは、それぞれＷｆ及びＨｆの１．２～１．５倍程度である。探索領域は、検出部３が検出に成功した顔領域の少なくとも一部を含むように設定すればよい。つまり、探索領域設定部２は、検出部３が検出した顔領域を全て含むように探索領域を設定しても、検出部３が検出した顔領域の一部が探索領域外に出るように探索領域を設定してもよい。また、探索領域の中心は、検出に成功した顔領域の中心と一致させると好ましい。このようにすると、乗員の顔が存在する可能性が高い範囲を探索領域として設定できる。また、探索領域の中心は、顔検出を阻害しない範囲であれば、顔領域の中心からずれてもよい。
　さらに、探索領域設定部２は、検出部３が、設定された探索領域（ｎフレームにおける探索領域）を探索して顔検出に失敗した場合、前回設定された探索領域を拡張した領域を新たな探索領域（ｎ＋１フレームにおける探索領域）として再度設定する。ここで、ｎは０より大きい整数である。
　探索領域の拡張について説明する。検出部３が、設定された探索領域で顔検出に失敗した場合、探索領域設定部２は、前回設定した幅Ｗｓｎ、高さＨｓｎの探索領域の少なくとも一部を含むように幅Ｗｓｎ＋１、高さＨｓｎ＋１の領域を探索領域として再度設定し、探索領域を拡張する。つまり、探索領域設定部２は、検出部３が探索した探索領域を新たに設定する探索領域が全て含むように探索領域を拡張しても、検出部３が探索した探索領域の一部が新たに設定する探索領域外に出るように探索領域を拡張してもよい。ここで、Ｗｓｎ＋１はＷｓｎよりも大きく、Ｈｓｎ＋１はＨｓｎよりも大きい。
　例えば、Ｗｓｎ＋１及びＨｓｎ＋１は、Ｗｆ及びＨｆにそれぞれ所定の倍率を乗じたものである。探索領域の拡張を繰り返す場合は、前回乗じた倍率よりも大きい倍率を、Ｗｆ及びＨｆにそれぞれ乗じればよい。また、Ｗｓｎ＋１及びＨｓｎ＋１は、それぞれＷｓｎ及びＨｓｎに所定の倍率を乗じて拡張したものであってもよい。この場合、前回設定した探索領域の座標を用いて探索領域を拡張すればよい。さらに、探索領域は、所定の倍率で拡張した後に、Ｗｓｎ＋１及びＨｓｎ＋１の少なくともいずれかに定数を足す等して所定の寸法、拡張してもよい。ここで、所定の倍率は、１．５～３倍程度である。このように、前回検出した顔領域の寸法及び前回設定した探索領域の寸法の少なくともいずれかを用いて探索領域を拡張することで、顔領域に対して探索領域が過剰に拡張されることを抑制できる。
　新たに設定する拡張された探索領域の中心は、前回検出した顔領域の中心と一致させると好ましい。このようにすると、探索領域設定部２により、乗員の顔が存在する可能性の高い位置で探索領域を拡張することができる。ここで、新たに設定する拡張された探索領域の中心は、前回設定した探索領域の中心と一致させてもよい。また、新たに設定する探索領域の中心は、顔検出を阻害しない範囲であれば、検出部３が検出に成功した顔領域の中心又は前回検出部３が探索した探索領域の中心からずれてもよい。
　また、乗員の顔の検出に失敗した場合に、探索領域設定部２は、検出部３が検出に成功した顔領域の中心又は前回検出部３が探索した探索領域の中心と、新たに設定する探索領域の中心とを一致させなくてもよい。このようにすると、探索領域を移動させながら拡張することが可能となる。
　さらに、探索領域設定部２は、検出部３が、設定された探索領域で顔検出に失敗した場合、探索領域を維持又は変更してもよい。探索領域を維持する場合、探索領域設定部２は、探索領域を拡張せず、前回、検出部３が探索した探索領域を再度探索領域として設定する。また、探索領域を変更する場合、探索領域設定部２は、例えば、探索領域を探索開始領域として定められた所定の領域に変更する。また、探索領域は、探索開始領域として定められた所定の領域とは別の領域に変更してもよい。
　ここで、探索領域の一部が検知領域の外（図４中に斜線で示す領域）に含まれるように探索領域を設定し、検出部３が検知領域の外で顔検出をした場合、検出判定部４は検出部３が顔検出に失敗したと判定すると好ましい。この場合、検出判定部４により、検出部３が検知領域の外で乗員の顔の少なくとも一部を検出した場合、乗員の顔の検出に失敗したと判定させればよい。例えば検知領域を車両のサイドウィンドウを含まない範囲に設定すれば、検出部３が車両外部の人間の顔、サイドウィンドウに映り込んだ乗員の顔等を誤検出することを抑制でき、検出精度が向上する。
　以下、顔検出装置１００の動作について説明する。図５は、実施の形態１に係る顔検出装置１００の動作例を示すフローチャートである。また、図５のフローチャートには、顔検出装置１００の動作を終了する処理が示されていないが、顔検出装置１００は、制御装置３００から、顔検出の動作を終了する旨の指令を受信したら動作を終了する。
　まず、探索領域設定部２は、画像取得部１が取得した撮像画像において、所定の領域を探索開始領域として設定する（ＳＴ１０１）。
　次に、検出部３は、探索開始領域内において、乗員の顔の探索を行う（ＳＴ１０２）。ここで、検出判定部４により、検出部３が顔検出に失敗したと判定された場合（ＳＴ１０２；ＮＯ）、検出部３は再度、探索開始領域において乗員の顔を探索する。つまり、検出部３は、探索開始領域において顔検出に成功するまで乗員の顔の探索を繰り返す。
　検出判定部４により、検出部３が探索開始領域において顔検出に成功したと判定された場合（ＳＴ１０２；ＹＥＳ）、探索領域設定部２は、検出部３から顔領域の座標を取得する（ＳＴ１０３）。
　そして、探索領域設定部２は、取得した顔領域の座標を用いて、探索領域の設定を行う（ＳＴ１０４）。探索領域設定部２は、例えば、検出部３が検出した顔領域の少なくとも一部を含むように、顔領域に基づいて探索領域を設定する。
　検出部３は、設定された探索領域内で、乗員の顔の探索を継続する（ＳＴ１０５）。探索領域内で顔検出に成功した場合（ＳＴ１０５；ＹＥＳ）、顔検出装置１００は、前述のステップＳＴ１０３～ＳＴ１０５の処理を繰り返す。
　一方、検出判定部４により、検出部３が探索領域内で顔検出に失敗したと判定された場合（ＳＴ１０５；ＮＯ）、探索領域設定部２は、探索領域の拡張を行う（ＳＴ１０６）。探索領域設定部２は、前回、検出部３が探索した探索領域の少なくとも一部を含むように探索領域の座標を設定し、探索領域の拡張を行う。ここで、探索領域は、ステップＳＴ１０５の処理で検出部３が探索した探索領域を全て含むように拡張されると好ましい。
　そして、検出部３は、拡張された探索領域において、乗員の顔を探索する（ＳＴ１０７）。検出判定部４により、検出部３が拡張された探索領域において顔検出に成功したと判定された場合（ＳＴ１０７；ＹＥＳ）、ステップＳＴ１０３の処理に進み、顔検出装置１００は、前述のステップＳＴ１０３～ＳＴ１０５の処理を繰り返す。
　一方、検出判定部４により、検出部３が拡張された探索領域において顔検出に失敗したと判定された場合（ＳＴ１０７；ＮＯ）、次に説明するステップＳＴ１０８の処理に進む。
　検出部３が顔検出に失敗した回数は、検出判定部４により記録される。検出判定部４は、探索領域において顔検出を失敗したと判定した回数（以下、第１検出失敗回数という。）を加算して記録する（ＳＴ１０８）。さらに、第１検出失敗回数には、予め閾値（以下、第１閾値という。）が設けられる。
　検出判定部４により、第１検出失敗回数が第１閾値以下であるか否か判定され（ＳＴ１０９）、検出判定部４により、第１検出失敗回数が第１閾値を超えたと判定された場合（ＳＴ１０９；ＮＯ）、第１検出失敗回数が第１閾値を超えた旨を示す検出失敗信号が出力部５から制御装置３００に出力される（ＳＴ１１０）。ここで、第１閾値は、０より大きい整数である。
　検出判定部４が検出失敗信号を出力した後、第１検出失敗回数はリセットされ（ＳＴ１１１）、探索領域設定部２は、探索領域を探索開始領域として定められた所定の領域に変更する。そして、検出部３は再度、探索開始領域内において、乗員の顔を探索する。一方、第１検出失敗回数が第１閾値以下である場合（ＳＴ１０９；ＹＥＳ）、探索領域設定部２は、顔検出に成功するまで探索領域の拡張を行い、第１検出失敗回数が第１閾値を超えるまで、探索領域の拡張を繰り返す。ここで、第１検出失敗回数は、ステップＳＴ１１１の処理の他に、検出判定部４により、検出部３が顔検出に成功したと判定された場合にもリセットされる。
　すなわち、検出判定部４により、検出部３が設定された探索領域内で顔検出に失敗したと判定されたら、探索領域設定部２は、前回顔検出に成功した探索領域を基準として探索領域を拡張し、検出部３が顔検出に成功するまで、探索領域の拡張を所定の回数繰り返す。
　このように、撮像画像を取得する画像取得部１と、画像取得部１が取得した撮像画像に、探索領域を設定する探索領域設定部２と、探索領域を探索し、乗員の顔を検出する検出部３と、検出部３が乗員の顔の検出に成功したか否かを判定する検出判定部４と、を備え、探索領域設定部２は、乗員の顔の検出に失敗したと判定された場合、検出部３が探索した探索領域を拡張することで、乗員の顔の検出に失敗した場合においても、乗員の顔を探索する範囲を拡張して、再度乗員の顔を検出するため検出精度が向上する。さらに、撮像範囲が広角な場合は、探索領域外へ乗員の顔が移動しても、探索領域を拡張して再度乗員の顔を探索するため、撮像領域全体を探索する場合と比較して、処理負荷が軽減する。
　なお、実施の形態１において、検出部３が検出する顔領域を矩形とする例について説明したが、検出部３が検出する顔領域は長円等の形状としてもよい。この場合、例えば、扁平率、長軸、短軸の長さ、及び長円の中心等を検出部３が検出する顔領域に係る情報とすればよい。
　また、実施の形態１において、探索領域設定部２が、前回、検出部３が検出した顔領域及び検出部３が探索した探索領域の少なくともいずれかを参照して探索領域を拡張する例について説明したが、過去数フレームをさかのぼって、検出部３が検出した顔領域及び検出部３が探索した探索領域の少なくともいずれかを参照して探索領域を拡張してもよい。
　また、実施の形態１において、顔領域を乗員の顔の輪郭によって検出する例について説明したが、顔領域を目、鼻、口、頬等の乗員の顔の要素によって検出してもよい。この場合、検出部３は、各要素の大きさ、各要素の相対的な位置により顔領域を検出すればよい。このようにすると、乗員の顔の向きが変化した場合、探索領域設定部２は顔の向きに対応させて探索領域を設定することができる。
　また、実施の形態１において、顔検出に失敗した場合に制御装置３００に信号を出力する例について説明したが、顔検出に成功した場合にも制御装置３００に、顔検出に成功した旨を示す信号、検出した顔領域に係る情報等を出力するようにしてもよい。
　また、実施の形態１において、撮像装置２００により運転席５０１及び助手席５０２にそれぞれ着座する乗員５０３、５０４を同時に撮像する例について説明したが、撮像装置２００により、運転席５０１及び助手席５０２に着座する乗員５０３、５０４をそれぞれ撮像してもよい。この場合、運転席５０１に着座する乗員５０３を撮像する撮像装置２００及び助手席５０２に着座する乗員５０４を撮像する撮像装置２００をそれぞれ設ければよい。
実施の形態２．
　実施の形態２に係る顔検出装置１００は、実施の形態１と同様に、画像取得部１、探索領域設定部２、検出部３、及び検出判定部４を備える。本実施の形態では、実施の形態１と後述する第１領域を用いて顔検出をする点について、顔検出装置１００の処理動作が異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。
　図６は、実施の形態２に係る第１領域の説明図である。図６（ａ）は撮像装置２００に撮像される車両内部を上方から、図６（ｂ）は撮像装置２００に撮像される車両内部を側方から見た図であり、後述する第１領域を領域Ｅで示している。
　第１領域は、車種毎の運転座席の位置及び撮像装置２００の位置に基づいて設定される、例えばヘッドレスト５０５の周囲に設けられた領域である。第１領域は、運転席５０１の座席の前後方向への調整幅、運転席５０１の座席の傾きの調整幅、及び運転席５０１のヘッドレスト５０５の上下方向への調整幅を考慮して設定される。また、第１領域は、運転席５０１の平均的な座席位置、運転者の平均的な座高又は一般の運転者が通常の運転動作を行う際に撮像される範囲を考慮して設定してもよい。ここで、第１領域は、運転席５０１のヘッドレスト５０５を全て含む領域であると好ましい。
　また、助手席５０２及び後部座席の各座席のそれぞれに第１領域を設定してもよい。この場合、各座席の前後方向への調整幅、各座席の傾きの調整幅、及びヘッドレスト５０５の上下方向への調整幅を考慮して、乗員の平均的な座席位置、乗員の平均的な座高又は一般の乗員が通常撮像される範囲を第１領域として設定すればよい。
　以下、顔検出装置１００の動作について説明する。図７は、実施の形態２に係る顔検出装置１００の動作例を示すフローチャートである。ここで、以下では実施の形態１に係る顔検出装置１００の処理と同一のステップには、図５で示した符号と同一の符号を付し、説明を省略又は簡略化する。また、図７のフローチャートには、顔検出装置１００の動作を終了する処理が示されていないが、顔検出装置１００は、制御装置３００から、顔検出の動作を終了する旨の指令を受信したら動作を終了する。
　まず、探索領域設定部２は、画像取得部１が取得した撮像画像内において、第１領域を探索開始領域として設定する（ＳＴ２０１）。そして、検出部３は、第１領域内で乗員の顔を探索する（ＳＴ２０２）。検出判定部４により、検出部３が第１領域において顔検出に失敗したと判定された場合（ＳＴ２０２；ＮＯ）、検出部３は、再度、第１領域において乗員の顔を探索する。つまり、検出部３は、第１領域において顔検出に成功するまで第１領域を探索する。
　検出判定部４により、検出部３が第１領域において顔検出に成功したと判定された場合（ＳＴ２０２；ＹＥＳ）、探索領域設定部２は、検出部３から顔領域の座標を取得して（ＳＴ１０３）、顔領域の座標に基づいて探索領域を設定し（ＳＴ１０４）、ステップＳＴ１０５の処理に進む。
　ステップＳＴ１０５で、探索領域において顔検出に成功した場合（ＳＴ１０５；ＹＥＳ）、顔検出装置１００は、前述のステップＳＴ１０３～ＳＴ１０４の処理を繰り返す。一方、ステップＳＴ１０５で、探索領域において顔検出に失敗した場合（ＳＴ１０５；ＮＯ）、探索領域設定部２は、探索領域の拡張を行い（ＳＴ１０６）、検出部３は、拡張された探索領域において再度、乗員の顔を探索する（ＳＴ１０７）。
　ステップＳＴ１０７で、顔検出に成功した場合（ＳＴ１０７；ＹＥＳ）、ステップＳＴ１０３の処理に進み、前述のステップＳＴ１０３～ＳＴ１０４の処理を繰り返す。
　また、ステップＳＴ１０７で、顔検出に失敗した場合（ＳＴ１０７；ＮＯ）、検出判定部４は、第１検出失敗回数を加算して記録する（ＳＴ１０８）。ステップＳＴ１０９の処理で、第１検出失敗回数が第１閾値以下であると判定された場合（ＳＴ１０９；ＹＥＳ）、ステップＳＴ１０６の処理に進む。一方、第１検出失敗回数が第１閾値を超えたと判定された場合（ＳＴ１０９；ＮＯ）、次に説明するステップＳＴ２０３の処理に進む。
　ステップＳＴ１０９で、第１検出失敗回数が第１閾値を超えたと判定された場合（ＳＴ１０９；ＮＯ）、検出判定部４は、第１検出失敗回数が、第２閾値を超えたか否かを判定する（ＳＴ２０３）。ここで第２閾値は、第１閾値よりも大きい整数である。
　検出判定部４により、第１検出失敗回数が第２閾値以下であると判定された場合（ＳＴ２０３；ＹＥＳ）、ステップＳＴ１０７の処理に進み、拡張された後の探索領域で所定の回数、乗員の顔を探索する。つまり、検出判定部４により、第１検出失敗回数が第２閾値以下であると判定された場合、検出部３は、探索領域設定部２に拡張されずに維持された探索領域で乗員の顔を探索する。
　一方、検出判定部４により、第１検出失敗回数が第２閾値を超えたと判定された場合（ＳＴ２０３；ＮＯ）、検出判定部４は、第１検出失敗回数をリセットする（ＳＴ２０４）。そして、探索領域設定部２は、検出判定部４から第１検出失敗回数がリセットされた旨を示す信号を受信したら、探索領域を第１領域に変更する（ＳＴ２０５）。
　次に、検出部３は、第１領域で乗員の顔を探索する（ＳＴ２０６）。検出判定部４により、第１領域で乗員の顔の検出に成功したと判定された場合（ＳＴ２０６；ＹＥＳ）、ステップＳＴ１０３の処理に進み、探索領域設定部２は、検出部３が検出した顔領域の座標を取得して探索領域を設定する。
　検出判定部４により、第１領域で顔の検出に失敗したと判定された場合（ＳＴ２０６；ＮＯ）、検出判定部４は、乗員の顔の検出を失敗した回数を加算して（ＳＴ２０７）、第２検出失敗回数として記録する。そして、検出判定部４は、第２検出失敗回数が予め定められた第３閾値以下であるか否かを判定する（ＳＴ２０８）。検出判定部４により、第２検出失敗回数が第３閾値以下であると判定された場合（ＳＴ２０８；ＹＥＳ）、ステップＳＴ２０６の処理に進み、検出部３は、第１領域で乗員の顔を探索する。ここで、第３閾値は、０より大きい整数である。
　一方、検出判定部４により、第２検出失敗回数が第３閾値を超えたと判定された場合（ＳＴ２０８；ＮＯ）、第２検出失敗回数が第３閾値を超えた旨を示す検出失敗信号を出力部５から制御装置３００に出力する（ＳＴ２０９）。
　検出失敗信号を出力した後、検出判定部４は、第２検出失敗回数をリセットし（ＳＴ２１０）、ステップＳＴ２０１の処理に進み、探索領域設定部２は、探索領域を第１領域に維持する。そして、検出部３は再度、第１領域で、乗員の顔を探索する。ここで、第１検出失敗回数及び第２検出失敗回数は、ステップＳＴ２０４、ＳＴ２１０の処理の他に、検出判定部４により、検出部３が顔検出に成功したと判定された場合にもリセットされる。
　すなわち、検出判定部４により、検出部３が乗員の顔の検出に失敗したと判定された場合、探索領域設定部２は、探索領域を拡張する。そして、検出部３が所定の回数、乗員の顔の検出に失敗した場合、探索領域設定部２は、探索領域を第１領域に変更する。このようにすると、乗員の顔の検出に失敗した場合においても、探索領域を拡張して、再度乗員の顔を検出するとともに、乗員が着座する座席のヘッドレストに設けられた第１領域に探索領域を変更することで、検出対象の乗員の顔が存在する可能性の高い領域を再度探索することができるため、検出精度が向上する。
　また、本実施の形態において、第１領域を探索開始領域とする例について説明したが、撮像領域全体、検知領域全体、及び予め定めた領域のいずれかを探索開始領域としてもよい。
　また、本実施の形態において、検出判定部４により、第１検出失敗回数が第２閾値を超えたと判定された場合に、探索領域設定部２が探索領域を第１領域に変更する例について説明したが、検出判定部４により、第１検出失敗回数が第１閾値を超えたと判定された場合に、探索領域設定部２が探索領域を第１領域に変更してもよい。この場合、第２閾値を設けず、ステップＳＴ２０３の処理を省略すればよい。
実施の形態３．
　図８は、実施の形態３に係る顔検出装置１０１の構成を概略的に示すブロック図である。本実施の形態に係る顔検出装置１０１は、実施の形態１と同様に、画像取得部１、探索領域設定部２、検出部３、及び検出判定部４を備える。本実施の形態では、特徴量算出部６、移動量算出部７、及び認証部８を備え、認証部８により、検出部３が検出した乗員の認証を行うことが実施の形態１と異なり、実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。
　特徴量算出部６は、検出部３が検出した乗員の顔の特徴情報を取得して、乗員の顔の特徴量を算出して記録する。特徴量とは、例えば、顔の大きさを正規化した上での目、鼻、口、頬等の各要素の大きさ、輪郭と各要素との間の距離、及び各要素間の距離等であり、乗員特有の値である。また、特徴量算出部６は、検出部３が前回検出した乗員の顔の特徴量と、新たに検出した乗員の顔の特徴量の変化量を算出する。ここで、特徴量の変化量とは例えば、前回検出した乗員の顔の特徴量と、新たに検出した乗員の顔の特徴量との差分、変化率等である。
　移動量算出部７は、検出部３が前回検出した乗員の顔と、新たに検出した乗員の顔との移動量を算出する。移動量は、例えば、顔領域が矩形である場合、矩形の中心、矩形の各辺の中心、及び矩形の頂点等の移動量であり、顔領域の大小の変化に伴った顔領域の面積の変化量も含む。
　認証部８は、検出部３が、前回顔検出に成功した乗員と、新たに顔検出に成功した乗員とが一致するか否かを判定して、乗員の認証を行う。以下、前回検出した乗員と新たに検出した乗員とが一致するか否かを判定することを、顔認証という。顔認証は、公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
　認証部８は、例えば、前回検出した乗員の顔と新たに検出した乗員の顔との間において特徴量算出部６が算出した特徴量の変化量及び移動量算出部７が算出した移動量を、認証閾値と比較して顔認証に成功したか否かを判定する。そして、認証部８は顔認証に成功したか否かの判定結果を探索領域設定部２に出力する。認証閾値は、顔検出装置１０１の動作が開始された後、又は予め設定された顔認証に用いる閾値である。ここで、認証部８は、特徴量及び移動量が認証閾値を超えた場合、顔認証に失敗したと判定する。さらに、認証部８は、顔認証に失敗したと判定した回数（以下、認証失敗回数という。）を加算して記録する。そして、探索領域設定部２は、認証部８により顔認証に失敗したと判定されたら、探索領域の拡張、維持、及び変更のいずれかを行う。
　このように、乗員の顔の特徴量を算出する特徴量算出部６と、乗員の顔の移動量を算出する移動量算出部７と、特徴量算出部６及び移動量算出部７がそれぞれ算出した特徴量及び移動量を用いて顔認証を行う認証部８とを備えたことで、検出部３が検出した乗員が一致するか否かを判定することができる。
　以下、顔検出装置１０１の動作について説明する。図９は、実施の形態３に係る顔検出装置１０１の動作例を示すフローチャートである。ここで、以下では実施の形態１に係る顔検出装置１００の処理と同一のステップには、図５で示した符号と同一の符号を付し、説明を省略又は簡略化する。また、図９のフローチャートには、顔検出装置１０１の動作を終了する処理が示されていないが、顔検出装置１０１は、制御装置３００から、顔検出動作を終了する旨の指令を受信したら動作を終了する。
　まず、ステップＳＴ１０１～ＳＴ１０２の処理で、検出部３は、探索開始領域で乗員の顔の検出に成功するまで、乗員の顔の探索を行う。検出判定部４により、検出部３が乗員の顔の検出に成功したと判定された場合（ＳＴ１０２；ＹＥＳ）、特徴量算出部６は、検出部３が検出した乗員の顔の特徴情報を取得し、特徴量を算出して記録する（ＳＴ３０１）。
　また、探索領域設定部２は、検出部３から顔領域の座標を取得し（ＳＴ１０３）、探索領域を設定する（ＳＴ１０４）。そして、検出部３は設定された探索領域で乗員の顔を探索する（ＳＴ１０５）。
　検出判定部４が、検出部３が顔検出に成功したと判定した場合（ＳＴ１０５；ＹＥＳ）、検出部３は、検出した乗員の顔の特徴情報及び顔領域の座標を、特徴量算出部６及び移動量算出部７にそれぞれ出力する。さらに、特徴量算出部６は、検出に成功した乗員の顔の特徴量を、移動量算出部７は、前回検出に成功した乗員の顔領域と新たに検出に成功した乗員の顔領域との移動量を算出する。そして、特徴量算出部６及び移動量算出部７は、それぞれ特徴量と移動量とを認証部８に出力する。さらに、認証部８は、特徴量、移動量、及び認証閾値を用いて、顔認証を行う（ＳＴ３０２）。
　認証部８により前回検出した乗員と新たに検出した乗員が一致すると判定された、つまり顔認証に成功した場合（ＳＴ３０２；ＹＥＳ）、認証部８は、顔認証に成功した旨を示す判定結果を探索領域設定部２に出力する。そして、ステップＳＴ１０３の処理に進み、探索領域設定部２は、検出部３が検出した顔領域の座標を用いて、探索領域の設定を行い、検出部３は、設定された探索領域で乗員の顔の探索を継続する。
　一方、認証部８により前回検出した乗員と新たに検出した乗員が一致しないと判定された、つまり顔認証に失敗した場合（ＳＴ３０２；ＮＯ）、次に説明するステップＳＴ３０３の処理に進む。
　顔認証に失敗した回数は、認証部８により記録される。認証部８は、認証失敗回数を加算して記録する（ＳＴ３０３）。さらに、認証失敗回数には、予め閾値（以下、認証判定閾値という。）が設けられる。
　認証部８により、認証失敗回数が認証判定閾値以下であるか否か判定され（ＳＴ３０４）、認証部８により、認証失敗回数が認証判定閾値を超えたと判定された場合（ＳＴ３０４；ＮＯ）、認証失敗回数が認証判定閾値を超えた旨を示す認証失敗信号が出力部５から制御装置３００に出力される（ＳＴ３０８）。ここで、認証判定閾値は、０より大きい整数である。
　認証失敗信号を出力した後、認証失敗回数はリセットされ（ＳＴＳＴ３０９）、探索領域設定部２は、探索領域を探索開始領域として定められた所定の領域に変更する（ＳＴ１０１）。そして、検出部３は再度、探索開始領域内において、乗員の顔を探索する（ＳＴ１０２）。
　一方、認証部８により、認証失敗回数が認証判定閾値以下であると判定された場合（ＳＴ３０４；ＹＥＳ）、ステップＳＴ１０５の処理に進み、検出部３は、探索領域設定部２によりステップＳＴ１０４の処理で設定された探索領域から維持された探索領域を再度探索する。
　また、ステップＳＴ１０５の処理で、検出判定部４が、検出部３が顔検出に失敗したと判定した場合（ＳＴ１０５；ＮＯ）、ステップＳＴ１０６の処理に進む。
　ステップＳＴ１０６で探索領域の拡張が行われ、検出部３は、拡張された顔領域で乗員の顔の探索を行う（ＳＴ１０７）。そして、ステップＳＴ１０７の処理で、顔検出に失敗した場合（ＳＴ１０７；ＮＯ）、ステップＳＴ１０８～ＳＴ１１１の処理を行い、探索領域の拡張と、乗員の顔の探索を所定の回数繰り返す。
　一方、ステップＳＴ１０７の処理で、顔検出に成功した場合（ＳＴ１０７；ＹＥＳ）、ステップＳＴ３０２の処理と同様に、認証部８は検出部３が検出した乗員の顔認証を行う（ＳＴ３０５）。
　乗員の顔認証に成功した場合（ＳＴ３０５；ＹＥＳ）、ステップＳＴ１０３の処理に進み、乗員の顔の探索を継続する。乗員の顔認証に失敗した場合（ＳＴ３０５；ＮＯ）、認証失敗回数を加算して記録する（ＳＴ３０６）。
　そして、認証失敗回数が認証判定閾値以下である場合（ＳＴ３０７；ＹＥＳ）、ステップＳＴ１０６の処理に進み、ステップＳＴ１０６～ＳＴ１０７、及びステップＳＴ３０５の処理を行い、探索領域の拡張、探索領域の探索、検出された乗員の顔認証を繰り返す。認証失敗回数が認証判定閾値を超えた場合（ＳＴ３０７；ＮＯ）、認証失敗回数が認証判定閾値を超えた旨を示す認証失敗信号が出力部５から制御装置３００に出力される（ＳＴ３０８）。
　認証失敗信号を出力した後、認証失敗回数はリセットされ（ＳＴＳＴ３０９）、探索領域設定部２は、探索領域を探索開始領域として定められた所定の領域に変更する（ＳＴ１０１）。そして、検出部３は再度、探索開始領域内において、乗員の顔を探索する（ＳＴ１０２）。ここで、第１検出失敗回数は、ステップＳＴ１１１の処理の他に、検出判定部４が顔検出に成功したと判定した場合にもリセットされる。また、認証失敗回数は、ステップＳＴ３０９の処理の他に、認証部８により顔認証に成功したと判定された場合にもリセットされる。
　すなわち、検出部３が乗員の顔を検出した場合、乗員の顔の特徴量及び移動量から検出した乗員が顔検出開始時に検出した乗員と一致したか否かを認証部８が判定する。そして、認証部８により検出した乗員が一致しないと判定された場合、探索領域設定部２は、探索領域の拡張、維持、及び変更のいずれかを行う。さらに、所定の回数乗員の顔の認証に失敗した場合、探索領域設定部２は探索領域を変更する。このようにすると、乗員の顔の検出に失敗した場合に、乗員の顔を探索する範囲を拡張して、再度乗員の顔を検出するため検出精度が向上する。さらに、探索領域に検出対象の乗員以外の顔が写りこむ等して、前回検出した乗員の顔と新たに検出した乗員の顔とが一致しない場合にも、探索領域を拡張、維持、及び変更のいずれかを行って乗員の顔を再度探索するため、乗員の顔の検出精度を担保できる。
　なお、本実施の形態において、ステップＳＴ３０４及びステップＳＴ１０５の処理の間、つまり乗員の顔を検出し、かつ、乗員が一致しないと判定された場合に探索領域を拡張しない例について説明したが、ステップＳＴ３０４及びステップＳＴ１０５の処理の間で探索領域を拡張する処理を行ってもよい。
　また、本実施の形態において、乗員の顔の移動量を、矩形の各辺を用いて算出する例について説明したが、矩形以外の場合も同様である。例えば、顔領域が長円である場合、中心、短軸、及び長軸等の変化量に基づいて移動量を算出すればよい。
　また、本実施の形態において、認証部８が特徴量及び移動量を用いて顔認証する例について説明したが、特徴量及び移動量のいずれかを用いて顔認証を行うようにしてもよい。この場合、特徴量及び移動量のそれぞれに認証閾値を設け、認証部８により特徴量及び移動量のいずれかと認証閾値とを比較すればよい。また、特徴量及び移動量のそれぞれに認証閾値を設けない場合は、特徴量及び移動量を正規化して認証閾値と比較すればよい。
　なお、実施の形態１～３において、一人の乗員を検出する例について説明したが、本開示における顔検出装置１００、１０１を用いて、乗員５０３以外の乗員を検出する場合、及び複数の乗員を検出する場合も同様である。複数の乗員を検出する場合、上述の複数の乗員について行えばよい。
　また、実施の形態１～３において、乗員の顔の検出に失敗した場合に、探索領域設定部２が、前回探索した探索領域の中心に基づいて探索領域を拡張又は維持する例について説明したが、探索領域の中心を移動させながら探索領域を拡張又は維持してもよい。例えば、過去数フレームにおいて検出部３が検出した顔領域の中心を、図示していない記録部等に記録して乗員の顔が移動した方向を特定し、検出部３が顔検出に失敗した場合、探索領域設定部２は、特定した移動方向に中心を移動させて探索領域を拡張又は維持すれば、乗員の顔を即座に検出することができる。
　また、実施の形態１～３において、探索領域設定部２が、検出部３が前回探索した探索領域の幅及び高さを所定の倍率で拡張する例について説明したが、前回探索した探索領域の幅及び高さの少なくともいずれかを用いて探索領域を拡張してもよい。また、検出部３から取得した顔領域の幅及び高さの少なくともいずれかを用いて探索領域を拡張してもよい。この場合、前回探索した探索領域の幅及び高さの少なくともいずれかを所定の倍率で拡張すればよい。さらに、検出部３が乗員の顔の検出に失敗した回数及び検出部３から取得した顔領域の大きさに対応して、拡張する倍率を変化させてもよい。
　また、実施の形態１～３において、探索領域設定部２は、検出部３が探索開始領域において乗員の顔の検出に失敗した場合、探索領域を拡張しない例について説明したが、探索開始領域において乗員の顔の検出に失敗した場合においても、探索領域を拡張してもよい。つまり、顔検出装置１００、１０１が顔検出を開始して、一度も乗員の顔を検出できなかった場合においても、探索領域設定部２により探索領域を拡張してもよい。
　また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。
１　画像取得部、２　探索領域設定部、３　検出部、４　検出判定部、５　出力部、６　特徴量算出部、７　移動量算出部、８　認証部、１００、１０１　顔検出装置、１００ａ　処理回路、１００ｂ　プロセッサ、１００ｃ　メモリ、２００　撮像装置、３００　制御装置、５０１　運転席、５０２　助手席、５０３、５０４　乗員、５０５　ヘッドレスト。

Claims (12)

  1. 　車両に搭載され前記車両内部の乗員を撮像する撮像装置から、前記乗員が撮像された撮像画像を取得する画像取得部と、
    　前記画像取得部が取得した前記撮像画像に、前記乗員の顔が探索される探索領域を設定する探索領域設定部と、
    　前記探索領域を探索し、前記乗員の顔を検出する検出部と、
    　前記検出部が前記乗員の顔の検出に成功したか否かを判定する検出判定部と、
    を備え、
    　前記探索領域設定部は、前記検出判定部により前記検出部が前記乗員の顔の検出に失敗したと判定された場合、前記検出部が探索した前記探索領域を拡張する顔検出装置。
  2. 　前記探索領域設定部は、前記検出判定部により前記検出部が前記乗員の顔の検出に失敗したと判定された場合、前記乗員の顔が含まれる顔領域の座標を用いて、前記探索領域を拡張することを特徴とする請求項１に記載の顔検出装置。
  3. 　前記探索領域設定部は、前記乗員の顔の探索を開始する場合、前記探索領域を、前記乗員が着座する座席のヘッドレストに設けられた第１領域に設定することを特徴とする請求項１又は請求項２に記載の顔検出装置。
  4. 　前記検出判定部は、前記検出部が前記乗員の顔の検出に失敗したと判定した第１検出失敗回数が第１閾値以下であるか否かを判定し、
    　前記探索領域設定部は、前記検出判定部により、前記第１検出失敗回数が前記第１閾値以下であると判定された場合、前記探索領域を拡張し、
    前記第１検出失敗回数が前記第１閾値を超えたと判定された場合、前記探索領域を維持又は変更することを特徴とする請求項１から請求項３のいずれか一項に記載の顔検出装置。
  5. 　前記探索領域設定部は、前記検出判定部により前記第１検出失敗回数が前記第１閾値を超えたと判定された場合に、前記探索領域を前記第１領域に変更することを特徴とする請求項４に記載の顔検出装置。
  6. 　前記探索領域設定部は、前記検出判定部により、前記第１検出失敗回数が前記第１閾値を超え、前記第１閾値よりも大きい第２閾値以下であると判定された場合、前記探索領域を維持し、
    前記第１検出失敗回数が前記第２閾値を超えたと判定された場合、前記探索領域を変更することを特徴とする請求項４に記載の顔検出装置。
  7. 　前記探索領域設定部は、前記検出判定部により前記第１検出失敗回数が前記第２閾値を超えたと判定された場合、前記探索領域を前記第１領域に変更することを特徴とする請求項６に記載の顔検出装置。
  8. 　前記検出部が検出した前記乗員の顔の要素から前記乗員の顔の特徴量を算出する特徴量算出部と、
    　前記特徴量算出部が算出した前記特徴量を用いて、前記検出部が検出した前記乗員が一致するか否かを判定する認証部と、
    を備え、
    　前記探索領域設定部は、前記認証部により前記検出部が検出した前記乗員が一致しないと判定された場合、前記探索領域を拡張することを特徴とする請求項１から請求項７のいずれか一項に記載の顔検出装置。
  9. 　前記検出部が検出した前記乗員の顔の移動量を算出する移動量算出部を備え、
    　前記認証部は、前記移動量算出部が算出した前記移動量を用いて、前記検出部が検出した前記乗員が一致するか否かを判定することを特徴とする請求項８に記載の顔検出装置。
  10. 　前記認証部は、前記検出部が検出した前記乗員が一致しないと判定した場合、認証失敗回数が認証判定閾値以下であるか否かを判定し、
    　前記探索領域設定部は、前記認証部により前記認証失敗回数が前記認証判定閾値以下であると判定された場合、前記探索領域を拡張し、
    前記認証失敗回数が前記認証判定閾値を超えたと判定された場合、前記探索領域を変更することを特徴とする請求項８又は請求項９に記載の顔検出装置。
  11. 　前記検出部は、前記検出判定部により前記検出部が前記乗員の顔の検出に成功したと判定された場合、前記顔領域の中心を取得して前記探索領域設定部に出力し、
    　前記探索領域設定部は、前記検出判定部により前記検出部が前記乗員の顔の検出に失敗したと判定された場合、新たに設定する前記探索領域の中心を、検出に成功した前記顔領域の中心と一致させて前記探索領域を拡張することを特徴とする請求項１から請求項１０のいずれか一項に記載の顔検出装置。
  12. 　前記検出判定部は、前記検出部が前記撮像画像内に設けられた検知領域の外で前記乗員の顔の少なくとも一部を検出した場合、前記乗員の顔の検出に失敗したと判定することを特徴とする請求項１から請求項１１のいずれか一項に記載の顔検出装置。
PCT/JP2020/012916 2020-03-24 2020-03-24 顔検出装置 WO2021192007A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022509809A JP7345632B2 (ja) 2020-03-24 2020-03-24 顔検出装置
US17/793,744 US20230060049A1 (en) 2020-03-24 2020-03-24 Face detection device
PCT/JP2020/012916 WO2021192007A1 (ja) 2020-03-24 2020-03-24 顔検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012916 WO2021192007A1 (ja) 2020-03-24 2020-03-24 顔検出装置

Publications (1)

Publication Number Publication Date
WO2021192007A1 true WO2021192007A1 (ja) 2021-09-30

Family

ID=77891648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012916 WO2021192007A1 (ja) 2020-03-24 2020-03-24 顔検出装置

Country Status (3)

Country Link
US (1) US20230060049A1 (ja)
JP (1) JP7345632B2 (ja)
WO (1) WO2021192007A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017194A (ja) * 2007-07-04 2009-01-22 Sanyo Electric Co Ltd 物体検出装置及び方法並びに撮像装置
JP2010113506A (ja) * 2008-11-06 2010-05-20 Aisin Aw Co Ltd 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
JP2010128961A (ja) * 2008-11-28 2010-06-10 Toyota Motor Corp 画像監視装置
JP2012059224A (ja) * 2010-09-13 2012-03-22 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法
WO2019030855A1 (ja) * 2017-08-09 2019-02-14 三菱電機株式会社 運転不能状態判定装置および運転不能状態判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017194A (ja) * 2007-07-04 2009-01-22 Sanyo Electric Co Ltd 物体検出装置及び方法並びに撮像装置
JP2010113506A (ja) * 2008-11-06 2010-05-20 Aisin Aw Co Ltd 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
JP2010128961A (ja) * 2008-11-28 2010-06-10 Toyota Motor Corp 画像監視装置
JP2012059224A (ja) * 2010-09-13 2012-03-22 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法
WO2019030855A1 (ja) * 2017-08-09 2019-02-14 三菱電機株式会社 運転不能状態判定装置および運転不能状態判定方法

Also Published As

Publication number Publication date
US20230060049A1 (en) 2023-02-23
JPWO2021192007A1 (ja) 2021-09-30
JP7345632B2 (ja) 2023-09-15

Similar Documents

Publication Publication Date Title
JP6807951B2 (ja) 画像認証装置、画像認証方法および自動車
US7630804B2 (en) Occupant information detection system, occupant restraint system, and vehicle
JP5262570B2 (ja) 車両デバイス制御装置
JP6960995B2 (ja) 状態判定装置および状態判定方法
JP2008062805A (ja) 車輌用後視鏡装置
JPWO2005032895A1 (ja) 生体認証装置
EP3560770A1 (en) Occupant information determination apparatus
JP6814977B2 (ja) 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
JP7134364B2 (ja) 体格判定装置および体格判定方法
WO2021192007A1 (ja) 顔検出装置
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
JP4108468B2 (ja) ナンバープレート読み取り装置
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
JP6594595B2 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP4706917B2 (ja) 運転者監視システム
JP7446492B2 (ja) 車両監視装置、車両監視システム、及び車両監視方法
JP4454335B2 (ja) 指紋入力装置
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP7420277B2 (ja) 運転状態判定装置、方法、及びプログラム
JP7505660B2 (ja) 乗員監視装置、乗員監視方法、及び乗員監視プログラム
JP7325687B2 (ja) 眠気推定装置及び眠気推定システム
JP3826245B2 (ja) 乗員の姿勢判別装置
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
JP7258262B2 (ja) 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法
WO2022254501A1 (ja) 個人認証装置及び個人認証システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927808

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509809

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927808

Country of ref document: EP

Kind code of ref document: A1