WO2018159037A1 - 顔検出装置およびその制御方法、並びにプログラム - Google Patents

顔検出装置およびその制御方法、並びにプログラム Download PDF

Info

Publication number
WO2018159037A1
WO2018159037A1 PCT/JP2017/042514 JP2017042514W WO2018159037A1 WO 2018159037 A1 WO2018159037 A1 WO 2018159037A1 JP 2017042514 W JP2017042514 W JP 2017042514W WO 2018159037 A1 WO2018159037 A1 WO 2018159037A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial image
face
luminance
partial
Prior art date
Application number
PCT/JP2017/042514
Other languages
English (en)
French (fr)
Inventor
政弘 赤木
寛晶 寺井
伸司 遠藤
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to DE112017007162.3T priority Critical patent/DE112017007162T5/de
Priority to US16/467,706 priority patent/US20200005021A1/en
Priority to KR1020197015890A priority patent/KR20190072643A/ko
Priority to CN201780075051.2A priority patent/CN110073406A/zh
Publication of WO2018159037A1 publication Critical patent/WO2018159037A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face detection apparatus that detects a face from an image.
  • face detection technology that automatically detects faces from images has been implemented in various applications including digital camera autofocus and surveillance cameras.
  • One of the most practical algorithms for the face detection technique is a method for evaluating the face likeness of an image based on the contrast between local regions.
  • the face image for example, the eye area tends to be darker than the nose and cheek areas, the mouth area is darker than the chin area, and the forehead area is brighter than the eye area.
  • the face image for example, the eye area tends to be darker than the nose and cheek areas, the mouth area is darker than the chin area, and the forehead area is brighter than the eye area.
  • a Haar-like feature is often used as an image feature.
  • Patent Document 1 proposes a method of improving face detection accuracy by performing face detection after increasing the brightness of an input image by gamma conversion when the input image has low brightness. Although the method of Patent Document 1 is very effective, it is not universal. In particular, it is not possible to expect an improvement in the success rate of face detection by the gamma conversion method for an image having a very small contrast between local regions or an image having a reversed contrast.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for improving the success rate of face detection for dark images and images with reversed light-dark relations.
  • the partial image while scanning the search window for the image, the partial image is represented as a facial image using image features based on the contrast between local regions in the partial image in the search window.
  • a face detection device having a discriminator for determining whether or not the image is an image, further comprising: a low-luminance image determination unit that determines whether or not the partial image in the search window is a low-luminance image;
  • the partial image is determined to be a low-brightness image by the low-brightness image determination unit, instead of the partial image, using a changed partial image in which the luminance of a pixel at a predetermined position in the partial image is changed,
  • a face detection device characterized by performing determination by a discriminator.
  • the predetermined position is an area that should be relatively dark in the face image
  • the changed partial image is an image in which the luminance of the pixel at the predetermined position is changed to a small value.
  • the predetermined position may be an eye position when it is assumed that the partial image is a face image.
  • the changed partial image may be an image in which the luminance of a pixel at the predetermined position in the partial image is replaced with a predetermined value.
  • the predetermined value is preferably a minimum luminance value.
  • the configuration of the present invention is simple and has the advantage that it can be easily mounted on an existing face detection device because the same discriminator can be used as in the case of normal processing (in the case of a low-luminance image).
  • the present invention can be understood as a face detection device having at least a part of the above configuration or function.
  • the present invention also includes a face detection device control method or a face detection method, a program for causing a computer to execute these methods, or such a program non-temporarily including at least a part of the above processing. It can also be understood as a recorded computer-readable recording medium.
  • FIG. 1 is a block diagram showing a functional configuration of the face detection apparatus.
  • FIG. 2 is a flowchart of the face detection process.
  • FIG. 3 is an example of an image.
  • 4A to 4C are diagrams for explaining the effect of the low luminance process.
  • the present invention relates to a face detection algorithm for automatically detecting a face from an image.
  • the present invention can be used as an elemental technology in image sensing, computer vision, robot vision, etc. Specific applications include human detection and tracking in surveillance cameras, autofocus in digital cameras and smartphone embedded cameras, home appliances It can be applied to various fields such as human detection in products and face detection engine in face authentication system.
  • FIG. 1 is a block diagram schematically showing a functional configuration of the face detection apparatus 1.
  • the face detection device 1 includes an image input unit 10, a partial image acquisition unit 11, a low luminance image determination unit 12, a partial image change unit 13, a classifier 14, a false detection removal unit 15, and an output unit 16 as main functions. .
  • the face detection apparatus 1 is a general-purpose computer that includes, for example, a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), output device (display, etc.), and communication interface. Can be configured. In that case, the function shown in FIG. 1 is realized by the CPU executing a program stored in the storage or memory.
  • the specific configuration of the face detection apparatus 1 is not limited to this example. For example, distributed computing with a plurality of computers may be performed, and some of the above functions may be performed with a cloud server. Alternatively, the entire face detection device 1 or a part of its functions may be configured by a circuit such as an ASIC or FPGA.
  • the image input unit 10 has a function of acquiring an image to be processed (hereinafter referred to as “input image”) from an external device.
  • an imaging device such as a digital camera or a digital video camera, a storage device that stores image data, another computer that includes the imaging device or the storage device, and the like are assumed.
  • the input image may be a monochrome image or a color image, and the image format is not particularly limited.
  • the partial image acquisition unit 11 has a function of scanning the search window for the input image.
  • the search window is a frame indicating a part of an area in the input image (a partial image used for a face or non-face determination process).
  • the partial image acquisition unit 11 sequentially inputs the partial image at each position to the subsequent low-luminance image determination unit 12 and the classifier 14 while moving the position of the search window, for example, by one pixel.
  • the size of the face included in the image is indefinite, a face of any size can be detected by repeating scanning and face / non-face determination while changing the size of the search window and / or the resolution of the input image. it can.
  • the low brightness image determination unit 12 is a function for determining whether or not a partial image (or the entire input image) is a low brightness image. Any method for determining a low-luminance image may be used. For example, when a representative value (average value, intermediate value, mode value, maximum value, etc.) of luminance in the partial image is calculated and the representative value is smaller than a predetermined threshold, the partial image is a low-luminance image. May be determined.
  • the shooting conditions for example, the brightness of the subject measured by the illuminance sensor and the exposure setting
  • the shooting conditions are acquired together with the input image when the input image is shot, and whether the input image is a low-luminance image based on the shooting condition You may judge.
  • the partial image changing unit 13 has a function of changing the luminance of some pixels of the partial image when the partial image is a low luminance image. Detailed processing will be described later.
  • the discriminator 14 has a function of performing face / non-face determination that determines whether or not the partial image is a face image by using an image feature based on a contrast difference between local regions in the partial image.
  • a Haar-like feature is used as an image feature
  • a cascade structure type discriminator composed of a plurality of weak discriminators is used.
  • the configuration of the discriminator 14 and the image features to be used are not limited to these, and any one may be used.
  • the false detection removal unit 15 performs face / non-face determination based on simple determination logic different from that for the classifier 14 on the partial image determined to be “face” by the classifier 14, thereby erroneously detecting the classifier 14. It is a function for removing. Detailed determination logic will be described later.
  • the output unit 16 is a function for outputting the result of face detection.
  • the output result includes, for example, the number of faces detected from the input image, the position / size / orientation of the detected face, and the like.
  • FIG. 2 is a flowchart of face detection processing
  • FIG. 3 is an example of an image.
  • step S20 the image input unit 10 acquires the input image 30 from the external device.
  • step S ⁇ b> 21 the partial image acquisition unit 11 sets a search window 31 for the input image 30 and acquires a partial image 32 in the search window 31.
  • the partial image 32 acquired in step S21 is referred to as “target partial image 32” in the following description.
  • the low luminance image determination unit 12 determines whether or not the target partial image 32 is a low luminance image.
  • the low luminance image determination unit 12 of the present embodiment calculates an average value of luminance in the target partial image 32, and determines that the image is a low luminance image when the average value is smaller than a threshold value. According to such a determination logic, when the environment when the input image 30 is taken is dark, when the exposure at the time of taking is insufficient, when the image is taken in backlight, the subject (that is, the human face) is detected. Since it appears dark, it is determined as a low-luminance image.
  • step S22 If it is determined in step S22 that the target partial image 32 is not a low luminance image, the process proceeds to step S23, and the target partial image 32 is input to the discriminator 14.
  • the discriminator 14 extracts a plurality of predetermined Haar-like features from the target partial image 32, and determines whether the target partial image 32 is a face image based on the values of the image features. .
  • step S ⁇ b> 24 the partial image changing unit 13 changes the luminance of the pixel at a predetermined position in the target partial image 32.
  • the luminance of a plurality of pixels corresponding to the eye positions when the target partial image 32 is assumed to be a face image is replaced with a predetermined value.
  • the “predetermined value” may be a sufficiently small value (low luminance).
  • the minimum luminance value for example, when the luminance value of the image has a value range of 0 (dark) to 255 (bright)). 0).
  • step S25 the discriminator 14 extracts a plurality of types of Haar-like features determined in advance from the changed partial image 33, and whether or not the changed partial image 33 is a face image based on the values of these image features. Determine whether.
  • the process of step S25 is basically the same as the process of step S23 (that is, the image features and classifiers used are the same, and the difference between step S25 and step S23 is that some pixels of the partial image are changed. It is only a point.)
  • FIGS. 4A to 4C show an example of an image feature extracted from the partial image 40 that is not a low luminance image
  • FIG. 4B shows an example of an image feature extracted from the partial image 41 that is a low luminance image.
  • the brightness of the eye region 40E is 25, the brightness of the nose region 40N is 60, and the brightness difference between the eye region 40E and the nose region 40N is 35.
  • the image 41 of FIG. 4B the image is entirely dark, the luminance of the eye region 41E is 25, the luminance of the nose region 41N is 30, and the contrast between the two regions 41E and 41N is 5 It is extremely small. Therefore, even if the partial image 41 of FIG. 4B is input to the discriminator 14 as it is, there is a high possibility that face detection will fail.
  • FIG. 4C shows an example of image features extracted from the modified partial image 42.
  • the changed partial image 42 is an image in which the luminance of the pixel in the eye region 41E of the partial image 41 in FIG. Therefore, in the modified partial image 42, the brightness of the eye area 42E is 0, the brightness of the nose area 42N is 30, and the brightness difference between the two areas 42E and 42N is 30, so that clear image features can be extracted. I understand.
  • the luminance of areas that should be relatively dark in the face is forcibly reduced. Even in a low-luminance image, the contrast between the areas clearly appears.
  • the brightness relationship can be returned to the normal state by forcibly reducing the brightness of the originally dark region to a minimum value (for example, the eye region).
  • the success rate of face detection can be expected to improve by giving the changed partial image 42 to the discriminator 14 (instead of the partial image 41).
  • the above-described low luminance processing has an advantage that the success rate of face detection for a dark image or an image with a reversed light / dark relationship can be improved, while an image of a part of the input image (the eye part in the example of FIG. 4C). Since face / non-face determination is performed ignoring information, there is a demerit that false detection (determining a non-face image as a face) may increase. Therefore, in this embodiment, simple false detection removal by the false detection removal unit 15 is performed in the case of low luminance processing.
  • the false detection removal unit 15 performs face / non-face determination based on a determination logic different from that of the classifier 14 on the partial image determined to be “face” in step S25 of FIG. "Is discarded, the face detection result of step S25 is discarded (step S26).
  • Any determination logic may be used for the erroneous detection removal unit 15, but it is desirable to use a logic that is as simple as possible and has a small amount of calculation in order to increase the processing speed. An example of determination logic is given below.
  • non-face If the number of pixels having a luminance difference greater than a predetermined value within a partial image is outside a predetermined range, it is determined as “non-face”. (2) If the number of pixels darker or brighter than any of the four adjacent pixels in the partial image is outside the predetermined range, it is determined as “non-face”. (3) If the number of extremely bright pixels in the partial image is a predetermined number or more, it is determined as “non-face”. This is because when the image is taken under low-luminance or backlighting conditions, the face portion becomes dark as a whole, and extremely bright portions such as whiteout are not included in the face image. For example, “non-face” may be determined when the number of pixels exceeding the luminance value 185 is 10% or more of the entire partial image.
  • the brightness of the eye area in the partial image is greater (brighter) than the brightness of the nose area, it is determined as “non-face”.
  • the brightness of the mouth area in the partial image is higher (brighter) than the brightness of the nose area, it is determined as “non-face”.
  • the luminance of the mouth area in the partial image is higher (brighter) than the luminance of the peripheral area of the mouth, it is determined as “non-face”.
  • the luminance of the eye region in the partial image is higher (brighter) than the luminance of the region between the left and right eyes, it is determined as “non-face”.
  • false detection removal may be performed using only one determination logic, or false detection removal may be performed using two or more determination logics.
  • step S27 it is determined whether the search for the input image is completed. If the search has not been completed, the process returns to step S21, the search window 31 is moved to the next position, and the processes in and after step S22 are repeated.
  • step S28 the output unit 16 outputs the result of face detection, and the face detection process ends.
  • low-intensity processing is performed in the case of a dark image or an image in which the light / dark relationship is reversed. Therefore, compared to the conventional method, the dark image or the image having the light / dark relationship reversed. The success rate of face detection can be improved.
  • low-luminance processing it is configured to eliminate erroneous detection due to the determination logic different from that of the discriminator 14 and eliminate erroneous detection caused by the low-luminance processing, so that the overall determination accuracy can be improved. I can expect.
  • the low luminance process of this embodiment is a simple method in which the luminance of a part of the pixels of the partial image is replaced with a predetermined value, and the same classifier 14 as in the normal process can be used. Therefore, the low-intensity processing according to the present embodiment has an advantage that it can be easily added to an existing face detection apparatus.
  • the luminance of the pixel in the eye area in the partial image is replaced with the minimum value, but the low luminance processing method is not limited to this. Areas that should be relatively dark in the face image include a mouth area and an eyebrow area in addition to the eye area, and the luminance of these areas may be forcibly reduced. Further, the luminance after replacement need not be a minimum value, and may be a sufficiently small value. Furthermore, the same effect can be obtained by forcibly increasing the brightness of areas (such as the nose area, chin area, and forehead area) that should be relatively bright in the face image.
  • 1 face detection device 10: image input unit, 11: partial image acquisition unit, 12: low luminance image determination unit, 13: partial image change unit, 14: classifier, 15: false detection removal unit, 16: output unit 30 : Input image, 31: search window, 32: partial image of interest, 33: changed partial image, 40: partial image that is not low luminance image, 40E: eye region, 40N: nose region 41: partial image that is low luminance image, 41E: Eye region, 41N: Nose region 42: Changed partial image, 42E: Eye region, 42N: Nose region

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置において、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定し、前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う。

Description

顔検出装置およびその制御方法、並びにプログラム
　本発明は、画像から顔を検出する顔検出装置に関する。
　近年、画像から顔を自動検出する顔検出技術が、デジタルカメラのオートフォーカス、監視カメラなどをはじめとする様々なアプリケーションに実装されている。顔検出技術の最も実用的なアルゴリズムの一つに、局所領域間の明暗差に基づいて画像の顔らしさを評価する方法がある。顔画像においては、例えば、目の領域は鼻や頬の領域に比べて暗い、口の領域は顎の領域に比べて暗い、額の領域は目の領域に比べて明るいなどの傾向があり、このような傾向は性別や人種を問わず共通している。この傾向に着目して、局所領域間の明暗差に基づく画像特徴を用いて顔か非顔かの判定を行うのである。画像特徴としては、Ｈａａｒ－ｌｉｋｅ特徴がよく用いられる。
　しかしながら、局所領域間の明暗差を用いるアルゴリズムは、入力画像が全体的に暗い画像であったり逆光で撮影された画像であったりした場合に、顔検出の成功率が低下するおそれがある。暗い画像や逆光画像の場合は、局所領域間の明暗差が小さかったり、局所領域間の明暗関係が逆転してしまい（例えば目の領域が鼻の領域に比べて明るくなるなど）、顔の画像特徴をうまく抽出できないからである。特許文献１には、入力画像が低輝度である場合に、ガンマ変換によって入力画像を高輝度化してから顔検出を行うことで、顔検出精度を向上させる方法が提案されている。特許文献１の方法は非常に効果的ではあるものの、万能ではない。特に、局所領域間の明暗差がきわめて小さい画像や、明暗関係が逆転している画像に対しては、ガンマ変換による方法では顔検出の成功率向上は期待できない。
特開２０１６－１６７６８１号公報
　本発明は、上記実情に鑑みなされたものであって、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上させるための技術を提供することを目的とする。
　上記目的を達成するために、本発明では、暗い画像や明暗関係が逆転した画像の場合は、画像における所定位置のピクセルの輝度を変更（小さく／大きく）した画像を用いて顔検出を行う、という方法を採用する。
　具体的には、本発明の第一態様は、画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うことを特徴とする顔検出装置を提供する。
　前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることが好ましい。また、前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置であるとよい。また、前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像であるとよい。前記所定値は、最小の輝度値であることが好ましい。
　上記構成によれば、探索ウィンドウ内の部分画像が低輝度画像である場合に、部分画像の代わりに変更部分画像を用いて顔検出（識別器による顔／非顔判定）を行うので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、本発明の構成はシンプルであるとともに、通常処理の場合（低輝度画像でない場合）と同じ識別器を利用できるため、既存の顔検出装置への実装が容易であるという利点もある。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する顔検出装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、顔検出装置の制御方法又は顔検出方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。
図１は顔検出装置の機能構成を示すブロック図である。 図２は顔検出処理のフローチャートである。 図３は画像の一例である。 図４Ａ～図４Ｃは低輝度処理の効果を説明する図である。
　本発明は、画像から顔を自動で検出するための顔検出アルゴリズムに関する。本発明は、画像センシング、コンピュータビジョン、ロボットビジョン等における要素技術として利用可能であり、具体的なアプリケーションとしては、監視カメラにおける人の検出及び追跡、デジタルカメラやスマートフォンの組み込みカメラにおけるオートフォーカス、家電製品における人の検出、顔認証システムにおける顔検出エンジンなど、様々な分野への応用が可能である。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（顔検出装置の構成）
　図１を参照して、本発明の実施形態に係る顔検出装置の構成を説明する。図１は、顔検出装置１の機能構成を模式的に示すブロック図である。
　顔検出装置１は、主な機能として、画像入力部１０、部分画像取得部１１、低輝度画像判定部１２、部分画像変更部１３、識別器１４、誤検出除去部１５、出力部１６を有する。この顔検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイなど）、通信インタフェースを具備する汎用のコンピュータにより構成することができる。その場合、図１に示される機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、顔検出装置１の具体的構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよい。あるいは、顔検出装置１の全部又はその機能の一部をＡＳＩＣやＦＰＧＡのような回路で構成してもよい。
　画像入力部１０は、外部装置から処理対象となる画像（以下「入力画像」と呼ぶ）を取得する機能である。外部装置としては、デジタルカメラやデジタルビデオカメラなどの撮像装置、画像データを記憶する記憶装置、撮像装置や記憶装置を具備する他のコンピュータなどが想定される。入力画像はモノクロ画像でもカラー画像でもよく、また画像フォーマットは特に限定されない。
　部分画像取得部１１は、入力画像に対し探索ウィンドウの走査を行う機能である。探索ウィンドウとは、入力画像内の一部のエリア（顔か非顔かの判定処理に供される部分画像）を示す枠である。部分画像取得部１１は、探索ウィンドウの位置を例えば１ピクセルずつ移動させながら、各位置における部分画像を後段の低輝度画像判定部１２及び識別器１４に順に入力する。画像内に含まれる顔のサイズが不定の場合は、探索ウィンドウのサイズ及び／又は入力画像の解像度を変えて走査及び顔／非顔判定を繰り返すことにより、任意のサイズの顔を検出することができる。
　低輝度画像判定部１２は、部分画像（ないし入力画像の全体）が低輝度画像であるか否かを判定する機能である。低輝度画像の判定方法はどのようなものでもよい。例えば、部分画像内の輝度の代表値（平均値、中間値、最頻値、最大値など）を計算し、その代表値が所定の閾値より小さい場合に、当該部分画像が低輝度画像であると判定してもよい。あるいは、入力画像が撮影されたときの撮影条件（例えば照度センサで測定した被写体の明るさ、露出設定など）を入力画像とともに取得し、当該撮影条件に基づいて入力画像が低輝度画像かどうかを判定してもよい。
　部分画像変更部１３は、部分画像が低輝度画像である場合に、当該部分画像の一部のピクセルの輝度を変更する機能である。詳しい処理については後述する。
　識別器１４は、部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する顔／非顔判定を行う機能である。本実施形態では、画像特徴としてＨａａｒ－ｌｉｋｅ特徴を利用し、複数の弱識別器により構成されるカスケード構造型識別器を利用する。ただし、識別器１４の構成及び用いる画像特徴はこれらに限られず、どのようなものを利用してもよい。
　誤検出除去部１５は、識別器１４により「顔」と判定された部分画像に対し、識別器１４とは異なる簡易な判定ロジックによる顔／非顔判定を行うことで、識別器１４の誤検出を除去するための機能である。詳しい判定ロジックについては後述する。
　出力部１６は、顔検出の結果を出力する機能である。出力される結果としては、例えば、入力画像から検出された顔の数、検出された顔の位置・サイズ・向きなどである。
　（顔検出処理）
　図２及び図３を参照して、本実施形態の顔検出装置１による顔検出処理について説明する。図２は顔検出処理のフローチャートであり、図３は画像の一例である。
　ステップＳ２０において、画像入力部１０が、外部装置から入力画像３０を取得する。ステップＳ２１では、部分画像取得部１１が、入力画像３０に対し探索ウィンドウ３１を設定し、探索ウィンドウ３１内の部分画像３２を取得する。ステップＳ２１で取得された部分画像３２を、以後の説明では「注目部分画像３２」と呼ぶ。
　ステップＳ２２では、低輝度画像判定部１２が、注目部分画像３２が低輝度画像であるか否かを判定する。本実施形態の低輝度画像判定部１２は、注目部分画像３２内の輝度の平均値を計算し、その平均値が閾値より小さい場合に低輝度画像と判定する。このような判定ロジックによれば、入力画像３０の撮影時の環境が暗かった場合、撮影時の露出が十分でなかった場合、逆光で撮影された場合などは、被写体（つまり人の顔）が暗く写るので、低輝度画像と判定される。
　ステップＳ２２で注目部分画像３２が低輝度画像でないと判定された場合、ステップＳ２３へ進み、注目部分画像３２が識別器１４に入力される。識別器１４は、注目部分画像３２から予め決められた複数種類のＨａａｒ－ｌｉｋｅ特徴を抽出し、それらの画像特徴の値に基づいて注目部分画像３２が顔の画像であるか否かを判定する。
　他方、ステップＳ２２で注目部分画像３２が低輝度画像であると判定された場合は、次のような例外処理（低輝度処理）へと進む。ステップＳ２４では、部分画像変更部１３が、注目部分画像３２の所定位置のピクセルの輝度を変更する。具体的には、図３に示すように、注目部分画像３２が顔の画像であると仮定した場合における目の位置にあたる複数個のピクセルの輝度を所定値に置き換える。「所定値」は十分に小さい（低輝度な）値であればよく、本実施形態では輝度の最小値（例えば、画像の輝度値が０(暗)～２５５(明)の値域を有する場合は０）とする。そして、輝度変更後の注目部分画像３２が、変更部分画像３３として、識別器１４に入力される。ステップＳ２５では、識別器１４は、変更部分画像３３から予め決められた複数種類のＨａａｒ－ｌｉｋｅ特徴を抽出し、それらの画像特徴の値に基づいて変更部分画像３３が顔の画像であるか否かを判定する。このステップＳ２５の処理はステップＳ２３の処理と基本的に同じである（つまり、用いる画像特徴、識別器などは同じであり、ステップＳ２５とステップＳ２３の違いは部分画像の一部のピクセルが変更されている点のみである。）。
　図４Ａ～図４Ｃを参照して低輝度処理の効果を説明する。図４Ａは低輝度画像でない部分画像４０から抽出される画像特徴の例を示し、図４Ｂは低輝度画像である部分画像４１から抽出される画像特徴の例を示す。図４Ａの部分画像４０では、目の領域４０Ｅの輝度が２５、鼻の領域４０Ｎの輝度が６０であり、目の領域４０Ｅと鼻の領域４０Ｎの間の明暗差は３５と、明りょうな画像特徴が抽出できる。しかし、図４Ｂの部分画像４１では、画像が全体的に暗く、目の領域４１Ｅの輝度が２５、鼻の領域４１Ｎの輝度が３０であり、２つの領域４１Ｅ、４１Ｎの間の明暗差は５と、きわめて小さくなっている。したがって、図４Ｂの部分画像４１を識別器１４にそのまま入力しても、顔検出に失敗する可能性が高い。
　図４Ｃは変更部分画像４２から抽出される画像特徴の例を示す。変更部分画像４２は、図４Ｂの部分画像４１の目の領域４１Ｅのピクセルの輝度を０にした画像である。したがって、変更部分画像４２では、目の領域４２Ｅの輝度が０、鼻の領域４２Ｎの輝度が３０となり、２つの領域４２Ｅ、４２Ｎの間の明暗差は３０と、明りょうな画像特徴が抽出できることがわかる。
　このように、本実施形態の低輝度処理では、顔の中で相対的に暗くあるべき領域（例えば、目の領域、口の領域、眉の領域など）の輝度を強制的に小さくすることにより、低輝度画像においても領域間の明暗差が明りょうに現れる。また、明暗の逆転が起きている場合でも、本来暗くあるべき領域の輝度を強制的に最小値にしてしまうことで、明暗の関係を通常の状態に戻すことができる（例えば、目の領域の輝度が３５、鼻の領域の輝度が２５のように逆転していても、目の領域の輝度を０に変更することで、目の領域よりも鼻の領域が明るく、且つ、明暗差が２５という画像特徴が得られる。）。それゆえ、低輝度画像の場合には、（部分画像４１の代わりに）変更部分画像４２を識別器１４に与えることで、顔検出の成功率向上を期待できる。
　ところで、上記の低輝度処理は、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上できるというメリットがある一方で、入力画像の一部分（図４Ｃの例では目の部分）の画像情報を無視して顔／非顔判定を行っているため、誤検出（非顔の画像を顔と判定すること）が増える可能性があるというデメリットもある。そこで本実施形態では、低輝度処理の場合に誤検出除去部１５による簡易誤検出除去を行う。
　具体的には、図２のステップＳ２５で「顔」と判定された部分画像に対し、誤検出除去部１５が、識別器１４とは異なる判定ロジックによる顔／非顔判定を行い、「非顔」と判定された場合はステップＳ２５の顔検出結果を破棄する（ステップＳ２６）。誤検出除去部１５の判定ロジックはどのようなものを用いてもよいが、処理の高速化のため、できるだけ簡易で計算量の少ないロジックを用いることが望ましい。以下に判定ロジックの一例を挙げる。
　（１）部分画像内で、隣接ピクセルとの輝度差が所定値より大きいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
　（２）部分画像内で、隣接ピクセル４点のいずれよりも暗い又は明るいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
　（３）部分画像内で、極端に明るいピクセルの個数が所定数以上の場合は、「非顔」と判定する。低輝度ないし逆光の照明条件下で撮影された場合、顔部分は全体的に暗くなり、顔画像のなかに白飛びのような極端に明るい箇所は含まれないからである。例えば、輝度値１８５を超えるピクセルの数が部分画像全体の１０％以上である場合に「非顔」と判定してもよい。
　（４）部分画像における目領域の輝度が鼻領域の輝度より大きい（明るい）場合、「非顔」と判定する。
　（５）部分画像における口領域の輝度が鼻領域の輝度より大きい（明るい）場合、「非顔」と判定する。
　（６）部分画像における口領域の輝度が口の周辺領域の輝度より大きい（明るい）場合、「非顔」と判定する。
　（７）部分画像における目領域の輝度が左右の目の間の領域の輝度より大きい（明るい）場合、「非顔」と判定する。
　上記（１）～（７）のうち１つの判定ロジックのみで誤検出除去を行ってもよいし、２つ以上の判定ロジックを用いて誤検出除去を行ってもよい。
　ステップＳ２７では、入力画像の探索が完了したか否かを判定する。探索が完了していない場合は、ステップＳ２１に戻り、探索ウィンドウ３１を次の位置に移動した後、ステップＳ２２以降の処理を繰り返す。入力画像全体の探索が完了したら、ステップＳ２８において、出力部１６が顔検出の結果を出力し、顔検出処理を終了する。
　以上述べた本実施形態の顔検出によれば、暗い画像や明暗関係が逆転した画像の場合は低輝度処理が実施されるので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、低輝度処理を実施した場合は、識別器１４とは異なる判定ロジックによる誤検出除去を行い、低輝度処理に起因する誤検出を排除するよう構成したので、全体としての判定精度の向上も期待できる。しかも、本実施形態の低輝度処理は、部分画像の一部のピクセルの輝度を所定値に置き換える、というシンプルな方法であり、通常処理の場合と同じ識別器１４を利用できる。したがって、本実施形態の低輝度処理は既存の顔検出装置への追加実装が容易であるという利点もある。
　＜その他＞
　上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、部分画像内の目領域のピクセルの輝度を最小値に置き換えたが、低輝度処理の方法はこれに限られない。顔画像の中で相対的に暗くあるべき領域としては、目領域以外にも、口領域、眉領域などがあり、これらの領域の輝度を強制的に小さくしてもよい。また、置き換え後の輝度は最小値である必要はなく、十分に小さい値であればよい。さらには、顔画像の中で相対的に明るくあるべき領域（鼻領域、顎領域、額領域など）の輝度を強制的に大きくすることでも、同様の効果を得られる。
１：顔検出装置
１０：画像入力部、１１：部分画像取得部、１２：低輝度画像判定部、１３：部分画像変更部、１４：識別器、１５：誤検出除去部、１６：出力部
３０：入力画像、３１：探索ウィンドウ、３２：注目部分画像、３３：変更部分画像
４０：低輝度画像でない部分画像、４０Ｅ：目領域、４０Ｎ：鼻領域
４１：低輝度画像である部分画像、４１Ｅ：目領域、４１Ｎ：鼻領域
４２：変更部分画像、４２Ｅ：目領域、４２Ｎ：鼻領域

Claims (7)

  1. 　画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、
    　前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、
    　前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う
    ことを特徴とする顔検出装置。
  2. 　前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、
    　前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることを特徴とする請求項１に記載の顔検出装置。
  3. 　前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置である
    ことを特徴とする請求項１又は２に記載の顔検出装置。
  4. 　前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像である
    ことを特徴とする請求項１～３のうちいずれか１項に記載の顔検出装置。
  5. 　前記所定値は、最小の輝度値である
    ことを特徴とする請求項４に記載の顔検出装置。
  6. 　画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置の制御方法であって、
    　前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定するステップと、
    　前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うステップと、
    を含むことを特徴とする顔検出装置の制御方法。
  7. 　請求項６に記載の顔検出装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2017/042514 2017-03-01 2017-11-28 顔検出装置およびその制御方法、並びにプログラム WO2018159037A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017007162.3T DE112017007162T5 (de) 2017-03-01 2017-11-28 Gesichtsermittlungsvorrichtung, dazugehöriges Steuerungsverfahren und Programm
US16/467,706 US20200005021A1 (en) 2017-03-01 2017-11-28 Face detection device, control method thereof, and program
KR1020197015890A KR20190072643A (ko) 2017-03-01 2017-11-28 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램
CN201780075051.2A CN110073406A (zh) 2017-03-01 2017-11-28 面部检测装置及其控制方法、以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-038616 2017-03-01
JP2017038616A JP6399122B2 (ja) 2017-03-01 2017-03-01 顔検出装置およびその制御方法

Publications (1)

Publication Number Publication Date
WO2018159037A1 true WO2018159037A1 (ja) 2018-09-07

Family

ID=63369885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042514 WO2018159037A1 (ja) 2017-03-01 2017-11-28 顔検出装置およびその制御方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20200005021A1 (ja)
JP (1) JP6399122B2 (ja)
KR (1) KR20190072643A (ja)
CN (1) CN110073406A (ja)
DE (1) DE112017007162T5 (ja)
WO (1) WO2018159037A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192241B (zh) * 2019-12-23 2024-02-13 深圳市优必选科技股份有限公司 一种人脸图像的质量评估方法、装置及计算机存储介质
CN116508192A (zh) 2020-10-28 2023-07-28 本田技研工业株式会社 起动装置、蓄电装置以及电力装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025894A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 顔画像検出方法及び顔画像処理装置
JP2010257324A (ja) * 2009-04-27 2010-11-11 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2014069412A1 (ja) * 2012-10-29 2014-05-08 大学共同利用機関法人情報・システム研究機構 顔検出防止具
JP2016167681A (ja) * 2015-03-09 2016-09-15 オムロン株式会社 画像生成装置および画像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791372B1 (ko) * 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
WO2010012448A2 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
TWI556194B (zh) * 2012-06-29 2016-11-01 希科母股份有限公司 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
JP6074254B2 (ja) * 2012-12-18 2017-02-01 キヤノン株式会社 画像処理装置およびその制御方法
RU2518939C1 (ru) * 2013-03-05 2014-06-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Самарский государственный университет путей сообщения" (СамГУПС) Способ и устройство распознавания рельефности изображения лица

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025894A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 顔画像検出方法及び顔画像処理装置
JP2010257324A (ja) * 2009-04-27 2010-11-11 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2014069412A1 (ja) * 2012-10-29 2014-05-08 大学共同利用機関法人情報・システム研究機構 顔検出防止具
JP2016167681A (ja) * 2015-03-09 2016-09-15 オムロン株式会社 画像生成装置および画像生成方法

Also Published As

Publication number Publication date
CN110073406A (zh) 2019-07-30
DE112017007162T5 (de) 2019-11-28
JP2018147046A (ja) 2018-09-20
US20200005021A1 (en) 2020-01-02
KR20190072643A (ko) 2019-06-25
JP6399122B2 (ja) 2018-10-03

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP7151814B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102466998B1 (ko) 영상 융합 방법 및 장치
US9262690B2 (en) Method and device for detecting glare pixels of image
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US20160261808A1 (en) Information processing apparatus, information processing method, and storage medium
KR20170056860A (ko) 이미지 생성 방법 및 장치
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN112598677B (zh) 用于图像分析的方法和设备
JP6365355B2 (ja) 画像生成装置および画像生成方法
WO2017061106A1 (ja) 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
WO2018159037A1 (ja) 顔検出装置およびその制御方法、並びにプログラム
US11132778B2 (en) Image analysis apparatus, image analysis method, and recording medium
JP2021103598A (ja) 画像処理装置、画像処理方法、及びプログラム
EP3671541A1 (en) Classification of glints using an eye tracking system
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
US11507768B2 (en) Information processing apparatus, information processing method, and storage medium
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
JP2015176252A (ja) 画像処理装置および画像処理方法
US20240171863A1 (en) Information processing apparatus, information processing method, and storage medium
KR101143555B1 (ko) 얼굴 색상 필터링 및 모폴로지 연산을 이용한 얼굴 검출 시스템 및 방법
US20230245494A1 (en) Automatic face and human subject enhancement algorithm for digital images
Lee et al. A Method of Obtaining Skin Color Distribution Areas Based on Illumination Compensation.
KR20170110281A (ko) 유사도 분석 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197015890

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17899027

Country of ref document: EP

Kind code of ref document: A1