WO2013066095A1 - 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 - Google Patents

얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2013066095A1
WO2013066095A1 PCT/KR2012/009157 KR2012009157W WO2013066095A1 WO 2013066095 A1 WO2013066095 A1 WO 2013066095A1 KR 2012009157 W KR2012009157 W KR 2012009157W WO 2013066095 A1 WO2013066095 A1 WO 2013066095A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
frame
divided
input image
detected
Prior art date
Application number
PCT/KR2012/009157
Other languages
English (en)
French (fr)
Inventor
유우주
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Priority to JP2014539874A priority Critical patent/JP5908596B2/ja
Priority to EP12845982.3A priority patent/EP2793190A4/en
Priority to CN201280054267.8A priority patent/CN103907135B/zh
Priority to BR112014010328A priority patent/BR112014010328A2/pt
Priority to US14/344,146 priority patent/US9208575B2/en
Publication of WO2013066095A1 publication Critical patent/WO2013066095A1/ko
Priority to US14/926,538 priority patent/US10339414B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • a face tracking mode operation or a partial detection mode is applied to a part or all of a divided area to which a position in a next input image corresponding to a face is detected.
  • a face detection method, apparatus, and a computer readable recording medium for executing the method, for reducing the amount of computation by performing an operation to detect a face and increasing the probability of face detection.
  • the digital camera function provided as an additional function is a trend that is provided in most portable terminals as recently recognized as an essential component to users.
  • Such a digital camera function in addition to a simple photographing function, may include a function of performing various recognition operations such as a smile and a blink recognition operation after performing a face detection operation for detecting a face image from an input image input through the camera. It may be.
  • the frames are resized to various sizes, thereby detecting a face with respect to all images of the resized frames.
  • this prior art was developed by Paul Viola and Michael J. Jones and published in a paper entitled “Robust Real-Time Face Detection” published in the May 2004 International Journal of Computer Vision, Volumn 57, Issue 2. Section 3 is published in the previous paragraph.
  • the face detection operation takes a long time to detect a face due to a large amount of calculation.
  • the present invention aims to solve all the above-mentioned problems.
  • the present invention divides the input image inputted in the order of time during a predetermined time period into a predetermined number of regions, and performs face detection on each of the divided regions, and when a face is detected in at least some of the divided regions, It is another object of the present invention to reduce the time required for the face detection operation by detecting a face by performing a face tracking mode operation or a partial detection mode operation on a part or all of the divided region.
  • a method of an aspect of the present invention (a) dividing an input image into a predetermined number of regions to generate a divided input image, wherein the input image includes a plurality of frames inputted in a time sequence during a predetermined time interval. -(B) if in full detection mode operation, resizing each of the divided input images in the first frame to perform a face detection operation on the divided and resized input images of the first frame; c) If a face is detected in a specific area within at least one input image of the divided and resized input images of the first frame in the face detection operation, the controller proceeds to the face tracking mode operation and the divided and resized input of the first frame is performed.
  • One of the images corresponding to the specific area within the at least one input image from which the face was detected Performing a face tracking operation on a peripheral region of a specific region in the divided and resized input image of the second frame; and (d) if no face is detected in the face tracking operation, proceeds to the partial detection mode operation to perform the first tracking operation.
  • a face detection method is provided that includes performing a face detection operation.
  • a method of another aspect of the invention (a) acquiring an input image, wherein the input image comprises a plurality of frames that are input in chronological order during a predetermined time interval, and (b) in a full detection mode operation, Performing a face detection operation on the first frame; (c) if a face is detected in a specific area within the first frame during the face detection operation, proceed to face tracking mode operation to divide the second frame into a second frame; Generating segmented input images and performing a face tracking operation on a peripheral region of a specific region in the divided input image of the second frame corresponding to the specific region in the first frame, and (d) the face If the face is not detected in the tracking operation, the controller proceeds to the partial detection mode operation to generate a first image corresponding to the specific region in the first frame.
  • a face detection method is provided, comprising performing the face detection operation on a resized image of a divided input image of the third frame to which a specific region within three frames belongs.
  • an image divider for dividing an input image into n to generate n divided input images, the input image including a plurality of frames which are input in a time sequence during a predetermined time interval.
  • a third frame which transmits the divided input image belonging to a specific region in the second frame corresponding to the specific region in which the face is detected in the first frame and temporally follows the second frame
  • a partial detection mode signal is generated for the image, the image corresponding to the specific region in which the face in the first frame is detected
  • a mode switch for transmitting the divided input image to which a specific region within the third frame belongs, the face detection by resizing each of the divided input images in the first frame or the third frame transmitted through the mode switch
  • N face detection units for performing a face detection operation and n face tracking operations for performing a face tracking operation on a peripheral area of the specific area in the divided input image in the second frame transmitted through the mode switching unit.
  • n face detectors generate the face tracking mode signal when a face is detected in at least one segmented and resized input image of the n segmented and resized input images of the first frame, and the n Face tracking units are divided in the second frame.
  • a face detection apparatus including a mode switching signal generator for generating the partial detection mode signal when the input image indicates that the face is not detected.
  • an image divider for dividing an input image into a predetermined number of regions to generate divided input images, the input image including a plurality of frames that are input in a time sequence during a predetermined time interval.
  • a full detection mode signal is generated for a first frame
  • each of the divided input images of the first frame is sequentially transmitted, and face tracking is performed for a second frame that is temporally followed by the first frame.
  • the mode signal is generated, the divided input images belonging to the specific region in the second frame corresponding to the specific region in which the face is detected in the first frame are sequentially transmitted, and are sequentially followed in the second frame.
  • the partial detection mode signal is generated for the third frame, the face in the first frame is detected.
  • a mode switching unit for sequentially transmitting the divided input image to which a specific region in the third frame corresponding to a specific region belongs, the divided input in the first frame or the third frame transmitted through the mode switching unit
  • a face detection unit which detects a face by resizing each image to perform a face detection operation, and performs a face tracking operation on a peripheral area of the specific area in the divided input image in the second frame transmitted through the mode switching unit
  • a face tracking unit and the face detection unit generates the face tracking mode signal when the face is detected from the divided and resized input images of at least one of the divided and resized input images of the first frame, and generates the face tracking mode signal.
  • Addition of the second frame A face detecting device comprising the parts of the face is expressed has not been detected switching signal generating mode for generating the part detection mode signal is provided at the input to the image.
  • the input image is input after a face corresponding to a position where the face is detected without performing a face detection operation on the entire input image.
  • the time required for the face detection operation can be reduced by detecting a face by performing a face tracking mode operation or a partial detection mode operation on a part or all of the predetermined divided region to which a position in the image belongs.
  • the face image may be optimally divided around an area where the face is most likely to be detected, thereby reducing the time required for the face tracking operation.
  • FIG. 1 is a block diagram showing the configuration of a face detection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an embodiment of the resize unit, the rotating unit, and the face detection unit shown in FIG. 1.
  • FIG. 3 is for explaining the operation of the image divider and face detector shown in FIG. 1.
  • FIG. 4A and 4B illustrate an operation of an embodiment of the face tracking unit illustrated in FIG. 1.
  • FIG. 5 is a block diagram showing a configuration of a face detector according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of the steel classifier of the embodiment of FIG. 5.
  • FIG. 7 is a block diagram showing a configuration of a face detection apparatus according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a face detection method according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of a face detection apparatus according to an embodiment of the present invention.
  • the face detection apparatus 100 may include an image splitter 110, a resize unit 120-1 to 120-n, a rotation unit 130-1 to 130-n, and a face detector 140-1 to. 140-n), a face tracking unit 150-1 to 150-n, a mode switching unit 160, and a mode switching signal generator 170.
  • the mode switching unit 160 may include switching units 160-1 to 160-n, and each of the switching units 160-1 to 160-n may include switches S1 and S2.
  • the image dividing unit 110 may divide the input image input through an imaging device such as a camera into a predetermined number to generate the divided input images DI1 to DIn.
  • the input image according to the present invention may include a predetermined number of input images (for example, 30) or more input frames for a predetermined time (for example, 1 second).
  • the concept of division may be a concept of actual division, but may be a concept of arithmetic processing as a virtual division.
  • Each of the resizing units 120-1 to 120-n receives each of the input images DI1 to Din divided by the image dividing unit 110, resizes them into a predetermined number of different sized images, and divides and resizes them. Generated images can be generated.
  • Each of the rotating parts 130-1 to 130-n may rotate the divided and resized images by a predetermined number of different angles, thereby generating the divided, resized and rotated images.
  • Each of the face detectors 140-1 to 140-n may receive a divided, resized, and rotated image and perform face detection.
  • the face detection operation may be performed using selected feature patterns, for example, learned by an Adaboost learning algorithm.
  • Each of the face tracking units 150-1 through 150-n may receive a divided input image and track whether a face identical to the detected face image exists in a peripheral area of a location where a face in the divided input image is detected. For example, if a face is detected at a predetermined position of the divided input image of the first frame, each of the face tracking units 150-1 to 150-n uses a block matching method to locate the predetermined position of the divided input image. It may be detected whether the same face as the face image detected in the first frame exists in the area of the second frame corresponding to the surrounding area including the included image.
  • block matching method will be described as an example.
  • present invention is not limited thereto, and various modifications may be assumed, such as by feature tracking.
  • the whole of the predetermined divided area (so-called through the resizing unit 120-1 to 120-n, the rotating unit 130-1 to 130-n, and the face detecting unit 140-1 to 140-n) is called.
  • face tracking In the case of detecting a face using Partial Detection Mode, it may be referred to as face tracking.
  • a face is detected using a separate algorithm such as an Adboost learning algorithm, in the present specification, It is assumed that the block matching or feature point tracking method except the face detection method by the Adaboost learning algorithm is performed by the face tracking units 150-1 to 150-n, and similarly except the face detection method by the Adaboost learning algorithm.
  • the mode using the block matching or feature point tracking method will be referred to as tracking mode.
  • the mode switching signal generator 170 In the mode switching unit 160, the mode switching signal generator 170 generates a partial detection mode signal for the face tracking unit in which the face is not detected among the face tracking units 150-1 to 150-n, or the face detection units.
  • the switch S1 of each of the switching units 160-1 to 160-n is turned off, and the switch ( S2) is turned on to switch to the partial detection mode operation, and the mode switching signal generator 170 indicates that each of the face tracking units 150-1 to 150-n has detected a face by a block matching method or the like.
  • At least one of the face detection units 140-1 to 140-n during a full detection mode (a mode for detecting a face with respect to all the divided regions of the input image. If a face is detected by the detector, the face
  • Each of the switching units 160-1 to 160-n generates a face tracking mode signal indicating that block matching or the like is to be applied to at least one of the detection units 140-1 to 140-n that detects a face.
  • Switch S1 is turned on, the switch S2 is turned off to switch to the face tracking mode operation, and the mode switch signal generator 170 detects a face in all the face detectors 140-1 to 140-n.
  • the full detection mode signal indicating that all divided areas should be detected, or periodically detecting the full detection mode signal regardless of whether or not a face was detected by all the face detection units 140-1 to 140-n. If so, the n switches S1 of the switching units 160-1 to 160-n are all turned off, and the n switches S2 are all turned on to switch to the full detection mode operation.
  • FIG. 2 is a block diagram illustrating a configuration of an embodiment of the resize unit, the rotating unit, and the face detection unit shown in FIG. 1.
  • the resizing unit 120-1 includes m resizers 120-11 to 120-1m
  • the rotating unit 130-1 includes i rotors 130-11 to 130-1i.
  • the face detector 140-1 includes face detectors 140-11 to 140. -1i), j face detectors 140-11 to 140-1j and k face detectors 140-11 to 140-1k.
  • Each of the m resizers 120-11 to 120-1m may adjust the divided input image to different sizes.
  • the resizer 120-11 generates a divided input image having the same size as the input image divided by the image divider 110, and the resizer 120-12 divides the half size.
  • Generated input image, and the resizer 120-1m may generate a divided input image having a size of 1/10.
  • the resizer 120-11 may not perform a resizing operation because it generates a divided input image having the same size.
  • Each of the resize units 120-2 to 120-n of FIG. 1 may be configured using a different number of resizers than the resize unit 120-1 of FIG. 2. It may also be configured using resizers of the same or different magnification as the resizers of 1).
  • the i rotors 130-11 to 130-1i may rotate the divided and resized input image output from the resizer 120-11.
  • rotator 130-11 generates an unrotated split and resized input image
  • rotator 130-12 generates an input image that is split, resized and rotated 45 degrees
  • rotator 130-1i Can generate a split, resized, and rotated -90 degree input image.
  • the j rotors 130-11 to 130-1j may also rotate the divided and resized input image output from the resizer 120-12.
  • the j rotors 130-11 to 130-1j may be configured in the same manner as the i rotors 130-11 to 130-1i, or may be configured to rotate at different numbers of rotation angles. That is, each of the i rotators 130-11 to 130-1 i is divided and resized by inputting a split and resized input image and rotated by 0 degrees, 45 degrees, 90 degrees, -45 degrees, and -90, respectively. And configure each of the j rotors 130-11 to 1j to generate a split, resized, rotated image at 0 degrees, 90 degrees, and -90, respectively, by inputting a split and resized input image. Can be.
  • the k rotors 130-11 to 130-1k may also rotate the divided and resized input image output from the resizer 120-1m, and the k rotors 130-11 to 130-1k It may be configured in the same manner as the i rotors (130-11 ⁇ 130-1i) and j rotors (130-11 ⁇ 130-1j), or may be configured to rotate at a different number of different rotation angles. That is, each of the k rotors 130-11 to 130-1k receives and rotates an input image that is divided and resized, and is divided and resized into 0 degrees, 45 degrees, 90 degrees, -45 degrees, and -90 degrees, respectively.
  • each of the j rotors 130-11 to 1j receives and rotates a divided and resized input image, and is divided and resized and rotated to 0, 90, and -90 respectively.
  • Configured to generate an image and each of the k rotators 130-11 to 130-1k receives and rotates an input image that is split and resized, and is divided and resized and rotated at 0, 45, and -45 degrees, respectively. It can be configured to generate an image.
  • the rotors 130-11 may not perform a rotation operation because they generate a divided and resized input image that is not rotated.
  • Each of the face detectors 140-11-140-1i, 140-11-140-1j, 140-11-140-1k, rotates the rotors 130-11-130-1i, 130-11-130-1j, 130 -11 to 130-1k) face detection may be performed by receiving each of the divided, resized, and rotated input images output from each of them.
  • Each of the face detectors 140-11 to 140-1i, 140-11 to 140-1j, and 140-11 to 140-1k is trained by an Adaboost learning algorithm to perform face detection using the selected feature patterns.
  • Adaboost learning algorithm to perform face detection using the selected feature patterns.
  • the present invention is not limited thereto and various modifications may be assumed.
  • the face detection apparatus of the present invention can detect a face image regardless of the face size by resizing the input image to various sizes, and can detect face images of various postures by rotating at various angles.
  • FIG. 3 is for explaining the operation of the image segmentation unit and the face detection unit shown in FIG. 1,
  • F denotes a frame of an input image inputted directly / indirectly through a camera such as an imaging device, and DI1 to DI5 are shown in FIG.
  • the images divided into five by the image dividing unit 110 are shown.
  • the image divider 110 of FIG. 1 may divide the frame F into five divided images DI1, DI2, DI3, DI4, and DI5, and a face detector corresponding thereto.
  • Each of the cameras 140-1 to 140-5 may receive a sub-window image (a, b, c, ..., d) having a predetermined size applied to each of the divided images to perform a face detection operation.
  • the face detection operation is performed on the divided images DI1, DI2, DI3, DI4, and DI5 by a predetermined size, for example. It may be performed using a sub-window image including pixel data of.
  • the full detection mode operation of the present invention is performed at least once on one frame F or a predetermined number of frames, for example, five divided input images DI1, DI2, DI3, DI4, DI5. It may mean that the face detection operation is performed, and the partial detection (PD) mode operation may mean that the face detection operation is performed on a partly divided input image in one frame (F).
  • FIG. 4A and 4B illustrate an operation of an embodiment of the face tracking unit illustrated in FIG. 1, wherein F1 and F2 represent input images, and F1 represents a frame that is temporally advanced than F2.
  • F1 and F2 may be frames continuously input or may be frames other than at least one frame. If 30 frames are input for a predetermined period (for example, 1 second), F1 and F2 may be temporally adjacent images.
  • the face tracking unit may include a peripheral area of the divided input image DI1 of the frame F2.
  • the block matching operation may be performed with respect to the FAD.
  • the block matching operation is disclosed in detail in Korean Patent No. 10-0970119 published by the applicant of the present invention.
  • the block matching operation disclosed herein may set the peripheral area FAD around the block FA1 where the face of the frame F1 is located.
  • the peripheral area FAD may be set smaller than the area of the divided image A.
  • the frame ( The face image may be searched in the entirety of the corresponding divided input image area DI1 in the frame F3 (not shown) that is later in time than F2).
  • FIG. 5 is a block diagram illustrating a configuration of a face detector according to an exemplary embodiment of the present invention.
  • the face detector 140-11 may include cascaded steel classifiers 200-1 to 200-x.
  • each of the classifiers 200-1 to 200-x is trained by an Adaboost learning algorithm to match a selected feature pattern with a sub-window image of an input image that is divided, resized, and rotated.
  • the similarity may be detected to output a face detection result.
  • the front classifier of the cascaded classifiers 200-1 to 200-x can detect the face using a smaller number of feature patterns selected by learning by the Adaboost learning algorithm than the classifier of the rear classifier.
  • the river classifier 200-1 uses two different feature patterns
  • the river classifier 200-2 uses four different feature patterns
  • the river classifier 200-x uses ten different feature patterns. Different feature patterns may be used.
  • the thresholds of the feature patterns used in the steel classifiers 200-1 to 200-x may be different from each other.
  • the cascaded river classifiers 200-1 to 200-x may generate a detection result indicating that they are faces only when all the river classifiers 200-1 to 200-x are detected as faces.
  • each of the other face detectors 140-12 to 140-1i, 140-11 to 140-1j, and 140-11 to 140-1k may also be configured to be the same as the face detector of FIG. 5.
  • FIG. 6 is a block diagram illustrating a structure of the steel classifier of the embodiment of FIG. 5, and the steel classifier 200-1 may include the weak classifiers 210-1 to 210-y and the determination unit 220. .
  • Each of the classifiers 210-1 to 210-y uses different y feature patterns and inputs and matches sub-window images of the divided, resized, and rotated input images to obtain similarity to detect the face. You can output If the determination unit 220 outputs a detection result indicating that more than a predetermined number (for example, y / 2) of the drug classifiers among the y drug classifiers 210-1 to 210-y are faces, the detection unit 220 is a face indicating detection. You can output the result.
  • a predetermined number for example, y / 2
  • the apparatus 100 for detecting a face illustrated in FIG. 1 may divide an input image into n divided input images and perform a face detection operation on the n divided input images in parallel.
  • the face detection apparatus of the present invention may perform face detection operations on n divided input images in series, which will be described with reference to FIG. 7.
  • FIG. 7 is a block diagram showing a configuration of a face detection apparatus according to another embodiment of the present invention.
  • the face detection apparatus 300 includes an image splitter 110, a resize unit 120, a rotation unit 130, a face detector 140, a face tracking unit 150, and a mode switching unit 160. , And a mode switching signal generator 170.
  • the image dividing unit 110 may sequentially divide the input images input through an imaging device such as a camera into a predetermined number and sequentially output the divided input images.
  • the input images may include a predetermined number (eg, 10) or more frames inputted for a predetermined time (eg, 1 minute).
  • the image divider 110 When the full detection mode signal is generated, the image divider 110 generates all the divided input images for one frame, and when the partial detection mode signal or the face tracking mode signal is generated, the position where the face in the preceding frame is detected. Only the segmented input image to which the position in the trailing frame corresponding to the data belongs may occur.
  • the information about the region of the divided input image in which the face is detected is stored in the controller (not shown), and the divided input image of the next frame corresponding to the region of the detected segmented input image under the control of the controller (not shown). May occur.
  • the resize unit 120 may generate divided and resized input images by applying a predetermined number of different magnifications to the divided input image. Although not shown, 5 magnifications of 0, 1/2, 1/4, 1/8, and 1/16 are applied to the divided image DI1 of FIG. 3 under the control of a controller (not shown). Three divided and resized input images, and three divided and resized input images may be generated by applying three magnifications of 1, 1/4, and 1/16 to each of the divided images DI2 to DI5. have. Of course, the application of the resize magnification can be made equal to DI1.
  • the rotating unit 130 may generate a predetermined number of divided, resized and rotated images by applying a predetermined number of rotation angles to the divided and resized image.
  • five divisions are applied to the divided image DI1 of FIG. 3 under the control of a controller (not shown) by applying five angles of 0 degrees, 45 degrees, 90 degrees, -45 degrees, and -90 degrees.
  • resized, rotated images, and three divided, resized, and rotated images may be generated by applying a rotation angle of, for example, 0 degrees, 90 degrees, and 90 degrees to each of the divided images DI2 to DI5.
  • the application of the rotation angle can be made equal to DI1.
  • the face detectors 140 may receive each of the divided, resized, and rotated images to perform face detection, and the mode switch signal generator 170 may generate a partial detection mode signal for the divided region where the face is detected. have.
  • the face detection operation may be performed using selected feature patterns, for example, learned by an Adaboost learning algorithm.
  • the face tracking unit 150 receives the divided input image and corresponds to the detected position of the face in the divided input image of the next frame corresponding to the detected position of the face in the divided input image of the previous frame. You can track whether a face exists. For example, if a face is detected in the divided input image DI1 in the input image of the first frame, the face tracking unit 150-1 may detect a face in the input image of the first frame using a block matching method. A face identical to the face detected in the input image of the first frame in the peripheral region including the position in the second frame corresponding to the detected position, ie in the peripheral region in the divided input image DI1 in the input image of the second frame You can track if there is.
  • the mode switching unit 160 switches to the face detection operation when the switch S1 is turned off and the switch S2 is turned on, and the switch S1 when the face tracking mode signal is generated. ) Is turned on, and the switch S2 is turned off to switch to face tracking mode operation.
  • the mode switching signal generator 170 periodically detects that the face detection operation of the face detector 140 for all the divided, resized, and rotated input images of the at least one input image indicates that no face is detected. If it is necessary to perform a full detection, a full detection mode signal is generated, and a face tracking operation result of a face tracking operation targeting a predetermined peripheral area in a predetermined segmented input image of the face tracking unit 150 has not detected a face.
  • the mode switch signal generator 170 may generate a partial detection mode signal, and may generate a face tracking mode signal when the face tracking operation result of the face tracking unit 150 indicates that a face is detected.
  • FIG. 8 is a flowchart illustrating a face detection method according to an exemplary embodiment of the present invention.
  • divided frames are obtained in order to generate divided input images (operation 400).
  • divided input images are generated by dividing each of input frames of 30 frames obtained at different times for a predetermined time (eg, 1 second).
  • operation 410 it is determined whether the operation is the complete detection mode.
  • the full detection mode operation may be executed when no face is detected in all the divided input images, or may be periodically performed regardless of whether or not a face is detected.
  • the resizing operation is performed on each of the divided input images of the first frame (operation 420). As described with reference to FIGS. 1 and 7, the magnification and the number of magnifications applied to each of the divided input images may be different.
  • a rotation operation is performed on each of the divided and resized input images.
  • the rotation angle and the number of rotation angles applied to each of the divided and resized input images may be different.
  • a face detection operation is performed on each of the divided, resized, and rotated input images. As can be seen in the description of Figures 1 and 7, it can be performed using feature patterns learned and selected by an Adboost learning algorithm.
  • the process proceeds to steps 400, 410, 450, and 460. If the face tracking mode operation is performed and a face is not detected in all of the divided input images of the first frame as a result of operation 440, steps 400, 410, 420, 430 and In operation 440, the full detection mode operation may be performed on the next input second frame.
  • operation 450 it is determined whether the face tracking mode operation is performed.
  • step 450 when a face is detected in at least one divided input image of the divided input images of the first frame as a result of operation 440, the operation proceeds to step 450. If the operation is determined to be an operation, a face tracking operation is performed on a peripheral area to which a position on a second frame corresponding to the position where the face is detected in the first frame belongs, that is, the peripheral area existing in the corresponding divided input image in the second frame. Perform step 460.
  • the face tracking operation will be easily understood with reference to the description of the face tracking unit 150 of FIGS. 1 and 7.
  • operation 450 If it is determined in operation 450 that the operation is not the face tracking mode operation, it is determined that the operation is in the partial detection mode, and the operation proceeds to operation 470.
  • the divided input image to which the position in the third frame (frame temporally follows the second frame) corresponding to the position where the face is detected in the first frame is included.
  • the resizing operation is performed using the control unit (operation 470).
  • a rotation operation is performed on the divided and resized input images.
  • a face detection operation is performed on the divided and resized rotated input image.
  • the method proceeds to operations 400, 410, 450, and 470 to the divided input image of the next input fourth frame.
  • the partial detection mode operation can be continuously performed.
  • the operation 400, operation 410, operation 450, and operation 460 may be performed.
  • the face tracking mode operation through a block matching method may be performed on a predetermined peripheral area in the specific divided input image of the fourth frame to be input. This will be applicable to the entire specification of the present invention.
  • the input of the fourth frame that is input next is performed by performing operations 400, 410, 420, 430, and 440.
  • Full detection mode operation may be performed on the images.
  • the input images of the first frame and the second frame are input in a chronological order, but do not necessarily mean images that are continuously input.
  • the second frame, the third frame, and the third frame and the fourth frame may be input at different times.
  • the five partial input images (referred to as the first to fifth divided images) included in the first frame are simultaneously subjected to face detection at the same time to perform a full detection mode.
  • the face detection operation may be performed on the first divided image for the first frame
  • the third frame may be performed on the third frame.
  • a full detection mode is performed by performing a face detection operation on the three-split image, performing a face detection operation on the fourth divided image for the fourth frame, and performing a face detection operation on the fifth divided image for the fifth frame.
  • Modifications may be envisioned, such as performing an operation. That is, although the full detection mode operation of the present invention may perform a face detection operation on all the divided images of one frame, the full detection mode operation may be configured, but a predetermined number of frames may be used to display the first to fifth divided images.
  • the full detection mode operation may be performed by performing a face detection operation so as to cover the search area at least once.
  • various modifications can be envisioned.
  • the face detection operation is performed after resizing the input image and rotating the resized input image.
  • the face detection operation can be performed without rotating the resized input image. Therefore, rotating the resized input image is not an essential operation, but an operation that can be selectively applied. That is, the rotating parts of the face detection apparatus of FIGS. 1 and 7 and the rotors of FIG. 2 are not essential components, and steps 430 and 480 of FIG. 8 are not essential steps, and may be selectively included. .
  • the resizing unit, the rotating unit, and the face detecting unit are separately configured, but the face detecting unit may include the resizing unit and the rotating unit.
  • the face detection apparatus is configured to rotate and then resize the input image, or the input image is rotated and then resized.
  • a face detection method may be implemented.
  • the face detection method and apparatus of the present invention perform a full detection mode operation on the entire non-segmented input image, and split the input image only in a face tracking mode operation and a partial detection mode operation which are performed later. And a face detection operation.
  • the input image used in the face detection method and apparatus of the present invention may be an image input in a preview state through the image pickup device.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recommended recording medium may be those specially designed and constructed for the present invention, or may be those known and recommended to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 입력 이미지를 획득하고(입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함), 완전 검출 모드 동작이면 제1프레임에 대하여 얼굴 검출 동작을 수행하고, 얼굴 검출 동작 중 제1프레임 내의 특정 영역에서 얼굴이 검출되면 얼굴 트래킹 모드 동작으로 진행하여 제2프레임을 분할하여 제2프레임의 분할된 입력 이미지들을 발생하고, 제1프레임 내의 특정 영역에 대응하는 제2프레임의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하며, 얼굴 트래킹 동작에서 얼굴이 검출되지 않으면 부분 검출 모드 동작으로 진행하여, 제1프레임 내의 특정 영역에 대응하는 제3프레임 내의 특정 영역이 속한 제3프레임의 분할된 입력 이미지에 대해 리사이즈한 이미지를 대상으로 얼굴 검출 동작을 수행한다.

Description

얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
본 발명은 촬상 소자를 통하여 입력되는 입력 이미지로부터 얼굴이 검출되면 얼굴이 검출된 위치에 대응하는 이후 입력되는 입력 이미지 내의 위치가 속하는 분할된 영역의 일부 또는 전부에 대해서 얼굴 트래킹 모드 동작 또는 부분 검출 모드 동작을 수행하여 얼굴을 검출함으로써 연산량을 줄이면서도 얼굴 검출의 확률을 높이기 위한 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
휴대용 단말기가 소형 경박화됨에 따라 휴대의 편리성이 증가되어 휴대용 단말기의 수요가 점차 증가하고 있다. 이에 따라, 상기 휴대용 단말기에 탑재되는 부가 기능도 다양화되고 있다.
특히, 부가 기능으로 제공되는 디지털 카메라 기능은 최근 들어 사용자들에게 필수 구성 요소로 인식됨에 따라 대부분의 휴대용 단말기에서 제공되고 있는 추세이다.
이와 같은 디지털 카메라 기능은 단순한 사진 촬영 기능 이외에, 카메라를 통하여 입력되는 입력 이미지에서 얼굴 이미지를 검출하는 얼굴 검출 동작을 수행한 후에, 스마일 및 블링크 인식 동작 등과 같은 다양한 인식 동작을 수행하는 기능을 포함할 수도 있다.
그런데, 종래의 얼굴 검출 동작은 프레임들을 다양한 크기로 리사이즈하여, 리사이즈된 프레임들의 모든 이미지에 대하여 얼굴을 검출하였다. 가령, 이와 같은 종래 기술은 Paul Viola와 Michael J. Jones에 의해서 개발되고, 2004년 5월 “International Journal of Computer Vision, Volumn 57, Issue 2”에 공개된 “Robust Real-Time Face Detection”이라는 논문의 섹션 3 이전 단락의 내용에 공개되어 있다. 하지만, 이와 같은 종래 기술에 의하더라도 얼굴 검출 동작은 계산량이 많아 얼굴 검출을 하는데 시간이 오래 걸리게 된다는 문제가 있었다.
본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 소정 시간 구간 동안 시간 순서대로 입력되는 입력 이미지를 각각 소정 개수의 영역으로 분할하여 분할된 영역들 각각에 대한 얼굴 검출 동작을 수행하고 적어도 일부의 분할된 영역에서 얼굴이 검출되면 이후 입력되는 입력 이미지에 대해서는 해당 분할된 영역의 일부 또는 전부에 대해서 얼굴 트랙킹 모드 동작 또는 부분 검출 모드 동작을 수행하여 얼굴을 검출함으로써 얼굴 검출 동작에 걸리는 시간을 감소할 수 있는 것을 다른 목적으로 한다.
본 발명의 일 태양의 방법에 따르면, (a) 입력 이미지를 기설정된 개수의 영역으로 분할하여 분할된 입력 이미지를 발생하는 단계 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함-, (b) 완전 검출 모드 동작이면, 제1프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들을 대상으로 얼굴 검출 동작을 수행하는 단계, (c) 상기 얼굴 검출 동작에서 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지 내의 특정 영역에서 얼굴이 검출되면 얼굴 트래킹 모드 동작으로 진행하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지내의 상기 특정 영역에 대응하는 제2프레임의 분할되고 리사이즈된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 단계, 및 (d) 상기 얼굴 트래킹 동작에서 얼굴이 검출되지 않으면 부분 검출 모드 동작으로 진행하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 상기 특정 영역에 대응하는 제3프레임 내의 특정 영역이 속한 상기 제3프레임 내의 분할되고 리사이즈된 입력 이미지를 대상으로 상기 얼굴 검출 동작을 수행하는 단계를 포함하는 얼굴 검출 방법이 제공된다.
본 발명의 다른 태양의 방법에 따르면, (a) 입력 이미지를 획득하는 단계 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함 -, (b) 완전 검출 모드 동작이면, 제1프레임에 대하여 얼굴 검출 동작을 수행하는 단계, (c) 상기 얼굴 검출 동작 중 상기 제1프레임 내의 특정 영역에서 얼굴이 검출되면 얼굴 트래킹 모드 동작으로 진행하여 제2프레임을 분할하여 제2프레임의 분할된 입력 이미지들을 발생하고, 상기 제1프레임 내의 상기 특정 영역에 대응하는 상기 제2프레임의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 단계, 및 (d) 상기 얼굴 트래킹 동작에서 얼굴이 검출되지 않으면 부분 검출 모드 동작으로 진행하여, 상기 제1프레임 내의 상기 특정 영역에 대응하는 제3프레임 내의 특정 영역이 속한 상기 제3프레임의 분할된 입력 이미지에 대해 리사이즈한 이미지를 대상으로 상기 얼굴 검출동작을 수행하는 단계를 포함하는 얼굴 검출 방법이 제공된다.
본 발명의 일 태양의 장치에 따르면, 입력 이미지를 n개로 분할하여 n개의 분할된 입력 이미지들을 발생하는 이미지 분할부 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함, 제1프레임에 대해 완전 검출 모드 신호가 발생되면, 상기 제1프레임의 상기 n개의 분할된 입력 이미지들 각각을 병렬로 전송하고, 상기 제1프레임에 시간적으로 후행하는 제2프레임에 대해 얼굴 트래킹 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 상기 제2프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하고, 상기 제2프레임에 시간적으로 후행하는 제3프레임에 대해 부분 검출 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하는 모드 전환부, 상기 모드 전환부를 통하여 전송되는 상기 제1프레임 또는 상기 제3프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 얼굴 검출 동작을 수행하여 얼굴을 검출하는 n개의 얼굴 검출부들, 상기 모드 전환부를 통하여 전송되는 상기 제2프레임 내의 상기 분할된 입력 이미지 내의 상기 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 n개의 얼굴 트래킹부들, 및 상기 n개의 얼굴 검출부들이 상기 제1프레임의 n개의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 분할되고 리사이즈된 입력 이미지에서 얼굴이 검출되었음을 나타내면 상기 얼굴 트래킹 모드 신호를 발생하고, 상기 n개의 얼굴 트래킹부들이 상기 제2프레임의 상기 분할된 입력 이미지에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 부분 검출 모드 신호를 발생하는 모드 전환 신호 발생부를 포함하는 얼굴 검출 장치가 제공된다.
본 발명의 다른 태양의 장치에 따르면, 입력 이미지를 기설정된 개수의 영역으로 분할하여 분할된 입력 이미지들을 발생하는 이미지 분할부 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함 -, 제1프레임에 대해 완전 검출 모드 신호가 발생되면, 상기 제1프레임의 상기 분할된 입력 이미지들 각각을 순차적으로 전송하고, 상기 제1프레임에 시간적으로 후행하는 제2프레임에 대해 얼굴 트래킹 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 상기 제2프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 순차적으로 전송하고, 상기 제2프레임에 시간적으로 후행하는 제3프레임에 대해 부분 검출 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 순차적으로 전송하는 모드 전환부, 상기 모드 전환부를 통하여 전송되는 상기 제1프레임 또는 상기 제3프레임 내의 상기 분할된 입력 이미지를 각각 리사이즈하여 얼굴 검출 동작을 수행하여 얼굴을 검출하는 얼굴 검출부, 상기 모드 전환부를 통하여 전송되는 상기 제2프레임 내의 상기 분할된 입력 이미지 내의 상기 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 얼굴 트래킹부, 및 상기 얼굴 검출부가 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 분할되고 리사이즈된 입력 이미지에서 상기 얼굴이 검출되었음을 나타내면 상기 얼굴 트래킹 모드 신호를 발생하고, 상기 얼굴 트래킹부가 상기 제2프레임의 상기 분할된 입력 이미지에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 부분 검출 모드 신호를 발생하는 모드 전환 신호 발생부를 포함하는 얼굴 검출 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 따르면, 입력 이미지에 대한 얼굴 검출 동작을 수행하여 얼굴이 검출되면 이후 입력되는 입력 이미지에 대해서는 입력 이미지 전체에 대해서 얼굴 검출 동작을 수행하지 않고 얼굴이 검출된 위치에 대응하는 이후 입력되는 입력 이미지 내의 위치가 속하는 소정 분할된 영역의 일부 또는 전부에 대해서 얼굴 트래킹 모드 동작 또는 부분 검출 모드 동작을 수행하여 얼굴을 검출함으로써 얼굴 검출 동작에 걸리는 시간을 감소할 수 있다.
또한, 본 발명에 따르면, 얼굴이 검출될 확률이 가장 높은 영역을 중심으로 얼굴 이미지를 최적으로 분할하여, 얼굴 트래킹 동작에 걸리는 시간을 감소시킬 수 있다.
도 1은 본 발명의 일 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 나타낸 리사이즈부, 회전부 및 얼굴 검출부의 일 실시예의 구성을 나타내는 블록도이다.
도 3은 도 1에 나타낸 이미지 분할부 및 얼굴 검출기의 동작을 설명하기 위한 것이다.
도 4a, b는 도 1에 나타낸 얼굴 트래킹부의 일 실시예의 동작을 설명하기 위한 것이다.
도 5는 본 발명의 일 실시예의 얼굴 검출기의 구성을 나타내는 블록도이다.
도 6은 도 5의 일 실시예의 강 분류기의 구성을 나타내는 블록도이다.
도 7은 본 발명의 다른 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 8은 본 발명의 일 실시예의 얼굴 검출 방법을 설명하기 위한 동작 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 얼굴 검출 장치(100)는 이미지 분할부(110), 리사이즈부(120-1 ~ 120-n), 회전부(130-1 ~ 130-n), 얼굴 검출부(140-1 ~ 140-n), 얼굴 트래킹부(150-1 ~ 150-n), 모드 전환부(160), 및 모드 전환 신호 발생부(170)를 포함할 수 있다. 모드 전환부(160)는 스위칭부(160-1 ~ 160-n)를 포함하고, 스위칭부들(160-1 ~ 160-n) 각각은 스위치들(S1, S2)을 포함할 수 있다.
도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
이미지 분할부(110)는 카메라와 같은 촬상 소자를 통하여 입력되는 입력 이미지를 소정 개수로 분할하여 분할된 입력 이미지들(DI1 ~ DIn)을 발생할 수 있다. 본 발명에서 말하는 입력 이미지는 소정 시간(예를 들면, 1초) 동안 입력되는 소정 개수(예를 들면, 30개) 이상의 프레임 단위의 입력 이미지를 포함할 수 있다. 여기서, 분할의 개념은 실제의 분할을 뜻하는 개념일 수도 있지만 가상으로 분할된 것으로서 연산 처리하는 개념일 수도 있을 것임은 물론이라 할 것이다.
리사이즈부들(120-1 ~ 120-n) 각각은 이미지 분할부(110)에 의해서 분할된 입력 이미지들(DI1 ~ Din) 각각을 입력 받아 소정 개수의 서로 다른 크기의 이미지로 리사이즈하여, 분할되고 리사이즈된 이미지들을 발생할 수 있다.
회전부들(130-1 ~ 130-n) 각각은 분할되고 리사이즈된 이미지를 소정 개수의 서로 다른 각도로 회전하여, 분할되고 리사이즈되고 회전된 이미지들을 발생할 수 있다.
얼굴 검출부들(140-1 ~ 140-n) 각각은 분할되고 리사이즈되고 회전된 이미지들 각각을 입력 받아 얼굴 검출 동작을 수행할 수 있다. 얼굴 검출 동작은 예를 들면, 아다부스트 학습 알고리즘에 의해서 학습되어 선택된 특징 패턴들을 이용하여 수행될 수 있다.
얼굴 트래킹부들(150-1 ~ 150-n) 각각은 분할된 입력 이미지를 입력 받아 분할된 입력 이미지 내의 얼굴이 검출된 위치의 주변 영역에 검출된 얼굴 이미지와 동일한 얼굴이 존재하는지를 트래킹할 수 있다. 예를 들면, 만일 첫번째 프레임의 분할된 입력 이미지의 소정 위치에서 얼굴이 검출되었다면, 얼굴 트래킹부(150-1 ~ 150-n) 각각은 블록 매칭 방법을 이용하여 상기 분할된 입력 이미지의 소정 위치를 포함한 주변 영역에 대응되는 두번째 프레임의 영역을 대상으로 첫번째 프레임에서 검출된 얼굴 이미지와 동일한 얼굴이 있는지를 검출할 수 있다.
여기서, 블록 매칭 방법을 예로 들어 설명하겠지만, 반드시 이에 한정되는 것은 아니며, 특징점 추적 방법(feature tracking)에 의할 수도 있는 등 다양한 변형예를 상정할 수 있을 것이다.
한편, 엄밀히 말하면, 리사이즈부(120-1 ~ 120-n), 회전부(130-1 ~ 130-n), 얼굴 검출부(140-1 ~ 140-n)를 거쳐 소정의 분할된 영역의 전체(소위, 부분 검출 모드: Partial Detection Mode)를 대상으로 얼굴을 검출하는 경우에도 결과적으로 얼굴 트래킹이라고 부를 수 있지만, 아다부스트 학습 알고리즘 등의 별도의 알고리즘을 이용하여 얼굴을 검출하고 있으므로, 편의상, 본 명세서에서는 아다부스트 학습 알고리즘 등에 의한 얼굴 검출 방법을 제외한 블록 매칭 또는 특징점 추적 방법이 얼굴 트래킹부(150-1 ~ 150-n)에 의해 수행되는 것으로 생각하고, 마찬가지로 아다부스트 학습 알고리즘 등에 의한 얼굴 검출 방법을 제외한 블록 매칭 또는 특징점 추적 방법을 사용하는 모드를 트래킹 모드라고 칭하기로 한다.
모드 전환부(160)는 모드 전환 신호 발생부(170)가 얼굴 트래킹부들(150-1 ~ 150-n) 중 얼굴이 검출되지 않은 얼굴 트래킹부를 대상으로 부분 검출 모드 신호를 발생하거나, 얼굴 검출부들(140-1 ~ 140-n) 중 얼굴이 검출된 얼굴 검출부를 대상으로 부분 검출 모드 신호를 발생하면, 스위칭부들(160-1 ~ 160-n) 각각의 스위치(S1)이 오프되고, 스위치(S2)가 온되어 부분 검출 모드 동작으로 전환하고, 모드 전환 신호 발생부(170)가 얼굴 트래킹부들(150-1 ~ 150-n) 각각이 블록 매칭 방법 등에 의해 얼굴이 검출되었음을 나타내는 얼굴 트래킹 모드 신호를 발생하거나, 완전 검출 모드(입력 이미지의 모든 분할된 영역을 대상으로 얼굴을 검출하는 모드로서 보다 자세한 내용은 후술함) 동작시 얼굴 검출부들(140-1 ~ 140-n) 중 적어도 하나의 얼굴 검출부에 의해 얼굴이 검출되면 얼굴 검출부들(140-1 ~ 140-n) 중 얼굴을 검출한 적어도 하나의 얼굴 검출부에 대해서는 블록 매칭 등을 적용해야 한다는 얼굴 트래킹 모드 신호를 발생하면, 스위칭부들(160-1 ~ 160-n) 각각의 스위치(S1)가 온되고, 스위치(S2)가 오프되어 얼굴 트래킹 모드 동작으로 전환하고, 모드 전환 신호 발생부(170)가 모든 얼굴 검출부들(140-1 ~ 140-n)에서 얼굴이 검출되지 않았으므로 모든 분할된 영역을 대상으로 검출해야 한다는 완전 검출 모드 신호를 발생하거나, 모든 얼굴 검출부들(140-1 ~ 140-n)에서 얼굴이 검출되지 않았는지에 상관 없이 주기적으로 완전 검출 모드 신호를 발생하면, 스위칭부들(160-1 ~ 160-n)의 n개의 스위치(S1)이 모두 오프되고, n개의 스위치(S2)가 모두 온되어 완전 검출 모드 동작으로 전환할 수 있다.
도 2는 도 1에 나타낸 리사이즈부, 회전부 및 얼굴 검출부의 일 실시예의 구성을 나타내는 블록도이다.
도 2를 참조하면, 리사이즈부(120-1)는 m개의 리사이저들(120-11 ~ 120-1m)을 포함하고, 회전부(130-1)는 i개의 회전기들(130-11 ~ 130-1i), j개의 회전기들(130-11 ~ 130-1j) 및 k개의 회전기들(130-11 ~ 130-1k)을 포함하고, 얼굴 검출부(140-1)은 얼굴 검출기들(140-11 ~ 140-1i), j개의 얼굴 검출기들(140-11 ~ 140-1j) 및 k개의 얼굴 검출기들(140-11 ~ 140-1k)를 포함할 수 있다.
도 2에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
m개의 리사이저들(120-11 ~ 120-1m) 각각은 분할된 입력 이미지를 서로 다른 크기로 조절할 수 있다. 예를 들면, 리사이저(120-11)은 이미지 분할부(110)에 의해서 분할된 입력 이미지와 동일한 크기의 분할된 입력 이미지를 발생하고, 리사이저(120-12)는 1/2 크기의 분할된 입력 이미지를 발생하고, 리사이저(120-1m)는 1/10 크기의 분할된 입력 이미지를 발생할 수 있다. 리사이저(120-11)은 동일한 크기의 분할된 입력 이미지를 발생하므로 리사이즈 동작을 수행하지 않을 수 있다.
도 1의 리사이즈부들(120-2 ~ 120-n) 각각은 도 2의 리사이즈부(120-1)와 다른 개수의 리사이저를 사용하여 구성될 수도 있으며, 또한, 도 2의 리사이즈부(120-1)의 리사이저들과 동일하거나 다른 배율의 리사이저들을 사용하여 구성될 수도 있다.
i개의 회전기들(130-11 ~ 130-1i)는 리사이저(120-11)로부터 출력되는 분할되고 리사이즈된 입력 이미지를 회전할 수 있다. 예를 들면, 회전기(130-11)은 회전하지 않은 분할되고 리사이즈된 입력 이미지를 발생하고, 회전기(130-12)는 분할되고 리사이즈되고 45도 회전된 입력 이미지를 발생하고, 회전기(130-1i)는 분할되고 리사이즈되고 -90도 회전된 입력 이미지를 발생할 수 있다.
j개의 회전기들(130-11 ~ 130-1j) 또한 리사이저(120-12)로부터 출력되는 분할되고 리사이즈된 입력 이미지를 회전할 수 있다. j개의 회전기들(130-11 ~ 130-1j)은 i개의 회전기들(130-11 ~ 130-1i)과 동일하게 구성할 수도 있고, 다른 개수의 다른 회전 각도로 회전하게 구성할 수도 있다. 즉, i개의 회전기들(130-11 ~ 130-1i) 각각이 분할되고 리사이즈된 입력 이미지를 입력하여 분할되고 리사이즈되고 0도, 45도, 90도, -45도, -90로 각각 회전된 이미지를 발생하도록 구성하고, j개의 회전기들(130-11 ~ 1j) 각각이 분할되고 리사이즈된 입력 이미지를 입력하여 분할되고 리사이즈되고 0도, 90도, -90로 각각 회전된 이미지를 발생하도록 구성할 수 있다.
k개의 회전기들(130-11 ~ 130-1k) 또한 리사이저(120-1m)으로부터 출력되는 분할되고 리사이즈된 입력 이미지를 회전할 수 있으며, k개의 회전기들(130-11 ~ 130-1k)은 i개의 회전기들(130-11 ~ 130-1i) 및 j개의 회전기들(130-11 ~ 130-1j)과 동일하게 구성할 수도 있고, 다른 개수의 다른 회전 각도로 회전하게 구성할 수도 있다. 즉, k개의 회전기들(130-11 ~ 130-1k) 각각이 분할되고 리사이즈된 입력 이미지를 입력 받아 회전하여, 분할되고 리사이즈되고 0도, 45도, 90도, -45도, -90로 각각 회전된 이미지를 발생하도록 구성하고, j개의 회전기들(130-11 ~ 1j) 각각이 분할되고 리사이즈된 입력 이미지를 입력 받아 회전하여, 분할되고 리사이즈되고 0도, 90도, -90로 각각 회전된 이미지를 발생하도록 구성하고, k개의 회전기들(130-11 ~ 130-1k) 각각이 분할되고 리사이즈된 입력 이미지를 입력 받아 회전하여, 분할되고 리사이즈되고 0도, 45도, -45도로 각각 회전된 이미지를 발생하도록 구성할 수 있다.
여기서, 회전기들(130-11)은 회전하지 않은 분할되고 리사이즈된 입력 이미지를 발생하므로 회전 동작을 수행하지 않을 수 있다.
얼굴 검출기들(140-11 ~ 140-1i, 140-11 ~ 140-1j, 140-11 ~ 140-1k) 각각은 회전기들(130-11 ~ 130-1i, 130-11 ~ 130-1j, 130-11 ~ 130-1k) 각각으로부터 출력되는 분할되고 리사이즈되고 회전된 입력 이미지들 각각을 입력 받아 얼굴 검출 동작을 수행할 수 있다.
얼굴 검출기들(140-11 ~ 140-1i, 140-11 ~ 140-1j, 140-11 ~ 140-1k) 각각은 아다부스트 학습 알고리즘에 의해서 학습되어 선택된 특징 패턴들을 이용하여 얼굴 검출 동작을 수행할 수 있지만 반드시 이에 한정되는 것은 아니며 다양한 변형예를 상정할 수 있을 것이다.
본 발명의 얼굴 검출 장치는 입력 이미지를 다양한 크기로 리사이즈함에 의해서 얼굴 크기에 상관없이 얼굴 이미지를 검출할 수 있고, 다양한 각도로 회전함에 의해서 다양한 자세의 얼굴 이미지를 검출할 수 있다.
도 3은 도 1에 나타낸 이미지 분할부 및 얼굴 검출부의 동작을 설명하기 위한 것으로, F는 촬상 소자와 같은 카메라를 통하여 직접/간접적으로 입력되는 입력 이미지의 프레임을 나타내고, DI1 ~ DI5는 도 1에 나타낸 이미지 분할부(110)에 의해서 5개로 분할된 이미지들을 나타낸다.
도 3을 참조하면, 도 1의 이미지 분할부(110)는 프레임(F)를 가령 5개의 분할된 이미지들(DI1, DI2, DI3, DI4, DI5)로 분할할 수 있고, 이에 대응되는 얼굴 검출부들(140-1 ~ 140-5) 각각은 분할된 이미지들 각각에 대해 적용되는 소정 크기의 서브 윈도우 이미지(a, b, c, …, d)를 수신하여 얼굴 검출 동작을 수행할 수 있다. 얼굴 검출 동작은 분할된 이미지들(DI1, DI2, DI3, DI4, DI5)을 대상으로 소정 크기, 예를 들면
Figure PCTKR2012009157-appb-I000001
의 화소 데이터를 포함하는 서브 윈도우 이미지를 이용하여 수행할 수 있다.
그리고, 분할된 입력 이미지들 중 얼굴이 있을 가능성이 높은 가운데 영역에 위치하는 분할된 입력 이미지(DI1)에 대해서 얼굴이 있을 가능성이 낮은 분할된 입력 이미지들(DI2 ~ DI4)보다 많은 개수의 배율 및/또는 회전 각도를 적용하여 리사이즈 및/또는 회전 동작을 수행할 수도 있을 것이다.
본 발명의 완전 검출(FD; full detection) 모드 동작은 하나의 프레임(F) 또는 소정 개수의 프레임 내의 가령 5개의 분할된 입력 이미지들(DI1, DI2, DI3, DI4, DI5)을 대상으로 최소 한번 얼굴 검출 동작을 수행하는 것을 의미할 수 있으며, 부분 검출(PD; partial detection) 모드 동작은 하나의 프레임(F) 내의 일부 분할된 입력 이미지를 대상으로 얼굴 검출 동작을 수행하는 것을 의미할 수 있다.
도 4a, b는 도 1에 나타낸 얼굴 트래킹부의 일 실시예의 동작을 설명하기 위한 것으로, F1, F2는 입력 이미지를 나타내는 것으로, F1이 F2에 비해서 시간적으로 앞서는 프레임을 나타낸다. F1과 F2는 연속적으로 입력되는 프레임일 수도 있으나, 적어도 하나의 프레임을 제외한 프레임일 수도 있다. 소정 기간(예를 들면, 1초) 동안 30개의 프레임이 입력된다고 하면, F1과 F2는 시간적으로 인접하는 이미지일 수 있다.
만일, 프레임(F1)에 대하여 얼굴 검출 동작을 수행하여 분할된 입력 이미지(DI1)의 블럭(FA1)에서 얼굴이 검출되었다면, 얼굴 트래킹부는 프레임(F2)의 분할된 입력 이미지(DI1)의 주변 영역(FAD)에 대해서 블록 매칭 동작 등을 수행할 수 있다. 이와 같이 블록 매칭을 수행함에 의해서 시간적으로 인접한 프레임에 포함되어 있는 얼굴 이미지를 계속적으로 추적할 수 있다.
블럭 매칭 동작은 본 발명의 출원인에 의해서 공개된 국내 등록특허번호 제10-0970119호에 자세하게 공개되어 있다. 여기에 공개되어 있는 블록 매칭 동작은 프레임(F1)의 얼굴이 위치한 블록(FA1)을 중심으로 주변에 주변 영역(FAD)를 설정할 수 있다. 주변 영역(FAD)은 분할된 이미지(A)의 영역보다 작게 설정할 수 있다.
그리고, 프레임(F2)의 주변 영역(FAD) 내에서 프레임(F1)의 블럭(FA1)의 얼굴 이미지와 일치하는 이미지를 갖는 블록(FA2)를 탐색하기 위하여, 주변 영역(FAD) 내의 모든 또는 일부 블록과 비교하여 가장 일치하는 블록인 블록(FA2)를 찾을 수 있다.
이에 따라, 얼굴이 블록(FA1)으로부터 블록(FA2)로 이동하였음을 추적할 수 있다.
만일 도 4a, b의 블록 매칭 동작에 의해서 프레임(F2) 내의 주변 영역(FAD)에서 프레임(F1)에서 검출된 얼굴 이미지와 동일한 얼굴 이미지를 탐색할 수 없는 경우에는 부분 검출 모드 동작에 의해서 프레임(F2)보다 시간적으로 후행하는 프레임(F3)(미도시) 내의 대응되는 분할된 입력 이미지(DI1) 영역의 전체에서 얼굴 이미지를 탐색할 수 있다.
도 5는 본 발명의 일 실시예의 얼굴 검출기의 구성을 나타내는 블록도로서, 얼굴 검출기(140-11)는 종속 연결된 x개의 강 분류기들(200-1 ~ 200-x)을 포함할 수 있다.
도 5를 참조하면, 강 분류기들(200-1 ~ 200-x) 각각은 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들과 분할되고 리사이즈되고 회전된 입력 이미지의 서브 윈도우 이미지와의 매칭을 하여 유사도를 검출하여 얼굴 검출 결과를 출력할 수 있다.
종속 연결된 강분류기들(200-1 ~ 200-x)의 전단의 강 분류기는 후단의 강 분류기에 비해서 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 보다 적은 갯수의 특징 패턴들을 이용하여 얼굴을 검출할 수 있다. 예를 들면, 강 분류기(200-1)은 2개의 서로 다른 특징 패턴들을 이용하고, 강 분류기(200-2)는 4개의 서로 다른 특징 패턴들을 이용하고, 강 분류기(200-x)은 10개의 서로 다른 특징 패턴들을 이용할 수 있다. 그리고, 강 분류기들(200-1 ~ 200-x) 각각에 이용되는 특징 패턴들 각각의 문턱값은 서로 다를 수 있다.
종속 연결된 강 분류기들(200-1 ~ 200-x)은 모든 강 분류기들(200-1 ~ 200-x)가 얼굴임을 검출해야만 얼굴임을 나타내는 검출 결과를 발생할 수 있다.
도시하지는 않았지만, 다른 얼굴 검출기들(140-12 ~ 140-1i, 140-11 ~ 140-1j, 140-11 ~ 140-1k) 각각 또한 도 5의 얼굴 검출기와 동일하게 구성될 수 있다.
도 6은 도 5의 일 실시예의 강 분류기의 구성을 나타내는 블록도로서, 강 분류기(200-1)는 약 분류기들(210-1 ~ 210-y) 및 판단부(220)를 포함할 수 있다.
약 분류기들(210-1 ~ 210-y) 각각은 서로 다른 y개의 특징 패턴들을 이용하고, 분할되고 리사이즈되고 회전된 입력 이미지의 서브 윈도우 이미지를 입력하여 매칭하여 유사도를 구하여 얼굴 여부를 나타내는 검출 결과를 출력할 수 있다. 판단부(220)는 y개의 약 분류기들(210-1 ~ 210-y)중 소정 개수(예를 들면, y/2개)이상의 약 분류기들이 얼굴임을 나타내는 검출 결과를 출력하면, 얼굴임을 나타내는 검출 결과를 출력할 수 있다.
도 1에 나타낸 얼굴 검출 장치(100)는 입력 이미지를 n개의 분할된 입력 이미지로 나누어, n개의 분할된 입력 이미지에 대한 얼굴 검출 동작을 병렬로 수행할 수 있다. 그러나, 본 발명의 얼굴 검출 장치는 n개의 분할된 입력 이미지에 대한 얼굴 검출 동작을 직렬로 수행할 수도 있으며, 이에 대해서는 도 7을 참조로 설명한다.
도 7은 본 발명의 다른 실시예의 얼굴 검출 장치의 구성을 나타내는 블록도이다.
도 7을 참조하면, 얼굴 검출 장치(300)는 이미지 분할부(110), 리사이즈부(120), 회전부(130), 얼굴 검출부(140), 얼굴 트래킹부(150), 모드 전환부(160), 및 모드 전환 신호 발생부(170)를 포함할 수 있다.
도 7에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
이미지 분할부(110)는 카메라와 같은 촬상 소자를 통하여 입력되는 입력 이미지를 소정 개수로 분할하여 분할된 입력 이미지들을 순차적으로 출력할 수 있다. 입력 이미지들은 소정 시간(예를 들면, 1분) 동안 입력되는 소정 개수(예를 들면, 10개) 이상의 프레임을 포함할 수 있다. 이미지 분할부(110)는 완전 검출 모드 신호가 발생되면, 하나의 프레임에 대한 모든 분할된 입력 이미지들을 발생하고, 부분 검출 모드 신호 또는 얼굴 트래킹 모드 신호가 발생되면, 선행 프레임 내의 얼굴이 검출된 위치에 대응하는 후행 프레임 내의 위치가 속한 분할된 입력 이미지만을 발생할 수 있다. 얼굴이 검출된 분할된 입력 이미지의 영역에 대한 정보는 제어부(미도시)에 저장되고, 제어부(미도시)의 제어 하에 해당 검출된 분할된 입력 이미지의 영역에 대응하는 다음 프레임의 분할된 입력 이미지를 발생할 수 있다.
리사이즈부(120)는 분할된 입력 이미지에 소정 개수의 서로 다른 배율을 적용하여 분할되고 리사이즈된 입력 이미지들을 발생할 수 있다. 그리고, 도시하지는 않았지만, 제어부(미도시)의 제어 하에 도 3의 분할된 이미지(DI1)에는 가령 0, 1/2, 1/4, 1/8, 1/16의 5개의 배율을 적용하여 5개의 분할되고 리사이즈된 입력 이미지들을 발생하고, 분할된 이미지들(DI2 ~ DI5) 각각에는 가령 1, 1/4, 1/16의 3개의 배율을 적용하여 3개의 분할되고 리사이즈된 입력 이미지들을 발생할 수 있다. 물론, 리사이즈 배율의 적용을 DI1과 같게 할 수도 있음은 물론이라 할 것이다.
회전부(130)는 분할되고 리사이즈된 이미지에 소정 개수의 회전 각도를 적용하여 소정 개수의 분할되고 리사이즈되고 회전된 이미지들을 발생할 수 있다. 그리고, 도시하지는 않았지만, 제어부(미도시)의 제어 하에 도 3의 분할된 이미지(DI1)에는 가령 0도, 45도, 90도, -45도, -90도의 5개의 각도를 적용하여 5개의 분할되고 리사이즈되고 회전된 이미지를 발생하고, 분할된 이미지들(DI2 ~ DI5) 각각에는 가령 0도, 90도 -90도의 회전 각도를 적용하여 3개의 분할되고 리사이즈되고 회전된 이미지를 발생할 수 있다. 물론, 회전 각도의 적용을 DI1과 같게 할 수도 있음은 물론이라 할 것이다.
얼굴 검출부들(140)은 분할되고 리사이즈되고 회전된 이미지들 각각을 입력받아 얼굴 검출 동작을 수행하고 모드 전환 신호 발생부(170)는 얼굴이 검출된 분할된 영역에 대해서는 부분 검출 모드 신호를 발생할 수 있다. 얼굴 검출 동작은 예를 들면, 아다부스트 학습 알고리즘에 의해서 학습되어 선택된 특징 패턴들을 이용하여 수행될 수 있다.
얼굴 트래킹부(150)은 분할된 입력 이미지를 입력 받아 이전 프레임의 분할된 입력 이미지 내의 얼굴이 검출된 위치에 대응되는 이후 프레임의 분할된 입력 이미지 내의 위치가 속하는 주변 영역에 검출된 얼굴 이미지와 동일한 얼굴이 존재하는지를 트래킹할 수 있다. 예를 들면, 만일 제1프레임의 입력 이미지 내의 분할된 입력 이미지(DI1)에서 얼굴이 검출되었다면, 얼굴 트래킹부(150-1)는 블록 매칭 방법 등을 이용하여 제1프레임의 입력 이미지에서 얼굴이 검출되었던 위치에 대응되는 제2프레임 내의 위치를 포함하는 주변 영역, 즉 제2프레임의 입력 이미지 내의 분할된 입력 이미지(DI1) 내의 상기 주변 영역에서 제1프레임의 입력 이미지에서 검출된 얼굴과 동일한 얼굴이 있는지를 트래킹할 수 있다.
모드 전환부(160)는 완전 검출 모드 신호 또는 부분 검출 모드 신호가 발생되면 스위치(S1)이 오프되고 스위치(S2)가 온되어 얼굴 검출 동작으로 전환하고, 얼굴 트래킹 모드 신호가 발생되면 스위치(S1)이 온되고, 스위치(S2)가 오프되어 얼굴 트래킹 모드 동작으로 전환할 수 있다.
모드 전환 신호 발생부(170)는 적어도 하나의 입력 이미지의 분할되고 리사이즈되고 회전된 입력 이미지들 모두에 대한 얼굴 검출부(140)의 얼굴 검출 동작 결과가 모두 얼굴이 검출되지 않았음을 나타내는 경우 및 주기적으로 완전 검출을 수행해야 할 필요가 있는 경우 완전 검출 모드 신호를 발생하고, 얼굴 트래킹부(150)의 소정 분할된 입력 이미지 내의 소정 주변 영역을 대상으로 한 얼굴 트래킹 동작 결과가 얼굴이 검출되지 않았음을 나타내면 모드 전환 신호 발생부(170)는 부분 검출 모드 신호를 발생하고, 얼굴 트래킹부(150)의 얼굴 트래킹 동작 결과가 얼굴이 검출되었음을 나타내면 얼굴 트래킹 모드 신호를 발생할 수 있다.
도 8은 본 발명의 일 실시예의 얼굴 검출 방법을 설명하기 위한 동작 흐름도이다.
먼저, 순서대로 획득되는 프레임을 각각 분할하여 분할된 입력 이미지들을 발생한다(제400단계). 예를 들면, 소정 시간(예를 들면, 1초) 동안 서로 다른 시각에 획득되는 30개의 프레임의 입력 이미지들 각각을 분할하여 분할된 입력 이미지들을 발생한다.
완전 검출 모드 동작인지를 판단한다(제410단계). 완전 검출 모드 동작은 모든 분할된 입력 이미지 내에서 얼굴이 검출되지 않았을 경우에 실행되거나, 얼굴 검출 여부와 상관 없이 주기적으로 실행될 수 있다.
만일 완전 검출 모드 동작이면, 제1프레임의 분할된 입력 이미지들 각각에 대하여 리사이즈 동작을 수행한다(제420단계). 도 1 및 도 7에 관한 설명에서와 같이, 분할된 입력 이미지들 각각에 적용되는 배율 및 배율의 개수는 서로 다를 수 있다.
분할되고 리사이즈된 입력 이미지들 각각에 대하여 회전 동작을 수행한다(제430단계). 도 1 및 도 7에 관한 설명에서와 같이, 분할되고 리사이즈된 입력 이미지들 각각에 대하여 적용되는 회전 각도 및 회전 각도의 개수는 서로 다를 수 있다.
분할되고 리사이즈되고 회전된 입력 이미지들 각각에 대하여 얼굴 검출 동작을 수행한다(제440단계). 도 1 및 도 7에 관한 설명에서와 같이, 아다부스트 학습 알고리즘에 의해서 학습되고 선택된 특징 패턴들을 이용하여 수행될 수 있다.
만일 제440단계의 동작 결과, 제1프레임의 분할된 입력 이미지들 중 적어도 하나의 분할된 입력 이미지에서 얼굴이 검출되었으면, 제400단계, 제410단계, 제450단계, 및 제460단계로 진행하여 얼굴 트래킹 모드 동작을 수행하고, 제440단계의 동작 결과, 제1프레임의 분할된 입력 이미지들 모두에서 얼굴이 검출되지 않았으면, 다시 제400단계, 제410단계, 제420단계, 제430단계 및 제440단계로 진행하여 다음 입력되는 제2프레임에 대해서 완전 검출 모드 동작을 수행할 수 있다.
얼굴 트래킹 모드 동작인지를 판단한다(제450단계).
앞서 설명했듯이, 제440단계의 동작 결과, 제1프레임의 분할된 입력 이미지들 중 적어도 하나의 분할된 입력 이미지에서 얼굴이 검출되면 제450단계로 진행하고, 제450단계의 판단 결과, 얼굴 트래킹 모드 동작인 것으로 판단되면, 제1프레임 내에서 얼굴이 검출된 위치에 대응하는 제2프레임 상의 위치가 속하는 주변 영역, 즉 제2프레임 내의 해당 분할된 입력 이미지 내에 존재하는 상기 주변 영역에 대하여 얼굴 트래킹 동작을 수행한다(제460단계). 얼굴 트래킹 동작은 도 1 및 도 7의 얼굴 트래킹부(150)에 관한 설명을 참고로 하면 쉽게 이해될 것이다.
만일 제450단계의 판단 결과, 얼굴 트래킹 모드 동작이 아닌 것으로 판단되면, 부분 검출 모드 동작인 것으로 판단하고, 제470단계로 진행한다.
만일 제450단계의 판단 결과, 부분 검출 모드 동작이면, 제1프레임 내에서 얼굴이 검출된 위치에 대응하는 제3프레임(제2프레임보다 시간적으로 후행하는 프레임) 내의 위치가 속한 분할된 입력 이미지를 이용하여 리사이즈 동작을 수행한다(제470단계).
분할되고 리사이즈된 입력 이미지들에 대하여 회전 동작을 수행한다(제480단계).
분할되고 리사이즈된 회전된 입력 이미지에 대하여 얼굴 검출 동작을 수행한다(제490단계).
만일 제490단계의 동작 수행 결과, 분할된 입력 이미지에서 얼굴이 검출되었으면, 제400단계, 제410단계, 제450단계, 및 제470단계로 진행하여 다음 입력되는 제4프레임의 분할된 입력 이미지에 대해서도 부분 검출 모드 동작을 계속적으로 수행할 수 있다. 여기서, 다른 예로서, 만일 제490단계의 동작 수행 결과, 제3프레임의 특정 분할된 입력 이미지에서 얼굴이 검출되었으면, 제400단계, 제410단계, 제450단계, 및 제460단계를 진행하여 다음 입력되는 제4프레임의 상기 특정 분할된 입력 이미지 내의 소정 주변 영역에 대해서 블록 매칭 방법 등을 통한 얼굴 트래킹 모드 동작을 수행할 수도 있을 것이다. 이러한 내용은 본 발명의 명세서 전체에 적용될 수 있다 할 것이다. 그리고, 만일 제490단계의 동작 수행 결과, 얼굴이 검출되지 않았으면, 제400단계, 제410단계, 제420단계, 제430단계, 제440단계를 진행하여 다음 입력되는 제4프레임의 분할된 입력 이미지들에 대하여 완전 검출 모드 동작을 수행할 수 있다.
제1프레임 및 제2프레임의 입력 이미지는 시간적인 순서로 입력되는 것을 의미하나, 반드시 연속적으로 입력되는 이미지를 의미하는 것은 아니다. 마찬가지로, 제2프레임과 제3프레임 그리고 제3프레임과 제4프레임은 서로 다른 시점에 입력되는 것을 의미한다. 만일 30개의 프레임의 입력 이미지가 입력되는 경우에, 제1프레임에 포함된 다섯 개의 분할 입력 이미지(제1 내지 제5분할 이미지로 지칭)에 대해서는 같은 시각에 동시에 얼굴 검출 동작을 수행하여 완전 검출 모드 동작을 수행할 수도 있고, 이와는 달리 제1프레임에 대해서는 제1분할 이미지에 대해 얼굴 검출 동작을 수행하고 제2프레임에 대해서는 제2분할 이미지에 대해 얼굴 검출 동작을 수행하고, 제3프레임에 대해서는 제3분할 이미지에 대해 얼굴 검출 동작을 수행하고, 제4프레임에 대해서는 제4분할 이미지에 대해 얼굴 검출 동작을 수행하고, 제5프레임에 대해서 제5분할 이미지에 대해 얼굴 검출 동작을 수행하여 완전 검출 모드 동작을 수행할 수도 있는 등 변형예를 상정할 수 있을 것이다. 즉, 본 발명의 완전 검출 모드 동작은 하나의 프레임의 모든 분할된 이미지들에 대해서 얼굴 검출 동작을 수행하여 완전 검출 모드 동작을 구성할 수도 있지만, 소정 개수의 프레임들이 제1 내지 제5분할 이미지를 최소 한번씩 검색 영역으로서 커버할 수 있도록 얼굴 검출 동작을 수행하여 완전 검출 모드 동작을 수행할 수도 있다. 물론, 이 이외에도 다양한 변형예를 상정할 수 있을 것이다.
한편, 상술한 실시예들에서, 입력 이미지를 리사이즈하고, 리사이즈된 입력 이미지를 회전한 후에 얼굴 검출 동작을 수행하는 것으로 설명하였으나, 리사이즈된 입력 이미지를 회전하지 않고 얼굴 검출 동작을 수행할 수 있으며, 따라서, 리사이즈된 입력 이미지를 회전하는 것은 필수적인 동작이 아니며, 선택적으로 적용할 수 있는 동작이다. 즉, 도 1 및 도 7의 얼굴 검출 장치의 회전부들 및 도 2의 회전기들은 필수적인 구성이 아니며, 도 8의 제430단계 및 제480단계는 필수적인 단계가 아니며, 선택적으로 포함될 수 있는 구성 및 단계이다.
그리고, 상술한 도 1 및 7에서, 리사이즈부, 회전부, 및 얼굴 검출부가 별도로 구성되는 것으로 도시하였지만, 얼굴 검출부가 리사이즈부 및 회전부를 포함하여 구성될 수도 있다.
또한, 상술한 실시예들에서, 입력 이미지를 리사이즈하고 난 후, 회전하는 것으로 설명하였으나, 입력 이미지를 회전하고 나서 리사이즈하도록 얼굴 검출 장치를 구성하거나, 입력 이미지를 회전하고 나서 리사이즈하는 단계를 수행하도록 얼굴 검출 방법을 구현할 수도 있다.
또한, 추가적으로, 본 발명의 얼굴 검출 방법 및 장치는 완전 검출 모드 동작을 분할되지 않은 전체 입력 이미지에 대하여 수행하고, 이후 수행되는 얼굴 트래킹 모드 동작 및 부분 검출 모드 동작에서만 입력 이미지를 분할하여 얼굴 트래킹 동작 및 얼굴 검출 동작을 수행하도록 구현할 수도 있다.
그리고, 본 발명의 얼굴 검출 방법 및 장치에서 사용되는 입력 이미지는 촬상 소자를 통하여 프리뷰(preview) 상태로 입력되는 이미지일 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (50)

  1. (a) 입력 이미지를 기설정된 개수의 영역으로 분할하여 분할된 입력 이미지를 발생하는 단계 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함 -;
    (b) 완전 검출 모드 동작이면, 제1프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들을 대상으로 얼굴 검출 동작을 수행하는 단계;
    (c) 상기 얼굴 검출 동작에서 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지 내의 특정 영역에서 얼굴이 검출되면 얼굴 트래킹 모드 동작으로 진행하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 상기 특정 영역에 대응하는 제2프레임의 분할되고 리사이즈된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 단계; 및
    (d) 상기 얼굴 트래킹 동작에서 얼굴이 검출되지 않으면 부분 검출 모드 동작으로 진행하여 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 상기 특정 영역에 대응하는 제3프레임 내의 특정 영역이 속한 상기 제3프레임 내의 분할되고 리사이즈된 입력 이미지를 대상으로 상기 얼굴 검출 동작을 수행하는 단계를 포함하는 얼굴 검출 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는
    상기 제1프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하고 회전하여 상기 제1프레임의 분할되고 리사이즈되고 회전된 입력 이미지들을 대상으로 상기 얼굴 검출 동작을 수행하고,
    상기 (d) 단계는
    상기 제1프레임의 분할된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속한 상기 제3프레임 내의 분할된 입력 이미지를 리사이즈하고 회전하여 상기 제3프레임내의 분할되고 리사이즈되고 회전된 입력 이미지를 대상으로 상기 얼굴 검출동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  3. 제1항에 있어서,
    상기 (a) 단계는
    상기 각 프레임의 분할된 입력 이미지들 중 하나의 분할된 입력 이미지가 상기 각 프레임의 중앙에 위치하도록 하는 것을 특징으로 하는 얼굴 검출 방법.
  4. 제3항에 있어서,
    상기 (b) 단계는
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 대해서 적용된 리사이즈 배율 종류의 개수 또는 회전 각도 종류의 개수보다 많은 리사이즈 배율 종류의 개수 또는 회전 각도 종류의 개수를 적용하는 것을 특징으로 하는 얼굴 검출 방법.
  5. 제1항에 있어서,
    상기 (d) 단계의 상기 얼굴 검출 동작에서 상기 제3프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지에서 얼굴이 검출되지 않으면, 상기 완전 검출 모드 동작으로 진행하여, 제4프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 상기 분할되고 리사이즈된 입력 이미지들을 대상으로 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  6. 제1항에 있어서,
    상기 (d) 단계의 상기 얼굴 검출 동작에서 상기 제3프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지에서 얼굴이 검출되면, 상기 얼굴 트래킹 모드 동작으로 진행하여 상기 제3프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 제4프레임 내의 분할되고 리사이즈된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 상기 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  7. 제1항에 있어서
    상기 (c) 단계의 상기 얼굴 트래킹 동작에서 얼굴이 검출되면, 상기 얼굴 트래킹 모드 동작를 계속적으로 진행하여 상기 제2프레임의 분할되고 리사이즈된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 특정 영역에 대응하는 제2-A프레임 - 상기 제2-A프레임은 상기 제2프레임보다 시간적으로 후행하고 상기 제3프레임에 비해서 시간적으로 선행하여 입력됨 - 의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  8. 제1항에 있어서,
    상기 (b) 단계는
    상기 제1프레임에 비해서 시간적으로 후행하는 상기 제2프레임에 비해서 시간적으로 선행하되 상기 제1프레임보다는 후행하여 입력되는 적어도 하나의 추가 프레임의 상기 입력 이미지 내의 분할된 입력 이미지들 중 상기 제1프레임 내의 얼굴이 검출되지 않은 분할된 입력 이미지에 대응하는 적어도 하나의 상기 추가 프레임의 분할된 입력 이미지들을 대상으로 리사이즈하여 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  9. 제1항에 있어서,
    상기 완전 검출 모드 동작은
    주기적으로 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  10. 제1항에 있어서,
    상기 얼굴 트래킹 동작은
    상기 주변 영역의 이미지에 대하여 블록 매칭 동작을 수행하여, 상기 (b) 단계의 상기 얼굴 검출 동작에서 검출된 얼굴 이미지와 동일한 얼굴 이미지를 가지는 블록을 트래킹하는 것을 특징으로 하는 얼굴 검출 방법.
  11. 제1항에 있어서,
    상기 완전 검출 모드 동작 및 상기 부분 검출 모드 동작에서의 상기 얼굴 검출 동작은
    아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 이용하여 상기 얼굴 이미지를 검출하는 것을 특징으로 하는 얼굴 검출 방법.
  12. (a) 입력 이미지를 획득하는 단계 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함 -;
    (b) 완전 검출 모드 동작이면, 제1프레임에 대하여 얼굴 검출 동작을 수행하
    는 단계;
    (c) 상기 얼굴 검출 동작 중 상기 제1프레임 내의 특정 영역에서 얼굴이 검출되면 얼굴 트래킹 모드 동작으로 진행하여 제2프레임을 분할하여 제2프레임의 분할된 입력 이미지들을 발생하고, 상기 제1프레임 내의 상기 특정 영역에 대응하는 상기 제2프레임의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 단계; 및
    (d) 상기 얼굴 트래킹 동작에서 얼굴이 검출되지 않으면 부분 검출 모드 동작으로 진행하여, 상기 제1프레임 내의 상기 특정 영역에 대응하는 제3프레임 내의 특정 영역이 속한 상기 제3프레임의 분할된 입력 이미지에 대해 리사이즈한 이미지를 대상으로 상기 얼굴 검출 동작을 수행하는 단계를 포함하는 얼굴 검출 방법.
  13. 제12항에 있어서,
    상기 (d) 단계는
    상기 제3프레임의 분할된 입력 이미지들 중 상기 얼굴이 검출된 적어도 하나의 입력 이미지 내의 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속한 상기 제3프레임 내의 분할된 입력 이미지를 리사이즈하고 회전하여 상기 제3프레임의 분할되고 리사이즈되고 회전된 입력 이미지를 대상으로 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  14. 제12항에 있어서,
    상기 각 프레임의 분할된 입력 이미지들 중 하나의 분할된 입력 이미지가 상기 각 프레임의 중앙에 위치하도록 하는 것을 특징으로 하는 얼굴 검출 방법.
  15. 제14항에 있어서,
    상기 (d) 단계는
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 대해서 적용된 리사이즈 배율 종류의 개수 또는 회전 각도 종류의 개수보다 많은 리사이즈 배율 종류의 개수 또는 회전 각도 종류의 개수를 적용하는 것을 특징으로 하는 얼굴 검출 방법.
  16. 제12항에 있어서,
    상기 (d) 단계의 상기 얼굴 검출 동작에서 상기 제3프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지에서 얼굴이 검출되지 않으면, 상기 완전 검출 모드 동작으로 진행하여, 제4프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 상기 리사이즈되고 분할된 입력 이미지들을 대상으로 상기 얼굴 검출 동작을 수행하는 는 것을 특징으로 하는 얼굴 검출 방법.
  17. 제12항에 있어서,
    상기 (d) 단계의 상기 얼굴 검출 동작에서 상기 제3프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지에서 얼굴이 검출되면, 상기 얼굴 트래킹 모드 동작으로 진행하여 상기 제3프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 제4프레임 내의 분할되고 리사이즈된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 상기 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  18. 제12항에 있어서,
    상기 (c) 단계의 상기 얼굴 트래킹 동작에서 얼굴이 검출되면, 상기 얼굴 트
    래킹 모드 동작를 계속적으로 진행하여 상기 제2프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 입력 이미지 내의 특정 영역에 대응하는 제2-A프레임 - 상기 제2-A프레임은 상기 제2프레임보다 시간적으로 후행하고 상기 제3프레임에 비해서 시간적으로 선행하여 입력됨 - 의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출방법.
  19. 제12항에 있어서,
    상기 완전 검출 모드 동작은
    주기적으로 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  20. 제12항에 있어서,
    상기 얼굴 트래킹 동작은
    상기 주변 영역의 이미지에 대하여 블록 매칭 동작을 수행하여, 상기 (b) 단계의 상기 얼굴 검출 동작에서 검출된 얼굴 이미지와 동일한 얼굴 이미지를 가지는 블록을 트래킹하는 것을 특징으로 하는 얼굴 검출 방법.
  21. 제12항에 있어서,
    상기 완전 검출 모드 동작 및 상기 부분 검출 모드 동작의 상기 얼굴 검출 동작은
    아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 이용하여 상기 얼굴 이미지를 검출하는 것을 특징으로 하는 얼굴 검출 방법.
  22. 입력 이미지를 n개로 분할하여 n개의 분할된 입력 이미지들을 발생하는 이미지 분할부 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함;
    제1프레임에 대해 완전 검출 모드 신호가 발생되면, 상기 제1프레임의 상기 n개의 분할된 입력 이미지들 각각을 병렬로 전송하고, 상기 제1프레임에 시간적으로 후행하는 제2프레임에 대해 얼굴 트래킹 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 상기 제2프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하고, 상기 제2프레임에 시간적으로 후행하는 제3프레임에 대해 부분 검출 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하는 모드 전환부;
    상기 모드 전환부를 통하여 전송되는 상기 제1프레임 또는 상기 제3프레임 내의 상기 분할된 입력 이미지들 각각을 리사이즈하여 얼굴 검출 동작을 수행하여 얼굴을 검출하는 n개의 얼굴 검출부들;
    상기 모드 전환부를 통하여 전송되는 상기 제2프레임 내의 상기 분할된 입력 이미지 내의 상기 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 n개의 얼굴 트래킹부들; 및
    상기 n개의 얼굴 검출부들이 상기 제1프레임의 n개의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 분할되고 리사이즈된 입력 이미지에서 얼굴이 검출되었음을 나타내면 상기 얼굴 트래킹 모드 신호를 발생하고, 상기 n개의 얼굴 트래킹부들이 상기 제2프레임의 상기 분할된 입력 이미지에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 부분 검출 모드 신호를 발생하는 모드 전환 신호 발생부를
    포함하는 얼굴 검출 장치.
  23. 제22항에 있어서,
    상기 이미지 분할부는
    상기 각 프레임의 분할된 입력 이미지들 중 하나의 분할된 입력 이미지가 상기 각 프레임의 중앙에 위치하도록 하는 것을 특징으로 하는 얼굴 검출 장치.
  24. 제23항에 있어서,
    상기 n개의 얼굴 검출부들은
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해
    서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 적용된 리사이즈 배율 종류의 개수보다 많은 리사이즈 배율 종류의 개수를 적용하여 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  25. 제23항에 있어서,
    상기 n개의 얼굴 검출부들은
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 적용된 회전 각도 종류의 개수보다 많은 회전 각도 종류의 개수를 적용하여 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  26. 제22항에 있어서,
    상기 n개의 얼굴 검출부들 각각은
    상기 모드 전환부를 통하여 전송되는 상기 분할된 입력 이미지들 각각을 회전하여 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  27. 제22항에 있어서,
    상기 모드 전환 신호 발생부는
    상기 n개의 얼굴 검출부들이 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 완전 검출 모드 신호를 발생하고, 상기 n개의 얼굴 검출부들 중 적어도 일부가 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지에서 상기 얼굴이 검출되었음을 나타내거나, 상기 n개의 얼굴 트래킹부들 중 적어도 일부가 상기 제2프레임의 상기 분할된 입력 이미지에서 상기 얼굴이 검출되었음을 나타내면 상기 얼굴이 검출된 분할된 입력 이미지에 대해 상기 얼굴 트래킹 모드 신호를 발생하는 것을 특징으로 하는 얼굴 검출 장치.
  28. 제27항에 있어서,
    상기 n개의 얼굴 검출부들 중 적어도 일부가 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지에서 상기 얼굴이 검출되었음을 나타내어 상기 모드 전환 신호 발생부가 상기 얼굴 트래킹 모드 신호를 발생하면,
    상기 모드 전환부는 상기 이미지 분할부로부터 출력되는 상기 제3프레임의 상기 얼굴이 검출된 특정 영역에 대응하는 제4프레임 - 상기 제4프레임은 상기 제3프레임보다 시간적으로 후행함 - 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하는 것을 특징으로 하는 얼굴 검출 장치.
  29. 제22항에 있어서,
    상기 n개의 얼굴 검출부들 각각은
    상기 분할된 입력 이미지를 서로 다른 소정 개수의 크기로 리사이즈하여 소정 개수의 분할되고 리사이즈된 입력 이미지들을 발생하는 리사이즈부; 및
    상기 소정 개수의 분할되고 리사이즈된 입력 이미지들 각각에 대하여 상기 얼굴 검출동작을 수행하는 얼굴 검출기를 구비하는 것을 특징으로 하는 얼굴 검출 장치.
  30. 제29항에 있어서,
    상기 n개의 얼굴 검출부들 각각은
    상기 소정 개수의 리사이즈된 분할된 이미지들 각각을 서로 다른 소정 개수의 회전 각도로 회전하여 복수 개의 분할되고 리사이즈되고 회전된 입력 이미지들을 발생하는 회전부를 추가적으로 구비하고,
    상기 얼굴 검출기는
    상기 복수 개의 분할되고 리사이즈되고 회전된 입력 이미지들에 대하여 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  31. 제22항에 있어서
    상기 n개의 얼굴 트래킹부들 각각은
    상기 주변 영역의 이미지에 대하여 블록 매칭 동작을 수행하여, 이전 프레임에서 검출된 얼굴 이미지와 동일한 얼굴 이미지를 가지는 블록을 트래킹하는 것을 특징으로 하는 얼굴 검출 장치.
  32. 제22항에 있어서,
    상기 n개의 얼굴 트래킹부들 각각은
    상기 제2프레임의 상기 분할된 입력 이미지에서 얼굴이 검출되면, 상기 제2
    프레임의 상기 얼굴이 검출된 특정 영역에 대응하는 제2-A프레임 - 상기 제2-A프레임은 상기 제2프레임보다 시간적으로 후행하고 상기 제3프레임에 비해서 시간적으로 선행하여 입력됨 - 의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대해서 상기 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  33. 제22항에 있어서,
    상기 모드 전환부는
    상기 제2프레임에 비해서 시간적으로 선행하되 상기 제1프레임보다는 후행하여 입력되는 적어도 하나의 추가 프레임의 상기 입력 이미지 내의 분할된 입력 이미지들 중 상기 제1프레임 내의 상기 얼굴이 검출되지 않은 분할된 입력 이미지에 대응하는 적어도 하나의 상기 추가 프레임의 분할된 입력 이미지들을 대상으로 리사이즈하여 상기 n개의 얼굴 검출부들로 전송되도록 하는 것을 특징으로 하는 얼굴 검출 장치.
  34. 제22항에 있어서,
    상기 완전 검출 모드 신호는
    주기적으로 발생되는 것을 특징으로 하는 얼굴 검출 장치.
  35. 제22항에 있어서,
    상기 완전 검출 모드 동작 및 상기 부분 검출 모드 동작의 상기 얼굴 검출 동작은
    아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 이용하여 상기 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  36. 입력 이미지를 기설정된 개수의 영역으로 분할하여 분할된 입력 이미지들을 발생하는 이미지 분할부 - 상기 입력 이미지는 소정 시간 구간 동안 시간 순서대로 입력되는 복수 개의 프레임들을 포함함 -;
    제1프레임에 대해 완전 검출 모드 신호가 발생되면, 상기 제1프레임의 상기 분할된 입력 이미지들 각각을 순차적으로 전송하고, 상기 제1프레임에 시간적으로 후행하는 제2프레임에 대해 얼굴 트래킹 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 특정 영역에 대응하는 상기 제2프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 순차적으로 전송하고, 상기 제2프레임에 시간적으로 후행하는 제3프레임에 대해 부분 검출 모드 신호가 발생되면, 상기 제1프레임 내의 상기 얼굴이 검출된 상기 특정 영역에 대응하는 상기 제3프레임 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 순차적으로 전송하는 모드 전환부;
    상기 모드 전환부를 통하여 전송되는 상기 제1프레임 또는 상기 제3프레임 내의 상기 분할된 입력 이미지를 각각 리사이즈하여 얼굴 검출 동작을 수행하여 얼굴을 검출하는 얼굴 검출부;
    상기 모드 전환부를 통하여 전송되는 상기 제2프레임 내의 상기 분할된 입력 이미지 내의 상기 특정 영역의 주변 영역에 대하여 얼굴 트래킹 동작을 수행하는 얼굴 트래킹부; 및
    상기 얼굴 검출부가 상기 제1프레임의 분할되고 리사이즈된 입력 이미지들 중 적어도 하나의 분할되고 리사이즈된 입력 이미지에서 상기 얼굴이 검출되었음을 나타내면 상기 얼굴 트래킹 모드 신호를 발생하고, 상기 얼굴 트래킹부가 상기 제2프레임의 상기 분할된 입력 이미지에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 부분 검출 모드 신호를 발생하는 모드 전환 신호 발생부를 포함하는 얼굴 검출 장치.
  37. 제36항에 있어서,
    상기 이미지 분할부는
    상기 각 프레임의 분할된 입력 이미지들 중 하나의 분할된 입력 이미지가 상기 각 프레임의 중앙에 위치하도록 하는 것을 특징으로 하는 얼굴 검출 장치.
  38. 제37항에 있어서,
    상기 얼굴 검출부는
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 적용된 리사이즈 배율 종류의 개수보다 많은 리사이즈 배율 종류의 개수를 적용하여 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  39. 제38항에 있어서,
    상기 얼굴 검출부는
    상기 프레임들 각각의 상기 중앙에 위치한 상기 분할된 입력 이미지에 대해서 상기 중앙에 위치한 상기 분할된 입력 이미지 이외의 다른 분할된 입력 이미지들에 적용된 회전 각도 종류의 개수보다 많은 회전 각도 종류의 개수를 적용하여 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  40. 제36항에 있어서,
    상기 얼굴 검출부는
    상기 모드 전환부를 통하여 전송되는 상기 분할된 입력 이미지를 회전하여 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  41. 제36항에 있어서,
    상기 모드 전환 신호 발생부는
    상기 얼굴 검출부가 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지 모두에서 상기 얼굴이 검출되지 않았음을 나타내면 상기 완전 검출 모드 신호를 발생하고, 상기 얼굴 검출부가 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지 중 적어도 일부에서 상기 얼굴이 검출되었음을 나타내거나, 상기 얼굴 트래킹부가 상기 제2프레임의 상기 분할된 입력 이미지 중 적어도 일부에서 상기 얼굴이 검출되었음을 나타내면, 상기 얼굴이 검출된 분할된 입력 이미지에 대해 상기 얼굴 트래킹 모드 신호를 발생하는 것을 특징으로 하는 얼굴 검출 장치.
  42. 제41항에 있어서,
    상기 모드 전환 신호 발생부는
    상기 얼굴 검출부에 의해 상기 제3프레임의 상기 분할되고 리사이즈된 입력 이미지 중 적어도 일부에서 상기 얼굴이 검출되어 상기 얼굴 트래킹 모드 신호를 발생하면,
    상기 모드 전환부는
    상기 이미지 분할부로부터 출력되는 상기 제3프레임의 상기 얼굴이 검출된 특정 영역에 대응하는 제4프레임 - 상기 제4프레임은 상기 제3프레임보다 시간적으로 후행함 - 내의 특정 영역이 속하는 상기 분할된 입력 이미지를 전송하는 것을 특징으로 하는 얼굴 검출 장치.
  43. 제36항에 있어서,
    상기 모드 전환 신호 발생부는
    주기적으로 상기 완전 검출 모드 신호를 발생하는 것을 특징으로 하는 얼굴 검출 장치.
  44. 제36항에 있어서,
    상기 얼굴 검출부는
    상기 분할된 입력 이미지를 서로 다른 소정 개수의 크기로 리사이즈하여 소정 개수의 분할되고 리사이즈된 입력 이미지들을 발생하는 리사이즈부; 및
    상기 소정 개수의 분할되고 리사이즈된 이미지들 각각에 대하여 순차적으로 상기 얼굴 검출 동작을 수행하는 얼굴 검출기를 구비하는 것을 특징으로 하는 얼굴 검출 장치.
  45. 제44항에 있어서,
    상기 얼굴 검출부는
    상기 소정 개의 리사이즈되고 분할된 이미지들 각각을 서로 다른 소정 개수의 회전 각도로 회전하여 복수 개의 분할되고 리사이즈되고 회전된 입력 이미지들을 순차적으로 발생하는 회전부를 추가적으로 구비하고,
    상기 얼굴 검출기는 상기 복수 개의 분할되고 리사이즈되고 회전된 이미지들에 대하여 순차적으로 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  46. 제36항에 있어서,
    상기 얼굴 트래킹 동작은
    상기 주변 영역의 이미지에 대하여 블록 매칭 동작을 수행하여, 이전 프레임에서 검출된 얼굴 이미지와 동일한 얼굴 이미지를 가지는 블록을 트래킹하는 것을 특징으로 하는 얼굴 검출 장치.
  47. 제36항에 있어서,
    상기 얼굴 트래킹부는
    상기 제2프레임의 상기 분할된 입력 이미지에서 얼굴이 검출되면, 상기 제2프레임의 상기 얼굴이 검출된 특정 영역에 대응하는 제2-A프레임 - 상기 제2-A프레임은 상기 제2프레임보다 시간적으로 후행하고 상기 제3프레임에 비해서 시간적으로 선행하여 입력됨 - 의 분할된 입력 이미지 내의 특정 영역의 주변 영역에 대해서 상기 얼굴 트래킹 동작을 수행하는 것을 특징으로 하는 얼굴 검출 장치.
  48. 제36항에 있어서,
    상기 모드 전환부는
    상기 제2프레임에 비해서 시간적으로 선행하되 상기 제1프레임보다는 후행하여 입력되는 적어도 하나의 추가 프레임의 상기 입력 이미지 내의 분할된 입력 이미지들 중 상기 제1프레임 내의 상기 얼굴 검출 동작이 수행되지 않은 분할된 입력 이미지에 대응하는 적어도 하나의 상기 추가 프레임의 분할된 입력 이미지들을 대상으로 리사이즈하여 상기 얼굴 검출부로 전송되도록 하는 것을 특징으로 하는 얼굴 검출 장치.
  49. 제36항에 있어서,
    상기 완전 검출 모드 동작 및 상기 부분 검출 모드 동작의 상기 얼굴 검출 동작은
    아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 이용하여 상기 얼굴 이미지를 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  50. 제1항 내지 제21항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2012/009157 2011-11-03 2012-11-02 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 WO2013066095A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014539874A JP5908596B2 (ja) 2011-11-03 2012-11-02 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体
EP12845982.3A EP2793190A4 (en) 2011-11-03 2012-11-02 FACE DETECTION METHOD AND DEVICE, AND NON-TRANSIENT COMPUTER READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD
CN201280054267.8A CN103907135B (zh) 2011-11-03 2012-11-02 用于检测面部的方法和装置
BR112014010328A BR112014010328A2 (pt) 2011-11-03 2012-11-02 método e dispositivo para detecção de face e meio de gravação legível por computador não transitório para execução do método
US14/344,146 US9208575B2 (en) 2011-11-03 2012-11-02 Method and device for detecting face, and non-transitory computer-readable recording medium for executing the method
US14/926,538 US10339414B2 (en) 2011-11-03 2015-10-29 Method and device for detecting face, and non-transitory computer-readable recording medium for executing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0114160 2011-11-03
KR20110114160A KR101289087B1 (ko) 2011-11-03 2011-11-03 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/344,146 A-371-Of-International US9208575B2 (en) 2011-11-03 2012-11-02 Method and device for detecting face, and non-transitory computer-readable recording medium for executing the method
US14/926,538 Continuation US10339414B2 (en) 2011-11-03 2015-10-29 Method and device for detecting face, and non-transitory computer-readable recording medium for executing the method

Publications (1)

Publication Number Publication Date
WO2013066095A1 true WO2013066095A1 (ko) 2013-05-10

Family

ID=48192377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009157 WO2013066095A1 (ko) 2011-11-03 2012-11-02 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Country Status (7)

Country Link
US (2) US9208575B2 (ko)
EP (1) EP2793190A4 (ko)
JP (1) JP5908596B2 (ko)
KR (1) KR101289087B1 (ko)
CN (1) CN103907135B (ko)
BR (1) BR112014010328A2 (ko)
WO (1) WO2013066095A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352070B (zh) * 2015-11-13 2021-10-08 松下知识产权经营株式会社 移动体追踪方法、移动体追踪装置以及程序
US10347218B2 (en) * 2016-07-12 2019-07-09 Qualcomm Incorporated Multiple orientation detection
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
JP7005546B2 (ja) * 2019-03-15 2022-01-21 株式会社東芝 画像認識装置、画像認識方法および画像認識プログラム
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050041772A (ko) * 2003-10-31 2005-05-04 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
KR100536747B1 (ko) * 2003-08-08 2005-12-14 (주)아이디스 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
JP2006527881A (ja) * 2003-06-17 2006-12-07 三菱電機株式会社 ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法
KR20080012770A (ko) * 2006-08-04 2008-02-12 소니 가부시끼 가이샤 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법
JP2009230703A (ja) * 2008-03-25 2009-10-08 Fujifilm Corp オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
KR100970119B1 (ko) 2009-11-23 2010-07-15 (주)올라웍스 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
GB2414616A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Comparing test image with a set of reference images
GB2414615A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Object detection, scanning and labelling
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
JP2006048322A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法
JP4619927B2 (ja) * 2005-11-01 2011-01-26 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP2007128122A (ja) 2005-11-01 2007-05-24 Hitachi Ltd 稼働性能データ収集開始時刻決定方法
JP4912117B2 (ja) * 2006-10-27 2012-04-11 三洋電機株式会社 追跡機能付き撮像装置
JP4952920B2 (ja) * 2007-06-04 2012-06-13 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びそのプログラム
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
KR20090113560A (ko) * 2008-04-28 2009-11-02 삼성전자주식회사 안정적인 동작을 보장하는 반도체 장치
US9047376B2 (en) * 2012-05-01 2015-06-02 Hulu, LLC Augmenting video with facial recognition
JP6443609B2 (ja) 2012-07-10 2018-12-26 パナソニックＩｐマネジメント株式会社 コネクタ装置及びそれに用いる雌側コネクタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527881A (ja) * 2003-06-17 2006-12-07 三菱電機株式会社 ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法
KR100536747B1 (ko) * 2003-08-08 2005-12-14 (주)아이디스 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR20050041772A (ko) * 2003-10-31 2005-05-04 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
KR20080012770A (ko) * 2006-08-04 2008-02-12 소니 가부시끼 가이샤 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법
JP2009230703A (ja) * 2008-03-25 2009-10-08 Fujifilm Corp オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
KR100970119B1 (ko) 2009-11-23 2010-07-15 (주)올라웍스 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAUL VIOLA; MICHAEL J. JONES: "Robust Real-Time Face Detection'' issued in", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 57, no. 2, May 2004 (2004-05-01)
See also references of EP2793190A4

Also Published As

Publication number Publication date
JP2015501614A (ja) 2015-01-15
EP2793190A1 (en) 2014-10-22
US10339414B2 (en) 2019-07-02
US20140341430A1 (en) 2014-11-20
KR20130049105A (ko) 2013-05-13
KR101289087B1 (ko) 2013-08-07
EP2793190A4 (en) 2016-08-24
JP5908596B2 (ja) 2016-04-26
BR112014010328A2 (pt) 2017-04-18
US9208575B2 (en) 2015-12-08
CN103907135B (zh) 2018-05-11
CN103907135A (zh) 2014-07-02
US20160048977A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
WO2013066095A1 (ko) 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2015174647A1 (ko) 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
WO2019225964A1 (en) System and method for fast object detection
WO2015161697A1 (zh) 应用于人机交互的运动物体跟踪方法及系统
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2016108327A1 (ko) 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
WO2014194620A1 (zh) 图像特征提取、训练、检测方法及模块、装置、系统
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2014109422A1 (ko) 음성 추적 장치 및 그 제어 방법
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2015023076A1 (en) Method of capturing iris image, computer-readable recording medium storing the method, and iris image capturing apparatus
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2019088651A1 (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
WO2020246655A1 (ko) 상황 인지 방법 및 이를 수행하는 장치
WO2018040269A1 (zh) 一种图像处理方法及终端
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
WO2024019337A1 (en) Video enhancement method and apparatus
WO2015196878A1 (zh) 一种电视虚拟触控方法及系统
WO2016148322A1 (ko) 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치
WO2013077546A1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
WO2020111844A2 (ko) 물체 레이블을 활용한 비주얼 슬램에서의 영상 특징점 강화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12845982

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14344146

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014539874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012845982

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014010328

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014010328

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140429