WO2011096651A2 - 얼굴 식별 방법 및 그 장치 - Google Patents

얼굴 식별 방법 및 그 장치 Download PDF

Info

Publication number
WO2011096651A2
WO2011096651A2 PCT/KR2011/000220 KR2011000220W WO2011096651A2 WO 2011096651 A2 WO2011096651 A2 WO 2011096651A2 KR 2011000220 W KR2011000220 W KR 2011000220W WO 2011096651 A2 WO2011096651 A2 WO 2011096651A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
classifier
cascade
input
Prior art date
Application number
PCT/KR2011/000220
Other languages
English (en)
French (fr)
Other versions
WO2011096651A3 (ko
Inventor
아드하모비치 이르마토프안바르
유리비치 부리악드미트리
블라디미로비치 체르다코브드미트리
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020127026548A priority Critical patent/KR101410489B1/ko
Priority to US13/576,484 priority patent/US8885943B2/en
Publication of WO2011096651A2 publication Critical patent/WO2011096651A2/ko
Publication of WO2011096651A3 publication Critical patent/WO2011096651A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • the present invention relates to the field of digital image processing, and more particularly, to a method and apparatus for identifying a desired face in a digital image.
  • Digital images are used in many advanced multimedia devices.
  • the function of the multimedia device to determine the presence and position of the face on the image is one of the basic functions. If you need this feature, for example, to sort images stored on the device according to the contents, or if you want to handle special areas of the image in digital photography and photo printing devices, security and video observation systems will be able to identify and query you. If you do, and if you want to interact with the multimedia computer system.
  • Another technique is a two stage face recognition system described in US Pat. No. 6,940,545.
  • the technique is based on the use of probabilistic color models of various factors related to the human head, for example head and face skin, in the first stage.
  • the second stage uses a Bayesian classifier. This processes the resulting area list and makes a final decision on the presence and location of the face on the image.
  • Face recognition systems using this technology are expected to be used in digital cameras to obtain more accurate evaluation of shooting parameters when there are faces in the shooting space.
  • this technique can constitute very loose requirements in the speed and accuracy of system operation, which renders the proposed algorithm unusable in most of the challenges associated with face recognition.
  • Another technique using a two-stage face recognition algorithm is the technique described in US Pat. No. 6,463,163.
  • This technique consists of linear and nonlinear filters in the first stage and a two-element algorithm is performed. First the correlation with the core of the linear filter is calculated and then the local extremes are extracted in the correlation map. Comparing the brightness characteristics of the area corresponding to the found extremes with the values obtained from the model, the first step of the algorithm is terminated, and the first step obtains sets of location areas where there is a potential face. In the second step, the found areas are analyzed by a multilayer feedforward neural network and the result is a list of faces found in the image.
  • this technique has the disadvantage of low stability of the correlation algorithm against changes that occur while turning the face, and it is also insufficient to be applied to applications in which the speed of the multilayer neural network function is performed in real time.
  • U.S. Patent 7,099,510 partially solves the above shortcomings, and in particular, proposes an algorithm that effectively performs localization of the facial region with a calculation that considers proportional adjustment and movement.
  • This algorithm is based on a cascade of classification procedures with simple calculations.
  • the configuration and combination method can achieve a high performance in the work accuracy and speed, but the disadvantage is that the face identification efficiency of all classifiers is quite low.
  • An object of the present invention is to provide a method and an apparatus capable of identifying a face stably at a higher processing speed from an image under various lighting conditions.
  • Another object of the present invention is to provide a face identification method and apparatus capable of reducing the number of errors in which a face is incorrectly identified from an image even in a complicated and structurally diverse environment.
  • a method of identifying a face in an image including: detecting a circle in an input image using a Hough transform; Forming an image fragment of the same size within the detected area of the circle; Generating an input vector for each of the image fragments, using each classifier in the cascade of homogeneous classifiers; And if the input vector generated by the image fragment is classified as belonging to a face type by the classifier of the cascade, determining that the face is detected in the input image.
  • an apparatus for identifying a face in an image in a cascade form and includes classifiers of the same kind, and each classifier classifies input vectors into a face type and a non-face type based on the input image.
  • a cascade classifier to classify A circle detector for detecting a circle in the input image using a Hough transform; And an image analyzer for forming image fragments of equal size in the region of detected circles, wherein the image analyzer generates an input vector using the classifiers of the cascade with respect to the image fragments, and all classifiers generate the image fragments. If the input vector generated by the classification is classified as belonging to a face type, it is determined that a face is detected in the input image.
  • the face may be identified more accurately and quickly in the image. It can also reduce the number of errors that misidentify faces from an image, even under different lighting, complex, and structurally diverse environments.
  • FIG. 1 is a structural diagram of a face identification apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a structure of a face detection unit according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a structure of a multi-level face detector according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a structure of a face detector according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating the operation of a classifier according to an embodiment of the present invention.
  • FIG. 6 illustrates a LBP calculation process according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a face detection method according to an exemplary embodiment of the present invention.
  • a face is detected from an input image by using homogeneous classifiers in a cascade form.
  • Each classifier divides the input vector into two classes, face type and non-face type, where each classifier has higher accuracy than the previous classifier.
  • a circle of a predetermined radius is searched by using a Hough transform based on an input image, and regions corresponding to the found circle are divided into fragments of the same size, and the image fragments are To form a set of fragments.
  • cascade-type classifiers are applied to each image fragment included in the fragment set so that each classifier determines whether the image fragment includes a face.
  • FIG. 1 is a structural diagram of a face identification apparatus according to an embodiment of the present invention.
  • the apparatus for identifying a face includes an image acquisition unit 10 for obtaining a subject image, a face detection unit 20 for detecting a face from the acquired images, and a face detection. And a training unit 30 that constitutes a calssifier.
  • the image acquisition unit 10 acquires an image that is a source for face identification, and may include, for example, a device for selecting an image from a digital camera, an image database, or an image sequence.
  • the face detector 20 detects a face by processing an image provided from the image acquirer. An image in which faces found from the face detector 20 are marked is output, and coordinates of a face detected in the image are output.
  • the training unit 30 is used in the training step according to an embodiment of the present invention.
  • the training unit 30 performs a training procedure on a training sample containing face and non-face images, and configures classifiers that operate the training procedure.
  • the training procedure is performed only once before starting to use the classifier.
  • the processing result of the training procedure is provided to the face detector 20, and the face detector 20 detects a face from an input image using the acquired classifier.
  • FIG. 2 is a diagram illustrating a structure of a face detection unit according to an exemplary embodiment of the present invention.
  • the face detector 20 includes an image pyramid constructer 21 and a multi-level face detector 22.
  • the image pyramid composer 21 receives an image, and the input image may be provided from an image acquirer 10 such as a video camera, an image database, a video sequence, or another digital image source.
  • the image pyramid constructor 21 forms a collection of images, where each image included in the image set is a copy of the initial image reduced in a set ratio. That is, it is a copy of an image that is scaled down at a preset ratio from the image provided from the image acquisition unit 10 and becomes a source for face detection.
  • the ratio for scaling may be different for each image included in the set.
  • This set of images may be referred to as an "image pyramid," which is passed to a multi-level face detector 22.
  • the multi-level face detector 22 detects a face in each image of the image pyramid and displays the detected face in the initial image to form the presented result. Alternatively, the multi-level face detector 22 generates a face coordinate set including coordinate values for the detected faces.
  • the face detector 20 may be configured to include a digital processor, an initial image storage unit, and an auxiliary buffer, and may be implemented in a form in which an image pyramid composer or a multi-level face detector operates in a digital processor.
  • FIG. 3 is a diagram illustrating a structure of a multi-level face detector according to an exemplary embodiment of the present invention.
  • the multi-level face detector 22 includes a face detector 221 and a face integrating unit 222.
  • the basic data processed by the multi-level face detector 22 is an image pyramid.
  • the face detector 221 detects a face from each image constituting the input image pyramid.
  • the face coordinates corresponding to the face detected in each image are transmitted to the face integration unit 222.
  • the face integrator 222 calculates final coordinates of the detected face by integrating input face coordinates.
  • the face integrator 222 clusters the detected coordinates of the face and analyzes the parameters (size, confidence level) of the clusters thus obtained. Then, it is determined which cluster is related to the face in the input image based on a preset threshold, where the reliability is calculated as the sum of the confidence values of all cluster elements.
  • the confidence values of the cluster elements are included in the output value of the face detector 221 as the face detection processing result.
  • FIG. 4 is a diagram illustrating a structure of a face detector according to an exemplary embodiment of the present invention.
  • the face detector 221 includes a circle detector 2211 and an image analyzer 2212, and is cascaded by the training unit 30. It operates in conjunction with a classifier 31.
  • the image pyramid is input to the circle detector 221, and the circle detector 221 is an image input using a Hough circle transform for the circle recognition, that is, all the surroundings, that is, the circle ( circle).
  • a map is configured according to the circle detection result, and points corresponding to the centers of all detected circles are displayed on the map.
  • a masked image is formed using a map, that is, a circle map and an original image, and the masked image is transferred to the image analyzer 2212.
  • the image analyzer 2212 scans an input masked image to generate a set of fragments. Fragment sets made up of image fragments are processed by cascade classifier 31 in a later step.
  • FIG. 5 is a diagram illustrating the operation of a classifier according to an embodiment of the present invention.
  • the classifier 31 includes a plurality of classifiers as cascade classifiers and is a cascade classifier composed of homogeneous classifiers.
  • the image analyzer 2212 of the face detector 221 calls all classifiers to define the types of image fragments as face and non-face types.
  • Each classifier included in the cascade classifier 31 operates with a descriptor vector, and the descriptor vectors are configured for each image fragment.
  • a descriptor vector is formed for the input fragment, and in this case, descriptor vectors having a short length are formed (501 and 502).
  • the first classifier processes these descriptor vectors (503).
  • image fragments classified as non-face types by the first classifier are removed from the fragment set.
  • the first classification procedure performed by the first classifier is fast because it uses a relatively short length of vector.
  • the fragment removal process for negative samples is indicated as NF (non-face) "in Fig. 5.
  • Image fragments processed as negative samples are placed in the set of rejected fragments. Included (506).
  • classifier first classifier
  • face the image fragment is passed to the next classifier in cascade. This process corresponds to the arrow labeled " F (face) "
  • Step 507 is passed to further processing, such as highlighting instances of faces in the output image.
  • Subsequent classifiers additionally require additional computation compared to the first classifier to perform the removal of negative samples of non-face type. Since all classifiers after the first classifier in Cascade operate with vectors of significantly greater length, they are slower than the initial stages processed by the first classifier.
  • an image fragment set formed by an image processor includes a large amount of non-face type fragments and a relatively small number of face type fragments. Since most of the non-face type fragments are removed in the first stage of the cascade, only a small number of fragments are processed through all the stages of the subsequent cascade. As such a large number of non-face-type fragments are removed in the first step, only a small number of fragments are processed in the high computational stage, so that the overall cascade classification process is performed at a relatively high processing speed.
  • the input data of the cascade classifier is a vector calculated using the processed fragment.
  • the fragment is scaled according to a ratio corresponding to the position of the classifier of the cascade, and then a local binary pattern (LBP) descriptor is calculated.
  • LBP local binary pattern
  • the first stage of the cascade uses a large scaling factor or scaling ratio, and uses a shorter descriptor vector, thus speeding up the computation of the classifiers in this stage.
  • the LBP configuration procedure consists of performing a pair-wise intensity comparison comparison between one pixel and eight adjacent pixels adjacent thereto. Each comparison result is coded using a binary eight-element vector, with the value of each vector element having a value of zero or one depending on the comparison result. These binary vectors are represented in binary notation for decimal numbers within the range of [0,255]. That is, the result of the LBP operation is a decimal number calculated for a binary vector, and each binary vector is represented by 8-bit binary notation and corresponds to one of numbers from 0 to 255. This LBP calculation process is shown in FIG.
  • the value of '0' is replaced with the value of '1' if the value is larger.
  • the pixel values replaced through the above process are arranged based on the upper left pixel value (00111010), and the result value '58' of the LBP operation is calculated through the decimal operation of the arranged pixel values.
  • the LBP calculation is applied to every pixel of the image fragment being processed, and the descriptor vector of the fragment is a vector of all LBP results.
  • the descriptor vector is a matrix of size H ⁇ W, each element of which is an integer from 0 to 255.
  • Each classifier included in the cascade consists of an artificial neural network (NN) with a SNOW architecture.
  • One layer of the artificial neural network is a feed forward structure and is completely connected to the neural network.
  • the size of the input layer depends on the length of the descriptor vector and is calculated according to the following equation.
  • W and H represent the width and length of the descriptor, respectively.
  • the output layer consists of two neurons, one of which encodes a face type and the other of which encodes a non-face type.
  • the input vector input to the neural network is binary, and the number of elements corresponding to 1 is equal to W ⁇ H. Since the size of the input vector is large, but most of the elements are "0", only W x H elements of the input vector are used to calculate the neural network output. Therefore, the processing speed of the neural network can be improved.
  • the position of unit elements is calculated and all other elements are set to 0 to form an input vector.
  • the position of unit elements may be calculated as follows.
  • the activation function (fu) of the output neuron is a sigmoid function, which can be expressed as follows.
  • the determination of the input vector classification is made based on the comparison of the values of the NN output neurons.
  • a type determination process for an input vector is performed as follows.
  • Equation 4 w denotes a neuron weight, and z denotes an input vector, i and j each index.
  • the threshold value may be calculated as follows.
  • the process of calculating the nonlinear function value and comparing the threshold value for each input vector may be replaced by calculating the expression u 1 -u 2 and comparing the value with the threshold 1 .
  • the difference u 1 -u 2 of the two linear combinations can be calculated as follows.
  • the neural network has the same input layer but can be replaced with a new neural network with only one neuron at the output layer.
  • the weights of this single neuron are equal to the difference between the weights of the neurons of the existing neural network NN, and the new neural network is only half the amount of computation compared to the existing neural network.
  • a cascade of four neural networks having a structure as described above was used.
  • the present invention is not limited to this.
  • the fragment input to the classifier consists of 24x24 pixels.
  • a neural network is processed that processes 3x3 pixel descriptors.
  • the classifier for a 4x3 pixel descriptor then operates, followed by a classifier for a 6x6 pixel descriptor, and finally a classifier for a 12x12 pixel descriptor.
  • the structure of the neural network according to an embodiment of the present invention is selected based on the experimental results.
  • a predetermined training algorithm is used for weight calculation, and a known technique may be used as the training algorithm.
  • a training step is performed.
  • the training phase can be performed by the training unit 30 and consists of two sets of training procedures and test procedures. Each set includes fragments of face type and non-face type, neuron weights are calculated using a training procedure, and the neural network (NN) efficiency for the samples from the test procedure is verified.
  • NN neural network
  • the training procedure includes the following steps.
  • the neural network runs on training samples, and all samples discarded by the neural network are removed from the training sample. This same procedure is performed for the test set.
  • the updated sets are used for training the neural network operating in the second stage. Similar to the first step above, the neural network operating in the second step processes samples of the training set and the test set, from which the ones classified as non-face types are removed from the set. These tasks are performed repeatedly for all neural networks included in the cascade.
  • Training processing of one neural network is controlled using a test set.
  • the number of non-face type samples in which the neural network fails is fixed. After performing all training procedures, the number of samples classified as a face type due to a mistake is counted while the neural network performs the training process, and the training procedure can continue until this number is reduced.
  • the test procedure may be performed until the number of samples incorrectly classified as the face type due to an error in the test procedure reaches a minimum of the selected criterion.
  • the network can be determined.
  • the bootstrap procedure is performed as follows.
  • the cascade of classifiers is driven for images that do not include a face. All image fragments in which Cascade performed an error are added to the training set. That is, image fragments that are incorrectly determined by Cascade not to contain faces are added to the training set. All neural networks of cascades are retrained using the updated training set.
  • a face detection method will be described based on the structure and method as described above.
  • FIG. 7 is a flowchart illustrating a face detection method according to an exemplary embodiment of the present invention.
  • proportionally adjusted image pyramids are obtained (S710), and a face is detected from each image constituting the image pyramid through subsequent steps.
  • the cascade classifier 31 consists of a cascade of neural networks and includes neural networks (also called first neural networks) that operate in the first stage and have a high processing speed. These neural networks use small length vectors and perform "rough" processing on the incoming image. Most image fragments that do not represent a face are removed, and only all image fragments including the face are preserved for the next step.
  • neural networks also called first neural networks
  • neural network processes high-dimensional vectors and more precisely identifies image fragments that contain faces and image fragments that do not contain faces.
  • first and second neural networks fragments of the image are classified into a face type or a non-face type (S740).
  • the face detector 221 performs a classification process on all images of the image pyramid through the neural network cascade in conjunction with the cascade classifier 31, and provides the result to the face integrator 222. (S750).
  • the face integrator 222 After determining whether the classification process for all the images of the pyramid is completed (S750), if the classification process is completed, the face integrator 222, based on the results provided from the face detector 221, clustering and experience The coordinates of the faces detected in the input image are calculated using a heuristics algorithm (S760). After that, the operation of the face detection method ends.
  • the steps of performing an algorithm for detecting a face in an image are configured in a cascade form, and the steps for forming a cascade process both image information of the same type and image information of different types, It forms a high algorithm efficiency. Since the cascade structure is characterized by flexibility, it is possible to vary the number of steps included in the cascade structure. Through this step, the face can be detected in the image at high speed with high accuracy.
  • Such a face detection method according to an embodiment of the present invention can be applied to a biometric recognition system for classifying a person's face in an input image.
  • the face identification method and apparatus according to an embodiment of the present invention are provided with a signal processor. It can be easily applied to the same special equipment.
  • An embodiment of the present invention is not implemented only through the above-described apparatus and / or method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded, and the like. Such implementations may be readily implemented by those skilled in the art from the description of the above-described embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

입력되는 이미지에서 탐색되는 서클에 대응하는 영역들내에서 이미지 프래그먼트들을 형성한다. 동종의 분류기들로 이루어진 캐스케이드에서, 각각의 분류기가 이미지 프래그먼트에 대응하는 입력 벡터를 얼굴 타입과 비얼굴 타입으로 분류한다. 이러한 처리를 복수의 이미지를 포함하는 이미지 피라미드의 모든 이미지들에 대하여 수행되며, 모든 이미지들에 대한 처리 결과를 토대로 검출된 얼굴에 대한 좌표를 산출한다.

Description

얼굴 식별 방법 및 그 장치
본 발명은 디지털 이미지 처리 분야에 관한 것으로, 보다 구체적으로는 디지털 이미지에서 임의로 원하는 얼굴을 식별하는 방법 및 그 장치에 관한 것이다.
디지털 이미지는 많은 첨단 멀티 미디어 장치에서 사용되고 있다. 이 때 멀티 미디어 장치가 이미지 상에서 얼굴의 존재 및 위치를 결정하는 기능은 기본적인 기능 중의 하나이다. 이 기능이 필요한 경우는 예를 들어 장치에 저장되는 이미지들을 내용에 따라 선별을 할 경우, 디지털 사진 촬영 및 사진 인쇄 장치에서 이미지 구역을 특수 처리할 경우, 경비 및 비디오 관찰 시스템에서 신원 확인 및 조회를 할 경우, 사람과 멀티미디어 컴퓨터 시스템의 상호 작용을 할 경우 등이다.
현재 이미지 상에서 피사체를 인식하고자 하는 과제를 해결하기 위하여, 뉴런 네트워크, 연구 구역에 대한 분해(dissection), SVM 등의 기술을 사용하고 있는 접근 방법은 매우 많다. 탐색 피사체가 분명하게 형식화(formalisation)되어 있지 않은 조건에서 이러한 모든 방법들은 상당량의 탐색 피사체의 초기 샘플을 필요로 하는 트레이닝 과정(파라미터 튜닝)을 사용하고 있다. 각 방법에서 수행되는 트레이닝 과정은 이미지에 대한 피사체의 등급을 결정하는 작업을 수행하는데 이것은 상당한 계산량과 이에 따른 소요 비용을 필요로 하는 과제이다. 이러한 과제에서 이미지에서 얼굴의 위치, 크기, 방향이 결정되어 있지 않을 경우 계산의 복잡성이 현저히 증가하게 된다.
이러한 얼굴 식별 기술 관련 기술로는 미국 특허 번호 6,661,907호와 6,816,611호에 기재된 얼굴 인식 시스템이 있다. 이 기술들은 이미지의 색상 정보를 이용하는 것인데, 이러한 특성은 이미지의 색상을 포착하는 장치를 필요로 하기 때문에 그 적용 분야를 현저하게 감소시킨다.
또 다른 기술로는 미국 특허 6,940,545호에 기재된 2 단계 얼굴 인식 시스템이 있다. 이 기술은 첫 번째 단계에서 사람의 머리에 관련된 다양한 요소들의 확률적 색상 모델, 예를 들어 머리와 얼굴 피부를 이용하는 것을 기본으로 한다. 두 번째 단계에서는 베이지안 분류기(Bayesian classifier)를 사용한다. 이것은 얻어진 영역 목록을 처리하고 이미지 상에 얼굴의 존재와 위치에 대한 최종 결정을 실행한다. 이 기술을 사용하는 얼굴 인식 시스템은 촬영 공간에 얼굴이 있는 경우, 보다 정확한 촬영 파라미터 평가를 얻기 위해 디지털 카메라에서 사용될 것으로 예상된다. 그러나 이 기술은 시스템 작업의 속도와 정확도에 있어서 매우 느슨한 요구 조건을 구성할 수 있으며, 이것은 사람의 얼굴 인식과 관련된 대부분의 과제에서 제안된 알고리즘을 이용할 수 없게 한다.
2 단계 얼굴 인식 알고리즘을 사용하는 다른 기술로는 미국 특허 6,463,163호에 기재된 기술이 있다. 이 기술은 첫 번째 단계에서 선형 및 비선형 필터로 구성되 2 요소(two-element) 알고리즘이 수행된다. 먼저 선형 필터의 핵(core)과의 상관 관계가 계산되고 그 후 상관관계 지도(correlation map)에 국소적 극값들(local extremes)이 추출된다. 발견된 극값들에 일치하는 영역의 밝기 특성을 모델에서 얻은 값들과 비교하면 알고리즘의 첫 번째 단계가 종결되며, 첫 번째 단계를 통하여 얼굴이 있을 가능성이 있는 위치 지역들의 세트들이 획득된다. 두 번째 단계에서는 발견된 지역들이 다층 피드포워드 뉴럴 네트워크(multilayer feedforward neural network)에 의해 분석되고 그 결과 이미지에서 발견된 얼굴들의 목록이 작성된다. 그러나 이 기술은 얼굴을 돌리게 되면서 발생하는 변화에 대하여 상관계 알고리즘의 안정성이 낮다는 단점이 있으며, 이외에도 다층 뉴럴 네트워크 기능의 속도가 실시간으로 수행되는 어플리케이션에 적용하기가 불충분한 단점이 있다.
미국 특허 7,099,510는 위의 단점을 부분적으로 해소하고 있는데, 구체적으로 비례 조정 및 이동을 고려하는 계산으로 얼굴 영역의 위치탐색(localization)을 효과적으로 수행하는 알고리즘을 제안하고 있다. 이 알고리즘은 계산이 간단한 분류(classification) 절차의 캐스케이드를 토대로 한다. 그 구성 및 결합의 방법은 작업 정확도와 속도에서 높은 성과를 달성할 수 있지만, 모든 분류기의 얼굴 식별 효율성이 꽤 낮은 단점이 있다.
이와 같이 종래의 기술들은 얼굴 식별시에 높은 처리 속도를 요구하고, 또한 얼굴 식별시에 에러를 발생시켜서 시스템의 성능에 영향을 미치는 요인들(예를 들어, 얼굴의 다양성, 안경이나, 콧수염 또는 모자와 같은 장애물들)에 대한 처리가 이루어지지 않고 있다. 또한 외부 환경의 구조적 복잡성, 조명의 불균일 등이 이미지 지역에서 실제로는 존재하지 않는 얼굴을 검출하는 등의 수 많은 에러를 발생시킨다. 이러한 종류의 에러는 생체측정 신분확인 시스템 같은 경우 치명적인 것이다.
본 발명이 해결하고자 하는 과제는 다양한 조명 조건에서 이미지로부터 안정적으로 보다 빠른 처리 속도로 얼굴을 식별할 수 있는 방법 및 그 장치를 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는 복잡하고 구조적으로 다양한 환경에서도 이미지로부터 얼굴을 잘못 식별하는 오류 횟수를 감소시킬 수 있는 얼굴 식별 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제를 달성하기 위한 방법은 이미지에서 얼굴을 식별하는 방법이며, 허프 변환(Hough transform)을 이용하여 입력 이미지에서 서클(Circle)을 검출하는 단계; 검출된 상기 서클의 영역 내에서 동일한 크기의 이미지 프래그먼트를 형성하는 단계; 동종의 분류기들로 이루어진 케스케이드의 각각의 분류기를 이용하여, 상기 이미지 프래그먼트 각각에 대하여 입력 벡터를 생성하는 단계; 및 상기 이미지 프래그먼트에 의해 생성된 입력 벡터가 상기 케스케이드의 분류기에 의하여 얼굴 타입에 속하는 것으로 분류되면, 상기 입력 이미지에서 얼굴이 검출된 것으로 판단하는 단계를 포함한다.
본 발명의 다른 특징에 따른 장치는 이미지에서 얼굴을 식별하는 장치이며, 캐스케이드 형태로 이루어지며 동종의 분류기들을 포함하며, 각각의 분류기는 상기 입력 이미지를 기반으로 입력 벡터들을 얼굴 타입과 비얼굴 타입으로 분류하는 캐스케이드 분류기; 허프 변환(Hough transform)을 이용하여 상기 입력 이미지에서 서클을 검출하는 서클 검출기; 및 검출된 서클들의 영역내에서 동일 크기의 이미지 프래그먼트들을 형성하는 이미지 분석기를 포함하고, 상기 이미지 분석기는 상기 이미지 프래그먼트에 대하여 상기 캐스케이드의 분류기들을 이용하여 입력 벡터를 생성하고, 모든 분류기가 상기 이미지 프래그먼트에 의해 생성된 입력 벡터가 얼굴 타입에 속하는 것으로 분류하면, 상기 입력 이미지에서 얼굴이 검출된 것으로 판단한다.
본 발명의 실시 예에 따르면, 이미지에서 보다 정확하고 빠르게 얼굴을 식별할 수 있다. 또한 조명이 다르거나 복잡하고 구조적으로 다양한 환경에서도 이미지로부터 얼굴을 잘못 식별하는 오류 횟수를 감소시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 식별 장치의 구조도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 검출부의 구조를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 다단계 얼굴 검출기의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 검출기의 구조를 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 분류기의 동작을 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 LBP 산출 과정이 도시되어 있다.
도 7은 본 발명의 실시 예에 따른 얼굴 검출 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 얼굴 식별 방법 및 그 장치에 대하여 설명한다.
본 발명의 실시 예에서는 캐스케이드(cascade) 형태의 동종(homogeneous)의 분류기(classifier)들을 이용하여 입력 이미지로부터 얼굴을 검출한다. 각 분류기는 입력 벡터를 얼굴(face) 타입과 비얼굴(non-face) 타입의 2개의 등급으로 구분하며, 이 때 각 분류기는 이전 단계의 분류기에 비하여 보다 높은 정확도를 가진다.
특히 본 발명의 실시 예에서는 입력 이미지를 기반으로 허프 변환(Hough transform)을 이용하여 소정 반경의 서클을 탐색하며, 탐색된 서클에 대응하는 영역들을 동일 크기의 프래그먼트들로 나누고, 이러한 이미지 프래그먼트들로 이루어진 프래그먼트 집합을 형성한다. 그리고 프래그먼트 집합에 포함되는 각 이미지 프래그먼트에 대하여 캐스케이드 형태의 동종의 분류기들을 적용시켜 각 분류기들이 해당 이미지 프래그먼트가 얼굴을 포함하고 있는지의 여부를 결정하도록 한다.
도 1는 본 발명의 실시 예에 따른 얼굴 식별 장치의 구조도이다.
첨부한 도 1에 도시되어 있듯이, 본 발명의 실시 예에 따른 얼굴 식별 장치는 피사체 이미지를 획득하는 이미지 획득부(10), 획득된 이미지들로부터 얼굴을 검출하는 얼굴 검출부(20), 그리고 얼굴 검출을 위한 분류기(calssifier)를 구성하는 트레이닝부(traning unit)(30)를 포함한다.
이미지 획득부(10)는 얼굴 식별을 위한 소스가 되는 이미지를 획득하며, 예를 들어, 디지털 카메라, 이미지 데이터 베이스 또는 이미지 시퀀스에서 이미지를 선별하는 장치 등이 포함될 수 있다.
얼굴 검출부(20)는 이미지 획득부로부터 제공되는 이미지를 처리하여 얼굴을 검출한다. 얼굴 검출부(20)로부터 발견된 얼굴들이 마킹되어 있는 이미지가 출력되며, 해당 이미지에서 검출된 얼굴의 좌표들이 출력된다.
트레이닝부(30)는 본 발명의 실시 예에 따른 트레이닝 단계에서 사용된다. 트레이닝부(30)는 얼굴과 비얼굴 이미지를 담고 있는 트레이닝 샘플에 대한 트레이닝 절차를 수행하며, 트레이닝 절차를 운용하는 분류기들을 구성한다. 트레이닝 절차는 분류기 이용을 시작하기 전에 1회만 수행된다. 트레이닝 절차의 처리 결과는 얼굴 검출부(20)로 제공되며, 얼굴 검출부(20)는 획득된 분류기를 이용하여 입력되는 이미지에서 얼굴을 검출한다.
도 2는 본 발명의 실시 예에 따른 얼굴 검출부의 구조를 나타낸 도이다.
첨부한 도 2에 도시되어 있듯이, 본 발명의 실시 예에 따른 얼굴 검출부(20)는 이미지 피라미드 구성기(21) 및 다단계 얼굴 검출기(22)를 포함한다.
이미지 피라미드 구성기(21)는 이미지를 제공받으며, 입력되는 이미지는 비디오카메라, 이미지 데이터 베이스, 비디오 시퀀스 또는 기타 디지털 이미지 소스 등의 이미지 획득부(10)로부터 제공될 수 있다. 이미지 피라미드 구성기(21)는 이미지들의 집합(collection)을 형성하며, 이미지 집합에 포함되는 각각의 이미지는 설정된 비율로 축소된 초기 이미지의 복사본이다. 즉, 이미지 획득부(10)로부터 제공되며 얼굴 검출을 위한 소스가 되는 이미지에서 미리 설정된 비율로 스케일(scale)이 축소된 이미지의 복사본이다. 여기서 스케일 조정을 위한 비율(비례조정 비율)은 집합에 포함되는 각 이미지별로 다를 수 있다. 이러한 이미지들의 집합을 "이미지 피라미드"라고 명명할 수 있으며, 이미지 피라미드는 다단계 얼굴 검출기(22)로 전달된다.
다단계 얼굴 검출기(22)는 이미지 피라미드의 각 이미지에서 얼굴을 검출하고 초기 이미지에 검출된 얼굴을 표시하여 제시되는 결과물을 형성한다. 또는 다단계 얼굴 검출기(22)는 검출된 얼굴들에 대한 좌표값들을 포함하는 얼굴 좌표 집합을 생성한다.
이러한 얼굴 검출부(20)는 디지털 프로세서, 초기 이미지 저장부, 보조 버퍼를 포함하는 형태로 구성될 수 있으며, 이미지 피라미드 구성기나 다단계 얼굴 검출기가 디지털 프로세서에서 동작하는 형태로 구현될 수 있다.
도 3은 본 발명의 실시 예에 따른 다단계 얼굴 검출기의 구조를 나타낸 도이다.
첨부한 도 3에서와 같이, 본 발명의 실시 예에 따른 다단계 얼굴 검출기(22)는, 얼굴 검출기(221) 및 얼굴 통합부(222)를 포함한다. 다단계 얼굴 검출기(22)에서 처리되는 기본 데이터는 이미지 피라미드이다.
얼굴 검출기(221)는 입력되는 이미지 피라미드를 구성하는 각각의 이미지로부터 얼굴을 검출한다. 그리고 각 이미지에서 검출한 얼굴에 해당하는 얼굴 좌표를 얼굴 통합부(222)로 전달한다.
얼굴 통합부(222)는 입력되는 얼굴 좌표들을 통합하여 검출된 얼굴의 최종 좌표들을 산출한다. 얼굴 통합부(222)는 검출된 얼굴의 좌표들을 클러스터화(clusterization)하고, 이에 따라 획득한 클러스터들의 파라미터(크기, 신뢰도 (confidence level))를 분석한다. 그리고 미리 설정된 임계치를 토대로 어떤 클러스터가 입력된 이미지에서의 얼굴에 관련된 것인지를 판단하며, 여기서 신뢰도는 모든 클러스터 요소(element)들의 신뢰 값들의 총합으로 산출된다. 클러스터 요소들의 신뢰값들은 얼굴 검출 처리 결과로서 얼굴 검출기(221)의 출력값에 포함된다.
도 4는 본 발명의 실시 예에 따른 얼굴 검출기의 구조를 나타낸 도이다.
첨부한 도 4에서와 같이, 본 발명의 실시 예에 따른 얼굴 검출기(221)는 서클(circle) 검출기(2211), 및 이미지 분석기(2212)를 포함하며, 트레이닝부(30)에 의하여 구성되는 캐스케이드 분류기(classifier)(31)와 연계하여 동작한다.
서클 검출기(221)로 이미지 피라미드가 입력되며, 서클 검출기(221)는 서클인식을 위해 허프 변환(Hough circle transform)을 이용하여 입력된 이미지 즉, 원본 이미지에서 고정 반경을 가지는 모든 주변 즉, 서클(circle)을 검출한다. 서클 검출 결과에 따라 맵(map)을 구성하고, 맵에는 검출된 모든 서클의 중심에 해당하는 지점들을 표시한다. 그리고 지도 즉, 서클 맵과 원본 이미지를 사용하여 마스크 처리된 이미지(masked image)를 형성하며, 상기 마스크 처리된 이미지를 이미지 분석기(2212)로 전달한다.
이미지 분석기(2212)는 입력되는 마스크 처리된 이미지를 스캔하여 프래그먼트(fragments) 집합을 생성한다. 이미지 프래그먼트들로 이루어진 프래그먼트 집합들은 이후의 단계에서 캐스케이드 분류기(31)에 의하여 처리된다.
도 5는 본 발명의 실시 예에 따른 분류기의 동작을 나타낸 도이다.
본 발명의 실시 예에 따른 분류기(31)는 캐스케이드(cascade) 분류기로서 복수의 분류기를 포함하며, 동종 분류기(homogeneous classifier)들로 이루어진 캐스케이드 분류기이다. 얼굴 검출기(221)의 이미지 분석기(2212)는 모든 분류기를 호출하여 이미지 프래그먼트의 타입을 얼굴과 비얼굴 타입으로 정의한다.
캐스케이드 분류기(31)에 포함되는 각 분류기들은 디스크립터 벡터(descriptor vector)를 가지고 동작하며, 디스크립터 벡터들을 각 이미지 프래그먼트마다 구성되어 있다.
캐스케이드의 제 1단계에서, 입력되는 프래그먼트에 대하여 디스크립터 벡터가 형성되며, 이 경우 짧은 길이를 가지는 디스크립터 벡터들을 형성한다(501,502). 첫번째 분류기가 이러한 디스크립터 벡터들을 처리한다(503).
첫번째 분류기에 의하여 짧은 길이의 디스크립터 벡터들에 대한 처리가 완료되면 첫번째 분류기에 의하여 비얼굴 타입으로 분류된 이미지 프래그먼트들이 프래그먼트 집합으로부터 제거된다. 첫번째 분류기에 의하여 수행되는 제1 분류 절차는 비교적 짧은 길이의 벡터를 사용하기 때문에 그 처리 속도가 빠르다. 부정적 샘플들(비얼굴 타입으로 분류된 이미지 프래그먼트들)에 대한 프래그먼트 제거 처리는 도 5에서, NF(non-face)"로 표시되어 있다. 부정적 샘플로 처리된 이미지 프래그먼트들은 거부된 프래그먼트들의 집합에 포함된다(506).
분류기(첫번째 분류기)가 소정 이미지 프래그먼트를 얼굴 타입으로 분류하면, 해당 이미지 프래그먼트는 캐스케이드의 다음 분류기로 전달된다. 이러한 처리는 도 5에 "F(face)"로 표시된 화살표에 대응한다.
캐스케이드 분류기에 의한 4 단계 처리가 완료된 경우(504,505), 어떠한 분류기에 의해서도 부정적 샘플로 처리되어 거절된 프래그먼트들의 집합에 포함되지 않은 이미지 프래그먼트는 캐스케이드에서의 추가 분류기에 의한 처리나 출력 처리 예를 들어, 출력 이미지에서 얼굴의 인스턴스(instances)를 밝게 처리(highlighting)하는 등의 추가적 처리를 위한 단계로 전달된다(507).
이후의 분류기들은 추가적으로 비얼굴 타입의 부정적 샘플들에 대한 제거를 수행하는데 첫번째 분류기에 비하여 부가적인 계산(computation)을 필요로 한다. 캐스케이드에서 첫번째 분류기 이후의 모든 분류기들은 현저하게 큰 길이를 가지는 벡터를 가지고 동작하기 때문에, 첫번째 분류기에 의하여 처리되는 초기 단계보다 처리 속도가 느리다.
일반적으로 이미지 프로세서에 의해 형성되는 이미지 프래그먼트 집합은 다량의 비얼굴 타입의 프래그먼트들을 포함하고, 비교적 적은 수의 얼굴 타입의 프래그먼트를 포함하고 있다. 대부분의 비얼굴 타입의 프래그먼트들은 캐스케이드의 제1단계에서 제거되기 때문에, 단지 적은 수의 프래그먼트들이 이후의 캐스케이드의 모든 단계들을 통하여 처리된다. 이와 같이 많은 수의 비얼굴 타입의 프래그먼트들이 첫번째 단계에서 제거된 다음에 단지 적은 수의 프래그먼트들만이 계산 용량이 많은 단계들에서 처리되기 때문에, 비교적 빠른 처리 속도로 전체적인 캐스케이드 분류 처리가 이루어진다.
캐스케이드 분류기의 입력 데이터는 처리된 프래그먼트를 사용하여 산출되는 벡터이다. 먼저 프래그먼트가 캐스케이드의 분류기의 위치에 대응하는 비율에 따라 비례 조정(scaling)이 되고, 그 후 로컬 바이너리 패턴(Local Binary Pattern: LBP) 디스크립터가 산출된다. 캐스케이드의 제1 단계는 큰 스케일 팩터(scaling factor 또는 scaling ratio)를 사용하며, 보다 짧은 길이의 디스크립터 벡터를 사용하므로, 이러한 단계에서의 분류기들의 계산 속도를 보다 빠르게 할 수 있다.
LBP 구성 절차는 하나의 픽셀과 그것에 인접한 8개의 인접 픽셀들 사이의 양단(pair-wise) 세기 비교(intensity comparison) 비교 수행으로 이루어진다. 각 비교 결과들은 이진 8 요소 벡터를 사용하여 코드화되며, 각 벡터 요소들의 값은 각각의 비교 결과에 따라 0 또는 1의 값을 가진다. 이러한 이진 벡터는 [0,255]의 영역 내에서 10진수에 대한 이진 표기법으로 표시된다. 즉, LBP 동작의 결과는 이진 벡터에 대하여 산출된 십진수이며, 각 이진 벡터는 8비트의 이진법으로 표기되며, 0에서 255까지의 숫자 중에서 하나에 대응된다. 도 6에 이러한 LBP 산출 과정이 도시되어 있다.
도 6을 참조하면, '78'의 인스턴스 값을 가지는 특정 픽셀과 인접한 8개의 픽셀들 사이의 양단의 세기 비교를 수행한다.
그런 다음, 인접한 픽셀의 인스턴스 값이 상기 특정 픽셀보다 작은 경우 '0'의 값을, 큰 경우 '1'의 값으로 픽셀 값이 대체된다.
이와 같은 과정을 통하여 대체된 픽셀값은 좌측 상단 픽셀값을 기준으로 배열되고(00111010), 배열된 픽셀 값의 10진 연산을 통하여 LBP 동작의 결과값 '58'이 산출된다.
LBP 산출은 처리되는 이미지 프래그먼트의 모든 픽셀에 적용되며, 프래그먼트의 디스크립터 벡터는 모든 LBP 결과값들의 벡터이다. 디스크립터 벡터는 H×W 크기의 매트릭스이며, 그 각 요소는 0부터 255까지의 정수이다.
캐스케이드에 포함되는 각 분류기는 SNOW 아키텍처를 지닌 인공 뉴럴 네트워크(NN)로 이루어진다. 인공 뉴럴 네트워크의 하나의 층은 피드 포워드 구조이며, 완전하게 뉴럴 네트워크에 연결되어 있다. 입력층의 크기는 디스크립터 벡터의 길이에 좌우되며, 다음 수학식 1에 따라 산출된다.
수학식 1
Figure PCTKR2011000220-appb-M000001
여기서 W, H는 각각 디스크립터의 넓이와 길이를 나타낸다.
출력층은 두개의 뉴런(neuron)으로 이루어지며, 하나의 뉴런은 얼굴 타입을 코딩하고, 나머지 하나는 비얼굴 타입을 코딩한다.
뉴럴 네트워크로 입력되는 입력 벡터는 이진수이며, 1에 대응하는 요소들의 개수는 W×H와 같다. 입력 벡터의 크기가 크기만 그 요소들 대부분이 "0"이므로, 뉴럴 네트워크 출력 산출시에는 입력 벡터의 W×H개수의 요소들만이 사용된다. 따라서 뉴럴 네트워크의 처리 속도를 향상시킬 수 있다.
단위 요소(unit element)들의 위치를 산출하고 다른 모든 요소들을 0으로 설정하여 입력 벡터를 구성하며, 단위 요소들의 위치는 다음과 같이 산출될 수 있다.
수학식 2
Figure PCTKR2011000220-appb-M000002
여기서 x,y는 디스크립터 요소의 좌표를 나타내며, W는 디스크립터의 넓이(width)를 나타낸다.
출력 뉴런의 활성 함수(activation function)(fu)는 시그모이드(sigmoid) 함수이며, 다음과 같이 나타낼 수 있다.
수학식 3
Figure PCTKR2011000220-appb-M000003
입력 벡터 분류에 대한 결정은 NN 출력 뉴런의 값의 비교 결과를 토대로 이루어진다.
본 발명의 실시 예에서는 다음과 같이 입력 벡터에 대한 타입 결정 과정이 수행된다.
먼저, 뉴런 가중치들과 입력 벡터의 선형 조합이 다음과 같이 수행된다.
수학식 4
Figure PCTKR2011000220-appb-M000004
상기 수학식 4에서 w는 뉴런 가중치를 의미하며, z는 입력 벡터, i, j 는 각각의 인덱스를 나타낸다.
다음 비선형 함수가 산출된다.
수학식 5
Figure PCTKR2011000220-appb-M000005
여기서
Figure PCTKR2011000220-appb-I000001
는 비선형 함수의 값을 나타낸다.
산출된 비선형 함수의 값이 임계값(thr1)보다 클 경우, 해당 입력 벡터는 얼굴 타입에 속하는 것으로 결정되고, 산출된 비선형 함수의 값이 입계값(thr1)보다 크지 않은 경우에는 해당 입력 벡터가 비얼굴 타입에 속하는 것으로 결정한다. 이 때 임계값은 다음과 같이 산출될 수 있다.
수학식 6
Figure PCTKR2011000220-appb-M000006
각각의 입력 벡터에 대한 비선형 함수값 산출 및 임계값과의 비교 과정은 수식 u1-u2 의 산출 및 그것의 값과 입계값(thr1)의 비교로 대체할 수 있다.
두개의 선형 조합들의 차이(u1-u2)는 다음과 같이 산출될 수 있다.
수학식 7
Figure PCTKR2011000220-appb-M000007
뉴럴 네트워크는 동일한 입력층을 가지만 출력층에서는 단지 하나의 뉴런을 가지는 새로운 뉴럴 네트워크로 대체될 수 있다. 이 하나의 뉴런의 가중치들은 기존 뉴럴 네트워크 NN의 뉴런의 각 가중치들의 차이와 동일하며, 새로운 뉴럴 네트워크는 기존 뉴럴 네트워크에 비하여 계산량이 반밖에 안된다.
본 발명의 실시 예에서는 위에 기술된 바와 같은 구조로 이루어지는 4개의 뉴럴 네트워크들로 이루어진 캐스케이드가 사용되었다. 그러나 본 발명은 이것에 한정되지는 않는다.
분류기로 입력되는 프래그먼트는 24×24 픽셀들로 이루어진다.
첫번째 단계에서 3×3 픽셀의 디스크립터들을 처리하는 뉴럴 네트워크가 동작된다. 그 다음에 4×3 픽셀의 디스크립터에 대한 분류기가 동작하며, 이후 6×6 픽셀의 디스크립터에 대한 분류기, 그리고 마지막으로 12×12 픽셀의 디스크립터에 대한 분류기가 동작한다.
본 발명의 실시 예에 따른 뉴럴 네트워크의 구조는 실험 결과를 토대로 선택된다. 실험 결과 획득을 위하여, 소정의 트레이닝 알고리즘이 가중치 산출을 위하여 사용되며, 트레이닝 알고리즘으로는 공지된 기술이 사용될 수 있다.
본 발명의 실시 예에서는 트레이닝 단계를 수행한다. 트레이닝 단계는 트레이닝부(30)에 의하여 수행될 수 있으며, 트레이닝 절차 및 테스트 절차의 2 세트로 이루어진다. 각 세트는 얼굴 타입과 비얼굴 타입의 프래그먼트들을 포함하며, 뉴런 가중치들이 트레이닝 절차를 사용하여 산출되고, 테스트 절차로부터 샘플들에 대한 뉴럴 네트워크(NN) 효율성(efficiency)이 검증된다.
트레이닝 절차는 다음과 같은 단계를 포함한다.
1) 초기 트레이닝
2) 하나 또는 복수의 부트스트랩(Bootstrap) 절차
먼저, 트레이닝이 첫번째 단계에서 동작하는 뉴럴 네트워크에 대하여 수행된다.
뉴럴 네트워크는 트레이닝 샘플들에 대하여 구동되고, 뉴럴 네트워크에 의하여 폐기된 모든 샘플들은 트레이닝 샘플로부터 제거된다. 이와 동일한 절차가 테스트 세트에 대해서도 수행된다.
갱신된 세트들이 제2 단계에서 동작하는 뉴럴 네트워크의 트레이닝을 위하여 사용된다. 위의 제1 단계와 유사하게, 제2 단계에서 동작하는 뉴럴 네트워크는 트레이닝 세트와 테스트 세트의 샘플들을 처리하며, 그 중에서 비얼굴 타입으로 분류되는 것들을 세트로부터 제거된다. 이러한 작업들은 캐스케이드에 포함된 모든 뉴럴 네트워크에 대하여 반복적으로 수행된다.
하나의 뉴럴 네트워크의 트레이닝 처리는 테스트 세트를 사용하여 제어된다. 본 발명의 실시 예에서 뉴럴 네트워크가 실패한 비얼굴 타입의 샘플들의 개수는 고정된다. 모든 트레이닝 절차 수행후에 뉴럴 네트워크가 트레이닝 처리를 수행하는 동안 실수로 인하여 얼굴 타입으로 분류되는 샘플들의 개수가 카운트되며, 이러한 개수가 감소될때까지 트레이닝 절차가 계속될 수 있다.
이와 같이 본 발명의 실시 예에서는 테스트 절차에서 에러로 인하여 얼굴 타입으로 잘못 분류되는 샘플들의 개수가 선택된 기준의 최저치(minimum)에 도달할 때까지 테스트 절차가 수행될 수 있으며, 이러한 최저치를 만족하는 뉴럴 네트워크가 결정될 수 있다.
부트스트랩 절차는 다음과 같이 수행된다.
분류기들의 캐스케이드가 얼굴을 포함하지 않는 이미지들에 대하여 구동된다. 캐스케이드가 에러를 수행한 모든 이미지 프래그먼트들이 트레이닝 세트에 추가된다. 즉, 캐스케이드가 얼굴을 포함하지 않는 것으로 잘못 판단한 이미지 프래그먼트들이 트레이닝 세트에 추가된다. 캐스케이들의 모든 뉴럴 네트워크들은 갱신된 트레이닝 세트를 사용하여 다시 트레이닝된다.
위에 기술된 바와 같은 구조 및 방법을 토대로 본 발명의 실시 예에 따른 얼굴 검출 방법에 대하여 설명한다.
도 7은 본 발명의 실시 예에 따른 얼굴 검출 방법의 흐름도이다.
첫번째 단계에서 비례 조정된 이미지 피라미드들이 획득되며(S710), 이후의 단계를 통하여 이미지 피라미드를 구성하는 각각의 이미지로부터 얼굴을 검출한다.
그 다음 비례 조정된(scaled) 이미지에서 허프 변환을 이용하여 고정 반경을가지는 모든 주변 즉, 서클을 검출한다(S720). 그리고 검출된 서클에 해당하는 영역을 스캔하여 분류를 위한 이미지 프래그먼트들의 집합을 형성한다(S730). 형성된 프래그먼트 집합은 도 5에 도시된 캐스케이드 분류기(31)로 입력된다.
캐스케이드 분류기(31)는 뉴럴 네크워크의 캐스캐이드로 이루어지며, 첫번째 단계에서 동작하며 빠른 처리 속도를 가지는 뉴럴 네트워크들(제1 뉴럴 네트워크라고도 명명함)을 포함한다. 이러한 뉴럴 네트워크들은 작은 길이의 벡터들을 사용하며, 입력되는 이미지에 대하여 "러프(rough)" 프로세싱을 수행한다. 얼굴을 나타내지 않는 대부분의 이미지 프래그먼트들은 제거되며, 얼굴을 포함하는 모든 이미지 프래그먼트들만 다음 단계를 위하여 보존된다.
캐스케이드의 다음 단계에서 보다 복잡하고 처리 속도가 느린 뉴럴 네트워크들(제2 뉴럴 네트워크라고도 명명함)이 동작한다. 이러한 뉴럴 네트워크를 높은 차원의 벡터들을 처리하며, 얼굴을 포함하는 이미지 프래그먼트들과 얼굴을 포함하지 않는 이미지 프래그먼트들을 보다 정밀하게 식별한다. 이러한 제1 및 제2 뉴럴 네트워크들을 통하여, 이미지의 프래그먼트들이 얼굴 타입 또는 비얼굴 타입으로 분류된다(S740).
위에 기술된 바와 같이 얼굴 검출기(221)는 캐스케이드 분류기(31)와 연계하여 뉴럴 네트워크 캐스케이드를 통하여 이미지 피라미드의 모든 이미지들에 대한 분류 처리를 수행하며, 그 결과를 얼굴 통합부(222)로 제공한다(S750).
그 다음, 피라미드의 모든 이미지들에 대한 분류 처리가 완료되었는지를 판단한 다음(S750), 분류 처리가 완료되었으면 얼굴 통합부(222)는 얼굴 검출기(221)로부터 제공되는 결과를 토대로, 클러스터화 및 체험화(heuristics) 알고리즘을 사용하여 입력 이미지에서 검출된 얼굴들의 좌표들을 산출한다(S760). 이후 얼굴 검출 방법의 작업을 종료한다.
이와 같이 본 발명의 실시 예에서는 이미지에서 얼굴을 검출하는 알고리즘을 수행하는 단계들을 캐스케이드 형태로 구성하고, 캐스케이드를 형성하는 단계들이 동일한 형태의 이미지 정보와 서로 다른 형태의 이미지 정보 모두를 처리하도록 하여, 높은 알고리즘 효율성을 형성한다. 캐스케이드 구조는 유연성이 특징임으로, 캐스케이드 구조에 포함되는 단계들의 개수를 가변시킬 수 있다. 이러한 단계를 통하여 높은 정확도로 고속으로 이미지에서 얼굴을 검출할 수 있다.
이러한 본 발명의 실시 예에 따른 얼굴 검출 방법을 입력되는 이미지에서 사람의 얼굴을 구분하는 생물측정학적 인식 시스템에 적용할 수 있으며, 본 발명의 실시 예에 따른 얼굴 식별 방법 및 그 장치는 시그널 프로세서와 같은 특수 장비에도 용이하게 적용할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 입력 이미지로부터의 얼굴 식별 방법에 있어서
    허프 변환(Hough transform)을 이용하여 입력 이미지에서 서클(Circle)을 검출하는 단계;
    검출된 상기 서클의 영역 내에서 동일한 크기의 이미지 프래그먼트를 형성하는 단계;
    동종의 분류기들로 이루어진 캐스케이드의 각각의 분류기를 이용하여, 상기 이미지 프래그먼트 각각에 대하여 입력 벡터를 생성하는 단계; 및
    상기 이미지 프래그먼트에 의해 생성된 입력 벡터가 상기 캐스케이드의 분류기에 의하여 얼굴 타입에 속하는 것으로 분류되면, 상기 입력 이미지에서 얼굴이 검출된 것으로 판단하는 단계
    를 포함하는 얼굴 식별 방법.
  2. 제1항에 있어서
    상기 얼굴이 검출된 것으로 판단하는 단계는
    상기 캐스케이드의 분류기가 입력 벡터를 얼굴 타입과 비얼굴 타입으로 분류하는 단계를 더 포함하고,
    상기 서클을 검출하는 단계는
    미리 설정된 비율에 따라 비례조정한 상기 입력 이미지의 복사본인 이미지들을 포함하는 이미지 피라미드를 형성하는 단계를 더 포함하는
    얼굴 식별 방법.
  3. 제2항에 있어서
    상기 얼굴 타입과 비얼굴 타입으로 분류하는 단계는
    트레이닝 세트를 포함하는 데이터베이스를 토대로 상기 동종의 분류기들을 트레이닝하는 단계를 더 포함하는, 얼굴 식별 방법.
  4. 제1항에 있어서
    상기 입력 벡터는
    LBP(Local Binary Pattern) 디스크립터를 토대로 산출되며 상기 이미지 프래그먼트를 대표하는, 얼굴 식별 방법.
  5. 제1항에 있어서
    상기 각각의 분류기는
    이전 분류기에 비하여 큰 크기를 가지는 입력 벡터를 제공받으며, 상기 입력 벡터는 미리 설정된 비율로 비례 조정된 이미지 프래그먼트에 대하여 형성되며, 상기 비율은 단계별로 감소되는 얼굴 식별 방법.
  6. 제1항에 있어서
    상기 캐스케이드의 각각의 분류기는 SNOW 구조의 인공 뉴럴 네트워크를 토대로 동작하는, 얼굴 식별 방법.
  7. 입력 이미지로부터 얼굴을 식별하는 얼굴 식별 장치에 있어서,
    캐스케이드 형태로 이루어지며 동종의 분류기들을 포함하며, 각각의 분류기는 상기 입력 이미지를 기반으로 입력 벡터들을 얼굴 타입과 비얼굴 타입으로 분류하는 캐스케이드 분류기;
    허프 변환(Hough transform)을 이용하여 상기 입력 이미지에서 서클을 검출하는 서클 검출기; 및
    검출된 서클들의 영역내에서 동일 크기의 이미지 프래그먼트들을 형성하는 이미지 분석기를 포함하고,
    상기 이미지 분석기는 상기 이미지 프래그먼트에 대하여 상기 캐스케이드의 분류기들을 이용하여 입력 벡터를 생성하고, 모든 분류기가 상기 이미지 프래그먼트에 의해 생성된 입력 벡터가 얼굴 타입에 속하는 것으로 분류하면, 상기 입력 이미지에서 얼굴이 검출된 것으로 판단하는, 얼굴 식별 장치.
  8. 제7항에 있어서
    상기 장치는
    미리 설정된 비율에 따라 비례조정한 입력 이미지의 복사본인 이미지들을 포함하는 이미지 피라미드를 형성하는 이미지 피라미드 구성기
    를 더 포함하는 얼굴 식별 장치.
  9. 제7항에 있어서
    상기 장치는
    트레이닝 세트를 포함하는 데이터베이스를 토대로 상기 동종의 분류기들을 트레이닝하는 트레이닝부를 더 포함하는, 얼굴 식별 장치.
  10. 제7항에 있어서
    상기 입력 벡터는 LBP(Local Binary Pattern) 디스크립터를 토대로 산출되며, 상기 이미지 프래그먼트를 대표하는 얼굴 식별 장치.
  11. 제7항에 있어서
    상기 캐스캐이드의 각각의 분류기는 이전 분류기에 비하여 큰 크기를 가지는 입력 벡터를 제공받으며, 상기 입력 벡터는 미리 설정된 비율로 비례 조정된 이미지 프래그먼트에 대하여 형성되며, 상기 비율은 분류기의 단계별로 감소되는, 얼굴 식별 장치.
  12. 제7항에 있어서
    상기 각각의 분류기는 SNOW 구조의 인공 뉴럴 네트워크를 토대로 동작하는, 얼굴 식별 장치.
PCT/KR2011/000220 2010-02-05 2011-01-12 얼굴 식별 방법 및 그 장치 WO2011096651A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020127026548A KR101410489B1 (ko) 2010-02-05 2011-01-12 얼굴 식별 방법 및 그 장치
US13/576,484 US8885943B2 (en) 2010-02-05 2011-01-12 Face detection method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2010103904 2010-02-05
RU2010103904/08A RU2427911C1 (ru) 2010-02-05 2010-02-05 Способ обнаружения лиц на изображении с применением каскада классификаторов

Publications (2)

Publication Number Publication Date
WO2011096651A2 true WO2011096651A2 (ko) 2011-08-11
WO2011096651A3 WO2011096651A3 (ko) 2011-11-17

Family

ID=44355907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000220 WO2011096651A2 (ko) 2010-02-05 2011-01-12 얼굴 식별 방법 및 그 장치

Country Status (4)

Country Link
US (1) US8885943B2 (ko)
KR (1) KR101410489B1 (ko)
RU (1) RU2427911C1 (ko)
WO (1) WO2011096651A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150552A (zh) * 2013-02-06 2013-06-12 湖北微驾技术有限公司 一种基于人头计数的驾驶培训管理方法
WO2015137666A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 오브젝트 인식 장치 및 그 제어 방법
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN111814763A (zh) * 2020-08-26 2020-10-23 长沙鹏阳信息技术有限公司 一种基于跟踪序列的无感考勤和制服识别方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
ITTO20130629A1 (it) * 2013-07-24 2015-01-25 Sisvel Technology Srl Method for encoding an image descriptor based on a gradient histogram and relative image processing apparatus
RU2556461C2 (ru) * 2013-11-18 2015-07-10 Закрытое акционерное общество "ИнфоВотч" Способ автоматизированного поиска эталонных печатей
KR101484003B1 (ko) * 2013-11-20 2015-01-20 (주)나노인사이드 얼굴 분석 평가 시스템
KR102024867B1 (ko) 2014-09-16 2019-09-24 삼성전자주식회사 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치
CN105303200B (zh) * 2014-09-22 2018-10-16 电子科技大学 用于手持设备的人脸识别方法
RU2696428C2 (ru) * 2015-06-30 2019-08-01 Электа Лтд. Система и способ отслеживания целевого объекта с использованием показателя качества во время лучевой терапии
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN105809625B (zh) * 2016-03-07 2019-04-02 哈尔滨中研普瑞电子工程技术中心有限公司 基于局部纹理模式的碎片重构方法
US10627887B2 (en) 2016-07-01 2020-04-21 Microsoft Technology Licensing, Llc Face detection circuit
US10083347B2 (en) * 2016-07-29 2018-09-25 NTech lab LLC Face identification using artificial neural network
US10282598B2 (en) * 2017-03-07 2019-05-07 Bank Of America Corporation Performing image analysis for dynamic personnel identification based on a combination of biometric features
CN107330878A (zh) * 2017-06-21 2017-11-07 苏州卡睿知光电科技有限公司 一种建立镜片识别模型的方法及装置
US20190205693A1 (en) * 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
CN108596892B (zh) * 2018-04-23 2020-08-18 西安交通大学 一种基于改进LeNet-5模型的焊缝缺陷识别方法
JP7165746B2 (ja) * 2018-08-13 2022-11-04 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ｉｄ認証方法および装置、電子機器並びに記憶媒体
CN110032959B (zh) * 2019-03-29 2021-04-06 北京迈格威科技有限公司 一种人脸脸型判断方法及装置
CN110717424B (zh) * 2019-09-26 2023-06-30 南昌大学 一种基于预处理机制的实时极小人脸检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127076A (zh) * 2007-09-27 2008-02-20 上海交通大学 基于级联分类和哈夫圆变换的人眼状态检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190829B2 (en) * 2003-06-30 2007-03-13 Microsoft Corporation Speedup of face detection in digital images
US7430315B2 (en) * 2004-02-13 2008-09-30 Honda Motor Co. Face recognition system
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
CN100472556C (zh) * 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
JP4462176B2 (ja) * 2005-12-05 2010-05-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7822696B2 (en) * 2007-07-13 2010-10-26 Microsoft Corporation Histogram-based classifiers having variable bin sizes
JP4995024B2 (ja) * 2007-10-02 2012-08-08 キヤノン株式会社 パターン認識方法、パターン認識装置及びプログラム
US20090161912A1 (en) * 2007-12-21 2009-06-25 Raviv Yatom method for object detection
US8831379B2 (en) * 2008-04-04 2014-09-09 Microsoft Corporation Cartoon personalization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127076A (zh) * 2007-09-27 2008-02-20 上海交通大学 基于级联分类和哈夫圆变换的人眼状态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO WU ET AL.: 'Simultaneous Object Detection and Segmentation by Boosting Local Shape Feature based Classifier.' 2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION June 2007, MINNEAPOLIS, USA, *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150552A (zh) * 2013-02-06 2013-06-12 湖北微驾技术有限公司 一种基于人头计数的驾驶培训管理方法
WO2015137666A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 오브젝트 인식 장치 및 그 제어 방법
US10592759B2 (en) 2014-03-14 2020-03-17 Samsung Electronics Co., Ltd. Object recognition apparatus and control method therefor
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN110751670B (zh) * 2018-07-23 2022-10-25 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN111814763A (zh) * 2020-08-26 2020-10-23 长沙鹏阳信息技术有限公司 一种基于跟踪序列的无感考勤和制服识别方法
CN111814763B (zh) * 2020-08-26 2021-01-08 长沙鹏阳信息技术有限公司 一种基于跟踪序列的无感考勤和制服识别方法

Also Published As

Publication number Publication date
WO2011096651A3 (ko) 2011-11-17
KR101410489B1 (ko) 2014-07-04
KR20130018763A (ko) 2013-02-25
RU2427911C1 (ru) 2011-08-27
US8885943B2 (en) 2014-11-11
US20120294535A1 (en) 2012-11-22

Similar Documents

Publication Publication Date Title
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
Pang et al. Distributed object detection with linear SVMs
WO2017213398A1 (en) Learning model for salient facial region detection
Lavi et al. Survey on deep learning techniques for person re-identification task
WO2010041861A2 (ko) 아이이미지에서 관심영역정보 및/또는 인식적 정보획득방법
Chauhan et al. Study & analysis of different face detection techniques
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP2015187759A (ja) 画像検索装置、画像検索方法
Chen et al. Detection of human faces in colour images
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
Lu et al. One-shot learning hand gesture recognition based on lightweight 3D convolutional neural networks for portable applications on mobile systems
CN115187844A (zh) 基于神经网络模型的图像识别方法、装置及终端设备
Podbucki et al. CCTV based system for detection of anti-virus masks
Najibi et al. Towards the success rate of one: Real-time unconstrained salient object detection
Cao Application of support vector machine algorithm based gesture recognition technology in human-computer interaction
Otta et al. User identification with face recognition: A systematic analysis
WO2017155315A1 (ko) 국부지역별 크기 특정 차량 분류 방법 및 이를 이용한 차량검출방법
Setyawan et al. Comparative Study of CNN and YOLOv3 in Public Health Face Mask Detection
Nguyen et al. A method for hand detection based on Internal Haar-like features and Cascaded AdaBoost Classifier
Li et al. A Siamese inception architecture network for person re-identification
WO2021125539A1 (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
Musikhin et al. Face recognition using multitasking cascading convolutional networks
Micheal et al. Multi-view face detection using Normalized Pixel Difference feature
WO2023075183A1 (ko) 딥러닝 기반 비접촉식 장문 인식 시스템 및 방법
WO2023140449A1 (ko) 담낭 용종 판단 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11739947

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13576484

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127026548

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 11739947

Country of ref document: EP

Kind code of ref document: A2