WO2019035544A1 - 학습을 이용한 얼굴 인식 장치 및 방법 - Google Patents

학습을 이용한 얼굴 인식 장치 및 방법 Download PDF

Info

Publication number
WO2019035544A1
WO2019035544A1 PCT/KR2018/006818 KR2018006818W WO2019035544A1 WO 2019035544 A1 WO2019035544 A1 WO 2019035544A1 KR 2018006818 W KR2018006818 W KR 2018006818W WO 2019035544 A1 WO2019035544 A1 WO 2019035544A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
unit
face recognition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/006818
Other languages
English (en)
French (fr)
Inventor
이상윤
배한별
전태재
도진경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University filed Critical Industry Academic Cooperation Foundation of Yonsei University
Publication of WO2019035544A1 publication Critical patent/WO2019035544A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to a face recognition apparatus and method using learning.
  • Face recognition technology has been utilized in various fields, and a popular method is an authentication method for determining whether a newly input face image is identical to a specific face registered in advance.
  • neural networks have been trained by various sample images of each face in a way of recognizing the same face, and a method using learning method of recognizing the face of the input image using the training neural network is used.
  • the performance of the face recognition is sensitive to the change of the illumination, so that it is affected by the environment.
  • the present invention proposes a feature point detection apparatus and method using learning that can effectively detect feature points even with a relatively adaptive amount of learning data.
  • an image processing apparatus comprising: an input unit for inputting an input image; A face detection unit for detecting a face area in the input image; A histogram unit for performing histogram smoothing on the detected face area; An image adjustment unit for performing image adjustment on the detected face area; A plurality of first face recognizing units for recognizing faces in the detected face region; A second face recognizing unit for recognizing a face in the face area in which the histogram smoothing is performed; A third face recognizing unit for recognizing a face in the face region in which the image adjustment is performed; And a face determination unit for collecting the face recognition results of the plurality of first face recognition units, the second face recognition unit, and the third face recognition unit to determine a face recognized by a majority of the faces as a recognized face,
  • the first face recognition unit, the second face recognition unit, and the third face recognition unit are learned using a composite neural network.
  • the face detection unit is learned using a three-stage composite neural network.
  • the plurality of first face recognition units, the second face recognition unit, and the third face recognition unit extract the feature vectors of the face of the reference image and learn the distance values between the feature vectors of the same face as the input values .
  • the histogram smoothing is performed by normalizing cumulative distribution values of brightness values of pixels of an image and multiplying the maximum brightness values.
  • a pixel having a brightness value of 1% of the pixels of the image is mapped to a maximum brightness
  • a pixel having a brightness value of 1% is mapped to a minimum brightness
  • the remaining pixels are mapped to the maximum brightness And the minimum brightness.
  • an image processing method comprising the steps of: (a) inputting an input image; (b) detecting a face region in the input image; (c) performing histogram smoothing on the detected face region; (d) performing image adjustment on the detected face area; (e) recognizing a face in the detected face area using a plurality of pre-learned first concurrent neural networks; (f) recognizing a face in the face region in which the histogram smoothing is performed using a previously learned second synthesized neural network; (g) recognizing a face in the face region in which the image adjustment is performed using a previously learned third composite neural network; And (h) collecting the face recognition results of the first plurality of artificial neural networks, the second artificial neural network and the third artificial neural network, and determining a face recognized by the majority of the plurality of first articulated object neural networks, A face recognizing method using the learning is provided.
  • the present invention has the advantage of being robust against illumination changes.
  • FIG. 1 is a diagram for explaining a combined product neural network algorithm.
  • FIG. 2 is a diagram for explaining a convolution method of a composite-object-based neural network.
  • FIG. 3 is a diagram for explaining a downsampling method of a composite-articulated network.
  • FIG. 4 is a view for explaining a face recognition learning process according to a preferred embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a face recognition process using learning according to an embodiment of the present invention.
  • FIG. 6 is a structural diagram of a face recognition learning apparatus according to a preferred embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a combined-product neural network of the face detecting unit of the present invention.
  • FIG. 8 is a structural diagram of a face recognition apparatus using learning according to a preferred embodiment of the present invention.
  • FIG. 9 is a flowchart showing a face recognition learning method according to a preferred embodiment of the present invention with time.
  • FIG. 10 is a flowchart illustrating a face recognition method using learning according to a preferred embodiment of the present invention with time.
  • first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • the present invention learns information about a reference face image, and recognizes a face image input using a learning result. For example, after extracting the feature vector of the face by detecting the face part in the reference face image, the distance value of the feature vector between the reference face images of the same face is learned, and the distance value of the feature vector of the input face image The face of the input face image can be recognized as the same face as the face of the reference face image.
  • the present invention may utilize a deep learning algorithm and, as an example, use a Convolutional Neural Network (CNN) algorithm.
  • CNN Convolutional Neural Network
  • the composite neural network is a model that simulates human brain function based on the assumption that when a person recognizes an object, it extracts the basic features of the object and then recognizes the object based on the result after complicated calculation in the brain. Recently, it is widely used in image recognition and speech recognition.
  • various filters for extracting features of images through convolution (Conv) operation are basically used together with pooling or non-linear activation functions for adding nonlinear characteristics. do.
  • FIG. 1 is a diagram for explaining a combined product neural network algorithm.
  • FIG. FIG. 2 is a diagram for explaining a convolution method of a resultant artificial neural network, and
  • FIG. 3 is a diagram for explaining a downsampling method of a resultant artificial neural network.
  • the composite neural network algorithm extracts a feature map for an input image through convolution and downsampling on the input image, and identifies or classifies the input image through the feature map. (classification).
  • the feature map includes feature information on the input image.
  • convolutions C1, C2, C3
  • downsampling MP1, MP2
  • the number of repetitions can be variously determined according to the embodiment.
  • the pixel value 230 of the convolution layer can be determined by multiplying the weight of the filter by the pixel value for each corresponding pixel for a specific region of the input image where the filter is overlapped.
  • a weight sum is performed on the pixel values (0, 0, 0, 0, 1, 1, 0, 1, 2)
  • the size of the input image 200 is 7 ⁇ 7
  • the size of the filter 210 is 3 ⁇ 3 (the size of the input image 200 is 3 ⁇ 3)
  • a convolution layer of size 5X5 can be generated.
  • the size of the convolutional layer i.e., the convoluted image, relative to the input image decreases.
  • a convolution layer having a size of 7 ⁇ 7 equal to the size of the input image can be generated.
  • the number of convolution layers is determined by the number of filters used.
  • downsampling is performed to reduce the size of the convolution layer, that is, to lower the resolution.
  • a method commonly used for downsampling is max-pooling (MP).
  • MP max-pooling
  • a maximum pulling layer smaller than the size of the convolution layer can be generated by taking the maximum value among the pixel values of the convolution layer included in the kernel used for downsampling.
  • the feature map is input to the fully-connected neural network, and the learning of the parameters of the resultant neural network is performed according to the difference value between the label for the given input image and the output value of the neural network do.
  • FIG. 4 is a view for explaining a face recognition learning process according to a preferred embodiment of the present invention.
  • the face recognition apparatus using learning according to a preferred embodiment of the present invention can be learned through the process shown in FIG.
  • the face recognition learning apparatus can detect a face region in an image by receiving various reference images of faces to be recognized for learning.
  • the facial region detection process can be learned by the composite neural network.
  • a three-stage composite neural network is used for face region detection.
  • the three-stage resultant neural network for face area detection may be pre-learned, and the reference images may be composed of only the face area so that the face detection process may be omitted and the resultant neural network may be trained.
  • the histogram smoothing process and the image adjustment process can be performed on the reference image in which the face region is detected.
  • the histogram smoothing process and the image adjustment process can offset the change of the face due to the illumination change of the image.
  • a number of first composite neural networks are now trained by the face region of the reference image.
  • three first-product-formed neural networks are used.
  • the number of first concurrent neural networks can be adjusted according to how much the illumination change of the image is to be considered. The more the first composite neural network is used, the less the illumination change is considered.
  • a plurality of first concurrent neural networks may be trained by different reference images for the same face.
  • the second articulated neural network is trained by the face region of the reference image subjected to the histogram smoothing process
  • the third articulated neural network is trained by the face region of the reference image subjected to the image adjustment process.
  • the first, second, and third composite neural networks may extract feature vectors from the face region in the image and be trained by feature vector values.
  • the first, second, and third artificial neural networks and the third artificial neural network learn the distance values between the feature vectors of various reference images of the same face.
  • the face of the input image can be learned as the face of the learned image.
  • FIG. 5 is a diagram for explaining a face recognition process using learning according to an embodiment of the present invention.
  • a face recognition apparatus using learning may receive an input image for learning and detect a face region in the image.
  • the face region detection process can be learned in advance by the composite neural network.
  • a three-stage composite neural network is used for face region detection.
  • the histogram smoothing process and the image adjustment process can be performed on the reference image in which the face region is detected.
  • the histogram smoothing process and the image adjustment process can cancel the change of the image according to the illumination change.
  • three first-product-formed neural networks are used.
  • the number of first concurrent neural networks can be adjusted according to how much the illumination change of the image is to be considered. The more the first composite neural network is used, the less the illumination change is considered.
  • the first composite neural network may be pre-learned through a plurality of reference images.
  • the second concurrent neural network recognizes the face in the face region of the input image subjected to the histogram smoothing process
  • the third concurrent neural network recognizes the face in the face region of the reference image subjected to the image adjustment process.
  • the second combined artificial neural network and the third concurrent artificial neural network may also be previously learned with a plurality of reference images subjected to the histogram smoothing process and the image adjusting process.
  • the methods of recognizing faces of the first, second, and third artificial neural networks and the third artificial neural network are the same as those previously learned, and various known methods can be used.
  • the first and second artificial neural networks and the third artificial neural network extract the feature vectors from the face region in the image and compare the extracted feature vector values with the feature vector values of the previously learned reference images. have. Since the feature vector values of the reference images of the same face learned in advance are trained, if the distance between the feature vector values extracted from the input image and the feature vector values of the specific face learned in advance is less than a predetermined value, The face can be recognized as a specific face learned in the dictionary.
  • the face recognition apparatus using the learning of the present invention collects face recognition results of a plurality of artificial neural networks.
  • the face recognition results of the total five synthetic neural networks including the three first-artificial neural networks, the second artificial neural network, and the third artificial neural network are collected, .
  • the face recognition apparatus using the learning of the present invention is robust against illumination change and is involved in voting because it selects the face to be finally recognized by collecting the face recognition result by the histogram smoothing process, It is possible to determine in advance how much weight is to be given to the illumination change by adjusting the number of the composite neural networks.
  • FIG. 6 is a structural diagram of a face recognition learning apparatus according to a preferred embodiment of the present invention.
  • a face recognition learning apparatus includes an input unit 610, a face detection unit 620, a histogram unit 630, an image adjustment unit 640, a first face recognition unit 650 A second face recognizing unit 660, and a third face recognizing unit 670.
  • a reference image for learning face recognition is input.
  • the reference image may be an image made up only of the face region by detecting the face region in advance.
  • the face detection unit 620 detects a face region in the inputted reference image. Face detection can be learned using a composite neural network.
  • the face detector 120 may be configured as a three-stage composite neural network.
  • FIG. 7 is a diagram for explaining a combined-product neural network of the face detecting unit of the present invention.
  • the face detector 620 may be configured as a three-stage composite neural network of P-Net, R-Net, and O-Net.
  • the face detecting unit 620 transforms the size of the reference image, generates an image pyramid, and then finds a candidate region of the face using a sliding window method using P-Net.
  • the Bounding box regression vector resulting from the P-Net neural network the position of the candidate region is adjusted and the number of candidate regions is combined by applying a known non-maximum suppression (NMS) Can be reduced.
  • NMS non-maximum suppression
  • candidate regions that are not more than face are further removed by using R-Net having a more complicated structure for the candidate regions detected in Step 1, the position of the candidate region is adjusted, and the number of candidate regions can be reduced.
  • the O-Net neural network of a more complicated structure is used to finally locate the face region and the landmark among the candidate regions detected in the second step.
  • the face detecting unit 620 may be omitted.
  • the histogram unit 630 may perform histogram equalization on the reference image in which the face region is detected. First, the PDF (Probability Density Function) is generated, the CDF (Cumulative Distribution Function) is obtained, and the cumulative histogram is normalized. Finally, the normalized cumulative histogram is multiplied by the maximum brightness value, and the histogram unit 630 performs histogram smoothing on the image. Histogram smoothing adjusts the brightness of each pixel constantly according to the brightness distribution of the image, so that the illumination change of the image can be canceled.
  • the PDF Probability Density Function
  • CDF Cumulative Distribution Function
  • the image adjusting unit 640 may perform image adjustment on the reference image in which the face region is detected. First, the image is expressed as a histogram. Then, the pixel value is incremented by 1 every time the pixel value is 0, and the pixel value is found when the sum of the pixel numbers exceeds 1% of the total number of image pixels . The pixel value at this time is called low_val. Also, the pixel value is decreased by 1 every time the pixel value is 255, and the pixel value is found when the sum of the number of pixels exceeds 1% of the total number of image pixels while the number of pixels is increased. The pixel value at this time is called high_val.
  • Pixels from 0 to low_val are mapped to pixel value 0 and pixels from 255 to 255 are mapped to pixel value 255.
  • Pixels from when the pixel value is low_val + 1 to high_val-1 can perform image adjustment by mapping between pixel values 1 and 254 using histogram equalization. The image adjustment can offset the illumination change of the image by mapping the brightness values of the upper 1% and lower 1% pixels in the image to the maximum value and the minimum value and mapping the remaining pixels therebetween.
  • the face recognition learning apparatus can have a robust characteristic against illumination change.
  • the first face recognizing unit 650 is composed of a composite neural network, and is trained by the face region of the reference image. In the embodiment of the present invention, three first face recognizing units 650 are used. The number of the first face recognizing units 650 can be adjusted according to how much illumination change of the image is to be considered. The more the first face recognizing unit 650 is used, the less the illumination change is considered. Also, the plurality of first face recognizing units 650 may be trained by different reference images for the same face.
  • the second face recognizing unit 660 may also be composed of a composite neural network and may be trained by the face region of the reference image subjected to the histogram smoothing process.
  • the third face recognizing unit 670 may also be composed of a composite neural network and may be trained by the face region of the reference image on which the image adjusting process has been performed.
  • FIG. 8 is a structural diagram of a face recognition apparatus using learning according to a preferred embodiment of the present invention.
  • a face recognition learning apparatus includes an input unit 710, a face detection unit 720, a histogram unit 730, an image adjustment unit 740, a first face recognition unit 750 , A second face recognizing unit 760, a third face recognizing unit 770, and a face determining unit 780.
  • an input image for face recognition is input.
  • the face detection unit 720 detects a face region in the input image.
  • the face area detection can be learned in advance by the face detection unit 620 of the above-described face recognition learning apparatus.
  • the face region detection method is the same as the training method of the face detection unit 620 of the face recognition learning apparatus described above.
  • the histogram unit 730 may perform histogram equalization on the input image in which the face region is detected. First, the PDF (Probability Density Function) is generated, the CDF (Cumulative Distribution Function) is obtained, and the cumulative histogram is normalized. Finally, the normalized cumulative histogram is multiplied by the maximum brightness value, and the histogram unit 730 performs histogram smoothing on the image.
  • the PDF Probability Density Function
  • CDF Cumulative Distribution Function
  • the image adjustment unit 740 may perform image adjustment on the input image in which the face region is detected. First, the image is expressed as a histogram. Then, the pixel value is incremented by 1 every time the pixel value is 0, and the pixel value is found when the sum of the pixel numbers exceeds 1% of the total number of image pixels . The pixel value at this time is called low_val. Also, the pixel value is decreased by 1 every time the pixel value is 255, and the pixel value is found when the sum of the number of pixels exceeds 1% of the total number of image pixels while the number of pixels is increased. The pixel value at this time is called high_val.
  • Pixels from 0 to low_val are mapped to pixel value 0 and pixels from 255 to 255 are mapped to pixel value 255. Pixels from when the pixel value is low_val + 1 to high_val-1 can perform image adjustment by mapping between pixel values 1 and 254 using histogram equalization.
  • the face recognition learning apparatus can have characteristics robust to illumination change.
  • the first face recognizing unit 750 is composed of a composite neural network and can be learned in advance by the first face recognizing unit 650 of the above-described face recognizing learning apparatus.
  • the face recognition method is the same as the training method of the first face recognition unit 650 of the above-described face recognition learning apparatus.
  • three first face recognizing units 750 are used.
  • the number of the first face recognizing units 750 can be adjusted according to how much the illumination change of the image is to be considered. The more the first face recognizer 750 is used, the less consideration is given to the illumination change.
  • the plurality of first face recognizing units 750 may be trained by different reference images for the same face.
  • the second face recognizing unit 760 is also made up of a composite neural network and can be learned in advance by the second face recognizing unit 660 of the above-described face recognizing learning apparatus.
  • the face recognition method is the same as the training method of the second face recognition unit 660 of the above-described face recognition learning apparatus.
  • the third face recognizing unit 770 is also made of a composite neural network and can be learned in advance by the third face recognizing unit 670 of the face recognition learning apparatus.
  • the face recognition method is the same as the training method of the third face recognition unit 670 of the face recognition learning apparatus.
  • the face determination unit 780 collects the face recognition results of the first face recognition unit 750, the second face recognition unit 760, and the third face recognition unit 770, As the recognized face.
  • the face recognition learning apparatus and the face recognition apparatus using the learning according to the preferred embodiment of the present invention include the second face recognition unit 760 and the third face recognition unit 770 robust to illumination change,
  • the face recognition result of a plurality of face recognition units is collected and the face recognition result is determined by a majority vote. Therefore, it is possible to perform more accurate face recognition that is robust against the illumination change.
  • FIG. 9 is a flowchart showing a face recognition learning method according to a preferred embodiment of the present invention with time.
  • a face recognition learning method includes an input step S610, a face area detection step S620, a histogram smoothing step S630, an image adjustment step S640, Learning step S650.
  • the input step S610 is a step for receiving the reference image from the input unit 610.
  • the face region detection step (S620) is a step of detecting a face region in the face detection unit (620).
  • the histogram smoothing step (S630) is a step of performing histogram smoothing in the histogram unit (630).
  • the image adjustment step (S640) is a step of performing image adjustment in the image adjustment unit (640).
  • the face recognition learning step S650 is a step of learning face recognition in the first face recognition unit 650, the second face recognition unit 660 and the third face recognition unit 670.
  • FIG. 10 is a flowchart illustrating a face recognition method using learning according to a preferred embodiment of the present invention with time.
  • a face recognition method using learning includes an input step S710, a face area detection step S720, a histogram smoothing step S730, an image adjustment step S740, A face recognition step S750 and a face determination step S760.
  • the input step S710 is a step of receiving an input image from the input unit 710.
  • the face region detection step S720 is a step of detecting a face region in the face detection unit 720.
  • the histogram smoothing step (S730) is a step of performing histogram smoothing in the histogram unit (730).
  • the image adjusting step S740 is a step of performing image adjustment in the image adjusting unit 740.
  • the face recognizing step S750 is a step of recognizing faces by the first face recognizing part 750, the second face recognizing part 760 and the third face recognizing part 770.
  • the face determination step (S760) is a step of determining the face recognized by the face determination unit (780).
  • the above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

학습을 이용한 얼굴 인식 장치 및 방법이 개시된다. 개시된 장치는 입력 영상이 입력되는 입력부; 상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부; 상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부; 상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부; 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부; 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되, 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 한다. 개시된 장치에 따르면, 조명 변화에 강인한 장점이 있다.

Description

학습을 이용한 얼굴 인식 장치 및 방법
본 발명은 학습을 이용한 얼굴 인식 장치 및 방법에 관한 것이다.
얼굴 인식 기술은 다양한 분야에서 활용되어 오고 있으며, 그 중 많이 쓰이는 방식은 새로 입력된 얼굴 영상이 미리 등록된 특정 얼굴과 동일한지 아닌지를 판단하는 인증 방식이다.
근래에는 동일한 얼굴을 인식해 내는 방법으로 각 얼굴의 다양한 샘플 영상으로 미리 신경망을 훈련시킨 뒤 훈련된 신경망을 이용하여 입력 영상의 얼굴을 인식하는 학습을 이용한 방법을 사용하고 있다.
그러나 다수의 샘플 영상으로 학습된 신경망을 사용하더라도 얼굴 인식의 성능은 조명의 변화에 대해 민감하여 환경의 영향을 많이 받게 되는 문제점이 있다.
본 발명은 비교적 적응 양의 학습 데이터로도 효과적으로 특징점을 검출할 수 있는 학습을 이용한 특징점 검출 장치 및 방법을 제안한다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따르면, 입력 영상이 입력되는 입력부; 상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부; 상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부; 상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부; 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부; 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되, 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치가 제공된다.
상기 얼굴 검출부는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 한다.
상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 한다.
상기 다수의 제1 얼굴 인식부의 개수는 3개인 것을 특징으로 한다.
상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 한다.
상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, (a)입력 영상이 입력되는 단계; (b)상기 입력된 영상에서 얼굴 영역을 검출하는 단계; (c)상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 단계; (d)상기 검출된 얼굴 영역에 이미지 조정을 수행하는 단계; (e)사전에 학습된 다수의 제1 합성곱 신경망을 이용하여 상기 검출된 얼굴 영역에서 얼굴을 인식하는 단계; (f)사전에 학습된 제2 합성곱 신경망을 이용하여 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 단계; (g)사전에 학습된 제3 합성곱 신경망을 이용하여 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 단계; 및 (h)상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 단계를 포함하는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법이 제공된다.
본 발명은 조명 변화에 강인한 장점이 있다.
도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다.
도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이다.
도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치의 구조도이다.
도 7은 본 발명의 얼굴 검출부의 합성곱 신경망을 설명하기 위한 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치의 구조도이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법을 시간의 흐름에 따라 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 레퍼런스 얼굴 영상에 대한 정보를 학습하여, 학습 결과를 이용하여 입력되는 얼굴 영상을 인식한다. 일례로, 레퍼런스 얼굴 영상 내의 얼굴 부분을 검출하여 얼굴의 특징 벡터를 추출한 후, 동일한 얼굴의 레퍼런스 얼굴 영상 간 특징 벡터의 거리값을 학습하여 학습된 특징 벡터와 입력되는 얼굴 영상의 특징 벡터의 거리값이 일정 값 이내이면 입력 얼굴 영상의 얼굴을 레퍼런스 얼굴 영상의 얼굴과 동일한 얼굴로 인식할 수 있다.
학습을 위해 본 발명은 딥 러닝(deep learning) 알고리즘을 이용할 수 있으며, 일실시예로서 합성곱 신경망(CNN, Convolutional Neural Network) 알고리즘을 이용한다. 합성곱 신경망은, 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델로서, 최근 영상 인식이나 음성 인식 분야에 많이 활용되고 있는 알고리즘이다. 합성곱 신경망에서는 기본적으로 컨볼루션(Conv, convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용된다.
이하에서, 합성곱 신경망 알고리즘에 대해 간단히 설명한 후, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다. 도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이며, 도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 합성곱 신경망 알고리즘은 입력 영상에 대해 컨벌루션과 다운 샘플링을 통해, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션(C1, C2, C3)과 다운 샘플링(MP1, MP2)가 반복되며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.
도 1 및 2를 참조하면, 컨벌루션에 이용되는 필터(또는 커널, 210)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(200)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(230)이 결정될 수 있다.
도 2에 도시된 바와 같이, 대응되는 화소별로 필터(210)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(200)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(230)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일예로서, 입력 영상(200)의 사이즈가 7X7이며, 필터(210)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다.
컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(230)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정된다.
도 1 및 3을 참조하면, 컨벌루션 레이어의 사이즈를 줄이기 위해, 즉 해상도를 낮추기 위해 다운 샘플링이 수행되는데, 다운 샘플링으로 많이 이용되는 방법이 맥스 풀링(MP, max-pooling)이다. 다운 샘플링에 이용되는 커널(kenel)에 포함된 컨벌루션 레이어의 화소값 중 최대 값을 취함으로써 컨벌루션 레이어의 사이즈보다 작은 맥스 풀링 레이어가 생성될 수 있다.
예를 들어, 2X2 사이즈의 커널이 4X4 사이즈의 컨벌루션 레이어(310)에 적용될 경우, 서로 다른 색깔로 표시된 2X2 영역별로 6, 8, 3 및 4가 최대값으로 결정되어 맥스 풀링 레이어(320)가 생성될 수 있다.
다시 도 1로 돌아가, 피쳐 맵은 완전 연결된(fully-connected) 신경망으로 입력되고, 미리 주어진 입력 영상에 대한 라벨(label)과 신경망의 출력값의 차이값에 따라서 합성곱 신경망의 파라미터에 대한 학습이 수행된다.
도 4는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정을 설명하기 위한 도면이다.
이하에서, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정에 대하여 도 4를 참조하여 설명한다.
본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치는 도 4에 도시된 과정을 통하여 학습될 수 있다.
먼저, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 학습을 위해 인식할 얼굴들의 다양한 레퍼런스 영상을 입력받아 영상 내의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출 과정은 합성곱 신경망으로 학습될 수 있다. 특히, 본 발명의 일 실시예에서는 얼굴 영역 검출에 3단계의 합성곱 신경망을 이용하였다. 또는, 얼굴 영역 검출을 위한 3단계의 합성곱 신경망은 미리 학습이 수행되어 있을 수도 있으며, 레퍼런스 영상들은 얼굴 영역만으로 구성되어 얼굴 검출 과정을 생략하고 바로 합성곱 신경망을 훈련시킬 수도 있다.
이제 얼굴 영역이 검출된 레퍼런스 영상에 대해 히스토그램 평활화 과정 및 이미지 조정 과정을 수행할 수 있다. 히스토그램 평활화 과정 및 이미지 조정 과정은 영상의 조명 변화에 따른 얼굴의 변화를 상쇄시켜 줄 수 있다.
이제 레퍼런스 영상의 얼굴 영역에 의해 다수의 제1 합성곱 신경망이 훈련된다. 본 발명의 일 실시예에서는 3개의 제1 합성곱 신경망을 사용하였다. 제1 합성곱 신경망의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 합성곱 신경망을 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 합성곱 신경망은 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련될 수도 있다.
한편, 히스토그램 평활화 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 제2 합성곱 신경망이 훈련되며, 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 제3 합성곱 신경망이 훈련된다.
영상 내의 얼굴 인식을 학습하는 방법은 다양한 공지된 방법을 이용할 수 있다. 일례로, 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 영상 내 얼굴 영역에서 특징 벡터를 추출하여 특징 벡터 값에 의해 훈련될 수 있다. 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 동일한 얼굴의 다양한 레퍼런스 영상의 특징 벡터 간 거리값을 학습하여, 입력 영상이 입력되었을 때 입력 영상의 특징 벡터가 학습된 영상의 특징 벡터와 거리값이 일정값 이하이면 입력 영상의 얼굴을 상기 학습된 영상의 얼굴로 인식할 수 있도록 학습될 수 있다.
도 5는 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정을 설명하기 위한 도면이다.
이하에서, 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정에 대하여 도 5를 참조하여 설명한다.
본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치는 학습을 위해 입력 영상을 입력받아 영상 내의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출 과정은 합성곱 신경망으로 사전에 학습될 수 있다. 특히, 본 발명의 일 실시예에서는 얼굴 영역 검출에 3단계의 합성곱 신경망을 이용하였다.
이제 얼굴 영역이 검출된 레퍼런스 영상에 대해 히스토그램 평활화 과정 및 이미지 조정 과정을 수행할 수 있다. 히스토그램 평활화 과정 및 이미지 조정 과정은 조명 변화에 따른 영상의 변화를 상쇄시켜 줄 수 있다.
이제 다수의 제1 합성곱 신경망은 입력 영상에서 얼굴을 인식한다. 본 발명의 일 실시예에서는 3개의 제1 합성곱 신경망을 사용하였다. 제1 합성곱 신경망의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 합성곱 신경망을 많이 사용할수록 조명 변화를 덜 고려하게 된다. 제1 합성곱 신경망은 다수의 레퍼런스 영상을 통하여 사전에 학습되어 있을 수 있다.
한편, 제2 합성곱 신경망은 히스토그램 평활화 과정이 수행된 입력 영상의 얼굴 영역에서 얼굴을 인식하며, 제3 합성곱 신경망은 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에서 얼굴을 인식한다. 제2 합성곱 신경망 및 제3 합성곱 신경망 또한 히스토그램 평활화 과정 및 이미지 조정 과정이 수행된 다수의 레퍼런스 영상으로 사전에 학습되어 있을 수 있다.
제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망이 얼굴을 인식하는 방법은 사전에 학습된 방법과 동일하며, 다양한 공지된 방법을 이용할 수 있다. 일례로, 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 영상 내 얼굴 영역에서 특징 벡터를 추출하여 추출된 특징 벡터 값을 사전에 학습된 레퍼런스 영상들의 특징 벡터 값과 비교할 수 있다. 사전에 학습된 동일 얼굴의 레퍼런스 영상들의 특징 벡터 값이 훈련되어 있으므로, 입력 영상에서 추출된 특징 벡터 값이 사전에 학습된 특정한 얼굴의 특징 벡터 값과의 거리값이 일정값 이하이면, 입력 영상의 얼굴을 상기 사전에 학습된 특정한 얼굴로 인식할 수 있다.
이제, 본 발명의 학습을 이용한 얼굴 인식 장치는 다수의 합성곱 신경망들의 얼굴 인식 결과를 취합한다. 도 5의 일 실시예에서는 3개의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망을 포함하여 총 5개의 합성곱 신경망의 얼굴 인식 결과를 취합하여, 과반수가 넘는 결과를 최종적으로 선택하게 된다.
본 발명의 학습을 이용한 얼굴 인식 장치는 히스토그램 평활화 과정 및 이미지 조정 과정 그리고 각 합성곱 신경망에 의한 얼굴 인식 결과를 취합하여 투표에 의해 최종적으로 인식할 얼굴을 선택하므로 조명 변화에 강인하며, 투표에 관여하는 합성곱 신경망의 수를 조절하여 조명 변화에 어느 정도의 가중치를 둘 것인지 사전에 결정할 수 있다.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치의 구조도이다.
도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 입력부(610), 얼굴 검출부(620), 히스토그램부(630), 이미지 조정부(640), 제1 얼굴 인식부(650), 제2 얼굴 인식부(660) 및 제3 얼굴 인식부(670)를 포함할 수 있다.
입력부(610)에서는 얼굴 인식 학습을 위한 레퍼런스 영상이 입력된다. 레퍼런스 영상은 사전에 얼굴 영역 검출이 이루어져 얼굴 영역만으로 이루어진 영상일 수도 있다.
얼굴 검출부(620)는 입력된 레퍼런스 영상에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 합성곱 신경망을 이용하여 학습될 수 있다. 일례로, 얼굴 검출부(120)는 3단계의 합성곱 신경망으로 구성될 수 있다.
도 7은 본 발명의 얼굴 검출부의 합성곱 신경망을 설명하기 위한 도면이다.
도 7을 참조하면, 얼굴 검출부(620)는 P-Net, R-Net 및 O-Net의 3단계의 합성곱 신경망으로 구성될 수 있다.
먼저, 1단계에서 얼굴 검출부(620)는 레퍼런스 영상에 대해 크기를 변형해 가며 이미지 피라미드를 생성한 뒤, P-Net을 사용하여 슬라이딩 윈도우 방식으로 얼굴의 후보 영역을 찾을 수 있다. P-Net 신경망의 결과로 나온 Bounding box regression 벡터를 이용하여 후보 영역의 위치를 조절하고, 공지된 기술인 NMS(Non-Maximum Suppression) 알고리즘을 적용하여 서로 영역이 겹치는 후보 영역들을 합쳐서 후보 영역의 수를 줄일 수 있다.
2단계에서는 1단계에서 검출된 후보 영역들에 대해 더 복잡한 구조의 R-Net을 사용하여 얼굴이 아닌 후보 영역들을 더 제거하고, 후보 영역의 위치를 조절하며 후보 영역의 수를 줄일 수 있다.
3단계에서는 더 복잡한 구조의 O-Net 신경망을 사용하여 2단계에서 검출된 후보 영역 중 최종적으로 얼굴 영역과 랜드마크의 위치를 찾을 수 있다.
또한, 레퍼런스 영상이 사전에 얼굴 영역 검출이 이루어져 얼굴 영역만으로 이루어진 영상일 경우에는, 얼굴 검출부(620)가 생략될 수도 있다.
히스토그램부(630)는 얼굴 영역이 검출된 레퍼런스 영상에 히스토그램 평활화(Histogram Equalization)을 수행할 수 있다. 먼저 PDF(Probability Density Function)을 생성하고, CDF(Cumulative Distribution Function)를 구한 후, 누적 히스토그램의 정규화를 실시한다. 마지막으로 정규화된 누적 히스토그램에 최대 밝기 값을 곱하여 수치화하여 히스토그램부(630)는 영상에 히스토그램 평활화를 수행할 수 있다. 히스토그램 평활화는 영상의 밝기 분포에 따라 각 픽셀의 밝기를 일정하게 조정하므로 영상의 조명 변화를 상쇄시킬 수 있다.
이미지 조정부(640)는 얼굴 영역이 검출된 레퍼런스 영상에 이미지 조정(Image Adjustment)를 수행할 수 있다. 먼저 영상을 히스토그램 형태로 표현한 후, 픽셀 값이 0일 때부터 픽셀 값을 1씩 증가시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 low_val이라 한다. 또한, 픽셀 값이 255일 때부터 픽셀 값을 1씩 감소시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 high_val이라 한다. 이제 픽셀 값이 0일 때부터 low_val일 때까지의 픽셀들을 픽셀 값 0으로 mapping하고 픽셀 값이 high_val일 때부터 255일 때까지의 픽셀들을 픽셀 값 255로 mapping한다. 그리고 픽셀 값이 low_val+1일 때부터 high_val-1일 때까지의 픽셀들은 히스토그램 평활화(Histogram equalization)를 사용하여 픽셀 값 1과 254 사이에 mapping하여 이미지 조정을 수행할 수 있다. 이미지 조정은 영상 내 상위 1% 및 하위 1%의 픽셀들의 밝기 값을 최대값 및 최소값으로 맵핑하고 나머지 픽셀들을 그 사이에 맵핑하므로 영상의 조명 변화를 상쇄시킬 수 있다.
상기의 히스토그램 평활화 및 이미지 조정을 통해 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 조명 변화에 강인한 특징을 가질 수 있다.
제1 얼굴 인식부(650)는 합성곱 신경망으로 이루어지며, 레퍼런스 영상의 얼굴 영역에 의해 훈련된다. 본 발명의 일 실시예에서는 3개의 제1 얼굴 인식부(650)를 사용하였다. 제1 얼굴 인식부(650)의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 얼굴 인식부(650)를 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 얼굴 인식부(650)는 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련될 수도 있다.
제2 얼굴 인식부(660) 또한 합성곱 신경망으로 이루어지며, 히스토그램 평활화 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 훈련될 수 있다.
제3 얼굴 인식부(670) 역시 합성곱 신경망으로 이루어지며, 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 훈련될 수 있다.
도 8은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치의 구조도이다.
도 8을 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 입력부(710), 얼굴 검출부(720), 히스토그램부(730), 이미지 조정부(740), 제1 얼굴 인식부(750), 제2 얼굴 인식부(760), 제3 얼굴 인식부(770) 및 얼굴 결정부(780)를 포함할 수 있다.
입력부(710)에서는 얼굴 인식을 위한 입력 영상이 입력된다.
얼굴 검출부(720)는 입력 영상에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 전술한 얼굴 인식 학습 장치의 얼굴 검출부(620)에 의해 사전에 학습될 수 있다. 얼굴 영역 검출 방법은 전술한 얼굴 인식 학습 장치의 얼굴 검출부(620)의 훈련 방법과 같다.
히스토그램부(730)는 얼굴 영역이 검출된 입력 영상에 히스토그램 평활화(Histogram Equalization)을 수행할 수 있다. 먼저 PDF(Probability Density Function)을 생성하고, CDF(Cumulative Distribution Function)를 구한 후, 누적 히스토그램의 정규화를 실시한다. 마지막으로 정규화된 누적 히스토그램에 최대 밝기 값을 곱하여 수치화하여 히스토그램부(730)는 영상에 히스토그램 평활화를 수행할 수 있다.
이미지 조정부(740)는 얼굴 영역이 검출된 입력 영상에 이미지 조정(Image Adjustment)를 수행할 수 있다. 먼저 영상을 히스토그램 형태로 표현한 후, 픽셀 값이 0일 때부터 픽셀 값을 1씩 증가시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 low_val이라 한다. 또한, 픽셀 값이 255일 때부터 픽셀 값을 1씩 감소시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 high_val이라 한다. 이제 픽셀 값이 0일 때부터 low_val일 때까지의 픽셀들을 픽셀 값 0으로 mapping하고 픽셀 값이 high_val일 때부터 255일 때까지의 픽셀들을 픽셀 값 255로 mapping한다. 그리고 픽셀 값이 low_val+1일 때부터 high_val-1일 때까지의 픽셀들은 히스토그램 평활화(Histogram equalization)를 사용하여 픽셀 값 1과 254 사이에 mapping하여 이미지 조정을 수행할 수 있다.
히스토그램 평활화 및 이미지 조정을 통해 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 조명 변화에 강인한 특징을 가질 수 있다.
제1 얼굴 인식부(750)는 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제1 얼굴 인식부(650)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제1 얼굴 인식부(650)의 훈련 방법과 같다. 본 발명의 일 실시예에서는 3개의 제1 얼굴 인식부(750)를 사용하였다. 제1 얼굴 인식부(750)의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 얼굴 인식부(750)를 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 얼굴 인식부(750)는 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련되어 있을 수도 있다.
제2 얼굴 인식부(760) 또한 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제2 얼굴 인식부(660)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제2 얼굴 인식부(660)의 훈련 방법과 같다.
제3 얼굴 인식부(770) 역시 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제3 얼굴 인식부(670)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제3 얼굴 인식부(670)의 훈련 방법과 같다.
얼굴 결정부(780)는 다수의 제1 얼굴 인식부(750)와 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 최종적으로 인식된 얼굴로 결정한다.
이상과 같이, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치 및 학습을 이용한 얼굴 인식 장치는 조명 변화에 강인한 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)를 포함하며, 다수의 얼굴 인식부의 얼굴 인식 결과를 취합하여 다수결로 얼굴 인식 결과를 결정하므로, 조명 변화에 강인하며 보다 정확한 얼굴 인식을 수행할 수 있다.
도 9는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 9를 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법은 입력 단계(S610), 얼굴 영역 검출 단계(S620), 히스토그램 평활화 단계(S630), 이미지 조정 단계(S640) 및 얼굴 인식 학습 단계(S650)를 포함한다.
입력 단계(S610)는 입력부(610)에서 레퍼런스 영상을 입력받는 단계이다.
얼굴 영역 검출 단계(S620)는 얼굴 검출부(620)에서 얼굴 영역을 검출하는 단계이다.
히스토그램 평활화 단계(S630)는 히스토그램부(630)에서 히스토그램 평활화를 수행하는 단계이다.
이미지 조정 단계(S640)는 이미지 조정부(640)에서 이미지 조정을 수행하는 단계이다.
얼굴 인식 학습 단계(S650)는 제1 얼굴 인식부(650), 제2 얼굴 인식부(660) 및 제3 얼굴 인식부(670)에서 얼굴 인식을 학습하는 단계이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 10을 참조하면, 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법은 입력 단계(S710), 얼굴 영역 검출 단계(S720), 히스토그램 평활화 단계(S730), 이미지 조정 단계(S740), 얼굴 인식 단계(S750) 및 얼굴 결정 단계(S760)를 포함한다.
입력 단계(S710)는 입력부(710)에서 입력 영상을 입력받는 단계이다.
얼굴 영역 검출 단계(S720)는 얼굴 검출부(720)에서 얼굴 영역을 검출하는 단계이다.
히스토그램 평활화 단계(S730)는 히스토그램부(730)에서 히스토그램 평활화를 수행하는 단계이다.
이미지 조정 단계(S740)는 이미지 조정부(740)에서 이미지 조정을 수행하는 단계이다.
얼굴 인식 단계(S750)는 제1 얼굴 인식부(750), 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)에서 얼굴을 인식하는 단계이다.
얼굴 결정 단계(S760)는 얼굴 결정부(780)에서 인식된 얼굴을 결정하는 단계이다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

Claims (12)

  1. 입력 영상이 입력되는 입력부;
    상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부;
    상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부;
    상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부;
    상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부;
    상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부;
    상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및
    상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되,
    상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  2. 제1항에 있어서,
    상기 얼굴 검출부는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  3. 제1항에 있어서,
    상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  4. 제1항에 있어서,
    상기 다수의 제1 얼굴 인식부의 개수는 3개인 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  5. 제1항에 있어서,
    상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  6. 제1항에 있어서,
    상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
  7. (a)입력 영상이 입력되는 단계;
    (b)상기 입력된 영상에서 얼굴 영역을 검출하는 단계;
    (c)상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 단계;
    (d)상기 검출된 얼굴 영역에 이미지 조정을 수행하는 단계;
    (e)사전에 학습된 다수의 제1 합성곱 신경망을 이용하여 상기 검출된 얼굴 영역에서 얼굴을 인식하는 단계;
    (f)사전에 학습된 제2 합성곱 신경망을 이용하여 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 단계;
    (g)사전에 학습된 제3 합성곱 신경망을 이용하여 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 단계; 및
    (h)상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 단계를 포함하는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
  8. 제7항에 있어서,
    상기 (b)단계는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
  9. 제7항에 있어서,
    상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
  10. 제7항에 있어서,
    상기 다수의 제1 합성곱 신경망의 개수는 3개인 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
  11. 제7항에 있어서,
    상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
  12. 제7항에 있어서,
    상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
PCT/KR2018/006818 2017-08-18 2018-06-18 학습을 이용한 얼굴 인식 장치 및 방법 Ceased WO2019035544A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0104596 2017-08-18
KR1020170104596A KR101877683B1 (ko) 2017-08-18 2017-08-18 학습을 이용한 얼굴 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019035544A1 true WO2019035544A1 (ko) 2019-02-21

Family

ID=62919937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006818 Ceased WO2019035544A1 (ko) 2017-08-18 2018-06-18 학습을 이용한 얼굴 인식 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101877683B1 (ko)
WO (1) WO2019035544A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858467A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于关键点区域特征融合的人脸识别方法及装置
CN111931551A (zh) * 2020-05-26 2020-11-13 东南大学 一种基于轻量级级联网络的人脸检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148699B1 (ko) 2018-11-01 2020-08-27 전형고 얼굴 인식 장치 및 그 방법
CN110321873B (zh) * 2019-07-12 2023-10-10 苏州思萃工业大数据技术研究所有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054886A (ko) * 2009-11-18 2011-05-25 원광대학교산학협력단 조명변화에 견고한 얼굴 표정 인식방법
KR20150011097A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054886A (ko) * 2009-11-18 2011-05-25 원광대학교산학협력단 조명변화에 견고한 얼굴 표정 인식방법
KR20150011097A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858467A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于关键点区域特征融合的人脸识别方法及装置
CN111931551A (zh) * 2020-05-26 2020-11-13 东南大学 一种基于轻量级级联网络的人脸检测方法
CN111931551B (zh) * 2020-05-26 2022-04-12 东南大学 一种基于轻量级级联网络的人脸检测方法

Also Published As

Publication number Publication date
KR101877683B1 (ko) 2018-07-12

Similar Documents

Publication Publication Date Title
WO2017213398A1 (en) Learning model for salient facial region detection
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2020204525A1 (ko) 잡음 환경에 강인한 화자 인식을 위한 심화 신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
WO2014193040A1 (ko) 센싱 데이터 분석 시스템 및 방법
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2022065798A1 (ko) 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
WO2021145502A1 (ko) 얼굴 및 스트레스 인식 장치 및 방법
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2024029669A1 (ko) 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2021246810A1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023085479A1 (ko) 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법
WO2016122068A1 (ko) 타이어 인식 방법 및 장치
EP4232994A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
WO2021153843A1 (ko) 가중치를 이용한 음성 신호의 스트레스 판별 방법 및 그를 위한 장치
WO2016148322A1 (ko) 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치
WO2022075714A1 (ko) 화자 인식을 위한 음성인식기 기반 풀링 기법의 화자 임베딩 추출 방법 및 시스템, 그리고 이를 위한 기록매체
WO2015182802A1 (ko) 영상 처리 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체
WO2023132428A1 (ko) 재순위화를 통한 객체 검색
WO2020067615A1 (ko) 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18846947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18846947

Country of ref document: EP

Kind code of ref document: A1