KR102257883B1 - Face Recognition Apparatus and Method - Google Patents
Face Recognition Apparatus and Method Download PDFInfo
- Publication number
- KR102257883B1 KR102257883B1 KR1020180122471A KR20180122471A KR102257883B1 KR 102257883 B1 KR102257883 B1 KR 102257883B1 KR 1020180122471 A KR1020180122471 A KR 1020180122471A KR 20180122471 A KR20180122471 A KR 20180122471A KR 102257883 B1 KR102257883 B1 KR 102257883B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- image
- gradient
- comparing
- histogram
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/007—Dynamic range modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
본 발명은 얼굴 인식 방법에 관한 것으로서, 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 단계, 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 단계, 상기 변환된 흑백 이미지를 히스토그램 균등화하는 단계, 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 단계, 및 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 단계를 포함하는 것을 특징으로 하며, 블록별 그래디언트 패턴을 이용하여 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있다.The present invention relates to a face recognition method, comprising the steps of detecting a new object by comparing a previous image frame with a current image frame, converting an image area of the detected new object into a black and white image, and the converted black and white image The histogram equalization step, the step of decomposing the histogram equalized image block by block to calculate a block-by-block gradient, and comparing the block-by-block gradient pattern of the previously stored face image with the calculated block-by-block gradient pattern to the current image frame It characterized by including the step of recognizing the inner face image, and it is possible to quickly recognize the face in the image with a small number of operations using a gradient pattern for each block.
Description
본 발명은 얼굴 인식 방법에 관한 것으로서, 더욱 상세하게는 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있는 얼굴 인식 방법 및 장치에 관한 것이다.The present invention relates to a face recognition method, and more particularly, to a face recognition method and apparatus capable of quickly recognizing a face in an image with a small number of operations.
얼굴인식은 생체인식 기술 중 중에서도 급속도로 성장하는 기술로 페이스북이나 구글 같은 업체들도 여기에 관심을 보이고 있다. 페이스북은 자사의 얼굴인식 및 태깅 기능을 향상하려는 노력의 일환으로 2012년 페이스닷컴(Face.com)을 인수했다.Face recognition is a rapidly growing technology among biometrics, and companies such as Facebook and Google are also showing interest in it. Facebook acquired Face.com in 2012 in an effort to improve its face recognition and tagging capabilities.
애플은 3D 센서를 지원하는 최신 차세대 스마트폰인 아이폰 X에 얼굴인식 기술을 탑재해 한눈에 휴대전화를 잠금 해제할 수 있도록 했다. 구글은 사용자가 암호를 입력하지 않고 사이트에 등록할 수 있는 데스크톱 브라우저를 발표했다. 대신 구글은 얼굴인식을 포함한 생체인식 정보를 사용했다.Apple has equipped the iPhone X, the latest generation of smartphones that support 3D sensors, with facial recognition technology to unlock the phone at a glance. Google announced a desktop browser that allows users to sign up for a site without entering a password. Instead, Google used biometric information, including face recognition.
아마존도 자체 인식 기능(Amazon Reognognition)을 개발했다. 알리바바가 소유한 모바일 지불 앱인 알리페이는 중국에서 1억 2,000만 명의 사용자가 사용하며 얼굴 인식을 통해 돈을 송금하여 신원을 확인하도록 했다.Amazon has also developed its own recognition function (Amazon Reognognition). Alipay, a mobile payment app owned by Alibaba, is used by 120 million users in China and has been used by facial recognition to send money to verify identity.
생체 인식 중에서도 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리, 대상자의 자발적인 동의 없이도 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고 있다.Among biometrics, face recognition technology is a convenient and competitive biometrics because of the advantage of being able to verify the user's identity in a non-contact manner without the voluntary consent of the subject, unlike recognition technologies that require a user's special gestures or actions such as fingerprint recognition and iris recognition. It is being evaluated as a technology.
선행기술 1(KR 10-2013-0048076)은 얼굴 인식을 수행함에 있어 마코브 네트워크를 적용하여 히든 노드 간의 상관관계, 즉 타겟 영상들 간의 유사도를 고려함으로써 얼굴 인식 결과의 정확도를 향상시키는 기술이다.Prior art 1 (KR 10-2013-0048076) is a technology for improving the accuracy of a face recognition result by considering the correlation between hidden nodes, that is, similarity between target images by applying a Markov network in performing face recognition.
선행기술 2(KR 10-1877683)는 3 단계의 합성곱 신경망으로 학습하여 얼굴 영역을 검출하는 기술이다.Prior art 2 (KR 10-1877683) is a technology that detects a face region by learning with a 3-step convolutional neural network.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 블록별 그래디언트 패턴을 이용하여 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있는 얼굴 인식 방법을 제공하는 것이다.Accordingly, the first problem to be solved by the present invention is to provide a face recognition method capable of quickly recognizing a face in an image with a small number of operations using a gradient pattern for each block.
본 발명이 해결하고자 하는 두 번째 과제는 블록별 그래디언트 패턴을 이용하여 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있는 얼굴 인식 장치를 제공하는 것이다.A second problem to be solved by the present invention is to provide a face recognition device capable of quickly recognizing a face in an image with a small number of operations using a gradient pattern for each block.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.In addition, it is to provide a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 단계; 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 단계; 상기 변환된 흑백 이미지를 히스토그램 균등화하는 단계; 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 단계; 및 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 단계를 포함하는 얼굴 인식 방법을 제공한다.In order to achieve the first object, the present invention includes the steps of detecting a new object by comparing a previous image frame with a current image frame; Converting the detected image area of the new object into a black and white image; Equalizing the converted black and white image histogram; Calculating a gradient for each block by decomposing the histogram equalized image for each block; And comparing a gradient pattern for each block of a previously stored face image with the calculated gradient pattern for each block to recognize a face image in the current image frame.
본 발명의 일 실시 예에 의하면, 상기 새로운 객체를 검출하는 단계는, 상기 이전의 이미지 프레임과 상기 현재의 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 것으로 판단하는 것이 바람직하다.According to an embodiment of the present invention, the detecting of the new object comprises: when the difference value of the corresponding pixel between the previous image frame and the current image frame is greater than 0 or greater than a predetermined value, the object is It is desirable to judge that it exists.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 객체 검출부; 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 흑백 이미지 변환부; 상기 변환된 흑백 이미지를 히스토그램 균등화하는 히스토그램 균등화부; 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 그래디언트 산출부; 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 얼굴이미지 인식부를 포함하는 얼굴 인식 장치를 제공한다. In order to achieve the second object, the present invention includes an object detection unit configured to detect a new object by comparing a previous image frame with a current image frame; A black-and-white image conversion unit converting the detected image area of the new object into a black-and-white image; A histogram equalization unit that equalizes the converted black-and-white image; A gradient calculator for calculating a gradient for each block by decomposing the histogram equalized image for each block; It provides a face recognition apparatus including a face image recognition unit for recognizing a face image in the current image frame by comparing a block-by-block gradient pattern of a previously stored face image with the calculated block-by-block gradient pattern.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 얼굴 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above other technical problem, the present invention provides a computer-readable recording medium in which a program for executing the above-described face recognition method on a computer is recorded.
본 발명에 따르면, 블록별 그래디언트 패턴을 이용하여 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있다.According to the present invention, a face in an image can be quickly recognized with a small number of operations using a gradient pattern for each block.
도 1은 본 발명의 바람직한 일 실시 예에 따른 얼굴 인식 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따라 얼굴이미지 인식부(140)에 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 도시한 것이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 얼굴 인식 장치의 흐름도이다.1 is a block diagram of a face recognition apparatus according to an exemplary embodiment of the present invention.
2 is a diagram illustrating a gradient pattern for each block of a face image previously stored in the face
3 is a flowchart of a face recognition apparatus according to an exemplary embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in which a person of ordinary skill in the art can easily implement the present invention. However, these examples are for describing the present invention in more detail, and it will be apparent to those of ordinary skill in the art that the scope of the present invention is not limited thereto.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.The configuration of the invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on a preferred embodiment of the present invention, but the same in assigning reference numerals to the components of the drawings. For the components, even if they are on different drawings, the same reference numerals are given, and it should be noted in advance that components of other drawings may be referred to when necessary when describing the drawings. In addition, when it is determined that detailed descriptions of known functions or configurations related to the present invention and other matters may unnecessarily obscure the subject matter of the present invention in describing the operating principle of the preferred embodiment of the present invention in detail, Its detailed description is omitted.
도 1은 본 발명의 바람직한 일 실시 예에 따른 얼굴 인식 장치의 구성도이다.1 is a block diagram of a face recognition apparatus according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 실시 예에 따른 얼굴 인식 장치는 객체 검출부(100), 흑백 이미지 변환부(110), 히스토그램 균등화부(120), 그래드언트 산출부(130), 및 얼굴이미지 인식부(140)로 구성된다.Referring to FIG. 1, the face recognition apparatus according to the present embodiment includes an
객제 검출부(100)는 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출한다.The
이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 각 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 영역의 픽셀로 판단할 수 있다.By comparing the previous image frame with the current image frame, when a difference value of a pixel corresponding between each image frame is greater than 0 or a predetermined value or more than 0, it may be determined as a pixel in an area where an object exists.
흑백 이미지 변환부(110)는 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환한다.The black-and-white
상기 새로운 객체의 이미지 영역이 컬러 이미지인 경우 컬러 이미지는 RGB(Red, Green, Blue) 또는 HSL(Hue, Saturation, Luminance) 포맷일 수 있다.When the image area of the new object is a color image, the color image may be in RGB (Red, Green, Blue) or HSL (Hue, Saturation, Luminance) format.
이 경우, HSL 포맷의 Luminance 정보는 흑백 이미지 정보와 대응한다. 따라서, 컬러 이미지가 RGB 포맷인 경우도 HSL 포맷으로 변환하여 흑백 이미지로 변환하는 것이 바람직하다. In this case, the luminance information of the HSL format corresponds to the monochrome image information. Accordingly, it is preferable to convert the color image into a black and white image by converting it into an HSL format even when the color image is in an RGB format.
히스토그램 균등화부(120)는 상기 변환된 흑백 이미지를 히스토그램 균등화한다.The
흑백 이미지의 히스토그램은 이미지 내에서 각 명암값에 해당하는 픽셀의 갯수를 나타낸 것이다. 히스토그램의 x축은 명암값, y축은 빈도수를 나타낸다. 히스토그램의 막대분포가 왼쪽으로 치우칠수록 어두운 이미지를 나타내고, 오른쪽으로 치우칠수록 밝은 이미지를 표현하게 된다. 히스토그램 균등화는 이미지의 히스토그램을 명암값 전 구간에서 고르게 나타나도록 변경하는 것을 말한다.The histogram of a black and white image shows the number of pixels corresponding to each intensity value in the image. The x-axis of the histogram represents the intensity value, and the y-axis represents the frequency. The more the bar distribution of the histogram is skewed to the left, the darker the image is, and the more it is skewed to the right, the brighter the image. Histogram equalization refers to changing the histogram of an image so that it appears evenly over the entire range of contrast values.
그래드언트 산출부(130)는 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출한다.The
이미지를 작은 블록으로 분해하여 각 블록별 그래디언트가 어느 방향(상향, 우상향, 좌상향, 하향, 우하향, 우좌향 등)을 향하고 있는지 산출할 수 있다.By decomposing the image into small blocks, it is possible to calculate in which direction the gradient for each block is facing (upward, upward, upward, leftward, downward, downward, right, left, etc.).
그래디언트(Gradient)는 하나의 픽셀을 상기 하나의 픽셀을 둘러싸고 있는 주변 픽셀들과 비교해서 이미지가 어두워지는 방향 또는 밝아지는 방향을 나타내는 것으로 정의한다.Gradient is defined as representing a direction in which an image darkens or brightens by comparing one pixel with neighboring pixels surrounding the one pixel.
이미지의 모든 픽셀에 대해서 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래디언트를 합하여 블록별 그래디언트를 산출할 수 있다.Gradients for all pixels of the image may be calculated, and gradients for each block may be calculated by summing the gradients of pixels in the decomposed block.
이미지의 픽셀을 그대로 사용하는 경우 동일한 사람의 어두운 이미지와 밝은 이미지는 전혀 다른 픽셀값을 갖게 되므로 정확한 비교가 힘들다. 그러나 밝기가 변하는 방향을 고려하여 비교하게 되면, 밝은 이미지와 어두운 이미지를 비교할 때라도 밝기의 변화방향이 동일하면 동일한 이미지라고 판단할 수 있다.If the pixels of the image are used as they are, the dark image and the bright image of the same person have completely different pixel values, making it difficult to accurately compare. However, when comparison is made in consideration of the direction in which the brightness changes, even when comparing a bright image and a dark image, if the direction of change in brightness is the same, it can be determined that the image is the same.
얼굴이미지 인식부(140)는 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식한다.The face
도 2는 본 발명의 일 실시 예에 따라 얼굴이미지 인식부(140)에 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 도시한 것이다.2 is a diagram illustrating a gradient pattern for each block of a face image previously stored in the face
도 2에 도시된 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴(a)을 그래디언트 산출부(130)에서 산출된 블록별 그래디언트의 패턴(b)과 비교하여 유사도가 일정 유사도 이상인 경우 얼굴 이미지로 인식하게 된다.The gradient pattern (a) for each block of the previously stored face image shown in FIG. 2 is compared with the pattern (b) of the gradient for each block calculated by the
도 3은 본 발명의 바람직한 일 실시 예에 따른 얼굴 인식 장치의 흐름도이다.3 is a flowchart of a face recognition apparatus according to an exemplary embodiment of the present invention.
도 3을 참조하면, 본 실시 예에 따른 얼굴 인식 방법은 도 1에 도시된 얼굴 인식 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 얼굴 인식 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 얼굴 인식 방법에도 적용된다. Referring to FIG. 3, a method for recognizing a face according to the present embodiment includes steps that are processed in time series by the face recognition apparatus shown in FIG. 1. Accordingly, even if omitted below, the contents described above with respect to the face recognition apparatus shown in FIG. 1 are also applied to the face recognition method according to the present exemplary embodiment.
300 단계에서 얼굴 인식 장치는 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출한다. 새로운 객체는 움직이는 물체인 사람, 자동차, 동물 등이 될 수 있다.In
이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 각 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 영역의 픽셀로 판단할 수 있다. By comparing the previous image frame with the current image frame, when a difference value of a pixel corresponding between each image frame is greater than 0 or a predetermined value or more than 0, it may be determined as a pixel in an area where an object exists.
310 단계에서 얼굴 인식 장치는 300 단계에서 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환한다.In
상기 새로운 객체의 이미지 영역이 컬러 이미지인 경우 컬러 이미지는 RGB(Red, Green, Blue) 또는 HSL(Hue, Saturation, Luminance) 포맷일 수 있다.When the image area of the new object is a color image, the color image may be in RGB (Red, Green, Blue) or HSL (Hue, Saturation, Luminance) format.
이 경우, HSL 포맷의 Luminance 정보는 흑백 이미지 정보와 대응한다. 따라서, 컬러 이미지가 RGB 포맷인 경우도 HSL 포맷으로 변환하여 흑백 이미지로 변환하는 것이 바람직하다. In this case, the luminance information of the HSL format corresponds to the monochrome image information. Accordingly, it is preferable to convert the color image into a black and white image by converting it into an HSL format even when the color image is in an RGB format.
320 단계에서 얼굴 인식 장치는 310 단계에서 변환된 흑백 이미지를 히스토그램 균등화한다.In
흑백 이미지의 히스토그램은 이미지 내에서 각 명암값에 해당하는 픽셀의 갯수를 나타낸 것이다. 히스토그램의 x축은 명암값, y축은 빈도수를 나타낸다. 히스토그램의 막대분포가 왼쪽으로 치우칠수록 어두운 이미지를 나타내고, 오른쪽으로 치우칠수록 밝은 이미지를 표현하게 된다. 히스토그램 균등화는 이미지의 히스토그램을 명암값 전 구간에서 고르게 나타나도록 변경하는 것을 말한다.The histogram of a black and white image shows the number of pixels corresponding to each intensity value in the image. The x-axis of the histogram represents the intensity value, and the y-axis represents the frequency. As the bar distribution of the histogram is skewed to the left, a darker image is expressed, and as the bar distribution is skewed to the right, a brighter image is expressed. Histogram equalization refers to changing the histogram of an image so that it appears evenly over the entire range of contrast values.
330 단계에서 얼굴 인식 장치는 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출한다.In
이미지를 작은 블록으로 분해하여 각 블록별 그래디언트가 어느 방향(상향, 우상향, 좌상향, 하향, 우하향, 우좌향 등)을 향하고 있는지 산출할 수 있다.By decomposing the image into small blocks, it is possible to calculate in which direction the gradient for each block is facing (upward, upward, upward, leftward, downward, downward, right, left, etc.).
그래디언트(Gradient)는 하나의 픽셀을 상기 하나의 픽셀을 둘러싸고 있는 주변 픽셀들과 비교해서 이미지가 어두워지는 방향 또는 밝아지는 방향을 나타내는 것으로 정의한다.Gradient is defined as representing a direction in which an image darkens or brightens by comparing one pixel with neighboring pixels surrounding the one pixel.
이미지의 모든 픽셀에 대해서 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래디언트를 합하여 블록별 그래디언트를 산출할 수 있다.Gradients for all pixels of the image may be calculated, and gradients for each block may be calculated by summing the gradients of pixels in the decomposed block.
이미지의 픽셀을 그대로 사용하는 경우 동일한 사람의 어두운 이미지와 밝은 이미지는 전혀 다른 픽셀값을 갖게 되므로 정확한 비교가 힘들다. 그러나 밝기가 변하는 방향을 고려하여 비교하게 되면, 밝은 이미지와 어두운 이미지를 비교할 때라도 밝기의 변화방향이 동일하면 동일한 이미지라고 판단할 수 있다.If the pixels of the image are used as they are, the dark image and the bright image of the same person have completely different pixel values, making it difficult to accurately compare. However, when comparison is made in consideration of the direction in which the brightness changes, even when comparing a bright image and a dark image, if the direction of change in brightness is the same, it can be determined that the image is the same.
340 단계에서 얼굴 인식 장치는 사전에 저장된 일반적인 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식한다.In
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , If a person of ordinary skill in the field to which the present invention belongs, various modifications and variations are possible from these descriptions.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is limited to the described embodiments and should not be defined, and all things that are equivalent or equivalent to the claims as well as the claims to be described later fall within the scope of the inventive concept. .
Claims (4)
상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 단계;
상기 변환된 흑백 이미지를 히스토그램 균등화하는 단계;
상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 단계; 및
사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교함에 있어서, 상기 사전에 저장된 얼굴이미지의 블록별 그래디언트 및 상기 산출된 블록별 그래디언트의 밝기가 변하는 방향을 고려하여 비교함으로써 유사도가 일정 유사도 이상인 경우 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 단계를 포함하고,
상기 블록별 그래디언트의 산출은 상기 히스토그램 균등화된 이미지의 모든 픽셀에 대하여 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래드언트를 합하여 산출되는 얼굴 인식 방법.
Detecting a new object by comparing a previous image frame with a current image frame;
Converting the detected image area of the new object into a black and white image;
Equalizing the converted black and white image histogram;
Calculating a gradient for each block by decomposing the histogram equalized image for each block; And
In comparing the block-by-block gradient pattern of the previously stored face image with the calculated block-by-block gradient pattern, by comparing the gradient of each block of the previously stored face image and the direction in which the brightness of the calculated block-by-block gradient changes. Recognizing a face image in the current image frame when the similarity is greater than or equal to a predetermined similarity,
The calculation of the gradient for each block is calculated by calculating gradients for all pixels of the histogram-equalized image and summing the gradients of pixels in the decomposed block.
상기 새로운 객체를 검출하는 단계는,
상기 이전의 이미지 프레임과 상기 현재의 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 얼굴 인식 방법.
The method of claim 1,
The step of detecting the new object,
And determining that an object exists when a difference value of a corresponding pixel between the previous image frame and the current image frame is greater than 0 or greater than a predetermined value.
상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 흑백 이미지 변환부;
상기 변환된 흑백 이미지를 히스토그램 균등화하는 히스토그램 균등화부;
상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 그래디언트 산출부; 및
사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교함에 있어서, 상기 사전에 저장된 얼굴 이미지의 블록별 그래디언트 및 상기 산출된 블록별 그래디언트의 밝기가 변하는 방향을 고려하여 비교함으로써 유사도가 일정 유사도 이상인 경우 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 얼굴이미지 인식부를 포함하고,
상기 블록별 그래디언트의 산출은 상기 히스토그램 균등화된 이미지의 모든 픽셀에 대하여 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래드언트를 합하여 산출되는 얼굴 인식 장치.
An object detector for detecting a new object by comparing a previous image frame with a current image frame;
A black-and-white image conversion unit converting the detected image area of the new object into a black-and-white image;
A histogram equalization unit that equalizes the converted black-and-white image;
A gradient calculator for calculating a gradient for each block by decomposing the histogram equalized image for each block; And
In comparing the block-by-block gradient pattern of the previously stored face image with the calculated block-by-block gradient pattern, by comparing the gradient of each block of the previously stored face image and the direction in which the brightness of the calculated block-by-block gradient changes. When the similarity is greater than or equal to a certain degree of similarity, it includes a face image recognition unit that recognizes a face image in the current image frame,
The face recognition apparatus is calculated by calculating the gradient for each block by calculating gradients for all pixels of the histogram-equalized image and summing the gradients of pixels in the decomposed block.
A computer-readable recording medium storing a program for executing the method of claim 1 or 2 on a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122471A KR102257883B1 (en) | 2018-10-15 | 2018-10-15 | Face Recognition Apparatus and Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122471A KR102257883B1 (en) | 2018-10-15 | 2018-10-15 | Face Recognition Apparatus and Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200042192A KR20200042192A (en) | 2020-04-23 |
| KR102257883B1 true KR102257883B1 (en) | 2021-05-27 |
Family
ID=70472591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180122471A KR102257883B1 (en) | 2018-10-15 | 2018-10-15 | Face Recognition Apparatus and Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102257883B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102408567B1 (en) * | 2021-09-28 | 2022-06-14 | 주식회사 넷온 | Artificial Intelligence Image Processing Apparatus and Method for Real-Time Mosaicing of a Plurality of Objects in an Image. |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101439190B1 (en) * | 2012-11-30 | 2014-09-12 | 한국과학기술원 | Method of operating mobile system based on image processing, method of processing image in mobile system, and mobile system using the same |
| KR102330322B1 (en) * | 2014-09-16 | 2021-11-24 | 삼성전자주식회사 | Method and apparatus for extracting image feature |
| KR20170037274A (en) * | 2015-09-25 | 2017-04-04 | 창원대학교 산학협력단 | A method and apparatus for a robust face recognition based on illumination compensation |
-
2018
- 2018-10-15 KR KR1020180122471A patent/KR102257883B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200042192A (en) | 2020-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9280702B2 (en) | Image processing device and image processing method | |
| US20200167554A1 (en) | Gesture Recognition Method, Apparatus, And Device | |
| CN110852160B (en) | Image-based biometric identification system and computer-implemented method | |
| KR102415509B1 (en) | Face verifying method and apparatus | |
| KR102299847B1 (en) | Face verifying method and apparatus | |
| CN108122208B (en) | Image processing apparatus and method for foreground mask correction for object segmentation | |
| US10740912B2 (en) | Detection of humans in images using depth information | |
| US8861847B2 (en) | System and method for adaptive skin tone detection | |
| KR101494874B1 (en) | User authentication method, system performing the same and storage medium storing the same | |
| AU2016225841B2 (en) | Predicting accuracy of object recognition in a stitched image | |
| US11138695B2 (en) | Method and device for video processing, electronic device, and storage medium | |
| US10592759B2 (en) | Object recognition apparatus and control method therefor | |
| US10764563B2 (en) | 3D enhanced image correction | |
| CN111339897B (en) | Living body identification method, living body identification device, computer device, and storage medium | |
| JP6157165B2 (en) | Gaze detection device and imaging device | |
| JP2020518879A (en) | Detection system, detection device and method thereof | |
| JP5768719B2 (en) | Learning device, identification device, learning identification system, and learning identification device | |
| KR102257883B1 (en) | Face Recognition Apparatus and Method | |
| KR101408344B1 (en) | Apparatus for detecting face | |
| KR102212358B1 (en) | Apparatus and method of masking some privacy areas of video in real time | |
| KR102106468B1 (en) | Apparatus and method for image processing | |
| KR102326185B1 (en) | Apparatus and method of matching faces using a deep learning | |
| US10275678B2 (en) | Biometric image processing apparatus, biometric image processing method and storage medium | |
| JP2001331804A (en) | Device and method for detecting image area | |
| KR20220013882A (en) | Method and apparatus for testing liveness using multi-phase detection sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |