KR20130064556A - Apparatus and method for face detection using multi detection - Google Patents

Apparatus and method for face detection using multi detection Download PDF

Info

Publication number
KR20130064556A
KR20130064556A KR1020110131224A KR20110131224A KR20130064556A KR 20130064556 A KR20130064556 A KR 20130064556A KR 1020110131224 A KR1020110131224 A KR 1020110131224A KR 20110131224 A KR20110131224 A KR 20110131224A KR 20130064556 A KR20130064556 A KR 20130064556A
Authority
KR
South Korea
Prior art keywords
face
skin color
region
image
extracting
Prior art date
Application number
KR1020110131224A
Other languages
Korean (ko)
Other versions
KR101875891B1 (en
Inventor
양승지
이동학
김용성
배경훈
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020110131224A priority Critical patent/KR101875891B1/en
Publication of KR20130064556A publication Critical patent/KR20130064556A/en
Application granted granted Critical
Publication of KR101875891B1 publication Critical patent/KR101875891B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An apparatus for detecting a face using a multiple detection mode and a method thereof are provided to detect a face by extracting a partial area in which a face exists from an input image, and detecting the face around the extracted area, without detecting the whole input image. CONSTITUTION: A face candidate area detection unit(20) extracts a skin color pixel from an image reduced in an image preprocessing unit(10), and extracts at least one skin color area by connecting adjacent skin color pixels, and detects at least one face candidate area on the basis of the extracted skin color area. A face discrimination unit(30) discriminate a final face area using face characteristics information from at least one detected face candidate area. [Reference numerals] (10) Image preprocessing unit; (20) Candidate face region detection unit; (30) Face discrimination unit; (AA) Image

Description

다중 검출 방식을 이용한 얼굴 검출 장치 및 방법{apparatus and method for face detection using multi detection}Apparatus and method for face detection using multi detection}

본 발명은 영상에 포함된 얼굴을 검출하기 위한 얼굴 검출 방법에 관한 것으로, 더욱 상세하게는 피부색 정보를 이용하여 얼굴 후보 영역을 검출한 후 얼굴 특징 정보를 이용하여 최종적으로 얼굴을 검출함으로써, 고속의 얼굴 검출이 가능한 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법에 관한 것이다.The present invention relates to a face detection method for detecting a face included in an image, and more particularly, by detecting a face candidate region using skin color information and finally detecting the face using facial feature information. The present invention relates to a face detection apparatus and method using a multiple detection scheme capable of face detection.

일반적으로, 보안이나 사용자 인식 기술에 사용되는 얼굴 인식 기술은 크게 얼굴 검출, 특징 추출, 동일성 검증의 세 가지 단계로 이뤄지게 된다. 얼굴 인식 결과에 대한 성능을 높이기 위해서는 무엇보다 정확한 얼굴 검출이 선행되어야 하며, 이를 위해, 다양한 얼굴 검출 기술들이 개발되어 오고 있다.In general, face recognition technology used in security or user recognition technology is composed of three stages: face detection, feature extraction, and identity verification. In order to improve the performance of the face recognition result, first of all, accurate face detection must be preceded, and for this purpose, various face detection techniques have been developed.

얼굴 검출 방법 중 가장 널리 사용되는 방식이 얼굴의 질감 정보를 이용하는 것으로, 얼굴을 검출하고자 하는 영상을 얼굴이 검출될 수 있는 임의 크기의 사각형 영역 집합으로 분리하고, 각각의 영역에서 질감 정보를 추출한 후, 추출된 질감 정보를 사전에 학습된 얼굴 특징 모델과 비교함으로써, 얼굴 영역을 결정하게 된다.The most widely used method of face detection is to use face texture information. The image to be detected is separated into a set of rectangular regions of arbitrary size where a face can be detected, and the texture information is extracted from each region. The facial region is determined by comparing the extracted texture information with a previously learned facial feature model.

그러나, 상술한 얼굴 질감 정보를 이용하여 얼굴을 검출하는 방식의 경우, 얼굴 크기에 대한 어떠한 사전 정보도 주어지지 않은 상황에서 얼굴을 검출해야 하기 때문에, 알고리즘의 계산 복잡도가 커지고, 반복적 수행이 많아 얼굴을 검출하기 까지 소요되는 시간이 길어진다는 단점이 있다.However, in the case of detecting a face using the above-described face texture information, since a face must be detected in a situation in which no prior information on the face size is given, the computational complexity of the algorithm becomes large and the face is often repeatedly executed. There is a disadvantage that the time required to detect is long.

또한, 최근 영상 보안 시스템의 카메라가 디지털화되고 화질도 SD/HD급 이상의 크기로 고화질화되어 가고 있어, 이러한 고화질 영상, 또는 동영상에서의 얼굴 검출과 같이 실시간 처리에 적합하며 고속으로 얼굴 검출을 할 수 있는 얼굴 검출 기술의 필요성이 대두되고 있다.In addition, since the camera of the video security system has been digitized and the image quality is becoming higher in size than SD / HD level, it is suitable for real time processing such as face detection in such high definition video or video and can detect the face at high speed. The need for face detection technology is emerging.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 얼굴 검출 시 입력된 영상 전체를 대상으로 얼굴 검출을 수행하지 않고 얼굴이 있을 수 있는 일부 영역을 먼저 검출한 다음, 해당 영역을 중심으로 얼굴 검출을 수행함으로써, 보다 신속하게 얼굴 검출이 가능하며, 알고리즘의 계산 복잡도를 감소시킬 수 있는 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법을 제공하는 데 목적이 있다.The present invention has been proposed to solve the above-mentioned problems. In particular, a partial region where a face may be present is first detected without performing face detection on the entire image input during face detection, and then the center of the corresponding area is detected. It is an object of the present invention to provide a face detection apparatus and method using a multiple detection method that can detect a face more quickly and reduce the computational complexity of an algorithm by performing face detection.

본 발명의 다른 목적은 고화질 영상 또는 동영상을 대상으로 고속으로 얼굴 검출이 가능한 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법을 제공하는 데 목적이 있다.Another object of the present invention is to provide a face detection apparatus and method using a multi-detection method capable of high-speed face detection for a high-quality image or video.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 다중 검출 방식을 이용한 얼굴 검출 장치는 영상의 크기를 일정 비율로 축소하는 영상 전처리부, 영상 전처리부를 통해 수신한 영상에서 피부색 픽셀을 추출한 후 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하고, 추출된 피부색 영역을 기초로 적어도 하나의 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부 및 적어도 하나의 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여 최종 얼굴 영역을 판별하는 얼굴 판별부를 포함하여 구성된다.Face detection apparatus using a multiple detection method of the present invention for achieving the above object is an image preprocessing unit for reducing the size of the image to a predetermined ratio, the skin color pixels after extracting the skin color pixels from the image received through the image preprocessor Extracts at least one skin color region, detects at least one face candidate region based on the extracted skin color region, and detects a final face region using facial feature information from at least one face candidate region. And a face discriminating unit for discriminating.

이때, 영상 전처리부는 영상을 밝기 채널 및 색상 채널로 분리하고, 분리된 색상 채널의 크기를 일정 비율로 축소하며, 얼굴 후보 영역 검출부는 축소된 색상 채널에서 피부색 픽셀을 추출한 후, 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하게 된다.At this time, the image preprocessor separates the image into a brightness channel and a color channel, reduces the size of the separated color channel at a predetermined ratio, and the face candidate region detector extracts the skin color pixels from the reduced color channel, and then connects adjacent skin color pixels. At least one skin color area is extracted.

여기서, 일정 비율은 얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값일 수 있으며, 최소 얼굴 크기는 영상을 촬영한 카메라와 피사체 간의 각도 또는 거리를 기초로 설정될 수 있다.Here, the predetermined ratio may be an inverse value of a horizontal or vertical value of the minimum face size at which the face may be detected, and the minimum face size may be set based on an angle or a distance between the camera and the subject photographing the image.

반면, 얼굴 후보 영역 검출부는 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하고, 피부색 영역의 위치 좌표를 원래의 영상 내의 해당 영역의 위치 좌표와 일치시킨 후 원래의 영상 내의 해당 영역의 크기로 복원하게 된다.On the other hand, the face candidate region detection unit extracts at least one skin region by connecting adjacent skin color pixels, matches the position coordinates of the skin region with the position coordinates of the corresponding region in the original image, and then resizes the corresponding region in the original image. Will be restored.

또한, 얼굴 후보 영역 검출부는 원래의 영상 내의 해당 영역의 크기로 복원된 피부색 영역을 영상의 밝기 채널과 마스킹하여 얼굴 후보 영역을 추출하게 된다.The face candidate region detector may extract the face candidate region by masking the skin color region restored to the size of the corresponding region in the original image with the brightness channel of the image.

또한, 얼굴 판별부는 추출된 얼굴 후보 영역에서 얼굴 질감 정보를 이용하여 얼굴 영역을 추출한 뒤 사전에 학습된 얼굴 특징 모델과 비교하여 최종 얼굴 영역을 판별하게 된다.In addition, the face discriminator extracts a face region from the extracted face candidate region by using face texture information, and then compares the face region with a previously learned face feature model to determine a final face region.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 다중 검출 방식을 이용한 얼굴 검출 방법은 영상의 크기를 일정 비율로 축소하는 단계, 축소된 영상에서, 인접한 피부색 픽셀을 연결하여 적어도 하나의 얼굴 후보 영역을 추출하는 단계 및 적어도 하나의 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여, 최종 얼굴 영역을 판별하는 단계로 구성된다.According to an aspect of the present invention, there is provided a face detection method using a multi-detection method to achieve an object as described above. And extracting the final face region by using the facial feature information in the at least one face candidate region.

이때, 영상의 크기를 일정 비율로 축소하는 단계는 영상을 밝기 채널 및 색상 채널로 분리하는 단계 및 분리된 색상 채널의 크기를 일정 비율로 축소하는 단계를 포함하며, 얼굴 후보 영역을 추출하는 단계는 축소된 색상 채널에서 피부색 픽셀을 추출하는 단계, 추출된 피부색 픽셀을 인접한 피부색 픽셀끼리 연결하여 적어도 하나의 피부색 영역을 추출하는 단계 및 적어도 하나의 피부색 영역에서 적어도 하나의 얼굴 후보 영역을 추출하는 단계를 포함할 수 있다.In this case, the step of reducing the size of the image by a predetermined ratio includes dividing the image into a brightness channel and a color channel, and reducing the size of the separated color channel by a certain ratio, and extracting the face candidate region. Extracting skin color pixels from the reduced color channel, extracting at least one skin color region by connecting the extracted skin color pixels to adjacent skin color pixels, and extracting at least one face candidate region from the at least one skin color region. It may include.

이때, 영상을 밝기 채널 및 색상 채널로 분리하는 단계는 YCbCr, YUV, CIE LAB, CIE LUV, HSV 중 적어도 하나의 색 공간 변환 함수를 이용하여 밝기 채널 및 색상 채널로 분리할 수 있다.In this case, the separating of the image into the brightness channel and the color channel may be divided into the brightness channel and the color channel using at least one color space conversion function of YCbCr, YUV, CIE LAB, CIE LUV, and HSV.

이때, 일정 비율로 축소하는 단계는 얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값을 기초로 축소할 비율을 결정할 수 있다.At this time, the step of reducing the ratio may determine a ratio to be reduced based on the inverse value of the horizontal or vertical value of the minimum face size that can detect the face.

여기서, 얼굴 검출이 가능한 최소 얼굴 크기는 영상을 촬영한 카메라와 피사체 간의 각도 또는 거리에 따라 결정될 수 있다.Here, the minimum face size that can detect the face may be determined according to the angle or distance between the camera and the subject which captured the image.

또한, 피부색 픽셀을 추출하는 단계는 영상의 색상 채널 중에서 피부색 추출에 필요한 색상 채널을 선택하여 색상 채널 집합을 구성한 후, 색상 채널 집합에서 피부색 픽셀을 추출하게 된다.In the extracting of the skin color pixels, a color channel set is selected by selecting a color channel required for skin color extraction from the color channels of the image, and then the skin color pixels are extracted from the color channel set.

또한, 피부색 픽셀을 추출하는 단계는 기설정된 임계값보다 크면 피부색 픽셀로 판단하게 된다.In addition, the step of extracting the skin color pixel is determined as the skin color pixel if it is larger than the predetermined threshold value.

또한, 피부색 영역을 추출하는 단계는 추출된 피부색 픽셀을 인접한 피부색 픽셀끼리 연결하여, 사각형 형태의 적어도 하나의 피부색 영역을 추출하게 된다.In the extracting of the skin color region, at least one skin color region having a quadrangular shape may be extracted by connecting the extracted skin color pixels to adjacent skin color pixels.

또한, 얼굴 후보 영역을 추출하는 단계는 추출된 적어도 하나의 피부색 영역의 위치 좌표를 원래의 영상 내의 해당 영역의 위치 좌표와 일치시킨 후 원래의 영상 내의 해당 영역의 크기로 복원하는 단계, 복원된 피부색 영역에 일정 영역의 오차 범위를 고려하여 피부색 영역을 조정하는 단계 및 조정된 적어도 하나의 피부색 영역을 영상의 밝기 채널과 마스킹하여 얼굴 후보 영역을 추출하는 단계를 포함할 수 있다.The extracting of the face candidate region may include matching the position coordinates of the extracted at least one skin color region with the position coordinates of the corresponding region in the original image, and restoring the size of the corresponding region in the original image. The method may include adjusting a skin color region in consideration of an error range of a predetermined region in the region, and extracting a face candidate region by masking the adjusted at least one skin color region with a brightness channel of the image.

또한, 최종 얼굴 영역을 판별하는 단계는 추출된 얼굴 후보 영역에서 얼굴 질감 정보를 이용하여 얼굴 영역을 추출하는 단계 및 기학습된 얼굴 특징 모델과 비교하여 최종 얼굴 영역을 판별하는 단계를 포함할 수 있다.The determining of the final face area may include extracting a face area using face texture information from the extracted face candidate area and determining a final face area by comparing with a previously learned face feature model. .

여기서, 얼굴 질감 정보는 얼굴 밝기 정보일 수 있다.Here, the face texture information may be face brightness information.

본 발명에 의하면, 얼굴 검출 시 입력된 영상 전체를 대상으로 검출을 수행하지 않고, 얼굴이 있을 수 있는 일부 영역을 먼저 추출한 후, 해당 영역을 중심으로 얼굴 검출을 수행함으로써 보다 신속하게 얼굴 검출이 가능하다는 장점이 있다.According to the present invention, face detection can be performed more quickly by first extracting a partial area where a face may be present, and then performing face detection centering on the corresponding area without performing detection on the entire input image during face detection. Has the advantage.

본 발명에 의하면, 얼굴 검출 시 입력된 영상 전체를 대상으로 검출을 수행하지 않고 얼굴이 있을 수 있는 피부색 영역을 대상으로 검출을 수행함으로써, 계산의 복잡도가 크지 않고 검출 시의 오류를 방지할 수 있다는 장점이 있다.According to the present invention, by detecting the skin color region where a face may be present without detecting the entire image input during face detection, the computational complexity is not large and the error at the time of detection can be prevented. There is an advantage.

본 발명에 의하면, 얼굴 검출 시 보다 신속하게 얼굴 검출이 가능하여 고화질 영상 또는 실시간 동영상에서의 얼굴 검출을 고속으로 처리할 수 있다는 장점이 있다.According to the present invention, it is possible to detect a face more quickly when detecting a face, so that face detection in a high quality image or a real time video can be processed at high speed.

도 1은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 장치의 주요 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 방법에 대한 개략적인 흐름도이다.
도 3은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 방법에 대한 상세 흐름도이다.
도 4는 본 발명의 실시예에 따른 얼굴 후보 영역을 추출하는 과정에 대한 상세 흐름도이다.
도 5는 본 발명의 실시예에 따른 영상을 얼굴 검출이 가능한 최소 얼굴 크기로 축소한 것을 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 피부색 픽셀, 피부색 영역, 얼굴 후보 영역을 예시한 예시도이다.
도 7은 본 발명의 실시예에 따라 추출된 얼굴 후보 영상의 예시도이다.
도 8은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 과정을 단계별로 나타낸 예시도이다.
1 is a block diagram showing a main configuration of a face detection apparatus using a multiple detection method according to an embodiment of the present invention.
2 is a schematic flowchart of a face detection method using a multiple detection method according to an exemplary embodiment of the present invention.
3 is a detailed flowchart of a face detection method using a multiple detection method according to an exemplary embodiment of the present invention.
4 is a detailed flowchart of a process of extracting a face candidate region according to an embodiment of the present invention.
5 is an exemplary view showing that the image according to the embodiment of the present invention is reduced to a minimum face size capable of face detection.
6 is an exemplary diagram illustrating a skin color pixel, a skin color region, and a face candidate region according to an embodiment of the present invention.
7 is an exemplary view of a face candidate image extracted according to an embodiment of the present invention.
8 is an exemplary view illustrating a face detection process step by step using a multiple detection method according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the detailed description of known functions and configurations incorporated herein will be omitted when it may unnecessarily obscure the subject matter of the present invention. This is to more clearly communicate without obscure the core of the present invention by omitting unnecessary description. The same reference numerals are used for portions having similar functions and functions throughout the drawings.

이하, 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 장치에 대해 설명한다.Hereinafter, a face detection apparatus using a multiple detection scheme according to an exemplary embodiment of the present invention will be described.

도 1은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 장치의 주요 구성을 나타내는 블록도이다.1 is a block diagram showing a main configuration of a face detection apparatus using a multiple detection method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 다중 검출 방식을 이용한 얼굴 검출 장치(100)는 영상 전처리부(10), 얼굴 후보 영역 검출부(20) 및 얼굴 판별부(30)를 포함하여 구성된다.Referring to FIG. 1, the face detection apparatus 100 using the multiple detection method of the present invention includes an image preprocessor 10, a face candidate region detector 20, and a face discriminator 30.

영상 전처리부(10)는 영상이 입력되면, 입력된 영상에서 얼굴 후보 영역을 검출하기 위한 전처리 과정을 수행하는 것으로, 특히, 영상을 밝기 정보를 표현하는 밝기 채널 및 색상 정보를 표현하는 색상 채널로 분리하고, 분리된 상기 색상 채널의 크기를 일정 비율로 축소하게 된다.When the image is input, the image preprocessing unit 10 performs a preprocessing process for detecting a face candidate region from the input image. In particular, the image preprocessing unit 10 includes a brightness channel representing brightness information and a color channel representing color information. The color channels are separated and the size of the separated color channels is reduced at a predetermined ratio.

여기서의 일정 비율은 입력된 영상에서 얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값으로 구해질 수 있으며, 또한 얼굴 검출이 가능한 최소 얼굴 크기는 영상을 촬영한 카메라와 피사체 간의 각도 또는 거리를 기초로 설정될 수 있다Here, the predetermined ratio may be obtained as an inverse value of the horizontal or vertical value of the minimum face size in which the face is detected in the input image, and the minimum face size in which the face is detected may be determined by the angle or distance between the camera and the subject which captured the image. Can be set based on

얼굴 후보 영역 검출부(20)는 영상 전처리부(10)를 통해 수신한 영상에서 피부색 픽셀을 추출한 후, 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하고, 상기 추출된 피부색 영역을 기초로 적어도 하나의 얼굴 후보 영역을 검출하게 된다.The face candidate region detector 20 extracts a skin color pixel from an image received through the image preprocessor 10, connects adjacent skin color pixels, and extracts at least one skin color region, based on the extracted skin color region. One face candidate region is detected.

이때, 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출한 뒤, 추출된 상기 피부색 영역의 위치 좌표를 원래의 영상 내의 해당 영역의 위치 좌표와 일치시킨 후 원래의 영상 내의 해당 영역의 크기로 복원하게 된다. 이후, 복원된 피부색 영역을 상술한 영상 전처리부(10)를 통해 분리된 밝기 채널과 마스킹(masking)한 후 얼굴 후보 영역을 추출하게 된다.In this case, after extracting at least one skin color region by connecting adjacent skin color pixels, matching the position coordinates of the extracted skin color region with the position coordinates of the corresponding region in the original image and restoring the size of the corresponding region in the original image. do. Thereafter, the restored skin color region is masked with the brightness channel separated by the image preprocessing unit 10 described above, and then the face candidate region is extracted.

얼굴 판별부(30)는 얼굴 후보 영역 검출부(20)를 통해 추출된 적어도 하나의 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여 최종 얼굴 영역을 판별하게 된다. 이때, 얼굴 판별부(30)는 얼굴 후보 영역에서 얼굴 질감 정보를 이용하여 얼굴 영역을 추출한 뒤 사전에 학습된 얼굴 특징 모델과 비교하여, 최종적으로 얼굴 영역을 판별하게 된다.The face discrimination unit 30 determines the final face region by using face feature information in at least one face candidate region extracted by the face candidate region detection unit 20. At this time, the face discriminator 30 extracts the face region from the face candidate region by using the face texture information and compares the face region with a previously learned face feature model to finally determine the face region.

보다 구체적인 영상 전처리부(10), 얼굴 후보 영역 검출부(20) 및 얼굴 판별부(30)의 동작 과정에 대해서는 도 2 및 도 4를 참조하여 후술하도록 한다.More detailed operations of the image preprocessor 10, the face candidate region detector 20, and the face discriminator 30 will be described later with reference to FIGS. 2 and 4.

이하, 얼굴 검출 장치(100)에서의 다중 검출 방식을 이용한 얼굴 검출 방법에 대해 설명하도록 한다.Hereinafter, a face detection method using a multiple detection method in the face detection apparatus 100 will be described.

도 2는 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 방법에 대한 개략적인 흐름도이다.2 is a schematic flowchart of a face detection method using a multiple detection method according to an exemplary embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 얼굴 검출을 위해서는 영상 전처리부(10)로 먼저 검출 대상 영상이 입력되어야 한다(S101). 이때, 별도의 외부 카메라를 통해 촬영된 영상을 통신 인터페이스를 통해 얼굴 검출 장치(10)로 입력되거나, 또는 내장된 카메라로부터 영상을 수신하여 입력될 수도 있다.1 and 2, in order to detect a face according to an exemplary embodiment of the present invention, an image to be detected must first be input to the image preprocessor 10 (S101). In this case, an image captured by a separate external camera may be input to the face detection apparatus 10 through a communication interface, or may be input by receiving an image from a built-in camera.

이후, 영상 전처리부(10)로 영상이 입력되면, 영상의 크기를 일정 비율로 축소한 후(S103) 축소한 영상을 얼굴 후보 영역 검출부(20)로 전송하게 된다. 얼굴 후보 영역 검출부(20)는 영상 전처리부(10)로부터 수신한 영상에서 얼굴 후보 영역을 추출하고(S105), 얼굴 판별부(30)는 추출된 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여 최종적인 얼굴 영역을 판별하게 된다(S107).Thereafter, when the image is input to the image preprocessor 10, the size of the image is reduced to a predetermined ratio (S103), and then the reduced image is transmitted to the face candidate region detection unit 20. The face candidate region detector 20 extracts the face candidate region from the image received from the image preprocessor 10 (S105), and the face discriminator 30 finally uses the facial feature information in the extracted face candidate region. The face area is determined (S107).

이와 같이, 영상에서 얼굴 특징 정보를 이용하여 얼굴 검출 시 전체 영역을 대상으로 얼굴을 검출하는 것이 아니라, 축소된 영상을 기반으로 얼굴 영역이 존재할 것이라 판단되는 얼굴 후보 영역을 먼저 검출하고, 해당 후보 영역에서만 얼굴 특징 정보를 이용하여 최종적인 얼굴 영역을 판단함으로써, 고속의 얼굴 검출이 가능하다는 장점이 있다.As described above, instead of detecting the face in the entire region when detecting the face using the facial feature information in the image, the face candidate region determined to exist will be first detected based on the reduced image, and the candidate region will be detected. Only by using the facial feature information to determine the final face area, there is an advantage that a high-speed face detection is possible.

이하, 보다 구체적인 얼굴 검출 방법에 대해 도3을 참조하여 설명한다.Hereinafter, a more specific face detection method will be described with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 방법에 대한 상세 흐름도이다.3 is a detailed flowchart of a face detection method using a multiple detection method according to an exemplary embodiment of the present invention.

도 3을 참조하면, 영상이 입력되면(S201), 먼저 영상을 밝기 정보를 표현하는 밝기 채널 및 색상 정보를 표현하는 색상 채널로 분리한다(S203). Referring to FIG. 3, when an image is input (S201), the image is first divided into a brightness channel representing brightness information and a color channel representing color information (S203).

이때, 입력된 영상은 RGB 영상일 수 있으며, 입력된 영상을 하기의 수학식 1과 같이 색 공간 변환 함수(

Figure pat00001
)를 이용하여 밝기 채널 및 색상 채널로 분리하게 된다. In this case, the input image may be an RGB image, and a color space conversion function (
Figure pat00001
) Into the brightness and color channels.

Figure pat00002
Figure pat00002

여기서,

Figure pat00003
는 밝기 채널을 의미하며,
Figure pat00004
Figure pat00005
개의 색상 채널 가운데 n번째 색상 채널을 의미한다.here,
Figure pat00003
Means brightness channel,
Figure pat00004
silver
Figure pat00005
The nth color channel of the color channels.

이때, 색 공간 변환 함수(

Figure pat00006
)는 YCbCr, YUV, CIE LAB, CIE LUV, HSV 중 적어도 하나의 색 공간 변환 함수를 이용할 수 있으며, 그 외 색 공간을 표현하는 그 어떤 함수도 적용 가능하다.In this case, the color space conversion function (
Figure pat00006
) May use at least one of the color space conversion functions of YCbCr, YUV, CIE LAB, CIE LUV, and HSV, and any other function representing the color space is applicable.

첨언하면, 여기서 YCbCr와 YUV는 빛의 밝기를 나타내는 휘도(luminance)정보와 색차 정보(Cb/Cr, U/V)로 구성되는 것으로, YCbCr은 디지털에서의 색 표현 방식이며, YUV는 아날로그에서의 색 표현 방식을 의미한다.Incidentally, here, YCbCr and YUV are composed of luminance information indicating the brightness of light and color difference information (Cb / Cr, U / V), YCbCr is a digital color representation method, and YUV is analog Means the color representation.

또한, CIE LAB, CIE LUV는 CIE XYZ 색 공간을 보완하기 위한 것으로, 여기서 CIE XYZ 색 공간은 단파장, 중파장, 장파장의 색을 사람이 어떻게 인지하는 지를 측정하여 형성된 색 공간으로, CIE XYZ 색 공간의 경우 두 색 사이의 색차를 계산할 때 정확도가 떨어진다는 단점이 있어, 이를 보완하기 위해 명도(luminosity) 정보인 L, 색도 정보인(A/B, U/V)를 포함한 것이 CIE LAB, CIE LUV 색 공간 변환 함수이다.In addition, CIE LAB and CIE LUV are to complement the CIE XYZ color space, where the CIE XYZ color space is a color space formed by measuring how a person perceives short, medium, and long wavelength colors. In this case, the accuracy of calculating the color difference between the two colors is disadvantageous.In order to compensate for this, LIE (luminosity) information and color information (A / B, U / V) including CIE LAB, CIE LUV are included. Color space conversion function.

HSV는 색상(Hue), 채도(Saturation), 명도(Value)의 값으로 표현된 색 공간 변환 함수이며, 그 외에도 YIQ, HLS, PAL 등의 다양한 색 공간 변환 함수가 적용될 수 있다.HSV is a color space conversion function expressed as a value of Hue, Saturation, and Brightness, and various color space conversion functions such as YIQ, HLS, and PAL may be applied.

S203 단계에서 영상이 밝기 채널과 색상 채널로 분리되면, 분리된 색상 채널(

Figure pat00007
)은 하기의 수학식 2와 같이 영상 크기 조정 함수(
Figure pat00008
)를 이용하여 일정 비율로 축소된 색상 채널(
Figure pat00009
)로 조정된다(S205).If the image is separated into a brightness channel and a color channel in step S203, the separated color channel (
Figure pat00007
) Is an image scaling function (
Figure pat00008
) To scale color channels (
Figure pat00009
(S205).

Figure pat00010
Figure pat00010

여기서,

Figure pat00011
는 영상 크기 조정 함수(
Figure pat00012
)의 스케일 팩터(scale factor), 다시 말해, 색상 채널을 어떠한 비율에 따라 축소할 지를 나타내는 비율을 의미한다. 보다 구체적으로, S203 단계에서 분리된 색상 채널에서, 얼굴 검출의 속도를 보다 향상시키기 위해, 색상 채널의 크기를 조절하며, 이때, 색상 채널의 크기를 얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값을 기초로, 색상 채널의 크기를 축소할 수 있다.here,
Figure pat00011
Is an image scaling function (
Figure pat00012
) Scale factor, that is, a ratio indicating a ratio of a color channel to be reduced. More specifically, in the color channel separated in step S203, in order to further improve the speed of face detection, the size of the color channel is adjusted, wherein the size of the color channel is the horizontal or vertical value of the minimum face size that can detect the face Based on the inverse value of, the size of the color channel can be reduced.

보다 구체적으로, 입력된 영상으로부터 얼굴 영상이 포함된 적어도 하나 이상의 샘플 프레임을 추출한 후, 추출된 적어도 하나 이상의 샘플 프레임에서 얼굴 검출을 수행하고, 검출된 얼굴 크기를 기초로 샘플 프레임에서 얼굴 검출이 가능한 최소 얼굴 크기를 결정하게 된다. 예컨대, 샘플 프레임에서 검출된 최소 얼굴 크기가 20x20 픽셀인 경우, 최소 얼굴 크기가 1x1이 될 수 있도록 최소 얼굴 크기의 가로 또는 세로 값의 역 값인

Figure pat00013
가 스케일 팩터(
Figure pat00014
)가 되며, 상술한 과정을 통해 도출된 스케일 팩터(
Figure pat00015
)는 입력되는 영상의 크기를 조정하는 데 사용되게 된다.More specifically, after extracting at least one or more sample frames including a face image from the input image, the face detection is performed in the at least one extracted sample frame, and the face can be detected in the sample frame based on the detected face size The minimum face size will be determined. For example, if the minimum face size detected in the sample frame is 20x20 pixels, the inverse value of the horizontal or vertical value of the minimum face size may be 1x1.
Figure pat00013
Is the scale factor (
Figure pat00014
), And the scale factor derived through the above-described process (
Figure pat00015
) Will be used to adjust the size of the input image.

스케일 팩터(

Figure pat00016
)가 결정되면, 상술한 수학식 2에 따라 색상 채널의 크기를 축소하게 되며, 예컨대, 도 5에 도시된 바와 같이 70x70 크기의 영상을 3x3 크기의 영상으로 축소되게 된다.Scale factor
Figure pat00016
), The size of the color channel is reduced according to Equation 2 described above. For example, as shown in FIG. 5, the 70x70 size image is reduced to the 3x3 size image.

여기서, 얼굴 검출이 가능한 최소 얼굴 크기는 영상을 촬영하는 카메라와 피사체(사람) 간의 각도 및 거리에 따라 달라지게 된다. 보다 구체적으로, 카메라와 피사체(사람) 간의 촬영 각도 또는 줌인(zoom in)/줌아웃(zoom out)과 같은 카메라의 설정에 따라 카메라로부터 촬영되는 얼굴의 크기가 달라지게 된다. 또한 동일한 촬영 조건, 동일한 사양의 카메라이더라도 피사체(사람)와 카메라 사이의 거리에 따라 촬영되는 얼굴의 크기가 달라지게 되며, 촬영되는 얼굴의 크기가 다르므로, 얼굴 검출이 가능한 최소 얼굴 크기가 달라지게 된다.Here, the minimum face size that can detect the face varies depending on the angle and distance between the camera taking the image and the subject (person). More specifically, the size of the face photographed from the camera varies according to a camera setting such as a photographing angle between the camera and the subject (person) or zoom in / zoom out. In addition, even with the same shooting conditions and cameras of the same specification, the size of the face to be photographed will vary depending on the distance between the subject (person) and the camera. Since the size of the face to be photographed is different, the minimum face size that can be detected is different. do.

이후, 일정 비율로 축소된 색상 채널에서 피부색 픽셀을 추출하게 된다(S207).Thereafter, the skin color pixels are extracted from the color channel reduced in a predetermined ratio (S207).

보다 구체적으로 설명하면, S205 단계에서 축소된 색상 채널(

Figure pat00017
)을 기초로 피부색 픽셀을 추출하게 되는 데, 이때, 피부색 픽셀 검출 속도를 향상시키기 위해, 모든 색상 채널을 대상으로 피부색 픽셀을 추출하는 것이 아니라, 피부색 추출에 필요한 색상 채널만을 추출하여 피부색 추출을 위한 색상 채널 집합을 구성한 후 추출할 수도 있다.In more detail, the reduced color channel (
Figure pat00017
Skin color pixels are extracted based on), and in order to improve the speed of skin color pixel detection, instead of extracting skin color pixels for all color channels, only the color channels necessary for skin color extraction are extracted for skin color extraction. You can also extract a set of color channels.

이후, 색상 채널 집합(

Figure pat00018
)이 구성되면, 하기의 수학식 3과 같이 피부색 추출 함수(
Figure pat00019
)을 이용하여 피부색 픽셀 여부를 판별한다.After that, a set of color channels (
Figure pat00018
) Is configured, the skin color extraction function (
Figure pat00019
) To determine the color of the skin color pixels.

Figure pat00020
Figure pat00020

여기서,

Figure pat00021
는 임의의 픽셀 세로 및 가로 위치의 좌표이며,
Figure pat00022
는 피부색 픽셀을 나타낸다. 또한,
Figure pat00023
Figure pat00024
은 각각 축소된 영상의 세로와 가로 픽셀 위치의 집합이고,
Figure pat00025
Figure pat00026
은 각각 축소된 색상 채널의 높이와 넓이를 나타낸다.
Figure pat00027
는 기설정된 임계값 정보로, 특정 위치의 픽셀이
Figure pat00028
보다 크다면 해당 픽셀은 피부색 픽셀(
Figure pat00029
)로 판단하게 된다.here,
Figure pat00021
Is the coordinate of any pixel vertical and horizontal position,
Figure pat00022
Represents skin color pixels. Also,
Figure pat00023
and
Figure pat00024
Are the set of vertical and horizontal pixel positions of the reduced image, respectively.
Figure pat00025
and
Figure pat00026
Denotes the height and width of the reduced color channel, respectively.
Figure pat00027
Is preset threshold information.
Figure pat00028
Is greater than the skin color pixel (
Figure pat00029
Will be judged.

S207 단계에서 피부색 픽셀이 추출되면, 인접한 피부색 픽셀을 연결하여 피부색 영역을 추출한다(S209). 이때, 피부색 영역을 추출하기 이전에, 검출 성능을 향상시키기 위해, 피부색 픽셀이 추출된 영상을 이진 영상으로 변환할 수도 있다.When skin color pixels are extracted in step S207, the skin color region is extracted by connecting adjacent skin color pixels (S209). In this case, before extracting the skin color region, in order to improve detection performance, the image from which the skin color pixels are extracted may be converted into a binary image.

이후, 하기의 수학식 4와 같이 피부색 영역을 추출하는 함수를 이용하여, 인접한 피부색 픽셀을 연결한 적어도 하나의 피부색 영역을 추출하게 된다.Subsequently, at least one skin color region connecting adjacent skin color pixels is extracted using a function of extracting a skin color region as shown in Equation 4 below.

Figure pat00030
Figure pat00030

여기서,

Figure pat00031
는 추출된 피부색 영역이며,
Figure pat00032
는 피부색 영역을 추출하는 함수이고,
Figure pat00033
은 이진 처리된 피부색 픽셀의 집합을 의미한다.here,
Figure pat00031
Is the extracted skin color region,
Figure pat00032
Is a function that extracts the skin color region,
Figure pat00033
Means a set of binary skin color pixels.

이때, 인접한 피부색 픽셀을 연결한 피부색 영역은 사각형 형태로 구성되는 것이 바람직하나 이에 한정되는 것은 아니다. 사각형 형태로 구성되기 위해서는 각각의 피부색 영역마다 4개의 파라미터가 필요하게 되는데,

Figure pat00034
의 값이 파라미터를 의미한다. 여기서
Figure pat00035
는 임의의 사각형 피부색 영역의 왼쪽 상단 지점의 가로축 좌표이며,
Figure pat00036
는 임의의 사각형 피부색 영역의 왼쪽 상단 지점의 세로축 좌표이고,
Figure pat00037
는 임의의 사각형 피부색 영역의 넓이를 의미하며,
Figure pat00038
는 임의의 사각형 피부색 영역의 높이를 의미한다.In this case, the skin color region connecting the adjacent skin color pixels is preferably configured in a square shape, but is not limited thereto. In order to form a square shape, four parameters are required for each skin color area.
Figure pat00034
Means a parameter. here
Figure pat00035
Is the horizontal coordinate of the upper left point of any rectangular skin color area.
Figure pat00036
Is the vertical coordinate of the upper left point of any rectangular skin color area,
Figure pat00037
Means the width of any rectangular skin color area,
Figure pat00038
Means the height of any rectangular skin color area.

이후, 추출된 적어도 하나의 피부색 영역을 기초로, 얼굴 후보 영역을 추출하고(S211), 얼굴 특징 정보인 얼굴 질감 정보를 이용하여 얼굴 영역을 추출하게 된다(S213).Thereafter, the face candidate region is extracted based on the extracted at least one skin color region (S211), and the face region is extracted using face texture information which is facial feature information (S213).

이때, 추출된 얼굴 후보 영역에서 얼굴 질감 정보, 예컨대 얼굴 밝기 정보를 이용하여 얼굴 영역을 추출한 뒤, 기학습된 얼굴 특징 모델과 비교하여 최종적인 얼굴 영역을 판별하게 된다(S215).At this time, the facial region is extracted from the extracted face candidate region using facial texture information, for example, face brightness information, and then the final facial region is determined by comparing with the previously learned facial feature model (S215).

본 발명의 실시예에서는 밝기 정보와 같은 얼굴 질감 정보를 이용하여, 얼굴 영역을 추출하는 것을 예로 들어 설명하였으나, 이에 한정되지 않으며, 윤곽선 검출 방식 등 얼굴 검출이 가능한 방식이라면 그 어떤 방식도 적용 가능하다.In the exemplary embodiment of the present invention, a face region is extracted by using face texture information such as brightness information. For example, the present invention is not limited thereto, and any method may be used as long as it is a face detection method such as an edge detection method. .

보다 구체적인 얼굴 후보 영역을 추출하는 과정에 대해서는 도 4를 참조하여 설명하도록 한다.A process of extracting a more specific face candidate region will be described with reference to FIG. 4.

이와 같이, 입력된 영상의 전체를 대상으로 얼굴 영역을 추출하는 것이 아니라, 피부색 영역으로 구분된 영역에서만 얼굴 검출을 수행함으로써, 불필요한 얼굴 검출 과정을 줄일 수 있으며, 이를 통해 고속으로 얼굴 검출이 가능하다는 장점이 있다.As such, instead of extracting the face region from the entire input image, the face detection process is performed only in the region divided into the skin color region, thereby reducing unnecessary face detection process, thereby making it possible to detect the face at high speed. There is an advantage.

또한, 피부색 영역만을 얼굴 후보 영역으로 포함하였기 때문에 얼굴 검출 시 발생되는 오류를 최소화할 수 있어, 얼굴 검출 성능을 향상시킬 수 있다는 장점이 있다.In addition, since only the skin color region is included as a face candidate region, an error generated during face detection can be minimized, thereby improving face detection performance.

이하, 얼굴 후보 영역을 추출하는 과정에 대해 보다 구체적으로 설명하도록 한다.Hereinafter, a process of extracting a face candidate region will be described in more detail.

도 4는 본 발명의 실시예에 따른 얼굴 후보 영역을 추출하는 과정에 대한 상세 흐름도이다.4 is a detailed flowchart of a process of extracting a face candidate region according to an embodiment of the present invention.

도 4를 참조하면, 상술한 도 3의 S209 단계에서 적어도 하나의 피부색 영역이 추출되면, 얼굴 검출 시의 오류를 방지하고, 검출 성능을 보다 향상시키기 위해, 추출된 피부색 영역을 다시 원래의 영상 내 해당 영역의 크기로 복원하게 된다(S301). 이때, 하기의 수학식 5와 같이 원래의 크기로 복원하기 위한 계산을 진행한다.Referring to FIG. 4, when at least one skin color region is extracted in step S209 of FIG. 3, the extracted skin color region may be re-introduced in the original image to prevent an error in face detection and to further improve detection performance. The size of the corresponding area is restored (S301). At this time, a calculation for restoring the original size is performed as shown in Equation 5 below.

Figure pat00039
Figure pat00039

여기서,

Figure pat00040
는 복원된 사각형 피부색 영역의 왼쪽 상단 지점의 가로축 좌표이고,
Figure pat00041
는 복원된 사각형 피부색 영역의 왼쪽 상단 지점의 세로축 좌표이고,
Figure pat00042
는 복원된 사각형 피부색 영역의 넓이를 나타내며,
Figure pat00043
는 복원된 사각형 피부색 영역의 높이를 나타낸다.here,
Figure pat00040
Is the horizontal coordinate of the upper left point of the restored rectangular skin color area.
Figure pat00041
Is the vertical coordinate of the upper left point of the restored rectangular skin color area.
Figure pat00042
Represents the area of the restored rectangular skin color area,
Figure pat00043
Represents the height of the restored rectangular skin color region.

이후, 복원된 피부색 영역의 집합을 하기의 수학식 6과 같이 생성한다.Thereafter, the set of restored skin color regions is generated as in Equation 6 below.

Figure pat00044
Figure pat00044

여기서,

Figure pat00045
는 원본 영상을 기준으로 복원된 피부색 영역의 집합을 의미한다. here,
Figure pat00045
Denotes a set of skin color regions reconstructed based on the original image.

이후, 얼굴 검출 시의 오류를 보다 방지하기 위해 하기의 수학식 7과 같이 오차 범위를 고려하여 피부색 영역을 조정하게 된다(S303).Thereafter, in order to further prevent an error in face detection, the skin color region is adjusted in consideration of an error range as shown in Equation 7 below (S303).

Figure pat00046
Figure pat00046

여기서,

Figure pat00047
는 피부색 영역의 위치 정보인
Figure pat00048
에서 얼굴 후보 영역을 포함하기 위해 오차 범위를 고려하여 조정된 얼굴 후보 영역의 위치 값을 나타내며,
Figure pat00049
Figure pat00050
는 각각 피부색 영역의 가로 축과 세로 축의 오차 범위를 구하기 위한 값으로, 예컨대 0보다 크고 1보다 작은 값을 가질 수 있다.here,
Figure pat00047
Is the location information of the skin color area
Figure pat00048
Represents a position value of the face candidate region adjusted to include the face candidate region in consideration of an error range.
Figure pat00049
Wow
Figure pat00050
Are values for obtaining an error range between the horizontal axis and the vertical axis of the skin color region, respectively, and may have values greater than 0 and less than 1, respectively.

상술한 과정을 거쳐 추출된 피부색 픽셀, 인접한 피부색 픽셀을 연결한 피부색 영역, 일정 영역의 오차 범위를 고려하여 조정된 얼굴 후보 영역에 대한 예시가 도 6의 21, 22, 23에 도시되었다.Examples of skin color pixels extracted through the above process, skin color areas connecting adjacent skin color pixels, and face candidate areas adjusted in consideration of an error range of a predetermined area are illustrated in FIGS. 21, 22, and 23 of FIG. 6.

다시 도 4를 참조하여, 상술한 과정을 거쳐 얼굴 후보 영역이 추출되면(S303), 추출된 얼굴 후보 영역을 입력 영상의 밝기 채널과 마스킹을 수행하여(S305), 최종적인 얼굴 후보 영역을 추출하게 된다(S307).Referring back to FIG. 4, when the face candidate region is extracted through the above-described process (S303), the extracted face candidate region is masked with the brightness channel of the input image (S305) to extract the final face candidate region. (S307).

최종적인 얼굴 후보 영역 추출 과정에 대해서는 도 3을 참조하여 설명하였으므로, 구체적인 설명은 생략하도록 한다.Since the final face candidate region extraction process has been described with reference to FIG. 3, a detailed description thereof will be omitted.

상술한 과정을 거쳐 추출된 얼굴 후보 영역은 도 7에 예시되었다.The face candidate region extracted through the above process is illustrated in FIG. 7.

도 8은 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 과정을 단계별로 나타낸 예시도이다.8 is an exemplary view illustrating a face detection process step by step using a multiple detection method according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시예에 따른 다중 검출 방식을 이용한 얼굴 검출 방법은 상술한 바와 같이 영상이 입력되면(단계 a), 영상을 밝기 채널 및 색상 채널로 분리한 후, 색상 채널의 크기를 일정 비율로 축소한다(단계 b).Referring to FIG. 8, in the face detection method using the multi-detection method according to the embodiment of the present invention, when an image is input as described above (step a), the image is divided into a brightness channel and a color channel, Reduce the size by a percentage (step b).

이후, 피부색 픽셀을 추출한 후, 인접한 피부색 픽셀을 연결하여 피부색 영역을 추출하기 이전에, 단계 c에 도시된 바와 같이 검출 성능을 향상시키기 위해 이진 영상으로 변환하는 것이 바람직하다. Then, after extracting the skin color pixels, and before the adjacent skin color pixels are connected to extract the skin color region, it is preferable to convert to a binary image to improve detection performance as shown in step c.

이진 영상으로 변환된 영상에서 인접한 피부색 픽셀을 연결하여 피부색 영역(d)을 추출하고, 다시 원래의 영상의 크기 상태로 복원한 후, 일정 영역의 오차 범위를 고려하여 얼굴 후보 영역을 조정하고, 밝기 채널과 마스킹을 수행하게 된다(단계 e). 이후, 얼굴 질감 정보를 이용하여 얼굴 영역을 추출한 뒤(단계 f), 사전에 학습된 얼굴 특징 모델과 비교하여 최종 얼굴 영역을 판별(g)하게 된다.After extracting the skin color region (d) by connecting adjacent skin color pixels in a binary image, and restoring it to the size of the original image, adjusting the face candidate region in consideration of an error range of a certain region, and brightness Masking is performed with the channel (step e). Then, after extracting the face region using the face texture information (step f), the final face region is determined (g) by comparing with the previously learned face feature model.

이와 같이 얼굴 검출 시 입력된 영상 전체를 대상으로 검출을 수행하지 않고 얼굴이 있을 수 있는 일부 영역만 검출을 수행함으로써 보다 신속하게 얼굴 검출이 가능하다는 효과가 있다.As described above, face detection can be performed more quickly by detecting only a partial region where a face may be present without detecting the entire input image.

또한, 얼굴이 있을 수 있는 피부색 영역만을 대상으로 검출을 수행함으로써, 계산의 복잡도가 크지 않고 검출 시의 오류를 사전에 방지할 수 있다는 장점이 있다.In addition, by performing detection only on the skin color region where a face may be present, there is an advantage that the computational complexity is not large and errors in detection can be prevented in advance.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be appreciated by those skilled in the art that numerous changes and modifications can be made to the invention. And all such modifications and changes as fall within the scope of the present invention are therefore to be regarded as being within the scope of the present invention.

본 발명은 영상에 포함된 얼굴을 검출하기 위한 얼굴 검출 방법에 관한 것으로, 더욱 상세하게는 피부색 정보를 이용하여 얼굴 후보 영역을 검출한 후 얼굴 특징 정보를 이용하여 최종적으로 얼굴을 검출함으로써, 고속의 얼굴 검출이 가능한 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법에 관한 것이다.The present invention relates to a face detection method for detecting a face included in an image, and more particularly, by detecting a face candidate region using skin color information and finally detecting the face using facial feature information. The present invention relates to a face detection apparatus and method using a multiple detection scheme capable of face detection.

본 발명에 의하면, 얼굴 검출 시 입력된 영상 전체를 대상으로 검출을 수행하지 않고 얼굴이 있을 수 있는 일부 영역을 중심으로 검출을 수행함으로써, 고속의 얼굴 검출이 가능하며, 이를 이용하는 얼굴 인식, 보안 시스템 산업 분야의 발전에 이바지할 수 있다는 효과가 있다.According to the present invention, it is possible to detect a face at a high speed by performing detection based on a partial area where a face may exist without detecting the entire input image when detecting a face. It has the effect of contributing to the development of the industrial sector.

10: 영상 전처리부 20: 얼굴 후보 영역 검출부 21: 피부색 픽셀
22: 피부색 영역 23: 얼굴 후보 영역 30: 얼굴 판별부
100: 얼굴 검출 장치
10: image preprocessor 20: face candidate region detector 21: skin color pixel
22: skin color region 23: face candidate region 30: face discriminating unit
100: face detection device

Claims (18)

영상의 크기를 일정 비율로 축소하는 영상 전처리부;
상기 영상 전처리부를 통해 수신한 상기 영상에서 피부색 픽셀을 추출한 후 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하고, 상기 추출된 피부색 영역을 기초로 적어도 하나의 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부; 및
상기 적어도 하나의 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여 최종 얼굴 영역을 판별하는 얼굴 판별부;
를 포함하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
An image preprocessor that reduces the size of the image by a predetermined ratio;
After extracting a skin color pixel from the image received through the image preprocessor, a face candidate region for extracting at least one skin color region by connecting adjacent skin color pixels and detecting at least one face candidate region based on the extracted skin color region Detection unit; And
A face discriminating unit which determines a final face region using face feature information in the at least one face candidate region;
Face detection apparatus using a multiple detection method characterized in that it comprises a.
제 1항에 있어서,
상기 영상 전처리부는
영상을 밝기 채널 및 색상 채널로 분리하고, 분리된 상기 색상 채널의 크기를 일정 비율로 축소하며,
상기 얼굴 후보 영역 검출부는
축소된 상기 색상 채널에서 피부색 픽셀을 추출한 후, 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
The method of claim 1,
The image preprocessing unit
Separates the image into brightness and color channels, reduces the size of the separated color channels by a percentage,
The face candidate region detection unit
And extracting skin color pixels from the reduced color channel, and extracting at least one skin color region by connecting adjacent skin color pixels.
제 2항에 있어서,
상기 일정 비율은
얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값인 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
The method of claim 2,
The constant ratio is
Face detection apparatus using a multiple detection method, characterized in that the inverse value of the horizontal or vertical value of the minimum face size capable of face detection.
제 3항에 있어서,
상기 최소 얼굴 크기는
상기 영상을 촬영한 카메라와 피사체 간의 각도 또는 거리를 기초로 설정되는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
The method of claim 3, wherein
The minimum face size is
Face detection apparatus using a multiple detection method, characterized in that set based on the angle or the distance between the camera and the subject photographed the image.
제 2항에 있어서,
상기 얼굴 후보 영역 검출부는
상기 인접한 피부색 픽셀을 연결하여 적어도 하나의 피부색 영역을 추출하고, 상기 피부색 영역의 위치 좌표를 원래의 영상 내의 해당 영역의 위치 좌표와 일치시킨 후 상기 원래의 영상 내의 해당 영역의 크기로 복원하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
The method of claim 2,
The face candidate region detection unit
Extracting at least one skin color region by connecting the adjacent skin color pixels, matching the position coordinates of the skin color region with the position coordinates of the corresponding region in the original image, and restoring the size of the corresponding region in the original image. A face detection device using a multiple detection method.
제 5항에 있어서,
상기 얼굴 후보 영역 검출부는
원래의 영상 내의 해당 영역의 크기로 복원된 상기 피부색 영역을 영상의 밝기 채널과 마스킹하여 얼굴 후보 영역을 추출하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
6. The method of claim 5,
The face candidate region detection unit
And a face candidate region is extracted by masking the skin color region restored to the size of the corresponding region in the original image with the brightness channel of the image.
제 1항에 있어서,
상기 얼굴 판별부는
추출된 상기 얼굴 후보 영역에서 얼굴 질감 정보를 이용하여 얼굴 영역을 추출한 뒤 사전에 학습된 얼굴 특징 모델과 비교하여 최종 얼굴 영역을 판별하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 장치.
The method of claim 1,
The face discrimination unit
And extracting a face region from the extracted face candidate region using face texture information, and then comparing the face feature model with a previously learned face feature model to determine a final face region.
영상의 크기를 일정 비율로 축소하는 단계;
상기 축소된 영상에서, 인접한 피부색 픽셀을 연결하여 적어도 하나의 얼굴 후보 영역을 추출하는 단계; 및
상기 적어도 하나의 얼굴 후보 영역에서 얼굴 특징 정보를 이용하여, 최종 얼굴 영역을 판별하는 단계;
를 포함하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
Reducing the size of the image at a predetermined ratio;
Extracting at least one face candidate region by connecting adjacent skin color pixels in the reduced image; And
Determining a final face region by using face feature information in the at least one face candidate region;
Face detection method using a multiple detection method characterized in that it comprises a.
제 8항에 있어서,
상기 영상의 크기를 일정 비율로 축소하는 단계는
영상을 밝기 채널 및 색상 채널로 분리하는 단계; 및
분리된 상기 색상 채널의 크기를 일정 비율로 축소하는 단계;
를 포함하며,
상기 얼굴 후보 영역을 추출하는 단계는
축소된 상기 색상 채널에서 피부색 픽셀을 추출하는 단계;
추출된 상기 피부색 픽셀을 인접한 피부색 픽셀끼리 연결하여 적어도 하나의 피부색 영역을 추출하는 단계; 및
상기 적어도 하나의 피부색 영역에서 적어도 하나의 얼굴 후보 영역을 추출하는 단계;
를 포함하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 8,
Reducing the size of the image by a predetermined ratio
Separating the image into a brightness channel and a color channel; And
Reducing the size of the separated color channel by a predetermined ratio;
Including;
Extracting the face candidate region
Extracting skin color pixels from the reduced color channel;
Extracting at least one skin color region by connecting the extracted skin color pixels to adjacent skin color pixels; And
Extracting at least one face candidate region from the at least one skin color region;
Face detection method using a multiple detection method characterized in that it comprises a.
제 9항에 있어서,
상기 영상을 밝기 채널 및 색상 채널로 분리하는 단계는
YCbCr, YUV, CIE LAB, CIE LUV, HSV 중 적어도 하나의 색 공간 변환 함수를 이용하여 밝기 채널 및 색상 채널로 분리하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 9,
Separating the image into a brightness channel and a color channel
A face detection method using a multiple detection method, characterized in that the separation into a brightness channel and a color channel using at least one of the color space conversion function of YCbCr, YUV, CIE LAB, CIE LUV, HSV.
제 8항에 있어서,
상기 일정 비율로 축소하는 단계는
얼굴 검출이 가능한 최소 얼굴 크기의 가로 또는 세로 값의 역 값을 기초로 축소할 비율을 결정하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 8,
The step of reducing the ratio is
A face detection method using a multiple detection method, characterized in that for determining the rate of reduction based on the inverse value of the horizontal or vertical value of the minimum face size capable of face detection.
제 11항에 있어서,
상기 얼굴 검출이 가능한 최소 얼굴 크기는
상기 영상을 촬영한 카메라와 피사체 간의 각도 또는 거리에 따라 결정되는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
12. The method of claim 11,
The minimum face size at which the face can be detected is
Face detection method using a multiple detection method, characterized in that determined according to the angle or the distance between the camera and the subject photographed the image.
제 9항에 있어서,
상기 피부색 픽셀을 추출하는 단계는
상기 영상의 색상 채널 중에서 피부색 추출에 필요한 색상 채널을 선택하여 색상 채널 집합을 구성한 후, 상기 색상 채널 집합에서 피부색 픽셀을 추출하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 9,
Extracting the skin color pixel
Selecting a color channel required for skin color extraction from the color channels of the image to configure a color channel set, and extracting skin color pixels from the color channel set.
제 9항에 있어서,
상기 피부색 픽셀을 추출하는 단계는
기설정된 임계값보다 크면 피부색 픽셀로 판단하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 9,
Extracting the skin color pixel
The face detection method using the multiple detection method, characterized in that it is determined as a skin color pixel when the predetermined threshold value is larger.
제 9항에 있어서,
상기 피부색 영역을 추출하는 단계는
추출된 상기 피부색 픽셀을 인접한 피부색 픽셀끼리 연결하여, 사각형 형태의 적어도 하나의 피부색 영역을 추출하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 9,
Extracting the skin color region
A method of detecting a face using a multiple detection method, comprising: extracting at least one skin color region having a quadrangular shape by connecting the extracted skin color pixels to adjacent skin color pixels.
제 9항에 있어서,
상기 얼굴 후보 영역을 추출하는 단계는
상기 추출된 적어도 하나의 피부색 영역의 위치 좌표를 원래의 영상 내의 해당 영역의 위치 좌표와 일치시킨 후 원래의 영상 내의 해당 영역의 크기로 복원하는 단계;
복원된 상기 피부색 영역에 일정 영역의 오차 범위를 고려하여 상기 피부색 영역을 조정하는 단계; 및
조정된 상기 적어도 하나의 피부색 영역을 영상의 밝기 채널과 마스킹하여 얼굴 후보 영역을 추출하는 단계;
를 포함하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 9,
Extracting the face candidate region
Matching the position coordinates of the extracted at least one skin color region with the position coordinates of the corresponding region in the original image and restoring the size of the corresponding region in the original image;
Adjusting the skin color area in consideration of an error range of a predetermined area in the restored skin color area; And
Extracting a face candidate region by masking the adjusted at least one skin color region with a brightness channel of an image;
Face detection method using a multiple detection method characterized in that it comprises a.
제 8항에 있어서,
상기 최종 얼굴 영역을 판별하는 단계는
추출된 상기 얼굴 후보 영역에서 얼굴 질감 정보를 이용하여 얼굴 영역을 추출하는 단계; 및
기학습된 얼굴 특징 모델과 비교하여 최종 얼굴 영역을 판별하는 단계;
를 포함하는 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
The method of claim 8,
The determining of the final face area may
Extracting a face region from the extracted face candidate region by using face texture information; And
Determining a final face region by comparing with a learned face feature model;
Face detection method using a multiple detection method characterized in that it comprises a.
제 17항에 있어서,
상기 얼굴 질감 정보는
얼굴 밝기 정보인 것을 특징으로 하는 다중 검출 방식을 이용한 얼굴 검출 방법.
18. The method of claim 17,
The face texture information
Face detection method using a multiple detection method characterized in that the face brightness information.
KR1020110131224A 2011-12-08 2011-12-08 apparatus and method for face detection using multi detection KR101875891B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110131224A KR101875891B1 (en) 2011-12-08 2011-12-08 apparatus and method for face detection using multi detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110131224A KR101875891B1 (en) 2011-12-08 2011-12-08 apparatus and method for face detection using multi detection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180071607A Division KR20180077111A (en) 2018-06-21 2018-06-21 apparatus and method for face detection using multi detection

Publications (2)

Publication Number Publication Date
KR20130064556A true KR20130064556A (en) 2013-06-18
KR101875891B1 KR101875891B1 (en) 2018-07-09

Family

ID=48861484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110131224A KR101875891B1 (en) 2011-12-08 2011-12-08 apparatus and method for face detection using multi detection

Country Status (1)

Country Link
KR (1) KR101875891B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766293A (en) * 2014-01-07 2015-07-08 北京三星通信技术研究有限公司 Method and device for detecting blood vessel in image
KR20160130911A (en) * 2015-05-04 2016-11-15 한국과학기술원 Method and apparatus for masking face by using multi-level face features
WO2018043796A1 (en) * 2016-09-01 2018-03-08 상명대학교서울산학협력단 Device and method for detecting forged bioinformation
KR101846006B1 (en) * 2017-11-15 2018-04-05 주식회사 에스씨테크원 Movement sensing system and method for multi sensor cctv panorama video
KR101861245B1 (en) * 2017-11-15 2018-05-25 (주)엠더블유스토리 Movement detection system and method for multi sensor cctv panorama video
US10210379B2 (en) 2014-09-18 2019-02-19 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature from input image
CN112183383A (en) * 2020-09-30 2021-01-05 合肥市嘉辉电子科技有限公司 Information processing method and device for measuring face image in complicated environment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048184A (en) * 1998-05-29 2000-02-18 Canon Inc Method for processing image, and method for extracting facial area and device therefor
JP2002109512A (en) * 2000-09-28 2002-04-12 Fuji Photo Film Co Ltd Candidate shade abnormality detector, and recording medium therefor
KR100488014B1 (en) * 2002-05-28 2005-05-06 엘지전자 주식회사 YCrCb color based human face location detection method
KR100474848B1 (en) * 2002-07-19 2005-03-10 삼성전자주식회사 System and method for detecting and tracking a plurality of faces in real-time by integrating the visual ques
KR100668303B1 (en) * 2004-08-04 2007-01-12 삼성전자주식회사 Method for detecting face based on skin color and pattern matching
JP4800979B2 (en) * 2007-02-01 2011-10-26 株式会社豊田中央研究所 Object detection device, object detection method, and program
JP2009123081A (en) * 2007-11-16 2009-06-04 Fujifilm Corp Face detection method and photographing apparatus
KR101015646B1 (en) * 2009-03-11 2011-02-22 삼성전기주식회사 Face detecting apparatus and face detection using the same

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766293A (en) * 2014-01-07 2015-07-08 北京三星通信技术研究有限公司 Method and device for detecting blood vessel in image
US10210379B2 (en) 2014-09-18 2019-02-19 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature from input image
US10817704B2 (en) 2014-09-18 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature from input image
KR20160130911A (en) * 2015-05-04 2016-11-15 한국과학기술원 Method and apparatus for masking face by using multi-level face features
WO2018043796A1 (en) * 2016-09-01 2018-03-08 상명대학교서울산학협력단 Device and method for detecting forged bioinformation
KR101846006B1 (en) * 2017-11-15 2018-04-05 주식회사 에스씨테크원 Movement sensing system and method for multi sensor cctv panorama video
KR101861245B1 (en) * 2017-11-15 2018-05-25 (주)엠더블유스토리 Movement detection system and method for multi sensor cctv panorama video
CN112183383A (en) * 2020-09-30 2021-01-05 合肥市嘉辉电子科技有限公司 Information processing method and device for measuring face image in complicated environment

Also Published As

Publication number Publication date
KR101875891B1 (en) 2018-07-09

Similar Documents

Publication Publication Date Title
US10783617B2 (en) Device for and method of enhancing quality of an image
KR101875891B1 (en) apparatus and method for face detection using multi detection
US8055067B2 (en) Color segmentation
CA2867365C (en) Method, system and computer storage medium for face detection
US11138695B2 (en) Method and device for video processing, electronic device, and storage medium
WO2015070723A1 (en) Eye image processing method and apparatus
JP2007097178A (en) Method for removing "red-eyes" by face detection
US20150213611A1 (en) Image processing apparatus that identifies image area, and image processing method
US9378564B2 (en) Methods for color correcting digital images and devices thereof
JP3490910B2 (en) Face area detection device
WO2019076326A1 (en) Shadow detection method and system for surveillance video image, and shadow removing method
JPH0862741A (en) Gradation correcting device
JP2008130095A (en) Face area detection device and correction method for photograph printing
JP2004219277A (en) Method and system, program, and recording medium for detection of human body
KR101334794B1 (en) Flower recognition method and apparatus using feature extraction
JP2009038737A (en) Image processing apparatus
US7835552B2 (en) Image capturing apparatus and face area extraction method
JP2000339471A (en) Method and device for extracting picture
US10872229B2 (en) Image processing device, image processing method, and recording medium
KR102118783B1 (en) Preprocessing method for color filtering robust against illumination environment and the system thereof
US20190208088A1 (en) Image Processing Apparatus, Image Processing Method, and Recording Medium
KR20180077111A (en) apparatus and method for face detection using multi detection
Kryszczuk et al. Color correction for face detection based on human visual perception metaphor
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
Rahman et al. Real-time face-based auto-focus for digital still and cell-phone cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant