KR20080049206A - Face recognition method - Google Patents
Face recognition method Download PDFInfo
- Publication number
- KR20080049206A KR20080049206A KR1020060119515A KR20060119515A KR20080049206A KR 20080049206 A KR20080049206 A KR 20080049206A KR 1020060119515 A KR1020060119515 A KR 1020060119515A KR 20060119515 A KR20060119515 A KR 20060119515A KR 20080049206 A KR20080049206 A KR 20080049206A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- pixel
- feature
- face recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000007619 statistical method Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 19
- 238000003702 image correction Methods 0.000 claims description 6
- 238000001454 recorded image Methods 0.000 claims 1
- 238000012706 support-vector machine Methods 0.000 abstract description 5
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
도 1은 종래의 영상확대시 픽셀값의 형태를 나타낸 도.1 is a view showing the shape of a pixel value in the conventional image magnification.
도 2는 종래의 영상확대기법에 의한 확대영상의 예를 나타낸 도.2 is a view showing an example of an enlarged image by a conventional image magnification technique.
도 3은 본 발명의 에지/윤곽선 추출형태를 나타낸 도.Figure 3 shows an edge / contour extraction form of the present invention.
도 4는 본 발명의 윤곽선 간의 보간 형태를 나타낸 도.4 is a diagram showing an interpolation form between contours of the present invention.
도 5는 본 발명의 영상확대 보정을 나타낸 도.5 is a view showing image magnification correction of the present invention.
도 6은 본 발명에 따른 영상의 확대 보정결과를 나타낸 도.6 is a diagram illustrating a result of enlargement correction of an image according to the present invention;
본 발명은 얼굴 인식 방법에 관한 것으로, 보다 상세하게는 범죄현장을 기록한 동영상이나 정지화상으로부터 용의자의 얼굴을 추출하고, 추출된 용의자의 얼굴을 가공하여 이를 범죄자의 얼굴정보가 저장된 범죄자 데이터베이스 내의 범죄자 얼굴과 비교하여 용의자의 신원을 확인할 수 있는 얼굴 인식 방법에 관한 것이다.The present invention relates to a face recognition method, and more particularly, extracts a suspect's face from a moving picture or a still image recording a crime scene, processes the extracted suspect's face, and then processes the extracted suspect's face in a criminal database in which the criminal's face information is stored. Compared to the present invention relates to a face recognition method that can identify a suspect.
최근, 은행이나 점포에 침입하여 재물을 갈취하는 사건 뿐 만 아니라, 취객 이나 노약자를 상대로 금품을 갈취하는 사건이 빈번히 발생한다. 또한 타인으로부터 갈취한 카드 등을 사용하여 무인인출기에서 현금을 인출해 가는 사고도 자주 발생하게 된다.In recent years, not only incidents of invasion of banks and stores, but also of extortion of money and money are taken frequently against the employed or the elderly. In addition, accidents that often withdraw cash from an automated teller machine using cards stolen from others often occur.
상기와 같은 범죄가 발생하는 것을 방지하고 또한 용의자에 대한 정보를 파악하기 위해 범죄가능성이 높은 장소에는 무인카메라를 설치하는 경우가 많고, 또한 카메라 부착 휴대폰이 최근 대량 보급되어 목격자가 범죄현장을 촬영한 영상이 경찰 등에 제공되는 경우도 많다. In order to prevent such crimes from happening and to grasp information on suspects, unmanned cameras are often installed in places where crimes are likely to occur, and mobile phones with cameras have been recently distributed in large quantities, and witnesses photographed crime scenes. Video is often provided to the police.
그러나, 무인카메라나 휴대폰 카메라로부터 얻어지는 영상을 선명하게 저장하기 위해서는 해상도가 높은 카메라가 필요하고, 또한 무인카메라의 경우에는 노후된 설비여서 해상도가 낮고, 범죄자들이 자신의 얼굴을 대부분 은폐하는 경우가 많아 용의자를 식별하기 힘들다.However, in order to vividly store images obtained from an unmanned camera or a mobile phone camera, a high resolution camera is required, and in the case of an unmanned camera, it is an aging equipment, and thus the resolution is low, and criminals cover most of their faces. It's hard to identify.
그리고, 용의자의 얼굴이 뚜렷이 파악되더라도 신원을 알기 위해서는 공개수배를 내려 이를 본 제보자의 신고에 따를 수 밖에 없는 문제점도 있었다.In addition, even if the suspect's face is clearly identified, there was a problem that he had to follow the report of the whistleblower to see the identity to know the identity.
이러한 문제점을 해결하기 위하여 최근 각종 건물이나 사무실 등에 설치된 얼굴인식 방법을 사용하고자 하는 시도가 계속해서 이루어지고 있고, 대부분 얼굴을 확대하여 그 특징을 추출하고 이를 범죄자 데이터베이스의 사진들과 비교하는 방향으로 연구되고 있다.In order to solve these problems, attempts have recently been made to use face recognition methods installed in various buildings or offices, and most of them are to enlarge the face to extract its features and compare it with pictures of criminal database. It is becoming.
일본 공개특허공보 평05-266173호에는 얼굴을 추출하여 호모모르픽 필터에 의해 조명에 의한 영향을 제거한 뒤, 재귀호출 2차 모멘트 세분수단에 의해 회전, 확대/축소, 이동/불변 표시를 발생시켜 얼굴을 나타내는 특징벡터를 사용하고 있다. 즉, 눈 및 입의 위치를 결정해서 두 눈을 잇는 선과 이것에 수직인 코를 통과하는 선으로 세분하고 2차 모멘트 세분을 얼굴영역에 제한하여 특징벡터에 미치는 잡음을 제거하여 얼굴을 인식하는 것을 개시하고 있다.Japanese Patent Application Laid-Open No. 05-266173 extracts a face, removes the influence of illumination by a homomorphic filter, and then generates a rotation, enlargement / reduction, and movement / invariance display by a recursive secondary moment subdivision means. A feature vector representing the face is used. In other words, determine the position of the eyes and mouth, subdivide the line connecting the two eyes and the line passing through the nose perpendicular to it, and limit the second moment subdivision to the face area to remove the noise on the feature vector to recognize the face. It is starting.
일본 공개특허공보 평07-302327호에는 비교할 얼굴의 데이터를 여러가지 방향에서 촬영해 저장하고, 저장된 방향의 화상 및 촬영방향에 따라 화상을 서로 비교하여 유사도가 가장 높은 화상을 검출하는 것이 개시되어 있다.Japanese Laid-Open Patent Publication No. 07-302327 discloses photographing and storing data of a face to be compared in various directions, and comparing the images according to the stored direction and the photographing direction to detect an image having the highest similarity.
또한, 대한민국 공개특허 1999-50271호에는 용의자의 얼굴을 추출하여 가장 유사한 범죄자의 신원을 파악하는 것이 개시되어 있다. In addition, Korean Patent Laid-Open Publication No. 1999-50271 discloses determining the identity of the most similar criminal by extracting the suspect's face.
상기한 바와 같은 얼굴 인식 방법은 그레이(Gray) 영상 또는 컬러 영상으로부터 얼굴을 추출하는 얼굴추출단계와, 얼굴 영상을 보정하는 영상보정단계와, 얼굴의 특징을 추출하는 특징추출단계와, 데이터베이스와의 사진과 대비하여 신원을 확인하는 신원인식단계로 이루어지는데,The face recognition method as described above includes a face extraction step of extracting a face from a gray image or a color image, an image correction step of correcting a face image, a feature extraction step of extracting a feature of a face, and a database. It consists of an identity recognition step to verify your identity against a picture.
통상 얼굴추출단계는 눈의 움직임을 사용하는 방법(대한민국 등록특허 361497호), 그룹화된 얼굴영상과 그물망형태의 탐색영역을 사용하는 방법(대한민국 등록특허 338807호), 에지/컬러 정보를 이용하여 피부색으로 얼굴의 영역을 검출하는 방법(대한민국 등록특허 427181호), 얼굴의 직사각형 특징에 기반을 두는 AdaBoost(Adaptive Boosting)알고리즘을 사용하는 방법(대한민국 등록특허 621883호)등이 있다. In general, the face extraction step is a method using the movement of the eye (Korea Patent No. 361497), a method using a grouped face image and a network-type search area (Korea Patent No. 338807), skin color using the edge / color information For example, there is a method of detecting a region of a face (Korean Patent No. 427181), a method using an AdaBoost (Adaptive Boosting) algorithm based on a rectangular feature of a face (Korean Patent No. 621883), and the like.
얼굴의 특징을 추출하는 특징추출단계에서 사용되는 얼굴의 특징은 상기 대한민국 공개특허 1999-50271호에 여러가지가 개시되어 있으며, 플렉시블 그리드를 사용하는 HGM(Hierarchical Graph Matching)방법, 주성분 분석(Principal Component Anaysis)방법들이 알려져 있다. The facial features used in the feature extraction step of extracting facial features are disclosed in Korean Patent Laid-Open Publication No. 1999-50271, HGM (Hierarchical Graph Matching) method using a flexible grid, principal component analysis (Principal Component Anaysis) Methods are known.
얼굴을 미리 준비된 데이터베이스와의 사진과 대비하여 신원을 확인하는 신원인식단계는 SVM(Support Vector Machine)이라는 방법을 사용하여 하이퍼플레인을 결정하고 얼굴인식방법을 학습시켜 인식하는 방법(대한민국 등록특허 456619, 571826, 608595호 등), 계층적 주요성분 분석에 의한 방법(대한민국 등록특허 571800호)등 여러가지가 있다.The identity recognition step of verifying the identity by comparing the face with a photograph prepared in advance is a method of determining a hyperplane using a method called SVM (Support Vector Machine) and learning by recognizing a face recognition method (Korea Patent 456619, 571826, 608595, etc.), a method by hierarchical principal component analysis (Korea Patent No. 571800), and the like.
그런데, 상기와 같은 얼굴추출단계, 특징추출단계, 신원인식단계는 모두 신원인식을 위한 자동화에 관련된 방법이나, 범죄현장 등에서 CCD카메라 등에 의한 입수된 영상(동영상의 정지영상을 포함한다.)은 용의자의 얼굴이 매우 작게 나타나 있는 경우가 많고 이러한 경우 미리 준비된 데이터베이스와 비교하기 위해 얼굴의 뚜렷한 특징이 나타날 수 있도록 영상을 확대하여 보정하여야 한다. However, the face extraction step, feature extraction step, and identity recognition step as described above are all related to automation for identity recognition, or images (including still images of video) obtained by a CCD camera at a crime scene, etc. are suspected. In many cases, the face is very small, and in this case, the image should be enlarged and corrected so that the distinctive features of the face may appear in order to compare with the prepared database.
그러나, 이러한 영상은 대부분 포토샵과 같은 이미지 처리 프로그램을 통해 확대되는 경우가 많고, 이를 자동화하기 위해서는 아래와 같은 확대기법이 사용된다. However, most of these images are often magnified through an image processing program such as Photoshop, and the following magnification technique is used to automate them.
일반적으로 이러한 영상은 디지털 영상인 관계로 RGB값이나 명암값(이하, RGB값 또는 명암값과 같이 각 픽셀에 할당된 정보를 '픽셀값'이라 한다.)이 각각 할당된 픽셀들로 이루어지는데, 이러한 영상을 확대하기 위한 기법으로는 하나의 픽셀에 나타난 픽셀값을 인접한 픽셀에 확대 배율에 따라 반복하여 쓰는 것이 일반적이다. 이를 보다 상세하게 설명하면 도 1과 같이 원래의 영상을 2배 확대하려면 각 픽셀값을 2회씩 반복하여 기록함으로써 2배 확대된 영상을 얻을 수 있게 된다. 도 2(b)는 도 2(a)의 55×55 픽셀로 이루어진 영상을 220×220 픽셀의 영상으로 4배 확대한 것인데 도 2(a)의 축소영상과 대비해 보면 중복효과가 나타나게 된다.In general, such an image is a digital image, and is composed of pixels each having an RGB value or a contrast value (hereinafter, information allocated to each pixel such as an RGB value or a contrast value is referred to as a 'pixel value'). As a technique for enlarging such an image, it is common to repeatedly write a pixel value of one pixel to an adjacent pixel according to an enlargement magnification. In more detail, in order to enlarge the original image twice as shown in FIG. 1, the image magnified twice can be obtained by repeatedly recording each pixel value twice. FIG. 2 (b) is a 4 × magnification of the image of 55 × 55 pixels of FIG. 2 (a) to 220 × 220 pixel image. Compared with the reduced image of FIG.
이와는 달리 확대한 후, 확대된 배율보다 많은 갯수의 주변 픽셀값을 평균값으로 하여 해당하는 픽셀의 픽셀값을 보간하는 선형보간(linear interpolation)법 을 사용하기도 하는데, 이러한 경우에는 도 2(c)와 같이 에지(Edge)영역이 평활화되어 블러링(Blurring)이 발생하게 되어 이후 얼굴추출단계, 특징추출단계에서 좋은 결과를 얻을 수 없다. 또한 영상을 주파수요소로 변환하여 퓨리어 변환을 거쳐 확대하는 경우가 있는데 이 경우에는 도 2(d)와 같이 에지의 특성은 유지되는 반면 저주파 영역에서 잡음이 더해진 형태로 나타나게 된다.Alternatively, a linear interpolation method may be used, in which the pixel values of the corresponding pixels are interpolated using an average of a larger number of surrounding pixel values than the enlarged magnification. In this case, FIGS. Likewise, the edge area is smoothed and blurring occurs, and thus a good result cannot be obtained in the face extraction step and the feature extraction step. In addition, the image may be transformed into a frequency component and enlarged through Fourier transform. In this case, as shown in FIG. 2 (d), edge characteristics are maintained while noise is added in a low frequency region.
상기와 같은 종래의 방법으로는 얼굴추출단계, 특징추출단계에서 에지 영역에 저주파 잡음이 심하거나 블러링이 일어나서 신원인식단계에서 좋은 결과를 얻기 힘들게 되며, 또한 얼굴의 영상을 보정하더라도, 여러가지 얼굴추출/특징추출/얼굴인식 단계으로 알려진 여러 가지 방법 중 어떤 방법이 가장 좋은 형태로 조합될 수 있는가는 얼굴인식분야에서 해결해야할 과제로 남아 있다. In the conventional method as described above, low frequency noise or blurring occurs in the edge region in the face extraction step and the feature extraction step, and thus it is difficult to obtain a good result in the identification recognition step. Which of the various methods known as the / feature extraction / face recognition stage can be combined in the best form remains a challenge in the face recognition field.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 얼굴 부분을 보다 효율적으로 검출하며, 검출된 얼굴 부분을 보다 선명하게 확대할 수 있으며, 또한 얼굴의 특징부와의 대비를 보다 효율적으로 할 수 있는 얼굴인식 방법을 제공하는 것을 그 목적으로 한다.The present invention has been made to solve the above problems, it is possible to detect the face portion more efficiently, to enlarge the detected face portion more clearly, and to more efficiently contrast with the features of the face It is an object of the present invention to provide a face recognition method.
상기와 같은 목적을 달성하기 위해 안출된 본 발명은,The present invention devised to achieve the above object,
CCD카메라로부터 입수되며 용의자의 얼굴이 기록된 영상으로부터 얼굴을 추출하는 얼굴추출단계와, 얼굴 영상을 보정하는 영상보정단계와, 얼굴의 특징을 추출하는 특징추출단계와, 데이터베이스와의 사진과 대비하여 신원을 확인하는 신원인식단계로 이루어지는 얼굴 인식 방법에 있어서,A face extraction step of extracting a face from an image obtained from a CCD camera and recording a suspect's face, an image correction step of correcting a face image, a feature extraction step of extracting a feature of a face, and a photograph from a database In the face recognition method comprising an identity recognition step of identifying the identity,
상기 영상보정단계는 데이터베이스의 사진과 비교하기 위해 지정된 크기만큼 영상을 확대한 후, 명암 또는 색상정보 정보를 확대된 픽셀의 픽셀값을 확대된 위치 및 상기 윤곽선 정보에 따라 보간법에 의해 계산하고, 얻어진 픽셀의 픽셀값을 통계적 분석에 의해 처리하여 결정하는 것을 특징으로 한다.In the image correction step, the image is enlarged by a specified size to be compared with a photograph of a database, and then the contrast or color information information is calculated by interpolation based on the pixel value of the enlarged pixel according to the enlarged position and the contour information. The pixel value of the pixel may be determined by processing by statistical analysis.
상기 통계적 분석에 의해 처리된 픽셀값은 다시 웨이브렛(Wavelet)필터에 의해 저주파 잡음을 개선하도록 하는 것도 바람직하다. The pixel values processed by the statistical analysis may be further improved by the wavelet filter to improve low frequency noise.
상기 얼굴인식단계는 AdaBoost방법을 사용하며, 특징추출단계는 HGM방법, 신원인식단계는 SVM 방법을 사용하는 것이 바람직하다. The face recognition step uses the AdaBoost method, the feature extraction step is HGM method, the identity recognition step is preferably using the SVM method.
이하 본 발명을 그 실시예에 따라 도면을 참조하여 보다 상세하게 설명한다. Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.
본 실시예는 CCD카메라로부터 입수되며 용의자의 얼굴이 저해상도 영상인 경우에 대하여 설명한다.This embodiment describes the case obtained from the CCD camera and the suspect's face is a low resolution image.
먼저 CCD카메라로 부터 입수된 저해상도 영상에서 도 3(a)와 같이 에지를 추 출한다. 에지는 명암값이 임의의 임계치를 넘어서는 픽셀들로 지정되며, 에지는 일련의 픽셀들의 위치값 (ui,vi)을 갖는다. 상기 저해상도 영상의 에지들 중 일정범위 내에 있는 에지들에 의해 윤곽선을 나타내는 윤곽선 함수 f(ui,vi)를 구한다.First, an edge is extracted from the low resolution image obtained from the CCD camera as shown in FIG. An edge is designated as pixels whose contrast value exceeds a certain threshold, and the edge has a position value (u i , v i ) of a series of pixels. An outline function f (u i , v i ) representing an outline by edges within a predetermined range of the edges of the low resolution image is obtained.
윤곽선을 나타내는 윤곽선 함수 f(ui,vi)는 선형 함수 일수도 있고 비선형 함수로 나타낼 수 있다. 이러한 윤곽선 함수 f(ui,vi)는 영상에 나타낸 에지의 위치값 (ui,vi)이 잘 반영되도록 몇 개의 구간으로 나누어 각각 함수를 이루게 된다. 윤곽선 함수는 fk(ui,vi)의 형태를 가지는 여러개가 형성된다. 이러한 윤곽선 함수에 따라 구해진 윤곽선과 에지는 도 3(b)와 같다.The contour function f (u i , v i ) representing the contour can be a linear function or a nonlinear function. The contour function f (u i , v i ) is divided into several sections so as to reflect the position values (u i , v i ) of the edges shown in the image, thereby forming a function. Several contour functions are formed in the form f k (u i , v i ). The outlines and edges obtained according to this outline function are shown in FIG. 3 (b).
픽셀은 서로 독립적인 이산 모델(Discrete Model)인 반면, 윤곽선 함수에 의해 나타나는 윤곽선은 선분의 형태로 나타나는 연속 모델(Continuous Model)이므로, 도 3(c)와 같이 확대시에도 그 특성이 유지되게 된다. Pixels are discrete models that are independent of each other, whereas the contours represented by the contour function are continuous models in the form of line segments, so that their characteristics are maintained even when enlarged as shown in FIG. .
즉 저해상도 영상에서 고해상도 영상으로 변환해도, 에지의 특성을 그대로 유지하게 된다. In other words, even when the image is converted from the low resolution image to the high resolution image, the edge characteristic is maintained as it is.
예를 들어 도 2(a)와 같은 55×55의 저해상도 영상에서 도 2(b)와 같이 220×220 고해상도 영상으로 변환하게 되면, 중복효과가 나타나게 되며, 중복효과를 나타내는 픽셀들이 두꺼운 에지를 이루며, 이러한 에지는 윤곽선을 정확하게 나타나게 힘들게 한다. 그러나, 윤곽선은 저해상도 영상에서 얻은 것이라 할 지라도 고해상도에 그대로 그 특성을 유지하게 되기 때문에, 에지의 특성이 그대로 유지될 수 있게 된다.For example, when a 55 × 55 low resolution image as shown in FIG. 2 (a) is converted into a 220 × 220 high resolution image as shown in FIG. 2 (b), overlapping effects appear, and pixels representing the overlapping effect form thick edges. This edge makes it difficult for the contour to appear accurately. However, even if the contour is obtained from a low resolution image, the characteristics of the edge can be maintained as it is, because the contour is maintained as it is at high resolution.
저해상도에서의 에지를 이루는 픽셀의 픽셀값은 상기 윤곽선 함수에 의해 고해상도 영상에서도 동일한 에지의 폭을 가지며 유지될 수 있게 된다. 고해상도에서 에지를 이루는 픽셀의 픽셀값은 원래의 픽셀값을 그대로 유지하고, 나머지 픽셀값은 도 2(a)를 도 2(b)로 변경하는 것과 같은 형태로 배율만큼 픽셀을 복사하여 고해상도 영상을 이루도록 한다. The pixel value of the pixel forming the edge at low resolution can be maintained with the same edge width even in a high resolution image by the contour function. At high resolution, the pixel values of the pixels forming the edges remain the original pixel values, and the rest of the pixel values are copied as much as the magnification in the form of changing Fig. 2 (a) to Fig. 2 (b) to obtain a high resolution image. To achieve.
다음으로, 이러한 윤곽선 함수를 이루는 에지들과 인접한 윤곽선 함수를 이루는 에지들 사이 구간에서 존재하는 픽셀값에 대해 단계적 선형분석 또는 비선형 분석에 따른 보간법을 행하게 되면, 윤곽선 사이의 픽셀들의 픽셀값이 계산된다. Next, when the interpolation method according to the stepwise linear analysis or the nonlinear analysis is performed on the pixel values existing in the interval between the edges forming the contour function and the edges forming the adjacent contour function, the pixel values of the pixels between the contours are calculated. .
이를 보다 상세하게 설명하면 다음과 같다.This will be described in more detail as follows.
도 4(a)는 여러 개의 윤곽선이 이루고 있는 영상의 일부를 나타낸 것인데, 실선으로 표시된 그리드(즉, 1,2행과 1,2열이 이루는 그리드)는 원래 저해상도의 픽셀을 나타내는 것이고, 실선과 점선으로 표시된 그리드(즉 1행과 1열이 이루는 그리드)는 확대된 고해상도의 픽셀을 나타내는 것이다. 이러한 픽셀중 윤곽선이 지나는 픽셀의 픽셀값은 원래의 값대로 유지하고, 확대되어 새로 형성된 픽셀의 픽셀값을 구해야 하는데, 도 4(b)와 같이 한 윤곽선 사이의 픽셀들에 대하여 윤곽선을 따라가면서 대향하는 윤곽선의 픽셀들과의 사이값들에 대해 각각 보간법에 의한 계산을 행하게 된다. 이때, 윤곽선 사이의 픽셀에 대한 픽셀값은 여러 개 구해지게 된다. 즉, 예를 들어 5행 7열의 픽셀은 도 4(b)에 나타난 2개의 픽셀만으로 계산하여도 7개의 픽셀값이 얻어지게 된다. 윤곽선을 따라 각 픽셀 단위로 보간에 의 한 계산을 한 후 얻어지는 각 픽셀에 할당된 여러 개의 픽셀값은 통계적 분석을 행하여 가장 빈도가 높은 픽셀값으로 정하든지, 또는 평균값 등으로 정할 수 있게 된다. 도 5 및 상기와 같은 본 발명 특유의 영상처리기법에 의해 처리된 도 2(a)의 영상은 도 6과 같이 얻어지며, 에지의 특성이 잘 나타나며 저주파수 잡음이 관찰되지 않은 우수한 확대 결과를 얻을 수 있다.FIG. 4 (a) shows a part of an image formed by several outlines. The grid shown in solid lines (that is, the grid composed of 1, 2 rows and 1 and 2 columns) shows pixels of the original low resolution. The dotted grid (that is, the grid consisting of one row and one column) represents an enlarged high resolution pixel. The pixel value of the pixel through which the contour passes among these pixels should be kept as the original value, and the pixel value of the newly formed pixel should be obtained by enlarging it. As shown in FIG. The interpolation calculation is performed on the values between the pixels of the contour. At this time, several pixel values for the pixels between the contour lines are obtained. That is, for example, the pixel of five rows and seven columns is obtained by calculating only two pixels shown in Fig. 4 (b). The pixel values assigned to each pixel obtained after interpolation calculation by pixel unit along the outline can be determined as the most frequent pixel value or average value by performing statistical analysis. 5 and the image of FIG. 2 (a) processed by the image processing technique unique to the present invention are obtained as shown in FIG. 6, and excellent magnification results are obtained in which edge characteristics are well observed and low frequency noise is not observed. have.
이에 따라 에지 특성이 잘 나타나면서도 중복효과가 배제되는 영상 보정이 이루어지게 된다. 너무 작은 수의 에지의 위치값을 사용하여 윤곽선함수를 지정하게 되면 저주파수의 잡음이 영상에 나타나게 되는데, 웨이브렛(Wavelet)필터에 의해 잡음을 제거하는 것도 바람직하다. Accordingly, the image correction is performed while the edge characteristics are well displayed and the overlapping effect is excluded. When the contour function is specified by using the position value of the edge which is too small, low frequency noise appears in the image. It is also preferable to remove the noise by the wavelet filter.
상기와 같이 보정된 영상을 통하여, adaboost방법에 의해 얼굴영역을 추출하는 얼굴추출단계와, HGM방법에 의해 얼굴의 특징을 추출하며, SVM 방법PCA에 의해 얼굴을 인식시킨 결과, 얼굴검출 성공율은 기존의 82%에서 95%까지 상승하였으며, 조명/표정/포즈를 변화시켜도 각각 88%, 95%,93% 이상의 인식률을 나타내었다. As a result of the face extraction step of extracting the face region by the adaboost method and the feature of the face by the HGM method, and the face recognition by the SVM method PCA, the face detection success rate is The ratio increased from 82% to 95%, and the recognition rate was over 88%, 95%, and 93% even when the illumination, expression, and pose were changed.
본 발명에 의하면 저해상도 영상을 고해상도 영상으로 변환시킬 때 그 특징이 왜곡되지 않고도 확대되기 때문에, 얼굴 부분을 보다 효율적으로 검출하며, 검출된 얼굴 부분을 보다 선명하게 확대할 수 있으며, 또한 얼굴의 특징부와의 대비 를 보다 효율적으로 할 수 있는 효과가 있다.According to the present invention, since the feature is enlarged without distortion when the low resolution image is converted into the high resolution image, the face portion can be detected more efficiently, the detected face portion can be enlarged more clearly, and the face features The contrast with the effect can be more efficient.
Claims (3)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060119515A KR100843513B1 (en) | 2006-11-30 | 2006-11-30 | Face Recognition Method By Image Enhancement |
| PCT/KR2007/000154 WO2008066217A1 (en) | 2006-11-30 | 2007-01-10 | Face recognition method by image enhancement |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060119515A KR100843513B1 (en) | 2006-11-30 | 2006-11-30 | Face Recognition Method By Image Enhancement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080049206A true KR20080049206A (en) | 2008-06-04 |
| KR100843513B1 KR100843513B1 (en) | 2008-07-03 |
Family
ID=39467996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060119515A KR100843513B1 (en) | 2006-11-30 | 2006-11-30 | Face Recognition Method By Image Enhancement |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR100843513B1 (en) |
| WO (1) | WO2008066217A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9113075B2 (en) | 2009-02-27 | 2015-08-18 | Samsung Electronics Co., Ltd. | Image processing method and apparatus and digital photographing apparatus using the same |
| KR101589149B1 (en) * | 2015-05-27 | 2016-02-03 | 수원대학교산학협력단 | Face recognition and face tracking method using radial basis function neural networks pattern classifier and object tracking algorithm and system for executing the same |
| KR20210128358A (en) * | 2020-04-16 | 2021-10-26 | 주식회사 에이비에이치 | Apparatus and method for recognizing emotion based on artificial intelligence |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101859380B (en) * | 2010-04-27 | 2012-05-23 | 河海大学 | Extraction method for brightness characteristic quantity of face image and identification method of same |
| KR101703355B1 (en) * | 2010-10-05 | 2017-02-06 | 엘지전자 주식회사 | Apparatus and method clearing image |
| CN103116404A (en) * | 2013-02-25 | 2013-05-22 | 广东欧珀移动通信有限公司 | Face recognition unlocking method and mobile smart terminal |
| CN103177263B (en) * | 2013-03-13 | 2016-03-23 | 浙江理工大学 | A kind of rice field plant hopper based on image detects and method of counting automatically |
| CN107728115B (en) * | 2017-09-11 | 2020-08-11 | 电子科技大学 | SVM-based background interference suppression method after radar target imaging |
| CN111310152B (en) * | 2020-03-17 | 2020-11-24 | 浙江万里学院 | Computer user identity recognition system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10341334A (en) * | 1997-06-10 | 1998-12-22 | Dainippon Screen Mfg Co Ltd | Image magnification method, device therefor and storage medium recording program |
| KR19990050271A (en) * | 1997-12-16 | 1999-07-05 | 구자홍 | Method and apparatus for automatic detection of criminal face using face recognition |
| KR100347013B1 (en) * | 2000-02-16 | 2002-08-03 | 한국과학기술원 | An image scaling method and scaler using the continuous domain filtering and interpolation methods |
| JP2006179030A (en) | 2006-03-15 | 2006-07-06 | Nissan Motor Co Ltd | Facial region detection apparatus |
-
2006
- 2006-11-30 KR KR1020060119515A patent/KR100843513B1/en active IP Right Grant
-
2007
- 2007-01-10 WO PCT/KR2007/000154 patent/WO2008066217A1/en active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9113075B2 (en) | 2009-02-27 | 2015-08-18 | Samsung Electronics Co., Ltd. | Image processing method and apparatus and digital photographing apparatus using the same |
| KR101589149B1 (en) * | 2015-05-27 | 2016-02-03 | 수원대학교산학협력단 | Face recognition and face tracking method using radial basis function neural networks pattern classifier and object tracking algorithm and system for executing the same |
| KR20210128358A (en) * | 2020-04-16 | 2021-10-26 | 주식회사 에이비에이치 | Apparatus and method for recognizing emotion based on artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008066217A1 (en) | 2008-06-05 |
| KR100843513B1 (en) | 2008-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100843513B1 (en) | Face Recognition Method By Image Enhancement | |
| KR101490016B1 (en) | Person image processing apparatus and person image processing method | |
| US11017215B2 (en) | Two-stage person searching method combining face and appearance features | |
| EP1542155A1 (en) | Object detection | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| CN110838119B (en) | Human face image quality evaluation method, computer device and computer readable storage medium | |
| EP1542153A1 (en) | Object detection | |
| WO2012036669A1 (en) | Smile detection systems and methods | |
| GB2409027A (en) | Face detection | |
| CN113012383B (en) | Fire detection alarm method, related system, related equipment and storage medium | |
| KR101552600B1 (en) | Method for tracking multiple walking object simultaneously using sectioned image | |
| CN112101195B (en) | Crowd density estimation method, crowd density estimation device, computer equipment and storage medium | |
| EP1542154A2 (en) | Object detection | |
| CN110059634A (en) | A kind of large scene face snap method | |
| JP2009237669A (en) | Face recognition apparatus | |
| CN112991159B (en) | Face illumination quality evaluation method, system, server and computer readable medium | |
| CN114359333A (en) | Moving object extraction method and device, computer equipment and storage medium | |
| Julliand et al. | Automated image splicing detection from noise estimation in raw images | |
| CN112016437B (en) | Living body detection method based on face video key frame | |
| CN106611417B (en) | Method and device for classifying visual elements into foreground or background | |
| Maalouf et al. | Offline quality monitoring for legal evidence images in video-surveillance applications | |
| CN108182391B (en) | Method for automatically extracting nonrepetitive slide based on education video | |
| CN108334811B (en) | Face image processing method and device | |
| Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
| CN113014914B (en) | Neural network-based single face-changing short video identification method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130507 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140425 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160513 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20180420 Year of fee payment: 11 |