KR101223857B1 - 얼굴의 좌우 대칭도 산출 방법 및 장치 - Google Patents

얼굴의 좌우 대칭도 산출 방법 및 장치 Download PDF

Info

Publication number
KR101223857B1
KR101223857B1 KR1020100139367A KR20100139367A KR101223857B1 KR 101223857 B1 KR101223857 B1 KR 101223857B1 KR 1020100139367 A KR1020100139367 A KR 1020100139367A KR 20100139367 A KR20100139367 A KR 20100139367A KR 101223857 B1 KR101223857 B1 KR 101223857B1
Authority
KR
South Korea
Prior art keywords
image
symmetry
face
roi
region
Prior art date
Application number
KR1020100139367A
Other languages
English (en)
Other versions
KR20120077422A (ko
Inventor
박원우
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Priority to KR1020100139367A priority Critical patent/KR101223857B1/ko
Publication of KR20120077422A publication Critical patent/KR20120077422A/ko
Application granted granted Critical
Publication of KR101223857B1 publication Critical patent/KR101223857B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

얼굴의 좌우 대칭도 산출 방법 및 장치{Apparatus and Method for Determining Symmetry of Face}
본 발명은 얼굴 인식에 관한 것으로, 보다 구체적으로 얼굴의 좌우 대칭도를 산출할 수 있는 방법 및 장치에 관한 것이다.
카메라(PC카메라, 휴대폰 카메라, 및 CCD 카메라 등) 및 영상처리 기술의 급진적인 발전에 따라 카메라로부터 입력되는 영상에서 얼굴을 검출하고, 검출된 얼굴을 이용하여 게임이나 보안 시스템 등에 이용할 수 있도록 하는 프로그램들이 계발되고 있다.
특히, 최근에는 스마트폰이나 테블릿 PC 등과 같이 고성능의 카메라가 장착된 휴대 단말기가 등장함에 따라 휴대 단말기를 이용하여 영상을 촬영하고, 촬영된 영상으로부터 검출되는 얼굴을 이용하여 다양한 기능을 수행할 수 있는 어플리케이션들도 계발되고 있다.
한편, 최근 미용에 대한 관심이 급증하면서 얼굴의 좌우 대칭도(미인도)에 대한 관심이 증가되고 있지만, 상술한 바와 같은 기존의 프로그램이나 어플리케이션들은 얼굴을 인식하는 것에 주로 초점이 맞추어져 있었을 뿐, 인식된 얼굴을 이용하여 얼굴의 좌우 대칭도를 판단할 수는 없었다.
따라서, 종래에는, 얼굴의 좌우 대칭을 판단할 수 있도록 눈금이 매겨진 곡선형 특수자를 판단 대상이 되는 실제 얼굴에 위치시켜 눈, 코, 입, 또는 눈썹 등과 같은 얼굴 주요부위의 위치 및 크기 등을 측정함으로써 얼굴의 좌우 대칭도를 산출할 수 밖에 없었다.
이와 같이, 종래에는 얼굴의 좌우 대칭도를 판단함에 있어서, 특수자의 물리적인 접촉위치와 시각적인 측정오차에 따라 얼굴의 좌우 대칭도가 달라질 수 있기 때문에 산출된 얼굴의 좌우 대칭도에 대한 정확성을 담보할 수 없다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 얼굴을 포함하는 영상으로부터 얼굴을 검출하여 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 대칭축을 기준으로 정렬되어 있지 않은 영상에 포함되어 있는 얼굴의 좌우 대칭도를 산출할 수 있는 얼굴의 좌우 대칭도 산출 방법 및 장치를 제공하는 것을 다른 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계; 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및 상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 얼굴의 좌우 대칭도 산출 방법은, 얼굴 영역이 포함된 ROI 영상을 축소시켜 제1 축소 영상을 생성하는 단계; 및 상기 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하고, 산출된 대칭도를 얼굴의 좌우 대칭도로 결정하는 단계를 포함하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 얼굴의 좌우 대칭도 산출 장치는, 정지 영상을 전처리하는 영상 전처리부; 상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부; 가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및 상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 정지 영상에서 검출되는 얼굴에서 영상 처리 기법을 이용하여 얼굴의 좌우 대칭도를 산출하기 때문에 보다 대칭도의 정확성을 향상시킬 수 있다는 효과가 있다.
또한, 본 발명은 얼굴이 포함된 영상을 회전 또는 이동시켜가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면.
도 2는 도 1에 도시된 언샤프 마스킹 처리부에 의해 수행되는 언샤프 마스킹 처리 과정을 보여주는 도면.
도 3은 언샤프 마스킹 처리 과정에 이용되는 마스크의 예를 보여주는 도면.
도 4는 정지 영상으로부터 검출된 얼굴 영역을 보여주는 도면.
도 5는 얼굴 영역을 포함하는 ROI 영상을 보여주는 도면.
도 6은 가우시안 피라미드 해상도 축소법의 개념을 개략적으로 보여주는 도면.
도 7은 얼굴 영역을 포함하는 축소 영상에서 대칭도를 산출하는 방법을 개략적으로 보여주는 도면.
도 8은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 방법을 보여주는 플로우차트.
도 9는 도 8에 도시된 영상 전처리 과정을 보여주는 플로우차트.
이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치의 구성을 개략적으로 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 좌우 대칭도 산출 장치(100)는, 영상 전처리부(110), ROI 영상 생성부(120), 영상 변환부(130), 및 대칭도 산출부(140)를 포함한다.
영상 전처리부(110)는 정지 영상에 대하여 영상조명 및 영상 잡음 등의 영향을 경감시키기 위해 전처리(Preprocessing)를 수행하는 것으로서, 도 1에 도시된 바와 같이 영상 리사이징부(112), 히스토그램 균등화부(114), 및 언샤프 마스킹 처리부(116)를 포함한다.
먼저, 영상 리사이징부(112)는, 보간 알고리즘(Interpolation)을 이용하여 정지 영상의 해상도를 조절한다. 일 실시예에 있어서, 영사 리사이징부(112)는 정지 영상을 640*640 크기의 해상도로 리사이징 할 수 있다.
한편, 영상 리사이징부(112)는 리사이징 대상이 되는 영상을 카메라(미도시)로부터 직접 획득할 수 있다.
다음으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 콘트라스트(Contrast)를 향상시키기 위해 리사이징된 정지 영상의 히스토그램을 균등화한다.
구체적으로, 히스토그램 균등화부(114)는 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고, 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑(Mapping)을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다. 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.
다음으로, 언샤프 마스킹 처리부(116)는, 히스토그램 균등화된 정지 영상을 보존하면서 윤곽선을 강조한 영상을 획득하기 위해, 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리한다.
구체적으로, 언샤프 마스킹 처리부(116)는, 도 2에 도시된 바와 같이 히스토그램 균등화된 정지 영상을 3개(이하, '제1 내지 제3 정지 영상'이라 함)로 복제하고, 그 중 제2 정지 영상을 도 3에 도시된 바와 같은 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다. 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.
다음으로, 언샤프 마스킹 처리부(116)는, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고, 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다.
다시 도 1을 참조하면, ROI 영상 생성부(120)는 영상 전처리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI(Region Of Interest) 영상을 생성한다. 이러한 ROI 영상 생성부(120)는 도 1에 도시된 바와 같이, 얼굴 영역 검출부(122) 및 얼굴 영역 분리부(124)를 포함한다.
먼저, 얼굴 영역 검출부(122)는, 영상 전치리부(110)에 의해 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 일 실시예에 있어서, 얼굴 영역 검출부(122)는 OpenCV와 같은 오픈소스 컴퓨터 버전 라이브러리를 이용하여 전처리된 정지 영상으로부터 얼굴 영역을 검출한다. 이때, 얼굴 영역 검출부(122)는 검출된 얼굴 영역을 정지 영상 상에서 도 4에 도시된 바와 같은 사각형(300)으로 표현할 수 있다.
다음으로, 얼굴 영역 분리부(124)는, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다.
구체적으로, 얼굴 영역 분리부(124)는, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 도 5에 도시된 바와 같이 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510) 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역(530)과 얼굴 영역(530)을 제외한 영역이 구분되어 있는 ROI 영상(520)을 생성한다.
다시 도 1을 참조하면, 영상 변환부(130)는, ROI 영상(520)을 축소시킨 제1 축소 영상을 생성하거나, ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 축소 시킨 제2 축소 영상을 생성한다. 일 실시예에 있어서, 상기 영상 변환부는, 미리 정해진 값을 순차적으로 변경시켜 가면서 ROI 영상(520)을 회전 또는 이동 시킴으로써 서로 다른 제2축소 영상을 생성할 수 있다.
이때, 영상 변환부(130)는 도 6과 같이 영상을 단계적으로 축소시킬 수 있는 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시킬 수 있다. 이를 위해, 영상 변환부(130)는 영상 이동부(132), 영상 축소부(134), 및 영상 복원부(136)를 포함한다.
먼저, 영상 이동부(132)는 대칭도 산출부(140)가 다양한 위치에서의 ROI 영상(520)에 대해 대칭도를 산출할 수 있도록 하기 위해 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨다. 이때, 미리 정해진 값은 랜덤하게 설정되거나, 대칭도 산출부(140)에 의해 산출된 대칭도에 따라 결정될 수 있다.
예컨대, 제1 위치에서의 ROI 영상에 대해 산출된 제1 대칭도와, ROI 영상을 제1 위치를 기준으로 왼쪽으로 제1 각도만큼 회전시킨 제2 위치에서의 ROI 영상에 대해 산출된 제2 대칭도를 비교한 결과 제2 대칭도가 더 큰 경우, ROI 영상을 왼쪽으로 회전시킬수록 대칭도가 증가한다는 것을 나타낸다.
따라서, 영상 이동부(132)는, 제1 위치를 기준으로 상기 제1 각도와 상기 제1 각도의 절반에 해당하는 값을 합한 제2 각도만큼 ROI 영상을 다시 회전시킨 제3 위치에서의 ROI 영상을 생성할 수 있다.
다음으로, 영상 축소부(134)는, ROI 영상(520)을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링한 후 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성한다. 또한, 영상 축소부(134)는 ROI 영상(520)을 미리 정해진 값만큼 회전 또는 이동시킨 후 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링 및 1/n 서브 샘플링을 수행함으로써 제2 축소 영상을 생성한다.
이때, 영상 축소부(134)는 영상의 이동 및 회전을 위한 영상 복원 작업을 위해 저역 통과 필터링된 영상을 메모리(미도시)에 저장할 수 있다.
이와 같이, 본 발명이 가우시안 피라미드 해상도 축소법을 이용하여 ROI 영상(520)을 축소시키는 것은 대칭도 산출부(140)의한 대칭도 산출시 연산 과정을 줄이고, ROI 영상(520)에 포함되어 있는 영상 잡음이 대칭도 산출시 반영되는 것을 최소화하기 위한 것이다.
다음으로, 영상 복원부(136)는 대칭도 산출부(140)에 의해 대칭도가 산출되면, 라플라시안 콘볼루션 마스크를 통해 ROI 영상(520)을 고역 통과 필터링한 영상과 영상 축소부(134)에 의해 저역 통과 필터링된 영상을 합성하여 ROI 영상을 복원한다.
이를 위해 영상 복원부(136)는, 영상 축소부(134)에 의한 제1 축소 영상 및 제2 축소 영상 생성 시, 라플라시안 콘볼루션 마스크를 통해 ROI 영상을 고역 통과 필터링하고, 고역 통과 필터링된 영상을 메모리에 저장할 수 있다.
본 발명에서 대칭도 산출부(140)에 의한 대칭도 산출 이후에, 제1 축소 영상 또는 제2 축소 영상으로부터 ROI 영상(520)을 다시 복원하는 것은, 제1 축소 영상 및 제2 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.
상술한 실시예에 있어서는 영상 변환부(130)가 축소 영상의 복원을 위해 영상 복원부(136)를 포함하는 것으로 기재하였지만, 변형된 실시예에 있어서는 ROI 영상(520)을 메모리에 기록하고, ROI 영상(520)의 회전 또는 이동을 위해 ROI 영상을 복원하지 않고 메모리에 기록되어 있는 ROI 영상을 직접 이용하여 회전 또는 이동시킬 수도 있을 것이다. 따라서, 이러한 경우 영상 복원부(136)는 필요하지 않기 때문에 이러한 영상 복원부(136)는 선택적으로 포함될 수 있다.
다음으로 대칭도 산출부(140)는, 영상 변환부(130)에 의해 생성된 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하여 메모리에 기록한다.
이후, 대칭도 산출부(140)는, 제1 축소 영상으로부터 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상의 얼굴 영역에 대해 대칭도를 다시 산출하고, 제1 축소 영상의 얼굴 영역에 대해 산출된 대칭도보다 제2 축소 영상의 얼굴 영역에 대해 산출된 대칭도가 더 크면 메모리에 기록되어 있는 이전 대칭도를 제2 축소 영상의 얼굴 영역에 대한 대칭도로 갱신한다.
대칭도 산출부(140)는, 이후 영상 변환부(130)에 생성된 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 산출하여 미리 정해진 횟수만큼 상술한 과정을 반복함으로써 최종 갱신되는 대칭도를 얼굴의 좌우 대칭도로 결정한다.
이를 위해 대칭도 산출부(140)는, 포맷 변환부(142) 및 연산부(144)를 포함할 수 있다.
먼저, 포맷 변환부(142)는, 도 7에 도시된 바와 같이 ROI 영상(520)에서 미리결정된 대칭축(700)을 기준으로 얼굴 영역(530)의 좌측 영역(710) 및 우측 영역(720) 내에 존재하는 픽셀들의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환한다.
이와 같이 포맷 변환부(142)가 픽셀들의 RGB값을 HSV값으로 변환하는 이유는 사람의 피부색에 대해서는 RGB값보다는 HSV값을 이용하여 대칭도를 산출하는 것이 더욱 정확할 수 있기 때문이다.
다음으로, 연산부(144)는, 도 7에 도시된 바와 같이, 대칭축(700)을 기준으로 좌측 영역(710) 및 우측 영역(720) 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 대칭도를 산출한다. 이를 각각 수학식으로 표현하면 아래의 수학식 1 내지 4와 같다.
Figure 112010087779148-pat00001
Figure 112010087779148-pat00002
Figure 112010087779148-pat00003
Figure 112010087779148-pat00004
수학식 1 내지 4에서
Figure 112010087779148-pat00005
는 각 픽셀의 H에 대한 차이값들의 합을 나타내고,
Figure 112010087779148-pat00006
는 각 픽셀들의 S에 대한 차이값을 나타내며,
Figure 112010087779148-pat00007
는 각 픽셀의 V에 대한 차이값들의 합을 나타낸다. 또한,
Figure 112010087779148-pat00008
는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타내고,
Figure 112010087779148-pat00009
는 좌측 영역에 포함된 i,j번째 픽셀의 S값을 나타내며,
Figure 112010087779148-pat00010
는 좌측 영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 또한,
Figure 112010087779148-pat00011
는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타내고,
Figure 112010087779148-pat00012
는 우측영역에 포함된 i,j번째 픽셀의 S값을 나타내며,
Figure 112010087779148-pat00013
는 우측영역에 포함된 i,j번째 픽셀의 H값을 나타낸다. 그리고,
Figure 112010087779148-pat00014
은 좌측 영역과 우측 영역간의 대칭도를 나타낸다.
이와 같이, 본 발명은 영상 변환부(130) 및 대칭도 산출부(140)를 통해 얼굴 영역이 포함된 ROI 영상을 회전 또는 이동시켜 가면서 얼굴의 좌우 대칭도를 산출하기 때문에 판별 대상이 되는 ROI 영상이 대칭축을 기준으로 정렬되어 있지 않더라도 정확한 대칭도를 산출할 수 있다.
상술한 바와 같은 얼굴 좌우 대칭도 산출 장치(100)는, 카메라가 장착되어 있는 핸드폰, 스마트폰, 테블릿 PC, 노트북 등과 같은 휴대 단말기 내에 프로그램이나 어플리케이션 형태로 탑재되어 구동될 수 있다.
이하에서는, 도 8 및 도 9를 참조하여 본 발명에 따른 얼굴 좌우 대칭도 산출 방법에 대해 구체적으로 설명한다.
도 8은 본 발명의 일 실시예에 따른 얼굴 좌우 대칭도 산출 방법을 보여주는 플로우차트이다.
먼저, 카메라와 같은 장치로부터 정지 영상을 수신하고(S800), 수신된 정지 영상을 전처리 한다(S810). 정지 영상의 전치리 과정을 도 9를 참조하여 보다 구체적으로 설명한다.
도 9는 본 발명의 일 실시예에 따른 정지 영상의 전처리 과정을 보여주는 플로우차트이다. 도시된 바와 같이, 먼저, 보간 알고리즘(Interpolation)을 이용하여 정지 영상을 해상도를 리사이징한다(S900). 일 실시예에 있어서, 정지 영상을 640*640 크기의 해상도로 리사이징 한다.
다음으로, 리사이징된 정지 영상의 픽셀값들 중 최대값과 최소값을 산출하고(S910), 리사이징된 정지 영상의 각 픽셀의 픽셀값이 특정값 이내의 값이 되도록 최대값과 최소값을 이용하여 비선형 매핑을 수행함으로써 리사이징된 정지 영상의 히스토그램을 균등화한다(S920). 이를 통해 리사이징된 정지 영상의 콘트라스트가 향상된다.
다음으로, 히스토그램 균등화된 정지 영상을 제1 내지 제3 정지 영상으로 복제하고(S930), 그 중 제2 정지 영상을 3*3 라플라시안 콘볼루션 마스크를 이용하여 스무딩(Smoothing) 처리 한다(S940). 여기서, 스무딩은 블러링(Blurring)과 노이즈의 제거를 위해 사용되는 영상 처리기법을 의미한다.
다음으로, 스무딩 처리된 제2 정지 영상과 제3 정지 영상의 차영상을 산출하고(S950), 이후 차영상과 제1 영상을 합산함으로써 윤곽선이 강조된 정지 영상을 생성한다(S960).
이러한 전처리 과정을 통해 콘트라스트가 향상되고 윤곽선이 강조된 정지 영상을 획득할 수 있다.
다시 도 8을 참조하면, 전처리된 정지 영상으로부터 얼굴 영역을 검출한다(S820). 일 실시예에 있어서, 얼굴 영역은 OpenCV와 같은 오픈 소스 컴퓨터 버전 라이브러리를 이용하여 검출할 수 있다. 이때, 검출된 얼굴 영역은 정지 영상 상에서 도 3에 도시된 바와 같은 사각형(300)으로 표현될 수 있다.
다음으로, 정지 영상으로부터 미리 정해진 크기의 마스크를 이용하여 얼굴 영역을 분리하여 얼굴 영역을 포함하는 ROI 영상을 생성한다(S830).
구체적으로, 상술한 도 5에 도시된 바와 같이, 정지 영상에서 사각형(300) 크기의 영상을 분리해 낸 후, 사각형(300) 보다 미리 정해진 크기만큼 작은 사각형(500)에 내접하는 타원형의 마스크(510)를 이용하여, 마스크(510)의 외부 영역에 포함된 픽셀들의 픽셀값을 일정한 값(예컨대, 모두 0)으로 변경시킴으로써 얼굴 영역과 얼굴 영역을 제외한 영역이 구분되어 있는 ROI 영상을 생성할 수 있다.
다음으로, ROI 영상을 축소시켜 제1 축소 영상을 생성한다(S840). 일 실시예에 있어서, 제1 축소 영상은 가우시안 피라미드 해상도 축소 방법을 이용하여 생성될 수 있다.
구체적으로, 먼저 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 저역 통과 필터링된 ROI 영상을 1/n로 서브 샘플링함으로써 제1 축소 영상을 생성할 수 있다.
다음으로, 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출한다(S850). 일 실시예에 있어서, 대칭도는, 상술한 수학식 1 내지 4에 기재된 바와 같이, 대칭축을 기준으로 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출된다.
이를 위해, 각 픽셀들의 RGB값을 HSV값으로 변환하는 과정이 더 포함될 수 있다.
다음으로, 제1 축소 영상이 미리 정해진 값만큼 회전 또는 이동된 제2 축소 영상을 생성한다(S860). 일 실시예에 있어서, 제2 축소 영상은 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시켜 축소시킴으로써 생성될 수 있다. 이때, 회전 또는 이동 대상이 되는 ROI 영상은 S830에서 생성된 ROI 영상일 수 있지만, 제1 축소 영상으로부터 복원된 ROI 영상일 수 있다.
구체적으로, ROI 영상은, 제1 축소 영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 ROI 영상의 고역 통과 필터링 영상을 합성함으로써 복원될 수 있다.
이와 같이, 축소 영상을 회전 또는 이동 시키지 않고 ROI 영상을 회전 또는 이동시킨 후 이를 기초로 다시 축소 영상을 생성하는 것은 축소 영상과 같이 해상도가 낮은 영상을 회전 또는 이동시키게 되면 영상이 손상될 수 있기 때문이다.
이후, 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 재산출한다(S870). 대칭도를 산출하는 방법은 상술한 제1 축소 영상의 얼굴 영역에 대한 대칭도 산출과 동일하므로 상세한 설명은 생략한다.
다음으로, 재산출된 대칭도가 이전에 산출된 대칭도 보다 큰지 여부를 판단하여(S875) 재산출된 대칭도가 더 크면 이전에 산출된 대칭도를 재산출된 대칭도로 갱신한다(S880).
다음으로, 미리 정해진 반복 회수가 되었는지 여부를 판단하여(S890), 미리 정해진 반복 횟수가 되었으면 최종 갱신된 대칭도를 얼굴 좌우 대칭도로 결정하고(S895), 미리 정해진 반복 횟수가 되지 않았으면 미리 정해진 값을 변경시킨 후(S897), 상기 S860 내지 S890과정을 되풀이한다.
한편, S875에서 재산출된 대칭도가 이전에 산출된 대칭도보다 크지 않은 경우 S890으로 분기하여 이후의 과정을 수행한다.
상술한 얼굴 좌우 대칭도 산출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 얼굴의 좌우 대칭도 산출 장치 110: 영상 전처리부
112: 영상 리사이징부 114: 히스토그램 균등화부
116: 언샤프 마스킹 처리부 120: ROI 영상 생성부
122: 얼굴 영역 검출부 124: 얼굴 영역 분리부
130: 영상 변환부 132: 영상 이동부
134: 영상 축소부 136: 영상 복원부
140: 대칭도 산출부 142: 포맷 변환부
144: 연산부

Claims (16)

  1. 얼굴 영역이 포함된 ROI(Region of Interest) 영상을 축소시켜 제1 축소 영상을 생성하는 단계;
    상기 제1 축소 영상의 얼굴 영역에 대해 미리 설정된 대칭축을 기준으로 좌측 영역과 우측 영역간의 대칭도를 산출하는 단계;
    상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 단계;
    상기 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하는 단계; 및
    상기 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하여 얼굴의 좌우 대칭도를 결정하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  2. 제1항에 있어서,
    상기 제2 축소 영상을 생성하는 단계, 상기 재산출하는 단계와 상기 결정하는 단계를 소정 횟수 반복하여 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 제2 축소 영상을 생성하는 단계는,
    상기 제1 축소 영상으로부터 상기 ROI 영상을 복원하는 단계; 및
    상기 복원된 ROI 영상을 상기 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 상기 제2 축소 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  5. 제4항에 있어서,
    상기 제1 축소 영상을 상기 ROI 영상으로 복원하는 단계에서, 상기 제1 축소영상 생성 과정에서 가우시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 저역 통과 필터링 영상과 라플라시안 콘볼루션 마스크를 통해 생성되는 상기 ROI 영상의 고역 통과 필터링 영상을 합성하여 상기 ROI 영상을 복원하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  6. 제1항에 있어서,
    제1 축소 영상을 생성하는 단계에서, 상기 ROI 영상을 가우시안 콘볼루션 마스크를 이용하여 저역 통과 필터링하고, 상기 저역 통과 필터링된 ROI 영상을 서브 샘플링함으로써 상기 제1 축소 영상을 생성하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  7. 제1항에 있어서,
    상기 대칭도는, 상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값들을 산술 평균함으로써 산출되는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  8. 제1항에 있어서,
    정지 영상의 리사이징(Resizing), 히스토그램 균등화, 및 언샤프 마스킹을 통해 상기 정지 영상을 전처리 하는 단계; 및
    상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하고, 상기 얼굴 영역을 포함하는 상기 ROI 영상을 생성하는 단계를 포함하고,
    상기 ROI 영상을 생성하는 단계에서, 미리 정해진 형상의 마스크를 이용하여 상기 ROI 영상에서 상기 얼굴 영역과 상기 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 방법.
  9. 삭제
  10. 제1항 내지 제2항 및 제4항 내지 제8항 중 어느 하나의 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 정지 영상을 전처리하는 영상 전처리부;
    상기 전처리된 정지 영상으로부터 얼굴 영역을 포함하는 ROI 영상을 생성하는 ROI 영상 생성부;
    가우시안 피라미드 해상도 축소법을 이용하여 상기 ROI 영상을 축소시킴으로써 제1 축소 영상을 생성하고, 상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동시켜 축소시킴으로써 제2 축소 영상을 생성하는 영상 변환부; 및
    상기 제1 축소 영상의 얼굴 영역에 대해 미리 정해진 대칭축을 기준으로 좌측 영역과 우측 영역 간의 대칭도를 산출하고, 이후 제2 축소 영상의 얼굴 영역에 대해 상기 대칭축을 기준으로 상기 대칭도를 재산출하여 재산출된 대칭도가 이전에 산출된 대칭도 보다 크면 상기 이전에 산출된 대칭도를 상기 재산출된 대칭도로 갱신하는 대칭도 산출부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
  12. 제11항에 있어서,
    상기 영상 변환부는, 상기 미리 정해진 값을 변경시켜 가면서 서로 다른 제2축소 영상을 순차적으로 생성하고,
    상기 대칭도 산출부는, 상기 서로 다른 제2 축소 영상 각각에 대해 순차적으로 대칭도를 재산출하여 이전에 산출된 대칭도보다 더 큰 대칭도로 갱신함으로써 최종 갱신되는 대칭도를 상기 얼굴의 좌우 대칭도로 결정하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
  13. 제11항에 있어서, 상기 영상 변환부는,
    상기 ROI 영상을 미리 정해진 값만큼 회전 또는 이동 시키는 영상 이동부;
    상기 ROI 영상 또는 상기 미리 정해진 값만큼 회전 또는 이동된 ROI 영상이 가우시안 콘볼루션 마스크를 통해 저역 통과 필터링된 영상을 서브 샘플링하여 상기 제1 또는 제2 축소 영상을 생성하는 영상 축소부; 및
    라플라시안 콘볼루션 마스크를 통해 상기 ROI 영상이 고역 통과 필터링된 영상과 상기 저역 통과 필터링된 영상을 합성하여 상기 ROI 영상을 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
  14. 제11항에 있어서, 상기 대칭도 산출부는,
    상기 좌측 영역 및 우측 영역 내에 존재하는 픽셀들의 RGB 값을 HSV로 변환하는 포맷 변환부; 및
    상기 대칭축을 기준으로 상기 좌측 영역 및 우측 영역 내에서 서로 대응되는 위치에 존재하는 픽셀간의 H에 대한 차이값들의 합, S에 대한 차이값들의 합, 및 V에 대한 차이값을 산술 평균함으로써 상기 대칭도를 산출하는 연산부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
  15. 제11항에 있어서,
    상기 영상 전처리부는, 상기 정지 영상의 해상도를 조절하는 영상 리사이징부;
    상기 리사이징된 정지 영상의 히스토그램을 균등화하여 상기 리사이징된 정지영상의 콘트라스트를 향상시키는 히스토그램 균등화부; 및
    상기 히스토그램 균등화된 정지 영상을 언샤프 마스킹(Unsharp Masking) 처리하여 윤곽선을 강조하는 언샤프 마스킹 처리부를 포함하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
  16. 제11항에 있어서, 상기 ROI 영상 생성부는,
    상기 전처리된 영상으로부터 상기 얼굴 영역을 검출하는 얼굴 영역 검출부; 및
    미리 정해진 형상의 마스크를 이용하여 상기 정지 영상으로부터 상기 얼굴 영역을 분리하여 상기 얼굴 영역을 포함하는 ROI 영상을 생성하는 얼굴 영역 분리부를 포함하며,
    상기 얼굴 영역 분리부는, 상기 마스크 외부의 영역에 포함된 픽셀들의 픽셀값을 미리 정해진 값으로 변경시킴으로써 상기 얼굴 영역과 얼굴 영역을 제외한 영역을 구분하는 것을 특징으로 하는 얼굴의 좌우 대칭도 산출 장치.
KR1020100139367A 2010-12-30 2010-12-30 얼굴의 좌우 대칭도 산출 방법 및 장치 KR101223857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100139367A KR101223857B1 (ko) 2010-12-30 2010-12-30 얼굴의 좌우 대칭도 산출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100139367A KR101223857B1 (ko) 2010-12-30 2010-12-30 얼굴의 좌우 대칭도 산출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120077422A KR20120077422A (ko) 2012-07-10
KR101223857B1 true KR101223857B1 (ko) 2013-01-17

Family

ID=46710911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100139367A KR101223857B1 (ko) 2010-12-30 2010-12-30 얼굴의 좌우 대칭도 산출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101223857B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023492B1 (ko) * 2018-05-30 2019-09-20 비앤피이노베이션 주식회사 스마트 헬멧 및 이를 이용한 프라이버시 보호를 위한 영상 처리 및 전송 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283156B (zh) * 2021-12-02 2024-03-05 珠海移科智能科技有限公司 一种用于去除文档图像颜色及手写笔迹的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062043A (ko) * 2002-01-16 2003-07-23 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023492B1 (ko) * 2018-05-30 2019-09-20 비앤피이노베이션 주식회사 스마트 헬멧 및 이를 이용한 프라이버시 보호를 위한 영상 처리 및 전송 방법

Also Published As

Publication number Publication date
KR20120077422A (ko) 2012-07-10

Similar Documents

Publication Publication Date Title
JP6416208B2 (ja) 近赤外ガイドイメージノイズ除去
KR102175164B1 (ko) 이미지의 화질 개선을 위한 장치 및 방법
US9495582B2 (en) Digital makeup
WO2016101883A1 (zh) 一种即时视频中的人脸美化方法和电子设备
KR20150117646A (ko) 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
AU2013206597A1 (en) Depth constrained superpixel-based depth map refinement
JP2008181520A (ja) 復元された顔画像をビデオから再構成するシステムおよび方法
JP4480958B2 (ja) デジタル画像作成方法
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
Luo et al. Time-travel rephotography
US11238302B2 (en) Method and an apparatus for performing object illumination manipulation on an image
KR101223857B1 (ko) 얼굴의 좌우 대칭도 산출 방법 및 장치
CN108346128B (zh) 一种美颜磨皮的方法和装置
JP6068896B2 (ja) 画像処理装置およびプログラム
US11798227B2 (en) Image processing apparatus and image processing method
US20230020964A1 (en) Content based image processing
JP6068895B2 (ja) 画像処理装置およびプログラム
WO2022258013A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
JP6150419B2 (ja) カメラおよびプログラム
Vijayalakshmi et al. Modified exemplar based image inpainting algorithm
Tan et al. Perceptually relevant energy function for seam carving
JP7421273B2 (ja) 画像処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160112

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee