KR20020031630A - 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법 - Google Patents

칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법 Download PDF

Info

Publication number
KR20020031630A
KR20020031630A KR1020000061876A KR20000061876A KR20020031630A KR 20020031630 A KR20020031630 A KR 20020031630A KR 1020000061876 A KR1020000061876 A KR 1020000061876A KR 20000061876 A KR20000061876 A KR 20000061876A KR 20020031630 A KR20020031630 A KR 20020031630A
Authority
KR
South Korea
Prior art keywords
color
distortion information
range
setting
extracting
Prior art date
Application number
KR1020000061876A
Other languages
English (en)
Inventor
이진수
김현준
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1020000061876A priority Critical patent/KR20020031630A/ko
Priority to US09/982,258 priority patent/US7133552B2/en
Publication of KR20020031630A publication Critical patent/KR20020031630A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 동영상 또는 정지영상에서 얼굴영역을 추출하기 위한 것으로, 특히 칼라 왜곡 정보를 이용하여 살색범위를 설정하므로써, 효과적으로 얼굴영역을 추출하기 위한 방법에 관한 것이다.
동일한 동영상 프로그램이나 한 이미지 내에 등장하는 얼굴의 살색의 칼라 영역 범위는 광범위하지 않기 때문에 적당한 범위를 설정할 수만 있다면 정확한 살색 영역만을 추출할 수 있는데, 이는 같은 이미지나 동영상 안에서의 영상은 같은 매체와 같은 환경에서 촬영되기 때문에 살색 영역이 비교적 일정하게 나타나기 때문이다. 그렇지만 임의의 정지영상이나 동영상이 주어졌을 때 전체 살색 영역중 주어진 영상에 맞는 적절한 살색의 범위를 자동으로 설정하지 못하기 때문에 이와 같은 특성을 활용하지 못하고 있다.
본 발명은 정지영상이나 동영상이 주어졌을 때, 자동으로 주어진 영상에 대한 칼라 왜곡정보를 추출하여 이의 정보로부터 주어진 영상에 적절한 살색 영역의 범위를 가변적으로, 자동 설정하므로써 보다 정확한 얼굴 영역을 추출할 수 있도록 하는 것이다.

Description

칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법{Method for extraction of face using distortion data of color}
본 발명은 동영상 또는 정지영상에서 얼굴영역을 추출하기 위한 것으로, 특히 칼라 왜곡 정보를 이용하여 살색범위를 설정하므로써, 효과적으로 얼굴영역을 추출하기 위한 칼라왜곡정보를 이용한 효과적인 얼굴 영역 추출 방법에 관한 것이다.
멀티미디어 검색과 같은 기능을 제공하기 위한 비디오 인덱싱 등 디지털 동영상 또는 정지영상을 이용하는 다양한 적용기술에서 사람의 얼굴영역을 추출하여 이를 다양하게 적용하고 있다.
이와 같은 얼굴 영역을 추출하기 위한 방법에 대한 관련기술로서, 다음과 같은 것들이 있다.
[관련기술]
1. " Automatic ExTRACTION of Face from Clolr Reversal Film Using StatisticalMultistep Filtering Technique " ACCV'95 Second Asian Cong. On Computer Vision. December 5-8
2. Facelt(Visionics Corporation)
상기 1항의 기술은 정지영상에서 사람의 얼굴 영역을 찾는 방법에 관한 것으로서, 그 과정을 보면, 먼저 RGB 색공간을 HSV 색공간으로 변환한 후 미리 정의된 살색 영역에 해당하는 픽셀들만을 추출한다.
다음 추출된 살색영역을 edge detection, hole filling, gap filling operation 등 후처리를 수행한 후 영역을 세그멘테이션 한다.
세그멘테이션된 영역은 미리 평가용으로 준비된 패턴을 이용하여 사람 얼굴영역임을 확인한다.
그리고, 상기 2항의 종래기술은 카메라 화면에서 사람이 움직이면 자동적으로 사람 얼굴 영역을 추출하고 이미 등록된 사람이면 그가 누구인지 확인하는 기능을 갖는 툴킷이다.
얼굴 추출 알고리즘은 동영상을 이용한 물체의 움직임과 신경망을 이용한 방법을 사용하고 있다.
이와 같은 2항의 종래기술에서는 칼라를 사용하지 않으므로 살색 정보를 사용하지 않는다.
그렇지만 1항의 종래기술과 같이 대부분의 얼굴 영역 추출 알고리즘에서는 살색 정보를 사용하는데 실제 응용에서는 영상의 매체나 환경, 조명에 따라 살색의 범위가 매우 광범위하다.
따라서, 특정 실험환경에서는 살색 영역의 범위를 정하여 응용할 수 있으나, 다양한 동영상 매체 등에 적용하려면 매우 광범위한 살색 영역을 설정해야 하므로 경우에 따라서는 얼굴 영역이 아닌 곳에서도 살색 영역으로 추출될 경우가 많다.
하지만, 동일한 동영상 프로그램이나 한 이미지 내에 등장하는 얼굴의 살색의 칼라 영역 범위는 광범위하지 않기 때문에 적당한 범위를 설정할 수만 있다면 정확한 살색 영역만을 추출할 수 있는데, 이는 같은 이미지나 동영상 안에서의 영상은 같은 매체와 같은 환경에서 촬영되기 때문에 살색 영역이 비교적 일정하게 나타나기 때문이다.
그렇지만 임의의 정지영상이나 동영상이 주어졌을 때 전체 살색 영역중 주어진 영상에 맞는 적절한 살색의 범위를 자동으로 설정하지 못하기 때문에 이와 같은 특성을 활용하지 못하고 있다.
본 발명에서는 이와 같이 주어진 영상에 맞는 적절한 살색의 범위를 설정하지 못하게 됨에 따른 문제점을 해결하기 위하여, 정지영상이나 동영상이 주어졌을 때, 자동으로 주어진 영상에 대한 칼라 왜곡정보를 추출하여 이의 정보로부터 주어진 영상에 적절한 살색 영역의 범위를 가변적으로, 자동 설정하므로써 보다 정확한 얼굴 영역을 추출할 수 있도록 한 것이다.
도 1은 본 발명 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법의 실행과정을 나타낸 플로우챠트.
도 2는 본 발명에 있어서, 색도 정보로 추출되는 칼라 왜곡 정보를 추출하는 과정을 나타낸 플로우챠트.
도 3은 본 발명에 있어서, 도 2에서와 같은 과정을 통해 추출되는 칼라 왜곡 정보를 이용한 살색 영역 추출 과정을 나타낸 플로우챠트.
도 4는 본 발명에 있어서, 특정 색공간에서의 전체 살색 범위와 부분 살색 범위를 나타낸 도면.
도 5는 본 발명에 있어서, 도 2에서와 같은 과정을 통해 추출되는 칼라 왜곡 정보를 이용한 살색 영역 추출 과정의 다른 실시예를 나타낸 플로우챠트.
도 6은 본 발명 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법의 다른 실시예 실행과정을 나타낸 플로우챠트.
본 발명 칼라 왜곡 정보를 이용한 효과적인 얼굴 영역 추출 방법은,
정지 영상 또는 동영상에서 얼굴영역을 추출함에 있어서,
주어진 영상에서의 칼라 왜곡 정보를 추출하는 과정과,
추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정과,
설정된 살색 범위를 사용하여 살색 영역을 추출하여 얼굴영역을 추출하는 과정의 실행과정을 갖는 것을 특징으로 한다.
그리고, 상기 칼라 왜곡 정보는 색도(Hue) 정보인 것을 특징으로 한다.
상기 칼라 왜곡 정보를 추출하는 과정은,
이미지를 N*M 개의 부분 영역으로 분할하는 단계와, 분할된 모든 영역에 대해 각 영역별로 순도(chroma)가 일정 임계치 이상인 픽셀들의 평균 색도값과 평균색도값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와, 분산이 일정 임계치이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하는 단계와, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를 이루어짐을 특징으로 한다.
그리고, 상기 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정은,
미리 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 주어진 임의의 영상 안에서 적용될 부분 살색 범위를 미리 설정되어 있는 전체 살색 영역 범위안에서 설정하는 단계와, 추출된 칼라 왜곡 정보의 색도와 부분 살색 범위의 대표 색도를 비교하는 단계와, 비교 결과 가장 가까운 부분 살색 범위를 주어진 영상의 살색 범위로 설정하는 것을 특징으로 한다.
그리고, 상기 살색 범위의 대표 색도는 살색 범위에 속하는 색공간에서의 픽셀들의 평균 색도임을 특징으로 한다.
또한, 상기 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정의 다른 실행수순은, 미리 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 칼라 왜곡 정보의 색도에 따라 전체 살색 범위내에서의 부분 살색 범위를 설정하는 단계와, 추출된 칼라 왜곡 정보의 색도에 해당하는 부분 살색 범위를 주어진 영상의 살색 범위로 설정단계로 이루어짐을 특징으로 한다.
그리고, 상기 과정을 통해 추출되는 칼라 왜곡 정보는 밝기(Luminance) 인 것을 특징으로 하며, 이와 같은 칼라 왜곡 정보를 밝기 정보로 이용하는 경우, 칼라 왜곡정보의 추출 방법은 일정 임계치 이하의 순도를 갖는 픽셀들의 평균 밝기로 지정하는 것을 특징으로 한다.
그리고, 밝기정보로 추출되는 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정은,
사전에 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 칼라 왜곡 정보의 밝기 정보에 따라 전체 살색 범위내에서의 부분 살색 범위를 설정하는 단계와, 추출된 칼라 왜곡 정보의 밝기에 해당하는 부분 살색 범위를 주어진 영상의 살색 범위로 설정하는 것을 특징으로 한다.
본 발명은 정지영상이나 동영상이 주어졌을 때, 자동으로 주어진 영상을 분석하므로써, 주어진 영상에 적절한 살색 영역의 범위를 가변적으로 자동 설정하므로써, 보다 정확한 얼굴 영역을 추출할 수 있도록 하는 것이다.
이때, 주어진 영상의 분석은 칼라 왜곡 정보를 구하여 사용하는데, 칼라 왜곡 정보란 조명이나, 영상 취득수단에 의해 영상 전체 칼라에 영향을 주는 왜곡 요소를 의미하는 것으로서, 예를 들어 붉은 계통의 조명이나 카메라 필터에 의해 왜곡된 영상의 경우 영상 전체의 칼라가 원래의 칼라보다 색도가 붉은 쪽으로 이동되어 나타나는 특성이 있다.
본 발명에서는 이러한 칼라 왜곡 정보를 추출한 후, 이를 이용하여 전체 영상에서 가능한 살색 영역 중에서 주어진 영상에 적합한 부분적인 살색 영역범위를 설정한다.
이때, 설정된 부분적인 살색 영역 범위는 주어진 영상에서 살색 영역만을 추출할 수 있는 최적화된 살색 범위라고 볼 수 있으므로 보다 정확하게 얼굴 영역을 추출할 수 있다.
이와 같은 본 발명은 도 1에서와 같은 과정을 거쳐 얼굴 영역을 추출하게 된다.
먼저, 얼굴 영역을 추출하고자 하는 이미지나 동영상이 입력되면 주어진 영상에서 칼라 왜곡 정보를 추출한다.
칼라 왜곡 정보가 추출되면, 이를 이용하여 주어진 영상에서의 살색 영역 범위를 설정하고, 설정된 범위를 사용하여 살색영역을 추출한다.
이후, 살색 영역을 이용한 다양한 얼굴 영역 추출 방법을 사용하여 최종적인 얼굴 영역을 추출할 수 있는 바, 본 발명에서는 이러한 다양한 방법에 대해 본 발명의 범위를 제한하지 않고 다양하게 실시한다.
이와 같이 전체적인 영역 추출과정에 대하여 설명한 바, 앞서 기술한 영역 추출과정에 대하여 상세하게 설명하면 다음과 같다.
[ 칼라 왜곡 정보의 추출 ]
칼라 왜곡은 다음과 같은 이유로 발생할 수 있다.
(a). 조명에 의한 왜곡 : 특정 밝기와 칼라를 갖는 조명에 의한 칼라 왜곡으로서 이미지의 부분 영역만이 왜곡될 수도 있고 전체가 왜곡될 수도 있다.
(b). 디바이스 특성에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단의 특성상 포함되는 왜곡 정보로서 이미지 전체가 왜곡된다.
예를 들어 같은 장면이라도 촬영에 사용된 디지털 카메라에 따라 전체가 푸른 톤이거나 붉은 톤으로 다른 칼라가 나타날 수 있다.
(c). 인코더 특성에 의한 왜곡 : 같은 영상 취득 수단이거나, 왜곡이 없는 영상 취득 수단을 사용하더라도, 취득된 영상을 파일로 저장하기 위한 인코더의 알고리즘 특성상 칼라가 왜곡될 수 있다. 이 경우 대부분의 왜곡 특성은 디바이스 특성에 의한 왜곡의 그것과 같다.
(d). 칼라 필터에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단에서 영상 취득시, 칼라 필터를 사용하므로서, 칼라가 왜곡될 수 있다. 칼라 필터는 카메라 자체의 기능이거나 사용자가 원할 때 첨가될 수 있는 기능일 수 있다.
상기에서 기술한 (a) 내지 (d)에서와 같은 이유로 칼라의 왜곡이 발생할 수 있게 되는데, 이중 조명에 의한 부분 왜곡은 보상하기 어려운 문제로 여겨지고 있다.
하지만 이 경우 전체 영역이 왜곡 되는 것이 아니므로 왜곡에 의한 검색 성능 저하 정도도 다른 것에 비해 크지 않을 수 있다.
다른 원인에 의해 이미지 전체가 왜곡 되었을 때에는 왜곡 패턴이 이미지 전체에 비슷하게 나타나므로 이러한 특성을 이용해 왜곡 정보를 추출할 수 있다.
즉, 어떠한 칼라에 의해 어느정도 왜곡되었는지에 대한 정보를 취득할 수 있게 되는 것이다.
이와 같은 칼라 왜곡 정보는 도 2에서와 같은 과정을 통해 칼라 왜곡정보를 추출할 수 있다.
그 과정을 살펴보면,
이미지를 N*M 개의 부분영역으로 분할하고, 분할된 모든 영역에 대해 각 영역별로 순도가 일정 임계치(Th1) 이하인 평균 색도값과 평균 색도값에 참여한 픽셀의 색도값에 대한 분산(Var)을 구한다.
이와 같이 구한 분산(Var)이 일정 임계치(Th2) 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구한다.
상기 색도값 재평균에 참여한 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율(num/(N*M))을 칼라 왜곡의 강도(왜곡정도: intensity)로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도값으로 지정한다.
이와 같은 방법을 통해 칼라 왜곡 정보의 색도값을 구할 수 있으며, 이때, 이와 같은 방법을 이용하게 되면, 강도까지 추출할 수 있다.
이와 같이 추출되는 칼라 왜곡 정보를 이용한 살색 영역 추출은 도 3에 도시된 바와 같은 과정을 통해 이루어질 수 있다.
먼저 사전에 특정 색공간에서의 전체 살색 범위를 설정하고, 주어진 임의의 영상안에서 적용될 부분 살색 범위를 도 4에서와 같이, 전체 살색 영역 범위안에서 설정한다.
이때, 전체 살색 범위 및 부분 살색 범위는 실험에 의해 결정하여 설정하게 된다.
주어진 영상에서 추출된 칼라 왜곡정보에 포함된 색도값과 상기에서 분할된부분 살색 범위의 대표 색도 값과 비교하여 가장 거리가 가까운 부분 살색 범위를 주어진 영상의 살색 범위로 설정한다.
이때, 부분 살색 범위의 대표 색도값은 부분 살색 범위에 속한 칼라들의 평균 색도를 사용할 수 있다.
한편, 도 5은 이와 같은 칼라 왜곡정보를 이용한 살색 영역 추출의 또 다른 방법을 나타낸 플로우챠트로서, 살색 영역 추출의 다른 방법을 제시한다.
먼저, 사전에 특정 색공간에서의 전체 살색 범위를 설정한다.
전체 살색 범위내에서 칼라 왜곡 정보의 색도에 따라 부분 살색 범위를 사전에 정한다.
이때, 정하는 방법은 칼라 왜곡정보의 색도가 특정 범위내에 있을 때 해당하는 부분 살색의 영역 범위를 지정하므로써, 수행될 수 있다.
상기에서와 같이 칼라 왜곡 정보가 추출되면 추출된 칼라 왜곡 정보의 색도 정보를 사용하여 해당하는 부분 살색 영역을 설정한다.
[칼라 왜곡정보 추출의 다른 실시예]
또한, 칼라 왜곡 정보를 밝기 정보로 추출하여, 살색 영역을 설정하여 얼굴 영역을 추출 할 수 있다.
칼라 왜곡 정보가 밝기 정보일 경우 칼라 왜곡 정보의 추출 방법은 일정 임계치 이하의 순도를 갖는 픽셀들의 평균 밝기로서, 칼라 왜곡 정보를 추출하게 되며, 이와 같은 칼라 왜곡 정보로 다음과 같이, 색공간에서의 살색 범위를 설정할 수 있다.
사전에 특정색공간에서 전체 살색 범위를 설정하게 된다.
그리고, 상기에서와 같이 추출된 칼라 왜곡 정보의 밝기 정보에 따라 전체 살색 범위내에서의 부분 살색 범위를 설정한다.
이후, 추출된 칼라 왜곡 정보의 밝기에 해당하는 부분 살색 범위를 주어진 영상의 살색 범위로 설정하게 된다.
이와 같이 칼라 왜곡 정보로부터 설정되는 살색 영역에 대하여 최종적인 얼굴 영역을 추출하게 되는 바, 그 방법에 있어 앞서 설명한 바와 같이, 제한적이지 않다.
[본 발명의 다른 실시예]
한편, 본 발명의 다른 실시예로서,
소정의 설정된 시간에 따라 입력되는 두 개의 프레임이 입력되면, 두 개의 프레임중 어느 하나에 대하여 칼라 왜곡정보를 추출하는 과정과,
상기 과정에서 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정과,
상기 과정에서 설정된 살색 범위를 사용하여 살색 영역을 추출하는 과정과,
입력된 두 프레임간의 차영상을 추출하는 과정과,
추출된 차영상과 살색 영역을 앤드(AND)연산하여 살색이면서 모션(motion)이 일어난 영역을 구하는 과정과, 구해진 영역들중 얼굴비와 비슷한 영역을 얼굴영역의 후보로 지정하는 과정과,
템플리트로 얼굴영역 후보를 확인하는 과정을 포함하여 이루어짐을 특징으로한다.
이와 같은 과정을 특징으로 하는 본 발명의 다른 실시예는, 칼라 왜곡정보에 모션 정보를 더 포함하여 얼굴영역을 추출할 수 있도록 하여 더욱 정확한 얼굴 영역의 검출이 이루어질 수 있도록 함에 그 특징이 있는 것으로 도 6는 이의 과정을 나타낸 것이다.
먼저 입력으로서, 설정된 t 타임(time)에서의 프레임과 t+a 타임에서의 프레임이 입력되면, t+a 타임에서의 입력된 프레임에 대하여 칼라 왜곡 정보를 추출한 후 이를 이용하여 살색 범위를 지정, 살색 영역을 추출(S_frame)한다.
이어 t 타임에서의 프레임과 t+a 타임에서의 입력 프레임의 차영상(D_frame)을 구하여 모션이 일어난 영역을 구한다.
이후, 이를 앞서 구한 살색 영역과 앤드 연산(S_frame AND D_frame)을 실행하여 살색 영역이면서 모션이 일어난 영역을 구한다.
즉, 살색이면서 모션차가 있는 픽셀만 1로 셋팅되고, 다른 픽셀은 0으로 세팅된 영상이 구해진다.
1로 셋팅된 픽셀들이 모여있는 덩어리를 하나의 영역으로 보았을 때, 구해진 영역들 중 얼굴비와 비슷한 영역을 얼굴 영역의 후보로 지정하며 마지막으로 미리 설정된 얼굴 템플리트로 얼굴 영역 후보를 확인하므로써, 얼굴 영역 추출을 마친다.
이와 같은 본 발명의 실시예에 있어서는 살색 영역을 t+a 타임에서의 입력 프레임에서 추출하였지만, t 타임에서 입력된 프레임에서 추출하여도 무방하다.
여기서, 입력 프레임을 선택하는 기준 시간 t, t+a 타임은 1초에 30프레임의 영상이 입력됨을 감안하여 15프레임마다 또는 30프레임 적절하게 적용가능하다.
이상에서 설명한 바와 같이, 정지 영상 또는 동영상에서의 얼굴 영역을 추출함에 있어서, 다양한 영상 매체마다 다양하게 나타나는 살색의 범위를 칼라 왜곡 정보를 이용하여 분석하므로써, 주어진 영상에 대한 적합한 제한된 살색 범위를 설정하여 보다 정확하게 얼굴 영역을 추출할 수 있는 효과가 있다.
또한, 동영상에 있어서, 칼라 왜곡정보에 모션 정보를 더 이용하여, 더욱 정확한 얼굴 영역의 추출이 가능하도록 한다.
이와 같은 얼굴 영역의 추출은 비디오 인덱싱 등, 디지털 동영상에 주로 사용되는 다양한 분야에 핵심 기술로 사용될 수 있으므로 그 파급 효과가 크다고 하겠다.

Claims (10)

  1. 정지 영상 또는 동영상에서 얼굴영역을 추출함에 있어서,
    주어진 영상에서의 칼라 왜곡 정보를 추출하는 과정과,
    추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정과,
    설정된 살색 범위를 사용하여 살색 영역을 추출하여 얼굴영역을 추출하는 과정의 실행과정을 갖는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  2. 소정의 설정된 시간에 따라 입력되는 두 개의 프레임이 입력되면, 두 개의 프레임중 어느 하나에 대하여 칼라 왜곡정보를 추출하는 과정과,
    상기 과정에서 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정과,
    상기 과정에서 설정된 살색 범위를 사용하여 살색 영역을 추출하는 과정과,
    입력된 두 프레임간의 차영상을 추출하는 과정과,
    추출된 차영상과 살색 영역을 앤드(AND)연산하여 살색이면서 모션이 일어난 영역을 구하는 과정과, 구해진 영역들중 얼굴비와 비슷한 영역을 얼굴영역의 후보로 지정하는 과정과,
    템플리트로 얼굴영역 후보를 확인하는 과정을 포함하여 이루어짐을 특징으로하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  3. 제 1항 또는 제 2항에 있어서, 상기 칼라 왜곡 정보는 색도(Hue) 정보인 것을 특징으로 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  4. 제 3항에 있어서, 상기 칼라 왜곡 정보를 추출하는 과정은,
    이미지를 N*M 개의 부분 영역으로 분할하는 단계와, 분할된 모든 영역에 대해 각 영역별로 순도가 일정 임계치 이상인 픽셀들의 평균 색도값과 평균 색도값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와, 분산이 일정 임계치이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하는 단계와, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  5. 제 3항에 있어서, 그리고, 상기 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정은,
    미리 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 주어진 임의의 영상 안에서 적용될 부분 살색 범위를 미리 설정되어 있는 전체 살색 영역 범위안에서 설정하는 단계와, 추출된 칼라 왜곡 정보의 색도와 부분 살색 범위의 대표 색도를 비교하는 단계와, 비교 결과 가장 가까운 부분 살색 범위를 주어진 영상의 살색범위로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  6. 제 5항에 있어서, 상기 살색 범위의 대표 색도는 살색 범위에 속하는 색공간에서의 픽셀들의 평균 색도임을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  7. 제 3항에 있어서, 상기 추출된 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정은, 미리 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 칼라 왜곡 정보의 색도에 따라 전체 살색 범위내에서의 부분 살색 범위를 설정하는 단계와, 추출된 칼라 왜곡 정보의 색도에 해당하는 부분 살색 범위를 주어진 영상의 살색 범위로 설정단계로 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  8. 제 1항 또는 제 2항에 있어서, 상기 과정을 통해 추출되는 칼라 왜곡 정보는 밝기(Luminance) 인 것을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
  9. 제 8항에 있어서, 칼라 왜곡정보의 추출 방법은 일정 임계치 이하의 순도를 갖는 픽셀들의 평균 밝기로 지정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한얼굴 영역 추출 방법.
  10. 제 8항에 있어서, 밝기정보로 추출되는 칼라 왜곡 정보를 사용하여 색공간에서의 살색 범위를 설정하는 과정은,
    사전에 특정 색공간에서 전체 살색 범위를 설정하는 단계와, 칼라 왜곡 정보의 밝기 정보에 따라 전체 살색 범위내에서의 부분 살색 범위를 설정하는 단계와, 추출된 칼라 왜곡 정보의 밝기에 해당하는 부분 살색 범위를 주어진 영상의 살색 범위로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법.
KR1020000061876A 2000-10-20 2000-10-20 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법 KR20020031630A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020000061876A KR20020031630A (ko) 2000-10-20 2000-10-20 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법
US09/982,258 US7133552B2 (en) 2000-10-20 2001-10-19 Method of extracting face using color distortion information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000061876A KR20020031630A (ko) 2000-10-20 2000-10-20 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법

Publications (1)

Publication Number Publication Date
KR20020031630A true KR20020031630A (ko) 2002-05-03

Family

ID=19694535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000061876A KR20020031630A (ko) 2000-10-20 2000-10-20 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법

Country Status (2)

Country Link
US (1) US7133552B2 (ko)
KR (1) KR20020031630A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100488014B1 (ko) * 2002-05-28 2005-05-06 엘지전자 주식회사 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
KR20150068631A (ko) * 2013-12-12 2015-06-22 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998009253A1 (fr) * 1996-08-29 1998-03-05 Sanyo Electric Co., Ltd. Procede permettant de fournir des informations sur une texture, procede d'extraction d'objet, procede de production de modeles tridimensionnels et appareillage associe a ceux-ci
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
AU2003298731A1 (en) 2002-11-26 2004-06-18 Digimarc Id Systems Systems and methods for managing and detecting fraud in image databases used with identification documents
CA2522551C (en) 2003-04-16 2009-12-22 Digimarc Corporation Three dimensional data storage
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
JP4742542B2 (ja) * 2004-09-02 2011-08-10 株式会社ニコン 撮像装置
KR100862341B1 (ko) * 2006-11-13 2008-10-13 삼성전기주식회사 사람의 피부 영역 검출장치 및 그 방법
US20100254597A1 (en) * 2009-04-07 2010-10-07 Jonathan Yen System and method for facial tone indexing
CN103218833B (zh) * 2013-04-15 2016-08-03 浙江大学 边缘加强型的彩色空间最稳极值区域检测方法
DE102017202702A1 (de) 2017-02-20 2018-08-23 Henkel Ag & Co. Kgaa Verfahren und Einrichtung zum Ermitteln einer Homogenität von Hautfarbe

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296945A (en) * 1991-03-13 1994-03-22 Olympus Optical Co., Ltd. Video ID photo printing apparatus and complexion converting apparatus
JP3799633B2 (ja) * 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
KR100240070B1 (en) * 1997-07-10 2000-01-15 Samsung Electronics Co Ltd Apparatus and method for color calibration in image system
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6445819B1 (en) * 1998-09-10 2002-09-03 Fuji Photo Film Co., Ltd. Image processing method, image processing device, and recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100488014B1 (ko) * 2002-05-28 2005-05-06 엘지전자 주식회사 ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
KR20150068631A (ko) * 2013-12-12 2015-06-22 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Also Published As

Publication number Publication date
US7133552B2 (en) 2006-11-07
US20020048399A1 (en) 2002-04-25

Similar Documents

Publication Publication Date Title
JP4251719B2 (ja) 複数人物が存在する場合の人間の顔のロバスト追跡システム
EP2380111B1 (en) Method for speeding up face detection
US8170350B2 (en) Foreground/background segmentation in digital images
US8175385B2 (en) Foreground/background segmentation in digital images with differential exposure calculations
US6542625B1 (en) Method of detecting a specific object in an image signal
JP3769487B2 (ja) 画像肌色検出における金髪画素除去方法
US6289110B1 (en) Object extracting method using motion picture
Martinkauppi et al. Detection of skin color under changing illumination: a comparative study
Smolka et al. Towards automatic redeye effect removal
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
Kovac et al. 2D versus 3D colour space face detection
KR20020031630A (ko) 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법
CN108961299B (zh) 一种前景图像获得方法及装置
CN110428439A (zh) 一种基于阴影区域颜色饱和度性质的阴影检测方法
JPH0862741A (ja) 階調補正装置
KR100903816B1 (ko) 정지영상에서의 얼굴추출시스템과 그 방법
Zangana et al. A new algorithm for human face detection using skin color tone
CN113409221A (zh) 一种图像颜色抠除方法、系统、计算机设备及存储介质
Khediri et al. Comparison of image segmentation using different color spaces
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
KR20000059451A (ko) 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법
Rewar et al. Comparative analysis of skin color based models for face detection
CN115345891A (zh) 图像处理方法、装置、电子设备、存储介质及产品
CN112907492B (zh) 物体运动轨迹的生成方法及生成系统
RU2676026C1 (ru) Способ анализа видеопотока

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20001020

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20020603

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20030828

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20001020

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050627

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20060323

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20050627

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I