KR101048582B1 - 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스 - Google Patents

칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR101048582B1
KR101048582B1 KR1020040053147A KR20040053147A KR101048582B1 KR 101048582 B1 KR101048582 B1 KR 101048582B1 KR 1020040053147 A KR1020040053147 A KR 1020040053147A KR 20040053147 A KR20040053147 A KR 20040053147A KR 101048582 B1 KR101048582 B1 KR 101048582B1
Authority
KR
South Korea
Prior art keywords
regions
color
face
ellipse
merging
Prior art date
Application number
KR1020040053147A
Other languages
English (en)
Other versions
KR20050006089A (ko
Inventor
쉬뽀베르뜨랑
또뤼벵쌍
스또데쥐르쟝
오아젤리오넬
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20050006089A publication Critical patent/KR20050006089A/ko
Application granted granted Critical
Publication of KR101048582B1 publication Critical patent/KR101048582B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지에서 살색의 픽셀들을 검출하는 디바이스 및 프로세스에 관한 것이다. 상기 프로세스는,
- 상기 이미지를 동질 색의 영역들(Ri)로 세그먼트화하는 단계,
- 상기 동질 색의 영역들(Ri) 중에서, 제1 소정 임계치보다 큰 다수의 살색의 픽셀들(flesh coloured pixels)을 포함하는 영역들을 선택하는 단계 - 상기 선택된 영역들은 살색의 영역들이라 칭해짐 - ,
- 병합 비용이 제2 소정 임계치에 달할 때까지 이웃하는 살색의 영역들(Ri)을 병합하는 단계 - 상기 병합 비용은 상기 영역들(Ri)의 형상에 관한 병합 비용과 상기 영역들(Ri)의 색에 관한 병합 비용을 가중함 - ,
- 거짓 긍정들(false positives)을 제외하는 단계
를 포함한다.
이미지, 병합 비용, 거짓 긍정들, 형상

Description

칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스{PROCESS AND DEVICE FOR DETECTING FACES IN A COLOUR IMAGE}
도 1은 평면(Cb, Cr)에서의 살색 확률 법칙(flesh colour probability law)을 나타낸 도면.
도 2는 영역과 동일한 무게 중심을 갖는 타원들을 나타낸 도면.
도 3은 후보자로서 검출된 후보 타원을 둘러싸는 사각형의 웨이블렛 변환을 나타낸 도면.
도 4는 이미지의 계층적 분해에 의해 얻어지는 12개의 상세한 이미지들을 나타낸 도면.
〈도면의 주요 부분에 대한 부호의 설명〉
Ri : 영역
Ei : 타원
본 발명은 이미지에서 얼굴들을 검출하기 위한 디바이스 및 방법에 관한 것 이다.
얼굴 검출은 전송의 품질을 향상시키기 위해 많은 비디오 어플리케이션들에서, 그리고 특히 이미지 인덱싱 시스템들과 화상 전화기 시스템들에서 발생하는 문제점이다.
또한, 얼굴들의 검출은 그들의 자동 인식에 대한 준비이다. 얼굴들의 검출은 최근 수년에 걸쳐 크게 발전하였고, 검출은 기대 이상으로 되고 있다.
- 멀티미디어 컨텍스트에서는, 예를 들어 이러이러한 사람이 나타나는 모든 사진들을 찾는 것을 가능하게 함으로써, 얼굴들의 검출과 인식을 결합하는 기술이 개인적인 사진들의 기초에 관한 철저한 조사를 허용한다.
-이러한 기술은 또한 민감한 기준에 기초하여 영상들을 자동적으로 보관하기 위해 영화 또는 텔레비전 회사에 매우 유용할 것이다.
보다 간단히, 얼굴들을 검출하는 알고리즘은 개인적인 사진들을 여러 카테고리들: 얼굴 없음, 하나의 얼굴 있음, 소수의 얼굴 있음으로 분류하는 것을 가능하게 한다.
얼굴들의 검출에 대한 문제점에 대해서 2가지 형태의 접근법: 모델 기반 접근법들(model based approachs) 및 외형 기반 접근법들(appearance based approaches)이 존재한다.
모델 접근법들은 실루엣, 색, 빛의 변화, 텍스쳐 등의 관점에서 찾은 오브젝트를 간단한 방식으로 정의하고자 한다. 이러한 방법들의 문제점은 규칙들의 관점에서 오브젝트를 정의하기 어렵다는 것이다. 채택된 규칙들이 너무 엄격하면, 표 준에서 단지 약간 벗어난 오브젝트들은 검출되지 않는다. 반대로, 규칙들이 너무 막연하면, 시스템은 많은 원치 않는 오브젝트들을 검출한다.
그러나, 외형 접근법들은 신경 회로망들과 같은 비파라미터적 판정 방식들(nonparametric decision method)(분류자들)에 의존한다. 검출될 오브젝트들을 정의하는 규칙들은 명확히 정해지지 않고, 학습 세트를 통해 학습된다. 이미지, 기술자(평균색, 픽셀들의 색, 웨이블렛 변환 등)에 대해 측정이 행해진다. 그리고 분류자는 검출될 오브젝트가 무엇인지를 정의하도록 학습 세트의 기술자들을 가중한다. 그러면 규칙들은 기술자들에 대한 통계적인 평균들이 된다.
이러한 해결책의 원리는 입력 이미지를 작은 부분들로 분할하고 이들 각 부분들을 이러이러한 하나의 부분이 얼굴인지를 결정하는 분류자에게 보내는 것이다. 문제는 상기 부분들이 가져야하는 사이즈를 결정하는 것이다. 신분증 사진 형태의 이미지에서 또는 그룹 사진에서, 얼굴들은 완전하게 동일한 사이즈를 갖지 않는다. 그러면 매 입력 이미지에 대해 다중 해상도 분할을 행할 필요가 있고, 즉 이미지에 대한 각 4분할, 8분할 등이 분류자에게 제공될 것이다. 이러한 시스템들은 계산 시간의 관점에서 이러한 것을 갈망한다.
본 발명은 매우 유연한 모델을 사용하여 다중 해상도 분할을 불필요하게 할 수 있는 비파라메트릭 판정 시스템에 축소된 후보자 세트를 제공하는 단계를 포함하는 간단한 방법을 제안한다.
이를 위해, 본 발명은 이미지에서 얼굴들을 검출하는 프로세스를 제안하며, 상기 이미지는 복수의 픽셀들로 이루어진다.
본 발명에 따르면, 프로세스는
- 이미지에서 살색의 픽셀들을 검출하는 단계,
- 이미지를 동질 색의 영역들로 세그먼트화하는 단계,
- 동질 색의 영역들 중에서, 제1 소정 임계치보다 큰 다수의 살색의 픽셀들을 포함하는 영역들을 선택하는 단계 - 상기 선택된 영역들은 살색의 영역들이라 칭해짐 - ,
병합 비용이 제2 소정 임계치에 달할 때까지 이웃하는 살색의 영역들을 병합하는 단계 - 병합 비용은 영역들의 형상에 관한 병합 비용과 영역들의 색에 관한 병합 비용을 선형으로 가중함 - ,
- 거짓 긍정들을 제외하는 단계를 포함한다.
살색의 픽셀들의 검출 단계의 종료시 얻어지는 확률맵에 대해서가 아니라 입력 이미지에 대해 이미지의 세그먼트화를 수행함으로써, 제한 내에서 보다 양호한 정확도가 가능하게 될 수 있다.
또한, 영역들의 형상 및 색 모두에 기초한 병합 비용의 계산은 얼굴들과 같은 잠재적인 후보자들인 영역들에 대하여 빠르고 효과적인 접근을 가능하게 한다.
바람직한 실시예에 따르면, 병합 단계는
- 이웃하는 영역들 사이의 평균색차를 계산함으로써 영역들의 색에 관한 병합 비용을 계산하는 단계, 및
- 영역의 면적과, 상기 영역과 동일한 무게 중심을 갖고 그것을 최적으로 오버랩하는 타원 면적 사이의 오버랩,
- 타원의 픽셀들의 수에 대한 타원의 외부 영역의 픽셀들의 수 및 영역 외부의 타원의 픽셀들의 수의 합의 비율을 계산하는 것에 의한 각 영역의 타원 성질(elliptic nature),
- 2개의 인접하는 영역들의 타원 성질에 대한 측정값들중 최대값과 병합된 영역의 타원 성질에 대한 측정값 사이의 차
를 계산함으로써 형상에 관한 병합 비용을 계산하는 단계를 포함한다.
바람직하게는, 살색의 픽셀들의 검출 단계는 채도 평면에서 2차원 가우스 확률 법칙의 형태로 얼굴색 모델을 정의하는 단계를 포함한다.
바람직한 실시예에 따르면, 거짓 긍정들을 제외하는 단계는 얼굴의 특정 속성들과 병합된 영역들의 속성들을 비교하는 단계 및 속성들이 얼굴의 속성들과 매우 상이한 영역들을 제외하는 단계를 포함한다.
바람직한 실시예에 따르면, 속성들은
- 영역의 사이즈,
- 영역의 형상,
- 평균색,
- 주축에 따른 휘도의 변화
및 이 속성들의 임의의 조합 중에서 선택된다.
바람직한 실시예에 따르면, 거짓 긍정들을 제외하는 단계는
- 병합된 영역들에 대하여 적어도 하나의 시각적 기술자(descriptor)를 계산하는 단계,
- 얼굴을 포함하는 예시적인 이미지들과 어떤 얼굴도 포함하지 않는 예시적인 이미지들 사이에서 기술자들의 공간의 최적 하이퍼평면(hyperplane)을 결정하는 단계,
- 기술자가 하이퍼평면의 정확한 측면에 존재하지 않는 영역들을 제외하는 단계
를 포함한다.
유리하게는, 기술자는 병합된 타원을 둘러싸는 최소 사각형의 웨이블렛 변환을 수행하고 이미지의 계층적 분해에 의해 얻어진 12개의 상세한 이미지들의 웨이블렛 계수들의 변화를 기술자들에게 할당함으로써 산출된다.
본 발명은 또한 이미지에서 얼굴들을 검출하는 디바이스에 관한 것으로, 이미지는 복수의 픽셀들로 이루어진다. 본 발명에 따르면, 디바이스는
- 이미지에서 살색의 픽셀들을 검출하는 수단,
- 이미지를 동질 색의 영역들로 세그먼트화하는 수단,
- 동질 색의 영역들 중에서, 제1 소정 임계치보다 큰 다수의 살색의 픽셀들을 포함하는 영역들을 선택하는 수단 - 상기 선택된 영역들은 살색의 영역들이라 칭해짐 - ,
병합 비용이 제2 소정 임계치에 달할 때까지 이웃하는 살색의 영역들을 병합하는 수단 - 병합 비용은 영역들의 형상에 관한 병합 비용과 영역들의 색에 관한 병합 비용을 가중함 - ,
- 거짓 긍정들을 제외하는 수단을 포함한다.
본 발명은 또한 프로그램이 컴퓨터에서 실행되는 경우, 본 발명에 따라 얼굴들을 검출하는 프로세스의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
본 발명은 첨부된 도면을 참조하여, 전혀 제한되지 않는 유리한 예시적인 실시예들 및 구현 모드들에 의해 보다 잘 이해되고 설명될 것이다.
도 1은 평면(Cb, Cr)에서의 살색 확률 법칙을 나타낸다.
프로세스는 이미지에서의 살색의 픽셀들의 검출 단계를 포함한다.
사용된 색 공간은 청색(Cb)과 적색(Cr)을 기술하는 2가지 성분들로부터 휘도 성분 Y를 분리하는 공간(Y,Cb,Cr)이다.
인종이 무엇이든, 사람의 피부색은 채도 평면의 정확한 부분에 존재한다.
피부색의 모델을 구성하는 여러 가지 방법들이 제안될 수 있다.
바람직한 실시예에서는, 채도 평면(chrominance plane) 중 특정 평면에 피부색이 존재한다는 가정에 따라, 도 1에 따른 채도 평면(Cb,Cr)에서 2차원 가우스 확률 법칙의 형태로 피부색 모델을 정의한다. 이 가우스 확률 법칙의 파라미터들은 트레이닝에 의해 결정된다.
다른 실시예에서는, 비파라메트릭 접근법들에 기초할 수 있다. 색 히스토그램 h(r,g) - r은 적색을 나타내고, g는 녹색을 나타냄 - 가 예시적인 얼굴들에 기초하여 실험적으로 선택된 임계값보다 큰 경우에 살색을 갖는 것으로서 픽셀이 분류된다.
살색의 픽셀들이 식별되면, 이미지는 픽셀들 보다는 동질의 색의 영역들을 식별하도록 영역들로 세그먼트화된다.
다수의 세그먼트화 프로세스가 적용될 수 있다.
세그먼트화는 살색의 픽셀들의 검출 단계의 종료시에 얻어지는 확률맵에 대해서가 아니라 입력 이미지에 대해서 수행된다. 이에 의해 특히 경계들에서 보다 양호한 정확도를 얻을 수 있다.
세그먼트화는 본 기술 분야의 당업자들에게 공지된 방법들을 사용하여, 색 동질성의 기준에 관해서 픽셀들을 클러스터링(clustering)함으로써 또는 윤곽 검출에 의해 수행될 수 있다.
따라서, 제1 단계는 살색의 픽셀들을 결정하고, 가능하다면 제1 단계와 병행하여 수행될 수 있는 제2 단계는 동질 색들의 영역들로 입력 이미지를 세그먼트화한다.
그 후, 이들 2가지 단계들을 완료하면, 그 픽셀들의 특정 퍼센티지(예를 들어 절반 이상)의 영역들은 살색이고, "살색의 영역들"이라 칭해지며, 얼굴들에 대한 나머지 조사가 행해진다.
영역들이 살색이라고 검출된 경우, 이들 영역들의 형상을 고려하는 것이 바람직하다.
출발 가정은 얼굴의 형상이 타원형이라는 것이다.
다음 단계는 타원형의 매크로(macro) 살색의 영역들을 용이하게 병합하는 단계를 포함한다.
바람직하게는, 이 단계는 영역들 RSST(recursive shortest spanning tree)의 병합 프로세스를 적용하는 것을 포함한다. IEEE 트랜잭션 CSVT, 볼륨 10, 2000 문서에 공개된 어텀 턴셀 및 레번트 오누탈(Ertem Tuncel and Levert Onutal)의 "utilization of the recursive shortest spanning tree algorithm for video-object segmentation by 2-D affine motion modeling" 문헌은 이와 같은 병합 프로세서를 도시한다.
인접하는 영역들 사이의 링크들의 리스트는 증가하는 병합 비용에 의해 갱신 및 소팅(sorting)된다. 병합 비용이 최저인 2개의 영역들은 소정의 최대 병합 비용이 달성될 때까지 반복적으로 병합된다.
병합은 색과 형상 정보를 고려한다.
색에 관한 병합 비용 Ccolour과 형상에 관한 병합 비용 Cshape을 선형으로 가중화하는 비용 함수 C는 다음과 같다:
Figure 112004030251919-pat00001
형상에 주어진 웨이트 αf는 예를 들어 색에 주어진 웨이트 αc의 2배이다.
색에 대해서 계산된 병합 비용은 병합 가능한 영역들 사이의 평균 색차를 계산함으로써 얻어진다. 이에 의해 병합된 영역은 색의 동질성을 갖게 된다.
이하의 식에서,
Figure 112004030251919-pat00002
및
Figure 112004030251919-pat00003
은 2개의 인접하고 따라서 병합 가능한 영역들 R1 및 R2의 공간 YCbCr에서 평균색의 벡터들이다. 색 성분들이 0과 255 사이에서 부호화되는 경우, 분모는 비용을 0과 1 사이의 값들로 표준화하 는 것이다.
Figure 112004030251919-pat00004
형상에 관한 병합 비용을 정의하기 위해, 우선 영역들에 대해 타원 성질의 측정값을 정의한다.
이를 위해, 도 2에 도시된 바와 같이, 영역과 동일한 무게 중심을 갖는 타원의 특성을 결정한다. 이러한 타원은 적어도 영역의 표면과 동일한 면적을 갖고 그것을 최적으로 오버랩한다. 본 기술 분야의 당업자들에게 공지되어 있는 소위 "모멘트법(method of moments)"는, 예를 들어 이러한 타원을 결정하기 위해 사용될 수 있다.
각 영역 Ri와 타원 Ei가 관련된다.
따라서 영역과 그 관련 타원의 상호 오버랩을 측정함으로써 영역 Ri의 타원 성질 Eri를 결정한다: 영역 외부에 있는 타원 내부의 모든 점들뿐만 아니라 타원 외부 영역의 모든 점들이 카운트되고 타원의 면적에 의해 그 합이 표준화되며, 이 값이 클수록, 영역이 덜 타원적이다.
2개의 인접하는 영역들 R1 및 R2의 형상에 관한 병합 비용은 2개의 병합 가능한 영역들 Er1 및 Er2의 타원 성질의 측정값들 중 최소값과 병합된 영역 R1∪R2의 타원 성질의 측정값 사이의 차이다. 이 비용은 병합된 영역이 그 부분들보다 더 타원적인 경우에 더 작다. 형상에 관한 병합 비용은 예를 들어 이하의 식에 의해 주어질 수 있다.
Figure 112004030251919-pat00005
이 단계를 완료하면, 얼굴들이 되는 후보자들인 타원 형상의 살색 영역들이 임의개 존재한다.
이 영역들 중에서, 일부는 얼굴들이 아니고 "거짓 긍정들"이라 칭해진다. 따라서 이 영역들을 제외하는 것이 중요하다.
거짓 긍정들을 제외하는 여러 가지 방법들이 존재한다.
2가지의 방법들, 파라메트릭 접근법에 기초한 방법 및 분류자의 트레이닝에 기초한 방법이 설명된다.
파라메트릭 접근법
타원 형상의 살색의 병합된 영역들에 대한 다양한 속성들이 측정된다.
이들 속성들은 얼굴들에 대해 공통이다.
예를 들면 다음과 같다:
- 형상은 너무 크거나 너무 작아도 안되고, 너무 확장되어도 안된다,
- 주축은 수직축으로부터 아주 멀지 않다,
- 평균색은 살색이다,
- 주축에 따른 채도의 변화는 매우 크지 않다.
이외의 실시예들에서는, 다른 파라미터들이 고려될 수 있다.
트레이닝 기반 접근법
이에 대한 대안으로, 후보자 타원들 각각에 대해 시각적 기술자들을 산출한다.
관리되는 분류자에 의해 얼굴들을 얼굴이 아닌 부분(non-faces)과 구별할 수 있다.
바람직한 실시예에서는, "SVM(support vector machine)"형의 분류자가 사용된다.
분류자는, 예들과 반대 예들의 기초가 제공되는 트레이닝 상태(training phase)의 중간에, 얼굴들과 얼굴이 아닌 부분들 사이에서, 기술자들의 공간의 최적 하이퍼평면을 결정한다. 이 트레이닝 상태는 오프 라인으로 수행된다. 이 트레이닝 상태가 수행되면, 분류자는 상술된 검출 상태로부터 생성되는 후보자가 얼굴인지 얼굴이 아닌지를 실시간으로 결정할 수 있다.
다른 실시예들에서는, k-평균형(k-means type)의 분류자들 또는 신경 회로망들이 사용될 수 있다
여러가지의 기술자들이 사용될 수 있다.
바람직한 실시예에서는, 도 3에 도시된 바와 같은 후보자로서 전술한 단계에서 검출된 후보 타원을 둘러싸는 사각형의 웨이블렛 변환(또는 하위 대역 변환)으로부터, 사용되는 기술자들이 생성된다.
기술자는 도 4에 도시된 바와 같이 이미지의 계층적 분해에 의해 얻어지는 12개의 상세한 이미지들에서의 웨이블렛 계수들의 변화로부터 생성되며, 12개의 상세한 이미지들은 사선으로 표시된 영역을 제외하고 나타낸 상세한 이미지들이다.
이미지들을 하위 대역들로 분해하는 회로는 양 방향의 이미지를 저 및 고주파 하위 대역들로 필터링하는 필터들의 집합이다.
이 회로는 이미지를 4레벨의 해상도에 따른 하위 대역들로 분해하는 4개의 연속적인 분해 레벨들을 포함한다.
하위 대역 LL1은 이미지 신호의 양 방향의 저주파 성분들 또는 계수들을 포함한다. 하위 대역 LH1은 제1 방향의 저주파 계수들 및 다른 방향의 고주파 계수들을 포함한다. 하위 대역 HL1은 제1 방향의 고주파 계수들 및 제2 방향의 저주 파 계수들을 포함한다. 마지막으로, 하위 대역 HH1은 양 방향의 고주파 계수들을 포함한다.
그 후, 하위 대역 LL1은 상술한 바와 같은 원리에 따라 하위 대역들 LL2, LH2, HL2, HH2로 분해된다.
그 후, 하위 대역 LL2는 상술한 바와 같은 원리에 따라 하위 대역들 LL3, LH3, HL3, HH3으로 분해된다.
그 후, 하위 대역 LL3은 상술한 바와 같은 원리에 따라 하위 대역들 LL4, LH4, HL4, HH4로 분해된다.
이러한 기술자에 의해 얼굴들의 텍스쳐의 특별한 속성들을 캡쳐할 수 있다.
다른 실시예들에서는, 타원의 주축에 따른 휘도 변화를 나타내는 기술자들이 사용될 수 있다.
본 발명에 의하면, 매우 유연한 모델을 사용하여 다중 해상도 분할을 불필요하게 할 수 있는 비파라메트릭 판정 시스템에 축소된 후보자 세트를 제공하는 단계를 포함하는 간단한 방법이 제공된다.

Claims (10)

  1. 복수의 픽셀로 이루어진 이미지에서 얼굴들을 검출하는 방법으로서,
    상기 이미지 내의 살색의 픽셀들(flesh coloured pixels)을 검출하는 단계,
    상기 이미지를 동질 색의 영역들(Ri)로 세그먼트화하는 단계,
    상기 동질 색의 영역들(Ri) 중에서, 제1 소정 임계치보다 큰 다수의 살색의 픽셀들을 포함하는 영역들을 선택하는 단계 - 상기 선택된 영역들은 살색의 영역들이라 칭해짐 - ,
    병합 비용(merge cost)이 제2 소정 임계치에 달할 때까지 이웃하는 살색의 영역들(Ri)을 병합하는 단계 - 상기 병합 비용은 상기 영역들(Ri)의 형상에 관한 병합 비용과 상기 영역들(Ri)의 색에 관한 병합 비용을 선형으로 가중함 - , 및
    거짓 긍정들(false positives)을 제외하는 단계
    를 포함하고,
    상기 병합 단계는,
    이웃하는 영역들(Ri) 사이의 평균 색차를 계산함으로써 상기 영역들(Ri)의 색에 관한 상기 병합 비용을 계산하는 단계, 및
    상기 영역(Ri)의 면적과, 상기 영역(Ri)과 동일한 무게 중심을 갖고 그것을 최적으로 오버랩하는 타원(Ei)의 면적 사이의 오버랩,
    상기 타원(Ei)의 픽셀들의 수에 대한, 상기 타원(Ei)의 외부 영역의 픽셀들의 수 및 상기 영역(Ri) 외부의 상기 타원(Ei)의 픽셀들의 수의 합의 비율 - 이 비율을 타원 비율이라 함 -, 및
    2개의 이웃하는 영역들(Ri)의 타원 비율들 중 최대 타원 비율과 병합된 영역(Ri)의 타원 비율 사이의 차
    를 계산함으로써 형상에 관한 병합 비용을 계산하는 단계
    를 포함하는 얼굴 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 살색의 픽셀들을 검출하는 단계는 채도 평면(chrominance plane)에서 2차원 가우스 확률 법칙(two-dimensional Gaussian probability law)의 형태로 얼굴색 모델을 정의하는 단계를 포함하는 얼굴 검출 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 거짓 긍정들을 제외하는 단계는 상기 병합된 영역들(Ri)의 속성들을 얼굴의 대응하는 속성들과 비교하는 단계 및 속성들이 얼굴의 대응하는 속성들과 전혀 다른 영역들을 제외하는 단계를 포함하는 얼굴 검출 방법.
  5. 제4항에 있어서,
    상기 속성들은
    상기 영역의 사이즈,
    상기 영역의 형상,
    평균색,
    주축에 따른 휘도의 분산
    및 이러한 속성들의 임의의 조합 중에서 선택되는 얼굴 검출 방법.
  6. 제1항에 있어서,
    상기 거짓 긍정들을 제외하는 단계는,
    병합된 영역들(Ri)에 대하여 적어도 하나의 시각적 기술자(visual descriptor)를 계산하는 단계,
    얼굴을 포함하는 예시적인 이미지들과 어떠한 얼굴도 포함하지 않는 예시적인 이미지들 사이에 기술자들(descriptors)의 공간에서의 최적 하이퍼평면(hyperplane)을 결정하는 단계, 및
    기술자가, 얼굴을 포함하는 예시적인 이미지들에 대응하는 상기 하이퍼평면의 측에 놓여있지 않은 영역들(Ri)을 제외하는 단계 - 상기 하이퍼평면의 측은 하이퍼평면의 올바른 측이라 칭해짐 -,
    를 포함하는 얼굴 검출 방법.
  7. 제3항에 있어서,
    상기 거짓 긍정들을 제외하는 단계는,
    병합된 영역들(Ri)에 대하여 적어도 하나의 시각적 기술자를 계산하는 단계,
    얼굴을 포함하는 예시적인 이미지들과 어떠한 얼굴도 포함하지 않는 예시적인 이미지들 사이에 기술자들의 공간에서의 최적 하이퍼평면을 결정하는 단계, 및
    기술자가, 얼굴을 포함하는 예시적인 이미지들에 대응하는 상기 하이퍼평면의 측에 놓여있지 않은 영역들(Ri)을 제외하는 단계 - 상기 하이퍼평면의 측은 하이퍼평면의 올바른 측이라 칭해짐 -
    를 포함하는 얼굴 검출 방법.
  8. 제4항에 있어서,
    상기 거짓 긍정들을 제외하는 단계는,
    병합된 영역들(Ri)에 대하여 적어도 하나의 시각적 기술자를 계산하는 단계,
    얼굴을 포함하는 예시적인 이미지들과 어떠한 얼굴도 포함하지 않는 예시적인 이미지들 사이에 기술자들의 공간에서의 최적 하이퍼평면을 결정하는 단계, 및
    기술자가, 얼굴을 포함하는 예시적인 이미지들에 대응하는 상기 하이퍼평면의 측에 놓여있지 않은 영역들(Ri)을 제외하는 단계 - 상기 하이퍼평면의 측은 하이퍼평면의 올바른 측이라 칭해짐 -
    를 포함하는 얼굴 검출 방법.
  9. 제6항에 있어서,
    상기 기술자는, 병합된 타원을 둘러싸는 최소 사각형의 웨이블렛 변환 (wavelet transformation)을 수행하고 상기 이미지의 계층적 분해에 의해 얻어진 12개의 최저 주파수의 부대역의 웨이블렛 계수들의 분산을 상기 기술자에게 할당함으로써 산출되는 얼굴 검출 방법.
  10. 복수의 픽셀로 이루어진 이미지에서 얼굴들을 검출하는 디바이스로서,
    상기 이미지에서 살색의 픽셀들을 검출하는 수단,
    상기 이미지를 동질 색의 영역들(Ri)로 세그먼트화하는 수단,
    상기 동질 색의 영역들(Ri) 중에서, 제1 소정 임계치보다 큰 다수의 살색의 픽셀들을 포함하는 영역들(Ri)을 선택하는 수단 - 상기 선택된 영역들은 살색의 영역들이라 칭해짐 - ,
    병합 비용이 제2 소정 임계치에 달할 때까지 이웃하는 살색의 영역들(Ri)을 병합하는 수단 - 상기 병합 비용은 상기 영역들(Ri)의 형상에 관한 병합 비용과 상기 영역들(Ri)의 색에 관한 병합 비용을 선형적으로 가중함 - , 및
    거짓 긍정들을 제외하는 수단
    을 포함하고,
    상기 병합 수단은,
    이웃하는 영역들(Ri) 사이의 평균 색차를 계산함으로써 상기 영역들(Ri)의 색에 관한 상기 병합 비용을 계산하는 수단, 및
    상기 영역(Ri)의 면적과, 상기 영역(Ri)과 동일한 무게 중심을 갖고 그것을 최적으로 오버랩하는 타원(Ei)의 면적 사이의 오버랩,
    상기 타원(Ei)의 픽셀들의 수에 대한, 상기 타원(Ei)의 외부 영역의 픽셀들의 수 및 상기 영역(Ri) 외부의 상기 타원(Ei)의 픽셀들의 수의 합의 비율 - 이 비율을 타원 비율이라 함 -, 및
    2개의 이웃하는 영역들(Ri)의 타원 비율들 중 최대 타원 비율과 병합된 영역(Ri)의 타원 비율 사이의 차
    를 계산함으로써 형상에 관한 병합 비용을 계산하는 수단
    을 포함하는 얼굴 검출 디바이스.
KR1020040053147A 2003-07-08 2004-07-08 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스 KR101048582B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0308359 2003-07-08
FR0308359A FR2857481A1 (fr) 2003-07-08 2003-07-08 Procede et dispositif de detection de visages dans une image couleur

Publications (2)

Publication Number Publication Date
KR20050006089A KR20050006089A (ko) 2005-01-15
KR101048582B1 true KR101048582B1 (ko) 2011-07-12

Family

ID=33443249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040053147A KR101048582B1 (ko) 2003-07-08 2004-07-08 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US7551756B2 (ko)
EP (1) EP1496465A1 (ko)
JP (1) JP4658532B2 (ko)
KR (1) KR101048582B1 (ko)
CN (1) CN100409248C (ko)
FR (1) FR2857481A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4592744B2 (ja) * 2005-02-17 2010-12-08 富士通株式会社 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
CN100378752C (zh) * 2005-06-03 2008-04-02 中国科学院自动化研究所 鲁棒的自然图像分割方法
US8351711B2 (en) 2005-12-01 2013-01-08 Shiseido Company, Ltd. Face categorizing method, face categorizing apparatus, categorization map, face categorizing program, and computer-readable medium storing program
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US8031936B2 (en) * 2006-03-20 2011-10-04 Accenture Global Services Limited Image processing system for skin detection and localization
TW200809700A (en) * 2006-08-15 2008-02-16 Compal Electronics Inc Method for recognizing face area
KR100863882B1 (ko) 2006-09-27 2008-10-15 김종헌 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치
JP4315215B2 (ja) * 2007-05-18 2009-08-19 カシオ計算機株式会社 撮像装置、及び顔検出方法、顔検出制御プログラム
KR100815291B1 (ko) 2007-07-31 2008-03-25 (주)올라웍스 사용자의 피드백을 이용하여, 얼굴 인식기 또는 얼굴검출기의 파라미터를 최적화하는 방법 및 시스템
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN103218781B (zh) * 2013-04-07 2018-07-31 小米科技有限责任公司 一种对图像进行空间滤波处理的方法和装置
KR101518751B1 (ko) * 2013-11-21 2015-05-11 연세대학교 산학협력단 다중 대조도 자기공명영상에서 잡음 제거 방법 및 장치
CN104702907B (zh) * 2014-03-20 2019-05-10 杭州海康威视数字技术股份有限公司 一种视频拼接的实现方法和系统
JP5695257B1 (ja) * 2014-07-25 2015-04-01 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN106529437B (zh) * 2016-10-25 2020-03-03 广州酷狗计算机科技有限公司 一种人脸检测的方法和装置
CN108322788B (zh) * 2018-02-09 2021-03-16 武汉斗鱼网络科技有限公司 一种视频直播中的广告展示方法及装置
CN109712104A (zh) * 2018-11-26 2019-05-03 深圳艺达文化传媒有限公司 自拍视频卡通头像外露方法及相关产品
CN110248141B (zh) * 2019-06-10 2021-06-04 广州视源电子科技股份有限公司 一种视频画面亮度调节方法、装置、设备及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5659625A (en) * 1992-06-04 1997-08-19 Marquardt; Stephen R. Method and apparatus for analyzing facial configurations and components
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
JP3657463B2 (ja) * 1999-06-29 2005-06-08 シャープ株式会社 動作認識システムおよび動作認識プログラムを記録した記録媒体
JP2002015319A (ja) * 2000-06-29 2002-01-18 Sharp Corp 画像認識システム、画像認識方法および画像認識プログラムを記録した記録媒体
JP4275304B2 (ja) * 2000-11-09 2009-06-10 シャープ株式会社 インターフェース装置およびインターフェース処理プログラムを記録した記録媒体
US6670963B2 (en) * 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. Garcia and G. Tziritas, "Face detection using quantized skin color regions merging and wavelet packet analysis", IEEE Transactions on Multimedia, vol. 1, no. 3, pp. 264-277, September, 1999. *
M.-H. Yang, D. J. Kriegman and N. Ahuja, Detecting Faces in Images: A Survey, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, January 2002. *

Also Published As

Publication number Publication date
EP1496465A1 (en) 2005-01-12
CN1577380A (zh) 2005-02-09
FR2857481A1 (fr) 2005-01-14
JP2005032250A (ja) 2005-02-03
KR20050006089A (ko) 2005-01-15
US7551756B2 (en) 2009-06-23
JP4658532B2 (ja) 2011-03-23
CN100409248C (zh) 2008-08-06
US20050041868A1 (en) 2005-02-24

Similar Documents

Publication Publication Date Title
KR101048582B1 (ko) 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스
US10726244B2 (en) Method and apparatus detecting a target
JP4251719B2 (ja) 複数人物が存在する場合の人間の顔のロバスト追跡システム
Herodotou et al. Automatic location and tracking of the facial region in color video sequences
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN106951869B (zh) 一种活体验证方法及设备
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
Buza et al. Skin detection based on image color segmentation with histogram and k-means clustering
CN112434647A (zh) 一种人脸活体检测方法
Lionnie et al. A comparison of human skin color detection for biometrie identification
Wesolkowski et al. Global color image segmentation strategies: Euclidean distance vs. vector angle
KR101343623B1 (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
JP3020973B2 (ja) 画像処理方法
KR20080079443A (ko) 영상으로부터의 객체 검출 방법 및 장치
Kaya et al. Parametric and nonparametric correlation ranking based supervised feature selection methods for skin segmentation
JPH08184925A (ja) 露光量決定方法及び図形抽出方法
Hassan et al. Using ga to optimize the explicitly defined skin regions for human skincolor detection
Sarkar et al. Universal skin detection without color information
CN108875572B (zh) 基于背景抑制的行人重识别方法
CN110245590B (zh) 一种基于皮肤图像检测的产品推荐方法及系统
CN111415372A (zh) 一种基于hsi颜色空间和上下文信息的运动目标归并方法
Elmaci et al. A comparative study on the detection of image forgery of tampered background or foreground
Hassan et al. Texture based Image Splicing Forgery Recognition using a Passive Approach
Huang et al. Real time face detection based on skin tone detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee