KR101330636B1 - 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법 - Google Patents

얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법 Download PDF

Info

Publication number
KR101330636B1
KR101330636B1 KR1020070007663A KR20070007663A KR101330636B1 KR 101330636 B1 KR101330636 B1 KR 101330636B1 KR 1020070007663 A KR1020070007663 A KR 1020070007663A KR 20070007663 A KR20070007663 A KR 20070007663A KR 101330636 B1 KR101330636 B1 KR 101330636B1
Authority
KR
South Korea
Prior art keywords
viewpoint
face
view
current image
class
Prior art date
Application number
KR1020070007663A
Other languages
English (en)
Other versions
KR20080069878A (ko
Inventor
김정배
렌하이빙
박규태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070007663A priority Critical patent/KR101330636B1/ko
Priority to US11/892,786 priority patent/US20080175447A1/en
Publication of KR20080069878A publication Critical patent/KR20080069878A/ko
Application granted granted Critical
Publication of KR101330636B1 publication Critical patent/KR101330636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치 및 방법이 개시된다. 얼굴검출장치는 현재 영상이 얼굴에 해당하는지 여부를 판단하는 비얼굴 판단 부; 상기 현재 영상이 얼굴에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 시점 추정부; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 독립 시점 검증부로 이루어진다.

Description

얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치 및 방법{Face view determining apparatus and method and face detection apparatus and method employing the same}
도 1은 본 발명에 따른 얼굴검출장치의 일실시예의 구성을 나타낸 블럭도,
도 2는 도 1에 도시된 얼굴시점 결정부의 세부적인 구성을 나타낸 블럭도,
도 3a 내지 도 3c는 본 발명에 적용된 하(Haar) 특징의 예를 나타낸 도면이고, 도 3d 및 도 3e는 하 특징이 얼굴영상에 적용된 예를 보여주는 보여주는 도면,
도 4은 도 1에 도시된 비얼굴 판단부의 구성의 일예를 보여주는 도면,
도 5는 임의의 분류기에 대응되는 하 특징 분포의 일예를 보여주는 도면,
도 6은 도 5의 하 특징 분포를 균등 사이즈의 빈으로 구분한 예를 보여주는 도면,
도 7a 및 도 7b는 도 4에 도시된 비얼굴 판단부에서 수행되는 얼굴검출과정을 설명하는 흐름도,
도 8은 본 발명에서 채용하고 있는 시점 클래스의 일예를 보여주는 도면,
도 9는 도 2에 도시된 시점 추정부의 동작을 설명하는 도면,
도 10은 도 9에 도시된 시점 추정부에 있어서 시점 클래스를 추정하는 예를 설명하는 도면,
도 11은 도 2에 도시된 독립 시점 검증부의 세부적인 구성을 보여주는 블럭도,
도 12 내지 도 14는 본 발명에 따른 얼굴검출방법에 따라서 하나의 프레임 영상에서 검출된 얼굴영상의 위치와 시점 클래스를 표시한 도면이다.
본 발명은 얼굴검출에 관한 것으로서, 보다 구체적으로는 영상에 포함된 얼굴의 시점(view)을 결정하기 위한 장치 및 방법과 이를 채용하는 얼굴검출장치 및 방법에 관한 것이다.
얼굴검출 기술은 디지털 컨텐츠 관리, 얼굴인식, 3차원 얼굴 모델링, 애니메이션, 아바타, 스마트 감시(smart surveillance), 혹은 디지털 엔터테인먼트 등과 같은 다양한 분야에 적용되는 기본기술 중 하나로서, 그 중요성이 점점 커지고 있다. 또한, 얼굴검출 기술은 자동포커스 검출을 위하여 디지털 카메라에도 그 적용분야를 확장시키고 있다. 따라서, 이들 분야에서 가장 먼저 이루어져야 하는 작업은 이미지 혹은 비디오와 같은 영상에서 사람 특히, 얼굴을 검출하는 것이다.
한편, 통계에 따르면, 검출하고자 하는 영상에서 정면 얼굴이 존재할 확률은 매우 낮은 반면, 대부분의 얼굴이 [-45°,+45°]의 평면외 회전(ROP; Out of Plane Rotation) 범위와 [-30°,+30°]의 평면내 회전(RIP; In Plane Rotation) 범위에 위치하는 다양한 시점을 갖는다. 이와 같은 다양한 시점을 갖는 얼굴을 검출하기 위하여, 현재 많은 일반적 다시점(general multi-view) 얼굴검출 기술 혹은 의사 다시점(pseudo multi-view) 얼굴검출 기술이 개발되어 있다.
그런데, 이와 같은 일반적 혹은 의사 다시점 얼굴검출 기술들에 의하면, 검출에 필요한 연산의 복잡도가 높아 고가의 프로세서를 사용하는 경우 장치의 구현비용이 증가할 뿐 아니라, 연산량이 많아 알고리즘의 수행속도가 느리기 때문에 실제 응용에는 제약이 따르는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 영상에 존재하는 얼굴의 시점을 고속으로 정확하게 결정하기 위한 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 영상에 존재하는 얼굴의 시점을 포함하여 고속으로 정확하게 얼굴을 검출하기 위한 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 영상에 존재하는 객체의 시점을 포함하여 고속으로 정확하게 객체를 검출하기 위한 장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴시점 결정장치는 얼굴에 해당하는 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 시점 추정부; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 독립 시점 검증부로 이루어진다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴시점 결정방법은 얼굴에 해당하는 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 단계; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 단계로 이루어진다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴검출장치는 현재 영상이 얼굴에 해당하는지 여부를 판단하는 비얼굴 판단부; 상기 현재 영상이 얼굴에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 시점 추정부; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 독립 시점 검증부로 이루어진다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴검출방법은 현재 영상이 얼굴에 해당하는지 여부를 판단하는 단계; 상기 현재 영상이 얼굴에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 단계; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 단계로 이루어진다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 객체검출방법은 현재 영상이 기설정된 객체에 해당하는지 여부를 판단하는 단계; 상기 현재 영상이 상기 객체에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하는 단계; 및 상기 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정하는 단계를 포함한 다.
상기 얼굴시점 결정방법, 얼굴검출방법 및 객체검출방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 얼굴검출장치의 일실시예의 구성을 나타내는 블럭도로서, 크게 비얼굴 판단부(110), 얼굴시점 결정부(130), 및 얼굴 구성부(150)를 포함하여 이루어진다.
도 1을 참조하면, 비얼굴 판단부(210)는 현재 서브 윈도우 영상이 시점에 상관없이 즉, 모든 시점에 대하여 비얼굴 서브 윈도우 영상인지 여부를 판단한다. 판단결과, 현재 서브 윈도우 영상이 비얼굴 서브 윈도우 영상인 경우, 비얼굴 검출결과를 출력하는 한편 다음 서브 윈도우 영상을 입력받는다. 현재 서브 윈도우 영상이 비얼굴 서브 윈도우 영상이 아닌 경우 현재 서브 윈도우 영상을 시점 추정부(230)로 제공한다.
얼굴시점 결정부(130)는 하나의 프레임 영상에 있어서 현재 서브 윈도우영상이 얼굴에 해당한다고 판단된 경우 현재 서브 윈도우영상에 대하여 적어도 하나 이상의 시점 클래스를 추정하고, 추정된 적어도 하나 이상의 시점 클래스에 대하여 독립적으로 검증을 수행하여 최종적인 시점 클래스를 결정한다.
얼굴 구성부(150)는 얼굴시점 결정부(110)에서 최종적인 시점 클래스가 결정된 서브 윈도우영상들을 모아서 얼굴을 구성한다. 이때 구성된 얼굴은 해당 프레임 영상에 표시되거나 그 좌표 정보를 저장하거나 전송할 수 있다.
도 2는 도 1에 도시된 얼굴시점 결정부(130)의 세부적인 구성을 보여주는 블럭도로서, 시점 추정부(210) 및 독립 시점 검증부(230)를 포함하여 이루어진다.
도 2를 참조하면, 시점 추정부(210)는 얼굴에 해당하는 현재 영상에 대하여 적어도 하나 이상의 시점 클래스를 추정한다.
독립 시점 검증부(230)는 시점 추정부(210)에서 추정된 적어도 하나 이상의 시점 클래스를 독립적으로 검증하여 상기 현재 영상의 최종적인 시점 클래스를 결정한다.
이하, 도 1에 도시된 비얼굴 판단부(110)의 동작을 도 3 내지 도 5를 참조하여 좀 더 세부적으로 설명하기로 한다.
비얼굴 판단부(110)는 보다 단순한 연산으로 빠른 속도와 높은 정확도를 보장하는 하 특징(Haar-feature)으로 동작하는 부스트된 분류기들의 캐스케이드 구조로 이루어진다. 각 분류기는 미리 다양한 시점의 여러가지 얼굴영상을 입력시켜 얼굴의 심플특징을 학습시켜둔 상태이다. 한편, 비얼굴 판단부(210)에서 사용하는 얼굴 특징은 하 특징에 제한되지 않으며, 웨이블릿 특징이나 다른 특징들을 사용하는 것도 가능하다.
도 3a 내지 도 3c는 각 분류기에서 사용되는 심플 특징의 예를 보여주는 것으로서, 도 3a는 에지 심플특징, 도 3b는 라인 심플특징, 도 3c는 중앙 포위 심플 특징(center-surround simple feature)을 각각 나타낸다. 각 심플특징은 2개 또는 3개의 흰색 또는 검은색 사각형으로 이루어진다. 각 분류기는 심플특징에 따라서, 흰색 사각형내에 위치하는 화소의 계조값의 합을 검은색 사각형내에 위치하는 화소의 계조값의 합으로부터 감산하여, 감산된 결과값을 심플특징에 대응하는 각 빈의 문턱치와 비교한다. 도 3d는 1개의 흰색 사각형과 2개의 검은색 사각형으로 이루어진 라인 심플특징을 이용하여 눈 부분을 검출하는 예를 보여주는데, 눈 영역이 콧등 영역보다 더 어둡다는 측면을 고려하여 눈 영역과 콧등 영역간의 계조값의 차이를 측정한다. 도 3e는 1개의 흰색 사각형과 1개의 검은색 사각형으로 이루어진 에지 심플특징을 이용하여 눈 부분을 검출하는 예를 보여주는데, 눈 영역이 뺨 영역보다 더 어둡다는 측면을 고려하여 눈 영역과 뺨 위쪽 영역간의 계조값의 차이를 측정한다. 이와 같이 얼굴을 검출하기 위한 심플특징은 매우 다양하게 존재할 수 있다.
구체적으로, 비얼굴 판단부(110)는 도 4에 도시된 바와 같이 n개의 스테이지(S1 내지 Sn)가 캐스케이드로 연결된 구조를 가진다. 여기서, 각 스테이지(S1 내지 Sn)는 심플특징에 기반한 분류기를 이용하여 얼굴검출을 수행하는데, 예를 들면 제1 스테이지(S1)는 4~5개의 분류기를 사용하고, 제2 스테이지(S2)는 15~20개의 분류기를 사용하는 등, 후단으로 갈수록 사용되는 분류기의 수가 증가되는 구조이다. 제1 스테이지(S1)는 하나의 프레임 영상 중 k번째 서브 윈도우영상을 입력으로 하여 얼굴검출을 시도하고, 얼굴검출에 실패하면(F) k번째 서브 윈도우영상은 비얼굴로 결정하고, 얼굴검출에 성공하면(T) k번째 서브윈도우영상을 제2 스테이지(S2)로 제공한다. 비얼굴 판단부(110)를 구성하는 마지막 스테이지에서 k번째 서브 윈도우영상에서 얼굴검출에 성공하면(T) k번째 서브윈도우영상을 얼굴로 결정한다. 여기서, 각 분류기의 선택에는 바람직하게는 아다부스트(Adaboost)에 기반한 학습알고리즘을 사용한다. 아다부스트 알고리즘에 의하면 대형 특징 세트로부터 몇개의 중요한 시각적인 특징을 선택하여 매우 효율적인 분류기를 생성한다.
이와 같은 각 스테이지가 캐스케이드로 연결된 구조에 따르면 비얼굴인 경우에는 작은 수의 심플 특징을 사용하더라도 결정가능하므로 제1 스테이지 또는 제2 스테이지 등과 같은 초기 단계에서 바로 리젝트시킨 다음, (k+1)번째 서브윈도우영상을 입력받아 얼굴검출을 시도할 수 있으므로 전체적인 얼굴검출 처리속도를 향상시킬 수 있다.
한편, 각 스테이지는 복수개의 분류기에 대한 출력값의 합으로부터 얼굴검출 성공여부를 판단한다. 즉, 각 스테이지의 출력값은 다음 수학식 1과 같이 N개의 분류기의 출력의 합으로 나타낼 수 있다.
Figure 112007007450748-pat00001
여기서, hi(x)는 현재 서브 윈도우 영상(x)에 대한 i번째 분류기의 출력을 나타낸다. 각 스테이지의 출력값을 소정의 문턱치와 비교하여, 비교결과에 따라서 현재 서브 윈도우영상이 얼굴인지 비얼굴인지 여부를 판단하여, 얼굴인 경우 다음 스테이지로 현재 서브 윈도우영상을 전달한다.
도 5는 임의의 스테이지에 포함된 임의의 분류기에 대하여 가중된 하 특징(Haar-feature) 분포를 나타낸 것으로서, 분류기는 이와 같은 하 특징 분포를 갖는 특징 스코프를 도 6에 도시된 바와 같은 균등한 사이즈를 갖는 복수의 빈(bin)으로 분할한다. 각 빈, 예를 들어
Figure 112007007450748-pat00002
에서의 심플 특징은 다음 수학식 2에서와 같은 신뢰도값
Figure 112007007450748-pat00003
을 가진다. 한편, 하 특징의 분포는 모든 분류기가 서로 다른 분포를 가지기 때문에, 분류기 마다 빈의 시작 값, 끝 값, 빈의 개수, 각 빈의 신뢰도값
Figure 112007007450748-pat00004
를 저장할 필요가 있다. 일실시예로서, 빈의 개수는 256이나 64 혹은 16 등을 사용할 수 있다. 도 5에서 보이는 네거티브 클래스는 비얼굴 트레이닝 샘플 세트에 의한 하 특징 분포를 의미하고, 포지티브 클래스는 얼굴 트레이닝 샘플 세트에 의한 하 특징 분포를 의미한다.
Figure 112007007450748-pat00005
여기서, f(x)는 하 특징 산출함수를 나타내며,
Figure 112007007450748-pat00006
는 i번째 분류기의 (j-1) 번째 빈과 j 번째 빈의 문턱치를 각각 나타낸다. 즉, 현재 서브 윈도우 영상(x)에 대한 i번째 분류기의 출력 hi(x)은 하 특징 산출함수 f(x)가
Figure 112007007450748-pat00007
범위내에 존재하는 경우 신뢰도값
Figure 112007007450748-pat00008
를 가지며, 이때 i번째 분류기의 j번째 빈의 신뢰도값
Figure 112007007450748-pat00009
은 다음 수학식 3과 같이 추정될 수 있다.
Figure 112007007450748-pat00010
여기서, W는 가중된 특징 분포를 나타내고, FG 는 가우시안 필터를 나타내고, '+' 및 '-'는 포지티브 클래스와 네거티브 클래스를 각각 나타낸다. 한편, WC는 하 특징 분포에서 도 5에 도시된 바와 같은 아웃라이어(outlier)를 제거하기 위하여 사용되는 상수값이다.
서브 윈도우영상이 아웃라이어에 위치할 확률은 적으나 그 편차가 매우 크므로, 빈 위치를 계산할 때 제거하는 것이 바람직하다. 특히 트레이닝 샘플들의 수가 충분하지 않은 경우 아웃라이어를 제거함으로써 빈 위치를 보다 정확하게 할당할 수 있다. WC는 할당하고자 하는 빈의 수에 따라서 다음 수학식 4와 같이 산출할 수 있다.
Figure 112007007450748-pat00011
여기서, N_bin은 빈의 수를 나타낸다.
여기서는 하나의 분류기에 대한 출력값과 문턱치간의 비교에 의하여 -1 혹은 1의 이진값을 출력하는 것이 아니라, 하나의 분류기에 대한 출력값이 해당하는 하 특징 분포상의 어디에 위치하느냐에 따라서 다양한 값을 출력함으로써 보다 정확한 얼굴 검출을 가능케한다.
도 7a 및 도 7b는 도 4에 도시된 비얼굴 판단부(110)에서 수행되는 얼굴검출과정을 설명하는 흐름도이다.
도 7a 및 도 7b를 참조하면, 751 단계에서는 소정 사이즈(w×h)의 프레임 영상을 입력한다. 753 단계에서는 도 3a 내지 도 3c에 도시된 심플특징 추출에 용이한 형태인 인테그럴 이미지(integral image)로 프레임 영상을 표현한다. 인테그럴 이미지 표현방법에 대해서는 Paul Viola에 의한 논문 "Rapid Object Detection using a Boosted Cascade of Simple Features", Accepted Conference on Computer Vision and Pattern Recognition, 2001에 자세히 기재되어 있다.
755 단계에서는 서브 윈도우영상의 최소 크기를 설정하는데, 여기서는 30×30 화소를 예로 들기로 한다. 옵션으로 757 단계에서는 서브 윈도우영상에 대하여 조도 보정을 수행한다. 각 화소의 계조값으로부터 평균조도값(하나의 서브윈도우영상의 평균조도값)을 뺀 값을 표준편차로 나눔으로써 조도 보정이 수행된다. 759 단계에서는 서브 윈도우영상의 위치(x,y)를 시작위치인 (0,0)로 설정한다.
761 단계에서는 스테이지의 번호(n)를 1로 설정하고, 763 단계에서는 서브 윈도우영상을 n번째 스테이지에서 테스트하여 얼굴검출을 시도한다. 765 단계에서는 n번째 스테이지에서의 얼굴검출이 성공하였는지를 판단하여 얼굴검출에 실패한 경우 서브 윈도우영상의 위치나 크기를 바꾸기 위해서 773 단계로 이행한다. 765 단계에서의 판단결과 얼굴검출이 성공한 경우 767 단계에서 n번째 스테이지가 마지막 스테이지인지를 판단한다. 767 단계에서의 판단결과, n번째 스테이지가 마지막 스테이지가 아닌 경우에는 769 단계에서 n을 1만큼 증가시킨 다음 763 단계로 복귀한다. 한편, 767 단계에서의 판단결과, n번째 스테이지가 마지막 스테이지인 경우에는 771 단계에서 서브 윈도우영상의 좌표를 저장한다.
773 단계에서는 y가 프레임 영상의 h에 해당하는지, 즉 y의 증가가 종료되었는지를 판단한다. 773 단계에서의 판단결과, y의 증가가 종료된 경우 777 단계에서 x가 프레임 영상의 w에 해당하는지, 즉 x의 증가가 종료되었는지를 판단한다. 한편, 773 단계에서의 판단결과, y의 증가가 종료되지 않은 경우 775 단계에서 y를 1만큼 증가시킨 다음 761 단계로 복귀한다. 777 단계에의 판단결과 x의 증가가 종료된 경우 781 단계로 진행하고, x의 증가가 종료되지 않은 경우 779 단계에서 y는 그대로 두고, x를 1만큼 증가시킨 다음 761 단계로 복귀한다.
781에서는 서브 윈도우영상의 크기 증가가 종료되었는지를 판단하고, 판단결과, 서브 윈도우영상의 크기 증가가 종료되지 않은 경우에는 783 단계에서 소정의 스케일팩터 비율로 서브 윈도우영상의 크기를 증가시킨 다음, 757 단계로 복귀한다. 한편, 781 단계에서의 판단결과, 서브 윈도우영상의 크기 증가가 종료된 경우에는 785 단계에서 771 단계에서 저장된 얼굴이 검출된 각 서브 윈도우영상의 좌표를 그루핑하여 시점 검출부(230)로 제공한다.
도 8은 본 발명에서 적용하는 시점 클래스의 예를 보여주기 위한 것으로서, 평면외 회전(ROP) 축에서 -45°~ 45°시점 범위와 평면내 회전(RIP) 축에서 -30°~ 30°시점 범위를 조합하여 얻어지는 9개의 시점 클래스를 사용한다. ROP 축을 3 등분 하는 경우, 각 시점범위는 -45°~ -15°, -15°~ 15°, 15°~ 45°가 되고, RIP 축을 3 등분하는 경우 각 시점 범위는 -30°~ -10°, -10°~ 10°, 10°~ 30°가 된다. 각 시점 클래스는 ROP 측과 RIP 축의 각 시점 범위가 조합되어 결정된다. 한편, 시점 클래스의 수 및 하나의 시점 클래스에 포함되는 시점 범위는 여기에 한정되지 않으며, 얼굴검출의 성능 및 속도간의 트레이드오프, 프로세서의 성능 혹은 사용자의 요구 등에 따라서 다양하게 가변될 수 있다.
시점 추정부(210)에서 시점 추정을 보다 정확하고 고속으로 수행하기 위하여 9개의 시점 클래스는 제1 내지 제3 시점 세트(V1, V2, V3)로 구분하며, 제1 시점 세트(V1)에는 제1 내지 제3 시점 클래스(vc1~vc3)가 포함되고, 제2 시점 세트(V2)에는 제4 내지 제6 시점 클래스(vc4~vc6)가 포함되고, 제3 시점 세트(V3)에는 제7 내지 제9 시점 클래스(vc7~vc9)가 포함된다. 각 시점 클래스에 대해서는 미리 여러가지 영상들을 이용하여 미리 학습시켜둔 상태이다.
이하, 시점 추정부(210)의 동작을 도 9를 참조하여 좀 더 세부적으로 설명하기로 한다.
도 9를 참조하면, 시점 추정부(210)는 3개의 레벨이 캐스케이드로 연결된 구조로서, 총 13개의 노드(N1~N13)가 존재한다. 시점 추정부(210)의 각 레벨은 도 4에 도시된 바와 같이 각 스테이지가 캐스캐이드로 연결된 부스팅 구조로 구현할 수 있다. 레벨 1에는 한개의 노드 즉, N1, 레벨 2에는 3개의 노드 즉, N2 내지 N4, 레벨 3에는 9개의 노드 즉, N5 내지 N13이 존재한다. 즉, 레벨 1의 N1는 총 9개의 시점 클래스를 포함하고, 레벨 2에서 N2은 제1 내지 제3 시점 클래스로 이루어지는 제1 시점 세트(V1), N3는 제4 내지 제6 시점 클래스로 이루어지는 제2 시점 세트(V2), N4는 제7 내지 제9 시점 클래스로 이루어지는 제3 시점 세트(V3)를 포함한다. 한편, 레벨 3에서 N5 내지 N13은 각 개별 시점 클래스에 해당한다. 레벨 1과 2에 존재하는 노드들은 넌-리프(non-leaf) 노드로서, 전체 혹은 부분 시점 세트에 해당하고, 레벨 3에 존재하는 노드들은 리프 노프로서, 개별 시점 클래스에 해당한다. 각 넌-리프 노드는 3개의 자 노드(children node)들을 가지며, 각 자 노드는 해당하는 시점 세트를 3개의 시점 클래스로 분할한다.
구체적으로, 레벨 1의 넌-리프 노드(N1)에서는 현재 서브 윈도우 영상에 대한 시점 추정을 모든 시점 클래스를 포함하는 전체 시점 세트에 대하여 수행하여 부분 시점 세트를 추정한다. 레벨 1에서 부분 시점 세트가 추정되면, 레벨 2에서는 추정된 부분 시점 세트 즉, 제1 내지 제3 시점 세트 중 적어도 하나 이상의 시점 세트에 대하여 개별 시점 클래스를 추정하고, 추정 결과에 따라서 레벨 3에서 존재하는 적어도 하나 이상의 개별 시점 클래스가 지정한다. 각 넌-리프 노드는 시점 추정함수 Vi(x)(여기서 i는 노드의 번호, x는 현재 서브 윈도우 영상을 나타낸다)를 가지며, 3차원 벡터값 [a1,a2,a3]을 출력한다. ai(i는 1,2,3)의 값은 현재 서브 윈도우영상이 각 시점 세트 혹은 개별 시점 클래스에 속하는지 여부를 나타낸 다. 만약, 임의의 넌-리프 노드의 출력값 [a1,a2,a3]이 모두 '0'의 값을 가지는 경우 현재 서브 윈도우영상은 다음 레벨로 전달되지 않고, 특히 N1에서 모두 0인 출력값을 가지거나 N2 내지 N4에서 모두 0인 출력값을 가지는 경우 현재 서브 윈도우영상은 비얼굴(non-face)로 판단된다. 한편, 시점 추정부(210)에 있어서 시점 클래스를 추정하는 예를 도 10을 참조하여 설명하기로 한다.
도 10에 있어서, 레벨 1에서 넌-리프 노드 N1의 출력값이 [0,1,1]인 경우 현재 서브 윈도우영상은 레벨 2의 넌-리프 노드 N3 및 N4 로 전달된다. 넌-리프 노드 N3의 출력값이 [0,1,0]인 경우 제5 시점 클래스로 추정된다. 넌-리프 노드 N4의 출력값이 [1,0,0]인 경우 제7 시점 클래스로 추정된다. 이와 같이 현재 서브 윈도우영상에 대해서는 적어도 하나 이상의 시점 클래스가 추정될 수 있다. 이와 같이 구현하는 경우 누적에러를 대폭 감소시킬 수 있다.
도 11은 도 2에 도시된 독립 시점 검증부(230)의 세부적인 구성을 보여주는 블럭도로서, 제1 내지 제N 시점 클래스 검증부(1110, 1130, 1150)로 이루어진다. 일예에서와 같이 9개의 시점 클래스가 존재하는 경우, 독립 시점 검증부(230)에는 9개의 시점 클래스 검증부를 포함한다. 제1 내지 제N 시점 클래스 검증부(1110, 1130, 1150)는 도 4에 도시된 바와 같이 각 스테이지가 캐스캐이드로 연결된 부스팅 구조로 구현할 수 있다.
한편, 시점 검출 및 검증에 대한 전체 오경보율(FAR; False Alarm Rate)는 다음 수학식 5에 의하여 산출될 수 있다.
Figure 112007007450748-pat00012
여기서, wi는 각 시점 클래스(i)에 할당된 가중치로서, 통계적으로 분포도가 높은 시점 클래스에는 높은 가중치를, 분포도가 낮은 시점 클래스에는 낮은 가중치를 할당한다. fi는 각 시점 클래스(i)의 오경보율을 나타낸다. 예를 들어, 정면 얼굴에 해당하는 제5 시점 클래스(vc5)에서 높은 가중치를 가지게 된다. 가중치의 합이 1이 되는 이유는 하나의 얼굴에 하나의 시점 클래스가 할당되기 때문이다. fi는 각 시점 클래스(i)의 오경보율을 나타낸다. 이에 따르면, 얼굴의 시점 클래스를 구하기 위해서 모든 시점 클래스 검증부를 모두 거쳐야 하기 때문에 전체 오경보율을 계산할 경우, 각 시점 클래스의 오경보율을 모두 가산하여 산출해야 하는 기존의 방법에 비해서 훨씬 오경보율이 감소함을 알 수 있다.
한편, 본 발명의 얼굴검출 알고리즘에 따르면, 얼굴의 각 시점 클래스의 추정 및 검증에는 동일한 검출 시간을 필요로 한다.
본 발명에서 사용되는 문턱치는 통계적 혹은 실험적 방법에 의하여 미리 최적의 값으로 설정될 수 있다.
상술한 실시예에 따른 본 발명에 따른 얼굴시점 결정방법 및 장치와 얼굴검출장치 및 방법은 얼굴 이외에 모바일 폰, 차량, 기구(instrument) 등과 같은 일반 적인 객체의 포즈 추정 및 검출에도 바로 적용될 수 있다.
다음, 본 발명에 따른 얼굴검출방법의 성능평가를 위하여 모의실험한 결과를 도 12 내지 도 14를 참조하여 설명하기로 한다.
도 12는 서로 다른 촬상환경에서의 얼굴검출 결과를 보여주기 위한 것으로서, 흐릿한 영상(1210), 불량한 조명하에서 얻어진 영상(1230), 복잡한 배경을 갖는 영상(1250)의 경우에도 포즈 혹은 회전 정도에 무관하게 얼굴 위치(1211,1231,1251) 및 시점 클래스(1213,1233,1253)가 정확하게 검출됨을 볼 수 있다. 이때 사용된 데이터로서, 트레이닝 데이터베이스는 시점당 3000개의 샘플 즉, 서브 윈도우영상으로 이루어지고, 테스팅 데이터베이스는 시점당 1000개의 샘플로 이루어진다. 또한, 시점당 3000개의 샘플로 트레이닝된 모델을 사용한다.
도 13은 CMU(Carnegie Mellon University) 데이터베이스에 존재하는 영상에 대한 얼굴검출 결과를 보여주기 위한 것으로서, 한장의 영상에 서로 다른 포즈를 갖는 복수의 얼굴이 존재하는 경우에도 한장의 영상에 포함된 모든 얼굴의 위치 및 시점 클래스가 정확하게 검출됨을 볼 수 있다.
도 14는 CMU 데이터베이스에 존재하는 영상에 대한 얼굴검출 결과를 보여주기 위한 것으로서, 평면내 회전(RIP)을 갖는 얼굴 혹은 평면외 회전(ROP)을 갖는 얼굴이 존재하는 경우에도 얼굴 위치 및 시점 클래스가 정확하게 검출됨을 볼 수 있다.
상기한 모의실험 결과에 따르면, 얼굴검출 알고리즘의 수행속도는 프레임 영상의 사이즈가 320 X 240인 경우 초당 8.5장의 프레임영상을 처리할 수 있으므로 고속으로 수행됨을 알 수 있고, 시점 추정 및 검증의 정확도는 트레이닝 데이터베이스의 경우 96.8%, 테스팅 데이터베이스의 경우 85.2%로서 매우 우수함을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 일차적으로 프레임 영상, 구체적으로는 서브 윈도우영상이 얼굴에 해당하는지 여부를 판단한 다음, 얼굴에 해당하는 서브 윈도우영상에 대하여 시점 추정 및 검증을 수행함으로써, 영상에 포함된 얼굴을 시점 클래스와 함께 고속으로 정확하게 검출할 수 있는 이점이 있다.
본 발명은 신용카드, 현금카드, 전자주민등록증 등과, 신분확인을 필요로 하는 카드류, 단말기 접근제어, 공공장소 관제시스템, 전자사진첩 및 범죄자사진인식 등 같이 얼굴인식을 필요로 하는 응용분야의 전단계로 널리 적용될 수 있을 뿐 아니라, 특히 디지털 카메라의 자동 포커싱 동작에 유용하게 적용될 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (22)

  1. 얼굴에 해당하는 현재 영상에 대하여 적어도 하나 이상의 시점 세트를 추정하는 시점 추정부; 및
    상기 추정된 적어도 하나 이상의 시점 세트에 대하여 각각 상기 현재 영상의 시점에 해당하는 시점 클래스가 존재하는지를 검증하는 시점 검증부를 포함하며,
    상기 각 시점 세트는 복수개의 시점 클래스로 이루어지며, 각 시점 클래스는 대응하는 시점 범위를 갖는 것을 특징으로 하는 얼굴시점 결정장치.
  2. 제1 항에 있어서, 상기 시점 추정부는 복수개의 레벨이 캐스케이드 구조로 연결되어 구현되며, 상위 레벨은 전체 혹은 부분 시점 세트로 이루어지고, 하위 레벨은 개별 시점 클래스로 이루어지는 것을 특징으로 하는 얼굴시점 결정장치.
  3. 제2 항에 있어서, 상기 시점 추정부는 상기 전체 시점 세트에서 적어도 하나 이상의 상기 부분 시점 세트를 추정하고, 추정된 적어도 하나 이상의 부분 시점 세트에서 적어도 하나 이상의 개별 시점 클래스를 추정하는 것을 특징으로 하는 얼굴시점 결정장치.
  4. 제1 항에 있어서, 상기 시점 검증부는 복수개의 시점 클래스 검증부를 포함하며, 각 시점 클래스 검증부는 복수개의 분류기를 포함하는 각 스테이지가 캐스케이드 구조로 연결되어 구현되는 것을 특징으로 하는 얼굴시점 결정장치.
  5. 얼굴에 해당하는 현재 영상에 대하여 적어도 하나 이상의 시점 세트를 추정하는 단계; 및
    상기 추정된 적어도 하나 이상의 시점 세트에 대하여 각각 상기 현재 영상의 시점에 해당하는 시점 클래스가 존재하는지를 검증하는 단계를 포함하며,
    상기 각 시점 세트는 복수개의 시점 클래스로 이루어지며, 각 시점 클래스는 대응하는 시점 범위를 갖는 것을 특징으로 하는 얼굴시점 결정방법.
  6. 제5 항에 있어서, 상기 시점 추정단계는
    모든 시점 클래스를 포함하는 전체 시점 세트에서 적어도 하나 이상의 부분 시점 세트를 추정하는 단계; 및
    추정된 적어도 하나 이상의 부분 시점 세트에서 적어도 하나 이상의 개별 시점 클래스를 추정하는 단계를 포함하는 것을 특징으로 하는 얼굴시점 결정방법.
  7. 제5 항 또는 제6 항에 기재된 얼굴시점 결정방법을 실행할 수 있는 프로그램을 기재한 컴퓨터로 읽을 수 있는 기록매체.
  8. 현재 영상이 얼굴에 해당하는지 여부를 판단하는 비얼굴 판단부;
    상기 현재 영상이 얼굴에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 세트를 추정하는 시점 추정부; 및
    상기 추정된 적어도 하나 이상의 시점 세트에 대하여 각각 상기 현재 영상의 시점에 해당하는 시점 클래스가 존재하는지를 검증하는 시점 검증부를 포함하며,
    상기 각 시점 세트는 복수개의 시점 클래스로 이루어지며, 각 시점 클래스는 대응하는 시점 범위를 갖는 것을 특징으로 하는 얼굴검출장치.
  9. 제8 항에 있어서, 상기 비얼굴 판단부는 하 특징을 이용하는 것을 특징으로 하는 얼굴검출장치.
  10. 제9 항에 있어서, 상기 비얼굴 판단부는 복수개의 분류기를 포함하는 각 스테이지가 캐스케이드 구조로 연결되어 구현되는 것을 특징으로 하는 얼굴검출장치.
  11. 제8 항에 있어서, 상기 시점 추정부는 복수개의 레벨이 캐스케이드 구조로 연결되어 구현되며, 상위 레벨은 전체 혹은 부분 시점 세트로 이루어지고, 하위 레벨은 개별 시점 클래스로 이루어지는 것을 특징으로 하는 얼굴검출장치.
  12. 제11 항에 있어서, 상기 시점 추정부는 상기 전체 시점 세트에서 적어도 하나 이상의 상기 부분 시점 세트를 추정하고, 추정된 적어도 하나 이상의 부분 시점 세트에서 적어도 하나 이상의 개별 시점 클래스를 추정하는 것을 특징으로 하는 얼굴검출장치.
  13. 제8 항에 있어서, 상기 시점 검증부는 복수개의 시점 클래스 검증부를 포함하며, 각 시점 클래스 검증부는 복수개의 분류기를 포함하는 각 스테이지가 캐스케이드 구조로 연결되어 구현되는 것을 특징으로 하는 얼굴검출장치.
  14. 현재 영상이 얼굴에 해당하는지 여부를 판단하는 단계;
    상기 현재 영상이 얼굴에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 세트를 추정하는 단계; 및
    상기 추정된 적어도 하나 이상의 시점 세트에 대하여 각각 상기 현재 영상의 시점에 해당하는 시점 클래스가 존재하는지를 검증하는 단계를 포함하며,
    상기 각 시점 세트는 복수개의 시점 클래스로 이루어지며, 각 시점 클래스는 대응하는 시점 범위를 갖는 것을 특징으로 하는 얼굴검출방법.
  15. 제14 항에 있어서, 상기 현재 영상이 얼굴에 해당하는지 여부를 판단하는 단계는 하 특징을 이용하는 것을 특징으로 하는 얼굴검출방법.
  16. 제14 항에 있어서, 상기 현재 영상이 얼굴에 해당하는지 여부를 판단하는 단계는 복수개의 분류기를 포함하는 각 스테이지가 캐스케이드 구조로 연결되는 경우, 각 분류기에 대응하는 가중 하 특징 분포를 갖는 특징 스코프를 복수의 빈으로 분할하고, 하 특징 산출함수의 값이 속하는 빈의 신뢰도값을 해당 분류기의 출력으로 결정하는 것을 특징으로 하는 얼굴검출방법.
  17. 제16 항에 있어서, 상기 현재 영상이 얼굴에 해당하는지 여부를 판단하는 단계는 상기 가중 하 특징 분포에서 아웃라이어에 해당하는 부분을 제거한 후, 복수의 빈으로 분할하는 것을 특징으로 하는 얼굴검출방법.
  18. 제16 항에 있어서, 각 스테이지의 출력값은
    Figure 112007007450748-pat00013
    (여기서, hi(x)는 현재 서브 윈도우 영상(x)에 대한 i번째 분류기의 출력을 나타낸다)로 나타내고,
    Figure 112007007450748-pat00014
    (여기서, f(x)는 하 특징 산출함수,
    Figure 112007007450748-pat00015
    는 i번째 분류기의 (j-1) 번째 빈과 j 번째 빈의 문턱치를 각각 나타낸다)인 것을 특징으로 하는 얼굴검출방법.
  19. 제18 항에 있어서, i번째 분류기의 j번째 빈의 신뢰도값
    Figure 112007007450748-pat00016
    는
    Figure 112007007450748-pat00017
    (여기서, W는 가중된 특징 분포, FG 는 가우시안 필터, '+' 및 '-'는 포지티 브 클래스와 네거티브 클래스, WC는 하 특징 분포에서 아웃라이어를 제거하기 위하여 사용되는 상수값을 각각 나타낸다)
    로 얻어지는 것을 특징으로 하는 얼굴검출방법.
  20. 제14 항에 있어서, 상기 시점 추정단계는
    모든 시점 클래스를 포함하는 전체 시점 세트에서 적어도 하나 이상의 부분 시점 세트를 추정하는 단계; 및
    추정된 적어도 하나 이상의 부분 시점 세트에서 적어도 하나 이상의 개별 시점 클래스를 추정하는 단계를 포함하는 것을 특징으로 하는 얼굴검출방법.
  21. 제14 항 내지 제20 항 중 어느 한 항에 기재된 얼굴검출방법을 실행할 수 있는 프로그램을 기재한 컴퓨터로 읽을 수 있는 기록매체.
  22. 현재 영상이 기설정된 객체에 해당하는지 여부를 판단하는 단계;
    상기 현재 영상이 상기 객체에 해당하는 경우 상기 현재 영상에 대하여 적어도 하나 이상의 시점 세트를 추정하는 단계; 및
    상기 추정된 적어도 하나 이상의 시점 세트에 대하여 각각 상기 현재 영상의 시점에 해당하는 시점 클래스가 존재하는지를 검증하는 단계를 포함하며,
    상기 각 시점 세트는 복수개의 시점 클래스로 이루어지며, 각 시점 클래스는 대응하는 시점 범위를 갖는 것을 특징으로 하는 객체검출방법.
KR1020070007663A 2007-01-24 2007-01-24 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법 KR101330636B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070007663A KR101330636B1 (ko) 2007-01-24 2007-01-24 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
US11/892,786 US20080175447A1 (en) 2007-01-24 2007-08-27 Face view determining apparatus and method, and face detection apparatus and method employing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070007663A KR101330636B1 (ko) 2007-01-24 2007-01-24 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법

Publications (2)

Publication Number Publication Date
KR20080069878A KR20080069878A (ko) 2008-07-29
KR101330636B1 true KR101330636B1 (ko) 2013-11-18

Family

ID=39641250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070007663A KR101330636B1 (ko) 2007-01-24 2007-01-24 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법

Country Status (2)

Country Link
US (1) US20080175447A1 (ko)
KR (1) KR101330636B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7986828B2 (en) * 2007-10-10 2011-07-26 Honeywell International Inc. People detection in video and image data
KR101362768B1 (ko) 2007-11-23 2014-02-14 삼성전자주식회사 객체 검출 방법 및 장치
FI121901B (fi) * 2008-10-17 2011-05-31 Visidon Oy Objektien ilmaiseminen ja seuraaminen digitaalisissa kuvissa
US8144945B2 (en) * 2008-12-04 2012-03-27 Nokia Corporation Method, apparatus and computer program product for providing an orientation independent face detector
KR101179497B1 (ko) 2008-12-22 2012-09-07 한국전자통신연구원 얼굴 검출 방법 및 장치
CN101894262B (zh) * 2009-05-20 2014-07-09 索尼株式会社 对图像进行分类的方法和设备
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
CN106326815B (zh) * 2015-06-30 2019-09-13 芋头科技（杭州）有限公司 一种人脸图像识别方法
KR20170059163A (ko) * 2015-11-20 2017-05-30 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN109948489A (zh) * 2019-03-09 2019-06-28 闽南理工学院 一种基于视频多帧人脸特征融合的人脸识别系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202543A (ja) 2004-01-14 2005-07-28 Canon Inc 被写体抽出方法
US20050271245A1 (en) * 2004-05-14 2005-12-08 Omron Corporation Specified object detection apparatus
KR20060031638A (ko) * 2003-07-15 2006-04-12 오므론 가부시키가이샤 대상 결정 장치 및 촬상 장치
US20060120604A1 (en) * 2004-12-07 2006-06-08 Samsung Electronics Co., Ltd. Method and apparatus for detecting multi-view faces

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
US7024033B2 (en) * 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
CN100472556C (zh) * 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
US7693301B2 (en) * 2006-10-11 2010-04-06 Arcsoft, Inc. Known face guided imaging method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031638A (ko) * 2003-07-15 2006-04-12 오므론 가부시키가이샤 대상 결정 장치 및 촬상 장치
JP2005202543A (ja) 2004-01-14 2005-07-28 Canon Inc 被写体抽出方法
US20050271245A1 (en) * 2004-05-14 2005-12-08 Omron Corporation Specified object detection apparatus
US20060120604A1 (en) * 2004-12-07 2006-06-08 Samsung Electronics Co., Ltd. Method and apparatus for detecting multi-view faces

Also Published As

Publication number Publication date
US20080175447A1 (en) 2008-07-24
KR20080069878A (ko) 2008-07-29

Similar Documents

Publication Publication Date Title
KR101330636B1 (ko) 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
KR100580626B1 (ko) 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
CN108596128B (zh) 对象识别方法、装置及存储介质
JP4517633B2 (ja) 対象物検出装置及び方法
Pless et al. Evaluation of local models of dynamic backgrounds
Roth et al. On-line conservative learning for person detection
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
US20130084006A1 (en) Method and Apparatus for Foreground Object Detection
US9489566B2 (en) Image recognition apparatus and image recognition method for identifying object
JP4553044B2 (ja) 集団学習装置及び方法
US11893798B2 (en) Method, system and computer readable medium of deriving crowd information
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN110135369A (zh) 一种行为识别方法、系统、设备及计算机可读存储介质
WO2019188458A1 (en) Method, system, and computer readable medium for performance modeling of crowd estimation techniques
CN102314591A (zh) 静止前景物体的检测方法和设备
WO2022049704A1 (ja) 情報処理システム、情報処理方法、及びコンピュータプログラム
Borhade et al. Advanced driver assistance system
US20240221426A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN112488985A (zh) 图像质量确定方法、装置及设备
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
Briassouli et al. Robust temporal activity templates using higher order statistics
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
Muthuswamy et al. Salient motion detection through state controllability
Hati et al. Review and improvement areas of mean shift tracking algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee