KR101362768B1 - 객체 검출 방법 및 장치 - Google Patents

객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR101362768B1
KR101362768B1 KR1020070120357A KR20070120357A KR101362768B1 KR 101362768 B1 KR101362768 B1 KR 101362768B1 KR 1020070120357 A KR1020070120357 A KR 1020070120357A KR 20070120357 A KR20070120357 A KR 20070120357A KR 101362768 B1 KR101362768 B1 KR 101362768B1
Authority
KR
South Korea
Prior art keywords
stage
feature value
classifier
value
threshold value
Prior art date
Application number
KR1020070120357A
Other languages
English (en)
Other versions
KR20090053492A (ko
Inventor
김정배
이성덕
이종하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070120357A priority Critical patent/KR101362768B1/ko
Priority to US12/078,737 priority patent/US8666175B2/en
Publication of KR20090053492A publication Critical patent/KR20090053492A/ko
Application granted granted Critical
Publication of KR101362768B1 publication Critical patent/KR101362768B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 검출 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 객체 검출 방법은 제i스테이지의 분류기에서 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 계산한 특징값과 제i 스테이지의 제1 임계값을 비교하고, 특징값과 제i 스테이지의 제1 임계값의 비교 결과에 따라 특징값과 제i 스테이지의 제2 임계값을 비교하고, 특징값과 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프함으로써, 반복적인 계산을 피하고 고속으로 입력 영상에서 객체를 검출할 수 있다.
객체, 검출, 임계값, 점프

Description

객체 검출 방법 및 장치{Method and apparatus for detecting an object}
본 발명은 객체 검출 방법 및 장치에 관한 것으로, 더 상세하게는 다단 분류기(multi-stage classifier)를 이용하여 객체, 특히 얼굴을 검출하는 방법 및 장치에 관한 것이다.
최근 들어, 사회가 고도의 정보화 사회로 발달해 감에 따라 정보의 보안 및 고객 관리 등과 같은 분야에서 소비자의 욕구가 증대되고, 이에 따라 해당 관리자의 확인 및 방문객의 보안 등에 관한 보다 신뢰성 있는 시스템을 요구하는 추세이다. 이에 따라, 근래에는 상술한 보안시스템뿐만 아니라, 검문, 대형 매장에서의 고객 관리, 개인 신변보호, 무인 자판대 등 이용자의 얼굴 검색분야 및, 컴퓨터의 정보처리능력과 인터넷 등 광범위 통신망을 이용한 다양한 분야에서 사용되고 있는 얼굴 인식방법이 각광을 받고 있다.
얼굴 검출 기술은 디지털 콘텐츠 관리, 얼굴 인식, 3차원 얼굴 모델링, 애니메이션, 아바타, 스마트 감시(smart surveillance), 혹은 디지털 엔터테인먼트 등과 같은 다양한 분야에 적용되는 기본 기술 중 하나로, 그 중요성이 점점 커지고 있다.
고속 물체 검출 기술은, 특히 고속 얼굴 검출이 필요한 분야, 예를 들면 얼굴 검출 기반의 3A(AE/AWB/AF) 카메라 , 얼굴 검출 기반 ATM DVR, 얼굴 인증 폰, 인물 기반 포토 앨범 분류 및 검색 등에 다양하게 이용되고 있다.
최근 얼굴 검출 기술에 대한 많은 연구가 이루어지고 있으나, 실제 생활에 적용되기에는 아직 알고리즘의 검출신뢰성이 낮고, 검출속도가 만족스럽지 못하다. 이러한 문제를 해결하기 위해서, 얼굴 샘플 패턴으로부터 결정 바운더리(decision boundary)를 학습시켜 얼굴 검출에 이용하는 방법이 연구되고 있다.
일반적인 고속 물체 검출 기법은 입력 영상으로부터 특징을 추출하여 캐스케이드 구조의 멀티 분류기에서 충분한 객체 특징을 보이지 않는 입력은 버리면서, 연속적으로 스테이지를 진행하거나, 또는 충분한 객체 특징을 보이지 않는 입력뿐만 아니라 객체 특징을 보이는 입력은 객체로 분류하면서 캐스케이드 구조의 분류기에서 분류 계산 동작을 순차적으로 진행시킨다.
하지만, 전술한 종래기술들의 경우, 영상 입력에 대해서는 모든 스테이지에서 연산을 수행해야 하고, 일부 객체의 특징을 보이지 않는 입력에 대해서도 상당한 스테이지까지 진행을 수행해야만 하므로, 계산량이 많다는 한계가 있다
본 발명은 일반적인 멀티-스테이지 구조의 분류기에서 스테이지를 점프할 수 있는 구조를 적용함으로써, 반복적인 계산을 피하고 고속으로 입력 영상에서 객체를 검출할 수 있는 객체 검출 방법 및 장치를 제공하는 데 목적이 있다.
본 발명의 기술적 과제를 달성하기 위한 멀티-스테이지의 분류기를 이용한 객체 검출 방법은 제i(i는 양의 정수) 스테이지의 분류기에서 상기 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 상기 계산한 특징값과 제i 스테이지의 제1 임계값을 비교하고, 상기 특징값과 제i 스테이지의 제1 임계값의 비교 결과에 따라 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하고, 상기 특징값과 상기 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프하여 이루어진다.
본 발명의 다른 기술적 과제를 달성하기 위한 멀티-스테이지의 분류기를 이용한 객체 검출 장치는 제i(i은 양의 정수) 스테이지의 분류기에서 상기 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 상기 계산한 특징값과 제i 스테이지의 제1 임계값을 비교하고, 상기 특징값과 제i 스테이지의 제1 임계값의 비교 결과에 따라 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하고, 상기 특징값과 상기 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프하는 멀티-스테이지의 분류기를 포함한 객체 분류부와, 상기 객체 분류부의 분류 결과를 기초로 상기 입력 영상에서 소정의 객체가 존재하는지를 판단하는 결정부를 포함하여 이루어진다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 포함한다.
본 발명의 세부 및 개선 사항은 종속항에 개시된다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 객체 검출 시스템(100)의 개략적인 블록도이다.
도 1을 참조하면, 객체 검출 시스템(100)은 객체 검출 장치(110), 저장부(120) 및 트레이닝 부(130)를 포함한다.
객체 검출 시스템(100)은 입력 영상으로부터 객체의 인스턴스들(instances)를 검출한다. 여기서, 인스턴스는 미리 정의된 객체들의 카테고리를 의미하며, 객체는 얼굴, 나무, 자동차 등의 카테고리를 포함한다. 입력 영상은 사진 이미지, 비디오 이미지, 컴퓨터로 생성된 이미지, 또는 다른 디지털 이미지들에 기초한 비트단위, 즉 픽셀들로 구성된 디지털 영상이다. 객체 검출 시스템(100)을 통해 출력된 출력 영상은 검출된 객체 인스턴스들을 나타내는 영상이다.
또한, 입력 영상은 소정 크기의 서브 윈도우로 분할되어 객체 검출 시스템(100)에 입력될 수 있다. 예를 들면 서브 윈도우는 24×24 픽셀의 크기로 입력 영상을 분할할 수 있다.
객체 검출 장치(110)는 입력 영상에서 소정의 객체 인스턴스를 검출하는데, 이러한 객체 검출 장치(110)는 소프트웨어 프로그램, 하드웨어, 펌웨어, 모듈 등으로 구성할 수 있다. 객체 검출 장치(110)는 본 발명의 바람직한 실시 예에 따라 멀티-스테이지 구조의 분류기를 이용하여 입력 영상에서 객체 인스턴스를 검출한다. 객체 검출 장치(110)의 구체적인 구성은 도 2를 참조하여 후술한다.
저장부(120)는 객체 검출 장치(110)와 연결된 데이터 저장 장치로서, 입력 영상, 처리 중인 영상, 출력 영상 등을 저장한다.
트레이닝 부(130)는 객체 검출 장치(110)에 포함된 각각의 스테이지의 분류기들을 트레이닝한다. 트레이닝 부(130)는 실제 검출 동작이 이루어지기 전에 분류기들을 트레이닝시키는데, 객체인지 아닌지를 보이는 네거티브 샘플들뿐만 아니라 공지의 객체 인스턴스들을 포함한 많은 영상들을 포함한 트레이닝 데이터 셋을 이용하여 분류기를 훈련한다.
도 2는 본 발명의 도 1에 도시된 객체 검출 장치(100)의 개략적인 블록도이다.
도 2를 참조하면, 객체 검출 장치(100)는 객체 분류부(200) 및 판단부(210)를 포함한다.
객체 분류부(200)는 멀티 스테이지 구조의 분류기들을 포함하며, 제i 스테이지의 분류기에서 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 계산한 특징값과 제i 스테이지의 제1 임계값을 비교한다. 여기서, 특징들은 입력 영상의 픽셀 단위로 계산하는 것을 피하여 계산속도를 높이기 위한 것으로, 객체 검출에 사용되는 공지의 특징들, 예를 들면 하(Haar) 특징, 가보 웨이브렛(gabor wavelet) 특징, 다양한 수의 직사각형(rectangular) 특징들을 사용할 수 있다.
또한, 제i 스테이지의 제1 임계값의 비교 결과에 따라 특징값과 제i 스테이지의 제2 임계값을 비교하고, 특징값과 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프하도록 한다.
여기서, 제i 스테이지의 제1 임계값은 입력 영상을 네거티브 클래스로 분류하는 기준값, 즉 네거티브 임계값(Ti n)이며, 제2 임계값은 입력 영상의 특징값을 다음 스테이지, 즉 제i+1 스테이지의 분류기에서 계산하지 않도록 다다음 스테이지, 즉 제i+2 스테이지로 점프하도록 하는 기준값, 즉 점프 임계값(Ti j)이다.
본 발명의 일 실시 예에서, 객체 분류부(200)는 특징값이 제i 스테이지의 제1 임계값보다 작은 경우, 특징값에 상응하는 입력 영상을 비-객체로 분류한다. 그리고 특징값이 제i 스테이지의 네거티브 임계값보다 큰 경우, 특징값과 제i 스테이지의 점프 임계값을 비교하여 특징값이 제i 스테이지의 점프 임계값보다 큰 경우, 제i+2 스테이지의 분류기로 점프하고, 특징값이 제i 스테이지의 점프 임계값보다 작은 경우, 제i+1 스테이지의 분류기로 이동시킨다.
하지만, 반대의 경우, 예를 들면 특징값이 제i 스테이지의 네거티브 임계값보다 작은 경우, 특징값과 제i 스테이지의 점프 임계값을 비교하여 특징값이 제i 스테이지의 점프 임계값보다 작은 경우, 제i+2 스테이지의 분류기로 점프하고, 특 징값이 제i 스테이지의 점프 임계값보다 큰 경우, 제i+1 스테이지의 분류기로 이동시키는 것도 당업자에게는 자명하다.
판단부(210)는 객체 분류부의 분류 결과를 기초로 입력 영상에서 소정의 객체가 존재하는지를 판단한다. 즉, 입력 영상 또는 입력 영상의 서브 윈도우의 특징값을 기초로 각각의 스테이지들에서 분류된 객체 또는 비-객체 결과에 따라 입력 영상에서 최종 객체가 존재하는지는 판단한다.
도 3A 내지 3C는 본 발명의 다른 실시 예에 따른 멀티 임계값과 멀티-스테이지 구조의 분류기를 이용한 객체 검출을 설명하기 위한 도면이다.
도 3A는 본 발명의 바람직한 실시 예에 따른 멀티 임계값 및 멀티 스테이지 구조의 분류기를 나타낸다.
도 3A를 참조하면, i 스테이지부터 i+5 스테이지의 분류기들(201 내지 206)이 도시되어 있으며, 각각의 스테이지마다 2개의 임계값, 네거티브 임계값과 점프 임계값이 존재한다. 여기서, F는 현재 스테이지의 분류기에 입력된 입력 영상 또는 서브 윈도우가 네거티브 임계값과 비교한 결과 비-객체로 분류된 것을 의미하며, T는 마지막 스테이지에서 입력 영상 또는 서브 윈도우가 객체로 분류된 것을 의미한다.
도 3B를 참조하면, 입력 영상을 분할한 서브 윈도우가 i스테이지의 분류기(201)에 입력되면, 서브 윈도우로부터 추출한 특징을 이용하여 특징값을 계산하고, 특징값이 네거티브 임계값(Ti n)보다 작은 입력은 비-객체로 분류한다(301). 또 한, 현재 스테이지, 즉 i 스테이지에서 비-객체로 분류되지 못하는 입력들 중에서 다음번 스테이지, 즉 i+1 스테이지에서도 비-객체로 분류되지 못하는 입력들은 i+2 스테이지로 바로 점프한다(303). 즉, 입력 영상의 특징값이 점프 임계값(Ti j)보다 큰 입력은 다다음 스테이지, 즉 i+2 스테이지의 분류기(203)로 점프시킨다. 결과적으로 다음 스테이지, i+1 스테이지에서는 302 영역만을 계산하므로, i+1 스테이지에서의 계산량을 줄일 수 있다.
도 3C를 참조하면, i 스테이지와 i+1 스테이지의 네거티브 샘플과 포지티브 샘플들의 스테이지 분류기 출력이 각각 도시되어 있다. i 스테이지에서 네거티브 임계값(Ti n)보다 작은 영역(301)에는 네거티브 샘플들만이 분포하고 있다. 즉, 분류기에 입력된 서브 윈도우의 특징값이 비-객체일 확률이 높은 것이므로 이 영역은 비-객체로 분류된다. 또한, i 스테이지에서 점프 임계값(Ti j)보다 큰 영역(303)은 i+1 스테이지에서도 비-객체로 분류되지 못하는 영역이므로, 이는 i+1 스테이지에서 계산을 수행하지 않고 다다음 스테이지, 즉 i+2 스테이지로 점프시킨다. 이러한 점프 임계값(Ti j)은 도 3C에 도시된 바와 같이, i+1 스테이지의 네거티브 임계값(Ti +1 n)으로부터 결정한다.
i 스테이지의 점프 임계값(Ti j)은 i+1 스테이지에서 생성된 학습DB로부터 백 워드 학습을 통해서 결정한다. 즉, i+1 스테이지에서 비-객체로 분류된 네거티브 샘플들을 수집한다. 이는 다음 수학식 1과 같이, i+1 스테이지의 네거티브 임계값(Ti +1 n)보다 작은 i+1 스테이지의 분류기 출력들, hi +1(x)에 해당하는 샘플들을 수집한다. 그리고 다음 수학식 2와 같이, 수집한 샘플들을 i 스테이지의 분류기에 입력하고, 분류기 출력의 최대값을 점프 임계값으로 결정한다.
또한, 점프 임계값을 결정할 때, 네거티브 샘플 셋들의 아웃라이어(outlier)들이 롱 테일로 인하여 임계값이 너무 커질 우려가 있으므로, 전체 분포의 상위 몇% 정도의 아웃라이어를 제외하고 결정할 수 있다. 본 발명의 일 실시 예인 도 3C에 도시된 점프 임계값은 네거티브 샘플 셋의 상위1-3% 정도의 아웃라이어를 제외하고 결정한다.
Figure 112007084497441-pat00001
Figure 112007084497441-pat00002
여기서, Ni +1 는 i+1 스테이지의 네거티브 샘플 셋이고, hi 는 i 스테이지의 분류기이고, Ti n 은 i 스테이지의 네거티브 임계값이고, Ti j 는 i 스테이지의 점프 임계값이다.
여기서, 네거티브 임계값(Ti n)은 종래의 아다부스트(Adaboost) 학습 방법을 통해 결정할 수 있으며, 이는 Viola 등이 개시한 "Rapid Object Detection using a Boosted Cascade of Simple Features" 및 미국 특허 7,099,510호에 참조하면 알 수 있다.
따라서, 도 3C에 도시된 303 영역에 대해 i+1 스테이지에서의 계산이 필요 없으므로 객체 검출 속도를 향상시킬 수 있다.
도 4A 내지 4C는 본 발명의 또 다른 실시 예에 따른 멀티 임계값과 멀티-스테이지 구조의 분류기를 이용한 객체 검출을 설명하기 위한 도면이다.
도 4A는 본 발명의 바람직한 실시 예에 따른 멀티 임계값 및 멀티 스테이지 구조의 분류기를 나타낸다.
도 4A를 참조하면, i 스테이지부터 i+5 스테이지의 분류기들(201 내지 206)이 도시되어 있으며, 각각의 스테이지마다 3개의 임계값, 네거티브 임계값, 포지티브 임계값과 점프 임계값이 존재한다. 여기서, F는 현재 스테이지의 분류기에 입력된 입력 영상 또는 서브 윈도우가 네거티브 임계값과 비교한 결과 비-객체로 분류된 것을 의미하며, T는 현재 스테이지의 분류기에 입력된 입력 영상 또는 서브 윈도우가 포지티브 임계값(Ti p)과 비교한 결과 객체로 분류된 것을 의미한다.
도 4B를 참조하면, 입력 영상을 분할한 서브 윈도우가 i스테이지의 분류기(201)에 입력되면, 서브 윈도우로부터 추출한 특징을 이용하여 특징값을 계산하고, 특징값이 네거티브 임계값(Ti n)보다 작은 입력은 비-객체로 분류한다(401). 그리고 특징값이 포지티브 임계값(Ti p)보다 큰 입력들은 객체로 분류한다(404). 또한, 현재 스테이지, 즉 i 스테이지에서 비-객체로 분류되지 못하는 입력들 중에서 다음번 스테이지, 즉 i+1 스테이지에서도 비-객체로 분류되지 못하는 입력들은 i+2 스테이지로 바로 점프한다(403). 즉, 입력 영상의 특징값이 점프 임계값(Ti j)보다 큰 입력은 다다음 스테이지, 즉 i+2 스테이지의 분류기(203)로 점프시킨다. 결과적으로, 다음번 스테이지, 즉 i+1 스테이지에서는 402 영역에 대해서만 계산을 수행한다.
도 4C를 참조하면, i 스테이지와 i+1 스테이지의 네거티브 샘플과 포지티브 샘플들의 스테이지 분류기 출력이 각각 도시되어 있다. i 스테이지에서 네거티브 임계값(Ti n)보다 작은 영역(401)에는 네거티브 샘플들만이 분포하고 있다. 즉, 분류기에 입력된 서브 윈도우의 특징값이 비-객체일 확률이 높은 것이므로 이 영역은 비-객체로 분류된다. 또한, 특징값이 포지티브 임계값(Ti p)보다 큰 영역(404)에는 포지티브 샘플만이 분포하고 있다. 즉, 분류기에 입력된 서브 윈도우의 특징값이 객체일 확률이 높은 것이므로 이 영역은 객체로 분류된다. 또한, i 스테이지에서 점프 임계값(Ti j)보다 큰 영역(303)은 i+1 스테이지에서도 비-객체로 분류되지 못하는 영역이므로, 이는 i+1 스테이지에서 계산을 수행하지 않고 다다음 스테이지, 즉 i+2 스테이지로 점프시킨다. 이러한 점프 임계값(Ti j)은 도 3C를 참조하여 설명한 바와 같다.
여기서, 포지티브 임계값(Ti p)는 i 스테이지의 학습 DB로부터 결정하는 포워드 학습방법을 이용한다. 즉, 다음 수학식 3과 같이, 학습한 네거티브 샘플 셋를 i 스테이지의 분류기에 입력하여, 그 최대값을 포지티브 임계값으로 결정한다.
Figure 112007084497441-pat00003
여기서, Ni 는 i 스테이지의 네거티브 샘플 셋이고, hi 는 i 스테이지의 분류기이고, Ti p 는 i 스테이지의 포지티브 임계값이다.
다시 도 4C를 참조하면, 403 영역에서 대해서는 i+1 스테이지에서의 계산이 필요 없으며, 404 영역에 대해서는 이후 스테이지. 즉 i+1 내지 i+5 스테이지에서 계산이 필요 없으므로 객체 검출 속도를 향상시킬 수 있다.
도 5는 도 3A 내지 3C에 따른 멀티 스테이지 구조의 분류기를 이용한 객체 검출 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 단계 500에서, 현재 스테이지, 즉 i 스테이지의 분류기로 특징을 추출한다. 단계 502에서, 추출한 특징을 이용하여 특징값을 계산하고, 특징값과 네거티브 임계값을 비교한다. 즉 특징값이 네거티브 임계값보다 작은 경우에는 특징값에 상응하는 입력 영상을 네거티브 클래스로 분류하고, 특징값이 네거티브 임계값보다 큰 경우에는 단계 504로 진행한다.
단계 504에서, 특징값과 점프 임계값을 비교한다. 즉, 특징값이 점프 임계값보다 큰 경우에는 단계 506으로 진행하여, i+2 스테이지로 점프한다. 단계 504에서, 특징값이 점프 임계값보다 작은 경우에는, 단계 508로 진행하여 i+1 스테이지로 이동한다.
단계 510에서, 현재 점프하거나 이동한 스테이지가 마지막 스테이지인지 확인한다. 마지막 스테이지인 경우에는 특징값에 상응하는 입력 영상을 포지티브 클래스로 분류한다. 마지막 스테이지가 아닌 경우에는 다시 i+1 또는 i+2 스테이지에서의 분류 동작을 수행한다.
도 6은 도 4A 내지 4C에 따른 멀티 스테이지 구조의 분류기를 이용한 객체 검출 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 단계 600에서, 현재 스테이지, 즉 i 스테이지의 분류기로 특징을 추출한다. 단계 602에서, 추출한 특징을 이용하여 특징값을 계산하고, 특징값과 네거티브 임계값을 비교한다. 즉 특징값이 네거티브 임계값보다 작은 경우 에는 특징값에 상응하는 입력 영상을 네거티브 클래스로 분류하고, 특징값이 네거티브 임계값보다 큰 경우에는 단계 604로 진행한다.
단계 604에서, 특징값과 포지티브 임계값을 비교한다. 즉, 특징값이 포지티브 임계값보다 큰 경우에는 특징값에 상응하는 입력 영상을 포지티브 클래스로 분류한다. 하지만, 특징값이 포지티브 임계값보다 작은 경우에는 단계 606으로 진행한다.
단계 606에서, 특징값과 점프 임계값을 비교한다. 즉, 특징값이 점프 임계값보다 큰 경우에는 단계 608로 진행하여, i+2 스테이지로 점프한다. 단계 606에서, 특징값이 점프 임계값보다 작은 경우에는, 단계 610으로 진행하여 i+1 스테이지로 이동한다.
단계 612에서, 현재 점프하거나 이동한 스테이지가 마지막 스테이지인지 확인한다. 마지막 스테이지인 경우에는 특징값에 상응하는 입력 영상을 포지티브 클래스로 분류한다. 마지막 스테이지가 아닌 경우에는 다시 i+1 또는 i+2 스테이지에서의 분류 동작을 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인 터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 객체 검출 시스템(100)의 개략적인 블록도이다.
도 2는 본 발명의 도 1에 도시된 객체 검출 장치(100)의 개략적인 블록도이다.
도 3A 내지 3C는 본 발명의 다른 실시 예에 따른 멀티 임계값과 멀티-스테이지 구조의 분류기를 이용한 객체 검출을 설명하기 위한 도면이다.
도 4A 내지 4C는 본 발명의 또 다른 실시 예에 따른 멀티 임계값과 멀티-스테이지 구조의 분류기를 이용한 객체 검출을 설명하기 위한 도면이다.
도 5는 도 3A 내지 3C에 따른 멀티 스테이지 구조의 분류기를 이용한 객체 검출 방법을 설명하기 위한 흐름도이다.
도 6은 도 4A 내지 4C에 따른 멀티 스테이지 구조의 분류기를 이용한 객체 검출 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 객체 검출 시스템 110: 객체 검출 장치
120: 저장부 130: 트레이닝 부
200: 객체 분류부 210: 판단부
201, 202, 203, 204, 205 및 206: 분류기

Claims (15)

  1. 멀티-스테이지의 분류기를 이용하여 입력 영상에서 소정의 객체를 검출하는 방법에 있어서,
    (a) 제i(i는 양의 정수) 스테이지의 분류기에서 상기 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 상기 계산한 특징값과 제i 스테이지의 제1 임계값을 비교하는 단계;
    (b) 상기 특징값과 제i 스테이지의 제1 임계값의 비교 결과에 따라 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하는 단계; 및
    (c) 상기 특징값과 상기 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프하는 단계를 포함하는 객체 검출 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 특징값이 상기 제i 스테이지의 제1 임계값보다 작은 경우, 상기 특징값에 상응하는 입력 영상을 비-객체로 분류하고, 상기 특징값이 상기 제i 스테이지의 제1 임계값보다 큰 경우, 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하는 것을 특징으로 하는 객체 검출 방법.
  3. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 특징값이 상기 제i 스테이지의 제2 임계값보다 큰 경우, 제i+2 스테이지의 분류기로 점프하고, 상기 특징값이 상기 제i 스테이지의 제2 임계값보다 작은 경우, 제i+1 스테이지의 분류기로 이동하는 것을 특징으로 하는 객체 검출 방법.
  4. 제 1 항에 있어서,
    상기 (c) 단계 다음에,
    상기 제i+2 스테이지의 분류기에서 상기 입력 영상으로부터 추출한 특징을 기초로 특징값을 계산하고, 상기 계산한 특징값과 상기 제i+2 스테이지의 제1 임계값을 비교하는 단계를 더 포함하고,
    상기 특징값이 상기 제i+2 스테이지의 제1 임계값보다 작은 경우, 상기 입력 영상을 비-객체로 분류하는 것을 특징으로 하는 객체 검출 방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 특징값과 상기 제i 스테이지의 제3 임계값과 비교하는 단계를 더 포함하고,
    상기 특징값이 상기 제i 스테이지의 제3 임계값보다 큰 경우, 상기 특징값에 상응하는 입력 영상을 객체로 분류하는 것을 특징으로 하는 객체 검출 방법.
  6. 제 1 항에 있어서,
    상기 제i 스테이지의 제2 임계값은,
    제i+1 스테이지에서 비-객체로 분류된 네거티브 샘플들이 상기 제i 스테이지의 분류기를 통해 출력된 최대값으로부터 결정되는 것을 특징으로 하는 객체 검출 방법.
  7. 제 5 항에 있어서,
    상기 제i 스테이지의 제3 임계값은,
    상기 제i 스테이지에서 비-객체로 분류된 네거티브 샘플들이 상기 제i 스테이지의 분류기를 통해 출력된 최대값으로부터 결정되는 것을 특징으로 하는 객체 검출 방법.
  8. 제 1 항에 있어서,
    상기 입력 영상은 소정 크기의 서브 윈도우로 분할되어 상기 제i 스테이지의 분류기에 입력되는 것을 특징으로 하는 객체 검출 방법.
  9. 제 1 항에 있어서,
    상기 객체는 얼굴인 것을 특징으로 하는 객체 검출 방법.
  10. 제 1 항에 있어서,
    현재 스테이지가 마지막 스테이지인지 확인하는 단계를 더 포함하고,
    상기 확인 결과, 현재 스테이지가 마지막 스테이지인 경우 상기 특징값에 상응하는 입력 영상을 객체로 분류하는 것을 특징으로 하는 객체 검출 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  12. 멀티-스테이지의 분류기를 이용하여 입력 영상에서 소정의 객체를 검출하는 장치에 있어서,
    제i(i은 양의 정수) 스테이지의 분류기에서 상기 입력 영상으로부터 추출한 특징들을 기초로 특징값을 계산하고, 상기 계산한 특징값과 제i 스테이지의 제1 임계값을 비교하고, 상기 특징값과 제i 스테이지의 제1 임계값의 비교 결과에 따라 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하고, 상기 특징값과 상기 제i 스테이지의 제2 임계값의 비교 결과에 따라 제i+2 스테이지의 분류기로 점프하는 멀티-스테이지의 분류기를 포함한 객체 분류부; 및
    상기 객체 분류부의 분류 결과를 기초로 상기 입력 영상에서 소정의 객체가 존재하는지를 판단하는 판단부를 포함하는 객체 검출 장치.
  13. 제 12 항에 있어서,
    상기 객체 분류부는,
    상기 특징값이 상기 제i 스테이지의 제1 임계값보다 작은 경우, 상기 특징값에 상응하는 입력 영상을 비-객체로 분류하고, 상기 특징값이 상기 제i 스테이지의 제1 임계값보다 큰 경우, 상기 특징값과 상기 제i 스테이지의 제2 임계값을 비교하는 것을 특징으로 하는 객체 검출 장치.
  14. 제 12 항에 있어서,
    상기 객체 분류부는,
    상기 특징값이 상기 제i 스테이지의 제2 임계값보다 큰 경우, 제i+2 스테이지의 분류기로 점프하고, 상기 특징값이 상기 제i 스테이지의 제2 임계값보다 작은 경우, 제i+1 스테이지의 분류기로 이동하는 것을 특징으로 하는 객체 검출 장치.
  15. 제 12 항에 있어서,
    상기 제i 스테이지의 제2 임계값은,
    제i+1 스테이지에서 비-객체로 분류된 네거티브 샘플들이 상기 제i 스테이지의 분류기를 통해 출력된 최대값으로부터 결정되는 것을 특징으로 하는 객체 검출 장치.
KR1020070120357A 2007-11-23 2007-11-23 객체 검출 방법 및 장치 KR101362768B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070120357A KR101362768B1 (ko) 2007-11-23 2007-11-23 객체 검출 방법 및 장치
US12/078,737 US8666175B2 (en) 2007-11-23 2008-04-03 Method and apparatus for detecting objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070120357A KR101362768B1 (ko) 2007-11-23 2007-11-23 객체 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090053492A KR20090053492A (ko) 2009-05-27
KR101362768B1 true KR101362768B1 (ko) 2014-02-14

Family

ID=40860990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070120357A KR101362768B1 (ko) 2007-11-23 2007-11-23 객체 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US8666175B2 (ko)
KR (1) KR101362768B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687898B2 (en) * 2010-02-01 2014-04-01 Toyota Motor Engineering & Manufacturing North America System and method for object recognition based on three-dimensional adaptive feature detectors
KR101972356B1 (ko) * 2010-12-21 2019-04-25 한국전자통신연구원 상반신 검출장치 및 검출방법
JP6003124B2 (ja) * 2012-03-15 2016-10-05 オムロン株式会社 認証装置、認証装置の制御方法、制御プログラム、および記録媒体
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013479A1 (en) 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses
JP2005284348A (ja) 2004-03-26 2005-10-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
KR20060064974A (ko) * 2004-12-09 2006-06-14 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR20060080284A (ko) * 2005-01-04 2006-07-10 삼성전자주식회사 영상의 얼굴검출장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US7020337B2 (en) 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7430315B2 (en) 2004-02-13 2008-09-30 Honda Motor Co. Face recognition system
KR100643303B1 (ko) 2004-12-07 2006-11-10 삼성전자주식회사 다면 얼굴을 검출하는 방법 및 장치
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
KR101330636B1 (ko) 2007-01-24 2013-11-18 삼성전자주식회사 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013479A1 (en) 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses
JP2005284348A (ja) 2004-03-26 2005-10-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
KR20060064974A (ko) * 2004-12-09 2006-06-14 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR20060080284A (ko) * 2005-01-04 2006-07-10 삼성전자주식회사 영상의 얼굴검출장치 및 방법

Also Published As

Publication number Publication date
US8666175B2 (en) 2014-03-04
KR20090053492A (ko) 2009-05-27
US20100284622A1 (en) 2010-11-11

Similar Documents

Publication Publication Date Title
US8316301B2 (en) Apparatus, medium, and method segmenting video sequences based on topic
US8218818B2 (en) Foreground object tracking
JP5174445B2 (ja) コンピュータにより実施される映像のシーン境界の検出方法
US20090274364A1 (en) Apparatus and methods for detecting adult videos
US20110052003A1 (en) Foreground object detection in a video surveillance system
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US20120039515A1 (en) Method and system for classifying scene for each person in video
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
US20090041312A1 (en) Image processing apparatus and method
KR100695136B1 (ko) 영상의 얼굴검출장치 및 방법
KR20170087817A (ko) 얼굴 검출 방법 및 장치
Chasanis et al. Simultaneous detection of abrupt cuts and dissolves in videos using support vector machines
KR101362768B1 (ko) 객체 검출 방법 및 장치
Kowdle et al. Learning to segment a video to clips based on scene and camera motion
Panchal et al. Scene detection and retrieval of video using motion vector and occurrence rate of shot boundaries
KR102504321B1 (ko) 온라인 행동 탐지 장치 및 방법
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN111027482A (zh) 基于运动向量分段分析的行为分析方法及装置
CN111832351A (zh) 一种事件检测方法、装置和计算机设备
KR20150103443A (ko) 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
e Santos et al. Adaptive video shot detection improved by fusion of dissimilarity measures
Sudo et al. Detecting the Degree of Anomal in Security Video.
KR100779171B1 (ko) 실시간 정확한 얼굴 검출 장치 및 방법
Nesvadba et al. Face related features in consumer electronic (CE) device environments

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee