KR101177626B1 - 물체 검출 장치 및 방법 - Google Patents

물체 검출 장치 및 방법 Download PDF

Info

Publication number
KR101177626B1
KR101177626B1 KR1020107016187A KR20107016187A KR101177626B1 KR 101177626 B1 KR101177626 B1 KR 101177626B1 KR 1020107016187 A KR1020107016187 A KR 1020107016187A KR 20107016187 A KR20107016187 A KR 20107016187A KR 101177626 B1 KR101177626 B1 KR 101177626B1
Authority
KR
South Korea
Prior art keywords
feature
image
feature point
pixel
extracting
Prior art date
Application number
KR1020107016187A
Other languages
English (en)
Other versions
KR20100118974A (ko
Inventor
하이조우 아이
창 황
시홍 라오
타카요시 야마시타
Original Assignee
칭화 유니버시티
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칭화 유니버시티, 오므론 가부시키가이샤 filed Critical 칭화 유니버시티
Publication of KR20100118974A publication Critical patent/KR20100118974A/ko
Application granted granted Critical
Publication of KR101177626B1 publication Critical patent/KR101177626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 물체 검출 장치 및 방법을 개시하고 있다. 화상의 특징량을 추출하는 특징 추출부와, 상기 특징 추출부가 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑부를 구비하는 약분류기를 하나 이상 갖는 강분류기를 하나 이상 구비하고, 상기 화상으로부터 소정의 물체를 검출하기 위한 물체 검출 장치에 있어서, 상기 특징 추출부는, 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출부와, 상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득부와, 화소치 취득부가 취득한 화소치에 의거하여 각 특징점 쌍에서의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교부와, 해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득부를 구비하는 것을 특징으로 하는 물체 검출 장치이다.

Description

물체 검출 장치 및 방법{OBJECT CHECKING APPARATUS AND METHOD}
본 발명은 물체 검출 장치 및 방법에 관한 것이다.
현재, 인간의 얼굴 검출(face detection)을 대표로 하는 물체 검출은 점점 널리 주목받고 있다. 인간의 얼굴 검출이란, 랜덤하게 지정된 화상에 대해, 일정한 방책으로 탐색하여 그 중에 인간의 얼굴이 포함되어 있는지를 확인하고, 포함하는 경우는 인간의 얼굴의 위치, 사이즈 및 자세를 돌려주는 것을 지칭한다. 통상, 인간의 얼굴은 매우 풍부한 생체 특징 정보를 포함하고, 맨 머신 인터랙션, 추적 감시, 개인 식별 등의 분야에 사용된다. 인간의 얼굴에 관한 정보를 추출할 때에 우선 인간의 얼굴 영역을 위치 부여하는 공정부터 시작되는 것이다. 이와 같이 하여, 인간의 얼굴의 검출 기술에 통상과 비교되지 않을 만큼의 의의와 매우 폭넓은 적용 장래성을 구비시키게 된다. 인간의 얼굴 검출의 실용성은 검출 정밀도 및 검출 속도의 2점의 향상으로 정해진다.
종래 기술에서의 검출기의 계층 구조에서는, 위로부터 아래로 가면, 검출기, 강(强)분류기, 약(弱)분류기, 특징 추출 및 함수 매핑이 된다. 즉, 종래 기술에서의 검출기는 복수의 강분류기를 포함하고, 강분류기마다 복수의 약분류기를 포함하고, 약분류기마다 특징 추출부 및 매핑부를 포함하게 된다. 특징 추출부는 특징의 추출을 행하고, 매핑부는 탐색표(Look Up Table)에 의한 방법 등의 방법으로 약분류를 한다.
이하의 종래 문헌에 나타내는 바와 같이, 통상의 얼굴 검출 방법으로는 특징을 추출할 때에 화상의 휘도차 정보(차치(差値))를 추출하고, 약분류기는 그것을 기초로 얼굴인지의 판단(얼굴다움 또는 약분류라고도 불린다)을 하고, 복수의 이들의 특징을 조합시켜서 강분류기를 만들어 낸다.
특허 문헌 1 : 미국 특허출원 공개 제2002/0102024호 명세서
특허 문헌 2 : 일본 특허출원 특개2007-109229호
비특허 문헌 1 : 「Robust Real-Time Face Detection」, Paul A. Viola, Michael Jones, International Journal of Computer Vision No. 572 Vol. 2, pp137-154(2004)
비특허 문헌 2 : 「고속 전방향 얼굴 검출」 야마시타 노 외, 화상의 인식?이해 심포지움(MIRU2004) Vol. II, pp271-276
다음에 이들의 종래 기술에 관해 간단한 설명을 행한다.
미국 특허출원 공개 제2002/0102024호 명세서에서 AdaBoost를 개시하고 있고, AdaBoost는 식별 능력이 낮은 약분류기를 복수 조합시켜서, 판별 능력을 높인 강분류기를 취득하는 학습 방법이고, 앙상블 학습(Ensemble Learning)방법의 하나이다.
AdaBoost와 같은 방법에 있어서, 미리 준비한 특징 중에서 식별에 적합한 특징을 선택하고, 약분류기를 작성한다. 가능한 한 적은 약분류기로 강분류기를 학습하는데는 식별 능력을 높이는 특징을 미리 준비하는 것이 중요하다.
일본 특개2007-109229에서, 트리 구조(tree structure)의 검출기에 의해, 복수의 얼굴 방향을 검출하는 수단이고, 트리 구조의 각 노드는 복수의 Haar 특징을 이용한 약분류기로 구성되어 있다.
본 발명에서는 Haar 특징을 이용하고 있기 때문에, 정규화된 2개의 영역 사이의 휘도차의 강도 분포에 의해, 특징량을 계산하고 있다. 그 때문에, 가감산과 제산(除算)을 각 약분류기의 계산에 이용하기 때문에, 계산 비용이 커진다.
「Robust Real-Time face detection」 및 「고속 전방향 얼굴 검출」에서, 얼굴 검출 방법에서는, 인접하는 2개의 영역에 주목하고, 영역 사이의 휘도차(차치)를 기초로 특징량을 계산하는 특징이 일반적이다. 휘도차는 얼굴의 밝기에 의해 다르다. 예를 들면, 어두운 얼굴인 경우, 휘도차는 작아지고, 밝은 얼굴인 경우는 휘도차가 커진다. 그 때문에, 얼굴의 명암 상태에 응하여 휘도차를 보정할 필요가 있다.
2개의 영역 사이의 휘도차를 계산하기 위해, 각 영역의 평균 휘도를 산출할 필요가 있다. 고속에 계산하기 위해) 적분 화상을 비특허 문헌1 및 2에서는 이용하고 있다.
적분 화상에 의해 명암 상태의 고속의 계산 및 보정을 행하여 있지만, 적분 화상은 메모리의 사용량이 커지고, 또한 보정은 특징량 계산에 시간이 걸리는 원인으로 되어 있다.
즉, 도 13에 도시하는 바와 같이, 3종류의 다른 휘도에서의 얼굴에 관해 산출된 Haar 특징은 함께 표준적인 특징량으로 보정될 필요가 있다. 도 13에서는, 흰 테두리 내의 평균 휘도로부터 검은 테두리 내의 평균 휘도를 빼어서 휘도차를 취득한다. 흰 테두리는 입자의 조합 계수가 정(正)인 입자를 나타내고, 검은 테두리는 입자의 조합 계수가 부(負)인 입자를 나타낸다.
상기한 설명으로부터 알 수 있는 바와 같이, 종래의 얼굴 검출의 일반적인 수법에서는, 얼굴의 휘도차(차의 값)에 주목한 특징량을 이용하여 얼굴다움을 판별하고 있다. 얼굴의 휘도에 어떠한 변화가 발생한 경우에도 표준적인 특징량을 산출하기 위한 특징량 보정이 필요하고, 특징량 계산에 시간이 걸리고 있다.
본 발명은 종래 기술에서의 상기 결점과 제한을 감안하여 이루어진 것이고, 종래 기술의 하나 이상의 결점을 해결하고, 적어도 일종의 유익한 선택지가 주어지는 물체 검출 장치 및 방법을 제공한다.
상기 목적을 실현하기 위해, 본원은 이하의 발명을 제공한다.
제 1의 발명에 있어서, 화상의 특징량을 추출하는 특징 추출부와, 상기 특징 추출부가 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑부를 구비하는 약분류기를 하나 이상 갖는 강분류기를 하나 이상 구비하고, 상기 화상으로부터 소정의 물체를 검출하기 위한 물체 검출 장치에 있어서, 상기 특징 추출부는, 상기 화상으로부터 소정의 특징점 쌍(pair)의 조합을 추출하는 특징점 추출부와, 상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득부와, 화소치 취득부가 취득한 화소치에 의거하여 각 특징점 쌍에서의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교부와, 해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득부를 구비하는 것을 특징으로 한다.
제 2의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 화소치는 휘도인 것을 특징으로 한다.
제 3의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 화소치는 에지 추출에서 얻어진 강도, 각도, 또는, 구배인 것을 특징으로 한다.
제 4의 발명에 있어서, 제 1 내지 제 3의 어느 하나의 발명에 기재된 물체 검출 장치를 기초로, 상기 특징점 비교부는, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 직접 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 5의 발명에 있어서, 제 1 내지 제 3의 어느 하나의 발명에 기재된 물체 검출 장치를 기초로, 상기 특징점 비교부는, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 6의 발명에 있어서, 제 1 내지 제 3의 어느 하나의 발명에 기재된 물체 검출 장치를 기초로, 상기 특징점 비교부는, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 전개누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 7의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 화상에 처리를 행하여 특징량 계산에 적합한 화상을 생성하는 전처리부를 또한 구비하는 것을 특징으로 한다.
제 8의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 화상으로부터 물체를 탐색하는 자창(sub window)을 결정하기 위한 탐색창 결정부를 구비하고, 상기 특징 추출부는 상기 화상이 상기 자창에서의 부분의 특징량을 추출하는 것을 특징으로 한다.
제 9의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 화상을 줌 하는 화상 줌부를 구비하고, 상기 특징 추출부는 줌 된 상기 화상의 특징량을 추출하는 것을 특징으로 한다.
제 10의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 특징점은 복수의 화소점을 포함하고, 상기 화소치 취득부는 상기 복수의 화소점의 평균 화소치를 상기 특징점의 화소치로서 산출하는 것을 특징으로 한다.
제 11의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 특징점은 복수의 화소점을 포함하고, 상기 물체 검출 장치는 상기 특징점에 포함하는 화소점의 수에 의거하여 상기 화상을 축소시키는 축소 화상 작성부를 구비하고, 상기 특징 추출부는 축소한 상기 화상의 특징량을 추출하는 것을 특징으로 한다.
제 12의 발명에 있어서, 제 11의 발명에 기재된 물체 검출 장치를 기초로, 상기 축소 화상 작성부는, 배율의 제곱과 같은 수의 축소 화상을 작성하고, 상기 특징 추출부는 적합 위치에 있는 상기 축소 화상의 특징량을 추출하는 것을 특징으로 한다.
제 13의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 캐스케이드 구조, 네스트형 캐스케이드 구조, 트리형 구조중의 어느 하나로 구성된 강분류기를 복수 구비하는 것을 특징으로 한다.
제 14의 발명에 있어서, 제 1의 발명에 기재된 물체 검출 장치를 기초로, 상기 물체는, 인체, 특정한 동물, 자동차 또는 인간의 얼굴인 것을 특징으로 한다.
제 15의 발명에 있어서, 물체 검출 방법으로서, 상기 물체 검출 방법은 하나 이상의 강분류 공정을 가지며, 각 강분류 공정은 하나 이상의 약분류 공정을 가지며, 각 약분류 공정은 검출되는 화상의 특징량을 추출하는 특징 추출 공정과, 상기 특징 추출 공정이 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑 공정을 갖고 있고, 상기 특징 추출 공정은, 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출 공정과, 상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득 공정과, 화소치 취득 공정이 취득한 화소치에 의거하여 각 특징점 쌍에서의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교 공정, 및 해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득 공정을 갖는 것을 특징으로 한다.
제 16의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 화소치는 휘도인 것을 특징으로 한다.
제 17의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 화소치는 에지 추출에서 얻어진 강도, 각도, 또는, 구배인 것을 특징으로 한다.
제 18의 발명에 있어서, 제 15 내지 제 17의 어느 하나의 발명에 기재된 물체 검출 방법을 기초로, 상기 특징점 비교 공정은, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 직접 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 19의 발명에 있어서, 제 15 내지 제 17의 어느 하나의 발명에 기재된 물체 검출 방법을 기초로, 상기 특징점 비교 공정은, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 20의 발명에 있어서, 제 15 내지 17의 어느 하나의 발명에 기재된 물체 검출 방법을 기초로, 상기 특징점 비교 공정은, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 전개누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 한다.
제 21의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 화상에 처리를 행하여 특징량 계산에 적합한 화상을 생성하는 전처리 공정을 또한 갖는 것을 특징으로 한다.
제 22의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 화상으로부터 물체를 탐색하는 자창을 결정하기 위한 탐색창 결정 공정을 가지며, 상기 특징 추출 공정은 상기 화상이 상기 자창에서의 부분의 특징량을 추출하는 것을 특징으로 한다.
제 23의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 화상을 줌 하는 화상 줌 공정을 가지며, 상기 특징 추출 공정은 줌 된 상기 화상의 특징량을 추출하는 것을 특징으로 한다.
제 24의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 특징점은 복수의 화소점을 포함하고, 상기 화소치 취득 공정은 상기 복수의 화소점의 평균 화소치를 상기 특징점의 화소치로서 산출하는 것을 특징으로 한다.
제 25의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 특징점은 복수의 화소점을 포함하고, 상기 물체 검출 방법은 상기 특징점에 포함하는 화소점의 수에 의거하여 상기 화상을 축소시키는 축소 화상 작성 공정을 가지며, 상기 특징 추출 공정은 축소한 상기 화상의 특징량을 추출하는 것을 특징으로 한다.
제 26의 발명에 있어서, 제 25의 발명에 기재된 물체 검출 방법을 기초로, 상기 축소 화상 작성 공정은, 배율의 제곱과 같은 수의 축소 화상을 작성하고, 상기 특징 추출 공정은 적합 위치에 있는 상기 축소 화상의 특징량을 추출하는 것을 특징으로 한다.
제 27의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 캐스케이드 구조, 네스트형 캐스케이드 구조, 트리형 구조중의 어느 하나로 구성된 강분류 공정을 복수 구비하는 것을 특징으로 한다.
제 28의 발명에 있어서, 제 15의 발명에 기재된 물체 검출 방법을 기초로, 상기 물체는, 인체, 특정한 동물, 자동차 또는 인간의 얼굴인 것을 특징으로 한다.
본 발명에 의하면, 이하의 기술 효과를 얻을 수 있다.
?화소치(휘도 등)의 대소 비교 결과(논리치)만에 의해 특징량을 계산할 수 있기 때문에, 매우 고속의 특징량 계산을 실현할 수 있게 된다.
?곱셈, 나눗셈을 이용하지 않기 때문에, 하드화 하기 쉽게 된다.
도면은 본원의 일부를 이루고, 본문부분의 설명과 함께 본 발명의 원리에 대해 설명을 행하는 것이다. 도면에 있어서,
도 1은 본 발명을 적용한 물체 검출 장치를 설명하기 위한 구조 개념도.
도 2는 본 발명에 의한 특징 추출부를 도시하는 구조 개념도.
도 3은 추출된 3쌍의 특징점을 도시하는 도면.
도 4는 종래 기술에서의 계산방법과 본 발명에서의 계산방법의 계산 회수의 비교를 도시하는 도면.
도 5는 탐색창의 결정을 도시하는 도면.
도 6은 강분류기가 캐스케이드 구조, 네스트형 캐스케이드 구조, 트리형 구조로 조합된 구조를 도시하는 개념도.
도 7은 학습에 의해 얻을 수 있던 식별기 구성 기록을 도시하는 개념도.
도 8은 본 발명에 의한 물체 검출 방법의 한 실시 형태를 도시하는 플로우 차트.
도 9는 본 발명에 의한 물체 검출 방법의 다른 한 실시 형태를 도시하는 플로우 차트.
도 10은 본 발명에 의한 물체 검출 방법의 또다른 한 실시 형태를 도시하는 플로우 차트.
도 11은 축소 화상의 비켜놓는 작성을 예시하는 도면.
도 12는 본 발명의 물체 검출용 특징량이 조명광 변화의 영향을 받는 일이 없고, 보정 계산할 필요가 없는 것을 도시하는 도면.
도 13은 종래 기술의 물체 검출용 특징량이 조명광 변화의 영향을 받기 때문에, 보정 계산할 필요가 있는 것을 도시하는 도면.
이하에 도면과 맞추어서 본 발명의 구체적인 실시 형태를 상세하게 설명한다.
도 1은 본 발명을 적용한 물체 검출 장치를 설명하기 위한 구조 개념도이다. 도 1에 도시하는 바와 같이, 본 발명의 물체 검출 장치는 하나 이상의 강분류기(201)(도면에서는 2개만 도시하고 있다)를 포함하고, 강분류기마다 하나 이상의 약분류기(202)(도면에서는 2개만 도시하고 있다)를 포함하고, 약분류기마다 특징 추출부(203) 및 함수 매핑부(204)를 구비한다. 상기 특징 추출부(203)는 특정 물체가 검출되는 화상의 특징량을 추출하고, 상기 함수 매핑부(204)는 상기 특징 추출부가 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정한다.
도 2는 본 발명에 의한 특징 추출부를 도시하는 구조 개념도이다. 도 2에 도시하는 바와 같이, 본 발명에 의한 특징 추출부(203)는, 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출부(301)와, 상기 특징점 쌍의 조합에서의 각 특징점의 휘도를 취득하는 휘도 취득부(302)와, 휘도 취득부(302)가 취득한 휘도에 의거하여, 각 특징점 쌍에서의 2개의 특징점의 비교를 행하여 논리치를 취득하는 특징점 비교부(303)와, 해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득부(304)를 구비한다.
특징점 추출부(301)는 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출한다.
도 3에 도시하는 바와 같이, 예를 들면 3쌍의 특징점을 추출하는 것으로 한다. 그 중에서 어두운 색으로 정점(正点)을 나타내는데 대해, 밝은 색으로 부점(負点)을 나타낸다. 정점과 부점은 후술하는 비교의 비교 순서를 결정되는데 이용하고, 대응하는 (동일 번호)의 정점과 부점을 비교하면, 큰 경우에서는 논리치이 1이 되고, 그렇지 않은 경우에서는 0이 된다(0 또는 1이 되는 것은 소정의 규칙(定則)에 의해 정하여지지만, 상기 경우와 반대의 것도 가능하다).
여기서, 특징점은 하나의 화소에 대응하여도, 4개의 화소의 조합이나 16의 화소의 조합과 같은 복수의 화소의 조합에 대응하여도 좋음에 주의해야 한다. 일반적인 조합은 화소수가 4의 정수가 되는 자승이고, 하나의 사각형 화상 영역(1×1, 2×2, 4×4, 8×8의 화상 블록과 같은 것)에 대응하여 입자라고 불려진다. 도면에 도시하는 바와 같이, 동일 입자 쌍에 있어서도 각 입자의 화소수가 다른 경우가 있다.
휘도 취득부(302)는 상기 특징점 쌍의 조합에서의 각 특징점의 휘도를 취득한다. 상기 특징점이 복수 화소의 조합인 경우, 휘도 취득부(302)는 상기 복수의 화소의 평균 휘도를 취득한다. 설명하기 위해, 이하의 기재에서 휘도 취득부(302)가 취득한 정점의 휘도를 각각 210, 84, 126으로 하고, 취득한 부점의 휘도를 각각 93, 137, 145로 한다.
본 발명은 상기한 휘도를 취득함으로써 한하지 않고, 또한 계조치, 루미넌스, 에지 추출시의 명도 등의 다른 화소치를 이용하여도 좋음에 주의해야 한다.
구체적으로는, 화소치란 에지 추출에서 얻어진휘도, 강도, 각도 또는 구배 등의 특징량을 들 수 있다. 예를 들면, sobel 필터에 의해 입력된 화상을 에지 화상으로 변환함과 함께, 강도와 각도와 구배를 계산할 수 있다. 예를 들면, 강도는 하기한 식으로 계산된다.
Figure 112010046723670-pct00001
각도는 하기한 식으로 계산된다.
Figure 112010046723670-pct00002
구배는 하기한 식으로 계산딘다.
Figure 112010046723670-pct00003
여기서, Gx는 다음의 필터(sobel 연산자)로 계산된 값인 :
Figure 112010046723670-pct00004
여기서, Gy는 다음의 필터로 계산된 값이다 :
Figure 112010046723670-pct00005
요소수(K)에 의해 각도를 양자화할 수 있다. 예를 들면, K=4인 경우, bin0, bin1, bin2, bin3의 4개의 양자화된 각도 범위로 나타내고, 그 중,
bin0은 0도부터 45도까지의 범위(0도≤bin0<45도)를 나타내고,
bin1은 45도부터 90도까지의 범위(45도≤bin1<90도)를 나타내고,
bin2는 90도부터 135도까지의 범위(90도≤bin2<135도)를 나타내고,
bin3은 135도부터 180도까지의 범위(135도≤bin3<180도)를 나타낸다. bink는 4개의 양자화된 각도 범위의 어느 하나를 적절히 나타낼 수 있다. 또한, 요소수(K)에 의해 범위의 크기를 변경하여도 좋고, 예를 들면, K=4인 경우, bink는 차(差)가 45도의 범위, 예를 들면 [0도, 45도), [45도, 90도), [90도, 135도) 또는 [135도, 180도)의 어느 하나이다. 한편, K=3인 경우, bink는 차가 60도의 범위, 예를 들면 [0도, 60도), [60도, 120도) 또는 [120도, 180도)의 어느 하나이다.
상기 이외의 종래의 방법에서 얻어진 여하한 특징이라도 좋다. 상기했다 sobel 필터는 단순한 예이고, sobel 필터 이외의 다른 방법으로 에지 추출을 하여도 좋다. 휘도 취득부(302)는 본 발명의 화소치 취득부에 대응한다.
특징점 비교부(303)는 휘도 취득부(302)가 취득한 휘도에 의거하여, 각 특징점 쌍에서의 2개의 특징점을 비교하여 논리치를 취득한다.
비교할 때에 3종의 방법이 채용되고, 본문에서 각각을 직접 비교법, 누적 비교법 및 전개누적 비교법이라고 부른다. 직접 비교법은 특징점의 사이에서 직접 비교를 하고, 누적 비교법은 특징점의 사이에서 누적 비교를 하고, 전개누적 비교법은 특징점의 사이에서 전개누적 비교를 한다. 각각 하기한 식 1, 2, 3에 따라 일한다.
Figure 112010046723670-pct00006
식에 있어서의 함수의 sign은 이하에 표시하는 바와 같이,
Figure 112010046723670-pct00007
bi (S), bi (C), 및 bi ( EC )는 직접 비교법, 누적 비교법 및 전개누적 비교법에 의해 취득된, i쌍째의 입자에 대한 논리치를 각각 나타낸다. gi +와 gi -는 i쌍째의 입자에 있어서의 정입자와 부입자의 화소치(예를 들면 휘도)를 각각 나타낸다.
특징량 취득부(304)는 특징점 비교부(303)가 취득한 논리치에 의거하여, 상기 화상의 특징량을 결정한다. 구체적으로, 논리치를 조합시켜도 좋다.
그 때문에, 상기 휘도인 경우에서는, 특징점 비교부(303)이 직접 비교법, 누적 비교법 및 전개누적 비교법을 각각 채용할 때에, 특징량 취득부(304)가 취득한 결과(Z)는 하기식으로 표시하는 바와 같이 된다.
Figure 112010046723670-pct00008
따라서 이상과 같이, 본 발명에 있어서, 국소 영역 사이에서의 화소치(예를 들면 휘도) 대소의 논리 관계(본문에서 대소 관계라고도 불려진다)에 부목하여, 복수의 영역 사이에서의 휘도 대소의 논리 관계에 의거하여 얼굴다움을 종합적으로 판단할 수 있는 특징량을 설계하였다.
1쌍의 영역 사이의 대소 관계(양 영역 사이의 각각의 평균 휘도의 대소 관계를 지칭한다. 영역은 쌍씩 나타나고, Haar 특징의 흰 범위 영역과 검은 범위 영역과 같은 것이지만, 양 테두리가 인접할 필요는 없다)만으로는, 얼굴과 얼굴아님(非顔)의 판단 능력이 낮기 때문에, 복수쌍의 영역 사이의 대소 관계를 기초로 통합적으로 판단하는 것으로 한다.
도 4와 도 5는 종래 기술에서의 물체 검출 방법과 본 발명에서의 물체 검출 방법을 비교한다. 이들로부터 알 수 있는 바와 같이, 특징 형상이 같다고 한 경우, 본 발명의 기술 안(案)에 의해 특징량의 연산 비용이 대폭적으로 삭감될 수 있다.
구체적으로, 종래 기술의 방법에서는, 검출을 위해,
1. 검은 테두리의 ■와 그에 대응하는 흰 테두리의 □와의 휘도차를 각각 계산하는 것(3회);
2. 휘도차의 합계(1회);
3. 휘도차의 보정(1회)
이 필요하다.
한편, 본 발명에 있어서, 직접 비교법에서는, 검은 테두리의 ■1, 2 및 3과 그에 대응한 흰 테두리의 □1, 2 및 3의 평균 휘도의 대소의 비교(3회)를 행하면 좋다.
그래서, 본 발명은, 얼굴의 휘도차(차분의 양, 정수치)가 아니라, 명암의 대소 관계(논리치, 즉 2가인 0 또는 1)에 주목하고 있다. 상기한 식 1, 2, 및 3으로 부터 알 수 있는 바와 같이, 특징점 비교부(303)가 직접 비교법, 누적 비교법 및 전개누적 비교법의 어느 것을 채용하여도 특징량 취득부(304)가 취득한 결과(Z)는 입력 화상의 리니어 변화에 의해 변하는 일이 없기 때문에, 예를 들어 얼굴의 휘도 변화가 발생한 경우에도, 그 휘도 대소의 논리 관계는 변하지 않기 때문에, 특징량 보정이 필요 없고, 특징량 계산의 시간을 대폭적으로 삭감할 수 있다. 또한, 본 발명은 곱셈과 나눗셈을 필요로 하지 않기 때문에, 계산 비용을 삭감할 수도 있다. 특징량 보정에 이용하고 있던 적분 화상이 불필요하게 되기 때문에, 메모리 사용량도 삭감할 수 있다. 도 12에 본 발명의 특징량의 안정성을 나타내고 있다. 그것은 조명 등의 외부 요소로부터 영향을 받지 않기 때문에 보정할 필요가 없다.
본 발명에는 또한 전처리부를 구비하는 것이 바람직하다. 전처리부는 본 발명에서 이용하는 특징량을 계산하는데도 적합한 화상을 생성한다. 또한, 얼굴 검출률이 향상하도록 미리 화상에 대해 감마 보정 등의 보정을 하여도 좋다. 전처리부는 선택성의 부분이고, 설치하지 않아도 상관없다.
또한, 본 발명에는 탐색창 결정부를 구비하여도 좋다. 탐색창 결정부는 탐색하기 위한 창을 결정한다. 입력 화상을 기초로, 탐색창을 이용하여 대상 물체를 탐색하기 위한 탐색 화상을 결정한다. 탐색 화상은 절출(切出)하여 작성하여도 좋고, 탐색 화상의 위치를 설정할 뿐이라도 좋다. 화상중을 주사하여 탐색 화상을 작성한다. 설정한 사이즈(즉 탐색창의 사이즈)로 주사하고, 화면의 종단까지 행한 경우는, 탐색 화상의 사이즈를 바꾸어서 주사한다. 탐색창은, 화상 전체로부터 서서히 작게 하여도 좋고, 작은 사이즈로부터 서서히 화상 전체로 크게 하여도 좋다. 구체적으로 도 5에 도시하고 있다. 탐색 화상을 결정한 경우, 상기 특징 추출부는 상기 탐색 화상의 특징량을 추출한다.
특정 사이즈의 탐색창에 의해 탐색 화상을 취득함으로써, 본 발명의 물체 검출 장치의 트레이닝량을 줄이고, 기억 공간을 절약하고, 실용성을 높일 수 있다.
그와 유사하게, 본 발명에는, 입력된 화상을 소정의 사이즈까지 줌(zoom) 하는 화상 줌부를 구비하여도 좋고, 상기 특징 추출부는 줌 한 화상의 특징량을 추출한다. 이에 의해, 본 발명의 물체 검출 장치의 트레이닝량을 줄이고, 기억 공간을 절약한다는 메리트를 마찬가지로 얻을 수 있고, 실용성을 높일 수 있다.
상기한 바와 같이, 본 발명에서의 특징점은 하나의 화소라도 복수의 화소의 조합이라도 좋고, 특징점이 복수의 화소의 조합인 경우, 휘도 취득부(302)는 상기 복수의 화소의 평균 휘도를 취득한다. 그러나, 평균 휘도를 계산하면, 물체 검출 속도를 감소시키게 된다. 따라서 원(元)화상(즉 입력된 화상)을 기초로, 1/2로 축소한 화상, 1/4로 축소한 화상, 1/8로 축소한 화상의 4패턴의 화상을 준비하여 두면 좋다.
축소 화상을 이용함으로써, 하기한 바와 같이 다른 사각형 사이즈의 영역의 평균 화소치를 1픽셀의 참조로 대응할 수 있기 때문에, 고속화를 도모할 수 있다.
원화상의 2×2의 영역은 1/2화상의 1×1
원화상의 4×4의 영역은 1/4화상의 1×1
원화상의 8×8의 영역은 1/8화상의 1×1
축소 화상을 작성할 때에, 배율수의 제곱과 같은 수의 복수의 축소 화상을 작성하여도 좋다. 예를 들면, 1/2화상을 작성하는 경우, 4개의 화상을 작성한다. 1/4화상을 작성하는 경우, 16장의 화상을 작성한다. 1/8화상을 작성하는 경우, 64장의 화상을 작성한다. 다른 축소 화상을 작성할 때에, 축소 화상의 작성하는 시작 위치를 비켜놓는다. 이에 의해, 원화상의 임의의 위치에 대해, 지정한 영역 사이즈의 평균 화소를 참조할 수 있다. 그것은, 채용한 테두리가 함께 1×1, 2×2, …, 8×8과 같은 정사각형이기 때문에, 그것에 대응한 축소 후의 화상의 대응 위치에서의 화소의 휘도가 테두리에 있어서의 복수의 화소의 평균 휘도가 되고, 그러면 평균 휘도를 계산하는 과정을 생략하기 있기 때문이다. 도 11은 축소 화상의 비켜놓는 작성을 예시한다.
도 1로 되돌아오면, 함수 매핑부는 특징 취득부가 취득한 특징치(비트열 값이고, 3개의 대소 비교인 경우, 0 내지 7의 8가지의 값을 출력한다)에 의거하여, 미리 학습으로 얻어진 물체(얼굴)다움의 분포로부터, 판단 결과를 얼굴다움으로서 얻는다. 구체적으로, 판단할 때에, 특정한 임계치보다 크면 후보, 즉 물체(사람의 얼굴)일 가능성이 있다, 고 하여 판정한다. 강분류기는 그것에 포함하는 하나 이상의 약분류기의 분류 결과에 의거하여, 해당 후보가 확실히 물체(사람의 얼굴)인지를 판별한다. 판별시에, 상기 하나 이상의 약분류기의 분류 결과(얼굴다움)를 조합시켜서 또는 각 약분류기가 취득한 특징량을 조합시켜서 해당 후보가 확실히 물체(사람의 얼굴)인지를 판별하여도 좋다.
도 6에 도시하는 바와 같이, 복수의 강분류기로 분류하여도 좋다. 이들의 강분류기는, 예를 들면 캐스케이드 구조, 네스트형 캐스케이드 구조(하나 전(前)의 층(層)의 결과를 다음의 층으로 받아전하고, 전층(前層)의 결과를 고려한 판정 방법)나 트리형 구조(복수의 클래스를 판별하고, 분기 또는 복수의 패스를 통과하는)로서 구성된다. 이들의 구조는 물체의 각 각도, 방위, 차폐 및 얼굴의 내재(內在) 변화 등을 식별할 수 있고, 적응성과 식별의 정확성이 높아진다. 구체적으로, 2006년 9월 20일에 제출한 중국 특허출원 제200610127853. 7호를 참조할 수 있다. 인용에서 해당 문헌을 본문에 편입할 수 있다.
판정부에서 얼굴이라고 판정된 영역에 관해, 위치나 크기가 약간의 어긋나 있는 영역을 하나의 얼굴로서 통합하는 처리를 행하다.
또한, 한 실시예에 있어서, 본 발명의 물체 검출 장치는 또한, 물체 검출 결과를 출력한 결과 출력부와, 학습에 의해 얻은 분류기 정보를 기록하는 기록부를 구비한다.
본 발명의 학습 수단은 이하와 같이 처리를 행한다.
다수의 학습 샘플(정해(正解) 화상, 비(非)정해 화상)을 미리 준비한다.
본 발명에서 이용하는 특징 패턴을 특징 풀로서 작성한다(즉 입자 쌍 및 그것이 구성하는 열(列)을 형성한다).
각 학습 샘플에 관해, 각 특징 패턴으로부터 특징량을 얻는다(전술한 계산방식에 의해).
특징 패턴중, 정해 화상과 비정해 화상을 가장 판별할 수 있는 특징 패턴을 선출한다.
판별 결과를 기초로, 학습 샘플마다의 무게를 갱신한다.
상기한 처리를 일정 회수 반복하여, 강분류기로 한다.
정해 물체를 포함하지 않는 화상중에서부터, 강분류기가 잘못 검출하는 영역을 추출하고, 일정 이상 모아, 그들의 비정해 화상으로 한다.
정해 화상과 새로운 비정해 화상을 이용하여, 상기한 처리를 반복하여, 계층 구조로 한다.
학습에 의해 얻어진 분류기를 검출 처리를 위해 보존한다.
도 7에는 기록부에서 보존된 데이터 구조의 예를 도시한다.
탐색 처리의 어느 위치에서, 기록부에 기록된 검출기를 이용하여, 얼굴인지의 여부를 판정한다.
도 8은 본 발명에 의한 물체 검출 방법의 한 실시 형태를 도시하는 플로우 차트이다.
도 8에 도시하는 바와 같이, 우선 공정 801에서, 특정한 물체를 검출하여야 할 화상으로부터, 소정의 특징점 쌍의 조합을 추출한다. 이들의 특징점 쌍은 화상의 소정 위치에 있어서의 특징점 쌍이라도 좋다. 해당 공정은 예를 들면 상기 특징점 추출부에 의해 행하여진다.
다음에 공정 802에서, 각 특징점 쌍에서의 특징점의 화소치를 계산한다. 상기 화소치는 예를 들면 휘도라도 좋다. 해당 공정은 예를 들면 상기 휘도 취득부에 의해 행하여진다.
그리고 공정 803에서, 쌍마다 2개의 특징점의 화소치를 비교하고, 논리치를 취득한다. 상기한 식 1 내지 3의 어느 하나의 방법에 의해 이 비교를 할 수가 있다. 해당 공정은 예를 들면 상기 특징점 비교부에 의해 행하여진다.
또한, 공정 804에서, 비교의 결과에 의거하여, 특징량을 취득한다. 해당 특징량은 취득한 논리치의 조합이다. 해당 공정은 예를 들면 상기 특징점 취득부에 의해 행하여진다.
도 9는 본 발명에 의한 물체 검출 방법의 다른 한 실시 형태를 도시하는 플로우 차트이다.
도 9에 도시하는 바와 같이, 본 발명의 다른 한 실시 형태에 의한 물체 검출 방법은, 도 8에 도시하는 물체 검출 방법에, 특정한 물체를 검출하여야 할 화상에 대해 전처리를 하고, 특징량 계산에 적합한 화상을 생성하는 전처리 공정 901을 가한다. 해당 공정에서, 얼굴 검출률이 향상하도록, 또한 화상에 대해 감마 보정 등의 보정을 하여도 좋다.
또한, 본 발명의 이 실시 형태에서, 또한 탐색창을 결정하는 공정 902를 포함하여도 좋다. 이 공정에서는, 상기 화상에서 상기 물체를 탐색하기 위한 자창을 결정한다. 도 8의 특징점 추출 등의 공정은 함께 화상의 해당 탐색창에서의 부분에 대해 행하여진다.
도 10은 본 발명에 의한 물체 검출 방법의 또다른 한 실시 형태를 도시하는 플로우 차트이다.
도 10에 도시하는 바와 같이, 본 발명의 또다른 한 실시 형태에 의한 물체 검출 방법은, 도 8에 도시하는 물체 검출 방법에, 특정한 물체를 검출하여야 할 화상을 소정 사이즈까지 줌 하는 화상 줌 처리를 행하는 공정 1001을 가하고, 그 후의 공정에서는 줌 된 화상에 대해 행하여진다. 이와 같이, 본 발명의 물체 검출 장치의 트레이닝량을 줄이고(소정의 화상 사이즈에 대해 트레이닝하면 좋다), 기억 공간을 절약하여 실용성이 높아진다.
또한, 본 발명의 이 실시 형태에는 축소한 화상을 작성하는 공정을 구비하여도 좋다. 전술한 바와 같이, 그에 의해, 원화상의 임의의 위치에 대해, 지정한 영역 사이즈의 평균 화소을 참조할 수가 있고, 평균 화소치(휘도)를 계산하는 과정을 생략할 수 있다.
본 발명에서의 상기 실시 형태, 실시 예의 어느것이나 예시적인 것임을, 당업자로서 생각하여야 할 것이다. 상기 방법의 공정 순서는 실정에 응하여 조정할 수 있고, 병행하여 행하여도 좋고, 다른 장치 또는 동일 장치로 행하여도 좋다.
상기한 장치 및 방법은 전용의 하드웨어에 의해서도, 특정한 컴퓨터 프로그램을 실행하는 컴퓨터 또는 논리 설비에 의해서도 실현할 수 있는 것을, 당업자로서 또한 생각하여야 할 것이다. 이 컴퓨터 프로그램은, 상기 컴퓨터 또는 논리 설비에 상기 방법 또는 상기 방법의 각 공정을 실행시키거나, 해당 컴퓨터 또는 논리 설비를 상기 장치 또는 장치의 부분으로서 작용시키거나 할 수 있다. 이 컴퓨터 프로그램 및 해당 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 보호 범위 이내에 있다. 상기 컴퓨터 판독 가능한 기록 매체는, 예를 들면 CD, VCD, DVD, 자기 디스크, MO, 플래시 메모리, 테이프 등의 자기, 전기, 광 또는 그들의 어떠한 조합의 기술을 이용한 각종류의 기록 매체로서 당업자가 생각할 수 있는 것이면 좋다.
이상의 실시예에 의해 본 발명을 설명하였음에도 불구하고, 본 발명의 범위는 그것으로 한정되지 않는 것이다. 본 발명의 범위는 특허청구의 범위 및 그 균등물에 의해 결정된다.

Claims (28)

  1. 화상의 특징량을 추출하는 특징 추출부와 상기 특징 추출부가 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑부를 구비하는 약분류기를 하나 이상 갖는 강분류기를 하나 이상 구비하고, 상기 화상으로부터 소정의 물체를 검출하기 위한 물체 검출 장치에 있어서,
    상기 특징 추출부는, 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출부와,
    상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득부와,
    화소치 취득부가 취득한 화소치에 의거하여 각 특징점 쌍에서의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교부와,
    해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득부를 구비하고,
    상기 특징점 비교부는, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 하는 물체 검출 장치.
  2. 화상의 특징량을 추출하는 특징 추출부와 상기 특징 추출부가 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑부를 구비하는 약분류기를 하나 이상 갖는 강분류기를 하나 이상 구비하고, 상기 화상으로부터 소정의 물체를 검출하기 위한 물체 검출 장치에 있어서,
    상기 특징 추출부는, 상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출부와,
    상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득부와,
    화소치 취득부가 취득한 화소치에 의거하여 각 특징점 쌍에서의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교부와,
    해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득부를 구비하고,
    상기 특징점 비교부는, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 전개누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 하는 물체 검출 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 화소치는 휘도인 것을 특징으로 하는 물체 검출 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 화소치는, 에지 추출에서 얻어진 강도, 각도, 또는, 구배인 것을 특징으로 하는 물체 검출 장치.
  5. 삭제
  6. 삭제
  7. 제 1항 또는 제 2항에 있어서,
    특징량을 계산하기 전에 화상에 대하여 감마보정을 행하는 전처리부를 또한 구비하는 것을 특징으로 하는 물체 검출 장치.
  8. 제 1항 또는 제 2항에 있어서,
    상기 화상으로부터 물체를 탐색하는 자창(sub window)을 결정하기 위한 탐색창 결정부를 구비하고, 상기 특징 추출부는 상기 화상이 상기 자창에서의 부분의 특징량을 추출하는 것을 특징으로 하는 물체 검출 장치.
  9. 제 1항 또는 제 2항에 있어서,
    상기 화상을 줌 하는 화상 줌부를 구비하고, 상기 특징 추출부는 줌 된 상기 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 장치.
  10. 제 1항 또는 제 2항에 있어서,
    상기 특징점은 복수의 화소점을 포함하고, 상기 화소치 취득부는 상기 복수의 화소점의 평균 화소치를 상기 특징점의 화소치로서 산출하는 것을 특징으로 하는 물체 검출 장치.
  11. 제 1항 또는 제 2항에 있어서,
    상기 특징점은 복수의 화소점을 포함하고, 상기 물체 검출 장치는 상기 특징점에 포함하는 화소점의 수에 의거하여 상기 화상을 축소시키는 축소 화상 작성부를 구비하고, 상기 특징 추출부는 축소한 상기 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 장치.
  12. 제 11항에 있어서,
    상기 축소 화상 작성부는, 배율의 제곱과 같은 수의 축소 화상을 작성하고, 상기 특징 추출부는 적합 위치에 있는 상기 축소 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 장치.
  13. 제 1항 또는 제 2항에 있어서,
    캐스케이드 구조, 네스트형 캐스케이드 구조, 트리형 구조중의 어느 하나로 구성되는 강분류기를 복수 구비하는 것을 특징으로 하는 물체 검출 장치.
  14. 제 1항 또는 제 2항에 있어서,
    상기 물체는, 인체, 특정한 동물, 자동차 또는 인간의 얼굴인 것을 특징으로 하는 물체 검출 장치.
  15. 물체 검출 방법에 있어서,
    상기 물체 검출 방법은 하나 이상의 강분류 공정을 가지며, 각 강분류 공정은 하나 이상의 약분류 공정을 가지며, 각 약분류 공정은 검출되는 화상의 특징량을 추출하는 특징 추출 공정과, 상기 특징 추출 공정이 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑 공정을 구비하고,
    상기 특징 추출 공정은,
    상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출 공정과,
    상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득 공정과,
    화소치 취득 공정이 취득한 화소치에 의거하여 각 특징점 쌍중의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교 공정, 및
    해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득 공정을 구비하고,
    상기 특징점 비교 공정은, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 하는 물체 검출 방법.
  16. 물체 검출 방법에 있어서,
    상기 물체 검출 방법은 하나 이상의 강분류 공정을 가지며, 각 강분류 공정은 하나 이상의 약분류 공정을 가지며, 각 약분류 공정은 검출되는 화상의 특징량을 추출하는 특징 추출 공정과, 상기 특징 추출 공정이 추출한 상기 특징량에 의거하여 상기 화상의 약분류를 결정하는 함수 매핑 공정을 구비하고,
    상기 특징 추출 공정은,
    상기 화상으로부터 소정의 특징점 쌍의 조합을 추출하는 특징점 추출 공정과,
    상기 특징점 쌍의 조합에서의 각 특징점의 화소치를 취득하는 화소치 취득 공정과,
    화소치 취득 공정이 취득한 화소치에 의거하여 각 특징점 쌍중의 2개의 특징점에 관해 비교를 행하고, 논리치를 취득하는 특징점 비교 공정, 및
    해당 논리치에 응하여 상기 화상의 특징량을 결정하는 특징량 취득 공정을 구비하고,
    상기 특징점 비교 공정은, 각 특징점 쌍에서의 2개의 특징점의 화소치에 관해 전개누적 비교를 행하고, 그 대소 관계에 의거하여, 소정의 규칙에 의해 논리치를 취득하는 것을 특징으로 하는 물체 검출 방법.
  17. 제 15항 또는 제 16항에 있어서,
    상기 화소치는 휘도인 것을 특징으로 하는 물체 검출 방법.
  18. 제 15항 또는 제 16항에 있어서,
    상기 화소치는, 에지 추출에서 얻어진 강도, 각도, 또는, 구배인 것을 특징으로 하는 물체 검출 방법.
  19. 삭제
  20. 삭제
  21. 제 15항 또는 제 16항에 있어서,
    특징량을 계산하기 전에 화상에 대하여 감마보정을 행하는 전처리 공정을 또한 갖는 것을 특징으로 하는 물체 검출 방법.
  22. 제 15항 또는 제 16항에 있어서,
    상기 화상으로부터 물체를 탐색하는 자창을 결정하기 위한 탐색창 결정 공정을 가지며, 상기 특징 추출 공정은 상기 화상이 상기 자창에서의 부분의 특징량을 추출하는 것을 특징으로 하는 물체 검출 방법.
  23. 제 15항 또는 제 16항에 있어서,
    상기 화상을 줌 하는 화상 줌 공정을 가지며, 상기 특징 추출 공정은 줌 된 상기 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 방법.
  24. 제 15항 또는 제 16항에 있어서,
    상기 특징점은 복수의 화소점을 포함하고, 상기 화소치 취득 공정은 상기 복수의 화소점의 평균 화소치를 상기 특징점의 화소치로서 산출하는 것을 특징으로 하는 물체 검출 방법.
  25. 제 15항 또는 제 16항에 있어서,
    상기 특징점은 복수의 화소점을 포함하고, 상기 물체 검출 방법은 상기 특징점에 포함하는 화소점의 수에 의거하여 상기 화상을 축소시키는 축소 화상 작성 공정을 가지며, 상기 특징 추출 공정은 축소한 상기 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 방법.
  26. 제 25항에 있어서,
    상기 축소 화상 작성 공정은, 배율의 제곱과 같은 수의 축소 화상을 작성하고, 상기 특징 추출 공정은 적합 위치에 있는 상기 축소 화상의 특징량을 추출하는 것을 특징으로 하는 물체 검출 방법.
  27. 제 15항 또는 제 16항에 있어서,
    캐스케이드 구조, 네스트형 캐스케이드 구조, 트리형 구조중의 어느 하나로 구성되는 강분류 공정을 복수 갖는 것을 특징으로 하는 물체 검출 방법.
  28. 제 15항 또는 제 16항에 있어서,
    상기 물체는, 인체, 특정한 동물, 자동차 또는 인간의 얼굴인 것을 특징으로 하는 물체 검출 방법.
KR1020107016187A 2007-12-28 2008-12-24 물체 검출 장치 및 방법 KR101177626B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2007103054997A CN101470802B (zh) 2007-12-28 2007-12-28 物体检测装置和方法
CN2007103054997 2007-12-28
PCT/CN2008/073699 WO2009089720A1 (en) 2007-12-28 2008-12-24 Object checking apparatus and method

Publications (2)

Publication Number Publication Date
KR20100118974A KR20100118974A (ko) 2010-11-08
KR101177626B1 true KR101177626B1 (ko) 2012-08-27

Family

ID=40828264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107016187A KR101177626B1 (ko) 2007-12-28 2008-12-24 물체 검출 장치 및 방법

Country Status (6)

Country Link
US (1) US8520955B2 (ko)
EP (1) EP2234388B1 (ko)
JP (1) JP4870231B2 (ko)
KR (1) KR101177626B1 (ko)
CN (1) CN101470802B (ko)
WO (1) WO2009089720A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP5573131B2 (ja) * 2009-12-01 2014-08-20 日本電気株式会社 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
CN102129569B (zh) * 2010-01-20 2016-01-20 三星电子株式会社 基于多尺度对比特征的对象检测设备和方法
JP6046948B2 (ja) * 2012-08-22 2016-12-21 キヤノン株式会社 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
CN104298955A (zh) * 2013-07-15 2015-01-21 深圳市振邦实业有限公司 一种人头检测方法及装置
JP6452324B2 (ja) 2014-06-02 2019-01-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6432182B2 (ja) * 2014-07-02 2018-12-05 富士通株式会社 サービス提供装置、方法、及びプログラム
CN104375892B (zh) * 2014-11-14 2018-05-25 广东欧珀移动通信有限公司 一种智能快速启动实现人脸识别的方法、装置及移动终端
CN104850540A (zh) * 2015-05-29 2015-08-19 北京京东尚科信息技术有限公司 进行语句识别的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217115A (ja) * 1999-01-27 2000-08-04 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びに提供媒体
JP2004246618A (ja) * 2003-02-13 2004-09-02 Toshiba Corp パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5915038A (en) * 1996-08-26 1999-06-22 Philips Electronics North America Corporation Using index keys extracted from JPEG-compressed images for image retrieval
JP3319408B2 (ja) * 1998-10-12 2002-09-03 株式会社豊田中央研究所 顔の特徴抽出装置
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US7272242B2 (en) * 2004-04-26 2007-09-18 United States Of America As Represented By The Secretary Of The Navy Object detection in electro-optic sensor images
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
CN100336071C (zh) * 2005-08-19 2007-09-05 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
JP2007058722A (ja) 2005-08-26 2007-03-08 Fujifilm Corp 判別器の学習方法および対象判別装置ならびにプログラム
CN100472556C (zh) * 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
US7565015B2 (en) * 2005-12-23 2009-07-21 Xerox Corporation Edge pixel identification
CN100573549C (zh) * 2006-04-07 2009-12-23 欧姆龙株式会社 特定被摄体检测方法和装置
CN100465996C (zh) 2006-07-20 2009-03-04 中山大学 一种jpeg图像合成区域的检测方法
JP4840066B2 (ja) * 2006-10-11 2011-12-21 セイコーエプソン株式会社 回転角度検出装置、および回転角度検出装置の制御方法
CN1996344A (zh) 2006-12-22 2007-07-11 北京航空航天大学 人脸表情信息的提取方法及处理
US7983480B2 (en) * 2007-05-17 2011-07-19 Seiko Epson Corporation Two-level scanning for memory saving in image detection systems
CN101315670B (zh) * 2007-06-01 2010-08-11 清华大学 特定被摄体检测装置及其学习装置和学习方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217115A (ja) * 1999-01-27 2000-08-04 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びに提供媒体
JP2004246618A (ja) * 2003-02-13 2004-09-02 Toshiba Corp パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム

Also Published As

Publication number Publication date
US8520955B2 (en) 2013-08-27
CN101470802A (zh) 2009-07-01
CN101470802B (zh) 2012-05-09
WO2009089720A1 (en) 2009-07-23
JP4870231B2 (ja) 2012-02-08
KR20100118974A (ko) 2010-11-08
EP2234388A1 (en) 2010-09-29
EP2234388A4 (en) 2014-07-30
JP2011508325A (ja) 2011-03-10
US20110007974A1 (en) 2011-01-13
EP2234388B1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
KR101177626B1 (ko) 물체 검출 장치 및 방법
Chung et al. Efficient shadow detection of color aerial images based on successive thresholding scheme
Stokman et al. Selection and fusion of color models for image feature detection
US6263113B1 (en) Method for detecting a face in a digital image
EP1233374B1 (en) Apparatus and method for extracting objects based on feature matching between segmented regions in images
US20160180196A1 (en) Object re-identification using self-dissimilarity
Wesolkowski et al. Comparison of color image edge detectors in multiple color spaces
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
Ayedi et al. A fast multi-scale covariance descriptor for object re-identification
Qu et al. Detect digital image splicing with visual cues
Gupta et al. A robust model for salient text detection in natural scene images using MSER feature detector and Grabcut
Giri Text information extraction and analysis from images using digital image processing techniques
Isaac et al. Image forgery detection using region–based Rotation Invariant Co-occurrences among adjacent LBPs
Kumar An efficient text extraction algorithm in complex images
Zhang et al. Pulse coupled neural network edge-based algorithm for image text locating
JP2000030033A (ja) 人物検出方法
Moghimi et al. Shadow detection based on combinations of hessenberg decomposition and principal component analysis in surveillance applications
Binnar et al. Robust technique of localizing blurred image splicing based on exposing blur type inconsistency
Fritz et al. Semantic analysis of human visual attention in mobile eye tracking applications
Amudha et al. Video shot detection using saliency measure
Ma'asum et al. Comparative study of segmentation technique for hand gesture recognition system
Woods et al. Recognizing and Classifying Object colour with 16Million Colour Model Automatically
Dash A java based tool for basic image processing and edge detection
KR100305590B1 (ko) 방향윤곽선지도를이용한영상검색방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160720

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 8