KR20120070316A - 상반신 검출장치 및 검출방법 - Google Patents

상반신 검출장치 및 검출방법 Download PDF

Info

Publication number
KR20120070316A
KR20120070316A KR1020100131825A KR20100131825A KR20120070316A KR 20120070316 A KR20120070316 A KR 20120070316A KR 1020100131825 A KR1020100131825 A KR 1020100131825A KR 20100131825 A KR20100131825 A KR 20100131825A KR 20120070316 A KR20120070316 A KR 20120070316A
Authority
KR
South Korea
Prior art keywords
omega
face
unit
detecting
upper half
Prior art date
Application number
KR1020100131825A
Other languages
English (en)
Other versions
KR101972356B1 (ko
Inventor
윤우한
김도형
이재연
반규대
이대하
한문성
윤호섭
지수영
정연구
손주찬
김혜진
윤영우
김재홍
조재일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100131825A priority Critical patent/KR101972356B1/ko
Priority to US13/332,879 priority patent/US8705814B2/en
Publication of KR20120070316A publication Critical patent/KR20120070316A/ko
Application granted granted Critical
Publication of KR101972356B1 publication Critical patent/KR101972356B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 상반신 검출방법은, 대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계와, 오메가 후보 영역을 포함하는 상반신 후보 영역으로 대상 영역을 절단하는 단계와, 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계와, 사람 얼굴의 검출 작업에 대한 결과에 따라 대상 영상에 사람의 상반신이 포함되었는지 판정하는 단계를 포함한다.

Description

상반신 검출장치 및 검출방법 {An apparatus and a method for detecting upper body}
본 발명은 기존 방식과 달리 효과적인 방법을 통해 상반신을 검출할 수 있는 상반신 검출장치 및 검출방법에 관한 것이다.
사람의 상반신 검출 기술은 얼굴 인식, 사람 추적, 제스처 인식 등을 활용한 보안 감시, 지능형 로봇, 엔터테인먼트 등 다양한 분야에서 응용이 가능하기에 적극적인 연구개발이 필요한 핵심이다.
다만, 이러한 상반신 검출 기술은, 기존에 다양한 방법들이 연구되어 왔으며, 지금도 연구 중에 있다.
그러나, 기존의 상반신 검출 기술은, 오검출률이 높고, 정검출률이 낮다는 문제점이 있으며, 또한 상반신을 검출하는 데, 다소 긴 검출 시간이 소요된다는 문제점이 있다. 따라서 기존 상반신 검출 기술은 현재 실용화하기는 다소 무리가 있다. 따라서 산업계에서는, 실제 응용에서 실용화하기 위한 상반신 검출 기술에 대한 필요성이 대두되고 있다.
본 발명에서는 이러한 문제점을 해결하기 위해서, 영상에서 오메가 모양 검출 방법, 얼굴 인식 방법, 측/후면 검증 방법을 혼용하는 상반신 검출장치 및 검출방법을 제공하는 것을 그 목적으로 한다.
상기의 기술적 과제를 해결하기 위한 본 발명의 일 양태로서, 대상 영상에 대해 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 영역을 검출하는 오메가 영역 검출부와, 상기 오메가 영역으로부터 사람 얼굴이 포함되어 있는지를 검출하는 얼굴 검출부와, 상기 사람 얼굴의 검출 결과를 기초로, 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 상반신 판정부를 포함하는 상반신 검출장치가 제공된다.
상기 오메가 영역 검출부는, 상기 대상 영상의 가로 길이 혹은 세로 길이를 일정 비율만큼 축소하는 리사이징 유닛과, 상기 축소된 대상 영상의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제1 특징값을 도출하는 제1 특징값 도출 유닛과, 상기 제1 특징값과 기준값과의 비교를 통해 상기 대상 영상에 오메가 영역이 포함되어 있는지를 판정하는 오메가 영역 판정 유닛을 포함하는 것이 바람직하다.
상기 오메가 영역 검출부는, 아다부스트(adaboost) 기반으로 학습된 3차원 제1 룩업 테이블을 저장하는 제1 메모리를 더 포함하고, 상기 제1 특징값 도출 유닛은, 상기 제1 룩업 테이블을 기초로, 상기 제1 특징값을 도출하는 것이 바람직하다.
상기 제1 룩업 테이블은, 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 상기 오메가 모양 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것이 바람직하다.
상기 상반신 검출장치는, 상기 얼굴 검출부로부터의 사람 얼굴의 검출 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 오메가 영역으로부터 사람의 측면 혹은 후면이 있는지를 검증하는 측/후면 검증부를 더 포함하는 것이 바람직하다>
상기 측/후면 검증부는, 아다부스트(adaboost) 기반으로 학습된 3차원 제2 룩업 테이블을 저장하는 제2 메모리와, 상기 제2 룩업 테이블을 기초로, 상기 오메가 영역의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제2 특징값을 도출하는 제2 특징값 도출 유닛와, 상기 제2 특징값과 기준값과의 비교를 통해 상기 오메가 영역에 사람의 측면 혹은 후면이 포함되어 있는지를 판정하는 측/후면 판정 유닛을 포함하는 것이 바람직하다.
상기 제2 룩업 테이블은, 포지티브 셋트(Positive Set)로 사람의 측면/후면 예제 영상을, 네가티브 셋트(Negative Set)로 상기 사람의 측면/후면 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것이 바람직하다.
본 발명의 다른 양태로서, 대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계와, 상기 오메가 후보 영역을 포함하는 상반신 후보 영역으로 상기 대상 영역을 절단하는 단계와, 상기 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계와, 상기 사람 얼굴의 검출 작업에 대한 결과에 따라 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 단계를 포함하는 상반신 검출방법을 제공한다.
상기 판정하는 단계는, 상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출된 경우, 상기 대상 영상에 사람의 상반신이 포함된 것으로 판단하는 단계;를 포함하는 것이 바람직하다.
상기 검출하는 단계는, 상기 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부를 판단하는 단계와, 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우, 상기 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 단계와, 상기 리사이징된 대상 영상에 대해, 전처리 작업을 수행하는 단계와, 상기 전처리된 대상 영상에 대해서, 제1 특징값을 도출하는 단계와, 상기 도출된 제1 특징값을 기초로 하여 상기 대상 영상에 오메가 후보 영역이 포함되었는지 판정하는 단계를 포함하는 것이 바람직하다.
또한 상기 판정하는 단계는, 상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 상반신 후보 영역으로부터 사람의 측면 혹은 후면을 검출하는 단계를 포함하는 것이 바람직하다.
그리고 상기 사람의 측면 혹은 후면을 검출하는 단계는, 상기 상반신 후보 영역에 대해 에지 검출 작업 및 MCT 처리 작업 중 어느 하나의 작업을 포함하는 전처리 작업을 수행하는 단계와, 상기 전처리된 상반신 후보 영역에 대해, 제2 특징값을 도출하는 단계와, 상기 제2 특징값과 소정의 기준값이 비교되어 상기 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지를 판정하는 단계를 포함하는 것이 바람직하다.
본 발명에 따르면, 얼굴 검출 방법, 오메가 영역 방법, 측/후면 검증 방법을 조합하여 상반신을 검출함으로써, 신속하고 정확하게 사람의 상반신을 검출할 수 있다는 장점을 갖는다.
도 1은 본 발명의 실시예에 따른 상반신 검출장치를 설명하기 위한 블록도를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 오메가 영역 검출부를 설명하기 위한 블록도를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 윈도우(Wondow) 영역을 도시하고 있는 도면이다.
도 4는 본 발명의 실시예에 따른 측/후면 검증부(150)를 설명하기 위한 블록도를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 상반신 검출 방법을 설명하기 위한 플로우 차트이다.
도 6은 본 발명의 실시예에 따른 오메가 영역 검출방법을 설명하기 위한 플로우 차트이다.
도 7은 본 발명의 실시예에 따른 오메가 영역 검출시에 사용하는 제1 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.
도 8은 본 발명의 실시예에 따른 측/후면 검증 방법을 설명하기 위한 플로우 차트이다.
도 9는 본 발명의 실시예에 따른 측/후면 검증시에 사용하는 제2 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.
이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결" 되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, 본 명세서에서 기재한 모듈(module)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현할 수 있다.
이하의 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하, 첨부된 도면들을 참조하여, 본 발명에 따른 실시예들에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 상반신 검출장치를 설명하기 위한 블록도를 도시한 도면이다.
본 발명에 따르면, 상반신 검출장치(100)로부터 검출된 상반신 검출 결과가 보안감시, 지능형 로봇, 엔터테인먼트 등의 다양한 응용(200)에 제공되어 활용된다.
본 실시예에 따른 상반신 검출장치(100)는 영상 입력부(110), 오메가 영역 검출부(120), 후보 영역 절단부(130), 얼굴 검출부(140), 측/후면 검증부(150) 및 상반신 판정부(160)를 포함한다.
본 실시예에 따른 영상 입력부(110)는 카메라(미도시)를 통해 입력된 영상을 입력받는 역할을 담당한다.
본 실시예에 따른 오메가 영역 검출부(120)는 영상 입력부(110)에 입력된 영상으로부터 오메가 영역(Ω)을 검출하는 역할을 담당한다. 여기서 오메가 영역이란 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 영역을 의미한다.
상세하게는 오메가 영역 검출부(120)는 입력된 영상의 다양한 크기와 해당 영상의 모든 위치에 대해 오메가 검출을 수행하여 오메가 영역이 있을 가능성이 높은 영역인 오메가 후보 영역을 검색한다. 오메가 영역 검출부(120)는 만약 오메가 후보 영역이 존재하지 않을 경우, 입력된 영상에 상반신이 없는 것으로 판단하고 상반신 검출을 종료하도록 처리한다.
그리고 오메가 영역 검출부(120)는, 만약 오메가 후보 영역이 존재하는 경우, 해당 오메가 영역에 대한 정보를 후보 영역 절단부(130)로 전달한다.
본 실시예에 따른 후보 영역 절단부(130)는 오메가 영역 검출부(120)로부터 검출된 오메가 후보 영역을 포함하는 상반신 후보 영역으로 절단하는 역할을 담당한다. 여기서 상반신 후보 영역으로는 사각형 좌표에 대해 사각형만큼 절단한 영역인 것이 바람직하다.
본 실시예에 따른 얼굴 검출부(140)는 후보 영역 절단부(130)에서 절단된 상반신 후보 영역으로부터 사람의 얼굴을 검출하는 역할을 담당한다. 얼굴 검출부(140)는 만약 사람의 얼굴을 검출한 경우, 입력된 영상에 정면을 향한 상반신을 포함하는 사람 이미지가 포함될 가능성이 높으므로 이에 대한 결과를 상반신 판정부(160)로 전달한다.
한편, 얼굴 검출부(140)는 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 상반신 후보 영역을 측/후면 검증부(150)로 전달한다. 얼굴을 검출하는 방법으로는 아다부스트(adaboost) 기법을 기반으로 구현되는 것이 바람직하다.
한편, 본 실시예에 따른 측/후면 검증부(150)는, 얼굴 검출부(140)에서 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 상반신 후보 영역을 수신하여 이로부터 사람의 측면 혹은 후면이 있는지에 대해 검증하는 역할을 담당한다.
측/후면 검증부(150)는 만약 사람의 측면 혹은 후면이 있는 것으로 검증된 경우, 이에 대한 결과를 상반신 판정부(160)로 전달한다. 그리고 측/후면 검증부(150)는 만약 사람의 측면 혹은 후면이 없는 것으로 검증된 경우, 입력된 영상에 상반신이 없는 것으로 판단하고 상반신 검출을 종료하도록 처리한다.
본 실시예에 따른 상반신 판정부(160)는 얼굴 검출부(140) 혹은 측/후면 검증부(150)로부터의 전달된 결과를 수신하여, 해당 영상 내에 상반신이 있는지에 대해 최종적으로 판정하는 역할을 담당한다.
만약 얼굴 검출부(140)로부터 얼굴이 검출된 경우나 측/후면 검증부(150)로부터 사람의 측면 혹은 후면이 존재하는 것으로 검증된 경우에는, 상반신 판정부(160)는 해당 영상에 사람의 상반신이 포함된 것으로 판정할 것이다.
도 2는 본 발명의 실시예에 따른 오메가 영역 검출부를 설명하기 위한 블록도를 도시한 도면이다. 도 3은 본 발명의 실시예에 따른 윈도우(Wondow) 영역을 도시하고 있는 도면이다.
본 실시예에 따른 오메가 영역 검출부(120)는 리사이징 유닛(121), 제1 전처리 유닛(123), 제1 특징값 도출 유닛(125), 제1 메모리(127) 및 오메가 영역 판정 유닛(129)을 포함한다.
본 실시예에 따른 리사이징(resizing) 유닛(121)은 영상 입력부(110)로부터 전달된 해당 영상에 대해 다양한 크기의 오메가 모양을 검출하기 위해서, 해당 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH) 이하가 될 때까지, 해당 영상의 크기를 일정 비율만큼씩 줄이는 역할을 수행한다.
본 실시예에 따른 제1 전처리 유닛(123)은 리사이징 유닛(121)에서 줄여진 영상에 대해 전처리 과정을 수행한다. 여기서 전처리 과정으로는 MCT(Modified Census Transform) 과정이 바람직할 것이나 본 발명은 이에 한정되지 않는다.
본 실시예에 따른 제1 특징값 도출 유닛(125)은 해당 영상 내의, 도 3에서와 같은 윈도우 영역인 (X,Y,Wdef,Hdef)에 대해서 제1 룩업테이블(Lookup Table)(128)을 참조하여 특징값을 도출하는 역할을 담당한다. 본 실시예에 따른 제1 특징값 도출 유닛(125)은 제1 룩업 테이블(128)을 통해서 윈도우 내의 각 좌표의 중요도 점수를 도출하고 이들을 이용하여 특징값을 도출한다. 여기서 도출된 특징값은 중요할수록 낮은 값을 갖는다.
본 실시예에 따른 제1 메모리(127)는 여기서 제1 룩업 테이블(128)을 저장하는 역할을 담당한다. 제1 메모리(127)는 제1 룩업 테이블(128) 외에도 다양한 정보 및 데이터를 포함하고 있음은 물론이다.
본 실시예에 따른 제1 룩업 테이블(128)은 f(x, y, z)의 3차원 직육면체 모양으로 구성되어 있다. 여기서 f(x, y, z)는 해당 좌표에서의 중요도 점수를 의미한다. x 값 및 y 값은 윈도우 내에서의 좌표를 의미하고, z 값은 전처리 과정을 거친 영상에서 해당 픽셀이 가지는 값을 의미한다. 여기서 제1 룩업 테이블(128)의 학습에는 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 그 외의 영상들이 사용된다.
본 실시예에 따른 오메가 영역 판정 유닛(129)은 제1 특징값 도출 유닛(125)으로부터 도출된 제1 특징값이 소정의 기준값 이하로 판단되는 경우, 해당 윈도우 영역에 오메가 영역을 포함하는 것으로 판정한다.
도 4는 본 발명의 실시예에 따른 측/후면 검증부(150)를 설명하기 위한 블록도를 도시한 도면이다.
본 실시예에 따른 측/후면 검증부(150)는 제2 전처리 유닛(151), 제2 특징값 도출 유닛(153), 제2 메모리(155) 및 측/후면 판정 유닛(157)을 포함한다.
본 실시예에 따른 제2 전처리 유닛(151)은 얼굴 검출부(140)에서 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 얼굴 검출부(140)로부터 상반신 후보 영역을 입력받는다. 그리고 제2 전처리 유닛(151)은 상반신 후보 영역에 대해서, 전처리 과정으로 에지(edge) 검출 작업 및 MCT 처리 과정을 수행한다.
본 실시예에 따른 제2 특징값 도출 유닛(153)은 전처리 과정이 수행된 상반신 후보 영역에 대해, 제2 메모리(155)에 저장된 제2 룩업 테이블(156)을 이용하여 제2 특징값을 도출한다. 이 경우에도 도 3과 같은 윈도우 영역을 활용하는 것이 바람직할 것이다.
본 실시예에 따른 제2 메모리(155)는, 제2 룩업 테이블(156)을 저장한다. 제2 룩업 테이블(156)은 f(x, y, z)의 3차원 직육면체 모양으로 구성되어 있으며, x 값 및 y 값은 윈도우 영역 내에서의 좌표를 의미하고, Z 값은 전처리를 거친 영상에서 해당 픽셀이 가지는 값을 의미한다. 여기서 제2 룩업 테이블(156)의 학습에는 포지티브 셋트(Positive Set)로 측/후면 예제 영상을, 네가티브 셋트(Negative Set) 로 그 외의 영상들이 사용된다.
본 실시예에 따른 제2 특징값 도출 유닛(153)은 복수의 f(x, y, z)을 통해서 제2 특징값을 도출한다. 여기서 f(x, y, z)는 해당 좌표에서의 중요도 점수를 의미한다.
본 실시예에 따른 측/후면 판정 유닛(157)은 제2 특징값 도출 유닛(153)에서 도출된 제2 특징값이 기준값 이하인 경우, 해당 영상, 즉 제2 전처리 유닛(151)에서 입력받은 상반신 후보 영역에 사람의 측/후면이 존재하는 것으로 검증/판단한다.
도 5는 본 발명의 실시예에 따른 상반신 검출 방법을 설명하기 위한 플로우 차트이다.
이하 도 1 내지 도 5를 참조하여 설명을 개시한다.
먼저, 카메라 등을 통해 영상 입력부(110)로 대상 영상이 입력된다(S500).
그리고 오메가 영역 검출부(120)에 의해 오메가 후보 영역의 검출 작업이 수행된다(S510). 이 경우 오메가 후보 영역이 검출되지 않을 경우에는 대상 영역에는 사람의 상반신이 없는 것으로 판단된다(S520).
한편 오메가 후보 영역이 검출될 경우에는 후보 영역 절단부(130)에 의해 오메가 후보 영역을 포함하는 상반신 후보 영역이 절단된다(S530).
그리고 얼굴 검출부(140)에 의해 상반신 후보 영역으로부터 사람 얼굴의 검출 작업이 수행된다(S540).
S540 단계에서 얼굴이 검출된 경우에는(S550), 상반신 판정부(160)에 의해 대상 영상 내에 상반신이 있는지에 대해 최종적으로 판정이 된다(S560).
다만, S540 단계에서 얼굴이 검출되지 않은 경우에는(S550), 측/후면 검증부(150)를 통해 상반신 후보 영역 내에 사람의 측면 혹은 후면이 있는지에 대한 검증 작업이 수행된다(S570).
S570 단계에서 사람의 측면 혹은 후면이 있는 것으로 검증된 경우에는(S580), 상반신 판정부(160)에 의해 대상 영상 내에 상반신이 있는지에 대해 최종적으로 판정이 된다(S560).
반면에 S570 단계에서 사람의 측면 혹은 후면이 없는 것으로 검증된 경우에는(S580), 대상 영상에는 사람의 상반신이 존재하지 않는 것으로 판단하고 상반신 검출 작업이 종료된다.
도 6은 본 발명의 실시예에 따른 오메가 영역 검출방법을 설명하기 위한 플로우 차트이다.
이하 도 1 내지 도 6을 참조하여 설명을 개시한다.
먼저 영상 입력부(110)를 통해 대상 영상이 입력된다(S600).
그리고 리사이징 유닛(121)을 통해 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부가 판단된다(S610).
만약 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우에는(S610), 리사이징 유닛(121)에 의해 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 리사이징 작업이 수행된다(S620).
그리고 리사이징 유닛(121)을 통해 리사이징된 대상 영상에 대해, 제1 전처리 유닛(123)을 통해 전처리 작업이 수행된다(S630).
그리고 제1 특징값 도출 유닛(125)에 의해 전처리된 영상에 대해서는 제1 특징값이 도출된다(S640). 이 경우 제1 룩업 테이블이 사용된다.
그리고 제1 특징값을 기초로 하여 오메가 영역 판정 유닛(129)의 판정에 따라 대상 영상에 오메가 영역이 포함되었는지 판정하고(S650), 이를 검증한다(S660).
다만, S610 단계에서, 만약 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 크지 않은 경우에는(S610), 오메가 영역 검출 작업은 종료된다.
도 7은 본 발명의 실시예에 따른 오메가 영역 검출시에 사용하는 제1 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.
이하 도 1 내지 도 7을 참조하여 설명을 개시한다.
먼저 포지티브 셋트로서 오메가 모양 예제 영상이 입력되고, 네가티브 셋트로서 그 외의 영상이 각각 입력된다(S632).
그리고 각 영상에 대해 전처리 작업이 수행된다(634). 이 경우 전처리 작업으로는 MCT 작업이 적용되는 것이 바람직할 것이다.
그리고 전처리된 각 영상에 대해 아다부스트 기반의 학습이 수행된다(S636).
아다부스트 기반으로 학습된 각 영상을 기초로, 제1 룩업 테이블이 도출된다(638).
도출된 제1 룩업 테이블은 위에서 언급된 바와 같이, 오메가 영역을 검출할 때 사용된다.
도 8은 본 발명의 실시예에 따른 측/후면 검증 방법을 설명하기 위한 플로우 차트이다.
이하 도 1 내지 도 8을 참조하여 설명을 개시한다.
상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 얼굴 검출부(140)로부터 제2 전처리 유닛(151)으로 상반신 후보 영역을 입력받는다(S700).
그리고 제2 전처리 유닛(151)을 통해 에지 검출 작업 및 MCT 처리 작업이 수행된다(S710, S720).
그리로 제2 전처리 유닛(151)으로부터 전처리된 상반신 후보 영역에 대해, 제2 룩업 테이블(156)을 기초로 제2 특징값 도출 유닛을 통해 제2 특징값이 도출된다(S730).
그리고 측/후면 판정 유닛(157)을 통해, 제2 특징값과 소정의 기준값이 비교되어 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지에 대해 판정된다(S740).
도 9는 본 발명의 실시예에 따른 측/후면 검증시에 사용하는 제2 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.
이하 도 1 내지 도 9를 참조하여 설명을 개시한다.
먼저 포지티브 셋트로서 측/후면 예제 영상이 입력되고, 네가티브 셋트로서 그 외의 영상이 각각 입력된다(S722).
그리고 각 영상에 대해 전처리 작업이 수행된다(S724). 이 경우 전처리 작업으로는 에지 검출 작업 및 MCT 작업이 적용되는 것이 바람직할 것이다.
그리고 전처리된 각 영상에 대해 아다부스트 기반의 학습이 수행된다(S726).
아다부스트 기반으로 학습된 각 영상을 기초로, 제2 룩업 테이블이 도출된다(S728).
도출된 제2 룩업 테이블은 위에서 언급된 바와 같이, 측/후면 검증시에 사용된다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있다.
본 발명에 따른 상반신 검출장치 및 검출방법은, 지능형 로봇 분야, 보안 및 감시 분야, 스마트 환경 분야, 텔레매틱스 분야 등 사람 검출 기능을 필요로 하는 분야이면 어디든 적용가능하다.
120 : 오메가 영역 검출부 130 : 후보 영역 절단부
140 : 얼굴 검출부 150 : 측/후면 검증부
160 : 상반신 판정부

Claims (12)

  1. 대상 영상에 대해 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 영역을 검출하는 오메가 영역 검출부;
    상기 오메가 영역으로부터 사람 얼굴이 포함되어 있는지를 검출하는 얼굴 검출부; 및
    상기 사람 얼굴의 검출 결과를 기초로, 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 상반신 판정부;를 포함하는 것을 특징으로 하는 상반신 검출장치.
  2. 제1항에 있어서,
    상기 오메가 영역 검출부는,
    상기 대상 영상의 가로 길이 혹은 세로 길이를 일정 비율만큼 축소하는 리사이징 유닛;
    상기 축소된 대상 영상의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제1 특징값을 도출하는 제1 특징값 도출 유닛; 및
    상기 제1 특징값과 기준값과의 비교를 통해 상기 대상 영상에 오메가 영역이 포함되어 있는지를 판정하는 오메가 영역 판정 유닛;을 포함하는 것을 특징으로 하는 상반신 검출장치.
  3. 제2항에 있어서,
    상기 오메가 영역 검출부는,
    아다부스트(adaboost) 기반으로 학습된 3차원 제1 룩업 테이블을 저장하는 제1 메모리;를 더 포함하고,
    상기 제1 특징값 도출 유닛은, 상기 제1 룩업 테이블을 기초로, 상기 제1 특징값을 도출하는 것을 특징으로 하는 상반신 검출장치.
  4. 제3항에 있어서,
    상기 제1 룩업 테이블은, 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 상기 오메가 모양 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것을 특징으로 하는 상반신 검출장치.
  5. 제1항에 있어서,
    상기 얼굴 검출부로부터의 사람 얼굴의 검출 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 오메가 영역으로부터 사람의 측면 혹은 후면이 있는지를 검증하는 측/후면 검증부;를 더 포함하는 것을 특징으로 하는 상반신 검출장치.
  6. 제5항에 있어서,
    상기 측/후면 검증부는,
    아다부스트(adaboost) 기반으로 학습된 3차원 제2 룩업 테이블을 저장하는 제2 메모리;
    상기 제2 룩업 테이블을 기초로, 상기 오메가 영역의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제2 특징값을 도출하는 제2 특징값 도출 유닛; 및
    상기 제2 특징값과 기준값과의 비교를 통해 상기 오메가 영역에 사람의 측면 혹은 후면이 포함되어 있는지를 판정하는 측/후면 판정 유닛;를 포함하는 것을 특징으로 하는 상반신 검출장치.
  7. 제6항에 있어서,
    상기 제2 룩업 테이블은, 포지티브 셋트(Positive Set)로 사람의 측면/후면 예제 영상을, 네가티브 셋트(Negative Set)로 상기 사람의 측면/후면 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것을 특징으로 하는 상반신 검출장치.
  8. 대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계;
    상기 오메가 후보 영역을 포함하는 상반신 후보 영역으로 상기 대상 영역을 절단하는 단계;
    상기 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계; 및
    상기 사람 얼굴의 검출 작업에 대한 결과에 따라 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 단계;를 포함하는 것을 특징으로 하는 상반신 검출방법.
  9. 제8항에 있어서,
    상기 판정하는 단계는,
    상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출된 경우, 상기 대상 영상에 사람의 상반신이 포함된 것으로 판단하는 단계;를 포함하는 것을 특징으로 하는 상반신 검출방법.
  10. 제8항에 있어서,
    상기 검출하는 단계는,
    상기 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부를 판단하는 단계;
    대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우, 상기 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 단계;
    상기 리사이징된 대상 영상에 대해, 전처리 작업을 수행하는 단계;
    상기 전처리된 대상 영상에 대해서, 제1 특징값을 도출하는 단계;
    상기 도출된 제1 특징값을 기초로 하여 상기 대상 영상에 오메가 후보 영역이 포함되었는지 판정하는 단계;를 포함하는 것을 특징으로 하는 상반신 검출방법.
  11. 제8항에 있어서,
    상기 판정하는 단계는,
    상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 상반신 후보 영역으로부터 사람의 측면 혹은 후면을 검출하는 단계;를 포함하는 것을 특징으로 하는 싱반신 검출방법.
  12. 제11항에 있어서,
    상기 사람의 측면 혹은 후면을 검출하는 단계는,
    상기 상반신 후보 영역에 대해 에지 검출 작업 및 MCT 처리 작업 중 어느 하나의 작업을 포함하는 전처리 작업을 수행하는 단계;
    상기 전처리된 상반신 후보 영역에 대해, 제2 특징값을 도출하는 단계; 및
    상기 제2 특징값과 소정의 기준값이 비교되어 상기 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지를 판정하는 단계;를 포함하는 것을 특징으로 하는 상반신 검출방법.
KR1020100131825A 2010-12-21 2010-12-21 상반신 검출장치 및 검출방법 KR101972356B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100131825A KR101972356B1 (ko) 2010-12-21 2010-12-21 상반신 검출장치 및 검출방법
US13/332,879 US8705814B2 (en) 2010-12-21 2011-12-21 Apparatus and method for detecting upper body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131825A KR101972356B1 (ko) 2010-12-21 2010-12-21 상반신 검출장치 및 검출방법

Publications (2)

Publication Number Publication Date
KR20120070316A true KR20120070316A (ko) 2012-06-29
KR101972356B1 KR101972356B1 (ko) 2019-04-25

Family

ID=46234485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131825A KR101972356B1 (ko) 2010-12-21 2010-12-21 상반신 검출장치 및 검출방법

Country Status (2)

Country Link
US (1) US8705814B2 (ko)
KR (1) KR101972356B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101447958B1 (ko) * 2014-04-29 2014-10-14 (주)디지엔터테인먼트 신체 부분 검출 방법 및 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154024B1 (en) * 2014-06-03 2023-08-09 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
CN105701447B (zh) * 2015-12-30 2018-12-28 上海智臻智能网络科技股份有限公司 迎宾机器人
WO2018005359A1 (en) * 2016-06-27 2018-01-04 Robert Bosch Gmbh Systems and methods for dynamic occlusion handling
CN106326914B (zh) * 2016-08-08 2019-04-19 浙江诸暨会智科技有限公司 一种基于svm的珍珠多分类方法
US10713839B1 (en) 2017-10-24 2020-07-14 State Farm Mutual Automobile Insurance Company Virtual vehicle generation by multi-spectrum scanning
CN108052935A (zh) * 2018-01-30 2018-05-18 深圳智达机械技术有限公司 一种具有识别功能的智能眼镜
US10521962B1 (en) 2018-03-08 2019-12-31 State Farm Mutual Automobile Insurance Company Method and system for visualizing overlays in virtual environments
US10970923B1 (en) 2018-03-13 2021-04-06 State Farm Mutual Automobile Insurance Company Method and system for virtual area visualization
US10732001B1 (en) 2018-04-06 2020-08-04 State Farm Mutual Automobile Insurance Company Methods and systems for response vehicle deployment
US10832476B1 (en) 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
CN109815815B (zh) * 2018-12-22 2021-06-18 昆明理工大学 一种基于度量学习和支持向量机相集成的行人再识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053492A (ko) * 2007-11-23 2009-05-27 삼성전자주식회사 객체 검출 방법 및 장치
KR20100070896A (ko) * 2008-12-18 2010-06-28 한국전자통신연구원 얼굴 검출 시스템 및 그 방법
KR20100124949A (ko) * 2009-05-20 2010-11-30 한국전자통신연구원 원거리 얼굴 추적 장치 및 이를 이용한 얼굴 추적 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619593A (en) * 1991-09-12 1997-04-08 Fuji Photo Film Co., Ltd. Method for extracting object images and method for detecting movements thereof
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
JP2007122218A (ja) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd 画像分析装置
WO2007074844A1 (ja) * 2005-12-28 2007-07-05 Kao Corporation 顔パーツの位置の検出方法及び検出システム
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
JP4973393B2 (ja) * 2007-08-30 2012-07-11 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US20090150511A1 (en) 2007-11-08 2009-06-11 Rna Networks, Inc. Network with distributed shared memory
JP5121508B2 (ja) * 2008-03-03 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053492A (ko) * 2007-11-23 2009-05-27 삼성전자주식회사 객체 검출 방법 및 장치
KR20100070896A (ko) * 2008-12-18 2010-06-28 한국전자통신연구원 얼굴 검출 시스템 및 그 방법
KR20100124949A (ko) * 2009-05-20 2010-11-30 한국전자통신연구원 원거리 얼굴 추적 장치 및 이를 이용한 얼굴 추적 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101447958B1 (ko) * 2014-04-29 2014-10-14 (주)디지엔터테인먼트 신체 부분 검출 방법 및 장치

Also Published As

Publication number Publication date
US8705814B2 (en) 2014-04-22
US20120155719A1 (en) 2012-06-21
KR101972356B1 (ko) 2019-04-25

Similar Documents

Publication Publication Date Title
KR101972356B1 (ko) 상반신 검출장치 및 검출방법
US11798283B2 (en) Active presence detection with depth sensing
US8942434B1 (en) Conflict resolution for pupil detection
US8902053B2 (en) Method and system for lane departure warning
US20200175260A1 (en) Depth image based face anti-spoofing
US20160062456A1 (en) Method and apparatus for live user recognition
CN109079809B (zh) 一种机器人屏幕解锁方法、装置、智能设备及存储介质
WO2019033576A1 (zh) 人脸姿态检测方法、装置及存储介质
US8548196B2 (en) Method and interface of recognizing user's dynamic organ gesture and elec tric-using apparatus using the interface
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
CN111339901B (zh) 基于图像的入侵检测方法、装置、电子设备及存储介质
US20120068920A1 (en) Method and interface of recognizing user's dynamic organ gesture and electric-using apparatus using the interface
US20140078281A1 (en) Drowsiness warning device
US11948363B2 (en) Person detection device and person detection method
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
Sun et al. A robust lane detection method for autonomous car-like robot
KR101795264B1 (ko) 얼굴 랜드마크 검출 장치 및 그 검증 방법
WO2022091577A1 (ja) 情報処理装置および情報処理方法
CN103680064B (zh) 瞌睡提醒系统
CN109479118A (zh) 对象检测方法、对象检测装置以及电子设备
US9245342B2 (en) Obstacle detection device
JP6772059B2 (ja) 電子制御装置、電子制御システムおよび電子制御方法
CN101916380A (zh) 基于视频的烟检测装置和方法
JP2005011097A (ja) 顔有無判定装置及び顔有無判定プログラム
Tomari et al. Multi-view head detection and tracking with long range capability for social navigation planning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)