KR101972356B1 - An apparatus and a method for detecting upper body - Google Patents

An apparatus and a method for detecting upper body Download PDF

Info

Publication number
KR101972356B1
KR101972356B1 KR1020100131825A KR20100131825A KR101972356B1 KR 101972356 B1 KR101972356 B1 KR 101972356B1 KR 1020100131825 A KR1020100131825 A KR 1020100131825A KR 20100131825 A KR20100131825 A KR 20100131825A KR 101972356 B1 KR101972356 B1 KR 101972356B1
Authority
KR
South Korea
Prior art keywords
omega
candidate region
upper half
person
unit
Prior art date
Application number
KR1020100131825A
Other languages
Korean (ko)
Other versions
KR20120070316A (en
Inventor
윤우한
김도형
이재연
반규대
이대하
한문성
윤호섭
지수영
정연구
손주찬
김혜진
윤영우
김재홍
조재일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100131825A priority Critical patent/KR101972356B1/en
Priority to US13/332,879 priority patent/US8705814B2/en
Publication of KR20120070316A publication Critical patent/KR20120070316A/en
Application granted granted Critical
Publication of KR101972356B1 publication Critical patent/KR101972356B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Abstract

본 발명의 실시예에 따른 상반신 검출방법은, 대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계와, 오메가 후보 영역을 포함하는 상반신 후보 영역으로 대상 영역을 절단하는 단계와, 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계와, 사람 얼굴의 검출 작업에 대한 결과에 따라 대상 영상에 사람의 상반신이 포함되었는지 판정하는 단계를 포함한다.A method for detecting an upper body according to an embodiment of the present invention includes the steps of detecting an omega candidate region including a shape of a human face and a shoulder line with respect to a target image and extracting an object region as an upper body candidate region including an omega candidate region Performing a detecting operation of a human face from an upper half candidate region, and determining whether the upper half of the person is included in the target image according to a result of the detecting operation of the human face.

Description

상반신 검출장치 및 검출방법 {An apparatus and a method for detecting upper body}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001]

본 발명은 기존 방식과 달리 효과적인 방법을 통해 상반신을 검출할 수 있는 상반신 검출장치 및 검출방법에 관한 것이다.The present invention relates to an upper body detection apparatus and a detection method capable of detecting an upper body through an effective method different from conventional methods.

사람의 상반신 검출 기술은 얼굴 인식, 사람 추적, 제스처 인식 등을 활용한 보안 감시, 지능형 로봇, 엔터테인먼트 등 다양한 분야에서 응용이 가능하기에 적극적인 연구개발이 필요한 핵심이다.Human body's upper body detection technology can be applied in various fields such as face detection, human tracking, gesture recognition, security surveillance, intelligent robot, and entertainment.

다만, 이러한 상반신 검출 기술은, 기존에 다양한 방법들이 연구되어 왔으며, 지금도 연구 중에 있다. However, various methods for detecting the upper body have been studied in the past, and they are still being studied.

그러나, 기존의 상반신 검출 기술은, 오검출률이 높고, 정검출률이 낮다는 문제점이 있으며, 또한 상반신을 검출하는 데, 다소 긴 검출 시간이 소요된다는 문제점이 있다. 따라서 기존 상반신 검출 기술은 현재 실용화하기는 다소 무리가 있다. 따라서 산업계에서는, 실제 응용에서 실용화하기 위한 상반신 검출 기술에 대한 필요성이 대두되고 있다. However, the existing upper-body detection technique has a problem that the false detection rate is high and the positive detection rate is low, and also a long detection time is required for detecting the upper half. Therefore, it is somewhat unreasonable to use the existing upper half detection technology at present. Therefore, in the industrial field, there is a need for an upper half body detection technique for practical use in practical applications.

본 발명에서는 이러한 문제점을 해결하기 위해서, 영상에서 오메가 모양 검출 방법, 얼굴 인식 방법, 측/후면 검증 방법을 혼용하는 상반신 검출장치 및 검출방법을 제공하는 것을 그 목적으로 한다.The object of the present invention is to provide an upper-body detecting apparatus and a detecting method which combine an omega shape detecting method, a face recognizing method, and a side / rear face verifying method in an image to solve such a problem.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 양태로서, 대상 영상에 대해 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 영역을 검출하는 오메가 영역 검출부와, 상기 오메가 영역으로부터 사람 얼굴이 포함되어 있는지를 검출하는 얼굴 검출부와, 상기 사람 얼굴의 검출 결과를 기초로, 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 상반신 판정부를 포함하는 상반신 검출장치가 제공된다.According to an aspect of the present invention, there is provided an image processing apparatus including: an omega region detection unit for detecting an omega region including a shape of a human face and a shoulder line with respect to a target image; And an upper half body judging section for judging whether the upper half of the person is included in the target image based on the detection result of the human face.

상기 오메가 영역 검출부는, 상기 대상 영상의 가로 길이 혹은 세로 길이를 일정 비율만큼 축소하는 리사이징 유닛과, 상기 축소된 대상 영상의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제1 특징값을 도출하는 제1 특징값 도출 유닛과, 상기 제1 특징값과 기준값과의 비교를 통해 상기 대상 영상에 오메가 영역이 포함되어 있는지를 판정하는 오메가 영역 판정 유닛을 포함하는 것이 바람직하다.Wherein the omega region detection unit comprises: a resizing unit for reducing a width or length of the target image by a predetermined ratio; and a correction unit for deriving a degree of importance for each coordinate of the reduced target image, and based on the derived importance, And an omega region determination unit for determining whether the omega region is included in the target image through comparison between the first feature value and the reference value.

상기 오메가 영역 검출부는, 아다부스트(adaboost) 기반으로 학습된 3차원 제1 룩업 테이블을 저장하는 제1 메모리를 더 포함하고, 상기 제1 특징값 도출 유닛은, 상기 제1 룩업 테이블을 기초로, 상기 제1 특징값을 도출하는 것이 바람직하다.The omega region detection unit may further include a first memory for storing a three-dimensional first lookup table learned on an adaboost basis, and the first feature value derivation unit may calculate, based on the first lookup table, It is preferable to derive the first characteristic value.

상기 제1 룩업 테이블은, 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 상기 오메가 모양 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것이 바람직하다. Preferably, the first lookup table is learned based on an adaboost using an omega shape sample image as a positive set and an image other than the omega shape sample image as a negative set.

상기 상반신 검출장치는, 상기 얼굴 검출부로부터의 사람 얼굴의 검출 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 오메가 영역으로부터 사람의 측면 혹은 후면이 있는지를 검증하는 측/후면 검증부를 더 포함하는 것이 바람직하다>It is preferable that the upper half body detecting device further includes a side / back side verifying unit for verifying whether the face of the person is detected from the omega area when the face of the person is not detected as a result of detection of the face by the face detecting unit >

상기 측/후면 검증부는, 아다부스트(adaboost) 기반으로 학습된 3차원 제2 룩업 테이블을 저장하는 제2 메모리와, 상기 제2 룩업 테이블을 기초로, 상기 오메가 영역의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제2 특징값을 도출하는 제2 특징값 도출 유닛와, 상기 제2 특징값과 기준값과의 비교를 통해 상기 오메가 영역에 사람의 측면 혹은 후면이 포함되어 있는지를 판정하는 측/후면 판정 유닛을 포함하는 것이 바람직하다.Wherein the side / rear verifying unit comprises: a second memory for storing a three-dimensional second lookup table learned on an adaboost basis; and a second memory for storing the three-dimensional second lookup table based on the adaboost based on the second lookup table, A second feature value derivation unit for deriving a second feature value based on the derived importance, and a second feature value derivation unit for determining whether the side or the back side of the person is included in the omega region by comparing the second feature value with a reference value Side determination unit.

상기 제2 룩업 테이블은, 포지티브 셋트(Positive Set)로 사람의 측면/후면 예제 영상을, 네가티브 셋트(Negative Set)로 상기 사람의 측면/후면 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것이 바람직하다. The second lookup table is learned on the basis of an adaboost using a picture of a side / rear example image of a person in a positive set and a picture other than a side / rear example image of the person in a negative set as a negative set .

본 발명의 다른 양태로서, 대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계와, 상기 오메가 후보 영역을 포함하는 상반신 후보 영역으로 상기 대상 영역을 절단하는 단계와, 상기 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계와, 상기 사람 얼굴의 검출 작업에 대한 결과에 따라 상기 대상 영상에 사람의 상반신이 포함되었는지 판정하는 단계를 포함하는 상반신 검출방법을 제공한다.According to another aspect of the present invention, there is provided an image processing method comprising the steps of: detecting an omega candidate region including a shape of a human face and a shoulder line with respect to a target image; and cutting the target region into an upper half candidate region including the omega candidate region Performing a detection operation of a human face from the upper half candidate region, and determining whether the upper half of the person is included in the target image according to a result of the detection of the human face do.

상기 판정하는 단계는, 상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출된 경우, 상기 대상 영상에 사람의 상반신이 포함된 것으로 판단하는 단계;를 포함하는 것이 바람직하다. The determining may include determining that the upper half of the person is included in the target image when the face of the person is detected as a result of the detecting operation of the human face.

상기 검출하는 단계는, 상기 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부를 판단하는 단계와, 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우, 상기 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 단계와, 상기 리사이징된 대상 영상에 대해, 전처리 작업을 수행하는 단계와, 상기 전처리된 대상 영상에 대해서, 제1 특징값을 도출하는 단계와, 상기 도출된 제1 특징값을 기초로 하여 상기 대상 영상에 오메가 후보 영역이 포함되었는지 판정하는 단계를 포함하는 것이 바람직하다.Wherein the detecting step comprises the steps of: determining whether a horizontal length or a vertical length of the target image is greater than a predetermined threshold value (TH); if the horizontal length or the vertical length of the target image is greater than a predetermined threshold value, The method comprising the steps of: reducing a size of a size of the pre-processed object image by a predetermined ratio; performing a preprocessing operation on the resized object image; deriving a first feature value for the preprocessed object image; And determining whether the omega candidate region is included in the target image based on the first feature value.

또한 상기 판정하는 단계는, 상기 사람 얼굴의 검출 작업에 대한 결과, 사람의 얼굴이 검출되지 않은 경우, 상기 상반신 후보 영역으로부터 사람의 측면 혹은 후면을 검출하는 단계를 포함하는 것이 바람직하다.It is preferable that the determining step includes a step of detecting a side or a rear face of the person from the upper half candidate region when the face of the person is not detected as a result of the detecting operation of the face.

그리고 상기 사람의 측면 혹은 후면을 검출하는 단계는, 상기 상반신 후보 영역에 대해 에지 검출 작업 및 MCT 처리 작업 중 어느 하나의 작업을 포함하는 전처리 작업을 수행하는 단계와, 상기 전처리된 상반신 후보 영역에 대해, 제2 특징값을 도출하는 단계와, 상기 제2 특징값과 소정의 기준값이 비교되어 상기 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지를 판정하는 단계를 포함하는 것이 바람직하다.The step of detecting the side or rear face of the person may include the steps of performing a pre-processing operation including any one of an edge detection operation and an MCT processing operation on the upper half candidate region, And deriving a second feature value, and comparing the second feature value with a predetermined reference value to determine whether a side or a back side of the person exists in the upper half candidate region.

본 발명에 따르면, 얼굴 검출 방법, 오메가 영역 방법, 측/후면 검증 방법을 조합하여 상반신을 검출함으로써, 신속하고 정확하게 사람의 상반신을 검출할 수 있다는 장점을 갖는다. According to the present invention, an upper body is detected by a combination of a face detection method, an omega area method, and a side / rear face verification method, so that an upper body of a person can be detected quickly and accurately.

도 1은 본 발명의 실시예에 따른 상반신 검출장치를 설명하기 위한 블록도를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 오메가 영역 검출부를 설명하기 위한 블록도를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 윈도우(Wondow) 영역을 도시하고 있는 도면이다.
도 4는 본 발명의 실시예에 따른 측/후면 검증부(150)를 설명하기 위한 블록도를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 상반신 검출 방법을 설명하기 위한 플로우 차트이다.
도 6은 본 발명의 실시예에 따른 오메가 영역 검출방법을 설명하기 위한 플로우 차트이다.
도 7은 본 발명의 실시예에 따른 오메가 영역 검출시에 사용하는 제1 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.
도 8은 본 발명의 실시예에 따른 측/후면 검증 방법을 설명하기 위한 플로우 차트이다.
도 9는 본 발명의 실시예에 따른 측/후면 검증시에 사용하는 제2 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.1 is a block diagram for explaining an upper half body detecting apparatus according to an embodiment of the present invention.
2 is a block diagram for explaining an omega region detection unit according to an embodiment of the present invention.
3 is a diagram illustrating a window area according to an embodiment of the present invention.
FIG. 4 is a block diagram illustrating a side / back side verifying unit 150 according to an embodiment of the present invention.
5 is a flowchart illustrating an upper body detection method according to an embodiment of the present invention.
6 is a flowchart for explaining an omega region detection method according to an embodiment of the present invention.
7 is a flowchart for explaining a method of deriving a first lookup table used in detecting an omega region according to an embodiment of the present invention.
8 is a flowchart for explaining a side / backside verification method according to an embodiment of the present invention.
9 is a flowchart for explaining a method of deriving a second lookup table used in side / backside verification according to an embodiment of the present invention.

이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.The following embodiments are a combination of elements and features of the present invention in a predetermined form. Each component or characteristic may be considered optional unless otherwise expressly stated. Each component or feature may be implemented in a form that is not combined with other components or features. In addition, some of the elements and / or features may be combined to form an embodiment of the present invention. The order of the operations described in the embodiments of the present invention may be changed. Some configurations or features of certain embodiments may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments.

본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. Embodiments of the present invention may be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.For a hardware implementation, the method according to embodiments of the present invention may be implemented in one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs) , Field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. The software code can be stored in a memory unit and driven by the processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various well-known means.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결" 되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only a case directly connected but also a case where the part is electrically connected with another part in between. Also, when a section includes a constituent element, it means that the present invention can include other constituent elements, not excluding the other constituent elements unless specifically stated otherwise.

또한, 본 명세서에서 기재한 모듈(module)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현할 수 있다.Also, the term module as used herein refers to a unit for processing a specific function or operation, which can be implemented by hardware, software, or a combination of hardware and software.

이하의 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not intended to limit the scope of the invention.

이하, 첨부된 도면들을 참조하여, 본 발명에 따른 실시예들에 대하여 상세하게 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 상반신 검출장치를 설명하기 위한 블록도를 도시한 도면이다.1 is a block diagram for explaining an upper half body detecting apparatus according to an embodiment of the present invention.

본 발명에 따르면, 상반신 검출장치(100)로부터 검출된 상반신 검출 결과가 보안감시, 지능형 로봇, 엔터테인먼트 등의 다양한 응용(200)에 제공되어 활용된다.According to the present invention, the upper body detection result detected by the upper body detection apparatus 100 is provided and utilized in various applications 200 such as security monitoring, intelligent robots, and entertainment.

본 실시예에 따른 상반신 검출장치(100)는 영상 입력부(110), 오메가 영역 검출부(120), 후보 영역 절단부(130), 얼굴 검출부(140), 측/후면 검증부(150) 및 상반신 판정부(160)를 포함한다.The upper body detection apparatus 100 according to the present embodiment includes an image input unit 110, an omega region detection unit 120, a candidate region cutout unit 130, a face detection unit 140, a side / backside verification unit 150, (160).

본 실시예에 따른 영상 입력부(110)는 카메라(미도시)를 통해 입력된 영상을 입력받는 역할을 담당한다.The image input unit 110 according to the present embodiment is responsible for receiving images input through a camera (not shown).

본 실시예에 따른 오메가 영역 검출부(120)는 영상 입력부(110)에 입력된 영상으로부터 오메가 영역(Ω)을 검출하는 역할을 담당한다. 여기서 오메가 영역이란 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 영역을 의미한다. The omega region detection unit 120 according to the present embodiment is responsible for detecting the omega region OMEGA from the image input to the image input unit 110. [ Here, the omega region means a region including a shape consisting of a face and a shoulder line of a person.

상세하게는 오메가 영역 검출부(120)는 입력된 영상의 다양한 크기와 해당 영상의 모든 위치에 대해 오메가 검출을 수행하여 오메가 영역이 있을 가능성이 높은 영역인 오메가 후보 영역을 검색한다. 오메가 영역 검출부(120)는 만약 오메가 후보 영역이 존재하지 않을 경우, 입력된 영상에 상반신이 없는 것으로 판단하고 상반신 검출을 종료하도록 처리한다.Specifically, the omega region detection unit 120 performs omega detection on various sizes of the input image and all positions of the image to search for an omega candidate region, which is a region where the omega region is likely to exist. If the omega candidate region does not exist, the omega region detection unit 120 determines that the input image does not have an upper body and processes the upper body detection to end.

그리고 오메가 영역 검출부(120)는, 만약 오메가 후보 영역이 존재하는 경우, 해당 오메가 영역에 대한 정보를 후보 영역 절단부(130)로 전달한다. If the omega candidate region exists, the omega region detection unit 120 transmits information about the omega region to the candidate region cutting unit 130.

본 실시예에 따른 후보 영역 절단부(130)는 오메가 영역 검출부(120)로부터 검출된 오메가 후보 영역을 포함하는 상반신 후보 영역으로 절단하는 역할을 담당한다. 여기서 상반신 후보 영역으로는 사각형 좌표에 대해 사각형만큼 절단한 영역인 것이 바람직하다.The candidate region cutting unit 130 according to the present embodiment is responsible for cutting the candidate region into an upper half candidate region including the omega candidate region detected from the omega region detecting unit 120. [ It is preferable that the upper half candidate region is a region cut by a rectangle with respect to the rectangular coordinates.

본 실시예에 따른 얼굴 검출부(140)는 후보 영역 절단부(130)에서 절단된 상반신 후보 영역으로부터 사람의 얼굴을 검출하는 역할을 담당한다. 얼굴 검출부(140)는 만약 사람의 얼굴을 검출한 경우, 입력된 영상에 정면을 향한 상반신을 포함하는 사람 이미지가 포함될 가능성이 높으므로 이에 대한 결과를 상반신 판정부(160)로 전달한다. The face detection unit 140 according to the present embodiment plays a role of detecting a face of a person from the upper half candidate region cut by the candidate region cutting unit 130. When the face of the person is detected, the face detecting unit 140 transmits the result of the detection to the upper half judging unit 160 because it is highly likely that the input image includes a human image including the upper half facing the face.

한편, 얼굴 검출부(140)는 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 상반신 후보 영역을 측/후면 검증부(150)로 전달한다. 얼굴을 검출하는 방법으로는 아다부스트(adaboost) 기법을 기반으로 구현되는 것이 바람직하다.On the other hand, when the face detection unit 140 can not detect a human face from the upper half candidate region, the face detection unit 140 transmits the upper half candidate region to the side / back side verification unit 150. The face detection method is preferably implemented based on an adaboost technique.

한편, 본 실시예에 따른 측/후면 검증부(150)는, 얼굴 검출부(140)에서 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 상반신 후보 영역을 수신하여 이로부터 사람의 측면 혹은 후면이 있는지에 대해 검증하는 역할을 담당한다. On the other hand, when the face detector 140 can not detect a person's face from the upper half candidate region, the side / back side verifying unit 150 according to the present embodiment receives the upper half candidate region, It is also responsible for verifying that

측/후면 검증부(150)는 만약 사람의 측면 혹은 후면이 있는 것으로 검증된 경우, 이에 대한 결과를 상반신 판정부(160)로 전달한다. 그리고 측/후면 검증부(150)는 만약 사람의 측면 혹은 후면이 없는 것으로 검증된 경우, 입력된 영상에 상반신이 없는 것으로 판단하고 상반신 검출을 종료하도록 처리한다.If the side / backside verifying unit 150 verifies that there is a side or back side of a person, the side / backside verifying unit 150 transmits the result to the upper half judging unit 160. If it is verified that there is no side or rear face of the person, the side / backside verifying unit 150 determines that there is no upper body of the input image and processes the upper side detection to be ended.

본 실시예에 따른 상반신 판정부(160)는 얼굴 검출부(140) 혹은 측/후면 검증부(150)로부터의 전달된 결과를 수신하여, 해당 영상 내에 상반신이 있는지에 대해 최종적으로 판정하는 역할을 담당한다. The upper half body determining unit 160 according to the present embodiment receives a result transmitted from the face detecting unit 140 or the side / back side verifying unit 150 and plays a role of finally determining whether there is an upper body in the corresponding image do.

만약 얼굴 검출부(140)로부터 얼굴이 검출된 경우나 측/후면 검증부(150)로부터 사람의 측면 혹은 후면이 존재하는 것으로 검증된 경우에는, 상반신 판정부(160)는 해당 영상에 사람의 상반신이 포함된 것으로 판정할 것이다. If it is verified that a face is detected from the face detection unit 140 or that a side or a back side of a person is present from the side / back side verification unit 150, the upper side half determination unit 160 determines that the upper side half It will be determined to be included.

도 2는 본 발명의 실시예에 따른 오메가 영역 검출부를 설명하기 위한 블록도를 도시한 도면이다. 도 3은 본 발명의 실시예에 따른 윈도우(Wondow) 영역을 도시하고 있는 도면이다.2 is a block diagram for explaining an omega region detection unit according to an embodiment of the present invention. 3 is a diagram illustrating a window area according to an embodiment of the present invention.

본 실시예에 따른 오메가 영역 검출부(120)는 리사이징 유닛(121), 제1 전처리 유닛(123), 제1 특징값 도출 유닛(125), 제1 메모리(127) 및 오메가 영역 판정 유닛(129)을 포함한다.The omega region detection unit 120 according to the present embodiment includes a resizing unit 121, a first preprocessing unit 123, a first feature value derivation unit 125, a first memory 127, .

본 실시예에 따른 리사이징(resizing) 유닛(121)은 영상 입력부(110)로부터 전달된 해당 영상에 대해 다양한 크기의 오메가 모양을 검출하기 위해서, 해당 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH) 이하가 될 때까지, 해당 영상의 크기를 일정 비율만큼씩 줄이는 역할을 수행한다.The resizing unit 121 according to the present embodiment detects a shape of an omega of various sizes for a corresponding image transmitted from the image input unit 110 so that the horizontal or vertical length of the image is smaller than a predetermined threshold value TH ), The size of the image is reduced by a certain ratio.

본 실시예에 따른 제1 전처리 유닛(123)은 리사이징 유닛(121)에서 줄여진 영상에 대해 전처리 과정을 수행한다. 여기서 전처리 과정으로는 MCT(Modified Census Transform) 과정이 바람직할 것이나 본 발명은 이에 한정되지 않는다.The first preprocessing unit 123 according to the present embodiment performs a preprocessing process on an image reduced in the resizing unit 121. [ The preprocessing process is preferably a modified census transform (MCT) process, but the present invention is not limited thereto.

본 실시예에 따른 제1 특징값 도출 유닛(125)은 해당 영상 내의, 도 3에서와 같은 윈도우 영역인 (X,Y,Wdef,Hdef)에 대해서 제1 룩업테이블(Lookup Table)(128)을 참조하여 특징값을 도출하는 역할을 담당한다. 본 실시예에 따른 제1 특징값 도출 유닛(125)은 제1 룩업 테이블(128)을 통해서 윈도우 내의 각 좌표의 중요도 점수를 도출하고 이들을 이용하여 특징값을 도출한다. 여기서 도출된 특징값은 중요할수록 낮은 값을 갖는다.The first feature value derivation unit 125 according to the present embodiment sets a first lookup table 128 for the window regions (X, Y, Wdef, Hdef) And derives the feature value by referring to the reference value. The first feature value derivation unit 125 derives the importance score of each coordinate within the window through the first lookup table 128 and derives the feature value using the derived importance score. The derived feature value has a lower value as it becomes more important.

본 실시예에 따른 제1 메모리(127)는 여기서 제1 룩업 테이블(128)을 저장하는 역할을 담당한다. 제1 메모리(127)는 제1 룩업 테이블(128) 외에도 다양한 정보 및 데이터를 포함하고 있음은 물론이다.The first memory 127 according to the present embodiment plays a role of storing the first lookup table 128 therein. It is needless to say that the first memory 127 includes various information and data in addition to the first lookup table 128.

본 실시예에 따른 제1 룩업 테이블(128)은 f(x, y, z)의 3차원 직육면체 모양으로 구성되어 있다. 여기서 f(x, y, z)는 해당 좌표에서의 중요도 점수를 의미한다. x 값 및 y 값은 윈도우 내에서의 좌표를 의미하고, z 값은 전처리 과정을 거친 영상에서 해당 픽셀이 가지는 값을 의미한다. 여기서 제1 룩업 테이블(128)의 학습에는 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 그 외의 영상들이 사용된다.The first lookup table 128 according to the present embodiment has a three-dimensional rectangular parallelepiped shape of f (x, y, z). Here, f (x, y, z) means the importance score in the corresponding coordinates. The x and y values refer to the coordinates in the window, and the z value refers to the value of the corresponding pixel in the preprocessed image. Here, for learning of the first lookup table 128, an omega shape sample image is used as a positive set, and other images are used as a negative set.

본 실시예에 따른 오메가 영역 판정 유닛(129)은 제1 특징값 도출 유닛(125)으로부터 도출된 제1 특징값이 소정의 기준값 이하로 판단되는 경우, 해당 윈도우 영역에 오메가 영역을 포함하는 것으로 판정한다.When the first feature value derived from the first feature value derivation unit 125 is determined to be equal to or smaller than the predetermined reference value, the omega region determination unit 129 according to the present embodiment determines that the omega region is included in the window region do.

도 4는 본 발명의 실시예에 따른 측/후면 검증부(150)를 설명하기 위한 블록도를 도시한 도면이다.FIG. 4 is a block diagram illustrating a side / back side verifying unit 150 according to an embodiment of the present invention.

본 실시예에 따른 측/후면 검증부(150)는 제2 전처리 유닛(151), 제2 특징값 도출 유닛(153), 제2 메모리(155) 및 측/후면 판정 유닛(157)을 포함한다.The side / back surface verifying section 150 according to the present embodiment includes a second preprocessing unit 151, a second feature value derivation unit 153, a second memory 155, and a side / back side determination unit 157 .

본 실시예에 따른 제2 전처리 유닛(151)은 얼굴 검출부(140)에서 상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 얼굴 검출부(140)로부터 상반신 후보 영역을 입력받는다. 그리고 제2 전처리 유닛(151)은 상반신 후보 영역에 대해서, 전처리 과정으로 에지(edge) 검출 작업 및 MCT 처리 과정을 수행한다.The second preprocessing unit 151 according to the present embodiment receives the upper half candidate region from the face detection unit 140 when the face detection unit 140 can not detect a human face from the upper half candidate region. The second preprocessing unit 151 performs an edge detection operation and an MCT processing operation on the upper half candidate region in a preprocessing process.

본 실시예에 따른 제2 특징값 도출 유닛(153)은 전처리 과정이 수행된 상반신 후보 영역에 대해, 제2 메모리(155)에 저장된 제2 룩업 테이블(156)을 이용하여 제2 특징값을 도출한다. 이 경우에도 도 3과 같은 윈도우 영역을 활용하는 것이 바람직할 것이다.The second feature value derivation unit 153 derives the second feature value using the second lookup table 156 stored in the second memory 155 with respect to the upper half candidate region in which the preprocessing process has been performed do. In this case, it is preferable to utilize the window area as shown in FIG.

본 실시예에 따른 제2 메모리(155)는, 제2 룩업 테이블(156)을 저장한다. 제2 룩업 테이블(156)은 f(x, y, z)의 3차원 직육면체 모양으로 구성되어 있으며, x 값 및 y 값은 윈도우 영역 내에서의 좌표를 의미하고, Z 값은 전처리를 거친 영상에서 해당 픽셀이 가지는 값을 의미한다. 여기서 제2 룩업 테이블(156)의 학습에는 포지티브 셋트(Positive Set)로 측/후면 예제 영상을, 네가티브 셋트(Negative Set) 로 그 외의 영상들이 사용된다.The second memory 155 according to the present embodiment stores the second lookup table 156. [ The second lookup table 156 consists of a three-dimensional rectangular parallelepiped of f (x, y, z), where x and y mean coordinates in the window region, Means the value of the corresponding pixel. Here, the learning of the second look-up table 156 is performed using a positive set of side / rear example images and a negative set of other images.

본 실시예에 따른 제2 특징값 도출 유닛(153)은 복수의 f(x, y, z)을 통해서 제2 특징값을 도출한다. 여기서 f(x, y, z)는 해당 좌표에서의 중요도 점수를 의미한다. The second feature value derivation unit 153 according to the present embodiment derives the second feature value through a plurality of f (x, y, z). Here, f (x, y, z) means the importance score in the corresponding coordinates.

본 실시예에 따른 측/후면 판정 유닛(157)은 제2 특징값 도출 유닛(153)에서 도출된 제2 특징값이 기준값 이하인 경우, 해당 영상, 즉 제2 전처리 유닛(151)에서 입력받은 상반신 후보 영역에 사람의 측/후면이 존재하는 것으로 검증/판단한다.When the second feature value derived from the second feature value derivation unit 153 is equal to or smaller than the reference value, the side / back side determination unit 157 according to the present embodiment determines whether the corresponding image, that is, the upper half It is verified / judged that the side / back side of the person exists in the candidate area.

도 5는 본 발명의 실시예에 따른 상반신 검출 방법을 설명하기 위한 플로우 차트이다.5 is a flowchart illustrating an upper body detection method according to an embodiment of the present invention.

이하 도 1 내지 도 5를 참조하여 설명을 개시한다.Description will be given below with reference to Figs. 1 to 5. Fig.

먼저, 카메라 등을 통해 영상 입력부(110)로 대상 영상이 입력된다(S500).First, a target image is input to the image input unit 110 through a camera or the like (S500).

그리고 오메가 영역 검출부(120)에 의해 오메가 후보 영역의 검출 작업이 수행된다(S510). 이 경우 오메가 후보 영역이 검출되지 않을 경우에는 대상 영역에는 사람의 상반신이 없는 것으로 판단된다(S520).Then, the detection operation of the omega candidate region is performed by the omega region detection unit 120 (S510). In this case, if the omega candidate region is not detected, it is determined that there is no upper body of the person in the target region (S520).

한편 오메가 후보 영역이 검출될 경우에는 후보 영역 절단부(130)에 의해 오메가 후보 영역을 포함하는 상반신 후보 영역이 절단된다(S530).On the other hand, when the omega candidate region is detected, the candidate region cutting unit 130 cuts the upper half candidate region including the omega candidate region (S530).

그리고 얼굴 검출부(140)에 의해 상반신 후보 영역으로부터 사람 얼굴의 검출 작업이 수행된다(S540). Then, the face detection unit 140 detects a human face from the candidate region of the upper half (S540).

S540 단계에서 얼굴이 검출된 경우에는(S550), 상반신 판정부(160)에 의해 대상 영상 내에 상반신이 있는지에 대해 최종적으로 판정이 된다(S560).If a face is detected in step S540 (S550), the upper half deciding unit 160 finally determines whether there is an upper half in the target image (S560).

다만, S540 단계에서 얼굴이 검출되지 않은 경우에는(S550), 측/후면 검증부(150)를 통해 상반신 후보 영역 내에 사람의 측면 혹은 후면이 있는지에 대한 검증 작업이 수행된다(S570).However, if the face is not detected in step S540 (S550), the side / rear verifying unit 150 verifies whether there is a side or a back side of the person in the upper half candidate region (S570).

S570 단계에서 사람의 측면 혹은 후면이 있는 것으로 검증된 경우에는(S580), 상반신 판정부(160)에 의해 대상 영상 내에 상반신이 있는지에 대해 최종적으로 판정이 된다(S560).If it is verified that there is a side or rear face of a person in step S570, the upper half deciding unit 160 finally determines whether there is an upper half of the subject image (S560).

반면에 S570 단계에서 사람의 측면 혹은 후면이 없는 것으로 검증된 경우에는(S580), 대상 영상에는 사람의 상반신이 존재하지 않는 것으로 판단하고 상반신 검출 작업이 종료된다. On the other hand, if it is verified in step S570 that there is no side or rear face of the person (S580), it is determined that the upper half of the person does not exist in the target image, and the upper half body detection operation is terminated.

도 6은 본 발명의 실시예에 따른 오메가 영역 검출방법을 설명하기 위한 플로우 차트이다.6 is a flowchart for explaining an omega region detection method according to an embodiment of the present invention.

이하 도 1 내지 도 6을 참조하여 설명을 개시한다.Description will be given below with reference to Figs. 1 to 6. Fig.

먼저 영상 입력부(110)를 통해 대상 영상이 입력된다(S600).First, the target image is input through the image input unit 110 (S600).

그리고 리사이징 유닛(121)을 통해 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부가 판단된다(S610).Then, it is determined whether the width or length of the target image is larger than a predetermined threshold value TH through the resizing unit 121 (S610).

만약 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우에는(S610), 리사이징 유닛(121)에 의해 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 리사이징 작업이 수행된다(S620).If the horizontal length or vertical length of the target image is larger than the predetermined threshold (S610), the resizing unit 121 performs a resizing operation to reduce the size of the target image by a predetermined ratio (S620).

그리고 리사이징 유닛(121)을 통해 리사이징된 대상 영상에 대해, 제1 전처리 유닛(123)을 통해 전처리 작업이 수행된다(S630).The preprocessing operation is performed on the object image resized through the resizing unit 121 through the first preprocessing unit 123 (S630).

그리고 제1 특징값 도출 유닛(125)에 의해 전처리된 영상에 대해서는 제1 특징값이 도출된다(S640). 이 경우 제1 룩업 테이블이 사용된다.Then, the first feature value is derived for the image preprocessed by the first feature value derivation unit 125 (S640). In this case, a first lookup table is used.

그리고 제1 특징값을 기초로 하여 오메가 영역 판정 유닛(129)의 판정에 따라 대상 영상에 오메가 영역이 포함되었는지 판정하고(S650), 이를 검증한다(S660).Based on the first feature value, the omega region determination unit 129 determines whether the omega region is included in the target image (S650), and verifies the omega region (S660).

다만, S610 단계에서, 만약 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 크지 않은 경우에는(S610), 오메가 영역 검출 작업은 종료된다.However, if it is determined in step S610 that the horizontal length or the vertical length of the target image is not larger than the predetermined threshold value (S610), the omega area detection operation is terminated.

도 7은 본 발명의 실시예에 따른 오메가 영역 검출시에 사용하는 제1 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.7 is a flowchart for explaining a method of deriving a first lookup table used in detecting an omega region according to an embodiment of the present invention.

이하 도 1 내지 도 7을 참조하여 설명을 개시한다.Description will be given with reference to Figs. 1 to 7 below.

먼저 포지티브 셋트로서 오메가 모양 예제 영상이 입력되고, 네가티브 셋트로서 그 외의 영상이 각각 입력된다(S632).First, an omega shape sample image is input as a positive set, and other images are input as a negative set (S632).

그리고 각 영상에 대해 전처리 작업이 수행된다(634). 이 경우 전처리 작업으로는 MCT 작업이 적용되는 것이 바람직할 것이다.A preprocessing operation is performed on each image (634). In this case, it is desirable that the MCT operation be applied to the preprocessing operation.

그리고 전처리된 각 영상에 대해 아다부스트 기반의 학습이 수행된다(S636).Adaboost-based learning is performed on each of the preprocessed images (S636).

아다부스트 기반으로 학습된 각 영상을 기초로, 제1 룩업 테이블이 도출된다(638).Based on each image learned on the basis of the AdaBoost, a first look-up table is derived (638).

도출된 제1 룩업 테이블은 위에서 언급된 바와 같이, 오메가 영역을 검출할 때 사용된다. The derived first lookup table is used when detecting the omega region, as mentioned above.

도 8은 본 발명의 실시예에 따른 측/후면 검증 방법을 설명하기 위한 플로우 차트이다.8 is a flowchart for explaining a side / backside verification method according to an embodiment of the present invention.

이하 도 1 내지 도 8을 참조하여 설명을 개시한다.Description will be given below with reference to Figs. 1 to 8. Fig.

상반신 후보 영역으로부터 사람의 얼굴을 검출하지 못한 경우, 얼굴 검출부(140)로부터 제2 전처리 유닛(151)으로 상반신 후보 영역을 입력받는다(S700).If the face of the person is not detected from the upper half candidate region, the face detection unit 140 receives the upper half candidate region from the second preprocessing unit 151 (S700).

그리고 제2 전처리 유닛(151)을 통해 에지 검출 작업 및 MCT 처리 작업이 수행된다(S710, S720).Then, the edge detection operation and the MCT processing operation are performed through the second preprocessing unit 151 (S710, S720).

그리로 제2 전처리 유닛(151)으로부터 전처리된 상반신 후보 영역에 대해, 제2 룩업 테이블(156)을 기초로 제2 특징값 도출 유닛을 통해 제2 특징값이 도출된다(S730).Then, a second feature value is derived through the second feature value derivation unit based on the second lookup table 156 for the upper half candidate region preprocessed from the second preprocessing unit 151 (S730).

그리고 측/후면 판정 유닛(157)을 통해, 제2 특징값과 소정의 기준값이 비교되어 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지에 대해 판정된다(S740). Then, the second feature value is compared with the predetermined reference value through the side / rear surface determination unit 157 to determine whether the side or the rear surface of the person exists in the upper half candidate region (S740).

도 9는 본 발명의 실시예에 따른 측/후면 검증시에 사용하는 제2 룩업 테이블을 도출하는 방법을 설명하기 위한 플로우 차트이다.9 is a flowchart for explaining a method of deriving a second lookup table used in side / backside verification according to an embodiment of the present invention.

이하 도 1 내지 도 9를 참조하여 설명을 개시한다.Description will be given with reference to Figs. 1 to 9 below.

먼저 포지티브 셋트로서 측/후면 예제 영상이 입력되고, 네가티브 셋트로서 그 외의 영상이 각각 입력된다(S722).First, a side / rear example image is input as a positive set, and other images are input as a negative set (S722).

그리고 각 영상에 대해 전처리 작업이 수행된다(S724). 이 경우 전처리 작업으로는 에지 검출 작업 및 MCT 작업이 적용되는 것이 바람직할 것이다.Then, a preprocessing operation is performed on each image (S724). In this case, it is preferable that the edge detection operation and the MCT operation are applied as the preprocessing operation.

그리고 전처리된 각 영상에 대해 아다부스트 기반의 학습이 수행된다(S726).Then, adaboost-based learning is performed on each of the preprocessed images (S726).

아다부스트 기반으로 학습된 각 영상을 기초로, 제2 룩업 테이블이 도출된다(S728).Based on each image learned based on the AdaBoost, a second lookup table is derived (S728).

도출된 제2 룩업 테이블은 위에서 언급된 바와 같이, 측/후면 검증시에 사용된다. The derived second lookup table is used in the side / backside verification, as mentioned above.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있다.The present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention. In addition, claims that do not have an explicit citation in the claims may be combined to form an embodiment or included in a new claim by amendment after the application.

본 발명에 따른 상반신 검출장치 및 검출방법은, 지능형 로봇 분야, 보안 및 감시 분야, 스마트 환경 분야, 텔레매틱스 분야 등 사람 검출 기능을 필요로 하는 분야이면 어디든 적용가능하다. INDUSTRIAL APPLICABILITY The upper body detection apparatus and detection method according to the present invention can be applied to any field requiring a human detection function such as an intelligent robot field, a security and surveillance field, a smart environment field, and a telematics field.

120 : 오메가 영역 검출부 130 : 후보 영역 절단부
140 : 얼굴 검출부 150 : 측/후면 검증부
160 : 상반신 판정부 120: omega area detecting unit 130: candidate area cutting unit
140: Face Detection Unit 150: Side /
160: upper half judge

Claims (12)

대상 영상에 대해 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하고, 상기 오메가 후보 영역이 존재할 때 상기 오메가 후보 영역을 상반신 후보 영역으로 절단하는 오메가 영역 검출부;
상기 절단된 상반신 후보 영역으로부터 사람 얼굴이 포함되어 있는지를 검출하는 얼굴 검출부;
상기 사람 얼굴이 검출되지 않은 경우, 상기 상반신 후보 영역에 대해 도출된 특징값과 기 설정된 기준값을 비교하여 상기 오메가 영역에 사람의 측/후면이 포함되어 있는지 검증하는 측/후면 검증부; 및
상기 사람 얼굴이 검출되거나 혹은 상기 사람의 측/후면이 있는 것으로 검증된 경우, 상기 대상 영상에 사람의 상반신이 포함된 것으로 판정하는 상반신 판정부를 포함하고,
상기 오메가 영역 검출부는, 상기 대상 영상의 가로 길이 혹은 세로 길이를 일정 비율만큼 축소하는 리사이징 유닛; 상기 축소된 대상 영상의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제1 특징값을 도출하는 제1 특징값 도출 유닛; 및 상기 제1 특징값과 기준값과의 비교를 통해 상기 대상 영상에 오메가 영역이 포함되어 있는지를 판정하는 오메가 영역 판정 유닛을 포함하고,
상기 측/후면 검증부는, 아다부스트(adaboost) 기반으로 학습된 3차원 제2 룩업 테이블을 저장하는 제2 메모리; 상기 제2 룩업 테이블을 기초로, 상기 오메가 영역의 각 좌표에 대해 중요도를 도출하고, 상기 도출된 중요도를 기반으로 제2 특징값을 도출하는 제2 특징값 도출 유닛; 및 상기 제2 특징값과 기준값과의 비교를 통해 상기 오메가 영역에 사람의 측/후면이 포함되어 있는지를 판정하는 측/후면 판정 유닛을 포함하는 것을 특징으로 하는 상반신 검출장치.
An omega region detection unit detecting an omega candidate region including a shape of a human face and a shoulder line with respect to a target image and cutting the omega candidate region into an upper half candidate region when the omega candidate region exists;
A face detecting unit for detecting whether a human face is included in the cut upper candidate candidate area;
A side / backside verifying unit comparing the feature value derived for the upper half candidate region with a predetermined reference value to verify whether the side / back side of the person is included in the omega region when the face is not detected; And
An upper body judging unit which judges that the upper half of the person is included in the target image when the face of the person is detected or verified that the side /
Wherein the omega region detection unit comprises: a resizing unit for reducing a horizontal length or a vertical length of the target image by a predetermined ratio; A first feature value derivation unit for deriving an importance for each coordinate of the reduced object image and deriving a first feature value based on the derived importance; And an omega region determination unit for determining whether the omega region is included in the target image through comparison between the first feature value and a reference value,
Wherein the side / rear verifying unit comprises: a second memory for storing a three-dimensional second lookup table learned on an adaboost basis; A second feature value derivation unit for deriving a significance degree for each coordinate of the omega area based on the second lookup table and deriving a second feature value based on the derived importance value; And a side / rear surface determination unit that determines whether a side / back side of a person is included in the omega area through comparison between the second characteristic value and a reference value.
삭제delete 제1항에 있어서,
상기 오메가 영역 검출부는,
아다부스트(adaboost) 기반으로 학습된 3차원 제1 룩업 테이블을 저장하는 제1 메모리;를 더 포함하고,
상기 제1 특징값 도출 유닛은, 상기 제1 룩업 테이블을 기초로, 상기 제1 특징값을 도출하는 것을 특징으로 하는 상반신 검출장치.
The method according to claim 1,
Wherein the omega region detecting unit comprises:
And a first memory for storing a learned three-dimensional first lookup table based on an adaboost,
Wherein the first feature value derivation unit derives the first feature value based on the first lookup table.
제3항에 있어서,
상기 제1 룩업 테이블은, 포지티브 셋트(Positive Set)로 오메가 모양 예제 영상을, 네가티브 셋트(Negative Set)로 상기 오메가 모양 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것을 특징으로 하는 상반신 검출장치.
The method of claim 3,
Wherein the first lookup table is derived by learning an omega shape sample image using a positive set and a negative set using an image other than the omega shape sample image on an adaboost basis. Detection device.
삭제delete 삭제delete 제1항에 있어서,
상기 제2 룩업 테이블은, 포지티브 셋트(Positive Set)로 사람의 측면/후면 예제 영상을, 네가티브 셋트(Negative Set)로 상기 사람의 측면/후면 예제 영상 외의 영상을 사용하여 아다부스트 기반으로 학습되어 도출되는 것을 특징으로 하는 상반신 검출장치.
The method according to claim 1,
The second lookup table is learned on the basis of an adaboost using a picture of a side / rear example image of a person in a positive set and a picture other than a side / rear example image of the person in a negative set as a negative set The upper half body detecting device.
대상 영상에 대해, 사람의 얼굴과 어깨선으로 이루어진 형태를 포함하는 오메가 후보 영역을 검출하는 단계;
상기 오메가 후보 영역을 포함하는 상반신 후보 영역으로 대상 영역을 절단하는 단계;
상기 상반신 후보 영역으로부터 사람 얼굴의 검출 작업을 수행하는 단계;
상기 사람 얼굴이 검출되지 않은 경우, 상기 상반신 후보 영역에 대해 도출된 특징값과 기 설정된 기준값을 비교하여 상기 상반신 후보 영역으로부터 사람의 측면 혹은 후면을 검출하는 단계; 및
상기 사람 얼굴이 검출되거나 혹은 상기 사람의 측면 혹은 후면이 검출된 경우, 상기 대상 영상에 사람의 상반신이 포함된 것으로 판정하는 단계를 포함하고
상기 검출하는 단계는, 상기 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치(TH)보다 큰지 여부를 판단하는 단계; 대상 영상의 가로 길이 혹은 세로 길이가 소정의 임계치보다 큰 경우, 상기 대상 영상의 크기에 대해 일정 비율만큼 크기를 줄이는 리사이징을 수행하는 단계; 리사이징된 상기 대상 영상에 대해, 전처리 작업을 수행하는 단계; 상기 전처리된 대상 영상에 대해서, 제1 특징값을 도출하는 단계; 및 상기 도출된 제1 특징값을 기초로 하여 상기 대상 영상에 오메가 후보 영역이 포함되었는지 판정하는 단계를 포함하고 ,
상기 사람의 측면 혹은 후면을 검출하는 단계는, 상기 상반신 후보 영역에 대해 에지 검출 작업 및 MCT 처리 작업 중 어느 하나의 작업을 포함하는 전처리 작업을 수행하는 단계; 상기 전처리된 상반신 후보 영역에 대해, 제2 특징값을 도출하는 단계; 및 상기 제2 특징값과 소정의 기준값이 비교되어 상기 상반신 후보 영역에 사람의 측면 혹은 후면이 존재하는지를 판정하는 단계를 포함하는 것을 특징으로 하는 상반신 검출방법.Detecting an omega candidate region including a shape of a human face and a shoulder line with respect to the target image;
Cutting an object region into an upper half candidate region including the omega candidate region;
Performing a human face detection task from the upper half candidate region;
Comparing the feature value derived for the upper half candidate region with a preset reference value to detect a side or a back side of the person from the upper half candidate region if the face is not detected; And
Judging that the upper half of the person is included in the target image when the face of the person is detected or the side or the rear face of the person is detected
Wherein the detecting step comprises the steps of: determining whether a horizontal length or a vertical length of the target image is greater than a predetermined threshold value TH; Performing resizing to reduce the size of the target image by a predetermined ratio when the horizontal or vertical length of the target image is larger than a predetermined threshold; Performing a pre-processing operation on the resized target image; Deriving a first characteristic value for the preprocessed target image; And determining whether an omega candidate region is included in the target image based on the derived first feature value,
Wherein the step of detecting the side or the rear surface of the person includes performing a pre-processing operation including any one of an edge detection operation and an MCT processing operation on the upper half candidate region; Deriving a second characteristic value for the preprocessed upper half candidate region; And comparing the second feature value with a predetermined reference value to determine whether a side or a back side of the person exists in the upper half candidate region. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020100131825A 2010-12-21 2010-12-21 An apparatus and a method for detecting upper body KR101972356B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100131825A KR101972356B1 (en) 2010-12-21 2010-12-21 An apparatus and a method for detecting upper body
US13/332,879 US8705814B2 (en) 2010-12-21 2011-12-21 Apparatus and method for detecting upper body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131825A KR101972356B1 (en) 2010-12-21 2010-12-21 An apparatus and a method for detecting upper body

Publications (2)

Publication Number Publication Date
KR20120070316A KR20120070316A (en) 2012-06-29
KR101972356B1 true KR101972356B1 (en) 2019-04-25

Family

ID=46234485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131825A KR101972356B1 (en) 2010-12-21 2010-12-21 An apparatus and a method for detecting upper body

Country Status (2)

Country Link
US (1) US8705814B2 (en)
KR (1) KR101972356B1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101447958B1 (en) * 2014-04-29 2014-10-14 (주)디지엔터테인먼트 Method and apparatus for recognizing body point
EP3154024B1 (en) * 2014-06-03 2023-08-09 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
CN105701447B (en) * 2015-12-30 2018-12-28 上海智臻智能网络科技股份有限公司 Guest-meeting robot
CN109844819A (en) * 2016-06-27 2019-06-04 罗伯特·博世有限公司 System and method for dynamic barriers disposition
CN106326914B (en) * 2016-08-08 2019-04-19 浙江诸暨会智科技有限公司 A kind of more classification methods of pearl based on SVM
US10713839B1 (en) 2017-10-24 2020-07-14 State Farm Mutual Automobile Insurance Company Virtual vehicle generation by multi-spectrum scanning
CN108052935A (en) * 2018-01-30 2018-05-18 深圳智达机械技术有限公司 A kind of intelligent glasses with identification function
US10521962B1 (en) 2018-03-08 2019-12-31 State Farm Mutual Automobile Insurance Company Method and system for visualizing overlays in virtual environments
US10970923B1 (en) 2018-03-13 2021-04-06 State Farm Mutual Automobile Insurance Company Method and system for virtual area visualization
US10732001B1 (en) 2018-04-06 2020-08-04 State Farm Mutual Automobile Insurance Company Methods and systems for response vehicle deployment
US10832476B1 (en) 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
CN109815815B (en) * 2018-12-22 2021-06-18 昆明理工大学 Pedestrian re-identification method based on metric learning and support vector machine integration

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619593A (en) * 1991-09-12 1997-04-08 Fuji Photo Film Co., Ltd. Method for extracting object images and method for detecting movements thereof
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
JP4526639B2 (en) * 2000-03-02 2010-08-18 本田技研工業株式会社 Face recognition apparatus and method
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100682906B1 (en) * 2004-12-09 2007-02-15 삼성전자주식회사 Apparatus and method for detecting face in image using boost algorithm
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
JP2007122218A (en) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd Image analyzing device
US8131013B2 (en) * 2005-12-28 2012-03-06 Kao Corporation Method and detecting system for positions of facial parts
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
JP4532419B2 (en) * 2006-02-22 2010-08-25 富士フイルム株式会社 Feature point detection method, apparatus, and program
JP5358083B2 (en) * 2007-11-01 2013-12-04 株式会社日立製作所 Person image search device and image search device
JP4973393B2 (en) * 2007-08-30 2012-07-11 セイコーエプソン株式会社 Image processing apparatus, image processing method, image processing program, and image processing system
US20090150511A1 (en) 2007-11-08 2009-06-11 Rna Networks, Inc. Network with distributed shared memory
KR101362768B1 (en) * 2007-11-23 2014-02-14 삼성전자주식회사 Method and apparatus for detecting an object
JP5121508B2 (en) * 2008-03-03 2013-01-16 キヤノン株式会社 Image processing apparatus, image processing method, program, and storage medium
KR101192365B1 (en) * 2008-12-18 2012-10-17 한국전자통신연구원 System and method for detecting of face
KR101007281B1 (en) * 2009-05-20 2011-01-13 한국전자통신연구원 Device and method for tracking face at a long distance

Also Published As

Publication number Publication date
US8705814B2 (en) 2014-04-22
KR20120070316A (en) 2012-06-29
US20120155719A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
KR101972356B1 (en) An apparatus and a method for detecting upper body
US20240020980A1 (en) Active presence detection with depth sensing
CN107358149B (en) Human body posture detection method and device
US8902053B2 (en) Method and system for lane departure warning
US20160062456A1 (en) Method and apparatus for live user recognition
KR101551576B1 (en) Robot cleaner, apparatus and method for recognizing gesture
US20150243169A1 (en) Traffic lane situation determining device and method for determining traffic lane situation
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
US9111130B2 (en) Facilitating face detection with user input
US20140078281A1 (en) Drowsiness warning device
US11948363B2 (en) Person detection device and person detection method
Sun et al. A robust lane detection method for autonomous car-like robot
CN112507767B (en) Face recognition method and related computer system
US8503737B2 (en) Visual line estimating apparatus
KR101795264B1 (en) Face landmark detection apparatus and verification method of the same
CN103680064B (en) Sleepy system for prompting
CN109479118A (en) Method for checking object, object test equipment and electronic equipment
US9245342B2 (en) Obstacle detection device
US20150086074A1 (en) Information processing device, information processing method, and program
JP6772059B2 (en) Electronic control devices, electronic control systems and electronic control methods
US9465998B2 (en) Object detecting device and object detecting method
US9836644B2 (en) Changing a depiction in a captured image based on a state of a subject present in the captured image
KR101765568B1 (en) Pedestrian detecting system and control method thereof
US11335123B2 (en) Live facial recognition system and method
TWI741317B (en) Method and system for identifying pedestrian

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)