KR101687175B1 - Target Analysis Apparatus and Method of the same - Google Patents

Target Analysis Apparatus and Method of the same Download PDF

Info

Publication number
KR101687175B1
KR101687175B1 KR1020100036592A KR20100036592A KR101687175B1 KR 101687175 B1 KR101687175 B1 KR 101687175B1 KR 1020100036592 A KR1020100036592 A KR 1020100036592A KR 20100036592 A KR20100036592 A KR 20100036592A KR 101687175 B1 KR101687175 B1 KR 101687175B1
Authority
KR
South Korea
Prior art keywords
target
image
intensity
ridge
detecting
Prior art date
Application number
KR1020100036592A
Other languages
Korean (ko)
Other versions
KR20110020718A (en
Inventor
마오린 천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/862,330 priority Critical patent/US8744168B2/en
Publication of KR20110020718A publication Critical patent/KR20110020718A/en
Application granted granted Critical
Publication of KR101687175B1 publication Critical patent/KR101687175B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

본 발명은 세기 이미지 및 깊이 이미지에 기한 타겟 분석 방법 및 장치를 제공한다. 장치는: 타겟의 세기 이미지 중 타겟의 바디를 검출하는 바디 검출부; 검출된 바디의 세기값에 따라 세기 문턱값을 계산하고 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하고 바이너리 이미지를 마스크로 사용하여 타겟의 깊이 이미지를 마스킹하여 마스킹 깊이 이미지를 획득하는 전경 분할부; 및 마스킹 깊이 이미지로부터 타겟의 활동 부분을 검출하는 활동 부분 검출부;를 포함한다.The present invention provides a method and apparatus for target analysis based on intensity and depth images. The apparatus includes: a body detecting unit that detects a body of a target among intensity image of a target; The intensity threshold is calculated based on the detected intensity value of the body, the intensity image is converted into the binary image using the intensity threshold, and the mask image is acquired by masking the depth image of the target using the binary image as a mask. Installment; And an active portion detecting portion for detecting an active portion of the target from the masking depth image.

Description

타겟 분석 장치 및 방법{Target Analysis Apparatus and Method of the same}[0001] The present invention relates to a target analysis apparatus and method,

본 발명은 비디오 타겟 분석 방법 및 장치에 관한 것으로서, 더욱 상세하게는 깊이 이미지 및 세기 이미지에 기한 타겟 분석 방법 및 장치에 관한 것으로서, 상기 방법 및 장치를 통해 비디오 스트림 중 정확히 관심이 있는 비디오 타겟의 각 부분을 검출함으로써 타겟의 동작 정보를 획득한다.The present invention relates to a video target analysis method and apparatus, and more particularly, to a method and apparatus for target analysis based on depth image and intensity image, Thereby obtaining the operation information of the target.

3D 애니메이션, 게임, 휴먼 인터페이스 등의 광범위한 응용에 따라 현재 컴퓨터 비디오 및 모델 식별 영역에서 비디오 타겟 분석 기술에 대해 광범위한 연구가 진행되고 있다. 애니메이션 시뮬레이션을 진행하기 위해 먼저 비디오 중 타겟의 각 부분을 검출하여 타겟의 동작 정보를 획득할 필요가 있다.Extensive research is currently underway on video target analysis techniques in the areas of computer video and model identification, depending on a wide range of applications, such as 3D animation, games, and human interfaces. In order to proceed with the animation simulation, it is first necessary to detect each part of the target of the video and acquire the operation information of the target.

타겟의 구성 부분을 검출하기 위해, 일반적으로 바텀업 방법(bottom-up method) 및 업바텀 방법(up-bottom)를 사용한다. 앞선 방법에서 먼저 타겟 부분의 특징을 이용하여 타겟 부분을 검출하는데, 예를 들어 피부 색깔의 검출, 팔다리의 라인형태 검출 등을 이용한 다음, 그 검출 모형에 따라 검출된 후보 부분에 대해 정합을 진행한다. 이 방법은 타겟 부분의 전형적인 특징의 개발 및 배경 노이즈의 억제에 매우 크게 의존한다. 뒤의 방법에서는, 타겟의 형태 공간에 대해 반복적인 검색을 하고 가설을 제안하며 각 가설에 대해 평가를 진행한다. 이러한 방법은 계산 속도를 높이기 위해 검색 공간이 반드시 매우 작을 것을 요구한다.The bottom-up method and the up-bottom method are generally used to detect the constituent parts of the target. In the above method, the target portion is first detected using the feature of the target portion, for example, the detection of the skin color, the detection of the line shape of the limb, and the like, and then the matching is performed on the detected candidate portion according to the detection model . This method is highly dependent on the development of typical features of the target portion and the suppression of background noise. In the latter method, iterative search is performed on the target shape space, a hypothesis is proposed, and evaluation is conducted for each hypothesis. This method requires that the search space be very small in order to speed up the calculation.

비디오 타겟 분석 과정 중 일반적으로 원시 이미지 중 전경을 분할할 필요가 있는데, 즉 혼란스러운 배경 영역을 삭제하여 타겟을 정확히 검출하게 한다. 종래 전경 분할 방법은 주로 CCD 카메라의 컬러 이미지에 근거를 둔다. 컬러 이미지의 배경은 일반적으로 매우 복잡하므로 컬러 이미지의 전경에 따른 분할 계산량이 매우 크고 부정확하다. 비록 현재 깊이 이미지에 기한 전경 분할 방법을 제기하였으나 상기 방법은 부정확하다.During the video target analysis process, it is generally necessary to divide the foreground among the raw images, that is, to remove the confusing background area, thereby accurately detecting the target. Conventional foreground segmentation methods are based primarily on color images of CCD cameras. The background of a color image is generally very complicated, so the amount of division computation along the foreground of a color image is very large and inaccurate. Although we have proposed a foreground segmentation method based on the current depth image, the above method is inaccurate.

일단 전경 분할이 부정확하면 후의 연속적인 타겟 분석이 매우 어려워지고, 타겟 분석 결과는 유사한 특징의 배경 노이즈의 간섭을 받게 된다. 또한, 혼란한 배경 중 풍부한 에지(edge) 특징이 종종 나타나고, 이러한 에지 특징은 노이즈가 되어 타겟 부분의 검출 또는 가설(hypothesis) 평가 중의 에지 특징 분석 결과에 영향을 미친다.Once the foreground segmentation is inaccurate, subsequent successive target analysis becomes very difficult and the target analysis results are subject to interference of similar background noise. In addition, abundant edge features often appear in confused backgrounds, and this edge feature becomes noise and affects the edge feature analysis results during detection or hypothesis evaluation of the target portion.

따라서 전경을 정확히 분할하여 타겟 분석 성능을 높인 타겟 분석 방법 및 장치가 필요하다.Therefore, there is a need for a target analysis method and apparatus that improves target analysis performance by precisely dividing the foreground.

본 발명의 일 실시예에 따르면, 전경을 정확히 분할하여 목표 분석 성능을 향상시킨 타겟 분석 방법 및 장치를 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a target analysis method and apparatus that improves target analysis performance by precisely dividing the foreground.

본 발명의 다른 일 실시예에 따르면, 정확한 리지(ridge) 검증을 실현할 수 있는 목표 분석 방법 및 장치를 제공할 수 있다.According to another embodiment of the present invention, a target analysis method and apparatus capable of realizing accurate ridge verification can be provided.

본 발명의 일 실시예에 따른 타겟 분석장치 및 방법은 컬러 이미지의 사용에 국한되지 않고 예를 들어 TOF(Time of Flight) 카메라의 세기 이미지 및 깊이 이미지를 사용할 수 있다. A target analyzing apparatus and method according to an embodiment of the present invention is not limited to the use of a color image, and can use, for example, a strength image and a depth image of a Time of Flight (TOF) camera.

상기 본 발명의 목적을 실현하기 위해, 타겟의 깊이 이미지 및 세기 이미지를 입력으로 하는 타겟 분석 장치로서, 상기 타겟의 세기 이미지 중 타겟의 바디를 검출하는 메인 바디 검출부; 검출된 바디 중 세기값에 따라 세기 문턱값을 계산하고, 상기 세기 문턱값을 사용하여 상기 세기 이미지를 바이너리 이미지로 전환하고, 상기 바이너리 이미지를 마스크로 사용하여 타겟의 깊이 이미지에 마스킹함으로써 마스킹된 깊이 이미지를 획득하는 전경 분할부; 상기 마스킹된 깊이 이미지 중 상기 타겟의 활동 부분을 검출하는 활동 부분 검출부;를 포함하는 타겟 분석 장치를 제공한다.In order to achieve the object of the present invention, there is provided a target analyzing apparatus for inputting a depth image and an intensity image of a target, the apparatus comprising: a main body detecting unit for detecting a body of a target among intensity image of the target; Calculating a intensity threshold according to the detected intensity value of the body, switching the intensity image to a binary image using the intensity threshold, and masking the depth image of the target using the binary image as a mask, A foreground division for acquiring an image; And an active portion detecting portion that detects an active portion of the target among the masked depth images.

본 발명에 따르면, 바디 검출부는 통계 학습 방법으로 트레이닝하여 상기 세기 이미지 중 상기 타겟의 바디를 검출한다. 또한 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 선택한다.According to the present invention, the body detecting section trains the statistical learning method to detect the body of the target among the intensity images. Also, candidates matching the geometric constraint among the plurality of candidates for the component of the body are selected as the components of the body.

또한 전경 분할부는 검출된 바디 중 세기값을 통계 평균하여 얻은 값을 세기 문턱값으로 한다. In addition, the foreground partitions use a value obtained by statistically averaging the intensity values of the detected bodies as intensity threshold values.

본 발명에 따르면, 상기 활동 부분 검출부는: 마스킹된 세기 이미지 중 복수의 리지를 검출하는 리지 검출부; 상기 복수의 리지를 검증하여 최적의 리지를 선택하는 리지 검증부;를 포함한다.According to the present invention, the active portion detecting portion may include: a ridge detecting portion that detects a plurality of ridges among the masked intensity images; And a ridge verifying unit for verifying the plurality of ridges and selecting an optimum ridge.

리지 검출부는상기 마스크의 깊이 이미지 중 상기 바디의 활동부분과 비활동 부분을 구분하고, 상기 활동 부분의 후보로부터 상기 복수의 리지 후보를 계산한다. 또한 바디 검출부가 검출한 상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분한다. A ridge detecting section distinguishes between an active portion and an inactive portion of the body among the depth images of the mask, and calculates the plurality of ridge candidates from the candidates of the active portion. The active portion and the inactive portion are distinguished from each other by setting the average depth value of the inactive portion detected by the body detecting portion as a threshold value.

상기 리지 검증부는 상기 바디 검출부가검출한 바디에 따라 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하고, 확정된 연결점과 상기 복수의 리지의 어느 하나의 일단을 연결하여 가상 리지를 형성하며, 상기 복수의 리지 및 가상 리지에 대해 검증을 한다. The ridge verification unit determines a connection point between the active portion and the inactive portion according to the body detected by the body detection unit, forms a virtual ridge by connecting one end of the predetermined connection point and one of the plurality of ridges, A plurality of ridges and virtual ridges are verified.

또한, 상기 타겟의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 타겟의 활동 부분은 사람의 팔다리를 포함한다. In addition, the inactive portion of the target includes a human head and body, and the active portion of the target includes a human limb.

상술한 목적을 달성하기 위해, 타겟의 깊이 이미지 및 세기 이미지에 근거한 타겟 분석 방법은: a) 타겟의 세기 이미지 중 타겟의 바디를 검출하는 단계; b) 검출된 타겟의 바디 중 세기값에 따라 세기 문턱값을 계산하는 단계; 및 c) 상기 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하는 단계; d)상기 바이너리 이미지를 사용하여 깊이 이미지를 마스킹하고 마스크 깊이 이미지를 획득하는 단계; 및 e)상기 마스크 깊이 이미지 중 타겟의 활동 부분을 검출하는 단계;를 포함한다.To achieve the above object, a target analysis method based on a depth image and an intensity image of a target includes the steps of: a) detecting a body of a target among intensity image of the target; b) calculating a strength threshold according to an intensity value of the body of the detected target; And c) converting the intensity image to a binary image using the intensity threshold; d) masking the depth image using the binary image and obtaining a mask depth image; And e) detecting an active portion of the target of the mask depth image.

따라서, 종래 기술 중 컬러 이미지의 전경 분할과 달리, 본 발명에서 먼저 간단하고 신속한 방법을 사용하여 세기 이미지에 따라 타겟의 간단한 바디에 대해 마스킹을 형성한다. 그 다음 상기 마스킹에 따라 깊이 이미지 중 전경을 분할하고, 타겟의 활동 부분의 리지를 더 검출한다. 통계 학습 방법을 사용하여 트레이닝으로 얻은 부분 검출기는 타겟의 바디를 검출하는데 사용되어 대략 타겟의 위치 및 비율을 측정할 수 있다. 이는 파라미터 검색 공간을 현저히 감소시킬 수 있다. 또한 리지 검증에서 가상 부분을 사용하여 정확히 리지를 검증할 수 있다.Thus, unlike the foreground segmentation of color images in the prior art, the present invention first uses masking to the simple body of the target according to the intensity image using a simple and fast method. Then divides the foreground of the depth image according to the masking and further detects ridges of the active portion of the target. The partial detector obtained by training using the statistical learning method can be used to detect the body of the target and can measure the position and the ratio of the target roughly. This can significantly reduce the parameter search space. In addition, the ridge verification can verify the ridge accurately using the virtual part.

도 1은 본 발명에 따른 타겟 분석 장치의 구조를 보이는 블록도이다.
도 2는 세기 이미지 및 깊이 이미지의 예를 보이는 도면이다.
도 3은 타겟의 메인 바디를 보이는 도면이다.
도 4의 (a) 내지 (d)는 세기 이미지 바이너리 이미지, 깊이 이미지 및 마스킹 깊이 이미지의 예를 보이는 도면이다.
도 5는 활동 부분 검출 유닛의 구조를 보이는 도면이다.
도 6은 리지 검출 유닛의 구조를 보이는 도면이다.
도 7은 리지 검출 유닛의 검출 과정을 보이는 도면이다.
도 8의 (a) 및 (b)는 각각 타겟의 검색 트리 및 리지 검증 결과의 예를 보이는 도면이다.
도 9는 본 발명에 따른 타겟 분석 방법의 플로우 차트이다.
1 is a block diagram showing a structure of a target analyzing apparatus according to the present invention.
2 is an illustration showing an example of a strength image and a depth image.
3 is a view showing the main body of the target.
4 (a) to 4 (d) are views showing examples of intensity image binary image, depth image and masking depth image.
5 is a view showing the structure of the active portion detecting unit.
6 is a diagram showing the structure of the ridge detection unit.
7 is a diagram showing the detection process of the ridge detection unit.
8A and 8B are diagrams showing examples of search tree and ridge verification results of a target, respectively.
9 is a flowchart of a target analysis method according to the present invention.

이하, 도면을 참조하여 본 발명의 타겟 분석 장치 및 방법에 대해 상세히 설명한다. 본 발명의 타겟 분석 장치 및 방법은 비디오 스트림 중 관심이 있는 타겟에 대해 분석을 진행하여 비디오 타겟에 대한 각 부분의 정보를 획득하는 것이다.Hereinafter, a target analyzing apparatus and method of the present invention will be described in detail with reference to the drawings. The target analyzing apparatus and method of the present invention is to conduct analysis on a target of interest in a video stream to obtain information of each part of the video target.

일반적으로 분석 대기 비디오 타겟에 대해 대부분은 두 부분으로 나뉜다: 한 부분은 형상, 비율 등 상대적으로 고정된 비활동 부분으로서, 예를 들어 사람의 머리 및 몸체, 특정 장치의 밑받침 등이다; 다른 부분은 활동을 할 수 있고 형상이 상대적으로 고정되지 않은 활동 부분으로서, 예를 들어 사람의 팔다리, 특정 장치의 활동 아암(arm) 등이다. 본 발명에서, 간단한 메인 바디에 대해 샘플 통계 학습 방법 트레이닝을 거친 분류 학습기 또는 검출기를 이용하여 검출을 진행하여 비교적 복잡한 활동 부분에 대해 전경 분할을 거쳐 배경 노이즈를 제거한 후 검출을 할 수 있다.In general, for analysis-pending video targets, most are divided into two parts: one part is a relatively fixed inactive part such as a shape, a ratio, for example, a person's head and body, and the base of a particular device; The other part is the part of the activity that can be active and whose shape is not relatively fixed, such as the limbs of a person, the arm of a particular device, and so on. In the present invention, detection is performed using a classifying learning device or a detector that has been trained on a simple main body through a sample statistical learning method training, and background noise is removed through foreground division for a relatively complex activity part, and detection can be performed.

지적할 필요가 있는 것은, 설명의 편리를 위해 아래에서 인체 타겟을 예로 본 발명의 타겟 분석 장치 및 방법을 설명한다. 그러나 본 발명은 인체 타겟의 처리에 한정되지 않는다.It should be noted that, for convenience of explanation, the target analyzing apparatus and method of the present invention will be described below by taking a human target as an example. However, the present invention is not limited to the treatment of the human body target.

도 1을 참조하면, 도 1은 본 발명의 타겟 분석 장치(100)의 구조를 보이는 블록도이다. 본 발명의 타겟 분석 장치(100)는 바디 검출부 (101), 전경 분할부(102) 및 활동 부분 검출부(103)을 포함한다. Referring to FIG. 1, FIG. 1 is a block diagram showing the structure of a target analysis apparatus 100 of the present invention. The target analyzing apparatus 100 of the present invention includes a body detecting unit 101, a foreground dividing unit 102, and an active portion detecting unit 103.

타겟 분석 장치(100)는 외부로부터 타겟의 세기 이미지 및 깊이 이미지를 수신하여 시스템의 입력으로 한다. 또는 본 발명의 타겟 분석 장치(100)는 타겟의 세기 이미지 및 깊이 이미지를 캡쳐하는 장치, 예를 들어 TOF(Time Of Flight) 카메라를 더 포함할 수 있다. The target analysis apparatus 100 receives the intensity image and the depth image of the target from the outside and inputs it as an input of the system. Alternatively, the target analyzing apparatus 100 of the present invention may further include a device for capturing the intensity image and the depth image of the target, for example, a time of flight (TOF) camera.

입력 시스템에서, TOF 카메라는 기능적으로 두 개의 카메라를 포함할 수 있는데, 하나는 고해상도의 컬러 CCD 카메라이고 다른 하나는 저해상도의 TOF 카메라이다. 컬러 CCD 카메라의 출력은 컬러 비디오 스트림이고, TOF 카메라의 출력은 세기 비디오 스트림과 깊이 비디오 스트림이다. 컬러 카메라와 TOF 카메라는 동일 광축을 공유하고, 실제 컬러(컬러이미지)와 TOF 카메라(세기 및 깊이 이미지) 사이에 픽셀 단위로 리지스터된다. 제조 단계에서 카메라는 이미 계산 설정되어 있다. 카메라 의 출력은 6 성분의 비디오 스트림인데, 컬러 성분(레드, 그린, 블루)와 3차원 공간에서의 좌표(x, y, z)와 연관된다. 비통합 카메라 세트에 있어 컬러 카메라와 TOF 카메라는 상이한 위치 또는 베이스라인과 함께 조합 사용된다. 두 카메라(컬러 및 세기)로부터 비디오 이미지는 먼저 표준 계산 방법으로 계산된다. 그런 다음 컬러 카메라 이미지와 TOF 카메라 이미지 사이에 정렬이 두 이미지로부터의 특징점의 이미지 매칭의 전환 및 최적화 문제를 품으로써 이루어진다. 이런 식으로 6 성분 비디오를 입력으로서 얻을 수 있다.In an input system, a TOF camera can functionally include two cameras, one is a high resolution color CCD camera and the other is a low resolution TOF camera. The output of a color CCD camera is a color video stream, and the output of a TOF camera is an intensity video stream and a depth video stream. The color camera and the TOF camera share the same optical axis and are stored in pixels between the actual color (color image) and the TOF camera (intensity and depth image). At the manufacturing stage, the camera has already been calculated and set. The output of the camera is a six component video stream, which is associated with color components (red, green, blue) and coordinates (x, y, z) in three dimensional space. For non-integrated camera sets, color cameras and TOF cameras are used in combination with different locations or baselines. The video images from both cameras (color and intensity) are first calculated using the standard calculation method. The alignment between the color camera image and the TOF camera image is then accomplished by switching and optimizing the image matching of the feature points from both images. In this way, a six-component video can be obtained as an input.

세기 이미지는 타겟 표면 재료의 반사능력을 반영하고, 각 픽셀값은 타겟 표면 재료의 반사강도값을 표시한다. 깊이 이미지는 카메라 및 타겟 표면 사이의 거리를 반영하고, 그 각 픽셀값은 카메라부터 타겟 표면까지의 깊이값을 표시한다. The intensity image reflects the reflective capability of the target surface material, and each pixel value represents the reflection intensity value of the target surface material. The depth image reflects the distance between the camera and the target surface, and each pixel value represents the depth value from the camera to the target surface.

도 2의 (a) 및 (b)는 세기 이미지 및 깊이 이미지의 예를 각각 나타낸다. 2 (a) and 2 (b) show examples of the intensity image and the depth image, respectively.

도 3에 도시된 바와 같이 바디 검출부(101)은 타겟의 세기 이미지로부터 타겟의 바디를 검출하며 특히 바디 중 인체 타겟의 경우 사람의 머리부 및 몸을 포함하는 비활동부분을 검출한다. 종래 타겟의 바디 검출 방법은 컬러 이미지를 사용하는 것으로, 예를 들어 배경 차에 기한 검출 방법, 컬러분류 방법 등이다. 그러나 본 발명은 세기 이미지를 타겟 메인 바디를 검출하는 기초로 사용한다. 세기 이미지는 예를 들어 TOF 카메라를 통해 획득할 수 있다.As shown in FIG. 3, the body detecting unit 101 detects the body of the target from the intensity image of the target, and in particular detects the inactive part including the human head and the body in the case of a human body target among the bodies. Conventionally, a target body detection method uses a color image, for example, a background difference detection method, a color classification method, and the like. However, the present invention uses the intensity image as a basis for detecting the target main body. The intensity image can be acquired, for example, by a TOF camera.

바디 검출부(101)는 샘플의 통계 학습 방법에 기해 트레이닝을 하는 부분 분류기 또는 검출기를 이용한다. 예를 들어, 메인 바디 검출 유닛(101)은 공개된 통계 학습 방법을 사용할 수 있다. 입력은 세기 이미지이므로 배경의 비교적 혼란스러운 컬러 이미지와 비교하여, 검출속도는 빠르고 대략 반시간 정도의 경비를 절약할 수 있다. 물론 본 발명은 이에 한정되지 않고, 바디 검출부(101)는 다른 타겟 검출 방법을 사용하여 세기 이미지로부터 타겟의 바디를 검출할 수 있다.The body detecting unit 101 uses a partial classifier or a detector for training based on the statistical learning method of the sample. For example, the main body detection unit 101 may use an open statistical learning method. Since the input is a century image, the detection speed is faster and saves about half the time compared to a relatively confusing color image of the background. Of course, the present invention is not limited to this, and the body detection unit 101 can detect the body of the target from the intensity image using another target detection method.

바디 검출부(101)는 입력된 세기 이미지를 스캔하여 타겟의 바디의 위치, 크기, 비율 등을 확정한다. 일반적으로, 타겟의 바디의 비활동부분은 비교적 고정된 기하학적 구속 관계, 예를 들어 사람이 선 상태에서 그 머리부와 몸은 상하 위치로 구속된다. The body detection unit 101 scans the input intensity image to determine the position, size, and ratio of the body of the target. In general, the inactive portion of the body of the target is constrained to a relatively fixed geometric constraint relationship, for example, the head and the body are in an up-and-down position in a linear state.

이 점에 따라서 두 가지 전략으로 타겟의 바디를 검색할 수 있다. 한 전략은 입력되는 세기 이미지 중 모든 윈도우를 스캔하여 하나의 바디를 검출하는 것이며, 그 후 바디를 이루는 성분 사이의 기하학적 관계에 따라 상기 바디의 인접 이미지 영역을 스캔하여 다른 바디 성분을 검출한다. 상기 전략은 스캔 윈도우를 현저히 감소시킬 수 있다. 다른 전략은 입력 세기 이미지 중의 모든 윈도우를 스캔하여 모든 가능한 바디 성분을 검출하는 것이다. 상기 전략은 타겟의 바디 성분 사이의 이미 알려진 기하학적 구속을 고려하지 않는다. 모든 바디 성분의 후보를 검출한 후, 만약 각 바디 성분에 복수의 후보가 존재하면, 성분 사이의 기하학적 구속에 따라 가장 바람직한 바디 성분의 조합을 선택한다.Based on this, you can search the body of the target in two strategies. One strategy is to scan all the windows of an input intensity image to detect one body, and then scan the adjacent image region of the body according to the geometrical relationship between the components forming the body to detect other body components. This strategy can significantly reduce the scan window. Another strategy is to scan all windows in the input intensity image to detect all possible body components. The strategy does not take into account the known geometric constraint between the body components of the target. After detecting candidates for all body components, if there are a plurality of candidates for each body component, the most desirable combination of body components is selected according to the geometric constraint between the components.

바디 검출부(101)가 검출한 타겟의 바디 중 비활동부분은 후에 계속되는 전경 분할(foreground segmentation) 중의 문턱값 계산 및 활동 부분 검출 시 활동 부분 영역의 확정에 사용된다.The inactive part of the body of the target detected by the body detection unit 101 is used for calculation of a threshold during the foreground segmentation that follows and determination of the active part area upon detection of the active part.

전경 분할부닛(102)는 깊이 이미지 중 배경 영역(노이즈 영역)을 제거하는데 사용되고, 타겟의 전경을 포함하여 분할한다. 상술한 바와 같이 종래 컬러 이미지에 기반한 전경분할방법 및 깊이 이미지에 기초한 전경분할방법은 모두 부정확하여 타겟 분석에 큰 어려움이 있다. 따라서 본 발명에서는 세기 이미지 및 깊이 이미지를 이용하여 간편하고 정확한 전경분할을 실현한다. 아래에서 전경 분할부(102)의 조작에 대해 상세히 설명한다.A foreground part 102 is used to remove a background area (noise area) in the depth image, and divides the background including the foreground of the target. As described above, both the foreground division method based on the conventional color image and the foreground division method based on the depth image are all inaccurate and thus have great difficulty in target analysis. Therefore, in the present invention, it is possible to realize a simple and accurate foreground division using the intensity image and the depth image. The operation of the foreground division unit 102 will be described in detail below.

먼저, 바디 검출부(101)가 검출한 타겟의 바디에 따라, 전경 분할 부분(102)은 세기 이미지 중 하나의 세기 문턱값을 계산한다. 먼저 세기 이미지 중 바디 검출부(101)에 의해 바디로 표기된 모든 픽셀의 세기값에 대해 통계분석을 진행하여 상기 세기 문턱값을 획득한다.First, according to the body of the target detected by the body detection unit 101, the foreground division unit 102 calculates one intensity threshold value of the intensity image. First, statistical analysis is performed on the intensity values of all the pixels indicated by the body by the body detection unit 101 in the intensity image to obtain the intensity threshold value.

그런 다음, 전경 분할부(102)는 입력된 세기 이미지의 각 픽셀값과 계산된 세기 문턱값을 비교하여 세기 이미지의 각 픽셀값을 바이너리화함으로써 세기 이미지를 바이너리 이미지로 변환한다. 예를 들어, 세기 이미지 중 세기값이 상기 세기 문턱값보다 큰 픽셀은 타겟으로 표기되고, 세기값이 상기 세기 문턱값보다 작은 픽셀은 배경으로 표기된다. 여기서, 생성된 바이너리 이미지에 대해 값 필터링, 이로전(erosion) 및 희석 조작(dilate operation) 등을 실행하여 바이너리 이미지 중 노이즈를 제거한다. Then, the foreground division unit 102 converts the intensity image into a binary image by binarizing each pixel value of the intensity image by comparing each pixel value of the input intensity image with the calculated intensity threshold value. For example, a pixel whose intensity value is greater than the intensity threshold value is marked as a target, and a pixel whose intensity value is less than the intensity threshold value is marked as a background. Here, noise is removed from the binary image by performing value filtering, erosion, and dilate operation on the generated binary image.

도 4의 (a) 중 원 세기 이미지의 예를 도시하고, (b) 중 세기 문턱값에 기하여 형성된 바이너리 이미지의 예를 보인다.FIG. 4A shows an example of an intensity image, and FIG. 4B shows an example of a binary image formed based on the intensity threshold.

그런 다음, 상기 바이너리 이미지를 이용하여 입력된 깊이 이미지에 마스킹을 하고, 마스킹 깊이 이미지를 획득한다. 바이너리 이미지는 깊이 이미지를 두 부분으로 나눌 수 있다: 한 부분은 타겟이 존재하는 전경 영역이고, 다른 부분은 배경 영역이다. 따라서, 바이너리 이미지를 이용하여 깊이 이미지에 대해 마스킹을 하고, 배경 영역을 제거할 수 있다. 예를 들어, 바이너리 이미지 및 깊이 이미지 사이에 AND 연산을 실행하여 마스킹 깊이 이미지를 획득한다. Then, the input depth image is masked using the binary image, and a masking depth image is obtained. A binary image can divide the depth image into two parts: one part is the foreground area where the target exists, and the other part is the background area. Therefore, the binary image can be used to mask the depth image and remove the background area. For example, an AND operation is performed between the binary image and the depth image to obtain a masking depth image.

도 4 (c) 에서 입력된 깊이 이미지의 예를 도시하고, (d)에서 바이너리 이미지를 이용하여 마스크 깊이 이미지를 획득하는 예를 보인다.FIG. 4C shows an example of a depth image input in FIG. 4C, and FIG. 4D shows an example in which a mask depth image is acquired using a binary image.

전경 분할부(102)를 통해 마스크 깊이 이미지를 획득한 후, 활동 부분 검출부(103)는 상기 마스크 깊이 이미지에 따라 타겟의 활동 부분(인체 타겟의 경우 사람의 팔다리)을 검출한다. 도 4(d)에 도시된 바와 같이 마스크 깊이 이미지 중 배경 영역은 이미 제거되었으므로, 혼란스런 에지는 이미 현저히 감소되어, 활동 부분 검출부(103)는 정확히 타겟의 활동 부분을 검출할 수 있다.After acquiring the mask depth image through the foreground division unit 102, the active portion detection unit 103 detects an active portion (a human limb in the case of a human target) of the target according to the mask depth image. Since the background area of the mask depth image has already been removed as shown in Fig. 4 (d), the confused edge has already been significantly reduced, so that the active part detection part 103 can accurately detect the active part of the target.

현재, 활동 부분의 검출방법은, 예를 들어 팔다리의 검출 방법은 크게 두 분류로 나뉜다: 한 분류는 저층 특징에 따른 방법이고, 다른 한 분류는 고층 특징에 따른 방법이다. Currently, the method of detecting active parts, for example, the method of detecting limbs is roughly divided into two categories: one is a method according to a low-level feature, and the other is a method according to a high-level feature.

저층 특징에 따른 방법은 전환점, 에지라인 등의 특징을 이용하여 타겟의 활동 부분을 검출한다. The method according to the low-level feature detects the active part of the target using the characteristics of the turning point, the edge line, and the like.

고층 특징에 따른의 방법은 모델 식별 방법으로서 포지티브 샘플과 네거티브 샘플 학습 분류기 또는 검출기를 이용하는 방법이다. 본 발명의 활동 부분 검출 부(103)는 상기 방법을 채용하여 마스크 깊이 이미지로부터 타겟의 활동 부분을 검출할 수 있다. The method according to the high-layer feature is a method using a positive sample and a negative sample learning classifier or detector as a model identification method. The active portion detecting unit 103 of the present invention can employ the above method to detect the active portion of the target from the mask depth image.

아래에서 호프(Hough) 변환에 기한 에지 특징으로 검출하는 방법을 예로 활동 부분 검출부(103)를 설명한다. 이해해야 할 것은 본 발명은 이에 한정되지 않는다는 것이다.The active portion detecting unit 103 will be described below as an example of a method of detecting an edge feature based on the Hough transform below. It is to be understood that the present invention is not limited to this.

현재 예시된 활동 부분 검출 유닛(103)은 두 하부 유닛을 포함할 수 있다: 리지(ridge) 검출부(501)와 리지 검증 부(502)이다. 리지 검출부(501)는 타겟 활동 부분의 가능한 리지를 검출한다. 리지 검증부(502)는 리지 검출부(501)에서 검출한 리지 후보를 검증하여 가장 바람직한 리지를 선택한다. 여기서, 리지는 타겟의 각 부분의 중추선을 의미한다.The currently illustrated active portion detection unit 103 may include two lower units: a ridge detection unit 501 and a ridge verification unit 502. The ridge detecting unit 501 detects a possible ridge of the target active portion. The ridge verification unit 502 verifies the ridge candidate detected by the ridge detection unit 501 and selects the most preferable ridge. Here, the ridge means the center line of each part of the target.

도 5 및 도 6에 도시된 바와 같이, 리지 검출부(501)는 깊이 슬라이싱 유닛(601), 에지 검출 유닛(602), 직사각형 설계 유닛(603) 및 리지 추출 유닛(604)을 포함한다.5 and 6, the ridge detecting unit 501 includes a depth slicing unit 601, an edge detecting unit 602, a rectangular designing unit 603, and a ridge extracting unit 604.

깊이 슬라이싱 유닛(601)은 마스크 깊이 이미지 중 타겟의 활동 부분이 존재하는 영역을 확정한다. 여기서, 바디 검출부(101)가 확정한 예를 들어 도 7(a)에 도시된 바에 따라 마스크 깊이 이미지 중 비활동 부분을 제외한 영역을 타겟의 비활동 부분으로부터 연장된 활동 부분으로 확정한다. The depth slicing unit 601 determines an area in which the active portion of the target exists among the mask depth images. Here, the region excluding the inactive portion of the mask depth image is determined as an active portion extending from the inactive portion of the target, for example, as shown in Fig. 7A, which the body detecting portion 101 has determined.

또한, 다음과 같은 상황이 있을 수 있다: 도 3에 도시된 사람의 왼쪽 팔과 같이 세기 이미지 중 타겟의 활동 부분과 비활동 부분이 중첩될 수 있다. 이러한 상황에 대해, 깊이 슬라이싱 유닛(601)은 비활동 부분의 평균 깊이값을 계산하고, 그 값을 비활동 부분의 픽셀이 실제적으로는 비활동 부분에 속하는지 활동 부분에 속하는지를 확정하는 깊이 슬라이싱의 문턱값으로 한다. 이는 깊이 이미지 중에서 타겟의 활동 부분과 비활동 부분이 중첩되면 활동 부분과 비활동 부분이 상이한 깊이 평면에 위치하는 것을 원리로 하기 때문이다. 만약 픽셀과 상기 깊이 슬라이싱의 문턱값 사이의 차의 절대값이 예정 상수보다 크면 상기 픽셀을 타겟의 활동 부분에 속하는 것으로 하고, 그렇지 않으면 상기 픽셀이 비활동 부분에 속하는 것으로 한다.There may also be the following situation: the active and inactive portions of the target of the intensity image, such as the left arm of the person shown in Figure 3, may overlap. For this situation, the depth slicing unit 601 calculates the average depth value of the inactive portion and determines the value of the depth slicing unit 601 to determine whether the pixel of the inactive portion actually belongs to the inactive portion, As shown in FIG. This is because when the active part and the inactive part of the target are overlapped, the active part and the inactive part are located in different depth planes. If the absolute value of the difference between the pixel and the threshold of depth slicing is greater than the predetermined constant, the pixel belongs to the active portion of the target, otherwise the pixel belongs to the inactive portion.

도 7(b)에서 깊이 슬라이싱 유닛(601)로 확정된 사람의 팔다리 영역을 도시한다.7B shows the limb area of the person determined by the depth slicing unit 601. [

에지 검출 유닛(602)는 깊이 이미지에 대해 호프 변환을 진행하여 이미지의 에지 특징을 나타내는 호프 선을 획득한다. 깊이 슬라이싱 유닛(601)로 확정한 활동 부분에서 호프 선은 타겟 활동 부분의 에지를 표시한다. The edge detection unit 602 advances the Hope transform for the depth image to obtain a hops line representing the edge feature of the image. In the active portion determined by the depth slicing unit 601, the hop line indicates the edge of the target active portion.

도 7(c)는 검출된 호프 선의 예를 표시한다. Fig. 7 (c) shows an example of the detected hop line.

도 7(d)에 도시된 바와 같이, 직사각형 설계 유닛(603)은 상기 호프 선을 이용하여 직사각형을 형성하고 타겟의 활동 부분을 커버한다. 직사각형 설계 과정은 대략 아래와 같이: 먼저, 검출된 호프 선의 길이에 따라 호프 선을 정렬한다; 비교적 긴 호프 선을 직사각형의 긴 변으로 하고, 긴 변과 수직인 방향으로 따라 깊이 이미지 중 깊이값 변환점을 스캔하여 직사각형의 짧은 변으로 확정함으로써 직사각형을 형성한다; 만약 직사각형이 서로 중첩되면, 큰 직사각형과 중첩된 작은 직사각형을 제거하는 원칙에 따라 여분의 직사각형을 제거한다.As shown in Fig. 7 (d), the rectangular design unit 603 forms a rectangle using the hop line and covers the active portion of the target. The rectangular design process is roughly as follows: first, align the hop lines according to the length of the detected hop lines; A rectangle is formed by scanning a depth value transition point of a depth image along a long side of a relatively long hop line and a direction perpendicular to a long side to confirm the short side of the rectangle; If the rectangles overlap each other, remove the extra rectangles according to the principle of eliminating large rectangles and overlapping small rectangles.

도 7(e)에 도시된 바와 같이, 리지 추출 유닛(604)은 직사각형 설계 유닛(603)으로부터 형성된 직사각형에서 단변의 두 중심을 연결함으로써 중추선을 추출하여 가능한 리지로 한다. As shown in Fig. 7 (e), the ridge extracting unit 604 extracts the central line by connecting the two centers of the short sides in the rectangle formed from the rectangular design unit 603, and makes the ridge possible.

리지 검출부(501)는 마스크 깊이 이미지로부터 모든 가능한 활동 부분 리지를 검출한다. 상기 리지를 후보로 하여 리지 검증부 (502)가 검증을 진행하여 활동 부분의 최종 골격 구조를 확정한다.The ridge detecting unit 501 detects all possible active partial ridges from the mask depth image. With the ridge as a candidate, the ridge verifying unit 502 proceeds the verification to determine the final skeleton structure of the active portion.

리지 검증부(502)는 선 검증된 모형을 통해 리지 검출 부(501)가 검출한 리지 후보를 검증함으로써 가장 바람직한 리지를 선출하고 최종적으로 원 타겟의 활동 부분의 리지를 선출한다. 리지 검출부 (501)에서 검출된 모든 리지 후보 중 리지 검증부(502)는 어떤 리지 후보를 조합한 후 실제 활동 부분과 서로 맞출 것인가를 검증해야 한다. 이를 위해, 리지 검증부(502)는 가설 생성 평가(hypothesis generation evaluation) 방법을 채용할 수 있다. 즉, 모든 리지 후보 중 여러 리지를 선택하고 특정 방식에 따라 연결한 다음, 타겟의 선 검증된 모델의 구속 및 계산법을 이용하여 상기 가설의 확률을 계산한다. 확률이 가장 큰 가설을 가장 좋은 경로로 선택함으로써 타겟의 최종 리지 구조를 검출한다.The ridge verifying unit 502 selects the most desirable ridge by verifying the ridge candidate detected by the ridge detecting unit 501 through the pre-verified model, and finally selects the ridge of the active portion of the original target. Of all the ridge candidates detected by the ridge detecting unit 501, the rearranger verifying unit 502 must verify whether or not to match the actual activity part after combining certain ridge candidates. To this end, the bridge verification unit 502 may employ a hypothesis generation evaluation method. That is, a plurality of ridges among all the ridge candidates are selected and connected according to a specific method, and then the probability of the hypothesis is calculated by using the constraint and calculation method of the pre-verified model of the target. The final ridge structure of the target is detected by selecting the most probable hypothesis as the best path.

본 발명의 리지 검증부(502)는 현재 상용하는 검증 모형으로 리지 검증을 진행할 수 있는데, 예를 들어 Felzenszwalb의 상형 구조(pictorial structure) 방법(P.F. Felzenszwalb. D.P. Huttenlocher, "Efficient Matching of Pictorial Structures", CVPR 2000)가 있다. 아래에서 상기 상형 구조 방법을 예로 리지 검증부(502)의 조작에 대해 간략히 설명한다. 주의할 것은 본 발명은 이에 한정되지 않는다는 것이다.The ridge verifier 502 of the present invention can carry out the ridge verification with a currently validated verification model. For example, the pictorial structure method of Felzenszwalb (PF Felzenszwalb. DP Huttenlocher, "Efficient Matching of Pictorial Structures" CVPR 2000). The operation of the ridge verification unit 502 will be briefly described below as an example of the above-mentioned image forming method. Note that the present invention is not limited to this.

먼저, 도 8 (a)에 도시된 바와 같이, 리지 검증 유닛(502)은 타겟의 트리 구조를 세운다. 상기 트리 구조는 타겟의 검색 공간을 대표하고, 타겟의 각 부분의 위치 및 연결관계를 표시하며, 각 노드의 변수는 3D 공간의 위치, 부분 비율 및 회전 각도 등을 포함할 수 있다.First, as shown in Fig. 8 (a), the ridge verification unit 502 establishes a tree structure of a target. The tree structure represents the search space of the target, and displays the position and the connection relationship of each part of the target, and the variable of each node may include a position, a partial ratio, a rotation angle, and the like of the 3D space.

여기서, 바디 검출부(101)는 검출한 타겟의 비활동 부분의 연결 위치, 비율 및 각도 등을 검색 트리에 분배하고, 이를 상수로 한다. 그러나 리지 검증부(502)는 리지 후보를 노드에 분배하여 가설을 생성한다. 리지 검증부(502)는 아래의 수학식 1을 통해 상기 가설 및 실제 이미지 사이의 관찰 유사성(observation similarity)를 계산한다:Here, the body detecting unit 101 distributes the connection position, the ratio, and the angle of the inactive part of the detected target to the search tree, and sets this as a constant. However, the ridge verification unit 502 generates a hypothesis by distributing the ridge candidate to the nodes. The ridge verification unit 502 calculates an observation similarity between the hypothesis and the actual image through the following equation (1): < EMI ID =

Figure 112010025295312-pat00001
Figure 112010025295312-pat00001

여기서, "MatchedPt"는 깊이 이미지에서 가설로 설정된 부분이 커버하는 0이 아닌 픽셀과 상기 부분과의 크기비이다. "NoMatchedPt"는 깊이 이미지에서 가설로 설정된 부분이 커버하는 0 픽셀과 상기 부분의 크기비이다. "nS"는 가설의 직사각형 비례인자를 표시한다. "w"는 웨이트 계수이다. Here, "MatchedPt" is the ratio of the size of the non-zero pixel covered by the hypothetical portion to the portion of the depth image. "NoMatchedPt" is the ratio of the size of the portion to the zero pixel covered by the hypothetical portion of the depth image. "nS" indicates the proportional factor of the hypothetical rectangle. "w" is the weight coefficient.

가설 및 기하학적 모형 사이의 모형 정합은 아래의 수학식 2에 따라 계산한다:The model matching between the hypothesis and the geometric model is calculated according to the following equation:

Figure 112010025295312-pat00002
Figure 112010025295312-pat00002

여기서, alpha는 인접 부분 간의 각도, 즉 트리 구조의 부 노드(parent node)와 자 노드(child node) 사이의 각도를 표시한다; alphaij는 노드 i와 노드 j 사이의 이상적인 각도를 말한다; log nSj k는 k차원의 j 부분의 비율 인자를 의미한다; log nSij k는 모형의 이상 비율 인자를 의미한다; pij는 i부분과 j부분 사이의 연결선의 좌표차이다.Where alpha represents the angle between adjacent parts, that is, the angle between the parent node and the child node of the tree structure; alpha ij is the ideal angle between node i and node j; log nS j k means the ratio factor of the j part of the k dimension; log nS ij k means the anomaly rate factor of the model; p ij is the coordinate difference of the connecting line between the i and j parts.

그러나, 수학식 3을 통해 가설의 후 검증 확률을 근사 계산한다:However, the post-hypothesis verification probability is approximated through Equation 3:

Figure 112010025295312-pat00003
Figure 112010025295312-pat00003

리지 검증부(502)는 최대 확률을 가지는 가장 좋은 경로를 찾아 최종 타겟의 리지 구조를 검출한다. 도 8(b)는 리지 검증 결과의 예를 표시한다.The ridge verification unit 502 detects the ridge structure of the final target by searching for the best path having the maximum probability. Fig. 8 (b) shows an example of the ridge verification result.

상술한 바와 같이, 본 발명에서 리지 검증부(502)는 바디 검출부(1010)가 검출한 타겟의 바디 성분의 연결 위치, 비율 및 각도 등을 검색 트리에 분배하여, 검색 공간을 현저히 축소시켜 계산 속도를 향상시킨다.As described above, in the present invention, the bridge verification unit 502 distributes the connection position, the ratio, and the angle of the body component of the target detected by the body detection unit 1010 to the search tree, thereby significantly reducing the search space, .

리지 후보의 수량이 많을 수 있고 상응하는 연결 방법도 아주 많아 검색 공간이 매우 크고 계산량도 매우 클 수 있다. 바디 검출 부(101)에서 이미 타겟의 바디, 특히 비활동 부분 예를 들어, 사람의 머리 부분 및 몸을 검출하고, 비활동 부분의 위치 및 비율을 확정하였다. The number of candidate ridges can be large and there are many corresponding connection methods, so the search space is very large and the computation amount can be very large. The body detection unit 101 has already detected the body of the target, in particular, the inactive part, for example, the human head and body, and confirmed the position and the ratio of the inactive part.

특정 타겟 유형에 있어, 각 부분 사이의 비율은 특정 조건을 만족시키고 변화는 비교적 작다. 예를 들어 통계 방법을 이용하여 사람의 머리 부분 또는 몸으로부터 사람의 팔의 비율을 추론할 수 있다. 따라서, 이미 검출된 비활동 부분을 검색 공간 중의 이미 알려진 상수로 하여 각 종 가능한 조합의 매 계산에 관여하지 않고 검색 공간을 현저히 감소시키고 계산량을 감소시킬 수 있다.For a particular target type, the ratio between each part meets certain conditions and the change is relatively small. For example, statistical methods can be used to deduce the percentage of a person's arm or head from a person's body. Therefore, the search space can be significantly reduced and the amount of calculation can be reduced without involving in every possible calculation of each possible combination, with the previously detected inactive part being already known constants in the search space.

또한 도 3의 사람의 오른쪽 팔과 같이, 타겟의 부분이 차폐 또는 누락되는 경우가 존재할 수 있다. 이런 상황에서, 본 발명의 리지 검증부 중 가설의 개념을 도입하여 누락 또는 차페된 부분을 복구하고 검증 속도 및 정확도를 향상시킬 수 있다.There may also be a case where the portion of the target is shielded or missing, such as the right arm of the person of Fig. In this situation, it is possible to introduce the concept of hypothesis in the ridge verifier of the present invention to recover missing or rejected parts, and to improve verification speed and accuracy.

먼저 바디 검출부(101)가 검출한 바디에서 타겟의 활동 부분과 비활동 부분의 연결점, 예를 들어 사람의 어깨점의 위치를 확정할 수 있다. 일반적으로 상기 연결점은 도 3에 도시된 바와 같이, 타겟의 메인 바디의 수직 사영도 및 수평 사영도 상에 파곡의 도약점이다.First, the body detecting unit 101 can determine the connection point between the active part and the inactive part of the target, for example, the position of the shoulder point of the human body. In general, as shown in Fig. 3, the connection point is a jump point of the curve on the vertical projection and the horizontal projection of the main body of the target.

연결점을 확정한 후, 연결점으로부터 하나의 가상 리지를 형성하고, 하나의 가설을 형성하여 평가검증을 진행한다. 예를 들어, 연결점과 제k조 리지 후보의 끝점과 연결하고, 하나의 가상 리지 후보를 형성한다. 상기 가상 리지 후보와 제k조 리지 후보는 타겟의 한 어깨를 형성함으로써 가설을 형성한다.After confirming the connection point, one virtual ridge is formed from the connection point, and one hypothesis is formed to carry out the evaluation verification. For example, it connects with the end point of the connection point and the kth ridge candidate, and forms a virtual ridge candidate. The virtual ridge candidate and the kth ridge candidate form a hypothesis by forming one shoulder of the target.

여기서, 수학식 2의 제2항을 간략히 하여 아래의 수학식 4를 형성할 수 있다.Here, the second equation (2) can be simplified to form the following equation (4).

Figure 112010025295312-pat00004
Figure 112010025295312-pat00004

아래에서, 도 9를 참조로 본 발명의 타겟 분석 방법을 설명한다.Hereinafter, the target analysis method of the present invention will be described with reference to FIG.

901 단계에서, 타겟의 세기 이미지로부터 타겟의 바디를 검출한다. 타겟의 바디를 검출하기 위해 주로 비활동 부분, 예를 들어 사람의 머리와 몸 성분을 검출할 수 있다. 타겟의 세기 이미지는 TOF 카메라로 획득할 수 있다. 또한, 전술한 바와 같이, 통계학습방법 트레이닝에 따른 부분검출기를 사용하여 비활동 부분의 성분을 스캐닝하고 구속 조건을 적용함으로써 세기 이미지 중 타겟의 바디를 검출한다.In step 901, the body of the target is detected from the intensity image of the target. In order to detect the body of the target, it is possible to mainly detect inactive portions, for example, the head and body components of a person. The intensity image of the target can be acquired with a TOF camera. Further, as described above, the body of the target among the intensity images is detected by scanning the components of the inactive portion using the partial detector according to the statistical learning method training and applying the constraint.

902 단계에서, S901 단계에서 검출된 타겟의 바디에 따라, 세기 이미지 중 세기 문턱값을 계산한다. 구체적으로는, 세기 이미지를 통해 S901 단계에서 바디로 표시된 모든 픽셀의 세기값에 대해 통계평균을 하여 상기 세기 문턱값을 얻는다.In step 902, the intensity threshold value of the intensity image is calculated according to the body of the target detected in step S901. Specifically, the intensity threshold is obtained by statistically averaging the intensity values of all the pixels displayed in the body in step S901 through the intensity image.

이어서, 903 단계에서 계산된 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환한다. 904 단계에서 903 단계에서 형성된 바이너리 이미지를 사용하여 타겟의 깊이 이미지를 마스킹함으로써 마스크 깊이 이미지를 획득한다.Subsequently, the intensity image is converted into a binary image using the intensity threshold value calculated in step 903. [ The mask depth image is acquired by masking the depth image of the target using the binary image formed in step 903 in step 904. [

905 단계에서 마스킹 깊이 이미지 중 타겟의 활동 부분, 예를 들어 사람의 팔다리를 검출한다. 상술한 방법을 통해 마스크 깊이 이미지 중 타겟의 활동 부분을 검출한다.In step 905, the active part of the target, for example, the limb of the person, is detected among the masking depth images. Through the above-described method, the active portion of the target is detected among the mask depth images.

이상으로 본 발명의 타겟 분석 장치 및 방법을 설명하였다. 상기 타겟 분석 장치 및 방법은 타겟의 세기 이미지 및 깊이 이미지에 따라 타겟을 분석하여 타겟의 각 부분을 검출할 수 있고, 리지를 추출함으로써 타겟의 동작 정보를 획득할 수 있다. 본 발명의 타겟 분석 장치 및 방법은 아래의 효과를 얻을 수 있다.The target analyzing apparatus and method of the present invention have been described above. The target analyzing apparatus and method can detect each portion of the target by analyzing the target according to the intensity image and the depth image of the target, and obtain the operation information of the target by extracting the ridge. The target analyzing apparatus and method of the present invention can achieve the following effects.

먼저 본 발명에서 배경이 복잡한 컬러 이미지를 대체하여 분석 대기하는 세기 및 깊이 비디오 스트림을 사용하여 전경 분할을 진행함으로써 정확한 전경 분할을 실현할 수 있다.First, according to the present invention, accurate foreground segmentation can be realized by performing foreground segmentation using intensity and depth video streams that are waiting for analysis in place of a complicated color image.

다음으로, 양호한 전경 분할 결과에 따라 신속 정확한 타겟 에지 추출을 진행함으로써 타겟의 각 성분을 검출할 수 있다.Next, each target component can be detected by rapidly extracting the target edge according to the good foreground division result.

또한, 본 발명에서 샘플의 통계모형검출기를 세기 이미지에 응용하고, 세기 이미지 중 타겟의 바디를 성공적으로 검출할 수 있다. 또한 검출된 바디의 비활동 부분은 후 연속된 리지 검증 시스템에 응용함으로써 검증 시스템의 검색 공간을 감소시키고 연산량을 현저히 감소시킬 수 있다.In addition, in the present invention, a statistical model detector of a sample can be applied to an intensity image, and a body of a target among intensity images can be successfully detected. Also, the inactive part of the detected body can be applied to the subsequent ridge verification system, thereby reducing the search space of the verification system and significantly reducing the amount of computation.

또한 리지 검증 시스템에서 가상 부분을 사용하여 누락 또는 차폐된 부분을 복원하여 검증 속도 및 정확도를 향상시킬 수 있다.In addition, in the ridge verification system, it is possible to improve the verification speed and accuracy by restoring missing or shielded parts using the virtual part.

또한 본 발명의 일 실시예에 따른 타겟 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Also, the target analysis method according to an embodiment of the present invention may be implemented in a form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100 타겟 분석 장치
101 메인 바디 검출 유닛
102 전경 분할 유닛
103 활동 부분 검출 유닛
100 target analyzer
101 main body detection unit
102 Foreground split unit
103 Activity part detection unit

Claims (19)

타겟의 깊이 이미지 및 세기 이미지를 입력으로 하는 타겟 분석 장치로서,
상기 타겟의 세기 이미지 중 타겟의 바디를 검출하는 바디 검출부;
검출된 바디 중 세기값에 따라 세기 문턱값을 계산하고, 상기 세기 문턱값을 사용하여 상기 세기 이미지를 바이너리 이미지로 전환하고, 상기 바이너리 이미지를 마스크로 사용하여 상기 타겟의 깊이 이미지에 마스킹함으로써 마스크 깊이 이미지를 획득하는 전경 분할부; 및
상기 마스크 깊이 이미지 중 상기 타겟의 상기 바디에 비하여 상대적으로 움직임이 큰 부분을 활동 부분으로 검출하는 활동 부분 검출부;
를 포함하고,
상기 타겟의 바디의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 상기 활동 부분은 사람의 팔다리를 포함하는 타겟 분석 장치.
A target analyzing apparatus for inputting a depth image and an intensity image of a target,
A body detecting unit for detecting a body of the target among the intensity images of the target;
Calculating an intensity threshold according to the detected intensity value of the body, switching the intensity image to a binary image using the intensity threshold, and masking the depth image of the target using the binary image as a mask, A foreground division for acquiring an image; And
An active portion detecting portion for detecting, as an active portion, a portion of the mask depth image having a relatively large motion relative to the body of the target;
Lt; / RTI >
Wherein the inactive portion of the body of the target comprises a human head and body, and wherein the active portion comprises a human limb.
제1항에 있어서,
상기 타겟의 깊이 이미지 및 세기 이미지를 캡쳐하여 출력하는 TOF 카메라 세트를 더 포함하는 타겟 분석 장치.
The method according to claim 1,
And a TOF camera set for capturing and outputting a depth image and intensity image of the target.
제1항에 있어서,
상기 바디 검출부는 통계 학습 방법으로 트레이닝되어 상기 세기 이미지 중 상기 타겟의 바디를 이루는 성분을 검출하고 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 선택하는 타겟 분석 장치.
The method according to claim 1,
Wherein the body detecting unit detects a component constituting a body of the target among the intensity images trained by a statistical learning method and selects a candidate that matches a geometric constraint among a plurality of candidates for a component of the body as a component of the body Analysis device.
제1항에 있어서,
상기 전경 분할부는 검출된 바디 중 세기값을 통계 평균하여 얻은 값을 세기 문턱값으로 하는 타겟 분석 장치.
The method according to claim 1,
Wherein the foreground parting section uses a value obtained by statistically averaging the intensity values of the detected bodies as an intensity threshold value.
제1항에 있어서,
상기 활동 부분 검출부는
상기 마스크 깊이 이미지 중 복수의 리지를 검출하는 리지 검출부 ; 및
상기 복수의 리지를 검증하여 최적의 리지를 선택하는 리지 검증부;
를 포함하는 타겟 분석 장치.
The method according to claim 1,
The active portion detection unit
A ridge detection unit for detecting a plurality of ridges among the mask depth images; And
A ridge verifying unit for verifying the plurality of ridges and selecting an optimum ridge;
The target analyzer.
제5항에 있어서,
상기 리지 검출부는 상기 마스크의 깊이 이미지 중 상기 바디의 상기 활동 부분과 비활동 부분을 구분하고 상기 활동 부분의 후보로부터 상기 복수의 리지에 대한 후보를 계산하는 타겟 분석 장치.
6. The method of claim 5,
Wherein the ridge detection section distinguishes the inactive portion from the inactive portion of the body of the depth image of the mask and calculates a candidate for the plurality of ridges from the candidate of the active portion.
제6항에 있어서,
상기 리지 검출부는상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분하는 타겟 분석 장치.
The method according to claim 6,
Wherein the ridge detection unit distinguishes the active portion from the inactive portion with the average depth value of the inactive portion as a threshold value.
제6항에 있어서,
상기 리지 검증부는 상기 바디 검출부가 검출한 바디에 따라 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하고, 확정된 연결점과 상기 복수의 리지의 어느 하나의 일단을 연결하여 가상 리지를 형성하며, 상기 복수의 리지 및 상기 가상 리지에 대해 검증을 하는 타겟 분석 장치.
The method according to claim 6,
Wherein the bridge verification unit determines a connection point between the active part and the inactive part according to the body detected by the body detection unit, forms a virtual ridge by connecting one end of the predetermined connection point and one of the plurality of ridges, And verifies the plurality of ridges and the virtual ridge.
삭제delete 타겟의 깊이 이미지 및 세기 이미지에 근거한 타겟 분석 방법은,
a) 타겟의 세기 이미지 중 타겟의 바디를 검출하는 단계;
b) 검출된 타겟의 바디 중 세기값에 따라 세기 문턱값을 계산하는 단계;
c) 상기 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하는 단계;
d) 상기 바이너리 이미지를 사용하여 깊이 이미지를 마스킹하고 마스크 깊이 이미지를 획득하는 단계; 및
e) 상기 마스크 깊이 이미지 중 상기 타겟의 상기 바디에 비하여 상대적으로 움직임이 큰 부분을 활동 부분으로 검출하는 단계;
를 포함하고,
상기 타겟의 바디의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 상기 활동 부분은 사람의 팔다리를 포함하는 타겟 분석 방법.
The target analysis method based on the depth image and the intensity image of the target,
comprising the steps of: a) detecting a target body of a target intensity image;
b) calculating a strength threshold according to an intensity value of the body of the detected target;
c) converting the intensity image to a binary image using the intensity threshold;
d) masking the depth image using the binary image and obtaining a mask depth image; And
e) detecting, as an active portion, a portion of the mask depth image that is relatively moving relative to the body of the target;
Lt; / RTI >
Wherein the inactive portion of the body of the target comprises a human head and body, and wherein the active portion comprises a human limb.
제10항에 있어서,
상기 방법은 TOF 카메라 세트를 이용하여 타겟의 깊이 이미지 및 세기 이미지를 캡쳐하는 단계를 더 포함하는 타겟 분석 방법.
11. The method of claim 10,
Wherein the method further comprises capturing a depth image and intensity image of the target using a TOF camera set.
제10항에 있어서,
상기 a) 단계에서 통계 학습 방법을 통해 트레이닝된 부분 검출기를 사용하여 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 검출하는 단계를 더 포함하는 타겟 분석 방법.
11. The method of claim 10,
Using a partial detector trained by the statistical learning method in the step a), detecting a candidate as a component of the body corresponding to a geometrical constraint among a plurality of candidates for the component of the body .
제10항에 있어서,
상기 b) 단계에서 검출된 타겟의 바디 중의 세기값에 대해 통계 평균을 진행하고 상기 획득된 세기값에 대한 통계 평균 값을 세기 문턱값으로 하는 타겟 분석 방법.
11. The method of claim 10,
Wherein the statistical average of the intensity values in the body of the target detected in the step b) is advanced and the statistical average value of the obtained intensity values is set as the intensity threshold value.
제10항에 있어서,
상기 e) 단계는
E1) 마스킹된 깊이 이미지 중 복수의 리지를 검출하는 단계; 및
E2) 상기 복수의 리지에 대해 검증을 진행하여 최적의 리지를 선택하는 단계;
를 포함하는 타겟 분석 방법.
11. The method of claim 10,
The step e)
E1) detecting a plurality of ridges in the masked depth image; And
E2) checking the plurality of ridges to select an optimal ridge;
Lt; / RTI >
제14항에 있어서,
상기 e1) 단계에서는 상기 d) 단계에서 획득된 상기 마스킹된 깊이 이미지 중 상기 바디의 상기 활동 부분과 비활동 부분을 구분하고 상기 활동 부분의 후보로부터 상기 복수의 리지에 대한 후보를 계산하는 타겟 분석 방법.
15. The method of claim 14,
Wherein said step (e1) comprises: dividing the active part and the inactive part of the body among the masked depth images obtained in step (d) and calculating a candidate for the plurality of ridges from the candidate of the active part .
제15항에 있어서,
상기 e1) 단계에서는 상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분하는 타겟 분석 방법.
16. The method of claim 15,
Wherein the active portion and the inactive portion are distinguished from each other by setting an average depth value of the inactive portion as a threshold value in the step e1).
제16항에 있어서,
상기 e2) 단계는:
e21) 상기 바디의 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하는 단계;
e22) 상기 확정된 연결점과 상기 복수의 리지의 하나의 일단을 연결하여 가상 리지를 형성하는 단계; 및
e23) 상기 복수의 리지 및 상기 가상 리지를 검증하는 단계;
를 포함하는 타겟 분석 방법.
17. The method of claim 16,
Wherein step e2) comprises:
e21) establishing a connection point between the active portion and the inactive portion of the body;
e22) connecting the determined connection point and one end of the plurality of ridges to form a virtual ridge; And
e23) verifying the plurality of ridges and the virtual ridge;
Lt; / RTI >
삭제delete 제10항 내지 제17항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.17. A computer-readable recording medium recording a program for performing the method of any one of claims 10 to 17.
KR1020100036592A 2009-08-24 2010-04-20 Target Analysis Apparatus and Method of the same KR101687175B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/862,330 US8744168B2 (en) 2009-08-24 2010-08-24 Target analysis apparatus, method and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200910168294.8 2009-08-24
CN200910168294.8A CN101996401B (en) 2009-08-24 2009-08-24 Target analysis method and apparatus based on intensity image and depth image

Publications (2)

Publication Number Publication Date
KR20110020718A KR20110020718A (en) 2011-03-03
KR101687175B1 true KR101687175B1 (en) 2016-12-16

Family

ID=43786522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036592A KR101687175B1 (en) 2009-08-24 2010-04-20 Target Analysis Apparatus and Method of the same

Country Status (2)

Country Link
KR (1) KR101687175B1 (en)
CN (1) CN101996401B (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9204062B2 (en) * 2011-08-24 2015-12-01 Fluke Corporation Thermal imaging camera with range detection
TWI526706B (en) 2011-10-05 2016-03-21 原相科技股份有限公司 Image system
CN102609683B (en) * 2012-01-13 2014-02-05 北京邮电大学 Automatic labeling method for human joint based on monocular video
CN102609941A (en) * 2012-01-31 2012-07-25 北京航空航天大学 Three-dimensional registering method based on ToF (Time-of-Flight) depth camera
KR101909630B1 (en) * 2012-10-30 2018-10-18 삼성전자주식회사 Method and apparatus of recognizing a motion
KR101896301B1 (en) 2013-01-03 2018-09-07 삼성전자주식회사 Apparatus and method for processing depth image
US9443136B2 (en) 2013-04-12 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts from user image
JP2014238731A (en) 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント Image processor, image processing system, and image processing method
CN103714321B (en) * 2013-12-26 2017-09-26 苏州清研微视电子科技有限公司 Driver's Face detection system based on range image and intensity image
KR102307610B1 (en) * 2014-01-29 2021-10-05 엘지이노텍 주식회사 Apparatus for detecting depth map
CN103884609B (en) * 2014-03-12 2016-05-25 上海交通大学 A kind of laminate side knock lower leaf threshold value loading prediction method
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US10515463B2 (en) * 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
US10477220B1 (en) * 2018-04-20 2019-11-12 Sony Corporation Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
WO2019227294A1 (en) 2018-05-28 2019-12-05 华为技术有限公司 Image processing method, related device and computer storage medium
JP7255173B2 (en) * 2018-12-26 2023-04-11 オムロン株式会社 Human detection device and human detection method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US20050084156A1 (en) * 2003-08-28 2005-04-21 Das Aveek K. Method and apparatus for differentiating pedestrians, vehicles, and other objects
US20080317331A1 (en) * 2007-06-19 2008-12-25 Microsoft Corporation Recognizing Hand Poses and/or Object Classes

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327791B1 (en) * 2007-09-11 2013-11-20 삼성전자주식회사 Apparatus and method for matching color image and depth image each other
CN101271578B (en) * 2008-04-10 2010-06-02 清华大学 Depth sequence generation method of technology for converting plane video into stereo video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US20050084156A1 (en) * 2003-08-28 2005-04-21 Das Aveek K. Method and apparatus for differentiating pedestrians, vehicles, and other objects
US20080317331A1 (en) * 2007-06-19 2008-12-25 Microsoft Corporation Recognizing Hand Poses and/or Object Classes

Also Published As

Publication number Publication date
KR20110020718A (en) 2011-03-03
CN101996401A (en) 2011-03-30
CN101996401B (en) 2016-05-11

Similar Documents

Publication Publication Date Title
KR101687175B1 (en) Target Analysis Apparatus and Method of the same
US8744168B2 (en) Target analysis apparatus, method and computer-readable medium
CN109615611B (en) Inspection image-based insulator self-explosion defect detection method
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN110348445B (en) Instance segmentation method fusing void convolution and edge information
Sohn et al. Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction
KR101870902B1 (en) Image processing apparatus and image processing method
KR101636370B1 (en) Image processing apparatus and method
CN111681197B (en) Remote sensing image unsupervised change detection method based on Siamese network structure
JP6650657B2 (en) Method and system for tracking moving objects in video using fingerprints
CN110751099B (en) Unmanned aerial vehicle aerial video track high-precision extraction method based on deep learning
WO2015096507A1 (en) Method for recognizing and locating building using constraint of mountain contour region
JP2014071902A5 (en)
CN110427797B (en) Three-dimensional vehicle detection method based on geometric condition limitation
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
KR100813168B1 (en) Method for extracting object in digital image with shape prior and system for executing the method
CN109711256B (en) Low-altitude complex background unmanned aerial vehicle target detection method
CN114782499A (en) Image static area extraction method and device based on optical flow and view geometric constraint
Dadrasjavan et al. Automatic crack detection of road pavement based on aerial UAV imagery
CN111213154A (en) Lane line detection method, lane line detection equipment, mobile platform and storage medium
WO2017161544A1 (en) Single-camera video sequence matching based vehicle speed measurement method and system
CN112766046A (en) Target detection method and related device
Okyere et al. Traffic sign recognition using sparse representations and active contour models
CN107220987A (en) A kind of building roof Fast Edge Detection method based on principal component analysis
Oniga et al. Fast obstacle detection using U-disparity maps with stereo vision

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant