KR101687175B1 - Target Analysis Apparatus and Method of the same - Google Patents
Target Analysis Apparatus and Method of the same Download PDFInfo
- Publication number
- KR101687175B1 KR101687175B1 KR1020100036592A KR20100036592A KR101687175B1 KR 101687175 B1 KR101687175 B1 KR 101687175B1 KR 1020100036592 A KR1020100036592 A KR 1020100036592A KR 20100036592 A KR20100036592 A KR 20100036592A KR 101687175 B1 KR101687175 B1 KR 101687175B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- image
- intensity
- ridge
- detecting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
본 발명은 세기 이미지 및 깊이 이미지에 기한 타겟 분석 방법 및 장치를 제공한다. 장치는: 타겟의 세기 이미지 중 타겟의 바디를 검출하는 바디 검출부; 검출된 바디의 세기값에 따라 세기 문턱값을 계산하고 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하고 바이너리 이미지를 마스크로 사용하여 타겟의 깊이 이미지를 마스킹하여 마스킹 깊이 이미지를 획득하는 전경 분할부; 및 마스킹 깊이 이미지로부터 타겟의 활동 부분을 검출하는 활동 부분 검출부;를 포함한다.The present invention provides a method and apparatus for target analysis based on intensity and depth images. The apparatus includes: a body detecting unit that detects a body of a target among intensity image of a target; The intensity threshold is calculated based on the detected intensity value of the body, the intensity image is converted into the binary image using the intensity threshold, and the mask image is acquired by masking the depth image of the target using the binary image as a mask. Installment; And an active portion detecting portion for detecting an active portion of the target from the masking depth image.
Description
본 발명은 비디오 타겟 분석 방법 및 장치에 관한 것으로서, 더욱 상세하게는 깊이 이미지 및 세기 이미지에 기한 타겟 분석 방법 및 장치에 관한 것으로서, 상기 방법 및 장치를 통해 비디오 스트림 중 정확히 관심이 있는 비디오 타겟의 각 부분을 검출함으로써 타겟의 동작 정보를 획득한다.The present invention relates to a video target analysis method and apparatus, and more particularly, to a method and apparatus for target analysis based on depth image and intensity image, Thereby obtaining the operation information of the target.
3D 애니메이션, 게임, 휴먼 인터페이스 등의 광범위한 응용에 따라 현재 컴퓨터 비디오 및 모델 식별 영역에서 비디오 타겟 분석 기술에 대해 광범위한 연구가 진행되고 있다. 애니메이션 시뮬레이션을 진행하기 위해 먼저 비디오 중 타겟의 각 부분을 검출하여 타겟의 동작 정보를 획득할 필요가 있다.Extensive research is currently underway on video target analysis techniques in the areas of computer video and model identification, depending on a wide range of applications, such as 3D animation, games, and human interfaces. In order to proceed with the animation simulation, it is first necessary to detect each part of the target of the video and acquire the operation information of the target.
타겟의 구성 부분을 검출하기 위해, 일반적으로 바텀업 방법(bottom-up method) 및 업바텀 방법(up-bottom)를 사용한다. 앞선 방법에서 먼저 타겟 부분의 특징을 이용하여 타겟 부분을 검출하는데, 예를 들어 피부 색깔의 검출, 팔다리의 라인형태 검출 등을 이용한 다음, 그 검출 모형에 따라 검출된 후보 부분에 대해 정합을 진행한다. 이 방법은 타겟 부분의 전형적인 특징의 개발 및 배경 노이즈의 억제에 매우 크게 의존한다. 뒤의 방법에서는, 타겟의 형태 공간에 대해 반복적인 검색을 하고 가설을 제안하며 각 가설에 대해 평가를 진행한다. 이러한 방법은 계산 속도를 높이기 위해 검색 공간이 반드시 매우 작을 것을 요구한다.The bottom-up method and the up-bottom method are generally used to detect the constituent parts of the target. In the above method, the target portion is first detected using the feature of the target portion, for example, the detection of the skin color, the detection of the line shape of the limb, and the like, and then the matching is performed on the detected candidate portion according to the detection model . This method is highly dependent on the development of typical features of the target portion and the suppression of background noise. In the latter method, iterative search is performed on the target shape space, a hypothesis is proposed, and evaluation is conducted for each hypothesis. This method requires that the search space be very small in order to speed up the calculation.
비디오 타겟 분석 과정 중 일반적으로 원시 이미지 중 전경을 분할할 필요가 있는데, 즉 혼란스러운 배경 영역을 삭제하여 타겟을 정확히 검출하게 한다. 종래 전경 분할 방법은 주로 CCD 카메라의 컬러 이미지에 근거를 둔다. 컬러 이미지의 배경은 일반적으로 매우 복잡하므로 컬러 이미지의 전경에 따른 분할 계산량이 매우 크고 부정확하다. 비록 현재 깊이 이미지에 기한 전경 분할 방법을 제기하였으나 상기 방법은 부정확하다.During the video target analysis process, it is generally necessary to divide the foreground among the raw images, that is, to remove the confusing background area, thereby accurately detecting the target. Conventional foreground segmentation methods are based primarily on color images of CCD cameras. The background of a color image is generally very complicated, so the amount of division computation along the foreground of a color image is very large and inaccurate. Although we have proposed a foreground segmentation method based on the current depth image, the above method is inaccurate.
일단 전경 분할이 부정확하면 후의 연속적인 타겟 분석이 매우 어려워지고, 타겟 분석 결과는 유사한 특징의 배경 노이즈의 간섭을 받게 된다. 또한, 혼란한 배경 중 풍부한 에지(edge) 특징이 종종 나타나고, 이러한 에지 특징은 노이즈가 되어 타겟 부분의 검출 또는 가설(hypothesis) 평가 중의 에지 특징 분석 결과에 영향을 미친다.Once the foreground segmentation is inaccurate, subsequent successive target analysis becomes very difficult and the target analysis results are subject to interference of similar background noise. In addition, abundant edge features often appear in confused backgrounds, and this edge feature becomes noise and affects the edge feature analysis results during detection or hypothesis evaluation of the target portion.
따라서 전경을 정확히 분할하여 타겟 분석 성능을 높인 타겟 분석 방법 및 장치가 필요하다.Therefore, there is a need for a target analysis method and apparatus that improves target analysis performance by precisely dividing the foreground.
본 발명의 일 실시예에 따르면, 전경을 정확히 분할하여 목표 분석 성능을 향상시킨 타겟 분석 방법 및 장치를 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a target analysis method and apparatus that improves target analysis performance by precisely dividing the foreground.
본 발명의 다른 일 실시예에 따르면, 정확한 리지(ridge) 검증을 실현할 수 있는 목표 분석 방법 및 장치를 제공할 수 있다.According to another embodiment of the present invention, a target analysis method and apparatus capable of realizing accurate ridge verification can be provided.
본 발명의 일 실시예에 따른 타겟 분석장치 및 방법은 컬러 이미지의 사용에 국한되지 않고 예를 들어 TOF(Time of Flight) 카메라의 세기 이미지 및 깊이 이미지를 사용할 수 있다. A target analyzing apparatus and method according to an embodiment of the present invention is not limited to the use of a color image, and can use, for example, a strength image and a depth image of a Time of Flight (TOF) camera.
상기 본 발명의 목적을 실현하기 위해, 타겟의 깊이 이미지 및 세기 이미지를 입력으로 하는 타겟 분석 장치로서, 상기 타겟의 세기 이미지 중 타겟의 바디를 검출하는 메인 바디 검출부; 검출된 바디 중 세기값에 따라 세기 문턱값을 계산하고, 상기 세기 문턱값을 사용하여 상기 세기 이미지를 바이너리 이미지로 전환하고, 상기 바이너리 이미지를 마스크로 사용하여 타겟의 깊이 이미지에 마스킹함으로써 마스킹된 깊이 이미지를 획득하는 전경 분할부; 상기 마스킹된 깊이 이미지 중 상기 타겟의 활동 부분을 검출하는 활동 부분 검출부;를 포함하는 타겟 분석 장치를 제공한다.In order to achieve the object of the present invention, there is provided a target analyzing apparatus for inputting a depth image and an intensity image of a target, the apparatus comprising: a main body detecting unit for detecting a body of a target among intensity image of the target; Calculating a intensity threshold according to the detected intensity value of the body, switching the intensity image to a binary image using the intensity threshold, and masking the depth image of the target using the binary image as a mask, A foreground division for acquiring an image; And an active portion detecting portion that detects an active portion of the target among the masked depth images.
본 발명에 따르면, 바디 검출부는 통계 학습 방법으로 트레이닝하여 상기 세기 이미지 중 상기 타겟의 바디를 검출한다. 또한 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 선택한다.According to the present invention, the body detecting section trains the statistical learning method to detect the body of the target among the intensity images. Also, candidates matching the geometric constraint among the plurality of candidates for the component of the body are selected as the components of the body.
또한 전경 분할부는 검출된 바디 중 세기값을 통계 평균하여 얻은 값을 세기 문턱값으로 한다. In addition, the foreground partitions use a value obtained by statistically averaging the intensity values of the detected bodies as intensity threshold values.
본 발명에 따르면, 상기 활동 부분 검출부는: 마스킹된 세기 이미지 중 복수의 리지를 검출하는 리지 검출부; 상기 복수의 리지를 검증하여 최적의 리지를 선택하는 리지 검증부;를 포함한다.According to the present invention, the active portion detecting portion may include: a ridge detecting portion that detects a plurality of ridges among the masked intensity images; And a ridge verifying unit for verifying the plurality of ridges and selecting an optimum ridge.
리지 검출부는상기 마스크의 깊이 이미지 중 상기 바디의 활동부분과 비활동 부분을 구분하고, 상기 활동 부분의 후보로부터 상기 복수의 리지 후보를 계산한다. 또한 바디 검출부가 검출한 상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분한다. A ridge detecting section distinguishes between an active portion and an inactive portion of the body among the depth images of the mask, and calculates the plurality of ridge candidates from the candidates of the active portion. The active portion and the inactive portion are distinguished from each other by setting the average depth value of the inactive portion detected by the body detecting portion as a threshold value.
상기 리지 검증부는 상기 바디 검출부가검출한 바디에 따라 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하고, 확정된 연결점과 상기 복수의 리지의 어느 하나의 일단을 연결하여 가상 리지를 형성하며, 상기 복수의 리지 및 가상 리지에 대해 검증을 한다. The ridge verification unit determines a connection point between the active portion and the inactive portion according to the body detected by the body detection unit, forms a virtual ridge by connecting one end of the predetermined connection point and one of the plurality of ridges, A plurality of ridges and virtual ridges are verified.
또한, 상기 타겟의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 타겟의 활동 부분은 사람의 팔다리를 포함한다. In addition, the inactive portion of the target includes a human head and body, and the active portion of the target includes a human limb.
상술한 목적을 달성하기 위해, 타겟의 깊이 이미지 및 세기 이미지에 근거한 타겟 분석 방법은: a) 타겟의 세기 이미지 중 타겟의 바디를 검출하는 단계; b) 검출된 타겟의 바디 중 세기값에 따라 세기 문턱값을 계산하는 단계; 및 c) 상기 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하는 단계; d)상기 바이너리 이미지를 사용하여 깊이 이미지를 마스킹하고 마스크 깊이 이미지를 획득하는 단계; 및 e)상기 마스크 깊이 이미지 중 타겟의 활동 부분을 검출하는 단계;를 포함한다.To achieve the above object, a target analysis method based on a depth image and an intensity image of a target includes the steps of: a) detecting a body of a target among intensity image of the target; b) calculating a strength threshold according to an intensity value of the body of the detected target; And c) converting the intensity image to a binary image using the intensity threshold; d) masking the depth image using the binary image and obtaining a mask depth image; And e) detecting an active portion of the target of the mask depth image.
따라서, 종래 기술 중 컬러 이미지의 전경 분할과 달리, 본 발명에서 먼저 간단하고 신속한 방법을 사용하여 세기 이미지에 따라 타겟의 간단한 바디에 대해 마스킹을 형성한다. 그 다음 상기 마스킹에 따라 깊이 이미지 중 전경을 분할하고, 타겟의 활동 부분의 리지를 더 검출한다. 통계 학습 방법을 사용하여 트레이닝으로 얻은 부분 검출기는 타겟의 바디를 검출하는데 사용되어 대략 타겟의 위치 및 비율을 측정할 수 있다. 이는 파라미터 검색 공간을 현저히 감소시킬 수 있다. 또한 리지 검증에서 가상 부분을 사용하여 정확히 리지를 검증할 수 있다.Thus, unlike the foreground segmentation of color images in the prior art, the present invention first uses masking to the simple body of the target according to the intensity image using a simple and fast method. Then divides the foreground of the depth image according to the masking and further detects ridges of the active portion of the target. The partial detector obtained by training using the statistical learning method can be used to detect the body of the target and can measure the position and the ratio of the target roughly. This can significantly reduce the parameter search space. In addition, the ridge verification can verify the ridge accurately using the virtual part.
도 1은 본 발명에 따른 타겟 분석 장치의 구조를 보이는 블록도이다.
도 2는 세기 이미지 및 깊이 이미지의 예를 보이는 도면이다.
도 3은 타겟의 메인 바디를 보이는 도면이다.
도 4의 (a) 내지 (d)는 세기 이미지 바이너리 이미지, 깊이 이미지 및 마스킹 깊이 이미지의 예를 보이는 도면이다.
도 5는 활동 부분 검출 유닛의 구조를 보이는 도면이다.
도 6은 리지 검출 유닛의 구조를 보이는 도면이다.
도 7은 리지 검출 유닛의 검출 과정을 보이는 도면이다.
도 8의 (a) 및 (b)는 각각 타겟의 검색 트리 및 리지 검증 결과의 예를 보이는 도면이다.
도 9는 본 발명에 따른 타겟 분석 방법의 플로우 차트이다.1 is a block diagram showing a structure of a target analyzing apparatus according to the present invention.
2 is an illustration showing an example of a strength image and a depth image.
3 is a view showing the main body of the target.
4 (a) to 4 (d) are views showing examples of intensity image binary image, depth image and masking depth image.
5 is a view showing the structure of the active portion detecting unit.
6 is a diagram showing the structure of the ridge detection unit.
7 is a diagram showing the detection process of the ridge detection unit.
8A and 8B are diagrams showing examples of search tree and ridge verification results of a target, respectively.
9 is a flowchart of a target analysis method according to the present invention.
이하, 도면을 참조하여 본 발명의 타겟 분석 장치 및 방법에 대해 상세히 설명한다. 본 발명의 타겟 분석 장치 및 방법은 비디오 스트림 중 관심이 있는 타겟에 대해 분석을 진행하여 비디오 타겟에 대한 각 부분의 정보를 획득하는 것이다.Hereinafter, a target analyzing apparatus and method of the present invention will be described in detail with reference to the drawings. The target analyzing apparatus and method of the present invention is to conduct analysis on a target of interest in a video stream to obtain information of each part of the video target.
일반적으로 분석 대기 비디오 타겟에 대해 대부분은 두 부분으로 나뉜다: 한 부분은 형상, 비율 등 상대적으로 고정된 비활동 부분으로서, 예를 들어 사람의 머리 및 몸체, 특정 장치의 밑받침 등이다; 다른 부분은 활동을 할 수 있고 형상이 상대적으로 고정되지 않은 활동 부분으로서, 예를 들어 사람의 팔다리, 특정 장치의 활동 아암(arm) 등이다. 본 발명에서, 간단한 메인 바디에 대해 샘플 통계 학습 방법 트레이닝을 거친 분류 학습기 또는 검출기를 이용하여 검출을 진행하여 비교적 복잡한 활동 부분에 대해 전경 분할을 거쳐 배경 노이즈를 제거한 후 검출을 할 수 있다.In general, for analysis-pending video targets, most are divided into two parts: one part is a relatively fixed inactive part such as a shape, a ratio, for example, a person's head and body, and the base of a particular device; The other part is the part of the activity that can be active and whose shape is not relatively fixed, such as the limbs of a person, the arm of a particular device, and so on. In the present invention, detection is performed using a classifying learning device or a detector that has been trained on a simple main body through a sample statistical learning method training, and background noise is removed through foreground division for a relatively complex activity part, and detection can be performed.
지적할 필요가 있는 것은, 설명의 편리를 위해 아래에서 인체 타겟을 예로 본 발명의 타겟 분석 장치 및 방법을 설명한다. 그러나 본 발명은 인체 타겟의 처리에 한정되지 않는다.It should be noted that, for convenience of explanation, the target analyzing apparatus and method of the present invention will be described below by taking a human target as an example. However, the present invention is not limited to the treatment of the human body target.
도 1을 참조하면, 도 1은 본 발명의 타겟 분석 장치(100)의 구조를 보이는 블록도이다. 본 발명의 타겟 분석 장치(100)는 바디 검출부 (101), 전경 분할부(102) 및 활동 부분 검출부(103)을 포함한다. Referring to FIG. 1, FIG. 1 is a block diagram showing the structure of a
타겟 분석 장치(100)는 외부로부터 타겟의 세기 이미지 및 깊이 이미지를 수신하여 시스템의 입력으로 한다. 또는 본 발명의 타겟 분석 장치(100)는 타겟의 세기 이미지 및 깊이 이미지를 캡쳐하는 장치, 예를 들어 TOF(Time Of Flight) 카메라를 더 포함할 수 있다. The
입력 시스템에서, TOF 카메라는 기능적으로 두 개의 카메라를 포함할 수 있는데, 하나는 고해상도의 컬러 CCD 카메라이고 다른 하나는 저해상도의 TOF 카메라이다. 컬러 CCD 카메라의 출력은 컬러 비디오 스트림이고, TOF 카메라의 출력은 세기 비디오 스트림과 깊이 비디오 스트림이다. 컬러 카메라와 TOF 카메라는 동일 광축을 공유하고, 실제 컬러(컬러이미지)와 TOF 카메라(세기 및 깊이 이미지) 사이에 픽셀 단위로 리지스터된다. 제조 단계에서 카메라는 이미 계산 설정되어 있다. 카메라 의 출력은 6 성분의 비디오 스트림인데, 컬러 성분(레드, 그린, 블루)와 3차원 공간에서의 좌표(x, y, z)와 연관된다. 비통합 카메라 세트에 있어 컬러 카메라와 TOF 카메라는 상이한 위치 또는 베이스라인과 함께 조합 사용된다. 두 카메라(컬러 및 세기)로부터 비디오 이미지는 먼저 표준 계산 방법으로 계산된다. 그런 다음 컬러 카메라 이미지와 TOF 카메라 이미지 사이에 정렬이 두 이미지로부터의 특징점의 이미지 매칭의 전환 및 최적화 문제를 품으로써 이루어진다. 이런 식으로 6 성분 비디오를 입력으로서 얻을 수 있다.In an input system, a TOF camera can functionally include two cameras, one is a high resolution color CCD camera and the other is a low resolution TOF camera. The output of a color CCD camera is a color video stream, and the output of a TOF camera is an intensity video stream and a depth video stream. The color camera and the TOF camera share the same optical axis and are stored in pixels between the actual color (color image) and the TOF camera (intensity and depth image). At the manufacturing stage, the camera has already been calculated and set. The output of the camera is a six component video stream, which is associated with color components (red, green, blue) and coordinates (x, y, z) in three dimensional space. For non-integrated camera sets, color cameras and TOF cameras are used in combination with different locations or baselines. The video images from both cameras (color and intensity) are first calculated using the standard calculation method. The alignment between the color camera image and the TOF camera image is then accomplished by switching and optimizing the image matching of the feature points from both images. In this way, a six-component video can be obtained as an input.
세기 이미지는 타겟 표면 재료의 반사능력을 반영하고, 각 픽셀값은 타겟 표면 재료의 반사강도값을 표시한다. 깊이 이미지는 카메라 및 타겟 표면 사이의 거리를 반영하고, 그 각 픽셀값은 카메라부터 타겟 표면까지의 깊이값을 표시한다. The intensity image reflects the reflective capability of the target surface material, and each pixel value represents the reflection intensity value of the target surface material. The depth image reflects the distance between the camera and the target surface, and each pixel value represents the depth value from the camera to the target surface.
도 2의 (a) 및 (b)는 세기 이미지 및 깊이 이미지의 예를 각각 나타낸다. 2 (a) and 2 (b) show examples of the intensity image and the depth image, respectively.
도 3에 도시된 바와 같이 바디 검출부(101)은 타겟의 세기 이미지로부터 타겟의 바디를 검출하며 특히 바디 중 인체 타겟의 경우 사람의 머리부 및 몸을 포함하는 비활동부분을 검출한다. 종래 타겟의 바디 검출 방법은 컬러 이미지를 사용하는 것으로, 예를 들어 배경 차에 기한 검출 방법, 컬러분류 방법 등이다. 그러나 본 발명은 세기 이미지를 타겟 메인 바디를 검출하는 기초로 사용한다. 세기 이미지는 예를 들어 TOF 카메라를 통해 획득할 수 있다.As shown in FIG. 3, the
바디 검출부(101)는 샘플의 통계 학습 방법에 기해 트레이닝을 하는 부분 분류기 또는 검출기를 이용한다. 예를 들어, 메인 바디 검출 유닛(101)은 공개된 통계 학습 방법을 사용할 수 있다. 입력은 세기 이미지이므로 배경의 비교적 혼란스러운 컬러 이미지와 비교하여, 검출속도는 빠르고 대략 반시간 정도의 경비를 절약할 수 있다. 물론 본 발명은 이에 한정되지 않고, 바디 검출부(101)는 다른 타겟 검출 방법을 사용하여 세기 이미지로부터 타겟의 바디를 검출할 수 있다.The
바디 검출부(101)는 입력된 세기 이미지를 스캔하여 타겟의 바디의 위치, 크기, 비율 등을 확정한다. 일반적으로, 타겟의 바디의 비활동부분은 비교적 고정된 기하학적 구속 관계, 예를 들어 사람이 선 상태에서 그 머리부와 몸은 상하 위치로 구속된다. The
이 점에 따라서 두 가지 전략으로 타겟의 바디를 검색할 수 있다. 한 전략은 입력되는 세기 이미지 중 모든 윈도우를 스캔하여 하나의 바디를 검출하는 것이며, 그 후 바디를 이루는 성분 사이의 기하학적 관계에 따라 상기 바디의 인접 이미지 영역을 스캔하여 다른 바디 성분을 검출한다. 상기 전략은 스캔 윈도우를 현저히 감소시킬 수 있다. 다른 전략은 입력 세기 이미지 중의 모든 윈도우를 스캔하여 모든 가능한 바디 성분을 검출하는 것이다. 상기 전략은 타겟의 바디 성분 사이의 이미 알려진 기하학적 구속을 고려하지 않는다. 모든 바디 성분의 후보를 검출한 후, 만약 각 바디 성분에 복수의 후보가 존재하면, 성분 사이의 기하학적 구속에 따라 가장 바람직한 바디 성분의 조합을 선택한다.Based on this, you can search the body of the target in two strategies. One strategy is to scan all the windows of an input intensity image to detect one body, and then scan the adjacent image region of the body according to the geometrical relationship between the components forming the body to detect other body components. This strategy can significantly reduce the scan window. Another strategy is to scan all windows in the input intensity image to detect all possible body components. The strategy does not take into account the known geometric constraint between the body components of the target. After detecting candidates for all body components, if there are a plurality of candidates for each body component, the most desirable combination of body components is selected according to the geometric constraint between the components.
바디 검출부(101)가 검출한 타겟의 바디 중 비활동부분은 후에 계속되는 전경 분할(foreground segmentation) 중의 문턱값 계산 및 활동 부분 검출 시 활동 부분 영역의 확정에 사용된다.The inactive part of the body of the target detected by the
전경 분할부닛(102)는 깊이 이미지 중 배경 영역(노이즈 영역)을 제거하는데 사용되고, 타겟의 전경을 포함하여 분할한다. 상술한 바와 같이 종래 컬러 이미지에 기반한 전경분할방법 및 깊이 이미지에 기초한 전경분할방법은 모두 부정확하여 타겟 분석에 큰 어려움이 있다. 따라서 본 발명에서는 세기 이미지 및 깊이 이미지를 이용하여 간편하고 정확한 전경분할을 실현한다. 아래에서 전경 분할부(102)의 조작에 대해 상세히 설명한다.A
먼저, 바디 검출부(101)가 검출한 타겟의 바디에 따라, 전경 분할 부분(102)은 세기 이미지 중 하나의 세기 문턱값을 계산한다. 먼저 세기 이미지 중 바디 검출부(101)에 의해 바디로 표기된 모든 픽셀의 세기값에 대해 통계분석을 진행하여 상기 세기 문턱값을 획득한다.First, according to the body of the target detected by the
그런 다음, 전경 분할부(102)는 입력된 세기 이미지의 각 픽셀값과 계산된 세기 문턱값을 비교하여 세기 이미지의 각 픽셀값을 바이너리화함으로써 세기 이미지를 바이너리 이미지로 변환한다. 예를 들어, 세기 이미지 중 세기값이 상기 세기 문턱값보다 큰 픽셀은 타겟으로 표기되고, 세기값이 상기 세기 문턱값보다 작은 픽셀은 배경으로 표기된다. 여기서, 생성된 바이너리 이미지에 대해 값 필터링, 이로전(erosion) 및 희석 조작(dilate operation) 등을 실행하여 바이너리 이미지 중 노이즈를 제거한다. Then, the
도 4의 (a) 중 원 세기 이미지의 예를 도시하고, (b) 중 세기 문턱값에 기하여 형성된 바이너리 이미지의 예를 보인다.FIG. 4A shows an example of an intensity image, and FIG. 4B shows an example of a binary image formed based on the intensity threshold.
그런 다음, 상기 바이너리 이미지를 이용하여 입력된 깊이 이미지에 마스킹을 하고, 마스킹 깊이 이미지를 획득한다. 바이너리 이미지는 깊이 이미지를 두 부분으로 나눌 수 있다: 한 부분은 타겟이 존재하는 전경 영역이고, 다른 부분은 배경 영역이다. 따라서, 바이너리 이미지를 이용하여 깊이 이미지에 대해 마스킹을 하고, 배경 영역을 제거할 수 있다. 예를 들어, 바이너리 이미지 및 깊이 이미지 사이에 AND 연산을 실행하여 마스킹 깊이 이미지를 획득한다. Then, the input depth image is masked using the binary image, and a masking depth image is obtained. A binary image can divide the depth image into two parts: one part is the foreground area where the target exists, and the other part is the background area. Therefore, the binary image can be used to mask the depth image and remove the background area. For example, an AND operation is performed between the binary image and the depth image to obtain a masking depth image.
도 4 (c) 에서 입력된 깊이 이미지의 예를 도시하고, (d)에서 바이너리 이미지를 이용하여 마스크 깊이 이미지를 획득하는 예를 보인다.FIG. 4C shows an example of a depth image input in FIG. 4C, and FIG. 4D shows an example in which a mask depth image is acquired using a binary image.
전경 분할부(102)를 통해 마스크 깊이 이미지를 획득한 후, 활동 부분 검출부(103)는 상기 마스크 깊이 이미지에 따라 타겟의 활동 부분(인체 타겟의 경우 사람의 팔다리)을 검출한다. 도 4(d)에 도시된 바와 같이 마스크 깊이 이미지 중 배경 영역은 이미 제거되었으므로, 혼란스런 에지는 이미 현저히 감소되어, 활동 부분 검출부(103)는 정확히 타겟의 활동 부분을 검출할 수 있다.After acquiring the mask depth image through the
현재, 활동 부분의 검출방법은, 예를 들어 팔다리의 검출 방법은 크게 두 분류로 나뉜다: 한 분류는 저층 특징에 따른 방법이고, 다른 한 분류는 고층 특징에 따른 방법이다. Currently, the method of detecting active parts, for example, the method of detecting limbs is roughly divided into two categories: one is a method according to a low-level feature, and the other is a method according to a high-level feature.
저층 특징에 따른 방법은 전환점, 에지라인 등의 특징을 이용하여 타겟의 활동 부분을 검출한다. The method according to the low-level feature detects the active part of the target using the characteristics of the turning point, the edge line, and the like.
고층 특징에 따른의 방법은 모델 식별 방법으로서 포지티브 샘플과 네거티브 샘플 학습 분류기 또는 검출기를 이용하는 방법이다. 본 발명의 활동 부분 검출 부(103)는 상기 방법을 채용하여 마스크 깊이 이미지로부터 타겟의 활동 부분을 검출할 수 있다. The method according to the high-layer feature is a method using a positive sample and a negative sample learning classifier or detector as a model identification method. The active
아래에서 호프(Hough) 변환에 기한 에지 특징으로 검출하는 방법을 예로 활동 부분 검출부(103)를 설명한다. 이해해야 할 것은 본 발명은 이에 한정되지 않는다는 것이다.The active
현재 예시된 활동 부분 검출 유닛(103)은 두 하부 유닛을 포함할 수 있다: 리지(ridge) 검출부(501)와 리지 검증 부(502)이다. 리지 검출부(501)는 타겟 활동 부분의 가능한 리지를 검출한다. 리지 검증부(502)는 리지 검출부(501)에서 검출한 리지 후보를 검증하여 가장 바람직한 리지를 선택한다. 여기서, 리지는 타겟의 각 부분의 중추선을 의미한다.The currently illustrated active
도 5 및 도 6에 도시된 바와 같이, 리지 검출부(501)는 깊이 슬라이싱 유닛(601), 에지 검출 유닛(602), 직사각형 설계 유닛(603) 및 리지 추출 유닛(604)을 포함한다.5 and 6, the
깊이 슬라이싱 유닛(601)은 마스크 깊이 이미지 중 타겟의 활동 부분이 존재하는 영역을 확정한다. 여기서, 바디 검출부(101)가 확정한 예를 들어 도 7(a)에 도시된 바에 따라 마스크 깊이 이미지 중 비활동 부분을 제외한 영역을 타겟의 비활동 부분으로부터 연장된 활동 부분으로 확정한다. The depth slicing unit 601 determines an area in which the active portion of the target exists among the mask depth images. Here, the region excluding the inactive portion of the mask depth image is determined as an active portion extending from the inactive portion of the target, for example, as shown in Fig. 7A, which the
또한, 다음과 같은 상황이 있을 수 있다: 도 3에 도시된 사람의 왼쪽 팔과 같이 세기 이미지 중 타겟의 활동 부분과 비활동 부분이 중첩될 수 있다. 이러한 상황에 대해, 깊이 슬라이싱 유닛(601)은 비활동 부분의 평균 깊이값을 계산하고, 그 값을 비활동 부분의 픽셀이 실제적으로는 비활동 부분에 속하는지 활동 부분에 속하는지를 확정하는 깊이 슬라이싱의 문턱값으로 한다. 이는 깊이 이미지 중에서 타겟의 활동 부분과 비활동 부분이 중첩되면 활동 부분과 비활동 부분이 상이한 깊이 평면에 위치하는 것을 원리로 하기 때문이다. 만약 픽셀과 상기 깊이 슬라이싱의 문턱값 사이의 차의 절대값이 예정 상수보다 크면 상기 픽셀을 타겟의 활동 부분에 속하는 것으로 하고, 그렇지 않으면 상기 픽셀이 비활동 부분에 속하는 것으로 한다.There may also be the following situation: the active and inactive portions of the target of the intensity image, such as the left arm of the person shown in Figure 3, may overlap. For this situation, the depth slicing unit 601 calculates the average depth value of the inactive portion and determines the value of the depth slicing unit 601 to determine whether the pixel of the inactive portion actually belongs to the inactive portion, As shown in FIG. This is because when the active part and the inactive part of the target are overlapped, the active part and the inactive part are located in different depth planes. If the absolute value of the difference between the pixel and the threshold of depth slicing is greater than the predetermined constant, the pixel belongs to the active portion of the target, otherwise the pixel belongs to the inactive portion.
도 7(b)에서 깊이 슬라이싱 유닛(601)로 확정된 사람의 팔다리 영역을 도시한다.7B shows the limb area of the person determined by the depth slicing unit 601. [
에지 검출 유닛(602)는 깊이 이미지에 대해 호프 변환을 진행하여 이미지의 에지 특징을 나타내는 호프 선을 획득한다. 깊이 슬라이싱 유닛(601)로 확정한 활동 부분에서 호프 선은 타겟 활동 부분의 에지를 표시한다. The
도 7(c)는 검출된 호프 선의 예를 표시한다. Fig. 7 (c) shows an example of the detected hop line.
도 7(d)에 도시된 바와 같이, 직사각형 설계 유닛(603)은 상기 호프 선을 이용하여 직사각형을 형성하고 타겟의 활동 부분을 커버한다. 직사각형 설계 과정은 대략 아래와 같이: 먼저, 검출된 호프 선의 길이에 따라 호프 선을 정렬한다; 비교적 긴 호프 선을 직사각형의 긴 변으로 하고, 긴 변과 수직인 방향으로 따라 깊이 이미지 중 깊이값 변환점을 스캔하여 직사각형의 짧은 변으로 확정함으로써 직사각형을 형성한다; 만약 직사각형이 서로 중첩되면, 큰 직사각형과 중첩된 작은 직사각형을 제거하는 원칙에 따라 여분의 직사각형을 제거한다.As shown in Fig. 7 (d), the
도 7(e)에 도시된 바와 같이, 리지 추출 유닛(604)은 직사각형 설계 유닛(603)으로부터 형성된 직사각형에서 단변의 두 중심을 연결함으로써 중추선을 추출하여 가능한 리지로 한다. As shown in Fig. 7 (e), the
리지 검출부(501)는 마스크 깊이 이미지로부터 모든 가능한 활동 부분 리지를 검출한다. 상기 리지를 후보로 하여 리지 검증부 (502)가 검증을 진행하여 활동 부분의 최종 골격 구조를 확정한다.The
리지 검증부(502)는 선 검증된 모형을 통해 리지 검출 부(501)가 검출한 리지 후보를 검증함으로써 가장 바람직한 리지를 선출하고 최종적으로 원 타겟의 활동 부분의 리지를 선출한다. 리지 검출부 (501)에서 검출된 모든 리지 후보 중 리지 검증부(502)는 어떤 리지 후보를 조합한 후 실제 활동 부분과 서로 맞출 것인가를 검증해야 한다. 이를 위해, 리지 검증부(502)는 가설 생성 평가(hypothesis generation evaluation) 방법을 채용할 수 있다. 즉, 모든 리지 후보 중 여러 리지를 선택하고 특정 방식에 따라 연결한 다음, 타겟의 선 검증된 모델의 구속 및 계산법을 이용하여 상기 가설의 확률을 계산한다. 확률이 가장 큰 가설을 가장 좋은 경로로 선택함으로써 타겟의 최종 리지 구조를 검출한다.The
본 발명의 리지 검증부(502)는 현재 상용하는 검증 모형으로 리지 검증을 진행할 수 있는데, 예를 들어 Felzenszwalb의 상형 구조(pictorial structure) 방법(P.F. Felzenszwalb. D.P. Huttenlocher, "Efficient Matching of Pictorial Structures", CVPR 2000)가 있다. 아래에서 상기 상형 구조 방법을 예로 리지 검증부(502)의 조작에 대해 간략히 설명한다. 주의할 것은 본 발명은 이에 한정되지 않는다는 것이다.The
먼저, 도 8 (a)에 도시된 바와 같이, 리지 검증 유닛(502)은 타겟의 트리 구조를 세운다. 상기 트리 구조는 타겟의 검색 공간을 대표하고, 타겟의 각 부분의 위치 및 연결관계를 표시하며, 각 노드의 변수는 3D 공간의 위치, 부분 비율 및 회전 각도 등을 포함할 수 있다.First, as shown in Fig. 8 (a), the
여기서, 바디 검출부(101)는 검출한 타겟의 비활동 부분의 연결 위치, 비율 및 각도 등을 검색 트리에 분배하고, 이를 상수로 한다. 그러나 리지 검증부(502)는 리지 후보를 노드에 분배하여 가설을 생성한다. 리지 검증부(502)는 아래의 수학식 1을 통해 상기 가설 및 실제 이미지 사이의 관찰 유사성(observation similarity)를 계산한다:Here, the
여기서, "MatchedPt"는 깊이 이미지에서 가설로 설정된 부분이 커버하는 0이 아닌 픽셀과 상기 부분과의 크기비이다. "NoMatchedPt"는 깊이 이미지에서 가설로 설정된 부분이 커버하는 0 픽셀과 상기 부분의 크기비이다. "nS"는 가설의 직사각형 비례인자를 표시한다. "w"는 웨이트 계수이다. Here, "MatchedPt" is the ratio of the size of the non-zero pixel covered by the hypothetical portion to the portion of the depth image. "NoMatchedPt" is the ratio of the size of the portion to the zero pixel covered by the hypothetical portion of the depth image. "nS" indicates the proportional factor of the hypothetical rectangle. "w" is the weight coefficient.
가설 및 기하학적 모형 사이의 모형 정합은 아래의 수학식 2에 따라 계산한다:The model matching between the hypothesis and the geometric model is calculated according to the following equation:
여기서, alpha는 인접 부분 간의 각도, 즉 트리 구조의 부 노드(parent node)와 자 노드(child node) 사이의 각도를 표시한다; alphaij는 노드 i와 노드 j 사이의 이상적인 각도를 말한다; log nSj k는 k차원의 j 부분의 비율 인자를 의미한다; log nSij k는 모형의 이상 비율 인자를 의미한다; pij는 i부분과 j부분 사이의 연결선의 좌표차이다.Where alpha represents the angle between adjacent parts, that is, the angle between the parent node and the child node of the tree structure; alpha ij is the ideal angle between node i and node j; log nS j k means the ratio factor of the j part of the k dimension; log nS ij k means the anomaly rate factor of the model; p ij is the coordinate difference of the connecting line between the i and j parts.
그러나, 수학식 3을 통해 가설의 후 검증 확률을 근사 계산한다:However, the post-hypothesis verification probability is approximated through Equation 3:
리지 검증부(502)는 최대 확률을 가지는 가장 좋은 경로를 찾아 최종 타겟의 리지 구조를 검출한다. 도 8(b)는 리지 검증 결과의 예를 표시한다.The
상술한 바와 같이, 본 발명에서 리지 검증부(502)는 바디 검출부(1010)가 검출한 타겟의 바디 성분의 연결 위치, 비율 및 각도 등을 검색 트리에 분배하여, 검색 공간을 현저히 축소시켜 계산 속도를 향상시킨다.As described above, in the present invention, the
리지 후보의 수량이 많을 수 있고 상응하는 연결 방법도 아주 많아 검색 공간이 매우 크고 계산량도 매우 클 수 있다. 바디 검출 부(101)에서 이미 타겟의 바디, 특히 비활동 부분 예를 들어, 사람의 머리 부분 및 몸을 검출하고, 비활동 부분의 위치 및 비율을 확정하였다. The number of candidate ridges can be large and there are many corresponding connection methods, so the search space is very large and the computation amount can be very large. The
특정 타겟 유형에 있어, 각 부분 사이의 비율은 특정 조건을 만족시키고 변화는 비교적 작다. 예를 들어 통계 방법을 이용하여 사람의 머리 부분 또는 몸으로부터 사람의 팔의 비율을 추론할 수 있다. 따라서, 이미 검출된 비활동 부분을 검색 공간 중의 이미 알려진 상수로 하여 각 종 가능한 조합의 매 계산에 관여하지 않고 검색 공간을 현저히 감소시키고 계산량을 감소시킬 수 있다.For a particular target type, the ratio between each part meets certain conditions and the change is relatively small. For example, statistical methods can be used to deduce the percentage of a person's arm or head from a person's body. Therefore, the search space can be significantly reduced and the amount of calculation can be reduced without involving in every possible calculation of each possible combination, with the previously detected inactive part being already known constants in the search space.
또한 도 3의 사람의 오른쪽 팔과 같이, 타겟의 부분이 차폐 또는 누락되는 경우가 존재할 수 있다. 이런 상황에서, 본 발명의 리지 검증부 중 가설의 개념을 도입하여 누락 또는 차페된 부분을 복구하고 검증 속도 및 정확도를 향상시킬 수 있다.There may also be a case where the portion of the target is shielded or missing, such as the right arm of the person of Fig. In this situation, it is possible to introduce the concept of hypothesis in the ridge verifier of the present invention to recover missing or rejected parts, and to improve verification speed and accuracy.
먼저 바디 검출부(101)가 검출한 바디에서 타겟의 활동 부분과 비활동 부분의 연결점, 예를 들어 사람의 어깨점의 위치를 확정할 수 있다. 일반적으로 상기 연결점은 도 3에 도시된 바와 같이, 타겟의 메인 바디의 수직 사영도 및 수평 사영도 상에 파곡의 도약점이다.First, the
연결점을 확정한 후, 연결점으로부터 하나의 가상 리지를 형성하고, 하나의 가설을 형성하여 평가검증을 진행한다. 예를 들어, 연결점과 제k조 리지 후보의 끝점과 연결하고, 하나의 가상 리지 후보를 형성한다. 상기 가상 리지 후보와 제k조 리지 후보는 타겟의 한 어깨를 형성함으로써 가설을 형성한다.After confirming the connection point, one virtual ridge is formed from the connection point, and one hypothesis is formed to carry out the evaluation verification. For example, it connects with the end point of the connection point and the kth ridge candidate, and forms a virtual ridge candidate. The virtual ridge candidate and the kth ridge candidate form a hypothesis by forming one shoulder of the target.
여기서, 수학식 2의 제2항을 간략히 하여 아래의 수학식 4를 형성할 수 있다.Here, the second equation (2) can be simplified to form the following equation (4).
아래에서, 도 9를 참조로 본 발명의 타겟 분석 방법을 설명한다.Hereinafter, the target analysis method of the present invention will be described with reference to FIG.
901 단계에서, 타겟의 세기 이미지로부터 타겟의 바디를 검출한다. 타겟의 바디를 검출하기 위해 주로 비활동 부분, 예를 들어 사람의 머리와 몸 성분을 검출할 수 있다. 타겟의 세기 이미지는 TOF 카메라로 획득할 수 있다. 또한, 전술한 바와 같이, 통계학습방법 트레이닝에 따른 부분검출기를 사용하여 비활동 부분의 성분을 스캐닝하고 구속 조건을 적용함으로써 세기 이미지 중 타겟의 바디를 검출한다.In
902 단계에서, S901 단계에서 검출된 타겟의 바디에 따라, 세기 이미지 중 세기 문턱값을 계산한다. 구체적으로는, 세기 이미지를 통해 S901 단계에서 바디로 표시된 모든 픽셀의 세기값에 대해 통계평균을 하여 상기 세기 문턱값을 얻는다.In
이어서, 903 단계에서 계산된 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환한다. 904 단계에서 903 단계에서 형성된 바이너리 이미지를 사용하여 타겟의 깊이 이미지를 마스킹함으로써 마스크 깊이 이미지를 획득한다.Subsequently, the intensity image is converted into a binary image using the intensity threshold value calculated in
905 단계에서 마스킹 깊이 이미지 중 타겟의 활동 부분, 예를 들어 사람의 팔다리를 검출한다. 상술한 방법을 통해 마스크 깊이 이미지 중 타겟의 활동 부분을 검출한다.In
이상으로 본 발명의 타겟 분석 장치 및 방법을 설명하였다. 상기 타겟 분석 장치 및 방법은 타겟의 세기 이미지 및 깊이 이미지에 따라 타겟을 분석하여 타겟의 각 부분을 검출할 수 있고, 리지를 추출함으로써 타겟의 동작 정보를 획득할 수 있다. 본 발명의 타겟 분석 장치 및 방법은 아래의 효과를 얻을 수 있다.The target analyzing apparatus and method of the present invention have been described above. The target analyzing apparatus and method can detect each portion of the target by analyzing the target according to the intensity image and the depth image of the target, and obtain the operation information of the target by extracting the ridge. The target analyzing apparatus and method of the present invention can achieve the following effects.
먼저 본 발명에서 배경이 복잡한 컬러 이미지를 대체하여 분석 대기하는 세기 및 깊이 비디오 스트림을 사용하여 전경 분할을 진행함으로써 정확한 전경 분할을 실현할 수 있다.First, according to the present invention, accurate foreground segmentation can be realized by performing foreground segmentation using intensity and depth video streams that are waiting for analysis in place of a complicated color image.
다음으로, 양호한 전경 분할 결과에 따라 신속 정확한 타겟 에지 추출을 진행함으로써 타겟의 각 성분을 검출할 수 있다.Next, each target component can be detected by rapidly extracting the target edge according to the good foreground division result.
또한, 본 발명에서 샘플의 통계모형검출기를 세기 이미지에 응용하고, 세기 이미지 중 타겟의 바디를 성공적으로 검출할 수 있다. 또한 검출된 바디의 비활동 부분은 후 연속된 리지 검증 시스템에 응용함으로써 검증 시스템의 검색 공간을 감소시키고 연산량을 현저히 감소시킬 수 있다.In addition, in the present invention, a statistical model detector of a sample can be applied to an intensity image, and a body of a target among intensity images can be successfully detected. Also, the inactive part of the detected body can be applied to the subsequent ridge verification system, thereby reducing the search space of the verification system and significantly reducing the amount of computation.
또한 리지 검증 시스템에서 가상 부분을 사용하여 누락 또는 차폐된 부분을 복원하여 검증 속도 및 정확도를 향상시킬 수 있다.In addition, in the ridge verification system, it is possible to improve the verification speed and accuracy by restoring missing or shielded parts using the virtual part.
또한 본 발명의 일 실시예에 따른 타겟 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Also, the target analysis method according to an embodiment of the present invention may be implemented in a form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
100 타겟 분석 장치
101 메인 바디 검출 유닛
102 전경 분할 유닛
103 활동 부분 검출 유닛100 target analyzer
101 main body detection unit
102 Foreground split unit
103 Activity part detection unit
Claims (19)
상기 타겟의 세기 이미지 중 타겟의 바디를 검출하는 바디 검출부;
검출된 바디 중 세기값에 따라 세기 문턱값을 계산하고, 상기 세기 문턱값을 사용하여 상기 세기 이미지를 바이너리 이미지로 전환하고, 상기 바이너리 이미지를 마스크로 사용하여 상기 타겟의 깊이 이미지에 마스킹함으로써 마스크 깊이 이미지를 획득하는 전경 분할부; 및
상기 마스크 깊이 이미지 중 상기 타겟의 상기 바디에 비하여 상대적으로 움직임이 큰 부분을 활동 부분으로 검출하는 활동 부분 검출부;
를 포함하고,
상기 타겟의 바디의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 상기 활동 부분은 사람의 팔다리를 포함하는 타겟 분석 장치.A target analyzing apparatus for inputting a depth image and an intensity image of a target,
A body detecting unit for detecting a body of the target among the intensity images of the target;
Calculating an intensity threshold according to the detected intensity value of the body, switching the intensity image to a binary image using the intensity threshold, and masking the depth image of the target using the binary image as a mask, A foreground division for acquiring an image; And
An active portion detecting portion for detecting, as an active portion, a portion of the mask depth image having a relatively large motion relative to the body of the target;
Lt; / RTI >
Wherein the inactive portion of the body of the target comprises a human head and body, and wherein the active portion comprises a human limb.
상기 타겟의 깊이 이미지 및 세기 이미지를 캡쳐하여 출력하는 TOF 카메라 세트를 더 포함하는 타겟 분석 장치.The method according to claim 1,
And a TOF camera set for capturing and outputting a depth image and intensity image of the target.
상기 바디 검출부는 통계 학습 방법으로 트레이닝되어 상기 세기 이미지 중 상기 타겟의 바디를 이루는 성분을 검출하고 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 선택하는 타겟 분석 장치.The method according to claim 1,
Wherein the body detecting unit detects a component constituting a body of the target among the intensity images trained by a statistical learning method and selects a candidate that matches a geometric constraint among a plurality of candidates for a component of the body as a component of the body Analysis device.
상기 전경 분할부는 검출된 바디 중 세기값을 통계 평균하여 얻은 값을 세기 문턱값으로 하는 타겟 분석 장치.The method according to claim 1,
Wherein the foreground parting section uses a value obtained by statistically averaging the intensity values of the detected bodies as an intensity threshold value.
상기 활동 부분 검출부는
상기 마스크 깊이 이미지 중 복수의 리지를 검출하는 리지 검출부 ; 및
상기 복수의 리지를 검증하여 최적의 리지를 선택하는 리지 검증부;
를 포함하는 타겟 분석 장치.The method according to claim 1,
The active portion detection unit
A ridge detection unit for detecting a plurality of ridges among the mask depth images; And
A ridge verifying unit for verifying the plurality of ridges and selecting an optimum ridge;
The target analyzer.
상기 리지 검출부는 상기 마스크의 깊이 이미지 중 상기 바디의 상기 활동 부분과 비활동 부분을 구분하고 상기 활동 부분의 후보로부터 상기 복수의 리지에 대한 후보를 계산하는 타겟 분석 장치.6. The method of claim 5,
Wherein the ridge detection section distinguishes the inactive portion from the inactive portion of the body of the depth image of the mask and calculates a candidate for the plurality of ridges from the candidate of the active portion.
상기 리지 검출부는상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분하는 타겟 분석 장치.The method according to claim 6,
Wherein the ridge detection unit distinguishes the active portion from the inactive portion with the average depth value of the inactive portion as a threshold value.
상기 리지 검증부는 상기 바디 검출부가 검출한 바디에 따라 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하고, 확정된 연결점과 상기 복수의 리지의 어느 하나의 일단을 연결하여 가상 리지를 형성하며, 상기 복수의 리지 및 상기 가상 리지에 대해 검증을 하는 타겟 분석 장치.The method according to claim 6,
Wherein the bridge verification unit determines a connection point between the active part and the inactive part according to the body detected by the body detection unit, forms a virtual ridge by connecting one end of the predetermined connection point and one of the plurality of ridges, And verifies the plurality of ridges and the virtual ridge.
a) 타겟의 세기 이미지 중 타겟의 바디를 검출하는 단계;
b) 검출된 타겟의 바디 중 세기값에 따라 세기 문턱값을 계산하는 단계;
c) 상기 세기 문턱값을 사용하여 세기 이미지를 바이너리 이미지로 전환하는 단계;
d) 상기 바이너리 이미지를 사용하여 깊이 이미지를 마스킹하고 마스크 깊이 이미지를 획득하는 단계; 및
e) 상기 마스크 깊이 이미지 중 상기 타겟의 상기 바디에 비하여 상대적으로 움직임이 큰 부분을 활동 부분으로 검출하는 단계;
를 포함하고,
상기 타겟의 바디의 비활동 부분은 사람의 머리 및 몸체를 포함하고, 상기 활동 부분은 사람의 팔다리를 포함하는 타겟 분석 방법.The target analysis method based on the depth image and the intensity image of the target,
comprising the steps of: a) detecting a target body of a target intensity image;
b) calculating a strength threshold according to an intensity value of the body of the detected target;
c) converting the intensity image to a binary image using the intensity threshold;
d) masking the depth image using the binary image and obtaining a mask depth image; And
e) detecting, as an active portion, a portion of the mask depth image that is relatively moving relative to the body of the target;
Lt; / RTI >
Wherein the inactive portion of the body of the target comprises a human head and body, and wherein the active portion comprises a human limb.
상기 방법은 TOF 카메라 세트를 이용하여 타겟의 깊이 이미지 및 세기 이미지를 캡쳐하는 단계를 더 포함하는 타겟 분석 방법.11. The method of claim 10,
Wherein the method further comprises capturing a depth image and intensity image of the target using a TOF camera set.
상기 a) 단계에서 통계 학습 방법을 통해 트레이닝된 부분 검출기를 사용하여 상기 바디의 성분에 대한 다수의 후보 중 기하학적 구속조건에 부합하는 후보를 상기 바디의 성분으로 검출하는 단계를 더 포함하는 타겟 분석 방법.11. The method of claim 10,
Using a partial detector trained by the statistical learning method in the step a), detecting a candidate as a component of the body corresponding to a geometrical constraint among a plurality of candidates for the component of the body .
상기 b) 단계에서 검출된 타겟의 바디 중의 세기값에 대해 통계 평균을 진행하고 상기 획득된 세기값에 대한 통계 평균 값을 세기 문턱값으로 하는 타겟 분석 방법.11. The method of claim 10,
Wherein the statistical average of the intensity values in the body of the target detected in the step b) is advanced and the statistical average value of the obtained intensity values is set as the intensity threshold value.
상기 e) 단계는
E1) 마스킹된 깊이 이미지 중 복수의 리지를 검출하는 단계; 및
E2) 상기 복수의 리지에 대해 검증을 진행하여 최적의 리지를 선택하는 단계;
를 포함하는 타겟 분석 방법.11. The method of claim 10,
The step e)
E1) detecting a plurality of ridges in the masked depth image; And
E2) checking the plurality of ridges to select an optimal ridge;
Lt; / RTI >
상기 e1) 단계에서는 상기 d) 단계에서 획득된 상기 마스킹된 깊이 이미지 중 상기 바디의 상기 활동 부분과 비활동 부분을 구분하고 상기 활동 부분의 후보로부터 상기 복수의 리지에 대한 후보를 계산하는 타겟 분석 방법.15. The method of claim 14,
Wherein said step (e1) comprises: dividing the active part and the inactive part of the body among the masked depth images obtained in step (d) and calculating a candidate for the plurality of ridges from the candidate of the active part .
상기 e1) 단계에서는 상기 비활동 부분의 평균 깊이값을 문턱값으로 하여 상기 활동 부분과 상기 비활동 부분을 구분하는 타겟 분석 방법.16. The method of claim 15,
Wherein the active portion and the inactive portion are distinguished from each other by setting an average depth value of the inactive portion as a threshold value in the step e1).
상기 e2) 단계는:
e21) 상기 바디의 상기 활동 부분과 상기 비활동 부분의 연결점을 확정하는 단계;
e22) 상기 확정된 연결점과 상기 복수의 리지의 하나의 일단을 연결하여 가상 리지를 형성하는 단계; 및
e23) 상기 복수의 리지 및 상기 가상 리지를 검증하는 단계;
를 포함하는 타겟 분석 방법.17. The method of claim 16,
Wherein step e2) comprises:
e21) establishing a connection point between the active portion and the inactive portion of the body;
e22) connecting the determined connection point and one end of the plurality of ridges to form a virtual ridge; And
e23) verifying the plurality of ridges and the virtual ridge;
Lt; / RTI >
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/862,330 US8744168B2 (en) | 2009-08-24 | 2010-08-24 | Target analysis apparatus, method and computer-readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910168294.8 | 2009-08-24 | ||
CN200910168294.8A CN101996401B (en) | 2009-08-24 | 2009-08-24 | Target analysis method and apparatus based on intensity image and depth image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110020718A KR20110020718A (en) | 2011-03-03 |
KR101687175B1 true KR101687175B1 (en) | 2016-12-16 |
Family
ID=43786522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100036592A KR101687175B1 (en) | 2009-08-24 | 2010-04-20 | Target Analysis Apparatus and Method of the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101687175B1 (en) |
CN (1) | CN101996401B (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9204062B2 (en) * | 2011-08-24 | 2015-12-01 | Fluke Corporation | Thermal imaging camera with range detection |
TWI526706B (en) | 2011-10-05 | 2016-03-21 | 原相科技股份有限公司 | Image system |
CN102609683B (en) * | 2012-01-13 | 2014-02-05 | 北京邮电大学 | Automatic labeling method for human joint based on monocular video |
CN102609941A (en) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | Three-dimensional registering method based on ToF (Time-of-Flight) depth camera |
KR101909630B1 (en) * | 2012-10-30 | 2018-10-18 | 삼성전자주식회사 | Method and apparatus of recognizing a motion |
KR101896301B1 (en) | 2013-01-03 | 2018-09-07 | 삼성전자주식회사 | Apparatus and method for processing depth image |
US9443136B2 (en) | 2013-04-12 | 2016-09-13 | Samsung Electronics Co., Ltd. | Apparatus and method for detecting body parts from user image |
JP2014238731A (en) | 2013-06-07 | 2014-12-18 | 株式会社ソニー・コンピュータエンタテインメント | Image processor, image processing system, and image processing method |
CN103714321B (en) * | 2013-12-26 | 2017-09-26 | 苏州清研微视电子科技有限公司 | Driver's Face detection system based on range image and intensity image |
KR102307610B1 (en) * | 2014-01-29 | 2021-10-05 | 엘지이노텍 주식회사 | Apparatus for detecting depth map |
CN103884609B (en) * | 2014-03-12 | 2016-05-25 | 上海交通大学 | A kind of laminate side knock lower leaf threshold value loading prediction method |
US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
US10515463B2 (en) * | 2018-04-20 | 2019-12-24 | Sony Corporation | Object segmentation in a sequence of color image frames by background image and background depth correction |
US10477220B1 (en) * | 2018-04-20 | 2019-11-12 | Sony Corporation | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling |
WO2019227294A1 (en) | 2018-05-28 | 2019-12-05 | 华为技术有限公司 | Image processing method, related device and computer storage medium |
JP7255173B2 (en) * | 2018-12-26 | 2023-04-11 | オムロン株式会社 | Human detection device and human detection method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030169906A1 (en) * | 2002-02-26 | 2003-09-11 | Gokturk Salih Burak | Method and apparatus for recognizing objects |
US20050084156A1 (en) * | 2003-08-28 | 2005-04-21 | Das Aveek K. | Method and apparatus for differentiating pedestrians, vehicles, and other objects |
US20080317331A1 (en) * | 2007-06-19 | 2008-12-25 | Microsoft Corporation | Recognizing Hand Poses and/or Object Classes |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101327791B1 (en) * | 2007-09-11 | 2013-11-20 | 삼성전자주식회사 | Apparatus and method for matching color image and depth image each other |
CN101271578B (en) * | 2008-04-10 | 2010-06-02 | 清华大学 | Depth sequence generation method of technology for converting plane video into stereo video |
-
2009
- 2009-08-24 CN CN200910168294.8A patent/CN101996401B/en not_active Expired - Fee Related
-
2010
- 2010-04-20 KR KR1020100036592A patent/KR101687175B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030169906A1 (en) * | 2002-02-26 | 2003-09-11 | Gokturk Salih Burak | Method and apparatus for recognizing objects |
US20050084156A1 (en) * | 2003-08-28 | 2005-04-21 | Das Aveek K. | Method and apparatus for differentiating pedestrians, vehicles, and other objects |
US20080317331A1 (en) * | 2007-06-19 | 2008-12-25 | Microsoft Corporation | Recognizing Hand Poses and/or Object Classes |
Also Published As
Publication number | Publication date |
---|---|
KR20110020718A (en) | 2011-03-03 |
CN101996401A (en) | 2011-03-30 |
CN101996401B (en) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101687175B1 (en) | Target Analysis Apparatus and Method of the same | |
US8744168B2 (en) | Target analysis apparatus, method and computer-readable medium | |
CN109615611B (en) | Inspection image-based insulator self-explosion defect detection method | |
US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
CN110348445B (en) | Instance segmentation method fusing void convolution and edge information | |
Sohn et al. | Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction | |
KR101870902B1 (en) | Image processing apparatus and image processing method | |
KR101636370B1 (en) | Image processing apparatus and method | |
CN111681197B (en) | Remote sensing image unsupervised change detection method based on Siamese network structure | |
JP6650657B2 (en) | Method and system for tracking moving objects in video using fingerprints | |
CN110751099B (en) | Unmanned aerial vehicle aerial video track high-precision extraction method based on deep learning | |
WO2015096507A1 (en) | Method for recognizing and locating building using constraint of mountain contour region | |
JP2014071902A5 (en) | ||
CN110427797B (en) | Three-dimensional vehicle detection method based on geometric condition limitation | |
US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
KR100813168B1 (en) | Method for extracting object in digital image with shape prior and system for executing the method | |
CN109711256B (en) | Low-altitude complex background unmanned aerial vehicle target detection method | |
CN114782499A (en) | Image static area extraction method and device based on optical flow and view geometric constraint | |
Dadrasjavan et al. | Automatic crack detection of road pavement based on aerial UAV imagery | |
CN111213154A (en) | Lane line detection method, lane line detection equipment, mobile platform and storage medium | |
WO2017161544A1 (en) | Single-camera video sequence matching based vehicle speed measurement method and system | |
CN112766046A (en) | Target detection method and related device | |
Okyere et al. | Traffic sign recognition using sparse representations and active contour models | |
CN107220987A (en) | A kind of building roof Fast Edge Detection method based on principal component analysis | |
Oniga et al. | Fast obstacle detection using U-disparity maps with stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |