KR101299697B1

KR101299697B1 - Apparatus and method for soft decision masking of blob detect

Info

Publication number: KR101299697B1
Application number: KR1020110134923A
Authority: KR
Inventors: 최종찬; 박부식; 신대교
Original assignee: 전자부품연구원
Priority date: 2011-12-14
Filing date: 2011-12-14
Publication date: 2013-08-26
Also published as: KR20130067466A

Abstract

시차 맵에서 블롭을 탐지하기 위하여 영상 정보로부터 생성되어 복수의 픽셀 값을 갖는 시차 맵을 수신하면, 수신한 시차 맵의 복수의 픽셀 값을 미리 설정한 임계 값과 각각 비교한다. 픽셀 값이 임계 값 보다 크면, 픽셀 값을 출력하고, 출력한 픽셀 값을 시차 맵에 대한 블롭으로 탐지하여 마스킹한다.When receiving a parallax map having a plurality of pixel values generated from image information to detect a blob in the parallax map, the plurality of pixel values of the received parallax map are compared with a preset threshold value, respectively. If the pixel value is larger than the threshold value, the pixel value is output, and the output pixel value is detected and masked as a blob for the parallax map.

Description

Masking device and soft decision masking method {Apparatus and method for soft decision masking of blob detect}

본 발명은 마스킹 장치 및 연판정 마스킹 방법에 관한 것이다.The present invention relates to a masking device and a soft decision masking method.

영상 기반의 추적 기술로 물체 추적, 인간 추적, 손 추적 등의 다양한 기술들이 제안되고 있다. 이들 중 화면상에 나타나는 3차원 곡면을 가진 물체의 위치를 기준으로 이동 경로를 예측하는 기술이 제안되고 있다.Various techniques such as object tracking, human tracking, and hand tracking have been proposed as image-based tracking technologies. Among them, a technique for predicting a moving path based on the position of an object having a three-dimensional curved surface appearing on the screen has been proposed.

이와 같은 3차원 곡면을 가진 배경과 제스처를 실행하는 지시자가 혼합되어 있는 하나의 화면에서 블롭(blob)을 탐지하기 위해서는, 전체 화면을 하나의 임계값으로 임계값 보다 큰지 혹은 작은지에 따라 BW 화면을 생성하여 이용한다. 이러한 경우 실제 블롭으로 탐지하고자 하는 영역보다 넓은 영역의 블롭이 존재하면 해당 영역이 블롭으로 추출되기 때문에, 정확한 마스킹이 불가능하다는 문제점이 발생한다.To detect blobs on a single screen that has a background with these three-dimensional surfaces and indicators that perform gestures, the BW screen can be selected depending on whether the entire screen is larger or smaller than the threshold. Create and use. In this case, when a blob of a wider area than the area to be detected as the actual blob exists, the corresponding area is extracted as a blob, and thus, a problem arises in that accurate masking is impossible.

따라서, 본 발명은 물체의 가중치(weight)까지 고려하여 블롭을 탐지할 수 있는 마스킹 장치 및 연판정 마스킹 방법을 제공한다.Accordingly, the present invention provides a masking device and a soft decision masking method capable of detecting a blob in consideration of the weight of an object.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 연판정 마스킹 방법은,Soft decision masking method which is one feature of the present invention for achieving the technical problem of the present invention,

영상 정보로부터 생성되어 복수의 픽셀 값을 갖는 시차 맵을 수신하는 단계; 상기 수신한 시차 맵의 복수의 픽셀 값을 미리 설정한 임계 값과 각각 비교하는 단계; 상기 픽셀 값이 상기 임계 값 보다 크면, 상기 픽셀 값을 출력하는 단계; 및 상기 출력한 픽셀 값을 상기 시차 맵에 대한 블롭으로 탐지하여 마스킹하는 단계를 포함한다.Receiving a parallax map generated from the image information and having a plurality of pixel values; Comparing the plurality of pixel values of the received disparity map with preset threshold values; If the pixel value is greater than the threshold value, outputting the pixel value; And detecting and masking the output pixel value as a blob for the parallax map.

상기 픽셀 값은 상기 영상 정보를 수집한 카메라와 상기 영상 정보를 생성한 물체 사이의 거리 정보를 포함할 수 있다.The pixel value may include distance information between a camera collecting the image information and an object generating the image information.

상기 블롭은 상기 거리 정보를 토대로 가중치 정보를 포함하고, 상기 가중치 정보는 상기 카메라와 상기 물체 사이의 거리가 가까울 수록 가중치가 큰 정보를 포함할 수 있다.The blob may include weight information based on the distance information, and the weight information may include information having a greater weight as the distance between the camera and the object is closer.

상기 마스킹하는 단계는, 상기 시차 맵에 대한 블롭이 하나 이상으로 탐지되면, 상기 가중치가 큰 정보를 포함하는 블롭을 상기 시차 맵에 대한 블롭으로 탐지하는 단계를 포함할 수 있다.The masking may include detecting a blob including the weighted information as a blob for the parallax map when one or more blobs for the parallax map are detected.

상기 임계 값과 각각 비교하는 단계 이후에, 상기 픽셀 값이 상기 임계 값 보다 작으면, 상기 픽셀 값을 삭제하는 단계를 포함할 수 있다.After each comparison with the threshold value, if the pixel value is less than the threshold value, the method may include deleting the pixel value.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 연판정 마스킹 장치는,Soft decision masking device which is another feature of the present invention for achieving the technical problem of the present invention,

영상 정보로부터 생성되어 복수의 픽셀 값을 갖는 시차 맵을 수신하는 시차 맵 수신부; 상기 시차 맵 수신부가 수신한 시차 맵의 복수의 픽셀 값을 미리 설정한 임계 값과 각각 비교하여, 상기 임계 값 보다 높은 값을 갖는 픽셀 값만 출력하는 임계값 비교부; 및 상기 임계값 비교부에서 출력한 상기 임계 값 보다 높은 값을 갖는 픽셀 값을 상기 시차 맵의 블롭으로 탐지하여 마스킹하는 블롭 탐지부를 포함한다.A parallax map receiver configured to receive a parallax map generated from the image information and having a plurality of pixel values; A threshold comparison unit which compares a plurality of pixel values of the disparity map received by the disparity map receiver with a preset threshold value, and outputs only pixel values having a value higher than the threshold value; And a blob detection unit that detects and masks a pixel value having a value higher than the threshold value output from the threshold comparison unit as a blob of the parallax map.

본 발명에 따르면 연판정 마스킹을 통해 가중치를 주어 마스킹을 수행하기 때문에, 탐지하고자 하는 블롭의 정밀도를 높일 수 있다.According to the present invention, since masking is performed by giving a weight through soft decision masking, it is possible to increase the precision of the blob to be detected.

도 1a 및 도 1b는 일반적인 마스킹 방법을 나타낸 예시도이다.
도 2는 본 발명의 실시예에 따른 마스킹 방법을 나타낸 예시도이다.
도 3은 본 발명의 실시예에 따른 마스킹 장치의 구조도이다.
도 4는 본 발명의 실시예에 따른 연판정 마스킹 방법을 나타낸 흐름도이다.1A and 1B are exemplary views illustrating a general masking method.
2 is an exemplary view showing a masking method according to an embodiment of the present invention.
3 is a structural diagram of a masking apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a soft decision masking method according to an exemplary embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 블롭을 탐지하기 위한 연판정 마스킹 방법에 대하여 설명하기로 한다. 본 발명의 실시예에 대하여 설명하기 앞서 일반적인 마스킹 방법에 대해 먼저 설명하기로 한다.Hereinafter, a soft decision masking method for detecting a blob according to an embodiment of the present invention will be described with reference to the accompanying drawings. Before describing an embodiment of the present invention, a general masking method will be described.

도 1a 및 도 1b는 일반적인 마스킹 방법을 나타낸 예시도이다.1A and 1B are exemplary views illustrating a general masking method.

먼저 도 1a에 도시된 바와 같이, 스트레오 카메라 등과 같은 영상 정보 수집 수단을 통해 물체의 영상 정보를 수집하고, 영상 정보로부터 물체와 스트레오 카메라 사이의 거리인 시차 맵(disparity map)을 추출하면, 도 1a에 도시한 바와 같은 그래프를 얻을 수 있다. 이렇게 추출한 시차 맵과 미리 설정한 임계 값을 비교하여 임계 값 보다 높은 값들만을 나타내는 시차 맵만을 남겨두고 마스킹하면 도 1b에 나타낸 바와 같이 두 개의 이미지가 생성된다. First, as illustrated in FIG. 1A, when image information of an object is collected through image information collecting means such as a stereo camera and a disparity map, which is a distance between the object and the stereo camera, is extracted from the image information, FIG. 1A A graph as shown in the following can be obtained. By comparing the extracted parallax map with a preset threshold value and masking only the parallax map indicating only values higher than the threshold value, two images are generated as shown in FIG. 1B.

도 1b와 같이 임계값을 토대로 이미지를 생성하기 위해서는 다음 수학식 1을 이용한다.In order to generate an image based on a threshold value as shown in FIG. 1B, Equation 1 below is used.

즉, 픽셀 즉 시차 맵이 미리 설정한 임계값 보다 크면 1을 출력하고, 임계값 보다 작으면 0을 출력하게 된다.That is, if the pixel, that is, the parallax map is larger than the preset threshold value, 1 is output, and if the pixel is smaller than the threshold value, 0 is output.

도 1a 및 도 1b와 같이 두 개의 물체에 대해 이미지가 생성되고, 이 중 우측에 있는 블롭을 탐지하고자 할 경우에라도, 수학식 1을 사용하여 나타내면 도 1b와 같이 좌측의 블롭이 더 넓은 면적을 나타내기 때문에, 마스킹에 따른 결과로 좌측의 블롭이 추출되는 경우가 발생한다. 이는 종래의 마스킹 절차는 블롭의 면적이 넓은 쪽을 탐지하기 때문이다.Even when an image is generated for two objects as shown in FIGS. 1A and 1B and a blob on the right side is to be detected, the blob on the left side shows a larger area as shown in FIG. As a result, the blob on the left side is extracted as a result of masking. This is because the conventional masking procedure detects the larger side of the blob.

따라서, 본 발명의 실시예에서는 시차 맵의 가중치까지 고려하여, 실제 탐지해야 할 물체의 블롭을 정확하게 마스킹하는 방법에 대해 설명한다. 본 발명의 실시예를 설명하기 앞서, 본 발명의 실시예에서는 지시자 즉 물체는 카메라와 가장 가까운 거리에 위치한다고 가정한다.Therefore, an embodiment of the present invention describes a method of accurately masking a blob of an object to be actually detected in consideration of the weight of the parallax map. Before describing an embodiment of the present invention, in the embodiment of the present invention, it is assumed that the indicator, that is, the object, is located at the closest distance to the camera.

도 2는 본 발명의 실시예에 따른 마스킹 방법을 나타낸 예시도이다.2 is an exemplary view showing a masking method according to an embodiment of the present invention.

도 2의 (a)에 나타낸 바와 같이 스트레오 카메라 등과 같은 영상 정보 수집 수단을 통해 물체의 영상 정보를 수집하고, 영상 정보로부터 물체와 스트레오 카메라 사이의 거리인 시차 맵(disparity map)을 추출하면, 도 2의 (b)에 도시한 바와 같이 임계 값 이상의 값을 나타내는 픽셀만을 남기고 임계 값 보다 낮은 값을 갖는 픽셀들은 삭제한 그래프를 얻을 수 있다. 도 2의 (b)에 도시한 이미지를 연판정 마스킹을 수행할 경우, 도 1b와는 달리도 2의 (c)에 나타낸 바와 같이 블롭의 깊이까지 고려할 수 있는 마스킹 정보가 추출된다.As shown in (a) of FIG. 2, when image information of an object is collected through image information collecting means such as a stereo camera, and a disparity map, which is a distance between the object and the stereo camera, is extracted from the image information, FIG. As shown in (b) of FIG. 2, a graph in which the pixels having a value lower than the threshold value are left while leaving only the pixels having a value higher than or equal to the threshold value can be obtained. When the soft decision masking is performed on the image illustrated in FIG. 2B, unlike FIG. 1B, as shown in FIG. 2C, masking information that may take into account the depth of the blob is extracted.

따라서 도 2의 (c)의 좌측에 나타난 블롭처럼 면적이 넓은 블롭이 더 크게 인지되지만, 실제 물체에서 탐지하고자 하는 물체는 도 2의 (c)의 우측에 나타난 블롭처럼 가중치가 높게 선택되기 때문에, 본 발명의 실시예에 따라 연판정 마스킹을 수행할 경우, 정확한 블롭을 탐지할 수 있게 된다. 이때, 도 2의 (c) 에 나타낸 X축은 블롭의 깊이 즉, 물체와 카메라 사이의 거리 정보로 이 정보를 가중치 정보로 사용할 수 있다.Therefore, although a blob with a large area is perceived to be larger as a blob shown on the left side of FIG. 2 (c), an object to be detected in an actual object has a higher weight like a blob shown on the right side of FIG. When performing soft decision masking according to an embodiment of the present invention, accurate blobs can be detected. At this time, the X-axis shown in (c) of FIG. 2 can use this information as weight information as the depth of the blob, that is, the distance information between the object and the camera.

이와 같이 본 발명의 실시예에 따라 연판정 마스킹을 통해 블롭을 탐지하는 마스킹 장치 및 방법에 대하여 도 3 및 도 4를 참조로 설명하기로 한다.As described above, a masking apparatus and a method for detecting a blob through soft decision masking according to an exemplary embodiment of the present invention will be described with reference to FIGS. 3 and 4.

도 3은 본 발명의 실시예에 따른 마스킹 장치의 구조도이고, 도 4는 본 발명의 실시예에 따른 연판정 마스킹 방법을 나타낸 흐름도이다.3 is a structural diagram of a masking apparatus according to an embodiment of the present invention, Figure 4 is a flow chart showing a soft decision masking method according to an embodiment of the present invention.

먼저 도 3에 도시된 바와 같이 마스킹 장치(100)는 시차 맵 수신부(110), 임계 값 비교부(120) 및 블롭 탐지부(130)를 포함한다.First, as shown in FIG. 3, the masking apparatus 100 includes a parallax map receiver 110, a threshold value comparator 120, and a blob detector 130.

시차 맵 수신부(110)는 영상 정보로부터 생성된 하나 이상의 시차 맵을 수신한다. 하나의 시차 맵에는 복수의 픽셀 값들이 포함되어 있으며, 각각의 픽셀 값에는 카메라와 물체 사이의 거리인 거리 정보가 포함되어 있다.The parallax map receiver 110 receives one or more parallax maps generated from the image information. One parallax map includes a plurality of pixel values, and each pixel value includes distance information, which is a distance between a camera and an object.

임계 값 비교부(120)는 시차 맵 수신부(110)가 수신한 복수의 시차 맵 중 입력 순서대로 하나의 시차 맵을 확인하고, 하나의 시차 맵에 존재하는 복수의 픽셀 값과 미리 설정한 임계 값을 비교한다. 만약 픽셀 값이 미리 설정한 임계 값 보다 크면 픽셀 값을 그대로 출력한다. 그러나 픽셀 값이 임계 값 보다 작으면 해당 픽셀 값은 삭제한다.The threshold comparison unit 120 checks one parallax map in an input order among a plurality of parallax maps received by the parallax map receiving unit 110, and includes a plurality of pixel values existing in one parallax map and a preset threshold value. Compare If the pixel value is larger than the preset threshold value, the pixel value is output as it is. However, if the pixel value is less than the threshold, the pixel value is deleted.

블롭 탐지부(130)는 하나의 시차 맵에 대한 픽셀 값의 검토가 완료되면, 임계 값 비교부(120)에서 출력되는 픽셀 값들을 모아 블롭으로 탐지하여 출력한다. 이때 블롭은 카메라와 물체 사이의 거리 정보에 의해 가중치 정보(Weight)를 포함하게 되는데, 카메라와 물체 사이의 거리가 가까우면 가까울수록 큰 가중치 정보를 포함한다. When the examination of the pixel value of one parallax map is completed, the blob detector 130 collects the pixel values output from the threshold value comparator 120 and detects and outputs the blobs. In this case, the blob includes weight information by the distance information between the camera and the object. The closer the distance between the camera and the object is, the greater the weight information is included.

따라서, 본 발명의 실시예에서는 블롭 탐지부(130)는 시차 맵에 대한 픽셀 값의 검토가 완료되고 블롭이 하나 이상으로 탐지되면, 큰 가중치 정보를 포함하는 블롭을 시차 맵에 대한 블롭으로 설정하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.Accordingly, in the embodiment of the present invention, when the examination of the pixel value for the parallax map is completed and the blob is detected as one or more blobs, the blob detector 130 sets the blob including the large weight information as the blob for the parallax map. An example is explained, but it is not necessarily limited to this.

이러한 마스킹 장치(100)를 통해 블롭을 탐지하는 방법은 도 4에 도시한 바와 같이, 마스킹 장치(100)의 시차 맵 수신부(110)가 시차 맵을 수신하면(S100), 임계 값 비교부(120)는 시차 맵에 있는 복수의 픽셀 값들 각각에 대하여 픽셀 값이 미리 설정한 임계 값보다 큰지 확인한다(S110). 이는 시차 맵에는 하나 이상의 픽셀 값들이 존재하고, 각각의 픽셀 값들과 임계 값과의 비교를 통해 블롭을 탐지하기 위함이다. 즉, 다음 수학식 2와 같이 픽셀 값들 각각에 대해 비교한다.As shown in FIG. 4, when the parallax map receiver 110 of the masking apparatus 100 receives the parallax map, the threshold comparison unit 120 detects the blob through the masking apparatus 100. ) Checks whether the pixel value is greater than a preset threshold value for each of the plurality of pixel values in the parallax map (S110). This is because one or more pixel values exist in the parallax map, and the blob is detected by comparing each pixel value with a threshold value. That is, as shown in Equation 2, each pixel value is compared.

만약 픽셀 값이 임계 값 보다 작다면 해당 픽셀 값에 해당하는 부분은 물체가 아닌 배경에 해당할 경우가 크기 때문에, 임계 값 보다 작은 픽셀 값은 삭제한다(S120). 그러나, 픽셀 값이 임계 값 보다 크다면 수학식 2에 따라 픽셀 값을 그대로 출력한다(S130). 픽셀 값 내에는 시차 맵 즉, 카메라와 물체 사이의 거리 정보가 포함되어 있기 때문에, 픽셀 값을 그대로 출력함에 따라 블롭의 가중치를 확인할 수 있게 된다.If the pixel value is smaller than the threshold value, since the portion corresponding to the pixel value is largely corresponding to the background rather than the object, the pixel value smaller than the threshold value is deleted (S120). However, if the pixel value is larger than the threshold value, the pixel value is output as it is (S130). Since the pixel value includes the parallax map, that is, distance information between the camera and the object, the weight of the blob can be checked as the pixel value is output as it is.

이와 같이 S130 단계를 통해 각각의 픽셀 값들 중 블롭 탐지부(130)는 그대로 출력되는 픽셀 값 들을 토대로 블롭을 탐지할 수 있게 된다(S140). 이러한 과정을 거치면, 블롭의 넓이가 아닌 블롭의 가중치를 확인하여 실제 물체 중 제스처를 취한 정확한 물체에 대한 블롭을 사용자에게 제공할 수 있게 된다.As described above, the blob detection unit 130 may detect the blobs based on the pixel values output as it is (S140). Through this process, it is possible to provide the user with a blob of the correct object that has gestured among real objects by checking the weight of the blob, not the width of the blob.

즉, 블롭 탐지부(130)는 S140 단계를 통해 탐지한 블롭이 복수 개 나타났는지 확인한다(S150). 그리고 단 하나의 블롭만이 탐지되었다면 S140 단계에서 탐지한 블롭을 시차 맵의 블롭으로 결정한다.That is, the blob detection unit 130 checks whether a plurality of blobs detected through the step S140 appears (S150). If only one blob is detected, the blob detected in step S140 is determined as a blob of the parallax map.

그러나 복수개의 블롭이 탐지되었다면, 블롭 탐지부(130)는 블롭에 각각 포함되어 있는 픽셀 값에 따른 가중치를 확인한다. 그리고 가중치가 큰 정보를 포함하는 블롭을 시차 맵의 블롭으로 설정한다(S160). 이는 본 발명의 실시예에 따라 물체가 카메라와 가장 가깝다고 가정하였으며, 가중치가 크면 클수록 물체가 카메라에 가까이에서 제스처를 취한 것으로 판단할 수 있기 때문이다.However, if a plurality of blobs are detected, the blob detector 130 checks weights according to pixel values included in the blobs. The blob including the information having a large weight is set as the blob of the parallax map (S160). This assumes that the object is closest to the camera according to the embodiment of the present invention. The larger the weight is, the larger the weight of the object can be.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims

Receiving a parallax map generated from the image information and having a plurality of pixel values;
Comparing the plurality of pixel values of the received disparity map with preset threshold values;
If the pixel value is greater than the threshold value, outputting the pixel value; And
Detecting and masking the output pixel value as a blob for the parallax map
Including;
And the blob includes weight information calculated based on distance information between a camera collecting the image information included in the pixel value and an object generating the image information.

delete

The method of claim 1,
And the weight information includes information having a greater weight as the distance between the camera and the object is closer.

The method of claim 3,
The masking step,
If more than one blob for the parallax map is detected, detecting the blob including the weighted information as a blob for the parallax map
Soft decision masking method comprising a.

The method of claim 1,
After each comparing with the threshold value,
If the pixel value is less than the threshold, deleting the pixel value
Soft decision masking method comprising a.

A parallax map receiver configured to receive a parallax map generated from the image information and having a plurality of pixel values;
A threshold comparison unit for comparing a plurality of pixel values of the disparity map received by the disparity map receiver with a preset threshold value, and outputting only pixel values having a value higher than the threshold value; And
A blob detector which detects and masks a pixel value having a value higher than the threshold value output from the threshold comparison unit as a blob of the parallax map.
Including;
And the blob includes weight information calculated based on distance information between a camera collecting the image information included in the pixel value and an object generating the image information.

delete