KR100651034B1 - System for detecting targets and method thereof - Google Patents

System for detecting targets and method thereof Download PDF

Info

Publication number
KR100651034B1
KR100651034B1 KR1020050078822A KR20050078822A KR100651034B1 KR 100651034 B1 KR100651034 B1 KR 100651034B1 KR 1020050078822 A KR1020050078822 A KR 1020050078822A KR 20050078822 A KR20050078822 A KR 20050078822A KR 100651034 B1 KR100651034 B1 KR 100651034B1
Authority
KR
South Korea
Prior art keywords
image
motion
target object
frame
object detection
Prior art date
Application number
KR1020050078822A
Other languages
Korean (ko)
Other versions
KR20060064504A (en
Inventor
김계경
조수현
김혜진
이재연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/287,936 priority Critical patent/US7688999B2/en
Publication of KR20060064504A publication Critical patent/KR20060064504A/en
Application granted granted Critical
Publication of KR100651034B1 publication Critical patent/KR100651034B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대상 물체 검출 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 입력 영상으로부터 대상 물체를 검출할 때, 입력 영상에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정 하고, 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출한다. 그리고, 입력 영상으로부터 영상 특징 정보를 추출하여,상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출한다. 따라서, 대상물체 추출 및 추적이 빨라지고 정확해진다.The present invention relates to a target object detection system and method thereof. According to the present invention, when detecting a target object from an input image, if a motion region exists in the input image, the camera motion parameter is obtained to correct the image frame, and the motion candidate region is extracted from the image frame and the previous input image frame. do. The image feature information is extracted from the input image, and the shape of the target object is extracted based on the motion candidate region and the image feature information. Thus, object extraction and tracking is faster and more accurate.

동적 카메라, 움직이는 사람 추출, 움직이는 사람 추적 Dynamic camera, moving person extraction, moving person tracking

Description

대상 물체 검출 시스템 및 그 방법{SYSTEM FOR DETECTING TARGETS AND METHOD THEREOF} Target object detection system and its method {SYSTEM FOR DETECTING TARGETS AND METHOD THEREOF}

도 1은 본 발명의 실시 예에 따른 대상 물체 검출 시스템의 전체 구성도이다.1 is an overall configuration diagram of a target object detection system according to an exemplary embodiment of the present invention.

도 2는 본 발명의 실시 예에 따라 t+1번째 프레임의 모션 화소를 찾는 방법을 나타낸 도면이다.2 is a diagram illustrating a method of finding a motion pixel of a t + 1 th frame according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시 예에 따라 획득한 영상 프레임을 도시한 도면이다.3 is a diagram illustrating an image frame acquired according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따라 카메라와 사람이 같이 움직였을 때의 영상의 윤곽선을 나타낸 도면이다.4 is a diagram illustrating an outline of an image when a camera and a person move together according to an exemplary embodiment of the present invention.

도 5는 본 발명의 실시 예에 따라 추출된 사람 형상 블롭들을 도시한 도면이다.5 is a diagram illustrating human shape blobs extracted according to an exemplary embodiment of the present invention.

도 6 내지 도 7은 본 발명의 실시 예에 따라 카메라의 좌우 움직임을 보상하기 위한 보정 파라미터 도출 방법을 나타낸 도면이다.6 to 7 are diagrams illustrating a method of deriving a correction parameter for compensating left and right movements of a camera according to an exemplary embodiment of the present invention.

도 8은 본 발명의 실시 예에 따라 형상 추출을 위해 사용된 영상 특징을 나타낸 도면으로 컬러 클러스터링 된 영상의 예이다.8 is a diagram illustrating image features used for shape extraction according to an embodiment of the present invention, which is an example of color clustered images.

도 9는 본 발명의 실시 예에 따라 형상 추출을 위해 사용된 영상 특징을 나타낸 도면으로 피부색 영역을 추출한 영상의 예이다.9 is a diagram illustrating an image feature used for shape extraction according to an embodiment of the present invention.

도 10은 본 발명의 실시 예에 따라 카메라의 움직임을 제거한 후의 영상을 나타낸 도면이다.10 is a diagram illustrating an image after removing a camera movement according to an exemplary embodiment of the present invention.

도 11은 본 발명의 실시 예에 따라 입력된 영상으로부터 움직이는 사람을 검출하고 추적하는 전체 흐름도이다.11 is an overall flowchart of detecting and tracking a moving person from an input image according to an exemplary embodiment of the present invention.

본 발명은 대상 물체 검출 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 입력 영상으로부터 대상 물체를 검출하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a target object detection system and a method thereof, and more particularly to a system and a method for detecting a target object from an input image.

종래, 카메라의 위치와 시점이 고정된 상태에서 움직이는 물체를 검출하고 추적하는 연구가 주로 진행되어 왔다. 이 방법은 움직이는 물체가 없을 때 카메라로 영상을 획득하여 배경 영상을 생성시켜 놓은 후, 일정한 간격으로 획득한 영상 시퀀스에서 연속된 두 영상을 서로 비교한다. 이 때, 움직이는 물체를 제외한 나머지 영상 영역은 항상 동일하다. 따라서 움직이는 물체가 있을 경우, 연속된 두 영상의 차를 구하면 움직이는 물체를 쉽게 검출할 수 있었다.Background Art Conventionally, researches for detecting and tracking a moving object in a state where a camera position and a viewpoint are fixed have been mainly conducted. In this method, when there is no moving object, the camera acquires an image, generates a background image, and then compares two consecutive images in the image sequence obtained at regular intervals. In this case, the remaining image area is always the same except for the moving object. Therefore, if there is a moving object, the moving object can be easily detected by calculating the difference between two consecutive images.

또, 카메라의 위치는 고정시키고 카메라 시점을 유동적으로 변화시키면서 이동 물체를 검출하고 추적하는 연구들도 진행되어 왔다. 이 때, 카메라가 움직이는 환경이므로 배경 영역이 일정하지 않아 움직이는 물체를 검출하기는 훨씬 어렵다. 이 방법은 카메라로 획득한 두 영상을 이용하여 카메라의 움직임 정보를 추출하여 영상을 보정한 후, 영상 시퀀스에서 연속된 두 영상의 차를 이용하여 움직이는 물 체를 추출하였다. 또는 카메라 움직임 범위 내에 있는 주변 영상을 미리 획득하여 배경 영상을 미리 생성시켜 놓은 후, 카메라로 획득한 현재 영상과 배경 영상의 차 정보를 구하여 움직이는 물체를 검출하는 방법이 이용되었다.In addition, studies have been conducted to detect and track moving objects while fixing the position of the camera and flexibly changing the camera viewpoint. At this time, since the background of the camera is moving, the background area is not constant, so it is much more difficult to detect a moving object. This method extracts the motion information of the camera using two images acquired by the camera, corrects the image, and then extracts the moving object using the difference between two consecutive images in the image sequence. Alternatively, a method of detecting a moving object by acquiring a difference between the current image and the background image obtained by the camera after acquiring the surrounding image within the camera movement range in advance and generating the background image in advance.

한편, 모바일 로봇과 같은 경우, 로봇의 움직임에 따라 카메라의 위치와 시점이 동시에 가변되므로 배경 영역의 변화가 심하다. 따라서 움직이는 물체를 검출하고 추적하는 일이 상당히 어렵다. 모바일 로봇처럼 움직이는 물체에 장착된 카메라(이하 동적 카메라라고도 한다.) 환경에서는 카메라의 유동적인 시점 변화와 로봇의 움직임에 의해 발생하는 흔들림까지 카메라로 획득한 영상에 포함된다. 동적 카메라를 이용하여 이동 물체를 검출할 경우 카메라의 움직임 정보와 물체의 움직임 정보가 함께 섞여 있기 때문에 카메라의 움직임 정보를 제거하고 움직이는 물체만 추출하는 것이 쉽지 않다. On the other hand, in the case of a mobile robot, since the position and the viewpoint of the camera are simultaneously changed according to the movement of the robot, the background area is severely changed. Thus, detecting and tracking moving objects is quite difficult. In a camera mounted on a moving object such as a mobile robot (hereinafter referred to as a dynamic camera), the camera's moving viewpoints and shakes caused by the robot's movement are included in the images acquired by the camera. When detecting a moving object using a dynamic camera, it is not easy to remove the camera motion information and extract only the moving object because the motion information of the camera and the motion information of the object are mixed together.

기존의 방법에서는 카메라의 움직임 정보를 추출하기 위해 연속된 두 영상의 특징점으로 코너점을 추출한 다음 두 영상의 코너 점들을 서로 정합하여 카메라의 움직임 정보를 추출하도록 하였다. 또한 선형 변환 또는 비선형 변환 등의 방법을 이용하여 카메라 움직임을 보정한 후 두 영상간의 차를 이용하여 움직이는 물체를 추출하도록 하였다. 그러나, 이러한 방법으로도 카메라의 움직임 정보를 정확히 추출해 내지 못하여 최종적으로 추출해낸 움직이는 물체 정보에 카메라의 움직임 정보가 같이 섞여 있는 경우가 많이 발생했다.In the conventional method, in order to extract the motion information of the camera, the corner points are extracted as feature points of two consecutive images, and then the corner points of the two images are matched with each other to extract the camera motion information. In addition, the camera motion is corrected using a linear transformation or a nonlinear transformation, and the moving object is extracted using the difference between the two images. However, even in this method, the camera's motion information is often mixed with the moving object information finally extracted because the camera's motion information is not accurately extracted.

또, 이렇게 추출된 움직이는 물체 정보를 이용하여 파티클(particle) 필터 또는 민쉬프트(mean shift) 알고리즘과 같은 각종 필터를 이용하여 움직이는 물체 를 추적하여 왔다. 그러나, 이러한 방법들은 여전히 동적 카메라 환경에서 이동 물체를 검출하고 추적하는데 있어서 움직이는 물체 검출률이나 추적률에서 좋은 성능을 나타내지 못하고 있으며, 또한 카메라 움직임 정보를 제거하여 이동 물체를 추출하고 추적하는데 상당 시간이 소요되어 실시간 처리가 불가능하다는 문제점이 있다.In addition, moving objects have been tracked using various filters such as particle filters or mean shift algorithms using the extracted moving object information. However, these methods still do not perform well in moving object detection rate or tracking rate in detecting and tracking moving objects in dynamic camera environment, and it takes considerable time to extract and track moving objects by removing camera motion information. There is a problem that the real-time processing is impossible.

따라서, 본 발명이 이루고자 하는 기술적 과제는 동적 카메라로 획득한 영상으로부터 움직이는 물체의 형상을 실시간 추출할 수 있고, 또한 추출된 물체의 형상을 실시간 추적할 수 있도록 하는데 있다.Therefore, the technical problem to be achieved by the present invention is to be able to extract the shape of the moving object from the image obtained by the dynamic camera in real time, and also to be able to track the shape of the extracted object in real time.

또한, 본 발명이 이루고자 하는 기술적 과제는 동적 카메라 환경에서 이동물체를 검출할 때 카메라 움직임 정보가 함께 검출되지 않도록 하는데 있다In addition, the technical problem to be achieved in the present invention is to prevent the camera motion information is detected together when detecting a moving object in a dynamic camera environment.

상술한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 대상 물체 검출 시스템은, 입력 영상으로부터 대상 물체를 검출하는 시스템으로서, 검출 대상이 되는 물체의 영상을 획득하여 전달하는 영상 입력부; 상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역 및 입력 영상의 영상특징정보를 기초로 대상 물체의 형상을 추출하는 형상 디텍터를 포함한다. In accordance with an aspect of the present invention, there is provided a system for detecting a target object from an input image, the system including: an image input unit configured to acquire and transmit an image of an object to be detected; And a shape detector extracting a shape of a target object based on a motion candidate region extracted through an image difference between neighboring frames from an image sequence transmitted from the image input unit and image feature information of an input image.

한편 상기 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 대상 물체 검출 방법은, 입력 영상으로부터 대상 물체를 검출하는 방법으로서, a) 입력 영상 에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 단계; b) 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계; c) 입력 영상으로부터 영상 특징 정보를 추출하는 단계; d) 상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 단계를 포함하는 대상 물체 검출 방법이다.Meanwhile, a method of detecting a target object according to a feature of the present invention for achieving the above technical problem is a method of detecting a target object from an input image, a) when a motion region exists in the input image, obtains a camera motion parameter, Correcting the frame; b) extracting a motion candidate region from the image frame and the previous input image frame; c) extracting image feature information from the input image; d) extracting a shape of a target object based on the motion candidate region and the image characteristic information.

이하 첨부도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

또한, 이하 설명의 편의를 위해 카메라를 장착한 모바일 로봇이 움직이는 사람을 대상으로 사람 형상을 추출하고 추적하는 경우를 예로 들어 설명하나, 이는 본 발명의 실시 예 중의 하나에 불과한 것으로 본 발명의 권리범위가 이에 한정되는 것이 아님은 당연하다.In addition, for the convenience of the following description, a case in which a mobile robot equipped with a camera extracts and tracks a human shape from a moving person will be described as an example, but this is only one of the embodiments of the present invention. Of course, this is not limited.

도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 대상 물체 검출 시스템은, 영상 입력부(100), 형상 디텍터(200) 및 트래커(300)를 포함한다.As shown in FIG. 1, a target object detection system according to an exemplary embodiment includes an image input unit 100, a shape detector 200, and a tracker 300.

영상 입력부(100)는 예를 들어 로봇에 부착된 카메라 등을 포함하여, 검출 대상이 되는 물체의 영상을 획득하여 시스템 내부로 전달한다.The image input unit 100 may include, for example, a camera attached to a robot, and acquire an image of an object to be detected and transmit the image to the system.

형상 디텍터(200)는 상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 움직임 정보를 추출한다. 움직임 정보를 분석하여 카메라 시점, 카메라 위치, 카메라 흔들림 등의 카메라 움직임 정보가 발생한 경우, 프레임 간의 에지 정보를 추출하여 카메라 움직임 정보를 보정할 카메라의 움직임 파라미터를 구한다.The shape detector 200 extracts motion information by using an image difference between neighboring frames from a sequence of consecutive images transmitted from the image input unit 100. When camera motion information such as camera viewpoint, camera position, camera shake, etc. is generated by analyzing the motion information, edge information between frames is extracted to obtain a motion parameter of a camera to correct camera motion information.

다음, 형상 디텍터(200)는 카메라의 움직임 파라미터를 이용하여 카메라 움 직임 정보를 보정한 다음, 이웃하는 프레임 간의 차를 이용하여 일차 카메라 움직임 정보가 제거된 움직임 영역을 추출한다.Next, the shape detector 200 corrects the camera motion information by using the motion parameter of the camera, and then extracts a motion region from which the primary camera motion information is removed by using a difference between neighboring frames.

그리고, 형상 디텍터(200)는 에지, 색상, 형상 정보과 같은 영상 특징 정보를 추출하여, 일차 카메라 움직임 정보가 제거된 움직임 영역과 영상 특징 정보를 통해 사람의 실루엣과 같은 형상을 추출한다.The shape detector 200 extracts image feature information such as edge, color, and shape information, and extracts a shape such as a silhouette of a person through the motion region from which the primary camera motion information is removed and the image feature information.

트래커(300)는 추출된 사람 형상에 대해 블롭 정보를 구하고, 추적 대상이 되는 블롭간의 정합을 통해 대상 물체를 추적한다.The tracker 300 obtains blob information about the extracted human shape and tracks the target object through matching between blobs to be tracked.

보다 구체적으로, 영상 입력부(100)는 모바일 로봇에 부착된 카메라를 통해 mxn크기의 영상을 획득할 수 있다. 이 때, 로봇에 부착된 카메라로 획득한 영상은 모바일 로봇에 부착된 카메라가 움직이지 않을 경우 획득한 영상과 카메라가 움직일 때 획득한 영상으로 나눌 수 있다. More specifically, the image input unit 100 may obtain an image of size m x n through a camera attached to the mobile robot. In this case, the image acquired by the camera attached to the robot may be divided into an image acquired when the camera attached to the mobile robot does not move and an image obtained when the camera moves.

전자의 경우, 움직임 정보가 없는 배경 영역을 포함한 영상과 사람의 움직임 정보를 포함한 영상이 포함된다. 그리고 후자의 경우, 카메라의 움직임 정보만을 포함한 영상이나 사람의 움직임과 카메라의 움직임이 같이 섞여 있는 영상이 포함된다In the former case, an image including a background area without motion information and an image including motion information of a person are included. In the latter case, a video including only the camera motion information or a video including a human motion and a camera motion is included.

형상 디텍터(200)는 움직임 영역 추출부(210), 영상 특징 정보 추출부(220) 및 형상 추출부(230)를 포함한다. The shape detector 200 includes a motion region extractor 210, an image feature information extractor 220, and a shape extractor 230.

움직임 영역 추출부(210)는 우선, 영상 입력부(100)를 통해 전달 받은 영상이 카메라 움직임 정보를 포함하고 있는지 여부를 판단한다. The motion region extractor 210 first determines whether an image received through the image input unit 100 includes camera motion information.

도 2에 도시된 바와 같이, 움직임 영역 추출부(210)는 획득한 영상 시퀀스로 부터 연속된 영상 세 프레임 즉 t-1, t, t+1 프레임간의 화소 (x,y)의 명도값의 차가 임계치 보다 큰 경우, 움직임이 발생한 화소(이하 모션 화소라고도 한다.)로 간주한다. 이 때, 모션 화소는 다음식으로부터 도출된다.As shown in FIG. 2, the motion region extractor 210 has a difference in brightness values of pixels ( x , y ) between three consecutive frames of images, that is, t-1, t, and t + 1 frames , from the acquired image sequence. If it is larger than the threshold, it is regarded as a pixel in which a motion occurs (hereinafter also referred to as a motion pixel). At this time, the motion pixel is derived from the following equation.

Figure 112005047464914-pat00001
Figure 112005047464914-pat00001

이 때, f t-1 , f t , f t+1 은 t-1, t, t+1 에 대한 각 프레임을 나타내며 T 1 은 임계치를 나타낸다. 임계치는 대략적으로 10≤T 1 ≤20 범위의 값을 가진다. 움직임 영역 추출부는, 입력 영상 mxn 내의 모든 화소에 대해 수학식 1을 이용하여 모션 화소를 구한다.At this time, f t-1 , f t, f t + 1 represent each frame for t-1, t, t + 1 and T 1 represents a threshold. The threshold has a value in the range of approximately 10 ≦ T 1 ≦ 20. The motion region extractor obtains motion pixels for all pixels in the input image m x n using Equation 1.

다음, 움직임 영역 추출부(210)는 모션화소들의 블롭 해석을 통해 각 모션화소들이 사용자의 움직임 이외의 카메라 움직임 정보도 포함하는지 여부를 판단한다. Next, the motion region extractor 210 determines whether each motion pixel also includes camera motion information other than the user's motion through blob analysis of the motion pixels.

즉, 도 3에 도시된 바와 같은 영상 프레임으로부터 사람의 움직임 이외에 카메라도 함께 움직인 경우, 영상의 윤곽선은 도 4에 도시된 바와 같이 나타난다.That is, when the camera is also moved from the image frame as shown in FIG. 3 in addition to the human movement, the outline of the image is shown as shown in FIG. 4.

이 때, 움직임 영역 추출부(210)는 mxn 크기의 영상에 분포하는 모션화소들에 대한 연결 요소 블롭들이 후술할 수학식 2를 만족하는 경우, 현재의 영상 프레임에 카메라의 움직임 정보를 포함하는 화소들이 포함된 것으로 판단한다.At this time, the motion region extraction unit 210 includes the motion information of the camera in the current image frame when the connection element blobs for the motion pixels distributed in the m x n size image satisfy Equation 2 to be described later. It is determined that the pixels to be included.

Figure 112005047464914-pat00002
Figure 112005047464914-pat00002

이 때, 블롭이란 영상에서 특성이 같은 인접한 화소들을 서로 묶어놓은 것으로, 도 5에 도시된 바와 같이, 흰색 화소들 중 인접한 화소들끼리 서로 묶으면 블롭 1 및 블롭 2와 같이 두개의 블롭이 나타나게 된다.In this case, a blob is a group of adjacent pixels having the same characteristics in an image, and as shown in FIG. 5, when adjacent pixels among white pixels are bundled with each other, two blobs appear, such as blob 1 and blob 2. .

여기서,

Figure 112005047464914-pat00003
는 t번째 프레임의 모션 화소들에 대한 연결 요소(connected component)들을 나타내는데, 연결요소란 화소 연결성에 기초하여 화소들을 컴포넌트로 그룹핑 하는 것을 가리킨다. 따라서 연결요소 내에 있는 모든 화소는 비슷한 화소 명도값을 가지며, 상술한 블롭을 가리킨다. here,
Figure 112005047464914-pat00003
Represents connected components for motion pixels of the t- th frame, which refers to grouping pixels into components based on pixel connectivity. Therefore, all the pixels in the connection element have similar pixel brightness values and refer to the blobs described above.

그리고, T 2 는 임계치를 나타내며

Figure 112005047464914-pat00004
으로 계산하며, w는 영상의 가로 폭을 나타낸다.And T 2 represents a threshold
Figure 112005047464914-pat00004
Where w denotes the width of the image.

이 때, t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값을 구하여 영상 폭 전체에 대하여 움직임 영역이 어느 정도 분포되어 있는가를 판별한다. 여기서 카메라 움직임이 있는 경우, 영상폭 w 전 영역에 대하여 움직임 정보가 검출되지만, 카메라가 고정되고 검출대상이 되는 사람만 움직이는 경우에는 영상의 일부분에 대해서만 움직임 정보가 검출된다. 0.8은 영상폭 w에 곱해지는 상 수로서 실험적으로 구해진 값이며, 다른 상수가 사용될 수도 있다.At this time, the maximum x value and the minimum x value of the connection elements for the motion pixels of the t- th frame are obtained to determine how much the motion region is distributed over the entire image width. Here, when there is camera movement, the motion information is detected for the entire area of the image width w , but when the camera is fixed and only the person to be detected moves, the motion information is detected only for a part of the image. 0.8 is an experimental value obtained by multiplying the image width w , and other constants may be used.

즉, 설정된 임계치 T 2 이하의 영역에 움직임 영역이 존재하는 경우 카메라가 고정된 상태에서 검출 대상이 되는 사람의 움직임만 발생한 것으로 간주하고, 영상폭 전체에 대하여 움직임 영역이 임계치 이상 존재하는 경우, 사람의 움직임 이외에 카메라의 움직임도 있었던 것으로 간주한다.That is, when there is a motion area in the area less than or equal to the set threshold T 2 , it is assumed that only the movement of the person to be detected is generated while the camera is fixed. In addition to the movement of the camera movement is considered to have been.

다음, 움직임 영역 검출부(210)는 카메라의 움직임 정보가 현재 프레임에 포함된 경우, 다음의 수학식 3을 이용하여 카메라의 움직임 파라미터를 구하고 카메라 움직임 정보를 제거하도록 한다. 카메라의 상하 좌우 움직임 파라미터 추출을 위한 수학식은 다음과 같다.Next, when the motion information of the camera is included in the current frame, the motion area detector 210 obtains a motion parameter of the camera and removes the camera motion information by using Equation 3 below. Equation for extracting the vertical motion parameter of the camera is as follows.

Figure 112005047464914-pat00005
Figure 112005047464914-pat00005

여기서,

Figure 112005047464914-pat00006
는 카메라의 x방향 움직임 값을 구하기 위해 정의된 것으로, 도 6에 도시된 바와 같이 t번째 프레임의 에지 값 E(y,x) 와 t-1번째 프레임의 에지 값의 차를 구한 값이다. here,
Figure 112005047464914-pat00006
Is a value obtained, the difference between the value of the edge that, the t-th frame edge value E (y, x) and the t-1 th frame, as shown in Figure 6 defines the x direction to obtain a motion value of the camera.

이 때, y값은 0에서 h까지의 영상의 높이를 의미하고, k가 -p로부터 p까지 움직이는 것은 카메라가 팬(pan),즉 좌우(x 방향)로 움직일 가능성이 있는 범위를 나타낸다. 그리고, k가 -p로부터 p까지 설정되므로, x값의 범위,즉 j는 p로부터 w-p까지 설정된다.At this time, y values indicate the image height of 0 to and h, k is - Moving from p to p camera pan (pan), i.e., the range that may move from side to side (x direction). And since k is set from -p to p , the range of x values, i.e., j is set from p to w - p .

즉, 도 6은 카메라의 x 방향 움직임 값인 h(0), h(1), h(2)를 구하는 과정을 화소단위로 나타낸 그림으로, h(0), h(1), h(2)는 t번째 영상프레임에서 카메라의 x방향 움직임 값을 구한 값이다. 영상프레임에서 임의의 x 성분 i에서 카메라 움직임 값으로 계산된 값을 h(0)라고 하면, i+1에서는 h(1), i+2에서는 h(2)를 얻을 수 있다. That is, FIG. 6 is a diagram illustrating a process of obtaining h (0), h (1), and h (2), which are x- direction motion values of the camera, in units of pixels, and h (0), h (1), and h (2). Is the value obtained from the x direction motion value of the camera in the t th image frame. When the value calculated by the camera-motion value in any x-component i in the picture frame that h (0), the i + 1 h (1), the i + 2 can be obtained h (2).

도 6에서 t프레임에서의 a,b,c,d,e,f 와 t-1 프레임에서의 h,i,j,k,l,m은 각각 에지 성분을 나타내는 화소들로서, h(0)를 구하려면 t번째 영상 프레임에서의 임의의 열 i에 속한 화소들과 t-1번째 영상 프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 성분들을 비교하여야 하는데, 본 도면에서는 t 번째 영상프레임의 a 및 d와 t-1 번째 영상 프레임의 h 및 k를 비교하여야 한다. 마찬가지로, h(1)은 b 및 e와 i 및 l을 비교하여야 하고, h(2)는 c 및 f 와 j 및 m 을 서로 비교하여야 한다.As h, i, j, k, l, m is the pixel indicating the respective edge components in Fig. 6 in the t frame, a, b, c, d, e, f and t-1 frame, the h (0) to obtain at any column i pixels and t-1 th image frames that belong to the in the t-th image frame to be compared to the edge component between pixels that belong to any of the column j, the figure in the t-th image frame a And d and h and k of the t-1 th image frame should be compared. Similarly, h (1) must compare b and e with i and l , and h (2) must compare c and f with j and m .

이런 과정들을 영상 전체에 대하여 수행한 다음 t번째 영상 프레임의 임의의 열들에 속해 있는 화소들끼리의 에지 비교값을 서로 더하여 h(0), h(1), h(2)...등을 구하게 되는 것이다.These processes are performed for the whole image, and then h (0), h (1), h (2) ..., etc. are added by adding edge comparison values between pixels in arbitrary columns of the t-th image frame. You will get it.

따라서, 도 7에 도시된 바와 같이, t-1 번째 영상 프레임과 t번째 영상 프레 임 사이의 에지 값을 서로 비교하여 t번째 프레임에서의 카메라 움직임 값을 h(0), h(1), h(2)..와 같이 구하게 되며, l=0에서 dh(depth)까지 설정되어 영상의 전영역에 대해 카메라의 움직임 보상을 위한 파라미터를 찾은 것이 아니라, 일부 영역에 대해서만 t와 t-1번째 프레임의 에지 값을 조사한다.Therefore, as shown in FIG. 7, the edge values between the t-1 th image frame and the t th image frame are compared with each other to compare the camera motion values in the t th frame with h (0), h (1), h. (2) ..., and rescued as, l = 0 and is set dh (depth) for the entire region of the image, rather than locate the parameters for the compensation of a camera movement, a limited number of zones t and t-1 th frame Examine the edge value of.

즉, 카메라의 좌우 움직임 보상을 위한 파라미터 값을 추출하기 위해, 프레임 영상의 일부 영역에 대해서만 카메라 움직임 파라미터 추출 알고리즘을 적용함으로써, 영상 전체 화소를 비교하여 카메라 움직임 파라미터를 구하는 것에 비해 처리 시간이 단축된다. 그리고 카메라의 x방향으로의 움직임은 상위 수학식의 pan 값을 이용하여 구할 수 있다.That is, by applying a camera motion parameter extraction algorithm to only a part of the frame image to extract the parameter values for the left and right motion compensation of the camera, the processing time is shortened compared to obtaining the camera motion parameters by comparing the entire pixels of the image. . And the movement of the camera in the x direction can be obtained using the pan value of the upper equation.

한편

Figure 112005047464914-pat00007
는 카메라의 y 방향 움직임 값을 구하기 위해 정의된 파라미터로서, 카메라의 x방향 움직임 값을 구한 것과 유사한 방법으로 구할 수 있다.Meanwhile
Figure 112005047464914-pat00007
Is a parameter defined to obtain the y-direction motion value of the camera, and can be obtained by a method similar to that of the x- direction motion value of the camera.

즉, x=0부터 w까지 영상의 전 폭에 대해서, k=-t부터 t까지 카메라가 상하로 움직일 가능성이 있는 범위내에서, l=0부터 dv까지, 즉, 영상의 일부 영역에 대해서만 t번째와 t-1번째 프레임의 에지 값을 조사한다. That is, x = I for the width of the image, from 0 to k = w within a range in which the camera is likely to move up and down from -t to t, l = from 0 to dv, that is, only for a partial region of the image t Examine the edge values of the 1 st and t-1 th frames.

움직임 영역 추출부(210)는 상위 수식으로부터 구한 카메라 움직임 파라미터 pan과 tilt를 이용하여 t번째 영상을 변환시킨다. 이 때, t번째 프레임에 대한 x', y'값은 t-1번째 영상 프레임에 대한 x와 y를 이용하여 x'=x+pan과 y'=y+tilt와와 같이 구할 수 있다. 그리고, 영상 변환시킨 t번째 프레임 영상과 t-1번째 프레임 영상의 차 영상을 생성하여 카메라 움직임 정보가 일차 제거된 영상 움직임, 즉 움 직임 후보 영역을 추출하도록 한다.The motion region extractor 210 converts the t- th image by using the camera motion parameters pan and tilt obtained from the upper equation. At this time, x for the t-th frame ', y' values by t-1 using the x and y for the second image frame can be calculated as x '= x + pan and y' = y + tilt Wah. Then, a difference image between the t- th frame image and the t-1 th frame image, which is image-converted, is generated to extract an image motion, that is, a motion candidate region from which camera motion information is first removed.

즉, 카메라가 x와 y방향으로만 움직이는 경우, 상술한 방식으로부터 도출된 카메라 좌우 움직임 파라미터 pan과 상하 움직임 파라미터 tilt에 의해 카메라의 움직임 정보가 완전 제거될 수 있다. 그러나, 로봇에 부착된 카메라의 경우 전진방향(forward)의 움직임등도 같이 포함되므로 카메라의 움직임 정보가 완전히 제거된다고 볼 수 없다. 따라서, 후술할 영상 특징 정보 추출부(220)로부터 도출되는 영상특징정보와 상기 움직임 후보 영역을 함께 고려하여 최종적으로 사람의 형상을 추출한다.That is, when the camera moves only in the x and y directions, the motion information of the camera may be completely removed by the camera left and right motion parameter pan and the vertical motion parameter tilt derived from the above-described method. However, since the camera attached to the robot includes forward movements, the camera's motion information is not completely removed. Accordingly, the shape of the person is finally extracted in consideration of the image feature information derived from the image feature information extracting unit 220 to be described later and the motion candidate region.

이하, 영상 특징 정보 추출부(220)를 상술한다.Hereinafter, the image feature information extracting unit 220 will be described in detail.

영상 특징 정보 추출부(220)는 앞서 구한 모션 화소들이 카메라 움직임 정보를 포함하고 있지 않다고 판단된 경우, 혹은 카메라 움직임 정보가 일차 제거된 영상 움직임 영역(이하 움직임 후보 영역이라고도 한다.)이 검출된 경우, 카메라의 움직임과는 무관하게 검출대상 물체, 예를 들어 사람의 형상 특징 정보를 찾는다.When the image characteristic information extractor 220 determines that the motion pixels obtained above do not include the camera motion information, or when an image motion region (hereinafter referred to as a motion candidate region) from which the camera motion information is first removed is detected. In addition, the shape characteristic information of the object to be detected, for example, a person, is searched for regardless of the movement of the camera.

영상 특징 정보 추출부(220)는 도 8에 도시된 바와 같은 컬러 클러스터링을 통한 형태 정보와 도 9에 도시된 바와 같은 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출한다. 이 때 추출된 얼굴 영역과 손 영역은 얼굴 인식 및 제스처 인식을 위한 특징 정보로도 사용할 수 있다. The image feature information extractor 220 extracts a face region and a hand region of the person using shape information through color clustering as shown in FIG. 8 and skin color information of the person as shown in FIG. 9. In this case, the extracted face region and hand region may also be used as feature information for face recognition and gesture recognition.

사람의 형상을 추출하기 위해 사용된 영상특징정보는 아래의 수학식과 같다.The image feature information used to extract the shape of a person is represented by the following equation.

Figure 112005047464914-pat00008
Figure 112005047464914-pat00008

여기서,

Figure 112005047464914-pat00009
는 t번째 에지 영상 프레임으로서, 화소 (x, y)에서의 에지값은 상기 수학식 4에 나타난 대로, 수직방향 및 수평방향 에지 추출식을 이용하여 구할 수 있다.here,
Figure 112005047464914-pat00009
Is the t-th edge image frame, and the edge values in the pixels ( x, y) can be obtained by using the vertical and horizontal edge extraction equations as shown in Equation 4 above.

그리고, 사람의 피부색 영역은 아래의 수학식 5를 통해 도출된다.The human skin color region is derived through Equation 5 below.

Figure 112005047464914-pat00010
Figure 112005047464914-pat00010

여기서

Figure 112005047464914-pat00011
,
Figure 112005047464914-pat00012
,
Figure 112005047464914-pat00013
는 각각 t번째 프레임 영상의 r, g, b값을 나타내며 H와 S는
Figure 112005047464914-pat00014
,
Figure 112005047464914-pat00015
,
Figure 112005047464914-pat00016
로부터 구한 H(ue)와 S(aturation)값이다. 위의 수식에서
Figure 112005047464914-pat00017
는 실험에 의해 구해진 상수이다.here
Figure 112005047464914-pat00011
,
Figure 112005047464914-pat00012
,
Figure 112005047464914-pat00013
Are the r , g , and b values of the t- th frame image, respectively, and H and S are
Figure 112005047464914-pat00014
,
Figure 112005047464914-pat00015
,
Figure 112005047464914-pat00016
H (ue) and S (aturation) values obtained from In the above formula
Figure 112005047464914-pat00017
Is a constant obtained by experiment.

다음, 형상 추출부(230)는 움직임 영역 추출부(210)에 의해 검출된 움직임 후보 영역과, 영상 특징 정보 추출부(220)에 의해 검출된 사람의 형상 특징 정보를 결합하여 움직이는 사람의 형상, 즉 실루엣을 찾아낸다. Next, the shape extractor 230 combines the motion candidate region detected by the motion region extractor 210 with the shape characteristic information of the person detected by the image feature information extractor 220, In other words, find a silhouette.

즉, 움직임 영역 추출부(210)에 의해 검출된 움직임 후보 영역들이 (x left , y top ) (x right , y bottom ) 과 같은 박스 형태로 나타나게 되는데, 형상 추출부(230)는 움직임 후보 영역 가운데 피부색이 나타나는 영역을 사람의 형상 영역으로 간주하고, 컬러 클러스터링 방법으로 구한 형태 특징 정보와 에지 정보를 이용하여 사람의 실루엣 형태의 형상을 추출한다. That is, the motion candidate regions detected by the motion region extractor 210 appear in the form of a box such as ( x left , y top ) ( x right , y bottom ), and the shape extractor 230 is a center of the motion candidate region. The area in which the skin color appears is regarded as the shape region of the person, and the shape of the silhouette of the person is extracted using the shape feature information and the edge information obtained by the color clustering method.

예를 들어, 형상 추출부는 움직임 후보 영역 가운데 일단 사람의 피부색이 나타나는 영역을 구하고, 해당 영역 근처에서 사람의 머리, 팔, 몸통으로 보이는 영역들을 형태와 에지 정보를 이용하여 찾는다.For example, the shape extractor obtains an area where a human skin color appears from among motion candidate areas, and finds areas of the human head, arms, and torso near the corresponding area using shape and edge information.

따라서, 도 10에 도시된 바와 같이, 카메라와 사람이 같이 움직인 경우에도 카메라의 움직임이 제거된 영상을 얻을 수 있다.Accordingly, as shown in FIG. 10, even when the camera and a person move together, an image from which the camera movement is removed may be obtained.

트래커(300)는 블롭 정보 추출부(310) 및 형상 추적부(320)를 포함하여, 추출된 사람 형상에 대해 블롭 정보(blob information)를 추출하고, 추적 대상이 되는 블롭간의 정합을 통해 대상물체를 추적한다.The tracker 300 includes a blob information extracting unit 310 and a shape tracking unit 320, extracts blob information on the extracted human shape, and matches the target object by matching blobs to be tracked. To track.

보다 구체적으로 블롭 정보 추출부(310)는 추출된 사람 형상의 블롭 영역에 대하여, 블롭의 위치, 크기, 형태 및 컬러 분포 등와 같은 블롭 정보를 구하여 물체 특징을 구한다.More specifically, the blob information extracting unit 310 obtains object characteristics by obtaining blob information such as a blob's position, size, shape, and color distribution, with respect to the extracted human-shaped blob area.

형상 추적부(320)는 t번째 프레임에서 추적 대상이 되는 사람의 형상에 대한 블롭 정보와, t-1 번째 프레임에서 추출된 움직이는 사람의 형상에 대한 블롭 정보를 정합한다. 그리고 정합된 영상의 블롭을 해석하여, 노이즈에 해당하는 블롭들을 제거하며, 일반적으로 블롭의 크기를 기준으로 노이즈 여부를 판단한다. 다음, 각 프레임에서 추출된 블롭들에 대해 컬러분포를 추출하여 추적 대상 물체인지 검증한다. Shaped track portion 320 matches the blob information to the blob information as, t-1 the image of the moving person extracted from the first frame to the image of the person to be tracked in the t-th frame. The blobs of the matched image are analyzed to remove blobs corresponding to noise, and the noise is generally determined based on the size of the blob. Next, the color distribution is extracted for the blobs extracted in each frame to verify whether the object is a tracking object.

즉, 형상 추적부(320)는 연속 프레임의 이동 물체로부터 추적 대상이 되는 사람의 형상에 대한 블롭을 추출하고, 블롭 해석을 통해 형상 추적을 시행한다. 따라서, 고속의 실시간 추적이 가능하고 추적 대상 물체의 일부 또는 전부가 사라졌다가 다시 나타나는 경우에도 추적 대상 물체를 놓치지 않고 쉽게 추적할 수 있도록 한다.That is, the shape tracking unit 320 extracts a blob of the shape of the person to be tracked from the moving object of the continuous frame, and performs shape tracking through the blob analysis. Therefore, high-speed real-time tracking is possible, and even if some or all of the traced object disappears and reappears, the traced object can be easily traced without missing.

이하, 도 11을 참조하여, 본 발명의 실시 예에 따른 대상 물체 검출 방법을 정리하여 설명한다.Hereinafter, a method of detecting a target object according to an exemplary embodiment of the present disclosure will be described with reference to FIG. 11.

우선, 모바일 로봇에 부착된 동적 카메라와 같은 영상입력부(100)를 통해 대상 물체에 대한 영상이 획득되면(S1), 형상 디텍터(200)는 상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 모션화소가 존재하는지 판단하고, 모션화소가 존재하는 경우 움직임 정보를 추출한다. First, when an image of a target object is obtained through an image input unit 100 such as a dynamic camera attached to a mobile robot (S1), the shape detector 200 performs a sequence of continuous images transmitted from the image input unit 100. From the image difference between neighboring frames from the image to determine whether there is a motion pixel, if there is a motion pixel is extracted motion information.

형상 디텍터(200)는 움직임 정보를 분석하여 카메라 시점, 카메라 위치, 카메라 흔들림 등의 카메라 움직임 정보가 발생한 경우, 프레임 간의 에지 정보를 추출하고(S2), mxn 영상 영역 내에서 t번째 영상 프레임과 t-1번째 영상 프레임의 에지를 비교하여 카메라 움직임 정보를 보정할 카메라의 상하 좌우 움직임 파라미터 값을 구한다(S3). The shape detector 200 analyzes the motion information and extracts edge information between frames when camera motion information such as a camera viewpoint, a camera position, and a camera shake occurs (S2), and extracts the t- th image frame within an m x n image area. The parameter values of the up, down, left, and right motions of the camera to correct the camera motion information are obtained by comparing the edges of the t-1 th image frame with (S3).

그리고, 형상 디텍터(200)는 카메라 움직임 파라미터 값을 이용하여 t번째 영상 프레임을 변화시킨 다음, t-1번째 영상 프레임과의 차를 구하여 카메라 움직임 정보가 일차 제거된 영상 움직임, 즉 움직임 후보 영역을 추출한다(S4).The shape detector 200 changes the t th image frame by using a camera motion parameter value, and then obtains a difference from the t-1 th image frame to determine an image motion from which camera motion information is first removed, that is, a motion candidate region. Extract (S4).

다음, 형상 디텍터(200)는 사람의 영상 특징 정보를 추출하기 위해, 우선 사람의 피부색 영역을 추출한다(S5). 그리고, 움직임 후보 영역 가운데 피부색이 나타나는 영역을 사람의 형상 영역으로 간주하고, 컬러 클러스터링 방법으로 구한 형태 특징정보와 에지 정보를 이용하여 영역을 해석한다(S6). Next, the shape detector 200 first extracts a human skin color region to extract image characteristic information of a person (S5). The region in which the skin color appears in the motion candidate region is regarded as a human shape region, and the region is analyzed using the shape feature information and the edge information obtained by the color clustering method (S6).

즉, 해당 움직임 후보 영역 가운데, 사람의 피부색이 나타나는 영역 근처에서, 컬러 클러스터링 방법으로 구한 형태 특징 정보와 에지 정보를 이용하여 영역들을 해석하고(S6), 사람의 머리, 팔, 몸통등으로 보이는 영역들을 찾아 실루엣을 추출한다(S7).In other words, the regions are analyzed using the shape feature information and the edge information obtained by the color clustering method near the region where the human skin color appears among the corresponding motion candidate regions (S6), and the region seen by the human head, arm, torso, etc. Find the silhouette to extract (S7).

다음, 트래커(300)는 블롭 정보를 추출하여 t번째 프레임에서 추출된 사람 형상 블롭들을 t-1번째 프레임에서 추출된 사람 형상 블롭들과 블롭 정합을 한다(S8). 그리고, 정합된 영상의 블롭을 해석하여 노이즈에 해당하는 블롭들을 제거하는데, 일반적으로 블롭크기를 기초로 노이즈 여부를 판단한다(S9). 마지막으로, 트 래커(300)는 각 프레임에서 추출된 블롭들에 대해 컬러 분포를 추출하여 추적 대상 물체가 맞는지 여부를 검증하는 방법을 통해 대상 물체를 추적한다(S10).Next, tracker 300 is a man-like blob and blob-shaped mating extract the person blob extraction on the t-th frame from t-1 th frame to extract the blob information (S8). The blobs corresponding to the noise are removed by analyzing the blobs of the matched image, and in general, it is determined whether the noise is based on the blob size (S9). Finally, the tracker 300 tracks the target object through a method of verifying whether the tracking target object is correct by extracting a color distribution for the blobs extracted in each frame (S10).

이상 설명한 바는 본 발명의 실시 예에 불과한 것으로, 본 발명의 권리범위가 이에 한정되는 것이 아니며, 당업자들에게 자명한 사항에 대하여 다양한 변형 실시가 가능하다. 특히 본 발명의 형상 추출 및 추적 대상이 반드시 사람에 대한 것으로 한정되거나, 본 발명에 따른 검출 시스템이 반드시 모바일 로봇에 한정되는 것이 아님은 앞서 상술한 바와 같다. 본 발명의 권리범위는 후술할 특허청구범위에 기재된 구성요소 및 그 균등물로 인정되는 모든 기술적 구성들을 포함한다.What has been described above is only an embodiment of the present invention, and the scope of the present invention is not limited thereto, and various modifications may be made to those skilled in the art. In particular, the shape extraction and tracking object of the present invention is not necessarily limited to the person, or the detection system according to the present invention is not necessarily limited to the mobile robot as described above. The scope of the present invention includes all technical configurations recognized as components and equivalents described in the claims to be described later.

이상 설명한 바와 같이, 본 발명에 따르면, 연속되는 영상 프레임을 대상으로 현재 프레임에서 추적 대상 이동 물체인 사람을 추출하고 추출된 물체의 블럽 정보를 구한 후, 다음 프레임에서 역시 이동 물체인 사람을 추출하고 물체의 블롭정보들을 계산하여 추적 대상 블롭, 즉 물체를 찾아내는 방법으로 물체를 추적할 수 있다.As described above, according to the present invention, after extracting the person moving the tracking target object from the current frame to the continuous frame of the image, obtain the blob information of the extracted object, and then extract the person also moving object in the next frame The object can be tracked by calculating the blob information of the object and finding the blob to be tracked, that is, the object.

종래에는 먼저 이동 물체를 배경으로부터 분리하고 추출된 물체에 대해 이동 예측 방향 성분을 추정해서 목표 물체가 어느 정도 이동했는지 다양한 방법으로 계산해서 추적했다. 특히 이동 방향 예측 필터를 사용하여 이동 가능 방향을 예측하고 물체의 각 화소별 또는 국소 영역별 이동 가능한 방향에 대해 실제 이동한 위치를 계산하는 과정을 수행하므로, 기존 방식에 따르면 이동 물체의 추출 및 추적에 많은 계산이 필요하여 실시간 추적에 제약이 있었다. 또, 추적 대상 물체의 일부 또는 전부가 다른 물체에 의해 숨겨졌다가 나타나는 경우, 사실상 추적이 어려웠다.Conventionally, the moving object is separated from the background, the moving prediction direction component is estimated with respect to the extracted object, and the target object is moved and calculated by various methods. In particular, the moving direction prediction filter is used to predict the moving direction and calculate the actual moving position of the moving direction for each pixel or local area of the object. Because of the large amount of computation required, real-time tracking was limited. In addition, when part or all of the object to be tracked is hidden by another object and then appears, the tracking is practically difficult.

그러나, 본 발명에서는 추적 대상 물체를 연속된 프레임의 이동 물체, 즉 블롭을 추출한 후 블롭 해석에 의한 물체 추적을 시행함으로써, 고속의 실시간 추적이 가능하다. 또, 추적 대상 물체의 일부 또는 전부가 사라졌다가 다시 나타나는 경우에도 추적 대상 물체를 놓치지 않고 쉽게 추적할 수 있다. However, in the present invention, the tracking object is extracted by moving a continuous frame, i.e., a blob, and then subjected to object tracking by blob analysis, thereby enabling fast real-time tracking. In addition, even if some or all of the object to be traced disappears and reappears, the object to be tracked can be easily tracked without missing it.

따라서, 배경이나 카메라의 움직임에 관계없이 움직이는 사람을 실시간 추출하여 추적할 수 있으므로, 이동 물체 추출 및 추적 기술을 실세계에 적용하기 용이하다.Therefore, since a moving person can be extracted and tracked in real time regardless of the background or the movement of the camera, moving object extraction and tracking technology can be easily applied to the real world.

Claims (45)

입력 영상으로부터 대상 물체를 검출하는 방법에 있어서,In the method for detecting a target object from the input image, a) 입력 영상에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 단계;a) correcting an image frame by obtaining a camera movement parameter when a motion region exists in the input image; b) 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계;b) extracting a motion candidate region from the image frame and the previous input image frame; c) 입력 영상으로부터 영상 특징 정보를 추출하는 단계;c) extracting image feature information from the input image; d) 상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 단계를 포함하는 d) extracting a shape of a target object based on the motion candidate region and the image feature information; 대상 물체 검출 방법.Target object detection method. 제1항에 있어서, The method of claim 1, 상기 a) 단계는,Step a) is 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인 경우 카메라 움직임 파라미터를 구하여 영상프레임을 보정하는 단계인If the width of the motion area is more than a predetermined threshold ( T 2 ) to obtain a camera motion parameter to correct the image frame 대상 물체 검출 방법.Target object detection method. 제1항 또는 제2항에 있어서, The method according to claim 1 or 2, 상기 a) 단계 이전, Before step a), 연속 영상 프레임간 화소 (x,y)의 명도값의 차가 소정 임계치(T 1 ) 이상인 화소- 모션 화소-가 존재하는지 판단하는 단계를 더 포함하여,Determining whether there is a pixel-motion pixel whose difference in brightness value between the consecutive image frames ( x , y ) is greater than or equal to a predetermined threshold T 1 , 상기 a) 단계는,Step a) is 상기 모션 화소가 존재하는 경우 실행되는Executed when the motion pixel exists 대상 물체 검출 방법.Target object detection method. 제3항에 있어서, The method of claim 3, 상기 모션 화소는,The motion pixel,
Figure 112005047464914-pat00018
Figure 112005047464914-pat00018
 ( f t-1 , f t , f t+1 : t-1, t, t+1에 대한 각 프레임, ( f t-1 , f t, f t + 1 : each frame for t-1, t, t + 1 , T 1 : 프레임 간 명도차에 대한 임계치 T 1 : threshold for brightness difference between frames f(x,y) : 프레임에서의 화소(x,y)의 명도값 f (x, y) : brightness value of pixel (x, y) in frame
Figure 112005047464914-pat00019
(x,y) : t+1 프레임에서의 모션화소 (x,y))
Figure 112005047464914-pat00019
(x, y) : Motion pixel at t + 1 frame (x, y)) 로부터 도출되는 Derived from 대상 물체 검출 방법.Target object detection method. 제4항에 있어서, The method of claim 4, wherein 상기 임계치(T 1 )는 10≤T 1 ≤20 범위의 값을 갖는The threshold T 1 has a value ranging from 10 ≦ T 1 ≦ 20. 대상 물체 검출 방법Target object detection method 제3항에 있어서,The method of claim 3, 상기 모션 화소는 입력 영상의 전체 화소로부터 도출하는 The motion pixel is derived from all the pixels of the input image. 대상 물체 검출 방법.Target object detection method. 제3항에 있어서,The method of claim 3, 상기 a) 단계에서 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인지 여부에 대한 체크는In step a), whether the width of the movement area is equal to or greater than a predetermined threshold T 2 is checked. 상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는 단계인 Checking whether a difference between the maximum x value and the minimum x value among the connection elements for the motion pixels is greater than or equal to a predetermined threshold T 2 in relation to the entire image width. 대상 물체 검출 방법.Target object detection method. 제7항에 있어서,The method of claim 7, wherein 상기 a)단계에서, 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인지 여부에 대 한 체크는In step a), it is checked whether the width of the movement area is equal to or greater than a predetermined threshold T 2 .
Figure 112005047464914-pat00020
Figure 112005047464914-pat00020
 (
Figure 112005047464914-pat00021
: t번째 프레임 모션 화소들에 대한 연결 요소(connected component) (
Figure 112005047464914-pat00021
: connected component for t th frame motion pixels T 2 : 입력 영상 움직임 영역 폭에 대한 임계치 T 2 : Threshold for input video motion area width
Figure 112005047464914-pat00022
: t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값
Figure 112005047464914-pat00022
: Maximum x value of the connection elements for the motion pixels of the t th frame
Figure 112005047464914-pat00023
: t번째 프레임 모션 화소들에 대한 연결 요소들 중 최소 x값)
Figure 112005047464914-pat00023
: minimum x value of connection elements for t th frame motion pixels) 로부터 실행되는Run from 대상 물체 검출 방법.Target object detection method. 제8항에 있어서,The method of claim 8, 상기 임계치(T 2 )는 0.8*w의 값이며, w는 영상의 가로폭인The threshold T 2 is a value of 0.8 * w , where w is the width of the image. 대상 물체 검출 방법.Target object detection method. 제1항에 있어서, The method of claim 1, 상기 카메라 움직임 파라미터는 카메라의 좌우 움직임 보상을 위해 정의된 파라미터로서, x방향 움직임 파라미터 및 y방향 움직임 파라미터를 포함하는The camera motion parameter is a parameter defined for left and right motion compensation of a camera, and includes an x direction motion parameter and a y direction motion parameter. 대상 물체 검출 방법.Target object detection method. 제10항에 있어서,The method of claim 10, 상기 x방향 움직임 파라미터는 영상의 일부 영역에 대하여, t번째 영상 프레임에서 임의의 열 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되는 The x-direction motion parameter with respect to a part of the image, in the t-th image frame, any column i pixels and t-1 th image frames that belong to at derived from the edge comparing values between pixels that belong to any of the column j 대상 물체 검출 방법.Target object detection method. 제11항에 있어서,The method of claim 11, 상기 x방향 움직임 파라미터(pan)는,The x direction motion parameter,
Figure 112005047464914-pat00024
Figure 112005047464914-pat00024
 (y: o~h까지의 영상의 높이,k : 카메라가 좌우로 움직일 가능성이 있는 범위( y : height of image from o to h , k : range where camera can move left and right j: x값의 범위 l : 에지값을 조사하는 y영역 범위 j: range of x values l : range of y area to examine edge values
Figure 112005047464914-pat00025
: t번째 에지 영상 프레임
Figure 112005047464914-pat00025
: t-th edge video frame E(x,y) : 화소 (x, y)에서의 에지값) E (x, y) : edge value at pixel (x, y)) 로부터 도출되는 Derived from 대상 물체 검출 방법.Target object detection method. 제10항에 있어서,The method of claim 10, 상기 y방향 움직임 파라미터는 영상의 일부 영역에 대하여, t번째 영상 프레임에서 임의의 행 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 행 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되는 The y direction movement parameters with respect to a part of the image, in the t-th arbitrary row in the image frames i pixels and t-1-th picture frame belonging to that derived from the edge comparing values between pixels that belong to any line j 대상 물체 검출 방법.Target object detection method. 제13항에 있어서,The method of claim 13, 상기 y방향 움직임 파라미터(tilt)는The y- direction motion parameter tilt
Figure 112005047464914-pat00026
Figure 112005047464914-pat00026
 (x: o~w까지의 영상의 폭, k : 카메라가 상하로 움직일 가능성이 있는 범위( x: width of the image from o to w , k : range where the camera may move up and down j: y값의 범위 l : 에지 값을 조사하는 x영역 범위 j: The range of y values. l : The range of x areas to examine the edge values.
Figure 112005047464914-pat00027
: t번째 에지 영상 프레임
Figure 112005047464914-pat00027
: t-th edge video frame E(x,y) : 화소 (x, y)에서의 에지값) E (x, y) : edge value at pixel (x, y)) 로부터 도출되는 Derived from 대상 물체 검출 방법.Target object detection method. 제1항에 있어서,The method of claim 1, 상기 a) 단계에 있어서,In step a), 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 것은,Obtaining camera motion parameters and correcting the video frame, t번째 프레임의 x', y'값을 x방향 움직임 파라미터(pan), y방향 움직임 파라미터(tilt) 및 t-1번째 프레임의 x, y를 이용하여 x'=x+pan, y'=y+tilt로 보정하는 것인 x '= y + pan, y' = y using x ', y' value of t th frame using x direction motion parameter ( pan ), y direction motion parameter ( tilt ) and x, y of t-1 th frame is corrected by + tilt 대상 물체 검출 방법.Target object detection method. 제1항 또는 제15항에 있어서,The method according to claim 1 or 15, 상기 b) 단계는,B), t번째 프레임 영상과 t-1 번째 프레임 영상의 차영상을 생성하여 움직임 후보 영역을 추출하는 단계인extracting a motion candidate region by generating a difference image between a t th frame image and a t-1 th frame image 대상 물체 검출 방법. Target object detection method. 제1항에 있어서, The method of claim 1, 상기 영상특징정보는,The video feature information, 피부색, 형태, 에지 및 코너 정보 중 하나 이상을 포함하는Containing one or more of skin color, shape, edge and corner information 대상 물체 검출 방법.Target object detection method. 제1항에 있어서,The method of claim 1, 상기 c)단계는,Step c) is 입력 영상으로부터 피부색 영역을 추출하는 단계를 포함하며,Extracting a skin color region from an input image, 피부색 영역은,The skin color area,
Figure 112005047464914-pat00028
Figure 112005047464914-pat00028
 (
Figure 112005047464914-pat00029
,
Figure 112005047464914-pat00030
,
Figure 112005047464914-pat00031
: 각 t번째 프레임 영상의 r,g,b값(
Figure 112005047464914-pat00029
,
Figure 112005047464914-pat00030
,
Figure 112005047464914-pat00031
: R, g, b value of each t- th frame image H, S :
Figure 112005047464914-pat00032
,
Figure 112005047464914-pat00033
,
Figure 112005047464914-pat00034
로부터 구한 H(ue), S(aturation)값 H, S :
Figure 112005047464914-pat00032
,
Figure 112005047464914-pat00033
,
Figure 112005047464914-pat00034
H (ue) and S (aturation) values obtained from
Figure 112005047464914-pat00035
:실험에 의해 구해진 상수
Figure 112005047464914-pat00035
Constant obtained by experiment w : 영상폭 ) w: Video width) 로부터 도출되는Derived from 대상 물체 검출 방법.Target object detection method. 제1항에 있어서,The method of claim 1, 상기 c)단계는,Step c) is 입력 영상으로부터 컬러 클러스터링을 통해 형태특징정보를 추출하는 단계를 포함하는 Extracting shape feature information from the input image through color clustering; 대상 물체 검출 방법.Target object detection method. 제1항에 있어서,The method of claim 1, 상기 c)단계는,Step c) is 입력 영상으로부터 에지 정보를 추출하는 단계를 포함하며, Extracting edge information from the input image; 에지 정보로서 화소 (x,y)에서의 에지값(
Figure 112005047464914-pat00036
)은, Edge value in pixel (x, y) as edge information (
Figure 112005047464914-pat00036
)silver,
Figure 112005047464914-pat00037
Figure 112005047464914-pat00037
 (
Figure 112005047464914-pat00038
: t번째 에지 영상 프레임
Figure 112005047464914-pat00039
(x,y) : 화소 (x,y)에서의 에지값(
Figure 112005047464914-pat00038
: t-th edge video frame
Figure 112005047464914-pat00039
( x, y) : Edge value in pixel (x, y)
Figure 112005047464914-pat00040
(x,y) : 화소 (x,y)에서의 명도값)
Figure 112005047464914-pat00040
( x, y ): Brightness value in pixels (x, y ) 로부터 도출되는Derived from 대상 물체 검출 방법Target object detection method 제1항, 제18항 내지 제20항 중 어느 한 항에 있어서,The method according to any one of claims 1 and 18 to 20, 상기 d)단계는,In step d), 상기 움직임 후보 영역에서 피부색 영역을 추출한 후, 형태특징 및 에지특징을 이용하여 대상 물체 영역을 추출하는 단계인Extracting a skin color region from the motion candidate region, and then extracting a target object region using a shape feature and an edge feature 대상 물체 검출 방법.Target object detection method. 제1항에 있어서,The method of claim 1, 상기 d)단계 이후,After step d), e)추출된 형상에 대한 블롭 정보를 추출하는 단계; 및e) extracting blob information about the extracted shape; And f)이전 프레임에서 추출된 형상의 블롭 정보와 비교하여 추적 대상 물체인지 검증하는 단계를 더 포함하는f) comparing the blob information of the shape extracted from the previous frame to verify whether the object is a tracking object. 대상 물체 검출 방법.Target object detection method. 제22항에 있어서,The method of claim 22, 상기 블롭 정보는 블롭의 위치, 블롭의 크기, 블롭의 형태 및 컬러 분포 중 하나 이상을 포함하는The blob information includes one or more of blob position, blob size, blob shape, and color distribution. 대상 물체 검출 방법.Target object detection method. 제22항 또는 제23항에 있어서,The method of claim 22 or 23, 상기 f)단계는,Step f), f-1)추출된 대상 물체의 형상에 대한 블롭 정보와 이전 프레임에서 추출된 형상의 블롭 정보를 정합하여, 노이즈에 해당하는 블롭들을 제거하는 단계;f-1) removing blobs corresponding to noise by matching blob information on the shape of the extracted target object with blob information on the shape extracted in the previous frame; f-2)추출된 블롭들의 컬러분포를 추출하여 추적 대상 물체인지 검증하는 단계를 포함하는f-2) extracting the color distribution of the extracted blobs and verifying whether the object is a tracking object; 대상 물체 검출 방법.Target object detection method. 제24항에 있어서,The method of claim 24, 상기 f-1)단계는Step f-1) 블롭의 크기를 기초로 노이즈 해당 여부를 판단하는 단계인The step of determining whether the noise is based on the size of the blob 대상 물체 검출 방법.Target object detection method. 입력 영상으로부터 대상 물체를 검출하는 시스템에 있어서,A system for detecting a target object from an input image, 검출 대상이 되는 물체의 영상을 획득하여 전달하는 영상 입력부;An image input unit configured to acquire and transmit an image of an object to be detected; 상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역 및 입력 영상의 영상특징정보를 기초로 대상 물체의 형상을 추출하는 형상 디텍터를 포함하는And a shape detector extracting a shape of a target object based on the motion candidate region extracted through the image difference between neighboring frames from the sequence of images transmitted from the image input unit and the image characteristic information of the input image. 대상 물체 검출 시스템.Target Object Detection System. 제26항에 있어서,The method of claim 26, 상기 형상 디텍터는,The shape detector, 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하 는 움직임 영역 추출부;A motion region extractor which extracts a motion candidate region from an image frame and a previous input image frame; 입력 영상으로부터 영상 특징 정보를 추출하는 영상 특징 정보 추출부; 및An image feature information extracting unit which extracts image feature information from an input image; And 상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 형상 추출부를 포함하는A shape extractor configured to extract a shape of a target object based on the motion candidate region and the image feature information; 대상 물체 검출 시스템.Target Object Detection System. 제27항에 있어서,The method of claim 27, 상기 움직임 영역 추출부는The motion area extractor 입력 영상의 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인 경우, 카메라 움직임 파라미터를 구하여, 상기 카메라 움직임 파라미터를 통해 입력 영상 프레임을 보정하여 움직임 후보 영역을 추출하는When the width of the motion region of the input image is greater than or equal to a predetermined threshold T 2 , a camera motion parameter is obtained, and the motion candidate region is extracted by correcting the input image frame using the camera motion parameter. 대상 물체 검출 시스템.Target Object Detection System. 제27항 또는 제28항에 있어서,The method of claim 27 or 28, 상기 움직임 영역 추출부는,The motion region extraction unit, 연속 영상 프레임간의 명도차가 소정 임계치(T 1 )이상인 모션 화소가 존재하는 경우, 입력 영상의 움직임 영역의 폭이 소정 임계치(T 2 )이상인지 여부를 체크하는If the brightness difference between consecutive video frames the threshold value (T 1) greater than a predetermined motion pixel exists, checking whether the width of a motion region of the input image is a predetermined threshold value (T 2) above 대상 물체 검출 시스템.Target Object Detection System. 제29항에 있어서,The method of claim 29, 상기 모션 화소는The motion pixel is
Figure 112005047464914-pat00041
Figure 112005047464914-pat00041
 ( f t-1 , f t , f t+1 : t-1, t, t+1에 대한 각 프레임, ( f t-1 , f t, f t + 1 : each frame for t-1, t, t + 1 , T 1 : 프레임 간 명도차에 대한 임계치 T 1 : threshold for brightness difference between frames f(x,y) : 프레임에서의 화소(x,y)의 명도값 f (x, y) : brightness value of pixel (x, y) in frame
Figure 112005047464914-pat00042
(x,y) : t+1 프레임에서의 모션화소 (x,y))
Figure 112005047464914-pat00042
(x, y) : Motion pixel at t + 1 frame (x, y)) 로부터 도출되는Derived from 대상 물체 검출 시스템.Target Object Detection System. 제30항에 있어서,The method of claim 30, 상기 임계치(T 1 )는 10≤T 1 ≤20 범위의 값을 갖는The threshold T 1 has a value ranging from 10 ≦ T 1 ≦ 20. 대상 물체 검출 시스템.Target Object Detection System. 제29항에 있어서,The method of claim 29, 상기 모션 화소는 입력 영상의 전체 화소로부터 도출되는The motion pixel is derived from all the pixels of the input image. 대상 물체 검출 시스템.Target Object Detection System. 제29항에 있어서,The method of claim 29, 상기 움직임 영역 추출부는,The motion region extraction unit, 연속 영상 프레임간의 명도차가 소정 임계치(T 1 )이상인 모션 화소가 존재하는 경우 상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는When there is a motion pixel whose brightness difference between successive image frames is greater than or equal to a predetermined threshold T 1 , the difference between the maximum x value and the minimum x value among the connection elements for the motion pixels is a predetermined threshold value ( T 2). To check if it is above 대상 물체 검출 시스템.Target Object Detection System. 제33항에 있어서,The method of claim 33, wherein 상기 움직임 영역 추출부는,The motion region extraction unit,
Figure 112005047464914-pat00043
Figure 112005047464914-pat00043
 (
Figure 112005047464914-pat00044
: t번째 프레임 모션 화소들에 대한 연결 요소(connected component) (
Figure 112005047464914-pat00044
: connected component for t th frame motion pixels T 2 : 입력 영상 움직임 영역 폭에 대한 임계치 T 2 : Threshold for input video motion area width
Figure 112005047464914-pat00045
: t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값
Figure 112005047464914-pat00045
: Maximum x value of the connection elements for the motion pixels of the t th frame
Figure 112005047464914-pat00046
: t번째 프레임 모션 화소들에 대한 연결 요소들 중 최소 x값)
Figure 112005047464914-pat00046
: minimum x value of connection elements for t th frame motion pixels) 로부터, 상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는From whether the difference between the maximum x value and the minimum x value among the connection elements for the motion pixels is greater than or equal to a predetermined threshold T 2 relative to the entire image width. 대상 물체 검출 시스템.Target Object Detection System. 제34항에 있어서,The method of claim 34, wherein 상기 임계치(T 2 )는 0.8*W의 값이며, W는 영상의 가로폭인 The threshold T 2 is a value of 0.8 * W , where W is the width of the image. 대상 물체 검출 시스템.Target Object Detection System. 제28항에 있어서,The method of claim 28, 상기 카메라 움직임 파라미터는 카메라의 좌우 움직임 보상의 위해 정의된 파라미터로, x방향 움직임 파라미터 및 y방향 움직임 파라미터를 포함하여,The camera motion parameter is a parameter defined for left and right motion compensation of a camera, and includes an x direction motion parameter and a y direction motion parameter. x방향 움직임 파라미터는 영상의 일부 영역에 대하여 t번째 영상 프레임에서 임의의 열 i에 속한 화소들과 t-1번째 영상 프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되고, x-motion parameter is derived from the arbitrary pixel and the t-1 th frame image belonging to the column i in the t-th image frame with respect to a part of the image from the edge compared to values between pixels that belong to any of the column j, y방향 움직임 파라미터는 영상의 일부 영역에 대하여 t번째 영상 프레임에서 임의의 행 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 행 j에 속하는 화 소들 사이의 에지 비교값으로부터 도출되는 The y- direction motion parameter is derived from an edge comparison between pixels belonging to any row i in the t th image frame and pixels belonging to any row j in the t-1 th image frame for some areas of the image. 대상 물체 검출 시스템.Target Object Detection System. 제36항에 있어서,The method of claim 36, 상기 x방향 움직임 파라미터(pan)는The x direction motion parameter pan
Figure 112005047464914-pat00047
Figure 112005047464914-pat00047
 (y: o~h까지의 영상의 높이,k : 카메라가 좌우로 움직일 가능성이 있는 범위( y: height of the image from o to h , k : range in which the camera may move left and right j: x값의 범위 l : 에지값을 조사하는 y영역 범위 j: range of x values l : range of y area to examine edge values
Figure 112005047464914-pat00048
: t번째 에지 영상 프레임,
Figure 112005047464914-pat00049
(x,y) : 화소 (x,y)에서의 에지값)
Figure 112005047464914-pat00048
: t th edge video frame,
Figure 112005047464914-pat00049
( x, y) : Edge value in pixel (x, y ) 로부터 도출되는 Derived from 대상 물체 검출 시스템.Target Object Detection System. 제36항 또는 제37항에 있어서,The method of claim 36 or 37, 상기 y방향 움직임 파라미터(tilt)는The y- direction motion parameter is
Figure 112005047464914-pat00050
Figure 112005047464914-pat00050
 (x: o~w까지의 영상의 폭, k : 카메라가 상하로 움직일 가능성이 있는 범위( x: width of the image from o to w , k : range where the camera may move up and down j: y값의 범위 l : 에지성분을 조사하는 x영역 범위 j: range of y values l : range of x regions to examine the edge components
Figure 112005047464914-pat00051
: t번째 에지 영상 프레임 E(x,y) : 화소 (x, y)에서의 에지값)
Figure 112005047464914-pat00051
: t th edge image frame E (x, y) : edge value in pixel (x, y)) 로부터 도출되는 Derived from 대상 물체 검출 시스템.Target Object Detection System. 제38항에 있어서,The method of claim 38, 상기 움직임 영역 추출부는,The motion region extraction unit, t번째 프레임의 x', y' 값은 x방향 움직임 파라미터(pan) , y방향 움직임 파라미터(tilt) 및 t-1번째 프레임의 x, y를 이용하여 x'=x+pan, y'=y+tilt로 구하여 t번째 프레임 영상을 보정하고,the t-th frame x ', y' values are the x-direction motion parameter (pan), y direction of motion parameters (tilt) of and the t-1 th frame x, using y x '= x + pan, y' = y corrects the t- th frame image by finding it as + tilt , 보정한 t번째 프레임 영상과 t-1번째 프레임 영상의 차영상을 생성하여 움직임 후보 영역을 추출하는A motion candidate region is extracted by generating a difference image between the corrected t th frame image and the t-1 th frame image. 대상 물체 검출 시스템.Target Object Detection System. 제26항 또는 제27항에 있어서,The method of claim 26 or 27, 상기 영상 특징 정보는 피부색, 형태, 에지 및 코너 정보 중 하나 이상을 포함하는The image characteristic information includes one or more of skin color, shape, edge, and corner information. 대상 물체 검출 시스템.Target Object Detection System. 제27항에 있어서,The method of claim 27, 상기 영상 특징 정보 추출부는,The image feature information extraction unit, 입력 영상으로부터 피부색 영역, 형태 특징 정보, 에지 정보 중 하나 이상을 추출하고,Extract one or more of skin color region, shape feature information, and edge information from the input image; 피부색 영역은,The skin color area,
Figure 112005047464914-pat00052
Figure 112005047464914-pat00052
 (
Figure 112005047464914-pat00053
,
Figure 112005047464914-pat00054
,
Figure 112005047464914-pat00055
: 각 t번째 프레임 영상의 r,g,b값(
Figure 112005047464914-pat00053
,
Figure 112005047464914-pat00054
,
Figure 112005047464914-pat00055
: R, g, b value of each t-th frame image H, S :
Figure 112005047464914-pat00056
,
Figure 112005047464914-pat00057
,
Figure 112005047464914-pat00058
로부터 구한 H(ue), S(aturation)값 H, S :
Figure 112005047464914-pat00056
,
Figure 112005047464914-pat00057
,
Figure 112005047464914-pat00058
H (ue) and S (aturation) values obtained from
Figure 112005047464914-pat00059
:실험에 의해 구해진 값
Figure 112005047464914-pat00059
The value obtained by the experiment w : 영상 폭) w : video width) 로부터 추출되고 Extracted from 에지 정보로서, 화소 (x,y)에서의 에지값(
Figure 112005047464914-pat00060
)은, As edge information, the edge value (in pixel (x, y) (
Figure 112005047464914-pat00060
)silver,
Figure 112005047464914-pat00061
Figure 112005047464914-pat00061
 (
Figure 112005047464914-pat00062
: t번째 에지 영상 프레임
Figure 112005047464914-pat00063
(x,y) : 화소 (x,y)에서의 에지값(
Figure 112005047464914-pat00062
: t-th edge video frame
Figure 112005047464914-pat00063
( x, y) : Edge value in pixel (x, y)
Figure 112005047464914-pat00064
(x,y) : 화소 (x,y)에서의 명도값)
Figure 112005047464914-pat00064
( x, y ): Brightness value in pixels (x, y ) 로부터 추출되고,Extracted from 형태 특징 정보는 컬러 클러스터링을 통해 추출되는Shape feature information is extracted through color clustering 대상 물체 검출 시스템.Target Object Detection System. 제27항 또는 제41항에 있어서,42. The method of claim 27 or 41, 상기 형상 추출부는,The shape extraction unit, 상기 움직임 후보 영역에서 피부색 영역을 추출한 후, 형태 특징 및 에지 특징을 이용하여 대상 물체 형상을 추출하는After extracting the skin color region from the motion candidate region, extracting the shape of the target object using the shape feature and the edge feature 대상 물체 검출 시스템.Target Object Detection System. 제26항 또는 제27항에 있어서,The method of claim 26 or 27, 추출된 대상 물체의 형상에 대해 블롭 정보를 추출하여, 이전 프레임에서 추출된 형상의 블롭 정보와 비교하여 추적 대상 물체인지 검증하는 트래커를 더 포함하는The apparatus further includes a tracker extracting blob information about the shape of the extracted target object and comparing the blob information of the shape extracted in the previous frame to verify whether the object is a tracking object. 대상 물체 검출 시스템.Target Object Detection System. 제43항에 있어서,The method of claim 43, 상기 트래커는The tracker is 추출된 대상 물체의 형상에 대해 블롭 정보를 추출하는 블롭 정보 추출부; 및 A blob information extracting unit which extracts blob information about the extracted shape of the target object; And 이전 프레임에서 추출된 형상의 블롭 정보와 정합하여 블롭의 크기를 기초로 노이즈에 해당하는 블롭들을 제거하고 추출된 블롭들에 대한 컬러분포를 통해 추적대상 물체인지 검증하는 형상 추적부를 포함하는It includes a shape tracking unit to match the blob information of the shape extracted in the previous frame to remove the blobs corresponding to the noise based on the size of the blob and verify whether the object is a tracking object through the color distribution of the extracted blobs 대상 물체 검출 시스템.Target Object Detection System. 제43항에 있어서,The method of claim 43, 상기 블롭 정보는 블롭의 위치, 블롭의 크기, 블롭의 형태 및 컬러 분포 중 하나 이상을 포함하는The blob information includes one or more of blob position, blob size, blob shape, and color distribution. 대상 물체 검출 시스템.Target Object Detection System.
KR1020050078822A 2004-12-08 2005-08-26 System for detecting targets and method thereof KR100651034B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/287,936 US7688999B2 (en) 2004-12-08 2005-11-28 Target detecting system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040103033 2004-12-08
KR20040103033 2004-12-08

Publications (2)

Publication Number Publication Date
KR20060064504A KR20060064504A (en) 2006-06-13
KR100651034B1 true KR100651034B1 (en) 2006-11-29

Family

ID=37160055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050078822A KR100651034B1 (en) 2004-12-08 2005-08-26 System for detecting targets and method thereof

Country Status (1)

Country Link
KR (1) KR100651034B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree
EP3694206A4 (en) * 2017-10-02 2020-08-12 Sony Corporation Image processing device and image processing method
KR20210070011A (en) 2019-12-04 2021-06-14 현대자동차주식회사 In-vehicle motion control apparatus and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100814715B1 (en) * 2006-06-26 2008-03-18 한국산업기술대학교산학협력단 Moving-picture coding apparatus and method
KR100855348B1 (en) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 System and apparatus for chasing object-contour line in movie frame and method for the same
KR100976584B1 (en) * 2008-04-21 2010-08-17 중앙대학교 산학협력단 Color-based object tracking apparatus and method using mean-shift cluster and initial color update
KR100871833B1 (en) * 2008-04-28 2008-12-03 재 훈 장 Camera apparatus for auto tracking
KR101451133B1 (en) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 Image processing method and apparatus for a motion tracking
KR101158729B1 (en) * 2010-03-31 2012-06-22 한국과학기술원 system and method for tracking multiple objects in real time
WO2020256403A1 (en) * 2019-06-19 2020-12-24 (주) 애니펜 Method and system for creating content on basis of vehicle interior image, and non-temporary computer-readable recording medium
KR102627285B1 (en) * 2022-07-12 2024-01-23 주식회사 래비노 3D image generation system and method for compensating images of moving cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990086272A (en) * 1998-05-27 1999-12-15 정선종 Individual motion tracking method of moving object in active camera environment
JP2000106661A (en) 1998-07-10 2000-04-11 Canon Inc Image processing method and system and device
KR20000054329A (en) * 2000-06-01 2000-09-05 이성환 Object tracking method in the moving picture data
KR20030024354A (en) * 2001-09-18 2003-03-26 주식회사 아이캔텍 Global motion compensation apparatus and method for detecting a motion of an object
KR20040107962A (en) * 2003-06-16 2004-12-23 주식회사 팬택 System for detecting moving objects and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990086272A (en) * 1998-05-27 1999-12-15 정선종 Individual motion tracking method of moving object in active camera environment
JP2000106661A (en) 1998-07-10 2000-04-11 Canon Inc Image processing method and system and device
KR20000054329A (en) * 2000-06-01 2000-09-05 이성환 Object tracking method in the moving picture data
KR20030024354A (en) * 2001-09-18 2003-03-26 주식회사 아이캔텍 Global motion compensation apparatus and method for detecting a motion of an object
KR20040107962A (en) * 2003-06-16 2004-12-23 주식회사 팬택 System for detecting moving objects and method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree
EP3694206A4 (en) * 2017-10-02 2020-08-12 Sony Corporation Image processing device and image processing method
US11468574B2 (en) 2017-10-02 2022-10-11 Sony Corporation Image processing apparatus and image processing method
KR20210070011A (en) 2019-12-04 2021-06-14 현대자동차주식회사 In-vehicle motion control apparatus and method

Also Published As

Publication number Publication date
KR20060064504A (en) 2006-06-13

Similar Documents

Publication Publication Date Title
KR100651034B1 (en) System for detecting targets and method thereof
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US7688999B2 (en) Target detecting system and method
EP2265023B1 (en) Subject tracking device and subject tracking method
CN107452015B (en) Target tracking system with re-detection mechanism
US8094884B2 (en) Apparatus and method for detecting object
US20110013840A1 (en) Image processing method and image processing apparatus
JP4373840B2 (en) Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
JP2007156939A (en) Person detector, person detection method, and person detection program
KR101737430B1 (en) A method of detecting objects in the image with moving background
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP2010057105A (en) Three-dimensional object tracking method and system
JP4235018B2 (en) Moving object detection apparatus, moving object detection method, and moving object detection program
JP2008288684A (en) Person detection device and program
CN110910426A (en) Action process and action trend identification method, storage medium and electronic device
KR101723536B1 (en) Method and Apparatus for detecting lane of road
JP6977337B2 (en) Site recognition method, device, program, and imaging control system
KR101313879B1 (en) Detecting and Tracing System of Human Using Gradient Histogram and Method of The Same
JP5217917B2 (en) Object detection and tracking device, object detection and tracking method, and object detection and tracking program
KR100996209B1 (en) Object Modeling Method using Gradient Template, and The System thereof
JP2005196359A (en) Moving object detection apparatus, moving object detection method and moving object detection program
JP2011043863A (en) Apparatus, method, program for determining/tracking object region, and apparatus for determining object region
US20230410467A1 (en) Image processing device and image processing method
KR100493718B1 (en) Method for pursuiting posture of golf swinger feature

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140521

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141114

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171122

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181123

Year of fee payment: 13