KR20160037643A - Method and Apparatus for Setting Candidate Area of Object for Recognizing Object - Google Patents

Method and Apparatus for Setting Candidate Area of Object for Recognizing Object Download PDF

Info

Publication number
KR20160037643A
KR20160037643A KR1020140130510A KR20140130510A KR20160037643A KR 20160037643 A KR20160037643 A KR 20160037643A KR 1020140130510 A KR1020140130510 A KR 1020140130510A KR 20140130510 A KR20140130510 A KR 20140130510A KR 20160037643 A KR20160037643 A KR 20160037643A
Authority
KR
South Korea
Prior art keywords
image frame
new
area
region
current image
Prior art date
Application number
KR1020140130510A
Other languages
Korean (ko)
Other versions
KR102085035B1 (en
Inventor
조동찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140130510A priority Critical patent/KR102085035B1/en
Publication of KR20160037643A publication Critical patent/KR20160037643A/en
Application granted granted Critical
Publication of KR102085035B1 publication Critical patent/KR102085035B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

A method and an apparatus for setting an object candidate area for recognizing an object are disclosed. Object detection for the entire image is performed only for a new image frame, and a candidate area except for an object recognized in advance on the basis of a motion vector detected by using the previous image frame is set for the current image frame acquired after the new image frame, to perform object recognition.

Description

객체 인식을 위한 객체 후보영역 설정방법 및 장치{Method and Apparatus for Setting Candidate Area of Object for Recognizing Object}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for setting an object candidate region for object recognition,

본 실시예는 객체 인식을 위한 객체 후보영역을 설정하는 방법 및 그를 위한 장치에 관한 것이다. The present embodiment relates to a method of setting an object candidate region for object recognition and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

일반적인 객체 검출 및 인식 기술은 기 설정된 윈도우가 영상 내의 모든 위치에서 다양한 크기로 스캔하는 윈도우 슬라이드 방식(Sliding Window)을 이용하여 특징값을 추출하고, 추출된 특징값을 객체 분류기에 통과시켜 객체를 검출 및 인식한다. 이러한 윈도우 슬라이드 방식은 객체를 검출하기 위해 필요한 연산량이 많기 때문에 한 장의 영상에서 객체를 검출 및 인식하는데 많은 시간이 걸린다. In general, object detection and recognition technology extracts feature values using a sliding window that scans a preset window at various positions in all positions in an image, and passes the extracted feature values to an object classifier to detect an object And recognizes. Since the window sliding method requires a large amount of computation to detect an object, it takes much time to detect and recognize an object in one image.

특히, 동영상에서 윈도우 슬라이드 방식으로 매 프레임마다 객체 검출을 수행하는 경우, 하나의 동영상을 분석하는데 상당한 시간이 걸리게 된다. 객체 검출을 위해 필요한 많은 연산량은 중앙 처리유닛(CPU: Central Processing Unit)나 그래픽 처리유닛(GPU: Graphic Processing Unit)에서 병렬 처리를 통하여 어느 정도 해결할 수 있다. 하지만, 다수의 동영상을 실시간으로 처리하기 위해서는 고성능의 하드웨어가 필요하고, 고성능 하드웨어를 구현하기 위한 구축비용이 증가한다. Particularly, when object detection is performed every frame by a window slide method in a moving picture, it takes a considerable time to analyze one moving picture. A large amount of computation required for object detection can be solved to some extent through a parallel processing in a central processing unit (CPU) or a graphics processing unit (GPU). However, in order to process a large number of videos in real time, high-performance hardware is required, and the cost of constructing high-performance hardware is increased.

이러한 문제를 개선하기 위해 영상 내에서 객체가 존재할만한 중요 영역(Saliency Map)을 검출하여 윈도우 슬라이드 방식에서 스캔할 영역을 한정하는 방법이 존재하지만 중요 영역을 결정할 때 오류가 발생할 경우, 객체를 검출할 수 없는 문제점이 있다. In order to solve this problem, there is a method of limiting a scan area in a window slide method by detecting a saliency map in which an object exists in an image. However, when an error occurs in determining a significant area, There is no problem.

이외에 이전에 검출한 객체를 추적 기술을 이용하여 지속적으로 객체의 위치 및 크기를 추적하고, 그 외의 영역에서 객체 검출을 수행하는 방법이 있지만, 일반적으로 검출, 추적하는 기술이 영상 내에서 차지하는 크기가 작기 때문에 새로운 영상에서 객체 검출 및 인식을 수행할 후보 공간이 크게 존재하게 된다. 반대로 객체의 크기가 클 경우, 효과적인 추적을 수행하기 위하여 많은 연산량이 필요로 하는 문제점이 있다. In addition, there is a method of continuously tracking the position and size of an object by using a tracking technique, and performing object detection in other areas. However, in general, The candidate space for performing object detection and recognition in a new image is large. On the contrary, when the size of the object is large, there is a problem that a large amount of calculation is required to perform effective tracking.

본 실시예는 신규 영상 프레임에 대해서만 영상 전체에 대한 객체 검출을 수행하고, 신규 영상 프레임 이후 획득되는 현재 영상 프레임에 대해서는 이전 영상 프레임을 이용하여 검출된 움직임 벡터를 기반으로 기 인식된 객체를 제외한 후보영역을 설정하여 객체 인식을 수행하는 객체 인식을 위한 객체 후보영역 설정방법 및 장치를 제공하는 데 주된 목적이 있다.In this embodiment, object detection is performed for the whole image only for a new image frame, and for the current image frame obtained after a new image frame, a candidate excluding a previously recognized object based on a motion vector detected using a previous image frame There is provided a method and apparatus for setting an object candidate region for recognizing an object that performs object recognition by setting a region.

본 실시예의 일 측면에 의하면, 현재 영상 프레임을 획득하는 영상 획득부;According to an aspect of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring a current image frame;

상기 영상 획득부에서 획득한 상기 현재 영상 프레임이 이전 영상 프레임을 가지는지 확인하는 영상 제어부; 상기 현재 영상 프레임이 상기 이전 영상 프레임을 가지는 경우, 상기 이전 영상 프레임 및 상기 현재 영상 프레임을 이용하여 기 인식된 객체에 대한 객체 움직임 벡터를 추출하는 움직임 추정부; 상기 객체 움직임 벡터에 근거하여 상기 현재 영상 프레임 중 기 인식된 영역을 제외한 신규 영역을 검출하고, 상기 신규 영역을 기초로 객체 후보영역을 설정하는 후보영역 설정부; 및 상기 객체 후보영역 내에서 객체 인식을 수행하는 객체 인식부를 포함하는 것을 특징으로 하는 객체 인식장치를 제공한다.An image control unit for checking whether the current image frame acquired by the image acquisition unit has a previous image frame; A motion estimator for extracting an object motion vector for a previously recognized object using the previous image frame and the current image frame when the current image frame has the previous image frame; A candidate region setting unit for detecting a new region excluding the previously recognized region in the current image frame based on the object motion vector and setting an object candidate region based on the new region; And an object recognition unit for performing object recognition in the object candidate region.

또한, 본 실시예의 다른 측면에 의하면, 현재 영상 프레임을 획득하는 영상 획득과정; 상기 영상 획득부에서 획득한 상기 현재 영상 프레임이 이전 영상 프레임을 가지는지 확인하는 영상 제어과정; 상기 현재 영상 프레임이 상기 이전 영상 프레임을 가지는 경우, 상기 이전 영상 프레임 및 상기 현재 영상 프레임을 이용하여 기 인식된 객체에 대한 객체 움직임 벡터를 추출하는 움직임 추정과정; 상기 객체 움직임 벡터에 근거하여 상기 현재 영상 프레임 중 기 인식된 영역을 제외한 신규 영역을 검출하고, 상기 신규 영역을 기초로 객체 후보영역을 설정하는 후보영역 설정과정; 및 상기 객체 후보영역 내에서 객체 인식을 수행하는 객체 인식과정을 포함하는 것을 특징으로 하는 객체 인식을 위한 객체 후보영역 설정방법을 제공한다.According to another aspect of the present invention, there is provided an image processing method comprising: acquiring a current image frame; An image control process for checking whether the current image frame acquired by the image acquisition unit has a previous image frame; A motion estimation process for extracting an object motion vector for a previously recognized object using the previous image frame and the current image frame when the current image frame has the previous image frame; A candidate region setting step of detecting a new region excluding the previously recognized region in the current image frame based on the object motion vector and setting an object candidate region based on the new region; And an object recognizing step of recognizing an object in the object candidate region.

이상에서 설명한 바와 같이 본 실시예에 의하면, 대용량의 동영상 데이터에서 빠르게 객체 인식을 수행할 수 있고, 수집된 데이터를 이용하여 영상 기반의 빅데이터 분석에 활용할 수 있는 효과가 있다. As described above, according to the present embodiment, object recognition can be performed rapidly from a large amount of moving image data, and the collected data can be utilized for image-based big data analysis.

도 1은 본 실시예에 따른 객체 인식장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 객체 인식을 위한 객체 후보영역을 설정하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 첫 영상 프레임에 대한 초기 영상분할 및 객체인식을 설명하기 위한 예시도이다.
도 4는 본 실시예에 따른 객체 인식장치에서 전역 움직임을 검출하여 객체 후보영역을 설정하는 동작을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 객체 인식장치에서 지역 움직임을 검출하여 객체 후보영역을 설정하는 동작을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 객체 인식장치에서 장면 변화를 검출하여 객체 후보영역을 설정하는 동작을 초기화하는 동작을 설명하기 위한 예시도이다. FIG. 1 is a block diagram schematically showing an object recognition apparatus according to the present embodiment.
FIG. 2 is a flowchart for explaining a method of setting an object candidate region for object recognition according to the present embodiment.
3 is an exemplary diagram for explaining initial image segmentation and object recognition for a first image frame according to the present embodiment.
4 is an exemplary diagram for explaining an operation of setting an object candidate region by detecting a global motion in the object recognition apparatus according to the present embodiment.
5 is an exemplary diagram illustrating an operation of detecting an area motion and setting an object candidate area in the object recognition apparatus according to the present embodiment.
6 is an exemplary diagram for explaining an operation of initializing an operation of detecting an scene change and setting an object candidate region in the object recognition apparatus according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 객체 인식장치를 개략적으로 나타낸 블록 구성도이다. FIG. 1 is a block diagram schematically showing an object recognition apparatus according to the present embodiment.

본 실시예에 따른 객체 인식장치(100)는 영상 획득부(110), 영상 제어부(120), 움직임 추정부(130), 후보영역 설정부(140) 및 객체 인식부(150)를 포함한다. 도 1에 도시된 객체 인식장치(100)는 일 실시예에 따른 것으로서, 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 객체 인식장치(100)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. The object recognition apparatus 100 includes an image acquisition unit 110, an image control unit 120, a motion estimation unit 130, a candidate region setting unit 140, and an object recognition unit 150. The object recognition apparatus 100 shown in FIG. 1 is according to one embodiment. Not all the blocks shown in FIG. 1 are essential components, and in some embodiments, some blocks included in the object recognition apparatus 100 are added , Changed or deleted.

영상 획득부(110)는 영상 촬영장치(미도시), 영상 저장장치(미도시) 등의 외부장치로부터 영상 프레임을 획득한다. 영상 획득부(110)는 실시간으로 촬영된 촬영 영상에 대한 영상 프레임을 획득할 수 있으나, 기 저장된 촬영 영상에 대한 영상 프레임을 획득할 수도 있다. 여기서, 영상 프레임은 장면 식별정보, 프레임 식별정보 등의 영상 속성정보를 포함한다. The image acquiring unit 110 acquires an image frame from an external device such as a photographing device (not shown) or an image storage device (not shown). The image acquisition unit 110 may acquire an image frame for a photographed image captured in real time, but may acquire an image frame for a previously stored photographed image. Here, the image frame includes image attribute information such as scene identification information and frame identification information.

영상 제어부(120)는 획득한 영상 프레임이 하나의 장면(Scene)에 대한 신규 영상 프레임인지 여부를 판단 및 객체 인식 후 장면 변화를 확인한다. 여기서, 장면은 유사한 객체를 갖는 복수 개의 영상 프레임을 포함하는 영상 단위 또는 영상 그룹을 의미한다. 다시 말해, 유사한 객체를 갖는 복수의 영상 프레임을 포함하여 하나의 장면이 구현되고, 복수의 장면을 포함하여 촬영 영상이 구현된다. 복수 개의 장면 각각의 첫 번째 영상 프레임은 신규 영상 프레임을 의미한다. 본 실시예에 따른 영상 제어부(120)는 프레임 확인부(122) 및 장면 변화 확인부(124)를 포함한다. The image controller 120 determines whether the acquired image frame is a new image frame for one scene and verifies scene change after recognizing the object. Here, a scene means an image unit or a group of images including a plurality of image frames having similar objects. In other words, one scene is implemented including a plurality of image frames having similar objects, and a shot image including a plurality of scenes is implemented. The first image frame of each of a plurality of scenes means a new image frame. The image control unit 120 according to the present embodiment includes a frame checking unit 122 and a scene change checking unit 124. [

프레임 확인부(122)는 영상 획득부(110)에서 획득한 영상 프레임에 포함된 영상 속성정보에 근거하여 신규 영상 프레임인지 여부를 판단한다. 더 자세히 설명하자면, 프레임 확인부(122)는 획득한 영상 프레임에 포함된 장면 식별정보, 프레임 식별정보 등을 분석하여 획득한 영상 프레임이 소정의 장면의 첫 번째 영상 프레임인 신규 영상 프레임인지 여부를 판단한다. The frame checking unit 122 determines whether the new image frame is a new image frame based on the image attribute information included in the image frame acquired by the image obtaining unit 110. [ More specifically, the frame identifying unit 122 determines whether the image frame obtained by analyzing the scene identification information and the frame identification information included in the acquired image frame is a new image frame that is the first image frame of a predetermined scene .

프레임 확인부(122)는 획득한 영상 프레임이 소정의 장면의 신규 영상 프레임인 것으로 판단된 경우, 신규 영상 프레임을 객체 인식부(150)로 전송하여 초기 객체 인식이 수행되도록 한다. When it is determined that the acquired image frame is a new image frame of a predetermined scene, the frame checking unit 122 transmits the new image frame to the object recognizing unit 150 so that the initial object recognition is performed.

프레임 확인부(122)는 획득한 영상 프레임에 포함된 정보에 근거하여 신규 영상 프레임을 확인하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 장면 변화 확인부(124)로부터 장면 변화 알림신호가 수신되는 경우, 획득한 영상 프레임을 신규 영상 프레임으로 판단할 수 있다. The frame check unit 122 confirms the new image frame based on the information included in the acquired image frame, but the present invention is not limited to this. The scene change notification unit 124 receives the scene change notification signal , The acquired image frame can be determined as a new image frame.

한편, 프레임 확인부(122)는 획득한 영상 프레임이 소정의 장면의 신규 영상 프레임이 아닌 이전 영상 프레임을 갖는 현재 영상 프레임인 것으로 판단된 경우, 현재 영상 프레임 및 기 저장된 이전 영상 프레임을 움직임 추정부(130)로 전송하여 기 인식된 객체의 객체정보를 기반으로 움직임이 추정되도록 한다. 여기서, 이전 영상 프레임은 영상 프레임을 저장하는 저장부(미도시)에 저장되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 외부 저장장치 또는 외부 데이터베이스로 저장될 수 있다. On the other hand, if it is determined that the acquired image frame is not a new image frame of a predetermined scene but a current image frame having a previous image frame, (130) to estimate the motion based on the object information of the recognized object. Here, the previous image frame is preferably stored in a storage unit (not shown) for storing the image frame, but is not limited thereto and may be stored in an external storage device or an external database.

장면 변화 확인부(124)는 신규 영상 프레임 또는 현재 영상 프레임에 대한 객체 인식 수행 후 장면의 변화 여부를 확인한다. The scene change confirmation unit 124 confirms whether the scene changes after performing the object recognition for the new image frame or the current image frame.

장면 변화 확인부(124)는 신규 영상 프레임에 포함된 장면 식별정보, 프레임 식별정보 등에 근거하여 장면 변화 여부를 확인하고, 장면 변화가 존재하는 경우, 프레임 확인부(122)로 장면 변화 알림신호를 전송하여 획득한 영상 프레임이 신규 영상 프레임으로 판단하도록 한다. 한편, 장면 변화 확인부(124)는 영상 획득부(110)에서 획득된 영상 프레임에 대해 장면 변화를 확인하고, 프레임 확인부(120)에서 신규 영상 프레임인지 여부를 확인하도록 할 수 있다. The scene change confirmation unit 124 checks whether a scene change has occurred based on scene identification information, frame identification information, and the like included in a new video frame. If there is a scene change, the scene change confirmation unit 124 sends a scene change notification signal And determines that the image frame obtained by transmission is a new image frame. On the other hand, the scene change checking unit 124 may check the scene change for the image frame obtained by the image obtaining unit 110, and may check whether the frame check unit 120 is a new image frame.

또한, 장면 변화 확인부(124)는 객체 인식부(150)로부터 객체 인식을 수행한 현재 영상 프레임과 이전 영상 프레임에 포함된 각각의 화소 즉, 동일한 위치에 해당하는 화소값의 차이를 비교하여 소정의 기준 퍼센트 이상의 화소들이 동일한 경우, 현재 영상 프레임의 장면 변화가 존재하지 않는 것으로 판단한다. 여기서, 장면 변화 확인부(124)는 현재 영상 프레임과 이전 영상 프레임에 동일한 위치에 해당하는 화소값의 차이를 비교하여 소정의 기준 퍼센트 미만의 화소들이 동일한 경우, 현재 영상 프레임의 장면 변화가 존재하는 것으로 판단한다. In addition, the scene change checking unit 124 compares the difference between the current image frame in which the object recognition is performed by the object recognizing unit 150 and each pixel included in the previous image frame, that is, the pixel value corresponding to the same position, It is determined that there is no scene change of the current image frame. Here, the scene change checking unit 124 compares the difference between pixel values corresponding to the same position in the current image frame and the previous image frame, and determines whether there is a scene change of the current image frame .

또한, 장면 변화 확인부(124)는 객체 인식부(150)로부터 객체 인식을 수행한 현재 영상 프레임에 대한 객체 후보영역의 크기에 근거하여 장면 변화 여부를 확인한다. 더 자세히 설명하자면, 장면 변화 확인부(124)는 객체 인식을 수행한 현재 영상 프레임에서 객체 검출을 위한 객체 후보영역의 크기가 기 설정된 기준영역을 초과하는 경우, 프레임 확인부(122)로 장면 변화 알림신호를 전송하여 현재 영상 프레임의 이후로 획득되는 영상 프레임을 신규 영상 프레임으로 판단하도록 한다. In addition, the scene change determination unit 124 determines whether the scene change has occurred based on the size of the object candidate region for the current image frame that has performed object recognition from the object recognition unit 150. [ More specifically, when the size of the object candidate region for object detection in the current image frame that has performed the object recognition exceeds the predetermined reference region, the scene change detection unit 124 checks the scene change And transmits a notification signal to determine an image frame obtained after the current image frame as a new image frame.

움직임 추정부(130)는 현재 영상 프레임 및 이전 영상 프레임을 이용하여 기 인식된 객체의 객체정보를 기반으로 움직임을 추정한다. 움직임 추정부(130)는 전역 움직임 검출부(132) 및 지역 움직임 검출부(134)를 포함한다. The motion estimation unit 130 estimates motion based on the object information of the previously recognized object using the current image frame and the previous image frame. The motion estimation unit 130 includes a global motion detection unit 132 and a local motion detection unit 134.

전역 움직임 검출부(132)는 현재 영상 프레임을 기반으로 이전 영상 프레임과의 움직임 벡터를 추출하고, 추출된 움직임 벡터에 근거하여 현재 영상 프레임에 대한 전역 움직임을 검출한다. The global motion detector 132 extracts a motion vector of the previous image frame based on the current image frame, and detects a global motion of the current image frame based on the extracted motion vector.

전역 움직임 검출부(132)는 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 현재 영상 프레임에서 검출하고, 검출된 영역에 근거하여 움직임 벡터를 추출하고, 기 설정된 개수의 블록에 대응하는 움직임 벡터의 평균값을 이용하여 전역 움직임을 검출한다. 여기서, 전역 움직임 검출부(1320)는 기 설정된 블록을 기초로 추출된 움직임 벡터를 이용하여 전역 움직임을 검출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 이전 영상 프레임 및 현재 영상 프레임 간의 특징점, 에지값, 화소 차이 등을 이용하여 추출된 움직임 벡터를 이용하여 전역 움직임을 검출할 수 있다. The global motion detection unit 132 detects an area matching a predetermined block in a previous image frame in a current image frame, extracts a motion vector based on the detected area, and calculates a mean value of motion vectors To detect the global motion. Here, the global motion detector 1320 detects global motion using a motion vector extracted based on a preset block, but the present invention is not limited to this. The feature point, the edge value , And a global motion can be detected using a motion vector extracted using a pixel difference or the like.

지역 움직임 검출부(134)는 현재 영상 프레임을 기반으로 이전 영상 프레임과의 움직임 벡터를 추출하고, 추출된 움직임 벡터 중 기 인식된 객체에 대응하는 객체 움직임 벡터를 이용하여 현재 영상 프레임에 대한 지역 움직임을 검출한다. The local motion detection unit 134 extracts a motion vector of a previous image frame based on the current image frame, and calculates a local motion of the current image frame using the object motion vector corresponding to the previously recognized object among the extracted motion vectors .

지역 움직임 검출부(134)는 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 현재 영상 프레임에서 검출하고, 검출된 영역에 대응하는 움직임 벡터를 추출하고, 추출된 움직임 벡터 중 기 인식된 소정의 객체에 대응하는 객체 움직임 벡터를 이용하여 기 인식된 객체에 대한 지역 움직임을 검출한다. 여기서, 지역 움직임 검출부(134)는 기 설정된 블록을 기초로 추출된 움직임 벡터를 이용하여 지역 움직임을 검출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 이전 영상 프레임 및 현재 영상 프레임 간의 특징점, 에지값, 화소 차이 등을 이용하여 추출된 움직임 벡터를 이용하여 기 인식된 객체에 대한 지역 움직임을 검출할 수 있다. The local motion detection unit 134 detects an area matching the preset block in the previous image frame in the current image frame, extracts a motion vector corresponding to the detected area, And detects the local motion of the previously recognized object using the corresponding object motion vector. Herein, it is described that the local motion detection unit 134 detects a local motion using a motion vector extracted based on a predetermined block, but the present invention is not limited thereto. The feature point, the edge value between the previous image frame and the current image frame , And a motion vector extracted using a pixel difference can be used to detect a local motion for a previously recognized object.

후보영역 설정부(140)는 현재 영상 프레임에 대한 움직임을 추정하여 객체가 기 인식된 영역을 제외한 신규 영역을 검출하고, 검출된 신규영역을 기초로 객체 후보영역을 설정한다. 다시 말해, 후보영역 설정부(140)는 검출된 전역 움직임 또는 지역 움직임에 근거하여 현재 영상 프레임 중 신규 영역을 검출하고, 검출된 신규 영역의 전체 또는 일부를 객체 후보영역으로 설정한다. The candidate region setting unit 140 estimates the motion of the current image frame to detect a new region excluding the previously recognized region of the object, and sets an object candidate region based on the detected new region. In other words, the candidate region setting unit 140 detects a new region in the current image frame based on the detected global motion or local motion, and sets all or a part of the detected new region as an object candidate region.

후보영역 설정부(140)는 움직임 추정부(130)로부터 검출된 전역 움직임에 근거하여 제1 신규영역을 검출한다. 더 자세히 설명하자면, 후보영역 설정부(140)는 현재 영상 프레임에서 전역 움직임에 대응하는 영역을 제외한 나머지 영역을 제1 신규영역으로 검출한다. The candidate region setting unit 140 detects the first new region based on the global motion detected by the motion estimation unit 130. [ More specifically, the candidate region setting unit 140 detects a region other than the region corresponding to the global motion in the current image frame as the first new region.

후보영역 설정부(140)는 이전 영상 프레임에서 기 인식된 객체들을 포함하는 영역을 현재 영상 프레임에서 추정하고, 추정된 영역을 제외한 나머지 영역을 제1 신규영역으로 검출한다. The candidate region setting unit 140 estimates an area including the previously recognized objects in the previous image frame in the current image frame and detects the remaining area excluding the estimated area as the first new area.

한편, 후보영역 설정부(140)는 제1 신규영역을 검출하는 과정에서 유사영역을 제거하는 동작을 추가로 수행한다. 후보영역 설정부(140)는 현재 영상 프레임에서 이전 영상 프레임과 동일한 객체를 갖는 것으로 추정된 영역을 제외한 나머지 영역 중 추정된 영역과 유사한 특징을 갖는 영역을 추가로 제외하여 제1 신규영역을 검출한다. Meanwhile, the candidate region setting unit 140 further performs an operation of removing the similar region in the process of detecting the first new region. The candidate region setting unit 140 further detects a first new region by excluding regions having characteristics similar to those of the estimated region out of the regions other than the region estimated to have the same object as the previous image frame in the current image frame .

예를 들어, 후보영역 설정부(140)는 이전 영상 프레임에 하늘, 바다 및 배와 같이 복수 개의 기 인식된 객체가 존재하는 경우, 현재 영상 프레임에서 복수 개의 기 인식된 객체에 대응하는 추정된 영역을 제외한 영역 중 배경에 해당하는 하늘 및 바다와 유사한 화소 또는 블록 특징을 갖는 영역을 추가로 제외하여 제1 신규영역을 검출한다. For example, if there are a plurality of recognized objects such as sky, sea, and ship in the previous image frame, the candidate area setting unit 140 sets the estimated area corresponding to a plurality of previously recognized objects in the current image frame A region having a pixel or block characteristic similar to the sky and the sea corresponding to the background is further excluded to detect the first new area.

후보영역 설정부(140)는 움직임 추정부(130)로부터 검출된 지역 움직임에 근거하여 제2 신규영역을 검출한다. 즉, 후보영역 설정부(140)는 현재 영상 프레임에서 지역 움직임에 대응하는 객체의 이전 위치영역을 제2 신규영역으로 검출한다. The candidate region setting unit 140 detects the second new region based on the local motion detected by the motion estimation unit 130. [ That is, the candidate region setting unit 140 detects the previous location area of the object corresponding to the local motion in the current image frame as the second new area.

후보영역 설정부(140)는 이전 영상 프레임에서 기 인식된 객체들 각각에 대한 지역 움직임에 근거하여 현재 영상 프레임에서 이동된 기 인식된 객체들을 추정하고, 기 인식된 객체들의 이동 전 영역 즉, 기 인식된 객체들에 의해 가려졌던 영역을 제2 신규영역으로 검출한다. The candidate region setting unit 140 estimates the recognized objects moved in the current image frame based on the local motion for each of the previously recognized objects in the previous image frame, And detects the area covered by the recognized objects as the second new area.

후보영역 설정부(140)는 객체 인식을 수행하기 위한 객체 후보영역을 설정한다. 후보영역 설정부(140)는 현재 영상 프레임 내에서 제1 신규영역 및 제2 신규영역을 포함하는 영역을 객체 후보영역으로 설정한다. 여기서, 객체 후보영역은 제1 신규영역 및 제2 신규영역을 합산하고, 중복되는 영역을 뺀 영역을 의미한다. The candidate region setting unit 140 sets an object candidate region for performing object recognition. The candidate region setting unit 140 sets an area including the first new area and the second new area as the object candidate area in the current image frame. Here, the object candidate region means an area obtained by adding up the first new area and the second new area and subtracting the overlapping area.

후보영역 설정부(140)는 제1 신규영역 및 제2 신규영역 모두를 이용하여 객체 후보영역을 설정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예컨대, 후보영역 설정부(140)는 제1 신규영역만을 이용하여 객체 후보영역을 설정하거나, 제2 신규영역만을 이용하여 객체 후보영역을 설정할 수 있다. 또한, 후보영역 설정부(140)는 제1 신규영역 및 제2 신규영역을 포함하는 영역 중 사용자의 조작 또는 입력에 근거하여 설정된 소정의 영역만을 객체 후보영역으로 설정할 수도 있다. The candidate region setting unit 140 preferably sets the object candidate region using both the first new region and the second new region, but is not limited thereto. For example, the candidate region setting unit 140 can set the object candidate region using only the first new region or set the object candidate region using only the second new region. In addition, the candidate region setting unit 140 may set only a predetermined region set as an object candidate region based on an operation or input of a user among regions including the first new region and the second new region.

객체 인식부(150)는 영상 프레임의 전체 또는 일부에 포함된 객체를 검출하기 위한 객체 인식을 수행한다. 본 실시예에 따른 객체 인식부(150)는 신규 영상 프레임 내에서 객체를 검출하기 위한 초기 객체 인식을 수행하거나, 현재 영상 프레임에 설정된 후보영역 내에서 신규 객체를 검출하기 위한 추가 객체 인식을 수행한다. The object recognition unit 150 performs object recognition for detecting an object included in all or a part of an image frame. The object recognition unit 150 according to the present embodiment performs initial object recognition for detecting an object in a new image frame or performs additional object recognition for detecting a new object in a candidate region set in a current image frame .

이하, 객체 인식부(150)가 초기 객체 인식을 수행하는 동작에 대해 설명하도록 한다. Hereinafter, an operation in which the object recognition unit 150 performs initial object recognition will be described.

객체 인식부(150)는 영상 제어부(120)로부터 신규 영상 프레임을 수신하는 경우, 신규 영상 프레임의 전체 영역에 대해 객체 인식을 수행한다. 더 자세히 설명하자면, 객체 인식부(150)는 신규 영상 프레임에 포함된 두 개 이상의 화소(Pixel)를 포함하는 화소블록을 설정하고, 화소블록을 기준으로 에지 검출, 전경 배경 분리, 기 저장된 참조영상 비교 등의 방식을 이용하여 영상 분할을 수행하여 신규 영상 프레임 내에 포함된 객체를 분류하는 객체 인식을 수행한다. When receiving a new image frame from the image control unit 120, the object recognition unit 150 performs object recognition on the entire area of the new image frame. In more detail, the object recognition unit 150 sets a pixel block including two or more pixels included in a new image frame, and detects an edge based on the pixel block, foreground background separation, Comparison is performed to perform object segmentation to classify objects included in a new image frame.

객체 인식부(150)는 영상 프레임에 포함된 모든 화소인 W(영상 프레임의 가로 화소수) × H(영상 프레임의 세로 화소수) 중 두 개 이상의 화소를 포함하는 m(화소블록의 가로 화소수) × n(화소블록의 세로 화소수) 크기의 화소블록으로 구분하여 설정한다. 예컨대, 객체 인식부(150)는 320 × 240 크기의 영상 프레임을 2 × 2 크기의 화소블록으로 구분하여 설정할 수 있다.The object recognizing unit 150 recognizes m (the number of horizontal pixels of the pixel block) including at least two of W (horizontal pixel number of the image frame) × H (vertical pixel number of the image frame) ) × n (the number of vertical pixels of the pixel block). For example, the object recognizer 150 may divide an image frame having a size of 320 × 240 into 2 × 2 pixel blocks.

객체 인식부(150)는 신규 영상 프레임에 설정된 화소블록의 그래디언트(Gradient) 정보를 이용하여 신규 영상 프레임 내에 존재하는 객체들의 윤곽을 에지(Edge)로 검출하여 객체 분류를 위한 분할 에지영상을 생성한다. 여기서, 그래디언트 정보는 화소블록 내에 포함된 소정의 화소들 중 인접하는 화소들 간의 차이값을 이용하여 산출된 값으로서, 화소들 간 차이의 절대값의 합을 의미할 수 있다. The object recognition unit 150 generates a segmented edge image for object classification by detecting the outline of the objects existing in the new image frame using an edge by using the gradient information of the pixel block set in the new image frame . Here, the gradient information is a value calculated by using a difference value between adjacent pixels among predetermined pixels included in the pixel block, and may mean a sum of absolute values of differences between pixels.

객체 인식부(150)는 생성된 분할 에지영상과 기 저장된 참조영상 또는 기 저장된 기준 분류정보 등의 객체 분류정보를 이용하여 객체를 분류하는 객체 인식을 수행한다. 예컨대, 객체 인식부(150)는 분할 에지영상과 기 저장된 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 객체후보 화소를 객체후보로 그룹화한다. 객체 인식부(150)는 분할 에지영상의 화소값과 참조영상의 화소값을 소정의 함수에 적용하여 산출된 상대 차이값(RD: Relative Difference)이 기 설정된 임계값 이상인 화소블록들을 하나의 객체로 판단하고, 각각의 객체를 기 설정된 기준 분류정보에 따라 분류하여 객체 인식을 수행한다. The object recognition unit 150 performs object recognition for classifying an object using the generated segmented edge image, the previously stored reference image, or the previously stored object classification information. For example, the object recognition unit 150 extracts an object candidate pixel by comparing a segmented edge image and a previously stored reference image, and groups the extracted plurality of object candidate pixels into object candidates. The object recognition unit 150 may classify the pixel values of the segmented edge image and the reference image into a predetermined number of pixel blocks having a predetermined relative difference value (RD) And performs object recognition by classifying each object according to predetermined reference classification information.

또한, 객체 인식부(150)는 기 설정된 윈도우를 객체 후보영역 내에 슬라이딩하여 객체 인식을 수행할 수 있다. 여기서, 객체 인식부(150)는 객체 후보영역의 크기가 기 설정된 윈도우의 크기보다 큰 경우, 윈도우를 슬라이딩하여 객체 인식을 수행한다.In addition, the object recognition unit 150 may perform object recognition by sliding a preset window in an object candidate region. Here, if the size of the object candidate region is larger than the predetermined window size, the object recognition unit 150 performs object recognition by sliding the window.

한편, 객체 인식부(150)는 객체 후보영역이 설정된 경우, 설정된 객체 후보영역 내에서 객체 인식을 수행한다. 여기서, 객체 인식부(150)는 객체 후보영역을 화소블록으로 설정하고, 화소블록 내에 포함된 화소블록을 기준으로 에지 검출, 전경 배경 분리, 기 저장된 참조영상 비교 등의 방식을 이용하여 영상 분할을 수행하여 현재 영상 프레임 내에 포함된 신규 객체를 검출하기 위한 객체 인식을 수행한다. On the other hand, when the object candidate region is set, the object recognition unit 150 performs object recognition in the set object candidate region. Here, the object recognition unit 150 sets the object candidate region as a pixel block, and performs image segmentation using edge detection, foreground background separation, and stored reference image comparison based on the pixel block included in the pixel block And performs object recognition to detect a new object included in the current image frame.

도 2는 본 실시예에 따른 객체 인식을 위한 객체 후보영역을 설정하는 방법을 설명하기 위한 순서도이다. FIG. 2 is a flowchart for explaining a method of setting an object candidate region for object recognition according to the present embodiment.

객체 인식장치(100)는 외부장치 또는 영상 촬영장치(미도시)로부터 영상 프레임을 획득한다(S210). The object recognition apparatus 100 acquires an image frame from an external device or a photographing apparatus (not shown) (S210).

객체 인식장치(100)는 영상 프레임에 대한 장면의 변화를 확인하고(S212), 확인된 영상 프레임이 하나의 장면 단위의 첫 번째 영상 프레임인지 여부를 확인한다(S220). 다시 말해, 객체 인식장치(100)는 영상 프레임의 화소 차이값에 따른 변화률에 근거하여 장면의 변화 여부를 확인하고, 장면 변화가 존재하는 경우, 확인된 영상 프레임을 장면 단위의 첫 번째 영상 프레임인 신규 영상 프레임으로 판단한다.The object recognition apparatus 100 confirms a scene change with respect to an image frame (S212), and determines whether the confirmed image frame is a first image frame of one scene unit (S220). In other words, the object recognition apparatus 100 checks whether a scene changes based on a rate of change according to a pixel difference value of an image frame. If there is a scene change, the object recognition apparatus 100 determines whether the identified image frame is a first image frame As a new video frame.

객체 인식장치(100)는 획득한 영상 프레임이 장면 단위의 신규 영상 프레임인 경우, 영상 프레임을 초기 영상 분할하고, 기준 객체정보를 검출하기 위한 객체 인식을 수행한다(S222). 객체 인식장치(100)는 신규 영상 프레임에 포함된 두 개 이상의 화소를 포함하는 화소블록을 설정하고, 화소블록을 기준으로 에지 검출, 전경 배경 분리, 기 저장된 참조영상 비교 등의 방식을 이용하여 영상 분할을 수행하여 신규 영상 프레임 내에 포함된 객체를 분류하는 객체 인식을 수행한다. If the acquired image frame is a new image frame of a scene unit, the object recognition apparatus 100 divides the image frame into an initial image and performs object recognition for detecting reference object information (S222). The object recognizing apparatus 100 sets a pixel block including two or more pixels included in a new image frame, and detects an image based on a pixel block using edge detection, foreground background separation, Performs segmentation, and performs object recognition for classifying objects included in a new image frame.

객체 인식장치(100)는 획득한 영상 프레임이 장면 단위의 첫 번째 영상 프레임이 아닌 경우, 획득한 현재 영상 프레임과 기 저장된 이전 영상 프레임을 이용하여 움직임 벡터를 추출한다(S230). If the acquired image frame is not the first image frame of the scene unit, the object recognition apparatus 100 extracts the motion vector using the acquired current image frame and the previously stored previous image frame (S230).

객체 인식장치(100)는 추출된 움직임 벡터에 근거하여 전역 움직임을 검출한 경우(S240), 검출된 전역 움직임에 근거하여 기 인식된 객체영역을 제외하여 제1 신규영역을 추출한다(S250). 객체 인식장치(100)는 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 현재 영상 프레임에서 검출하고, 검출된 영역에 근거하여 움직임 벡터를 추출하고, 기 설정된 개수의 블록에 대응하는 움직임 벡터의 평균값을 이용하여 전역 움직임을 검출한다. 객체 인식장치(100)는 검출된 전역 움직임에 근거하여 현재 영상 프레임에서 전역 움직임에 대응하는 영역을 제외한 나머지 영역을 제1 신규영역으로 검출한다. If the global motion is detected based on the extracted motion vector (S240), the object recognition apparatus 100 extracts the first new region excluding the previously recognized object region based on the detected global motion (S250). The object recognition apparatus 100 detects an area matching a predetermined block in a previous image frame in a current image frame, extracts a motion vector based on the detected area, and calculates an average value of motion vectors corresponding to a predetermined number of blocks To detect the global motion. The object recognition apparatus 100 detects the remaining area excluding the area corresponding to the global motion in the current image frame as the first new area based on the detected global motion.

한편, 객체 인식장치(100)는 제1 신규영역을 검출하는 과정에서 유사영역을 제거하는 과정을 추가로 수행할 수 있다. 예컨대, 객체 인식장치(100)는 현재 영상 프레임에서 이전 영상 프레임과 동일한 객체를 갖는 것으로 추정된 영역을 제외한 나머지 영역 중 추정된 영역과 유사한 특징을 갖는 영역을 추가로 제외하여 제1 신규영역을 검출한다. Meanwhile, the object recognition apparatus 100 may further perform a process of removing the similar region in the process of detecting the first new region. For example, the object recognition apparatus 100 may further exclude a region having a characteristic similar to the estimated region out of the regions other than regions estimated to have the same object as the previous image frame in the current image frame, do.

객체 인식장치(100)는 추출된 움직임 벡터에 근거하여 소정의 객체에 대한 지역 움직임을 검출한 경우(S242), 지역 움직임에 근거하여 이동된 소정의 객체에 대한 이동전 영역을 제2 신규영역으로 추출한다(S244).When the object recognition apparatus 100 detects a local motion for a predetermined object on the basis of the extracted motion vector (S242), the object recognition apparatus 100 sets the all-movement region for the predetermined object moved on the basis of the local motion as the second new region (S244).

객체 인식장치(100)는 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 현재 영상 프레임에서 검출하고, 검출된 영역에 대응하는 움직임 벡터를 추출하고, 추출된 움직임 벡터 중 기 인식된 소정의 객체에 대응하는 객체 움직임 벡터를 이용하여 기 인식된 객체에 대한 지역 움직임을 검출한다. 객체 인식장치(100)는 현재 영상 프레임에서 지역 움직임에 대응하는 객체의 이전 위치영역을 제2 신규영역으로 검출한다. The object recognition apparatus 100 detects an area matching a preset block in a previous image frame in a current image frame, extracts a motion vector corresponding to the detected area, and extracts a predetermined object And detects the local motion of the previously recognized object using the corresponding object motion vector. The object recognition apparatus 100 detects the previous position area of the object corresponding to the local motion in the current image frame as the second new area.

객체 인식장치(100)는 제1 신규영역 또는 제2 신규영역을 객체 후보영역으로 선정한다(S260). 객체 인식장치(100)는 제1 신규영역 및 제2 신규영역 모두를 이용하여 객체 후보영역을 설정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예를 들어, 객체 인식장치(100)는 제1 신규영역만을 이용하여 객체 후보영역을 설정하거나, 제2 신규영역만을 이용하여 객체 후보영역을 설정할 수 있다. The object recognition apparatus 100 selects the first new region or the second new region as the object candidate region (S260). The object recognition apparatus 100 preferably sets the object candidate region using both the first new region and the second new region, but is not limited thereto. For example, the object recognition apparatus 100 can set the object candidate region using only the first new region or set the object candidate region using only the second new region.

단계 S240 내지 단계 S260에서 객체 인식장치(100)는 전역 움직임 및 지역 움직임을 별도로 산출하여 검출된 제1 신규영역 또는 제2 신규영역을 기초로 객체 후보영역을 선정하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예컨대, 객체 인식장치(100)는 영상 프레임에서 전역 움직임을 이용하여 검출된 제1 신규영역을 제외하여 보정하고, 보정된 영상 프레임에서 지역 움직임을 이용하여 제2 신규영역을 제외하여 보정한 영상 프레임을 객체 후보영역으로 선정할 수 있다.In step S240 to step S260, the object recognition apparatus 100 separately calculates the global motion and the local motion, and selects the object candidate region based on the detected first new region or the second new region. However, It is not. For example, the object recognition apparatus 100 corrects the first new region detected by using the global motion in the image frame, excludes the second new region using the local motion in the corrected image frame, Can be selected as the object candidate region.

객체 인식장치(100)는 객체 후보영역 내에서 신규 객체정보를 검출하기 위해 객체 인식을 수행한다(S270). 객체 인식장치(100)는 객체 후보영역을 화소블록으로 설정하고, 화소블록 내에 포함된 화소블록을 기준으로 에지 검출, 전경 배경 분리, 기 저장된 참조영상 비교 등의 방식을 이용하여 영상 분할을 수행하여 현재 영상 프레임 내에 포함된 신규 객체를 검출하기 위한 객체 인식을 수행한다. The object recognition apparatus 100 performs object recognition to detect new object information in the object candidate region (S270). The object recognition apparatus 100 sets an object candidate region as a pixel block and performs image segmentation using edge detection, foreground background separation, and stored reference image comparison based on a pixel block included in the pixel block And performs object recognition for detecting a new object included in the current image frame.

도 3은 본 실시예에 따른 첫 영상 프레임에 대한 초기 영상분할 및 객체인식을 설명하기 위한 예시도이다. 3 is an exemplary diagram for explaining initial image segmentation and object recognition for a first image frame according to the present embodiment.

객체 인식장치(100)는 소정의 장면에 대한 첫 번째 프레임인 신규 영상 프레임이 수신된 경우, 신규 영상 프레임을 영상 분할(Segmentation)하고, 영상 분할된 분할 영상정보를 영상 분류기를 이용하여 객체 인식을 수행한다. 이하, 객체 인식장치(100)가 신규 영상 프레임 내에서 객체 인식을 수행하는 동작에 대해 도 3의 (a), (b) 및 (c)를 기반으로 설명하도록 한다. When receiving a new image frame, which is the first frame of a predetermined scene, the object recognition apparatus 100 performs image segmentation on a new image frame, and recognizes the object image using the image classifier . Hereinafter, an operation of the object recognition apparatus 100 for performing object recognition in a new image frame will be described based on FIGS. 3A, 3B and 3C.

도 3의 (a)는 객체 인식장치(100)에서 획득한 신규 영상 프레임을 나타낸다. 도 3의 (b)는 신규 영상 프레임을 복수의 화소블록으로 설정하고, 화소블록을 기준으로 에지를 검출한 분할 에지영상을 나타낸다. 예컨대, 객체 인식장치(100)는 각각의 화소블록의 그래디언트(Gradient) 정보를 이용하여 신규 영상 프레임 내에 존재하는 객체들의 윤곽을 에지로 검출하여 객체 분류를 위한 분할 에지영상을 생성한다.3 (a) shows a new image frame acquired by the object recognition apparatus 100. In FIG. 3 (b) shows a segmented edge image in which a new image frame is set as a plurality of pixel blocks, and an edge is detected based on the pixel block. For example, the object recognition apparatus 100 generates a segmented edge image for object classification by detecting the outline of objects existing in a new image frame using edges, using gradient information of each pixel block.

도 3의 (c)는 분할 에지영상에 대한 분할 영상정보를 기 설정된 영상 분류기에 적용하여 객체 인식을 수행한 결과를 나타낸다. 다시 말해, 객체 인식장치(100)는 분할 에지영상에 대한 분할 영상정보를 기 설정된 영상 분류기에 적용하여 신규 영상 프레임의 하늘 영역(310), 배 영역(320), 나무 영역(330) 및 바다 영역(340)을 분류하여 객체 인식을 수행한다. FIG. 3 (c) shows the result of object recognition by applying the segmented image information of the segmented edge image to the predetermined image classifier. In other words, the object recognition apparatus 100 applies the divided image information on the segmented edge image to the predetermined image classifier to generate the sky region 310, the double region 320, the tree region 330, (340), and performs object recognition.

도 4는 본 실시예에 따른 객체 인식장치에서 전역 움직임을 검출하여 객체 후보영역을 설정하는 동작을 설명하기 위한 예시도이다. 4 is an exemplary diagram for explaining an operation of setting an object candidate region by detecting a global motion in the object recognition apparatus according to the present embodiment.

객체 인식장치(100)는 신규 영상 프레임에 대해 객체 인식을 수행한 이후 획득하는 영상 프레임에 대하여 현재 영상 프레임과 기 저장된 이전 영상 프레임을 이용하여 검출된 전역 움직임에 근거하여 객체 후보영역을 설정한다.The object recognition apparatus 100 sets the object candidate region based on the global motion detected using the current image frame and the previously stored previous image frame with respect to the image frame obtained after performing object recognition on the new image frame.

이하, 현재 영상 프레임 및 이전 영상 프레임을 이용하여 검출된 전역 움직임을 기반으로 객체 후보영역을 설정하는 동작을 도 4의 (a) 및 (b)를 이용하여 설명하도록 한다. Hereinafter, the operation of setting the object candidate region based on the global motion detected using the current image frame and the previous image frame will be described with reference to FIGS. 4 (a) and 4 (b).

도 4의 (a)는 객체 인식장치(100)에서 신규 영상 프레임에 대해 객체 인식을 수행한 이후 획득한 현재 영상 프레임을 나타낸다. 4 (a) shows a current image frame acquired after object recognition is performed on a new image frame in the object recognition apparatus 100. FIG.

도 4의 (b)에 도시된 바와 같이, 객체 인식장치(100)는 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 현재 영상 프레임에서 검출하여 움직임 벡터를 추출하고, 기 설정된 개수의 블록에 대한 움직임 벡터의 평균값을 기초로 전역 움직임 벡터(400)를 검출한다. As shown in FIG. 4B, the object recognition apparatus 100 detects an area matching a preset block in a previous image frame in a current image frame to extract a motion vector, And detects the global motion vector 400 based on the average value of the motion vectors.

객체 인식장치(100)는 전역 움직임 벡터(400)를 기반으로 이전 영상 프레임에서 기 인식된 객체들을 포함하는 영역을 현재 영상 프레임에서 추정하고, 추정된 제외영역(410)을 제외한 나머지 영역을 제1 신규영역(420)으로 검출하여 객체 후보영역으로 설정한다. 다시 말해, 객체 인식장치(100)는 기 인식된 하늘 영역(310), 배 영역(320), 나무 영역(330) 및 바다 영역(340)을 포함하는 영역을 제외한 나머지 영역을 제1 신규영역(420)으로 검출하여 객체 후보영역으로 설정한다. The object recognition apparatus 100 estimates an area including previously recognized objects in a previous image frame in the current image frame based on the global motion vector 400 and outputs the remaining area excluding the estimated excluded area 410 as a first Is detected as a new area 420 and is set as an object candidate area. In other words, the object recognition apparatus 100 is configured to divide the remaining area except the area including the recognized sky area 310, the double area 320, the tree area 330, and the sea area 340 into a first new area 420) and sets it as an object candidate region.

객체 인식장치(100)는 제1 신규영역(420) 전체를 객체 후보영역으로 설정하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 객체 인식장치(100)는 제1 신규영역(420)을 검출한 후 제1 신규영역(420) 내 테두리에 위치한 화소와 제외영역(410)의 인접 화소와 화소값(화소 특징)을 비교하여 유사한 특징을 갖는 영역을 추가로 제외하여 객체 후보영역을 설정할 수 있다. The object recognition apparatus 100 describes setting the entire first new region 420 as an object candidate region, but the present invention is not limited thereto. The object recognition apparatus 100 detects the first new area 420 and then compares pixel values (pixel characteristics) with pixels adjacent to the border of the first area 420 and pixels of the exclusion area 410 The object candidate region can be set by further excluding the region having the feature.

도 4의 (b)에 도시된 바와 같이, 객체 인식장치(100)는 제1 신규영역(420)을 검출한 후 기 인식된 하늘 영역(310), 배 영역(320), 나무 영역(330) 및 바다 영역(340)을 포함하는 제외영역(410)과 유사한 특징을 갖는 영역을 제1 신규영역(420)에서 추가로 제외하여 객체 후보영역을 설정할 수 있다. 다시 말해, 객체 인식장치(100)는 제1 신규영역(420)을 검출한 후 하늘 영역(310)과 유사한 특징을 갖는 하늘 유사영역(422)과 바다 영역(340)과 유사한 특징을 갖는 바다 유사영역(424)를 제1 신규영역(420)에서 추가로 제외하여, 제1 신규영역 중 잔여 영역(426)만을 객체 후보영역을 설정한다. 4B, the object recognition apparatus 100 recognizes the sky area 310, the double area 320, the tree area 330, and the like recognized after the first new area 420 is detected. And an area having similar characteristics to the exclusion area 410 including the sea area 340 may be additionally excluded from the first new area 420 to set the object candidate area. In other words, after detecting the first new area 420, the object recognition apparatus 100 detects the sky similar area 422 having similar characteristics to the sky area 310 and the sea similar The region 424 is further excluded from the first new region 420 to set only the remaining region 426 of the first new region as the object candidate region.

도 5는 본 실시예에 따른 객체 인식장치에서 지역 움직임을 검출하여 객체 후보영역을 설정하는 동작을 설명하기 위한 예시도이다. 5 is an exemplary diagram illustrating an operation of detecting an area motion and setting an object candidate area in the object recognition apparatus according to the present embodiment.

객체 인식장치(100)는 신규 영상 프레임에 대해 객체 인식을 수행한 이후 획득하는 영상 프레임에 대응하는 현재 영상 프레임과 기 저장된 이전 영상 프레임을 기초로 기 인식된 객체에 대한 지역 움직임을 검출하여 객체 후보영역을 설정한다.The object recognition apparatus 100 detects a local motion for a previously recognized object based on a current image frame corresponding to an image frame acquired after the object recognition for a new image frame and a previously stored previous image frame, Set the area.

이하, 현재 영상 프레임 및 이전 영상 프레임을 이용하여 검출된 지역 움직임을 기반으로 객체 후보영역을 설정하는 동작을 도 5의 (a) 및 (b)를 이용하여 설명하도록 한다. Hereinafter, the operation of setting the object candidate region based on the detected local motion using the current image frame and the previous image frame will be described with reference to FIGS. 5 (a) and 5 (b).

도 5의 (a)는 객체 인식장치(100)에서 기 인식된 특정객체(510)를 나타낸 이전 영상 프레임을 나타낸다. FIG. 5A shows a previous image frame indicating a specific object 510 recognized in the object recognition apparatus 100. FIG.

도 5의 (b)에 도시된 바와 같이, 객체 인식장치(100)는 이전 영상 프레임에서 기 인식된 객체(510)를 현재 영상 프레임에서 검출하고, 검출된 기 인식된 객체(510)를 기초로 지역 움직임 벡터(500)을 검출하고, 지역 움직임 벡터(500)를 이용하여 기 인식된 객체(510)의 이동 전 영역(520) 즉, 기 인식된 객체들에 의해 가려졌던 영역(520)을 제2 신규영역(520)으로 검출하여 객체 후보영역을 설정한다.5B, the object recognition apparatus 100 detects a previously recognized object 510 in a previous image frame in a current image frame, and based on the detected previously recognized object 510, The local motion vector 500 is detected and the entire motion area 520 of the previously recognized object 510 using the local motion vector 500, i.e., the area 520 obscured by the previously recognized objects, 2 new area 520 and sets the object candidate region.

도 6은 본 실시예에 따른 객체 인식장치에서 장면 변화를 검출하여 객체 후보영역을 설정하는 동작을 초기화하는 동작을 설명하기 위한 예시도이다. 6 is an exemplary diagram for explaining an operation of initializing an operation of detecting an scene change and setting an object candidate region in the object recognition apparatus according to the present embodiment.

객체 인식장치(100)는 복수 개의 장면을 갖는 영상에 대해 각각의 장면마다 첫 번째 영상 프레임을 신규 영상 프레임으로 판단하여 초기 영상 분할 및 초기 객체 인식을 수행한다. The object recognition apparatus 100 performs initial image segmentation and initial object recognition by determining a first image frame as a new image frame for each scene for an image having a plurality of scenes.

도 6에 도시된 바와 같이, 객체 인식장치(100)는 제1 장면(612)에 대한 제1 신규 영상 프레임(610)을 확인하는 경우, 제1 신규 영상 프레임(610)에 대해 초기 영상 분할 및 초기 객체 인식을 수행한다. 6, when recognizing the first new image frame 610 for the first scene 612, the object recognition apparatus 100 performs initial image segmentation for the first new image frame 610, Perform initial object recognition.

객체 인식장치(100)는 제1 장면(612)에 연속하여 제2 장면(622)이 입력되는 경우, 제2 신규 영상 프레임(620)을 확인하고, 제2 신규 영상 프레임(620)에 대해 초기 영상 분할 및 초기 객체 인식을 수행한다. 또한, 객체 인식장치(100)는 제2 장면(622)이 입력된 이후 제3 장면(632)이 입력되는 경우, 제3 신규 영상 프레임(630)을 확인하고, 제3 신규 영상 프레임(630)에 대해 초기 영상 분할 및 초기 객체 인식을 수행한다. The object recognition apparatus 100 confirms the second new image frame 620 when the second scene 622 is continuously inputted to the first scene 612, Performs image segmentation and initial object recognition. When the third scene 632 is inputted after the second scene 622 is input, the object recognition apparatus 100 confirms the third new image frame 630 and the third new image frame 630 is displayed, And performs initial image segmentation and initial object recognition.

객체 인식장치(100)는 제1 신규 영상 프레임(610), 제2 신규 영상 프레임(620), 제3 신규 영상 프레임(630) 등에 포함된 장면 식별정보, 프레임 식별정보 등에 근거하여 장면 변화 여부를 확인하고, 장면 변화가 존재하는 경우, 해당 신규 영상 프레임에 대해 초기 영상 분할 및 초기 객체 인식을 수행한다. The object recognition apparatus 100 determines whether or not the scene changes based on scene identification information and frame identification information included in the first new video frame 610, the second new video frame 620, the third new video frame 630, If there is a scene change, the initial image segmentation and the initial object recognition are performed on the new image frame.

객체 인식장치(100)는 획득한 영상 프레임에 포함된 소정의 정보를 이용하여 장면 변화에 대한 신규 영상 프레임을 확인하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. The object recognition apparatus 100 describes that a new image frame for a scene change is confirmed using predetermined information included in the acquired image frame, but the present invention is not limited thereto.

예를 들어, 객체 인식장치(100)는 제1 장면(612)의 제1 신규 영상 프레임(612)을 확인한 후 획득하는 현재 영상 프레임에 대해 객체 검출을 위한 객체 후보영역의 크기를 확인하고, 확인된 객체 후보영역의 크기가 기 설정된 기준영역을 초과하는 경우, 해당 영상 프레임을 제2 장면(622)에 대한 제2 신규 영상 프레임(620)인 것으로 판단한다. For example, the object recognition apparatus 100 confirms the size of the object candidate region for object detection with respect to the current image frame acquired after confirming the first new image frame 612 of the first scene 612, If the size of the candidate object region exceeds the preset reference region, the corresponding image frame is determined to be the second new image frame 620 for the second scene 622.

객체 인식장치(100)는 제2 장면(622)의 제2 신규 영상 프레임(622)을 확인한 후 획득하는 현재 영상 프레임에 대해 객체 검출을 위한 객체 후보영역의 크기를 확인하고, 확인된 객체 후보영역의 크기가 기 설정된 기준영역을 초과하는 경우, 해당 영상 프레임을 제3 장면(632)에 대한 제3 신규 영상 프레임(630)인 것으로 판단한다. The object recognition apparatus 100 confirms the size of the object candidate region for object detection with respect to the current image frame acquired after confirming the second new image frame 622 of the second scene 622, It is determined that the corresponding image frame is the third new image frame 630 for the third scene 632. In this case,

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

이상에서 설명한 바와 같이 본 실시예는 객체 인식 분야에 적용되어, 대용량의 동영상 데이터에서 빠르게 객체 인식을 수행할 수 있고, 수집된 데이터를 이용하여 영상 기반의 빅데이터 분석에 활용할 수 있는 효과를 발생하는 유용한 발명이다.As described above, the present embodiment is applied to the field of object recognition, so that it is possible to quickly perform object recognition on a large volume of moving image data, and to utilize the collected data for image-based big data analysis It is a useful invention.

100: 객체 인식정보 110: 영상 획득부
120: 영상 제어부 122: 프레임 확인부
124: 장면변화 확인부 130: 움직임 추정부
132: 전역 움직임 검출부 134: 지역 움직임 검출부
140: 후보영역 설정부 150: 객체 인식부100: object recognition information 110:
120: image control unit 122: frame check unit
124: scene change confirmation unit 130: motion estimation unit
132: global motion detector 134: local motion detector
140: candidate region setting unit 150: object recognition unit

Claims (9)

현재 영상 프레임을 획득하는 영상 획득부;
상기 영상 획득부에서 획득한 상기 현재 영상 프레임이 이전 영상 프레임을 가지는지 확인하는 영상 제어부;
상기 현재 영상 프레임이 상기 이전 영상 프레임을 가지는 경우, 상기 이전 영상 프레임 및 상기 현재 영상 프레임을 이용하여 기 인식된 객체에 대한 객체 움직임 벡터를 추출하는 움직임 추정부;
상기 객체 움직임 벡터에 근거하여 상기 현재 영상 프레임 중 기 인식된 영역을 제외한 신규 영역을 검출하고, 상기 신규 영역을 기초로 객체 후보영역을 설정하는 후보영역 설정부; 및
상기 객체 후보영역 내에서 객체 인식을 수행하는 객체 인식부
를 포함하는 것을 특징으로 하는 객체 인식장치.An image obtaining unit for obtaining a current image frame;
An image control unit for checking whether the current image frame acquired by the image acquisition unit has a previous image frame;
A motion estimator for extracting an object motion vector for a previously recognized object using the previous image frame and the current image frame when the current image frame has the previous image frame;
A candidate region setting unit for detecting a new region excluding the previously recognized region in the current image frame based on the object motion vector and setting an object candidate region based on the new region; And
An object recognition unit for recognizing an object in the object candidate region,
And an object recognition device for recognizing the object. 제 1 항에 있어서,
상기 움직임 추정부는,
상기 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 상기 현재 영상 프레임에서 검출하고, 검출된 영역에 따른 상기 객체 움직임 벡터를 추출하고, 상기 객체 움직임 벡터에 근거하여 전역 움직임을 검출하는 것을 특징으로 하는 객체 인식장치.The method according to claim 1,
Wherein the motion estimator comprises:
A region matching the predetermined block in the previous image frame is detected in the current image frame, the object motion vector according to the detected region is extracted, and the global motion is detected based on the object motion vector. Object recognition device. 제 2 항에 있어서,
상기 움직임 추정부는,
기 설정된 개수의 상기 블록에 대한 상기 객체 움직임 벡터의 평균값을 이용하여 상기 전역 움직임을 검출하는 것을 특징으로 하는 객체 인식장치.3. The method of claim 2,
Wherein the motion estimator comprises:
And detects the global motion using an average value of the object motion vectors for the predetermined number of blocks. 제 2 항에 있어서,
상기 후보영역 설정부는,
상기 현재 영상 프레임 중 상기 전역 움직임에 대응하는 영역을 제외한 나머지 영역을 제1 신규영역으로 검출하여 상기 객체 후보영역을 설정하는 것을 특징으로 하는 객체 인식장치.3. The method of claim 2,
Wherein the candidate region setting unit includes:
And detects the remaining area excluding the area corresponding to the global motion of the current image frame as a first new area to set the object candidate area. 제 4 항에 있어서,
상기 후보영역 설정부는,
상기 나머지 영역 중 상기 전역 움직임에 대응하는 영역과 유사 화소값을 갖는 영역을 추가로 제외하여 상기 제1 신규영역을 검출하는 것을 특징으로 하는 객체 인식장치. 5. The method of claim 4,
Wherein the candidate region setting unit includes:
And detects the first new area by further excluding an area corresponding to the global motion and an area having a pseudo pixel value among the remaining areas. 제 1 항에 있어서,
상기 움직임 추정부는,
상기 이전 영상 프레임에 기 설정된 블록과 매칭되는 영역을 상기 현재 영상 프레임에서 검출하고, 검출된 영역에 따른 상기 객체 움직임 벡터를 추출하고, 상기 객체 움직임 벡터 중 상기 기 인식된 객체 중 적어도 하나의 객체에 대한 지역 움직임을 검출하는 것을 특징으로 하는 객체 인식장치.The method according to claim 1,
Wherein the motion estimator comprises:
The method comprising the steps of: detecting, in the current image frame, an area matched with a predetermined block in the previous image frame, extracting the object motion vector according to the detected area, And detecting a local motion of the object. 제 6 항에 있어서,
상기 후보영역 설정부는,
상기 현재 영상 프레임 중 상기 지역 움직임에 대응하는 객체의 이전 위치영역을 제2 신규영역으로 검출하여 상기 객체 후보영역을 설정하는 것을 특징으로 하는 객체 인식장치.The method according to claim 6,
Wherein the candidate region setting unit includes:
And detects the previous position area of the object corresponding to the local motion in the current image frame as a second new area to set the object candidate area. 제 1 항에 있어서,
상기 영상 제어부는,
상기 현재 영상 프레임이 상기 이전 영상 프레임을 가지지 않는 신규 영상 프레임인 경우, 상기 신규 영상 프레임에 화소블록을 설정하고, 상기 화소블록을 기준으로 에지 검출, 전경 배경 분리 및 기 저장된 참조영상 비교 중 적어도 하나 이상의 방식을 이용하여 상기 신규 영상 프레임 내에서 상기 객체 인식을 수행하는 것을 특징으로 하는 객체 인식장치.The method according to claim 1,
The image control unit includes:
Wherein if the current image frame is a new image frame having no previous image frame, a pixel block is set in the new image frame, and at least one of edge detection, foreground background separation, Wherein the object recognition unit performs the object recognition in the new image frame using the above method. 현재 영상 프레임을 획득하는 영상 획득과정;
상기 영상 획득부에서 획득한 상기 현재 영상 프레임이 이전 영상 프레임을 가지는지 확인하는 영상 제어과정;
상기 현재 영상 프레임이 상기 이전 영상 프레임을 가지는 경우, 상기 이전 영상 프레임 및 상기 현재 영상 프레임을 이용하여 기 인식된 객체에 대한 객체 움직임 벡터를 추출하는 움직임 추정과정;
상기 객체 움직임 벡터에 근거하여 상기 현재 영상 프레임 중 기 인식된 영역을 제외한 신규 영역을 검출하고, 상기 신규 영역을 기초로 객체 후보영역을 설정하는 후보영역 설정과정; 및
상기 객체 후보영역 내에서 객체 인식을 수행하는 객체 인식과정
을 포함하는 것을 특징으로 하는 객체 인식을 위한 객체 후보영역 설정방법.
An image acquiring process for acquiring a current image frame;
An image control process for checking whether the current image frame acquired by the image acquisition unit has a previous image frame;
A motion estimation process for extracting an object motion vector for a previously recognized object using the previous image frame and the current image frame when the current image frame has the previous image frame;
A candidate region setting step of detecting a new region excluding the previously recognized region in the current image frame based on the object motion vector and setting an object candidate region based on the new region; And
An object recognition process for recognizing an object in the object candidate region
The method of claim 1, further comprising:
KR1020140130510A 2014-09-29 2014-09-29 Method and Apparatus for Setting Candidate Area of Object for Recognizing Object KR102085035B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140130510A KR102085035B1 (en) 2014-09-29 2014-09-29 Method and Apparatus for Setting Candidate Area of Object for Recognizing Object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140130510A KR102085035B1 (en) 2014-09-29 2014-09-29 Method and Apparatus for Setting Candidate Area of Object for Recognizing Object

Publications (2)

Publication Number Publication Date
KR20160037643A true KR20160037643A (en) 2016-04-06
KR102085035B1 KR102085035B1 (en) 2020-03-05

Family

ID=55790583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140130510A KR102085035B1 (en) 2014-09-29 2014-09-29 Method and Apparatus for Setting Candidate Area of Object for Recognizing Object

Country Status (1)

Country Link
KR (1) KR102085035B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009006A (en) * 2017-07-10 2019-01-28 한국전자통신연구원 Real time multi-object tracking device and method by using global motion
KR101949676B1 (en) * 2017-12-20 2019-02-19 이노뎁 주식회사 syntax-based method of providing intrusion detection in compressed video
KR20190022126A (en) * 2017-08-25 2019-03-06 광운대학교 산학협력단 A People Counting Method on Embedded Platform by using Convolutional Neural Network
KR102042397B1 (en) * 2018-07-30 2019-11-08 이노뎁 주식회사 syntax-based method of producing heat-map for compressed video
KR102051032B1 (en) * 2018-08-01 2019-12-02 경북대학교 산학협력단 Object detection apparatus and controlling method thereof
KR20210067498A (en) * 2019-11-29 2021-06-08 한동대학교 산학협력단 Method and system for automatically detecting objects in image based on deep learning
KR102285269B1 (en) 2020-05-18 2021-08-04 주식회사 선도소프트 Image analysis apparatus and method for utilizing the big data base GEO AI
US11216953B2 (en) 2019-03-26 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
KR20230040265A (en) * 2021-09-15 2023-03-22 주식회사 핀텔 Object Region Detection Method, Device and Computer Program For Traffic Information and Pedestrian Information Thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545772B1 (en) 2021-02-24 2023-06-20 영남대학교 산학협력단 Learning apparatus and method for object detection and apparatus and method for object detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106661A (en) * 1998-07-10 2000-04-11 Canon Inc Image processing method and system and device
KR20060135177A (en) * 2005-06-24 2006-12-29 삼성전자주식회사 Motion error detector, motion error compensator comprising the same, method for detecting motion error and method for compensating motion error
KR20070063304A (en) * 2005-12-14 2007-06-19 삼성전자주식회사 Motion estimator and motion estimating method
JP2008158984A (en) * 2006-12-26 2008-07-10 Toshiba Teli Corp Image processor and area tracing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106661A (en) * 1998-07-10 2000-04-11 Canon Inc Image processing method and system and device
KR20060135177A (en) * 2005-06-24 2006-12-29 삼성전자주식회사 Motion error detector, motion error compensator comprising the same, method for detecting motion error and method for compensating motion error
KR20070063304A (en) * 2005-12-14 2007-06-19 삼성전자주식회사 Motion estimator and motion estimating method
JP2008158984A (en) * 2006-12-26 2008-07-10 Toshiba Teli Corp Image processor and area tracing program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009006A (en) * 2017-07-10 2019-01-28 한국전자통신연구원 Real time multi-object tracking device and method by using global motion
KR20190022126A (en) * 2017-08-25 2019-03-06 광운대학교 산학협력단 A People Counting Method on Embedded Platform by using Convolutional Neural Network
KR101949676B1 (en) * 2017-12-20 2019-02-19 이노뎁 주식회사 syntax-based method of providing intrusion detection in compressed video
WO2019124635A1 (en) * 2017-12-20 2019-06-27 이노뎁 주식회사 Syntax-based method for sensing object intrusion in compressed video
KR102042397B1 (en) * 2018-07-30 2019-11-08 이노뎁 주식회사 syntax-based method of producing heat-map for compressed video
WO2020027607A1 (en) * 2018-08-01 2020-02-06 경북대학교 산학협력단 Object detection device and control method
KR102051032B1 (en) * 2018-08-01 2019-12-02 경북대학교 산학협력단 Object detection apparatus and controlling method thereof
US11715280B2 (en) 2018-08-01 2023-08-01 Kyungpook National University Industry-Academic Cooperation Foundation Object detection device and control method
US11216953B2 (en) 2019-03-26 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
US11481907B2 (en) 2019-03-26 2022-10-25 Samsung Electronics Co.. Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
US11893748B2 (en) 2019-03-26 2024-02-06 Samsung Electronics Co., Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
KR20210067498A (en) * 2019-11-29 2021-06-08 한동대학교 산학협력단 Method and system for automatically detecting objects in image based on deep learning
KR102285269B1 (en) 2020-05-18 2021-08-04 주식회사 선도소프트 Image analysis apparatus and method for utilizing the big data base GEO AI
KR20230040265A (en) * 2021-09-15 2023-03-22 주식회사 핀텔 Object Region Detection Method, Device and Computer Program For Traffic Information and Pedestrian Information Thereof

Also Published As

Publication number Publication date
KR102085035B1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
KR102085035B1 (en) Method and Apparatus for Setting Candidate Area of Object for Recognizing Object
US10417773B2 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
CN105404884B (en) Image analysis method
US8798373B2 (en) Image restoration system, image restoration method, and image restoration program
US9165211B2 (en) Image processing apparatus and method
JP6482195B2 (en) Image recognition apparatus, image recognition method, and program
US9934576B2 (en) Image processing system, image processing method, and recording medium
Mohan et al. Video image processing for moving object detection and segmentation using background subtraction
JP6679858B2 (en) Method and apparatus for detecting occlusion of an object
KR20140045854A (en) Method and apparatus for monitoring video for estimating gradient of single object
JP5936561B2 (en) Object classification based on appearance and context in images
CN106447701A (en) Methods and devices for image similarity determining, object detecting and object tracking
KR101737430B1 (en) A method of detecting objects in the image with moving background
EP3007426A1 (en) Method and apparatus for detecting defects in digitized image sequences
KR101696086B1 (en) Method and apparatus for extracting object region from sonar image
Sincan et al. Moving object detection by a mounted moving camera
CN106951831B (en) Pedestrian detection tracking method based on depth camera
RU2446471C1 (en) Method for detecting moving objects and determining parameters thereof
KR20170088370A (en) Object recognition system and method considering camera distortion
Malavika et al. Moving object detection and velocity estimation using MATLAB
Yaakob et al. Moving object extraction in PTZ camera using the integration of background subtraction and local histogram processing
US20180268228A1 (en) Obstacle detection device
Asvadi et al. Object tracking using adaptive object color modeling
Wang et al. Fast filtering-based temporal saliency detection using Minimum Barrier Distance
KR101915475B1 (en) Method for Template Matching and Apparatus Therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right