KR100364582B1 - System tracking and watching multi moving object - Google Patents

System tracking and watching multi moving object Download PDF

Info

Publication number
KR100364582B1
KR100364582B1 KR1020000022818A KR20000022818A KR100364582B1 KR 100364582 B1 KR100364582 B1 KR 100364582B1 KR 1020000022818 A KR1020000022818 A KR 1020000022818A KR 20000022818 A KR20000022818 A KR 20000022818A KR 100364582 B1 KR100364582 B1 KR 100364582B1
Authority
KR
South Korea
Prior art keywords
moving
tracking
image
monitoring
camera
Prior art date
Application number
KR1020000022818A
Other languages
Korean (ko)
Other versions
KR20010000107A (en
Inventor
김회율
신현수
이찬수
Original Assignee
주식회사 네트웍코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네트웍코리아 filed Critical 주식회사 네트웍코리아
Priority to KR1020000022818A priority Critical patent/KR100364582B1/en
Publication of KR20010000107A publication Critical patent/KR20010000107A/en
Application granted granted Critical
Publication of KR100364582B1 publication Critical patent/KR100364582B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/7803Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/781Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

본 발명은 광역감시카메라와 지역감시카메라를 이용하여 이동물체를 추적/감시하는 시스템에 관한 것으로, 이러한 다중 이동물체 추적/감시 시스템은 고정된 카메라를 이용하여 감시범위내에 존재하는 복수의 이동 물체의 움직임을 동시에 추출하여 이들 정보를 등록하고, 상기 등록된 복수의 이동 물체 중에서 추적대상이 되는 적어도 하나 이상의 이동 물체를 선택하고, 상기 선택된 적어도 하나 이상의 이동 물체를 제 1 감시영역에서 추적하고, 상기 선택된 적어도 하나 이상의 이동 물체가 상기 제 1 감시영역을 벗어나면 이동 물체 추적명령을 출력하는 광역감시장치; 및 팬/틸트로 움직이며 각각 독립된 제 2 감시영역을 감시하는 적어도 하나 이상의 지역감시카메라를 포함하며, 상기 광역감시장치로부터 상기 선택된 적어도 하나 이상의 이동 물체에 대한 상기 추적명령이 입력되면 상기 복수의 지역감시카메라를 순차적으로 구동하여 상기 선택된 이동 물체가 상기 제 2 감시영역을 벗어날 때까지 추적 및 주밍하면서 감시하는 지역감시장치를 포함하고, 상기 광역감시장치와 상기 지역감시장치는 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 동시에 추출하여 각각의 이동 물체의 움직임 영역을 효과적으로 분리/병합시켜 실시간으로 추적/감시를 수행한다.The present invention relates to a system for tracking / monitoring a moving object using a wide range surveillance camera and a local surveillance camera. The multiple moving object tracking / monitoring system uses a fixed camera to monitor a plurality of moving objects existing within a surveillance range. Simultaneously extracting movements and registering these information, selecting at least one or more moving objects to be tracked from among the plurality of registered moving objects, tracking the selected at least one moving object in a first surveillance region, and selecting the selected A wide area monitoring apparatus outputting a moving object tracking command when at least one moving object is out of the first monitoring area; And at least one local surveillance camera moving in a pan / tilt and monitoring independent second surveillance zones, wherein the tracking instructions for the at least one selected moving object are input from the global surveillance apparatus. And a regional monitoring device configured to sequentially drive the surveillance camera to track and zoom until the selected moving object leaves the second surveillance area, wherein the wide area monitoring device and the local monitoring device move the selected at least one moving object. Simultaneously extract the movements of objects to effectively separate / merge the moving areas of each moving object to perform tracking / monitoring in real time.

Description

다중 이동물체 추적/감시 시스템{System tracking and watching multi moving object}System tracking and watching multi moving object}
본 발명은 물체 추적/감시 시스템에 관한 것으로, 특히 광역감시카메라와 지역감시카메라를 이용하여 다수의 이동물체를 동시에 실시간으로 추적/감시하는 다중 이동 물체 추적/감시 시스템에 관한 것이다.The present invention relates to an object tracking / monitoring system, and more particularly, to a multiple moving object tracking / monitoring system which simultaneously tracks / monitors a plurality of moving objects in real time using a wide-range surveillance camera and a local surveillance camera.
종래의 물체추적시스템의 문제점은 사람, 동물, 차량, 항공기 등의 다중이동물체의 식별이 불가능하고, 감시영역의 변경에 추가설비 및 추가비용이 필요하다.The problem of the conventional object tracking system is that it is impossible to identify a multi-animal object such as a person, an animal, a vehicle, an aircraft, etc., and additional equipment and additional costs are required to change the surveillance area.
또한, 센서 그 자체가 단일 기능(라인감시, 화면감시)이며 구축비용이 많이 들고 시스템이 복잡해진다.In addition, the sensor itself is a single function (line monitoring, screen monitoring), expensive to build and complicated system.
본 발명이 이루고자하는 기술적 과제는 실시간 감시 시스템 구축을 위한 다수의 이동 물체 검출 및 추적을 위한 다중 이동물체 추적/감시 시스템을 제공함에 있다.An object of the present invention is to provide a multiple moving object tracking / monitoring system for detecting and tracking a plurality of moving objects for building a real-time monitoring system.
도 1은 본 발명에 의한 다중 이동물체 추적/감시 시스템의 구성을 도시한 것이다.1 illustrates a configuration of a multiple moving object tracking / monitoring system according to the present invention.
도 2는 본 발명에 의한 다중 이동물체 추적/감시 시스템에서 광역감시장치의 구성을 도시한 것이다.Figure 2 shows the configuration of a wide area monitoring device in a multiple moving object tracking / monitoring system according to the present invention.
도 3은 본 발명에 의한 다중 이동물체 추적/감시 시스템에서 지역감시장치의 구성을 도시한 것이다.Figure 3 shows the configuration of the area monitoring device in a multiple moving object tracking / monitoring system according to the present invention.
도 4는 입력된 영상을 이용한 움직임 영역추출(좌)과 필터링을 한 영상을 이용한 움직임 영역추출(우)을 도시한 것이다.4 illustrates a motion region extraction (left) using an input image and a motion region extraction (right) using an filtered image.
도 5는 시간경과에 따른 입력영상과 disturbance map, 움직임 영역 추출결과를 도시한 것이다.5 illustrates an input image, a disturbance map, and a motion region extraction result over time.
도 6은 이진필터링의 전(좌)과 후(우) 비교를 도시한 것이다.6 shows a comparison of the before (left) and after (right) of binary filtering.
도 7은 Object merge의 전(좌)과 후(우) 비교를 도시한 것이다.7 illustrates a comparison between the front (left) and the rear (right) of an object merge.
도 8은 칼만 필터의 순서도를 도시한 것이다.8 shows a flowchart of a Kalman filter.
도 9는 2차원 영상에 대한 수직 및 수평 방향의 투영결과를 도시한 것이다.9 shows the projection results in the vertical and horizontal directions for a two-dimensional image.
도 10은 투영신호에 대한 벡터표현과 그 벡터합을 도시한 것이다.10 shows a vector representation of a projection signal and its vector sum.
도 11은 Template matching에 의한 물체추적을 도시한 것이다.11 illustrates object tracking by template matching.
도 12는 초반 프레임에서의 입력이미지와 배경이미지를 도시한 것이다.12 shows an input image and a background image in the initial frame.
도 13은 일정시간이후의 입력이미지와 배경이미지를 도시한 것이다.13 shows an input image and a background image after a certain time.
도 14는 입력된 이미지와 배경이미지와의 차를 이용하여 움직임 추출이미지를 도시한 것이다.14 illustrates a motion extraction image by using a difference between an input image and a background image.
도 15a는 현재 들어오는 프레임에서의 에지이미지를 도시한 것이고, 도 15b는 결과이미지를 도시한 것이다.15A shows the edge image in the current incoming frame, and FIG. 15B shows the resulting image.
도 16은 이전 프레임에 등록된 템플릿(상)과 현재 프레임에서 찾아진 템플릿(하)을 도시한 것이다.16 shows a template (upper) registered in the previous frame and a template (lower) found in the current frame.
도 17a 내지 도 17c는 카메라 움직임 보정 전과 후의 움직임 추출결과를 비교하여 도시한 것으로, 도 17a는 입력영상이고, 도 17b는 카메라 움직임 보정 전의 움직임 추출결과이고, 도 17c는 카메라 움직임 보정 후의 움직임 추출결과를 도시한 것이다.17A to 17C show a comparison of motion extraction results before and after camera motion correction, FIG. 17A is an input image, FIG. 17B is a motion extraction result before camera motion correction, and FIG. 17C is a motion extraction result after camera motion correction. It is shown.
도 18a 내지 도 18b는 블록정합을 이용한 움직임 벡터 추출을 도시한 것으로, 도 18a는 이전프레임, 도 18b는 현재 프레임을 나타낸다.18A to 18B illustrate motion vector extraction using block matching. FIG. 18A shows a previous frame and FIG. 18B shows a current frame.
도 19는 블록 정합을 이용하여 움직임 영역을 추출한 결과를 도시한 것이다.19 illustrates a result of extracting a motion region using block matching.
도 20a 내지 도 20e는 입력이미지와 배경이미지를 이용하여 움직임 추출과정을 도시한 것으로, 도 20a는 초반 프레임에서 입력이미지와 배경이미지, 도 20b는 일정시간 이후의 입력이미지와 배경이미지, 도 20c는 입력된 이미지와 배경이미지와의 차를 이용하여 추출된 움직임 이미지, 도 20d는 현재 들어오는 프레임에서의에지 이미지, 도 20e는 결과 이미지를 도시한 것이다.20A to 20E illustrate a motion extraction process using an input image and a background image. FIG. 20A shows an input image and a background image in an initial frame, FIG. 20B shows an input image and a background image after a predetermined time, and FIG. 20C The motion image extracted by using the difference between the input image and the background image, FIG. 20D illustrates an edge image in a current incoming frame, and FIG. 20E illustrates a result image.
도 21은 각 프레임간의 차 이미지를 도시한 것이다.21 shows a difference image between each frame.
도 22는 현재의 이미지와 차를 이용하여 추출해낸 움직이는 물체의 윤곽선 이미지를 도시한 것이다.FIG. 22 illustrates a contour image of a moving object extracted using a current image and a difference.
도 23은 카메라 움직임을 프레임별로 나타낸 테이블을 도시한 것이다.FIG. 23 shows a table showing camera movements frame by frame.
도 24는 카메라에 입력되고 있는 영상을 도시한 것이다.24 illustrates an image being input to the camera.
도 25는 카메라의 움직임을 보정한 후의 독립적으로 움직이는 물체를 도시한 것이다.25 illustrates an independently moving object after correcting the movement of the camera.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 다중 이동물체 추적/감시 시스템은, 고정된 카메라를 이용하여 감시범위내에 존재하는 복수의 이동 물체의 움직임을 동시에 추출하여 이들 정보를 등록하고, 상기 등록된 복수의 이동 물체 중에서 추적대상이 되는 적어도 하나 이상의 이동 물체를 선택하고, 상기 선택된 적어도 하나 이상의 이동 물체를 제 1 감시영역에서 추적하고, 상기 선택된 적어도 하나 이상의 이동 물체가 상기 제 1 감시영역을 벗어나면 이동 물체 추적명령을 출력하는 광역감시장치; 및 팬/틸트로 움직이며 각각 독립된 제 2 감시영역을 감시하는 적어도 하나 이상의 지역감시카메라를 포함하며, 상기 광역감시장치로부터 상기 선택된 적어도 하나 이상의 이동 물체에 대한 상기 추적명령이 입력되면 상기 복수의 지역감시카메라를 순차적으로 구동하여 상기 선택된 이동 물체가 상기 제 2 감시영역을 벗어날 때까지 추적 및 주밍하면서 감시하는 지역감시장치를 포함하고, 상기 광역감시장치와 상기 지역감시장치는 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 동시에 추출하여 각각의 이동 물체의 움직임 영역을 효과적으로 분리/병합시켜 실시간으로 추적/감시를 수행하는 것을 특징으로 한다.또한, 상기 광역감시장치는, 고정되어 설치된 카메라, 상기 고정된 카메라로부터 영상을 입력받는 영상입력부, 상기 입력된 영상을 필터링을 통하여 보정하는 영상보정부, 상기 보정된 영상에서 움직임이 있는 영역과 배경 영역을 분리하여 움직임이 발생한 부분을 검출하는 움직임검출부, 상기 추출된 움직임 발생 부분에서 각각의 이동 물체의 움직임 영역 정보를 이용하여 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 각각 분리/병합하여 동시에 추출하는 움직임물체추출부, 및 상기 추출된 복수의 이동 물체의 위치 및 속도를 칼만 필터를 이용한 예측 알고리즘 및 정보 정합 기법을 사용하여 추적하는 움직임물체추적부를 포함함을 특징으로 한다.The multiple moving object tracking / monitoring system according to the present invention for solving the above technical problem, extracts the movement of a plurality of moving objects existing in the monitoring range by using a fixed camera at the same time to register the information, and the registered Selecting at least one moving object to be tracked from among a plurality of moving objects, tracking the selected at least one moving object in a first surveillance region, and selecting the at least one movable object out of the first surveillance region A wide area monitoring device for outputting a moving object tracking command; And at least one local surveillance camera moving in a pan / tilt and monitoring independent second surveillance zones, wherein the tracking instructions for the at least one selected moving object are input from the global surveillance apparatus. And a regional monitoring device configured to sequentially drive the surveillance camera to track and zoom until the selected moving object leaves the second surveillance area, wherein the wide area monitoring device and the local monitoring device move the selected at least one moving object. Simultaneously extracting the movements of the object to effectively separate / merge the moving area of each moving object to perform tracking / monitoring in real time. The wide range monitor, the fixed camera, the fixed camera Image input unit for receiving an image from the input, the input image Image correction to correct the image through filtering, a motion detector for detecting a portion in which the motion is generated by separating the motion region and the background region from the corrected image, and motion region information of each moving object in the extracted motion generation portion. A moving object extraction unit for separating / merge and simultaneously extracting the movements of the at least one selected moving object by using a plurality of moving objects, and a prediction algorithm and an information matching technique using the Kalman filter It characterized in that it comprises a moving object tracking unit to track using.
또한, 상기 지역감시장치는, 팬/틸트로 움직이는 적어도 하나 이상의 팬/틸트 카메라, 상기 팬/틸트 카메라로부터 영상을 입력받는 영상입력부, 상기 입력된 영상을 필터링을 통하여 보정하는 영상보정부, 상기 보정된 영상에서 움직임이 있는 영역과 배경 영역을 분리하여 움직임이 발생한 부분을 검출하는 움직임검출부, 상기 추출된 움직임 발생 부분에서 각각의 이동 물체의 움직임 영역 정보를 이용하여 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 각각 분리/병합하여 동시에 추출하는 움직임물체추출부, 상기 추출된 복수의 이동 물체의 위치 및 속도를 칼만필터를 이용한 예측 알고리즘 및 정보 정합 기법을 사용하여 추적하는 움직임물체추적부, 및 상기 복수의 이동 물체의 움직임에 따라 상기 카메라의 움직임을 검출/보정하는 카메라이동보정부를 포함함을 특징으로 한다.In addition, the local monitoring device, at least one pan / tilt camera moving in a pan / tilt, an image input unit for receiving an image from the pan / tilt camera, the image correction to correct the input image through filtering, the correction A motion detection unit for detecting a region in which a motion is generated by separating a moving region from a background region in a captured image, and using the movement region information of each moving object in the extracted motion generating portion to move the selected at least one moving object A moving object extraction unit for separating / merge and simultaneously extracting the moving objects, a moving object tracking unit for tracking positions and speeds of the extracted plurality of moving objects using a prediction algorithm and an information matching technique using a Kalman filter, and the plurality of moving objects Camera that detects / corrects the movement of the camera according to the movement of moving object And it characterized in that it comprises a movement compensation.
또한, 상기 영상보정부는 입력영상의 잡음성분을 제거하기 위하여 잡음제거필터를 이용함을 특징으로 한다.In addition, the image corrector may use a noise removing filter to remove noise components of the input image.
또한, 상기 잡음제거필터는 미디언 필터, 가우시안 필터, 평활화 필터, 평균 필터 중에서 어느 하나를 선택하여 사용함을 특징으로 한다.In addition, the noise canceling filter is characterized in that any one selected from the median filter, Gaussian filter, smoothing filter, average filter.
또한, 상기 평균 필터는 블록을 이동시키면서 이전에 계산된 평균값을 이용하여 계산함을 특징으로 한다.In addition, the average filter is characterized by using the average value previously calculated while moving the block.
또한, 상기 움직임물체추출부는 움직임 영역 정보를 이용하여 분리(segmentation) 및 병합(merging)을 통하여 각각의 이동 물체를 추출함을 특징으로 한다.The moving object extracting unit may extract each moving object through segmentation and merging using the motion region information.
또한, 상기 움직임물체추적부는 움직이는 물체의 속도 및 위치정보를 칼만필터를 이용한 예측알고리즘에 적용하여 물체의 다음 위치를 예측하여 추적함을 특징으로 한다.In addition, the moving object tracking unit is characterized by predicting and tracking the next position of the object by applying the speed and position information of the moving object to the prediction algorithm using the Kalman filter.
또한, 상기 움직임물체추적부의 상기 정보 정합 기법은 추적중인 물체가 정지하여 움직임이 없어지거나 여러 물체가 서로 교차하여 정확한 추적이 어려울 경우 이용되는 것을 특징으로 한다.In addition, the information matching technique of the moving object tracking unit is characterized in that it is used when the tracking object is stopped and movement is lost or when several objects cross each other and it is difficult to accurately track.
또한, 상기 카메라이동보정부는 카메라의 자동 패닝 모드(auto-panning mode)에서 연속적으로 입력되는 영상 데이터들의 에지를 추출하고, 상기 추출된 에지를 xy축으로 프로젝션시키고, 상기 프로젝션된 값을 비교하여 카메라의 움직임을 보정함을 특징으로 한다.The camera movement compensator extracts edges of image data continuously input in an auto-panning mode of the camera, projects the extracted edges on an xy axis, and compares the projected values. It is characterized by correcting the movement of the.
이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 의한 다중 이동물체 추적/감시 시스템의 구성을 도시한 것으로, 광역감시장치(10) 및 지역감시장치(20)로 이루어진다.1 illustrates a configuration of a multiple moving object tracking / monitoring system according to the present invention, and includes a wide area monitoring device 10 and a local monitoring device 20.
광역감시장치(10)는 고정된 카메라를 이용하여 넓은 영역을 감시하기 위한 장치로 입력된 영상을 분석하여 움직임을 추출하고 추출된 움직임 정보를 이용하여 움직이는 물체를 등록하고 그 자취를 추적하는 장치로서, 감시 범위 내에 있는 모든 움직이는 물체를 등록하여 추적하게 된다.The wide area monitoring apparatus 10 is a device for monitoring a large area by using a fixed camera, and analyzes an input image to extract motion, and registers a moving object using the extracted motion information and tracks the trace. In addition, all moving objects within the surveillance range are registered and tracked.
이러한 광역감시장치(10)는 카메라(110), 영상입력부(120), 영상보정부(130), 움직임검출부(140), 움직임물체추출부(150) 및 움직임물체추적부(160)로 이루어진다.The wide area monitoring apparatus 10 includes a camera 110, an image input unit 120, an image compensator 130, a motion detector 140, a motion object extractor 150, and a motion object tracker 160.
카메라(110)는 고정된 카메라를 이용하여 감시영역의 영상데이터를 수집한다.The camera 110 collects image data of the surveillance area by using a fixed camera.
영상입력부(120)는 카메라(110)로부터 수집된 영상을 입력한다.The image input unit 120 inputs an image collected from the camera 110.
영상보정부(130)는 영상입력부(120)로부터 입력된 영상을 보정하는 수단으로, 필터링(Filtering)을 통하여 영상을 보정한다.The image corrector 130 is a means for correcting an image input from the image input unit 120 and corrects the image through filtering.
여기서, 상기 영상보정부(130)는 입력 영상의 잡음 성분을 제거하여 보다 정확한 움직임 검출 및 이동 물체 추출을 위한 영상을 보정하는 수단으로, 잡음 제거 필터를 이용하여 입력 영상의 잡음을 제거한다.Here, the image corrector 130 is a means for correcting an image for more accurate motion detection and moving object extraction by removing noise components of the input image. The image correction unit 130 removes noise of the input image using a noise removing filter.
움직임검출부(140)는 영상보정부(130)로부터 보정된 영상에서 움직임을 검출하는 수단으로, 잡음이 제거된 영상에서 움직임이 있는 영역과 배경을 분리하기 위한 과정으로 디스터번스 맵(Disturbance map)을 이용하여 움직임이 발생한 부분을 검출한다. 디스터번스 맵(Disturbance map)은 고정된 카메라에서 움직이는 물체와 움직이지 않는 배경을 분리하기 위하여 시간적으로 움직이지 않는 배경 영상을 만들어 내기 위해서 실시간으로 입력되는 신호의 시간적 평균을 구한 것이다.The motion detector 140 is a means for detecting motion in the image corrected by the image compensator 130. The motion detection unit 140 uses a disturbance map as a process for separating the motion region and the background from the noise-removed image. To detect the part where the motion occurred. Disturbance map (Disturbance map) is to obtain the temporal average of the input signal in real time in order to create a background image that is not moving in time to separate the moving object and the moving background in a fixed camera.
움직임물체추출부(150)는 상기 디스터번스 맵(Disturbance map)을 이용하여 추출된 움직임 영역에서 실제 움직이는 물체를 분리하기 위한 수단으로, 움직임 영역 정보를 이용하여 분리(segmentation) 및 병합(merging)을 통하여 각각의 이동 물체를 추출한다.The moving object extractor 150 is a means for separating an actual moving object from the extracted motion region by using the disturbance map. The motion object extractor 150 uses segmentation and merging using motion region information. Extract each moving object.
움직임물체추적부(160)는 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 수단으로, 움직이는 물체의 빠르고 정확한 추적을 위하여 움직이는 물체의 속도 및 위치정보를 칼만필터(Kalman Filter)를 이용한 예측 알고리즘에 적용하여 움직이는 물체의 다음 위치를 정확히 예측하여 추적한다.The moving object tracking unit 160 is a means for tracking the position and speed of the extracted moving object. The moving object tracking unit 160 uses the Kalman Filter to predict the speed and position of the moving object for fast and accurate tracking of the moving object. Apply to accurately predict and track the next position of the moving object.
또한, 움직임물체추적부(160)는 추적중인 물체가 정지하여 움직임이 없어지거나 여러 물체가 서로 교차하여 정확한 추적이 어려울 경우 정보 정합 기법(template matching)을 이용하여 물체를 놓치지 않고 추적 가능하게 한다. 정보 정합 기법은 주어진 정보(template)를 이용하여 대상이 되는 데이터 상에서 주어진 정보와 가장 유사한 데이터를 정합(matching)하는 기법을 이용하여 물체를 찾아내는 것으로서, 일반적으로 정합은 유사도(correlation)를 계산하여 그 값이 가장 크게 나오는 것을 선택한다.In addition, the moving object tracking unit 160 makes it possible to track an object without using an information matching technique when the tracking object is stopped and movement is lost or when multiple objects cross each other and accurate tracking is difficult. The information matching technique finds an object using a technique of matching the most similar data with the given information on the target data by using a given template. In general, the matching is calculated by calculating a correlation. Choose the one with the largest value.
도 3에 도시된 바와 같이, 지역감시장치(20)는 근거리에서 Pan/Tilt 카메라를 이용하여 카메라를 움직이면서 이동 물체를 감시하는 장치이다. 자동 가시 모드(auto-panning mode)에서는 카메라가 좌우로 움직이면서 움직임을 감시하며 움직임이 검출될 경우 주밍(Zooming)하여 물체를 검출하고 물체의 이동경로에 따라 카메라를 이동시켜 추적하는 장치이다.As shown in FIG. 3, the local monitoring apparatus 20 is a device for monitoring a moving object while moving the camera using a Pan / Tilt camera at a short range. In the auto-panning mode, the camera moves from side to side to monitor movement, and when movement is detected, zooms to detect an object and moves and tracks the camera according to the movement path of the object.
또한, 지역감시장치(20)에서는 카메라의 움직임이 발생하기 때문에 광역감시장치(10)에서 수행하는 과정에 추가하여 카메라의 움직임을 보정하는 과정과 움직이는 물체가 등록되었을 때 물체를 따라 카메라를 이동시키면서 추적하는 과정이 필요하게 된다.In addition, since the movement of the camera occurs in the regional monitoring apparatus 20, the process of correcting the movement of the camera in addition to the process performed by the global monitoring apparatus 10 and moving the camera along the object when the moving object is registered. Tracking is necessary.
이러한 지역감시장치(20)는 카메라(210), 영상입력부(220), 영상보정부(230), 움직임검출부(240), 움직임물체추출부(250), 움직임물체추적부(260) 및 카메라이동보정부(270)로 이루어진다.The regional monitoring apparatus 20 includes a camera 210, an image input unit 220, an image compensator 230, a motion detector 240, a moving object extractor 250, a moving object tracker 260, and a camera move. Compensation unit 270 is made.
카메라(210)는 근거리에서 사용되는 Pan/Tilt 카메라를 이용하여 감시영역의 영상데이터를 수집한다.The camera 210 collects image data of the surveillance area by using a Pan / Tilt camera used at a short distance.
영상입력부(220)는 카메라(210)로부터 수집된 영상을 입력한다.The image input unit 220 inputs an image collected from the camera 210.
영상보정부(230)는 영상입력부(220)로부터 입력된 영상을 보정하는 수단으로, 필터링(Filtering)을 통하여 영상을 보정한다.The image corrector 230 is a means for correcting an image input from the image input unit 220 and corrects the image through filtering.
여기서, 상기 영상보정부(230)는 입력 영상의 잡음 성분을 제거하여 보다 정확한 움직임 검출 및 이동 물체 추출을 위한 영상을 보정하는 수단으로, 잡음 제거 필터를 이용하여 입력 영상의 잡음을 제거한다.Here, the image corrector 230 is a means for correcting an image for more accurate motion detection and moving object extraction by removing noise components of the input image. The image correction unit 230 removes noise of the input image using a noise removing filter.
움직임검출부(240)는 영상보정부(230)로부터 보정된 영상에서 움직임을 검출하는 수단으로, 잡음이 제거된 영상에서 움직임이 있는 영역과 배경을 분리하기 위한 과정으로 Disturbance map을 이용하여 움직임이 발생한 부분을 검출한다.The motion detector 240 is a means for detecting motion in the image corrected by the image compensator 230. The motion detection unit 240 is a process for separating a motion region and a background from a noise-removed image and using a disturbance map. Detect the part.
움직임물체추출부(250)는 상기 디스터번스 맵(Disturbance map)을 이용하여 추출된 움직임 영역에서 실제 움직이는 물체를 분리하기 위한 수단으로, 움직임 영역 정보를 이용하여 분리(segmentation) 및 병합(merging)을 통하여 실제 하나의 물체를 추출한다. 여기서, 분리(segmentation)란 입력된 영상 신호에서 원하는 정보만을 분할하는 것을 의미하고, 병합(merging)은 동일한 물체를 나타내는 특징점이 여러개로 나누어져 있을 때 동일한 물체에 속해 있는 특징값들을 하나로 합치는 것을 의미한다.The moving object extractor 250 is a means for separating an actual moving object from the extracted motion region by using the disturbance map. The motion object extractor 250 uses segmentation and merging using motion region information. Extract a single object. In this case, segmentation means dividing only desired information from an input image signal, and merging means merging feature values belonging to the same object into one when multiple feature points representing the same object are divided into one. it means.
움직임물체추적부(260)는 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 수단으로, 지역감시장치(20)에서는 움직임이 검출되면 그 움직이는 물체를 고정(Lock)시킨 후 카메라(210)를 이동물체의 움직임에 맞추어 움직이면서 물체를 추적하게 된다. 이동 물체를 빠르고 정확하게 추적하기 위한 방법으로 색상 정보를 이용하거나 정합(Matching) 기법을 이용하거나 광류(Optical Flow)등을 이용하는 방법이 이용될 수 있다. 상기 광류(Optical Flow)는 n-1 프레임과 n프레임 사이에 동일한 위치를 찾아서 동일한 위치로 계산된 점들을 이어놓은 흐름도를 의미한다.The moving object tracking unit 260 is a means for tracking the position and speed of the extracted moving object. When the motion detection unit 20 detects a movement, the moving object tracking unit 260 moves the camera 210 after locking the moving object. The object is tracked by moving according to the movement of the object. As a method for quickly and accurately tracking a moving object, a method using color information, a matching method, or an optical flow may be used. The optical flow refers to a flow chart that finds the same position between n-1 frames and n frames and connects points calculated to the same position.
카메라이동보정부(270)는 지역 감시에서는 카메라(210)가 자동 가시 모드(auto-panning mode)로 동작하게 되는데 이는 카메라(210)가 자동으로 좌우로 움직이는 상태를 의미하며, 이 경우 움직임을 추출하게 되면 카메라 움직임에 의한 전체적인 움직임이 검출되어 실제 움직이는 물체의 움직임 추출이 어려워지게 된다. 이러한 문제를 해결하기 위하여 카메라의 움직임을 검출하여 보정하여 실제 움직이는 물체들의 움직임만을 검출 가능하게 한다.The camera movement correction unit 270 operates the camera 210 in the auto-panning mode in the area monitoring, which means that the camera 210 automatically moves from side to side, in which case the movement is extracted. In this case, the overall movement due to the camera movement is detected and it becomes difficult to extract the movement of the actual moving object. In order to solve this problem, the movement of the camera is detected and corrected, so that only the movement of actual moving objects can be detected.
상술한 설명에 의거하여 본 발명에 의한 다중 이동물체 추적/감시 시스템에 사용되는 알고리듬에 대하여 설명하기로 한다.Based on the above description, the algorithm used in the multiple moving object tracking / monitoring system according to the present invention will be described.
1. 필터링(Filtering)을 통한 잡음 제거 알고리즘필터링을 통한 잡음 제거 알고리즘은 광역감시장치(10)의 영상 보정부(130)와 지역감시장치(20)의 영상 보정부(230)에서 수행된다.1. Noise Reduction Algorithm Through Filtering The noise reduction algorithm through filtering is performed by the image correction unit 130 of the wide area monitoring apparatus 10 and the image correction unit 230 of the local monitoring apparatus 20.
1.1. 배경1.1. background
CCD 카메라를 이용한 영상 획득시 입력되는 잡음이나 기후 변화에 의한 영상 변화는 움직임 검출 단계에서 오류를 유발할 가능성을 크게 한다. 이러한 잡음 성분을 효과적으로 제거하기 위한 이미지 필터링(Filtering)이 필요하다.Image change caused by noise or climate change when acquiring an image using a CCD camera increases the possibility of causing an error in the motion detection step. Image filtering is needed to effectively remove these noise components.
1.2. 적용 방법1.2. Application method
영상의 잡음 성분을 제거하기 위한 필터(filter)로는 미디언 필터(median filter), 가우시안 필터(Gaussian filter), 평활 필터(smoothing filter), 가우시안 평활 필터(Gaussian smoothing filter), 평균 필터(mean filter)등 여러 가지 필터(filter)들이 사용된다. 이들 중 실시간 시스템 구현을 위하여 빠른 구현이 가능한 평균 필터(mean filter)를 이용하여 카메라에서 입력된 영상의 잡음 성분을 제거한다.여기서, 미디언 필터는 대상이 되는 데이터를 정렬하여서 중간값을 필터링값으로 돌려주는 필터이고, 가우시안 평활 필터는 영상을 흐리게 만드는 필터로서 필터의 모양이 종형 형태를 가지고 있다. 평균 필터는 영상을 흐리게 만들기 위한 필터로서 n x n 마스크 내의 평균을 구해서 그 값을 필터링 결과로 돌려주는 필터이다.As a filter for removing noise components of an image, a median filter, a Gaussian filter, a smoothing filter, a Gaussian smoothing filter, and a mean filter are used. Several filters are used. Among them, a mean filter that can be quickly implemented for real-time system implementation removes noise components of the image input from the camera. Here, the median filter sorts the target data and filters the median value. The Gaussian smoothing filter is a filter that blurs the image and has a vertical shape. The average filter is a filter for blurring an image. The average filter obtains an average in an n x n mask and returns the value as a filtering result.
보통의 평균 필터(mean filter)는 3x3 마스크를 영상에 적용하여 구현하게 되지만 보다 빠른 구현을 위하여 마스크 연산(즉, 필터링)을 수행하지 않고 블록을 이동시키면서 이전에 계산된 평균값을 이용하여 빠르게 평균값을 계산하는 방법을 이용하였다.A normal mean filter is implemented by applying a 3x3 mask to an image, but for faster implementation, the average value is quickly obtained by using a previously calculated average value while moving a block without performing a mask operation (ie, filtering). The method of calculation was used.
1.3. 적용 결과1.3. Application result
도 4는 입력된 영상을 이용한 움직임 영역추출(좌)과 필터링을 한 영상을 이용한 움직임 영역추출(우)을 도시한 것이다.4 illustrates a motion region extraction (left) using an input image and a motion region extraction (right) using an filtered image.
도 4에서 볼 수 있듯이 필터링(filtering)을 거치지 않은 영상의 경우 잡음에 의한 움직임 영역이 추출됨을 볼 수 있다.As shown in FIG. 4, in the case of the image that has not been filtered, a motion region due to noise is extracted.
2. 움직임 검출 알고리즘움직임 검출 알고리즘은 광역감시장치(10)의 움직임 검출부(140)와 지역감시장치(20)의 움직임 검출부(240)에서 수행된다.2.1. 배경2. Motion Detection Algorithm The motion detection algorithm is performed by the motion detection unit 140 of the wide area monitoring apparatus 10 and the motion detection unit 240 of the local monitoring apparatus 20. background
입력된 영상으로부터 움직이는 물체를 추적하기 위해서는 움직이는 물체의 움직임을 검출하고 그 위치를 찾아내는 것이 선행되어야 한다. 움직임 영역을 검출하는 방법에는 두 영상의 차이를 이용하는 방법, 광류(optical flow)를 이용하는 방법, 움직임 벡터를 이용하는 방법 등이 이용되고 있다.In order to track the moving object from the input image, detecting and locating the movement of the moving object must be preceded. As a method of detecting a motion region, a method using a difference between two images, an optical flow method, a motion vector method, and the like are used.
2.2. 디스터번스 맵(Disturbance map)2.2. Disasterburn map
움직임을 검출하는 방법 중 차를 이용하는 방법은 계산이 간단하고 빠른 특징을 가지고 있으나 조도 변화나 잡음에 매우 민감한 특징을 가지고 있으며, 광류(optical flow)나 움직임 벡터를 이용하는 방법은 많은 계산량을 필요로 하는 단점을 가지고 있다.Among the methods of detecting motion, the method using difference is simple and quick to calculate, but it is very sensitive to changes in illumination or noise, and the method using optical flow or motion vector requires a large amount of computation. It has a disadvantage.
본 발명에서는 이를 극복하기 위하여 디스터번스 맵(disturbance map)을 이용하고 있다. 디스터번스 맵(disturbance map)은 현재 영상과 배경(이전까지 입력된 영상의 평균 영상) 영상을 이용하여 디스터번스 맵(disturbance map)을 생성하고 이것을 이용 물체의 움직임 영역을 검출하는 방법이다. 디스터번스 맵(disturbance map)은 간단하여 빠른 계산이 가능하면서도 잡음 및 조도 변화에 강인한 특성을 갖는다.In the present invention, a disturbance map is used to overcome this problem. The disturbance map is a method of generating a disturbance map using a current image and a background (average image of a previously input image) image and detecting a moving region of an object using the same. The disturbance map is simple and allows fast calculations while being robust against noise and light intensity changes.
디스터번스 맵(Disturbance map)은 시평균(temporal average) 개념을 이용하는 방법으로 이전 프레임까지 평균에 가중치(historical weight)를 두어 배경 영상을 생성하고, 이것과 현재 프레임과의 차를 구하여 생성한다.Disturbance map (Disturbance map) is a method of using the temporal average concept (temporal average) to create a background image by giving a weight (historical weight) to the average up to the previous frame, and obtains the difference between this and the current frame.
여기서, It는 현재 프레임이고, At는 현재까지의 시평균을 나타낸다. 즉, 상기 수학식 1은 특정 프레임까지 입력된 입력 영상을 가지고 움직임에 영향을 가장 적게 받는 배경 영상(At)를 만들기 위한 수식이다.2.3. 움직임 영역 추출Here, I t is the current frame and A t represents the time average up to the present. That is, Equation 1 is an equation for creating a background image A t which is least affected by movement with an input image input up to a specific frame. Motion region extraction
디스터번스 맵(Disturbance map)은 움직임이 존재하는 영역에서는 값을 가지며 움직임이 없는 배경에서는 0에 가까운 값을 가지게 된다. 이것을 이용하여 디스터번스 맵(disturbance map)에서는 실제 움직임이 있는 영역을 추출하기 위해서 임계치 분할 방법(thresholding)을 이용하게 된다. 여기서, 임계치 분할 방법은 특정한 데이터에서 원하는 데이터와 원하지 않는 데이터를 나누기 위한 것으로, 일반적으로 기준 점 이상이면 그 값을 1로 설정하고 그 이하이면 0으로 설정한다.하기의 수학식 2에 보여진 바와 같이, 디스터번스 맵(Disturbance map) 전체에 절대값을 취하여 그 값이 일정 기준치(threshold)보다 크면 움직임 영역, 작으면 배경영역으로 분류한다.The disturbance map has a value in an area where motion exists and is close to 0 in a background where there is no motion. Using this, in the disturbance map, a threshold division method is used to extract an area in which a real motion is located. Here, the threshold dividing method is for dividing desired data and undesired data from specific data. In general, the threshold division method sets the value to 1 if it is above the reference point and to 0 if it is below. As shown in Equation 2 below, In this case, the absolute value of the entire distribution map is classified into a motion region when the value is larger than a predetermined threshold, and a background region when the value is smaller than the threshold map.
도 5는 시간경과에 따른 입력영상과 디스터번스 맵(disturbance map), 움직임 영역 추출결과를 도시한 것이다.FIG. 5 illustrates an input image, a disturbance map, and a motion region extraction result over time.
3. 움직이는 물체 추출 알고리즘움직임 물체 추출 알고리즘은 광역감시장치(10)의 움직임 물체 추출부(150)와 지역감시장치(20)의 움직임 물체 추출부(250)에서 수행된다.3.1. 배경3. Moving object extraction algorithm The moving object extraction algorithm is performed by the moving object extraction unit 150 of the wide area monitoring apparatus 10 and the moving object extraction unit 250 of the local monitoring apparatus 20. background
디스터번스 맵(Disturbance map)에 의해 추출된 움직임 영역을 레이블링(labeling) 과정을 통해 각각의 영역으로 분리해 낸다. 이 때 크기가 기준치 보다 작은 영역은 잡음으로 간주하여 제거하게 되며, 각각의 레이블 된 물체의 무게중심을 구하여 표적의 위치로 정하게 된다. 레이블링 과정은 특정한 영상을 임계치 분할(thresholding)한 후에 서로 연결되어 있는 픽셀들이 각각 하나의 물체로 인식될 수 있도록 따로 따로 번호를 붙이는 것으로, 연결성을 계산할 때 4방향 혹은 8방향으로 계산된다.The motion regions extracted by the disturbance map are separated into respective regions through a labeling process. At this time, the area whose size is smaller than the reference value is regarded as noise and is removed, and the center of gravity of each labeled object is obtained to determine the target position. In the labeling process, after thresholding a specific image, the pixels are numbered separately so that the pixels connected to each other can be recognized as a single object.
그러나, 실제 영상에 디스터번스 맵(Disturbance map)을 적용하면 하나의 물체에 대하여 여러 개의 움직임 영역이 추출되는 경우가 종종 발생하게 된다. 이는 한 물체가 다른 밝기의 여러 부분으로 이루어져있어 각 부분을 개별 물체로 인식하기 때문에 발생하는 문제이다. 이를 보완하기 위하여 여러 물체로 분리되어 인식된 하나의 물체를 하나로 합치는 과정(merging)이 필요하게 된다.However, when a disturbance map is applied to an actual image, a plurality of motion regions are often extracted for one object. This is caused by the fact that one object is made up of different parts of different brightness, and each part is recognized as an individual object. In order to compensate for this, a merging process of merging one recognized object into several objects is required.
3.2. 이진 필터링(Binary Filtering)3.2. Binary Filtering
분리된 물체를 하나의 영역으로 합치기 위하여 우선 움직임 영역에 대하여 이진 필터링(binary filtering)을 하게 된다. 이진 필터링(Binary filtering)은 모폴로지(morphology) 기법을 이용하여 영상 내에서 원하는 부분을 넓히거나 좁히는 방법으로, 이진 필터링을 통하면 잡음 제거 효과를 볼 수 있으며 나누어진 물체에 대하여 1,2 픽셀(pixel) 떨어진 물체간에는 합쳐진 결과를 얻을 수 있다.In order to combine the separated objects into one region, first, binary filtering is performed on the moving region. Binary filtering is a method of widening or narrowing a desired part of an image by using morphology technique.By binary filtering, a noise reduction effect can be obtained. ) Combined results can be obtained between objects.
도 6은 이진필터링의 전(좌)과 후(우) 비교를 도시한 것이다.6 shows a comparison of the before (left) and after (right) of binary filtering.
3.3. 물체 병합(Object Merge)3.3. Object Merge
이진 필터링(Binary filtering)에 의해 잡음이 제거되고 물체가 합쳐지기는 하지만 완벽하게 합쳐지는 것은 아니다. 따라서, 레이블링(labeling) 후 생성되는 물체의 위치 정보 및 추적에 사용되는 속도 및 방향 정보를 이용하여 하나의 물체로 추정되는 물체들끼리 합쳐주는 작업을 수행하게 된다.Binary filtering removes noise and combines objects, but not perfectly. Therefore, the objects estimated as one object are combined by using the position information of the object generated after labeling and the velocity and direction information used for tracking.
현재는 두 물체의 거리 정보만 이용하여 물체를 합치고 있다.Currently, objects are merged using only the distance information of two objects.
도 7은 물체 병합(object merge)의 전(좌)과 후(우) 비교를 도시한 것이다.FIG. 7 shows a comparison between the front (left) and the rear (right) of an object merge.
4. 칼만필터(kalman filter)를 이용한 위치 및 속도 추적 알고리즘칼만 필터를 이용한 위치 및 속도 추적 알고리즘은 광역감시장치(10)의 움직임 물체 추적부(160)와 지역감시장치(20)의 움직임 물체 추적부(260)에서 수행된다.4. Position and Velocity Tracking Algorithm Using Kalman Filter The position and velocity tracking algorithm using Kalman filter is used for tracking the moving object tracking unit 160 of the wide area monitoring apparatus 10 and the local monitoring apparatus 20. In step 260 is performed.
4.1. 배경4.1. background
이전 단계에서 추출된 움직이는 물체는 단지 현재 프레임에서의 위치 정보만을 가지고 있다. 움직이는 물체를 추적하기 위해서는 각 프레임에서 추출된 물체의 위치 정보를 바탕으로 이들 사이의 상관관계를 파악하여 하나의 이동 물체로 분류하고 현재까지의 물체의 동작을 파악하여 다음 위치를 예측하기 위한 방법이 필요하게 된다. 그리고 이동 물체의 운동 특징을 파악하고 예측을 함으로써 보다 빠르고 정확하게 이동 물체 추적이 가능하게 된다.The moving object extracted in the previous step contains only the positional information in the current frame. In order to track moving objects, a method for predicting the next position by grasping the correlation between them based on the location information of each object extracted from each frame and classifying them as a moving object and grasping the motion of the object to date It is necessary. Also, by identifying and predicting the movement characteristics of the moving object, the moving object can be tracked more quickly and accurately.
4.2 칼만 필터(Kalman Filter)4.2 Kalman Filter
움직이는 물체를 추적하기 위하여서는 주로 칼만 필터를 사용하게 된다. 본 연구에서도 측정된 화상정보로부터 표적을 추적하기 위하여 칼만 필터를 사용하였다. 칼만 필터는 필터의 구조가 선형으로 구성되어 있으며, 선형시스템에서 주어진 조건들을 만족할 경우에 그 특성이 최적의 상태를 나타냄은 잘 알려져 있다. 수학식 3과 같이 주어지는 이산선형시스템에서는는 시간에서 위치, 속도, 가속도 등의 임의의 개수를 갖는 상태벡터이며,는 물체의 운동 방정식을 모형화하여 얻은 상수 행렬이다. 그리고, 물체의 상태 특히, 위치를 얻기 위한 센서의 특성이 되는 벡터에서에 의해서 얻어지는 위치를 구하는 측정방정식이 수학식 4와 같이 주어지는 모델에 대한 칼만 필터를 설계한다.The Kalman filter is mainly used to track moving objects. In this study, Kalman filter was used to track the target from the measured image information. It is well known that Kalman filters have a linear structure and that their characteristics are optimal when the conditions given in the linear system are met. In the discrete linear system given by Equation 3 Time Is a state vector with any number of positions, velocities, accelerations, etc. Is a constant matrix obtained by modeling the equation of motion of an object. And, in the state of the object, especially in the vector that is the characteristic of the sensor to get the position We design a Kalman filter for a model where the measurement equation for obtaining the position is given by Equation (4).
여기에서는 시스템에 부가되는 공정잡음을 의미하며, 측정방정식에서의는 신호를 측정할 때에 발생하는 센서 잡음을 의미한다. 이들은 서로 상관관계가 없으며, 각각의 공분산이,로 주어지고, 각각 평균이 영인 백색잡음의 특성을 지닌다고 가정한다. 시간에서 상태변수의 측정값가 센서를 통해 얻어지면, 이 측정값이 지니고 있는 정보를 시간 k-1에서 예측한 필터의 추정값에 보강하여 주어야 한다. 여기에서 필터의 구조가 선형이라고 하면, 새로운 측정값에 포함된 정보를 보강한 추정값From here Is the process noise added to the system, and the Refers to sensor noise generated when measuring the signal. They are not correlated with each other, and each covariance , And assume that each has a characteristic of white noise with an average of zero. time Measured value of state variable in If is obtained through a sensor, the estimated value of the filter that predicts the information of this measurement at time k-1. Should be reinforced. If the structure of the filter is linear here, then the estimated value is augmented with the information contained in the new measurement.
는 수학식 5과 같은 선형구조로 표현할 수 있으며, 필터의 설계는 수학식 5에서의 필터의 이득를 결정하는 문제로 바뀌게 된다. Can be expressed as a linear structure as shown in Equation 5, and the design of the filter is the gain of the filter in Equation 5. It turns into a matter of determining.
보강된 추정값은 실제 상태 벡터와의 차, 즉 오차(e =- xk)를 발생한다.필터의 성능지표를 추정오차의 제곱평균을 최소로 하도록 설정하면, 수학식 6와 같이 주어지는 추정오차의 공분산 행렬에서 그 대각요소들의 합을 최소로 하는 문제로 정리된다The augmented estimate is the difference from the actual state vector, or error (e = - generates a x k) is set to a performance index of a filter to minimize the mean square of the estimation error, it is organized as a problem to minimize the sum of the diagonal elements in the covariance matrix of the estimation error is given by Equation 6
수학식 6에서의는 수학식 5에서 측정값의 정보가 보강되기 전까지의 측정값의 추정오차에 관한 공분산 행렬로서 수학식 7와 같이 표현할 수 있다.In equation (6) Is the measured value until the information of the measured value is reinforced in Equation 5 It can be expressed as Equation 7 as a covariance matrix for the estimation error of.
수학식 6로 표현되는 공분산 행렬의 대각 요소의 합으로 가격함수(cost function)는 필터의 이득에 관하여 이차식이고, 그 이차항의 계수가 상태변수와 측정잡음의 공분산의 양의 성질을 지니므로 항상 최소값을 갖게 된다. 따라서에 관한 1차 미분식을 '0'으로 하는값은 수학식 8과 같이 나타난다. 이 값을 수학식 6에 대입하여 정리하면, 측정치 보강 작업을 진행한 뒤의 추정오차의 공분산 행렬은 수학식 9과 같이 표현할 수 있다.The cost function is the sum of the diagonal elements of the covariance matrix It is quadratic with respect to, and the quadratic coefficient always has a minimum because it is a property of the amount of covariance between the state variable and the measured noise. therefore Let the first derivative of The value is expressed as in Equation 8. By substituting this value into Equation 6, the covariance matrix of the estimated error after performing the measurement reinforcement can be expressed as Equation 9.
수학식 5로 주어지는 상태변수의 추정값은 다음의 측정값이 입력될 때까지 필터가 가지고 있는 정보인 물체의 운동 방정식에 따라 계속하여 최적의 추정값으로 전개될 수 있다. 수학식 10은 상태변수에 관한 새로운 측정값이 얻어질 때까지 물체의 운동방정식에 의하여 진행되는 상태변수의 추정식을 나타내고 있으며, 수학식 11는 이와 같이 전개된 상태변수의 시간 k+1에서의 추정값의 공분산 행렬을 나타내고 있다.The estimated value of the state variable given by Equation 5 may continue to develop into an optimal estimated value according to the equation of motion of the object, which is the information the filter has until the next measured value is input. Equation 10 shows an equation of the state variable which is progressed by the equation of motion of the object until a new measurement value of the state variable is obtained. Estimate Shows the covariance matrix of.
수학식 10과 수학식 11를 이용하여 구한 추정값과 이의 공분산 행렬은 수학식 8으로 주어지는 다음 상태의 필터이득이 되며, 다음의 측정값이 입력되면 수학식 8과 같이 상태변수의 추정값를 구하고, 또 그 공분산행렬을 수학식 9과 같이 구하게 된다.The estimated value and its covariance matrix obtained using Equations 10 and 11 are the filter gains of the next state given by Equation 8, and the following measured values If is input, the estimated value of the state variable as shown in Equation (8) Find the covariance matrix Is obtained as shown in Equation 9.
이와 같은 방법으로 최적의 필터인 칼만필터를 매번의 측정값이 있을 때마다 순환식으로 구할 수 있게 된다. 이상과 같은 칼만필터는 도 8과 같이 주어지는 흐름도의 순서대로 정리될 수 있다.In this way, the Kalman filter, the optimum filter, can be found cyclically with every measurement. Kalman filter as described above can be arranged in the order of the flow chart as shown in FIG.
도 8은 칼만 필터의 순서도를 도시한 것이다.8 shows a flowchart of a Kalman filter.
5. 정보 정합(Template Matching) 알고리즘5. Template Matching Algorithm
5.1. 배경5.1. background
일반적으로 움직임 검출을 이용한 물체 추적 시 움직이던 물체가 정지하게 되면 움직임 검출이 되지 않아서 추적하던 물체를 놓치게 되는 일이 발생하게 된다. 이러한 경우를 해결하기 위하여 입력 영상을 이용하여 직접 물체를 찾는 정보 정합(template matching)기법을 이용한다.In general, when a moving object stops while tracking an object using motion detection, the moving object is not detected and the tracking object is missed. In order to solve such a case, an information matching method of directly searching for an object using an input image is used.
5.2. 투영 벡터 합을 이용한 정보 정합(Template matching) 알고리즘5.2. Information matching algorithm using projection vector sum
일반 적인 정보 정합(template matching) 방법은 많은 연산량을 필요로 하기 때문에 실시간 추적 시스템에 적용하기 어려운 문제가 있다. 이를 해결하기 위하여 본 연구에서는 투영 벡터 합을 이용한 고속 정보 정합(template matching) 알고리즘을 이용하였다.The general template matching method requires a large amount of computation and is difficult to apply to a real-time tracking system. To solve this problem, we used a fast template matching algorithm using the projection vector sum.
투영법은 기존은 2차원 영상 신호의 유사도를 비교하는 방법을 2차원 영상을 투영 시켜 얻은 1차원 신호의 유사도 만을 비교하는 방법으로 하여 수행 속도를 향상시키고 있다.In the conventional projection method, a method of comparing the similarities of two-dimensional image signals is performed by comparing only the similarities of one-dimensional signals obtained by projecting two-dimensional images.
도 9는 2차원 영상에 대한 수직 및 수평 방향의 투영결과를 도시한 것이다.9 shows the projection results in the vertical and horizontal directions for a two-dimensional image.
투영법에 의해 속도가 많이 향상되게 되지만, 정지한 물체의 수가 많아지게 되면 전체 계산 시간이 길어지게 되는 문제가 있다. 이러한 문제를 해결하기 위하여 벡터 합 방법을 도입하게 된다.Although the speed is greatly improved by the projection method, there is a problem that the total calculation time becomes longer when the number of stationary objects increases. In order to solve this problem, a vector sum method is introduced.
벡터 합은 도 10에 도시된 바와 같이, 투영된 1차원 신호를 벡터형태로 펼친 후 그 합을 구하여 하나의 벡터로 표현하는 방법으로 매우 큰 속도 향상을 가져오게 된다.As shown in FIG. 10, as shown in FIG. 10, the projected one-dimensional signal is unfolded in a vector form, and the sum is obtained to express the sum as a single vector.
도 10은 투영신호에 대한 벡터표현과 그 벡터합을 도시한 것이다.10 shows a vector representation of a projection signal and its vector sum.
5.3. 결과5.3. result
도 11은 정보 정합(Template matching)에 의한 물체추적을 도시한 것이다. 이러한 도 11은 이동 중인 차를 정보(template)으로 등록하고 그 다음 프레임에서 정합(matching)에 의해 위치를 찾은 결과를 도시한 것이다. 정합(Matching) 기법을 이용하면 물체가 정지나 이동에 상관없이 영상에 존재하는 물체의 위치를 찾을 수 있게 된다. 이러한 결과는 지역 감시 시스템에서 검출된 이동 물체를 추적하는데도 이용될 수 있다.FIG. 11 illustrates object tracking by template matching. FIG. 11 illustrates a result of registering a moving car as a template and finding a position by matching in the next frame. Matching techniques allow the object to be located in the image regardless of whether it is stationary or moving. This result can also be used to track moving objects detected in the local surveillance system.
6. 움직임 분할 알고리즘(Motion Segmentation)6. Motion Segmentation
움직임 분할 알고리즘은 광역감시장치(10)의 움직임 물체 추출부(150)과 지역감시장치(20)의 움직임 물체 추출부(250)에서 수행된다.6.1. 목적The motion segmentation algorithm is performed by the moving object extraction unit 150 of the wide area monitoring apparatus 10 and the moving object extraction unit 250 of the local monitoring apparatus 20. 6.1. purpose
기존의 디스터번스 맵(Disturbance map)을 이용한 움직임 추출 방법은 하나의 움직이는 물체가 여러 개의 움직이는 물체로 나누어지는 단점을 가지고 있어 나누어진 물체를 하나로 합쳐주는 부가 과정이 필요하게 된다. 본 방법은 이러한 문제를 해결하기 위한 새로운 움직임 추출 방법으로 고정된 카메라에서 얻은 영상에서 움직임이 있는 물체를 정확하게 추출하여 분리(Segmentation) 하는 것을 목적으로 아직 연구중인 방법이다.The conventional method of extracting motion using a disturbance map has a disadvantage in that one moving object is divided into several moving objects, and thus, an additional process of combining the divided objects into one is required. This method is a new motion extraction method to solve this problem. The method is still under study for the purpose of accurately extracting and segmenting moving objects from images obtained from fixed cameras.
6.2. 주요 알고리즘6.2. Main algorithm
배경 이미지(Background Image)생성 : 입력되는 영상으로부터 배경 이미지(background Image)를 생성한다.Create Background Image: Creates a background image from the input image.
차이 이미지(Difference Image) 생성 : 입력되는 영상과 배경 이미지(background Image)에서의 차이를 이용하여 변화가 있는 부분을 추출한다.Difference Image Generation: Extracts the part with change by using the difference between the input image and the background image.
이미지 에지(Image Edge)추출 : 움직임이 있는 이미지의 윤곽선을 검출한다. 주로 미분 필터가 사용된다.Image Edge Extraction: Detects the contour of a moving image. Differential filters are mainly used.
6.3. 특징6.3. Characteristic
입력되는 영상으로부터 배경이미지의 생성을 유도해내어 현재 이미지에서 배경이미지와의 차를 이용하여 움직임이 있는 부분의 영역을 분리한다. 이렇게 분리된 영역에 대한 윤곽선을 검출하여 표시해 주는 시스템이다. 이 연구에 쓰인 방법은 종전의 디스터번스 맵(Disturbance map)의 방법보다 배경이미지의 변화가 적어 움직이는 일정 크기 이상의 하나의 물체에 대하여 둘로 분리되는 현상을 극복하였으며. 점차적인 조명의 변화에 알맞은 시스템으로 도로주행검사 시스템이나 일정한 공간의 감시 시스템으로 유용하게 사용할 수 있다.It derives the background image from the input image and separates the area of the moving part using the difference from the background image in the current image. It is a system that detects and displays the outline of the separated area. The method used in this study overcomes the phenomenon that the background image changes less than that of the previous disturbance map, so that the object is separated into two for a moving object. It is a system suitable for gradual change of lighting, and it can be usefully used as a road driving inspection system or a monitoring system of a certain space.
6.4. 세부 알고리즘 설명6.4. Detailed algorithm description
6.4.1 배경이미지 생성6.4.1 Create background image
움직임이 있는 물체를 찾아내기 위하여 적절한 배경 이미지의 생성은 이 시스템에서 중요한 역할은 한다. 여기서 제안한 방법은 배경이미지의 변화를 최소화하여 급격한 이미지의 변화에도 배경이미지의 동요가 발생하지 않도록 되어 있다.The creation of a suitable background image is an important part of this system for finding moving objects. The proposed method minimizes the change of the background image so that the background image is not shaken even by the sudden change of the image.
배경이미지 생성 알고리즘은 다음과 같다.The background image generation algorithm is as follows.
a. 처음에 들어오는 이미지를 배경이미지로 입력한다.a. Enter the first incoming image as the background image.
b. 처음의 이미지에 움직이는 물체가 존재할 수도 있으므로 어느 정도의 초반 프레임(frame) 까지는 이미지의 변화를 일정량 이상 주게 한다.b. Since there may be moving objects in the first image, it may give a certain amount of change in the image up to a certain initial frame.
c. 일정시간이 지난 후에는 배경이미지의 변화를 최소화하여 현재 입력되는 영상에서의 영향을 줄인다.c. After a certain time, the change of the background image is minimized to reduce the influence on the currently input image.
도 12는 초반 프레임에서의 입력이미지와 배경이미지를 도시한 것이다.12 shows an input image and a background image in the initial frame.
도 13은 일정시간이후의 입력이미지와 배경이미지를 도시한 것이다.13 shows an input image and a background image after a certain time.
6.4.2 차이 이미지(Difference Image) 생성6.4.2 Create Difference Image
현재 들어오는 이미지에 대하여 배경 이미지(background image)와의 차이를 이용하여 변화가 일어난 부분을 표시해준다. 배경이미지와 움직이는 물체와의 밝기(brightness)값이 적은 경우를 대비하여 약간의 모폴로지(morphology) 기법을 적용하여 영역을 확대하여 준다. 이렇게 작성된 차이 이미지(Difference Image)는 도 14와 같다. 모폴로지 기법은 영상 요소(element structure)를 가지고 영상을 스캔하면서 영상 요소에 원하는 값이 하나라도 있으면 영상 요소의 중심 값을 1로 변경하거나, 원하는 값이 모두 채워져 있지 않으면 영상 요소의 중심 값을 0으로 변경하는 방법이다.The difference between the background image and the background image is used to indicate the change. In case the brightness value between the background image and the moving object is small, a small morphology technique is applied to enlarge the area. The difference image thus created is shown in FIG. 14. The morphology technique scans an image with an element structure and changes the center value of the image element to 1 if the image element has any desired value, or to zero if all the desired values are not filled. How to change.
도 14는 입력된 이미지와 배경이미지와의 차를 이용하여 움직임 추출이미지를 도시한 것이다.14 illustrates a motion extraction image by using a difference between an input image and a background image.
6.4.3 윤곽선 이미지 생성6.4.3 Create contour image
현재의 입력된 이미지에 대하여 에지 검출(Edge-detection)을 수행한 이미지를 생성한다. 이렇게 생성된 에지 영상(Edge image)에서 영역이미지의 안에 포함되는 윤곽선만을 추출하여 표시해준다. 에지 검출(Edge detection) 미분 필터링 방법을 사용하여 생성하였다.Create an image that has edge-detected the current input image. Only the outlines included in the area image are extracted from the edge image generated in this way and displayed. Edge detection was generated using a differential filtering method.
도 15a는 현재 들어오는 프레임에서의 에지이미지를 도시한 것이고, 도 15b는 결과이미지를 도시한 것이다.15A shows the edge image in the current incoming frame, and FIG. 15B shows the resulting image.
6.5. 요약6.5. summary
입력되는 프레임들을 이용하여 배경이미지를 만드는 방법으로 흔히 디스터번스(Disturbance)를 사용한다. 그러나 이 방법은 최근의 프레임에 민감한 반응을 보이므로 하나의 물체에 대하여 분할되는 효과를 보이기도 하였다. 본 연구에서는 이러한 단점을 보안하기 위하여 배경이미지를 생성한 후에는 변화량을 최소화하도록 제한하여 하나의 물체에 대한 분리(segmentation)를 원활하게 수행하도록 하는데 중점을 두었다. 또한 이미지의 에지(Edge) 정보를 이용함으로써 물체의 분리(segmentation)의 효과를 증대하도록 노력하였다.Disturbance is commonly used to create a background image using input frames. However, this method has a sensitive response to recent frames, so it has a split effect on one object. In order to secure these shortcomings, this study focuses on smoothing the segmentation of one object by limiting the amount of change after creating the background image. In addition, efforts have been made to increase the effect of segmentation by using edge information of an image.
7. 카메라 움직임 보정 알고리즘7. Camera Motion Compensation Algorithm
7.1. 배경7.1. background
지역 감시 시스템에서 자동 감시 모드로 동작 할 경우 카메라는 자동으로 회전하면서 넓은 영역을 감시하게 된다. 이러한 카메라의 움직임이 있을 경우 기존의 움직임 검출 방법으로는 물체의 움직임을 검출하기가 어렵게 된다. 이를 해결하기위한 방법으로 카메라의 움직임을 추정하여 영상을 보정하여 줌으로써 움직임을 검출하는 방법이 필요하게 된다.When operating in the automatic monitoring mode in the local surveillance system, the camera automatically rotates to monitor a large area. When there is a movement of the camera, it is difficult to detect the movement of an object by a conventional motion detection method. In order to solve this problem, there is a need for a method of detecting a motion by estimating a camera motion and correcting an image.
7.2. 정보 정합 기법(Template matching)과 그 위치 관계를 이용한 움직임 추정 알고리즘7.2. Motion Estimation Algorithm Using Template Matching and Its Positional Relationship
입력된 영상을 이용하여 카메라의 움직임을 보정하기 위하여 영상의 일정한 위치와 간격으로 정보(템플레이트; template)를 등록하고 다음 프레임에 그 위치를 찾게 된다. 다음 프레임에서 찾아진 템플레이트(template)들의 위치와 이전 프레임의 위치 사이의 차이를 이용하면 카메라의 움직임을 추정 할 수 있게 된다.In order to correct the movement of the camera using the input image, information (template) is registered at a predetermined position and interval of the image, and the position is found in the next frame. By using the difference between the positions of the templates found in the next frame and the position of the previous frame, the motion of the camera can be estimated.
이 때, 정합(matching)의 오류에 의한 잘못된 카메라 움직임 추정을 피하기 위하여 이전 프레임에서 각 템플레이트(template) 사이의 위치 관계와 현재 프레임에서 찾아진 템플레이트(template) 사이의 위치 관계를 이용하여 오류가 큰 위치는 움직임 추정에서 제외함으로써 보다 정확한 카메라 움직임을 추정 할 수 있다.In this case, in order to avoid incorrect camera motion estimation due to a matching error, a large error is generated by using a positional relationship between templates in the previous frame and a template found in the current frame. By excluding the position from the motion estimation, more accurate camera motion can be estimated.
도 16은 이전 프레임에 등록된 템플릿(좌)과 현재 프레임에서 찾아진 템플릿(우)을 도시한 것이다.16 shows a template (left) registered in a previous frame and a template (right) found in the current frame.
도 12처럼 현재 프레임에서 찾아진 템플레이트(template)의 위치가 이전 프레임에서 설정된 위치와 큰 오차를 보이는 템플레이트(빗금친 부분)는 움직임 추정에서 제외하고 나머지 템플레이트(template)들을 이용하여 움직임 벡터를 계산하고 구해진 움직임 벡터를 이용하여 카메라 움직임을 보정하게 된다.As shown in FIG. 12, the template (hatched portion) whose position of the template found in the current frame has a large error with the position set in the previous frame is excluded from the motion estimation, and the motion templates are calculated using the remaining templates. The camera motion is corrected using the obtained motion vector.
도 13은 실제 카메라가 움직이는 영상에 대하여 그냥 움직임을 검출 한 것과 본 방법을 통하여 카메라의 움직임을 계산하고 그것을 보정한 이후에 움직임을 추출한 결과를 비교하여 보여 주고 있다. 본 알고리즘을 적용하였을 경우 카메라의움직임이 많이 보정 되어 실제 움직이는 물체들의 움직임이 검출됨을 볼 수 있다.FIG. 13 shows a result of comparing a result of extracting a motion after calculating a motion of a camera and correcting the motion of the camera through the present method by simply detecting a motion with respect to a moving image of an actual camera. When the algorithm is applied, the movement of the camera is corrected a lot so that the movement of the moving objects is detected.
도 17a 내지 도 17c는 카메라 움직임 보정 전과 후의 움직임 추출결과를 비교하여 도시한 것으로, 도 17a는 입력영상이고, 도 17b는 카메라 움직임 보정 전의 움직임 추출결과이고, 도 17c는 카메라 움직임 보정 후의 움직임 추출결과를 도시한 것이다.17A to 17C show a comparison of motion extraction results before and after camera motion correction, FIG. 17A is an input image, FIG. 17B is a motion extraction result before camera motion correction, and FIG. 17C is a motion extraction result after camera motion correction. It is shown.
8. 블록 정합을 이용한 움직임 검출 알고리즘블록 정합을 이용한 움직임 검출 알고리즘은 지역감시장치(20)의 카메라 이동 보정부(270)에 의해 수행된다.8. Motion Detection Algorithm Using Block Matching The motion detection algorithm using block matching is performed by the camera movement correction unit 270 of the local monitoring apparatus 20.
8.1. 배경8.1. background
일반적으로 입력 영상의 차이를 이용하여 움직임을 검출하는 방법은 카메라의 움직임이 있을 경우는 적용이 어려워지는 문제를 가지고 있다. 이러한 경우 영상을 작은 블록으로 나누고 그 블록의 움직임 벡터를 추출하는 블록 정합을 이용하게 되면 카메라의 움직임 벡터와 물체의 움직임 벡터가 서로 다르게 나타나게 되어 카메라의 움직임이 있을 경우도 물체의 움직임을 추출하는 것이 가능하게 된다.In general, a method of detecting a motion using a difference of an input image has a problem in that it is difficult to apply the motion of a camera. In this case, if you use the block matching to divide the image into small blocks and extract the motion vector of the block, the motion vector of the camera and the motion vector of the object will appear differently. It becomes possible.
8.2. 알고리즘8.2. algorithm
입력 영상을 N X N의 작은 블록으로 나눈 후 다음 입력 영상에서 각각의 블록이 어디로 이동하였는지를 검색하는 것이 블록 정합 알고리즘이다.The block matching algorithm divides an input image into small blocks of N X N and then searches where each block is moved in the next input image.
도 18a 내지 도 18b는 블록정합을 이용한 움직임 벡터 추출을 도시한 것으로, 도 18a는 이전프레임, 도 18b는 현재 프레임을 나타낸다.18A to 18B illustrate motion vector extraction using block matching. FIG. 18A shows a previous frame and FIG. 18B shows a current frame.
8.2.1 전역 탐색 알고리즘8.2.1 Global Search Algorithm
현재 프레임 블록과 같은 좌표를 갖는 이전 프레임 블록의 위치를 중심으로 탐색 영역에 포함되는 모든 점들을 조사하여 움직임 벡터를 찾는 방법으로 최적의움직임 벡터를 찾을 수 있으나 계산량이 너무 많은 단점이 있다.Although the optimal motion vector can be found by searching all the points included in the search area based on the position of the previous frame block having the same coordinate as the current frame block, the motion vector can be found.
8.2.2 고속 탐색 알고리즘8.2.2 Fast Search Algorithm
8.2.2.1 세 단계 탐색 알고리즘(three-step search algorithm)8.2.2.1 three-step search algorithm
일정한 탐색 패턴에 따라서 움직임 벡터를 탐색, 계산량을 줄이고 간단하면서도 효율적인 알고리즘으로, 첫 번째 탐색이 잘못 되었을 경우 로컬옵티머(local optima)에 빠질 수 있다.A simple and efficient algorithm that searches for motion vectors according to a certain search pattern, reduces computations, and if the first search goes wrong, it can fall into local optima.
8.2.2.2 다이아몬드 탐색 알고리즘(unrestricted center-biased diamond search algorithm)8.2.2.2 unrestricted center-biased diamond search algorithm
움직임 벡터의 가운데 중심적인 특성을 이용해서 정확한 움직임 벡터를 찾는 확률을 높임, 급격한 움직임이 있는 영상의 경우 부적합하다.It increases the probability of finding the correct motion vector by using the central characteristic of the motion vector. It is not suitable for the image with the abrupt motion.
8.2.2.3 예측 탐색 알고리즘(prediction search algorithm)8.2.2.3 Prediction search algorithm
인접한 이전 블록의 움직임 벡터의 정보를 이용, 인접한 블록의 움직임 벡터의 연관성이 떨어질 경우 성능이 떨어진다.If the correlation of the motion vectors of the adjacent blocks is reduced by using the information of the motion vectors of the adjacent previous blocks, the performance decreases.
8.2.3 적응적 예측 방향성 탐색 알고리즘8.2.3 Adaptive Prediction Directional Search Algorithm
전역 탐색 알고리즘에서 계산량의 문제와 고속 탐색 알고리즘에서 부족한 정보로 인한 국부적인 탐색 문제를 방지할 수 있는 알고리즘으로 연속된 프레임에서 움직임이 일관성을 갖는 시간적인 연관성과 현재 프레임 내에서 블록들 사이에서의 공간적인 연관성을 이용해서 움직임 벡터 계산하는 방법이다.Algorithm that prevents computational problem in global search algorithm and local search problem due to lack of information in fast search algorithm. Temporal association with motion in consecutive frames and space between blocks within current frame. It is a method of calculating the motion vector by using the correlation.
8.3. 결과8.3. result
도 19는 블록 정합을 이용하여 움직임 영역을 추출한 결과를 도시한 것이다.현재는 카메라의 움직임이 없을 경우만 대상으로 실험하였지만 추후 카메라의 움직임이 있을 경우 카메라의 움직임 벡터와 물체의 움직임 벡터를 구분하여 움직임을 추출하게 될 것이다.19 illustrates a result of extracting a motion region using block matching. Currently, experiments are performed only when there is no camera movement, but when there is camera movement later, the motion vector of the camera and the motion vector of the object are distinguished. You will extract the movement.
9. 적응적 배경 방법(Adaptive Background Method)9. Adaptive Background Method
9.1 배경이미지 생성9.1 Create Background Image
움직임이 있는 물체를 찾아내기 위하여 적절한 배경 이미지의 생성은 이 시스템에서 중요한 역할은 한다. 여기서 제안한 방법은 배경이미지의 변화를 최소화하여 급격한 이미지의 변화에도 배경이미지의 동요가 발생하지 않도록 되어 있다. 배경이미지 생성 알고리즘은 다음과 같다.The creation of a suitable background image is an important part of this system for finding moving objects. The proposed method minimizes the change of the background image so that the background image is not shaken even by the sudden change of the image. The background image generation algorithm is as follows.
a. 처음에 들어오는 이미지를 배경이미지로 입력한다.a. Enter the first incoming image as the background image.
b. 처음의 이미지에 움직이는 물체가 존재할 수도 있으므로 일정시간동안의 프레임 까지는 이미지의 변화를 일정량 이상 배경이미지로 간주한다.b. Since moving objects may exist in the first image, the change of the image is regarded as the background image more than a certain amount until the frame for a certain time.
c. 일정시간이 지난 후에는 배경이미지의 변화를 최소화하여 현재 입력되는 영상이 배경이미지에 주는 영향을 줄인다.c. After a certain time, the change of the background image is minimized to reduce the influence of the currently input image on the background image.
도 20a는 초반 프레임에서 입력이미지와 배경이미지, 도 20b는 일정시간 이후의 입력이미지와 배경이미지를 도시한 것이다.20A illustrates an input image and a background image in an initial frame, and FIG. 20B illustrates an input image and a background image after a predetermined time.
9.2 차이 이미지(Difference Image) 생성9.2 Create Difference Image
현재 들어오는 이미지에 대하여 배경 이미지(background image)와의 차이를 이용하여 변화가 일어난 부분을 표시해준다. 배경이미지와 움직이는 물체와의 밝기(brightness) 값이 적은 경우를 대비하여 약간의 모폴로지(morphology) 기법을 적용하여 영역을 확대하여 준다. 이렇게 작성된 차이 이미지(Difference Image)는 다음과 같다.The difference between the background image and the background image is used to indicate the change. In case the brightness value between the background image and the moving object is small, a small morphology technique is applied to enlarge the area. The difference image thus created is as follows.
도 20c는 입력된 이미지와 배경이미지와의 차를 이용하여 추출된 움직임 이미지를 도시한 것이다.FIG. 20C illustrates a motion image extracted by using a difference between the input image and the background image.
9.3 윤곽선 이미지 생성9.3 Create contour image
현재의 입력된 이미지에 대하여 에지 검출(Edge-detection)을 수행한 이미지를 생성한다. 이렇게 생성된 에지 이미지(Edge image)에서 영역이미지의 안에 포함되는 윤곽선만을 추출하여 표시해준다. 에지 검출(Edge detection)은 미분 필터를 사용하여 생성하였다.Create an image that has edge-detected the current input image. Only the outlines included in the area image are extracted from the edge image generated in this way and displayed. Edge detection was generated using a differential filter.
도 20d는 현재 들어오는 프레임에서의 에지 이미지, 도 20e는 결과 이미지를 도시한 것이다.20D shows the edge image in the current incoming frame, and FIG. 20E shows the resulting image.
9.4 요약9.4 Summary
입력되는 프레임들을 이용하여 배경이미지를 만드는 방법으로 흔히 디스터번스(Disturbance)를 사용한다. 그러나 이 방법은 최근의 프레임에 민감한 반응을 보이므로 하나의 물체에 대하여 분할되는 효과를 보이기도 하였다. 본 연구에서는 이러한 단점을 보안하기 위하여 배경이미지를 생성한 후에는 변화량을 최소화하도록 제한하여 하나의 물체에 대한 분리(segmentation)를 원활하게 수행하도록 하는데 중점을 두었다. 또한 이미지의 에지(Edge) 정보를 이용함으로써 물체의 분리(segmentation)의 효과를 증대하도록 노력하였다.Disturbance is commonly used to create a background image using input frames. However, this method has a sensitive response to recent frames, so it has a split effect on one object. In order to secure these shortcomings, this study focuses on smoothing the segmentation of one object by limiting the amount of change after creating the background image. In addition, efforts have been made to increase the effect of segmentation by using edge information of an image.
10. 3개의 영상 이미지 차를 이용하는 방법(3-Different Image Method)10. 3-Different Image Method
10.1 3-영상 차 이미지(3-different Image)10.1 3-different image
현재의 프레임에서 전 프레임의 이미지와 다음 프레임의 이미지와의 변화를 검출한다. 이때 움직이는 물체는 각각의 이미지의 비교에서 검출이 되고 정지되어있는 물체는 검출이 되지 않는다. 이를 이용하여 전 프레임과의 비교에서 검출된 영상 차(difference)와 다음 프레임과의 비교에서 얻은 영상 차(difference)를 이용하여 현재 프레임에서의 움직이는 물체를 분리(segmentation) 한다.Changes between the image of the previous frame and the image of the next frame in the current frame. At this time, the moving object is detected in the comparison of each image, and the stationary object is not detected. Using this, the moving object in the current frame is segmented using the image difference detected in the comparison with the previous frame and the image difference obtained in the comparison with the next frame.
도 21은 각 프레임간의 차 이미지를 도시한 것이다. 도 22는 현재의 이미지와 차를 이용하여 추출해낸 움직이는 물체의 윤곽선 이미지를 도시한 것이다.21 shows a difference image between each frame. FIG. 22 illustrates a contour image of a moving object extracted using a current image and a difference.
10.2 요약10.2 Summary
이 움직이는 물체의 분리(segmentation) 기법은 앞에 소개한 적응적 배경(adaptive background) 기법에서 발생하는 잔류 현상을 극복하고 빠르게 움직이는 물체에 적응 가능한 알고리즘으로 간단하게 구현가능하나 현재의 프레임에서의 움직이는 물체를 강인하게 분리해내는 방법이다.This segmentation technique of the moving object overcomes the residual phenomena generated by the adaptive background technique described above and can be easily implemented with an algorithm that can be adapted to a fast moving object. It is a strong separation method.
11. 글로벌 움직임 검출(Global motion Detection) 및 이동 물체 분리(Moving Object segmentation)11.Global motion detection and moving object segmentation
11.1 글로벌 움직임 검출(Global Motion Detection)11.1 Global Motion Detection
카메라의 움직임을 입력되는 영상만으로 파악하기는 많은 어려움이 산재한다. 그러므로 정확히 움직임을 보정하는 연구는 지금도 수많은 연구기관에서 수행되고 있다. 이번 연구에서 카메라의 움직임을 유추해내는 알고리즘으로 이미지 라인별 상관(correlation) 방식을 취하였다. 이는 들어오는 영상에 대하여 이전 프레임과 현재 프레임을 라인별로 비교하여 각 라인별 움직임을 검출하고 이를 토대로 전체 움직임을 보정하는 방식을 취하였다. 즉 이미지를 라인별로 좌우로 이동하여 그 중에서 가장 상관값(correlation)이 크게 나타나는 곳을 그 라인의 이동 범위로 잡는다. 이렇게 라인별로 잡힌 이동범위 중에서 가장 많이 나온 이동 수를 전체의 이동범위로 잡는다. 이러한 방법은 수평과 수직 방향으로 같이 적용하여 검출한다.There are many difficulties in grasping the camera movement only with the input image. Therefore, researches that accurately compensate for motion are still being carried out in numerous research institutes. In this study, we used the correlation method for each image line as an algorithm for inferring camera movement. This method detects the movement of each line by comparing the previous frame and the current frame for each line and detects the movement of each line based on this. That is, the image is moved left and right for each line, and the moving range of the line is set where the most correlation value appears. In this way, the most-moved number of movements taken by line is set as the entire movement range. This method is applied in the horizontal and vertical directions.
11.2 이동 물체 분리(Moving Object Segmentation)11.2 Moving Object Segmentation
카메라의 움직임을 알아낸 후에 그 움직임을 역으로 보정해주면 카메라의 움직임이 없는 두 이미지로 가정할 수가 있다. 이렇게 각 들어오는 프레임에 대하여 카메라의 움직임을 보정해 가면서 앞에서 언급한 3-영상 차 이미지(3-difference Image) 방식으로 분리(segmentation)를 수행해 가면 움직이는 카메라에서도 카메라의 이동경로와 다르게 나타나는 즉 실제로 움직이는 물체(independent moving object)를 검출해 낼 수 있다.If you know the camera's movement and then correct the movement inversely, you can assume two images without camera movement. When the camera motion is corrected for each incoming frame and segmentation is performed using the 3-difference image method mentioned above, the moving camera appears differently from the moving path of the moving camera. (independent moving objects) can be detected.
도 23은 카메라 움직임을 프레임별로 나타낸 테이블을 도시한 것이다. 도 24는 카메라에 입력되고 있는 영상을 도시한 것이다. 도 25는 카메라의 움직임을 보정한 후의 독립적으로 움직이는 물체를 도시한 것이다.FIG. 23 shows a table showing camera movements frame by frame. 24 illustrates an image being input to the camera. 25 illustrates an independently moving object after correcting the movement of the camera.
11.3 요약11.3 Summary
카메라의 움직임을 보정하고 이를 이용하여 화면 속에서 움직이는 물체에 대한 검출을 하는 알고리즘에 대하여 연구하였으며 이는 앞으로 수많은 응용 분야에 사용 가능한 알고리즘으로 정확성과 실시간 연산에 맞도록 알고리즘을 보완하는 작업이 요구된다.Algorithms for correcting the movement of cameras and detecting moving objects in the screen using them are studied. This is an algorithm that can be used for many applications in the future and it is required to supplement algorithms for accuracy and real-time calculation.
본 발명은 카메라 입력 영상을 이용한 실시간 움직이는 물체 검출 및 추적 시스템으로 다양한 응용 분야를 가질 수 있다.The present invention may have various application fields as a real-time moving object detection and tracking system using a camera input image.
가)군사용 응용Military applications
각종 군사시설에 대하여 24시간 무인 감시 시스템 구성이 가능하다.It is possible to construct a 24-hour unmanned surveillance system for various military facilities.
예) 미사일 기지 감시, 탄약고 및 무기고 감시Eg missile base surveillance, ammunition and arsenal surveillance
나)민간 응용 분야B) Private application field
각종 공공시설이나 개인 시설의 무인 감시 시스템 구성이 가능하다.It is possible to construct an unmanned surveillance system of various public and private facilities.
예) 취수장 및 정수장 감시, 항만 감시, 교통 흐름 감시Ex) Intake and water purification plant monitoring, port monitoring, traffic flow monitoring
도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.The drawings and specification are merely exemplary of the invention, which are used for the purpose of illustrating the invention only and are not intended to limit the scope of the invention as defined in the appended claims or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
본 발명에 의하면, 다수의 이동물체 동시 식별기능, 다수의 이동물체 동시 추적/감시 기능, 자동추적 및 줌 인/아웃, 감시영역 및 감시방법 설정, 속도계산 및 분석, 다중물체 추적상황 발생 시에만 녹화기능, 뛰어난 압축률, 악천후 또는 야간추적, 실내, 실외, 위험물 등의 감시대상의 다양화. 감시의 자동화(사람에 의한 감시에서 탈퇴) 및 영상감시 복합기능(침입자의 자동감지-추적-경보 및 화상분석)의 시스템 구축. 감시자의 부하경감, 비용절감. 열악한 환경감시 등 환경보전의 파트너로서 인명구조 효과. 감시영상을 이동시키면서 다중이동물체의 자동감지 등과 같은 효과가 있다.According to the present invention, multiple moving object simultaneous identification function, multiple moving object simultaneous tracking / monitoring function, automatic tracking and zoom in / out, monitoring area and monitoring method setting, speed calculation and analysis, multi-object tracking situation only Recording function, excellent compression rate, bad weather or night tracking, diversification of monitoring targets such as indoor, outdoor, dangerous goods. Automated surveillance (withdrawal from human surveillance) and video surveillance combined functions (automated detection-tracking-alarm and image analysis). Monitor load reduction and cost reduction. Rescuing life as a partner in environmental conservation, such as poor environmental monitoring. While moving the surveillance image is effective, such as automatic detection of multiple animals.

Claims (10)

  1. 고정된 카메라를 이용하여 감시범위내에 존재하는 복수의 이동 물체의 움직임을 동시에 추출하여 이들 정보를 등록하고, 상기 등록된 복수의 이동 물체 중에서 추적대상이 되는 적어도 하나 이상의 이동 물체를 선택하고, 상기 선택된 적어도 하나 이상의 이동 물체를 제 1 감시영역에서 추적하고, 상기 선택된 적어도 하나 이상의 이동 물체가 상기 제 1 감시영역을 벗어나면 이동 물체 추적명령을 출력하는 광역감시장치; 및Simultaneously extract movements of a plurality of moving objects existing in the surveillance range using a fixed camera and register the information, select at least one moving object to be tracked from among the plurality of registered moving objects, and select the selected A wide area monitoring apparatus tracking at least one or more moving objects in a first surveillance region, and outputting a moving object tracking command when the selected at least one or more moving objects are out of the first surveillance region; And
    팬/틸트로 움직이며 각각 독립된 제 2 감시영역을 감시하는 적어도 하나 이상의 지역감시카메라를 포함하며, 상기 광역감시장치로부터 상기 선택된 적어도 하나 이상의 이동 물체에 대한 상기 추적명령이 입력되면 상기 복수의 지역감시카메라를 순차적으로 구동하여 상기 선택된 이동 물체가 상기 제 2 감시영역을 벗어날 때까지 추적 및 주밍하면서 감시하는 지역감시장치를 포함하고,At least one local surveillance camera moving in a pan / tilt and monitoring a second independent surveillance zone, wherein the plurality of local surveillance is input when the tracking command for the at least one selected moving object is input from the wide area surveillance apparatus; A camera that sequentially drives the camera to monitor and zoom while the selected moving object leaves the second surveillance zone;
    상기 광역감시장치와 상기 지역감시장치는 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 동시에 추출하여 각각의 이동 물체의 움직임 영역을 효과적으로 분리/병합시켜 실시간으로 추적/감시를 수행하는 것을 특징으로 하는 다중 이동 물체 추적/감시 시스템.The wide area monitoring device and the regional monitoring device extracts the movement of the at least one selected moving object at the same time to effectively separate / merge the moving areas of each moving object to perform tracking / monitoring in real time. Object tracking / monitoring system.
  2. 제1항에 있어서, 상기 광역감시장치는The method of claim 1, wherein the wide area market value
    고정되어 설치된 카메라;A fixedly installed camera;
    상기 고정된 카메라로부터 영상을 입력받는 영상입력부;An image input unit which receives an image from the fixed camera;
    상기 입력된 영상을 필터링을 통하여 보정하는 영상보정부;An image correction unit for correcting the input image through filtering;
    상기 보정된 영상에서 움직임이 있는 영역과 배경 영역을 분리하여 움직임이 발생한 부분을 검출하는 움직임검출부;A motion detector which detects a part in which a motion occurs by separating a motion area and a background area from the corrected image;
    상기 추출된 움직임 발생 부분에서 각각의 이동 물체의 움직임 영역 정보를 이용하여 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 각각 분리/병합하여 동시에 추출하는 움직임물체추출부; 및A moving object extracting unit for separating / merge and simultaneously extracting movements of the at least one selected moving object by using motion region information of each moving object in the extracted motion generating portion; And
    상기 추출된 복수의 이동 물체의 위치 및 속도를 칼만 필터를 이용한 예측 알고리즘 및 정보 정합 기법을 사용하여 추적하는 움직임물체추적부를 포함한 것을 특징으로 하는 다중 이동물체 추적/감시 시스템.And a moving object tracking unit for tracking the positions and speeds of the extracted plurality of moving objects using a prediction algorithm and an information matching technique using a Kalman filter.
  3. 제1항에 있어서, 상기 지역감시장치는The method of claim 1, wherein the regional supervisory value
    팬/틸트로 움직이는 적어도 하나 이상의 팬/틸트 카메라;At least one pan / tilt camera moving with pan / tilt;
    상기 팬/틸트 카메라로부터 영상을 입력받는 영상입력부;An image input unit which receives an image from the pan / tilt camera;
    상기 입력된 영상을 필터링을 통하여 보정하는 영상보정부;An image correction unit for correcting the input image through filtering;
    상기 보정된 영상에서 움직임이 있는 영역과 배경 영역을 분리하여 움직임이 발생한 부분을 검출하는 움직임검출부;A motion detector which detects a part in which a motion occurs by separating a motion area and a background area from the corrected image;
    상기 추출된 움직임 발생 부분에서 각각의 이동 물체의 움직임 영역 정보를 이용하여 상기 선택된 적어도 하나 이상의 이동 물체의 움직임을 각각 분리/병합하여 동시에 추출하는 움직임물체추출부;A moving object extracting unit for separating / merge and simultaneously extracting movements of the at least one selected moving object by using motion region information of each moving object in the extracted motion generating portion;
    상기 추출된 복수의 이동 물체의 위치 및 속도를 칼만필터를 이용한 예측 알고리즘 및 정보 정합 기법을 사용하여 추적하는 움직임물체추적부; 및A moving object tracking unit which tracks the positions and velocities of the extracted plurality of moving objects using a prediction algorithm and an information matching technique using a Kalman filter; And
    상기 복수의 이동 물체의 움직임에 따라 상기 카메라의 움직임을 검출/보정하는 카메라이동보정부를 포함한 것을 특징으로 하는 다중 이동물체 추적/감시 시스템.Multiple moving object tracking / monitoring system comprising a camera movement correction unit for detecting / correcting the movement of the camera according to the movement of the plurality of moving objects.
  4. 제2항 또는 제3항에 있어서, 상기 영상보정부는The method of claim 2 or 3, wherein the video correction unit
    입력영상의 잡음성분을 제거하기 위하여 잡음제거필터를 이용함을 특징으로 하는 다중 이동물체 추적/감시 시스템.A multiple moving object tracking / monitoring system using a noise removing filter to remove noise components of an input image.
  5. 제4항에 있어서, 상기 잡음제거필터는The noise canceling filter of claim 4, wherein
    미디언 필터, 가우시안 필터, 평활화 필터, 평균 필터 중에서 어느 하나를 선택하여 사용함을 특징으로 하는 다중 이동물체 추적/감시 시스템.Multiple moving object tracking / monitoring system characterized by selecting one of median filter, Gaussian filter, smoothing filter, and average filter.
  6. 제5항에 있어서, 상기 평균 필터는The method of claim 5, wherein the average filter
    블록을 이동시키면서 이전에 계산된 평균값을 이용하여 계산함을 특징으로 하는 다중 이동물체 추적/감시 시스템.Multiple moving object tracking / monitoring system characterized in that the calculation is performed using a previously calculated average value while moving a block.
  7. 제2항 또는 제3항에 있어서, 상기 움직임물체추출부는According to claim 2 or 3, wherein the moving object extraction unit
    움직임 영역 정보를 이용하여 분리(세그먼테이션;segmentation) 및 병합(merging)을 통하여 각각의 이동 물체를 추출함을 특징으로 하는 다중 이동물체 추적/감시 시스템.A multiple moving object tracking / monitoring system characterized by extracting each moving object through segmentation and merging using motion region information.
  8. 제2항 또는 제3항에 있어서, 상기 움직임물체추적부는According to claim 2 or 3, wherein the moving object tracking unit
    움직이는 물체의 속도 및 위치정보를 상기 칼만필터를 이용한 예측알고리즘에 적용하여 물체의 다음 위치를 예측하여 추적함을 특징으로 하는 다중 이동물체 추적/감시 시스템.A moving object tracking / monitoring system, characterized by predicting and tracking the next position of an object by applying velocity and position information of a moving object to a prediction algorithm using the Kalman filter.
  9. 제2항 또는 제3항에 있어서, 상기 움직임물체추적부의 상기 정보 정합 기법은 추적중인 물체가 정지하여 움직임이 없어지거나 여러 이동 물체가 서로 교차하여 정확한 추적이 어려울 경우에 이용되는 것을 특징으로 하는 다중 이동물체 추적/감시 시스템.The multiplexing method of claim 2 or 3, wherein the information matching technique of the moving object tracking unit is used when the tracking object stops and the movement is lost or when several moving objects cross each other, so that accurate tracking is difficult. Moving object tracking / monitoring system.
  10. 제3항에 있어서, 상기 카메라이동보정부는The method of claim 3, wherein the camera movement correction unit
    카메라의 자동 패닝 모드(auto-panning mode)에서 연속적으로 입력되는 영상 데이터들의 에지를 추출하고, 상기 추출된 에지를 xy축으로 프로젝션시키고, 상기 프로젝션된 값을 비교하여 카메라의 움직임을 보정함을 특징으로 하는 다중 이동물체 추적/감시 시스템.In the auto-panning mode of the camera, the edges of the image data which are continuously input are extracted, the extracted edges are projected on the xy axis, and the projected values are compared to compensate for the camera movement. Moving object tracking / monitoring system.
KR1020000022818A 2000-04-28 2000-04-28 System tracking and watching multi moving object KR100364582B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000022818A KR100364582B1 (en) 2000-04-28 2000-04-28 System tracking and watching multi moving object

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020000022818A KR100364582B1 (en) 2000-04-28 2000-04-28 System tracking and watching multi moving object
PCT/KR2001/000711 WO2001084844A1 (en) 2000-04-28 2001-04-28 System for tracking and monitoring multiple moving objects
AU5508701A AU5508701A (en) 2000-04-28 2001-04-28 System for tracking and monitoring multiple moving objects

Publications (2)

Publication Number Publication Date
KR20010000107A KR20010000107A (en) 2001-01-05
KR100364582B1 true KR100364582B1 (en) 2002-12-16

Family

ID=19667507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000022818A KR100364582B1 (en) 2000-04-28 2000-04-28 System tracking and watching multi moving object

Country Status (3)

Country Link
KR (1) KR100364582B1 (en)
AU (1) AU5508701A (en)
WO (1) WO2001084844A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630088B1 (en) 2004-12-28 2006-09-27 삼성전자주식회사 Apparatus and method for supervising vehicle using optical flow
KR101072399B1 (en) 2009-05-25 2011-10-11 김명수 Intelligent control method based on object recognition using camera image analysis
WO2011093574A3 (en) * 2010-02-01 2011-11-03 주식회사 영국전자 Tracking and monitoring camera device and remote monitoring system using same
KR101187909B1 (en) 2007-10-04 2012-10-05 삼성테크윈 주식회사 Surveillance camera system
KR101410985B1 (en) 2013-11-27 2014-07-04 주식회사 휴먼시스템 monitoring system and monitoring apparatus using security camera and monitoring method thereof
KR101496287B1 (en) 2014-11-11 2015-02-26 (주) 강동미디어 Video synopsis system and video synopsis method using the same
KR101548639B1 (en) 2014-12-10 2015-09-01 한국건설기술연구원 Apparatus for tracking the objects in surveillance camera system and method thereof
KR101592732B1 (en) 2014-07-09 2016-02-05 주식회사 에스원 Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442535B1 (en) * 2001-07-06 2004-07-30 소재영 Shortage of hands image apparatus and system using color tracing, and thereof method
CA2451916C (en) * 2001-08-01 2011-04-05 Roke Manor Research Limited Object detection system and method
KR100792283B1 (en) * 2001-08-07 2008-01-07 삼성전자주식회사 Device and method for auto tracking moving object
KR100436049B1 (en) * 2001-12-31 2004-06-12 주식회사 하이닉스반도체 Movement prediction system
KR100455294B1 (en) * 2002-12-06 2004-11-06 삼성전자주식회사 Method for detecting user and detecting motion, and apparatus for detecting user within security system
DE10324895A1 (en) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Vehicle object location procedure for adaptive cruise control system car tracking, uses video mask matching in search field from radar sensor
FR2883382A1 (en) * 2005-03-21 2006-09-22 Giat Ind Sa Object e.g. enemy vehicle, or event e.g. fire accident, locating and perceiving method, involves determining zone in which event or object is found and is detected by sensor, and recording images in zone by video cameras by recording unit
KR100656345B1 (en) * 2005-03-30 2006-12-11 한국전자통신연구원 Method and apparatus for tracking moving object by using two-cameras
KR100757261B1 (en) * 2005-07-08 2007-09-11 전자부품연구원 Tracking method and system for tracking with multiple point-of view
KR100872878B1 (en) * 2006-09-29 2008-12-10 (주)로그시스 Imaging System of Security Camera by Event Detection
KR100887942B1 (en) * 2007-01-31 2009-03-30 (주)씽크게이트테크놀러지 System for sensing abnormal phenomenon on realtime and method for controlling the same
US8542872B2 (en) 2007-07-03 2013-09-24 Pivotal Vision, Llc Motion-validating remote monitoring system
CN101426080B (en) * 2007-10-29 2012-10-17 三星电子株式会社 Device and method for detecting and suppressing influence generated by camera moving in monitoring system
KR100879623B1 (en) * 2008-07-05 2009-01-21 주식회사 일리시스 Automated wide area surveillance system using ptz camera and method therefor
KR100877227B1 (en) * 2008-08-07 2009-01-07 주식회사 케이씨에스정보 Zeegbee multiple cameras system for multi moving object automatic tracking and operation method by using the same
KR101120131B1 (en) * 2009-05-29 2012-03-22 주식회사 영국전자 Intelligent Panorama Camera, Circuit and Method for Controlling thereof, and Video Monitoring System
KR101320350B1 (en) * 2009-12-14 2013-10-23 한국전자통신연구원 Secure management server and video data managing method of secure management server
US9082278B2 (en) 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
KR101142100B1 (en) * 2010-05-20 2012-05-03 주식회사 와이즈오토모티브 Apparatus and method for sensing data using concentration scan
KR20160093253A (en) 2015-01-29 2016-08-08 쿠도커뮤니케이션 주식회사 Video based abnormal flow detection method and system
KR101723028B1 (en) * 2016-09-26 2017-04-07 서광항업 주식회사 Image processing system for integrated management of image information changing in real time
KR102169211B1 (en) * 2018-11-15 2020-10-22 한국철도공사 apparatus and method for automatically detecting bird's cast
KR102140195B1 (en) * 2020-05-15 2020-07-31 메타빌드(주) Method for detecting invasion of wild animal using radar and system thereof
KR102211734B1 (en) * 2020-08-28 2021-02-03 주식회사 문창 Video surveillance device using image correction filter

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0156992B1 (en) * 1995-04-21 1998-11-16 이헌일 Field tracking method using a lot of monitoring camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0138137B1 (en) * 1992-02-28 1998-05-15 강진구 Camera system for watching
JPH08147477A (en) * 1994-09-20 1996-06-07 Fujitsu Ltd Local area image tracking device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0156992B1 (en) * 1995-04-21 1998-11-16 이헌일 Field tracking method using a lot of monitoring camera

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630088B1 (en) 2004-12-28 2006-09-27 삼성전자주식회사 Apparatus and method for supervising vehicle using optical flow
KR101187909B1 (en) 2007-10-04 2012-10-05 삼성테크윈 주식회사 Surveillance camera system
KR101072399B1 (en) 2009-05-25 2011-10-11 김명수 Intelligent control method based on object recognition using camera image analysis
WO2011093574A3 (en) * 2010-02-01 2011-11-03 주식회사 영국전자 Tracking and monitoring camera device and remote monitoring system using same
KR101410985B1 (en) 2013-11-27 2014-07-04 주식회사 휴먼시스템 monitoring system and monitoring apparatus using security camera and monitoring method thereof
KR101592732B1 (en) 2014-07-09 2016-02-05 주식회사 에스원 Apparatus for removing snow rain image in camera images and method for removing snow rain image using the same
KR101496287B1 (en) 2014-11-11 2015-02-26 (주) 강동미디어 Video synopsis system and video synopsis method using the same
KR101548639B1 (en) 2014-12-10 2015-09-01 한국건설기술연구원 Apparatus for tracking the objects in surveillance camera system and method thereof

Also Published As

Publication number Publication date
WO2001084844A1 (en) 2001-11-08
AU5508701A (en) 2001-11-12
KR20010000107A (en) 2001-01-05

Similar Documents

Publication Publication Date Title
KR100364582B1 (en) System tracking and watching multi moving object
Coifman et al. A real-time computer vision system for vehicle tracking and traffic surveillance
Beymer et al. A real-time computer vision system for measuring traffic parameters
TWI393074B (en) Apparatus and method for moving object detection
JPWO2012127815A1 (en) Moving body detection apparatus and moving body detection method
US8582815B2 (en) Moving object detection apparatus
US8879786B2 (en) Method for detecting and/or tracking objects in motion in a scene under surveillance that has interfering factors; apparatus; and computer program
WO2003001473A1 (en) Vision-based collision threat detection system_
Abbott et al. Multiple target tracking with lazy background subtraction and connected components analysis
JP2003067752A (en) Vehicle periphery monitoring device
CN106845364B (en) Rapid automatic target detection method
KR101062225B1 (en) Intelligent video retrieval method and system using surveillance camera
Pollard et al. GM-PHD filters for multi-object tracking in uncalibrated aerial videos
Santoro et al. Crowd analysis by using optical flow and density based clustering
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
Koller et al. Towards realtime visual based tracking in cluttered traffic scenes
Soh et al. Analysis of road image sequences for vehicle counting
Kiratiratanapruk et al. Vehicle detection and tracking for traffic monitoring system
Srinivasa et al. A fusion system for real-time forward collision warning in automobiles
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
Liu et al. A real-time vision-based vehicle tracking and traffic surveillance
Sincan et al. Moving object detection by a mounted moving camera
Siyal et al. Image processing techniques for real-time qualitative road traffic data analysis
Loureiro et al. Video processing techniques for traffic information acquisition using uncontrolled video streams
KR100965800B1 (en) method for vehicle image detection and speed calculation

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee