KR100243097B1

KR100243097B1 - Apparatus for detecting a moving object based on movement information with mobile camera and method of detecting using the same

Info

Publication number: KR100243097B1
Application number: KR1019980004980A
Authority: KR
Inventors: 이규원
Original assignee: 정선종; 한국전자통신연구원
Priority date: 1998-02-18
Filing date: 1998-02-18
Publication date: 2000-03-02
Also published as: KR19990070243A

Abstract

본 발명은 영상내의 전역 움직임(global motion)이 유발되는 이동 카메라 환경에서 인접 영상의 교차 상관관계 정보를 이용하므로서 카메라의 이동에 따른 자가 움직임 에너지(ego-motion energy)를 보상하여 이동 물체만을 검출 및 추적할 수 있는 이동 카메라 환경에서의 움직임 정보에 기반한 이동물체의 검출 장치 및 그 검출 방법에 관한 것이다.The present invention detects only moving objects by compensating for ego-motion energy due to camera movement by using cross correlation information of adjacent images in a mobile camera environment in which global motion in an image is induced. An apparatus for detecting a moving object based on motion information in a mobile camera environment that can be tracked and a method of detecting the same.

종래의 이동 물체 추적 기법은 자가 움직임 에너지를 보상하는데 있어서, 카메라의 사전 설치 정보를 참조하여, 3차원 실 좌표(real world coordinate)를 2차원 영상 평면의 좌표계로 변화하는 연산을 행한다. 이로 인하여, 이동물체 추적 시스템을 구현하는데 있어서, 카메라의 설치환경에 제약을 받으며 매우 많은 양의 부동소수점 연산이 필요하여 전용 하드웨어의 구현이 복잡하다는 단점이 있다.In the conventional moving object tracking technique, in order to compensate for self-movement energy, an operation of changing a three-dimensional real world coordinate into a coordinate system of a two-dimensional image plane is performed by referring to pre-installation information of a camera. For this reason, in implementing the moving object tracking system, the installation environment of the camera is limited and a large amount of floating point operations are required, and thus there is a disadvantage in that the implementation of dedicated hardware is complicated.

따라서, 본 발명은 인접 영상간 나선 탐색에(spiral search) 의하여 교차 상관관계를 계산하므로써, 신속하게 자가 움직임 에너지를 보상하여 이동 물체에서 발생된 움직임 에너지를 효율적으로 검출할 수 있는 이동 카메라 환경에서의 이동 물체의 움직임 검출 장치 및 그 검출 방법을 제시한다.Accordingly, the present invention calculates a cross correlation by spiral search between adjacent images, thereby quickly compensating self motion energy and efficiently detecting motion energy generated from a moving object. An apparatus for detecting a motion of a moving object and a method of detecting the same are provided.

Description

Device and method for detecting moving object based on motion information in mobile camera environment

종래의 자가 움직임 에너지 보상 기법은 움직임 에너지를 보상하는데 있어서, 카메라의 사전 설치 정보를 참조하여 3차원 실 좌표(real world coordinate)를 2차원 영상 평면의 좌표계로 변화하는 연산을 행한다. 이로 인하여, 이동 물체 추적 시스템을 구현하는데 있어서 카메라의 설치환경에 제약을 받으며, 화소 단위의 좌표계 변환 연산은 매우 많은 양의 부동소수점 연산이 필요하여 전용 하드웨어의 구현이 복잡하다는 문제점을 가지고 있다.In the conventional self motion energy compensation technique, in compensating motion energy, an operation of changing a three-dimensional real world coordinate into a coordinate system of a two-dimensional image plane is performed by referring to pre-installation information of a camera. For this reason, the implementation of a moving object tracking system is restricted by the installation environment of the camera, and the coordinate system transformation operation of the pixel unit requires a very large amount of floating point operations, which causes a complicated implementation of dedicated hardware.

따라서, 본 발명은 인접 영상간 나선 탐색에(spiral search) 의하여 교차 상관 관계를 계산함에따라 신속하게 자가 움직임 에너지를 보상하여 이동 물체에서 발생된 움직임 에너지를 효율적으로 검출하므로써, 상기한 문제점을 해소할 수 있는 이동 카메라 환경에서의 움직임 정보에 기반한 이동 물체의 검출 장치 및 그 검출 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention solves the above problems by efficiently detecting the motion energy generated by the moving object by quickly compensating the self motion energy as the cross correlation is calculated by the spiral search between adjacent images. An object of the present invention is to provide an apparatus and a method for detecting a moving object based on motion information in a mobile camera environment.

상술한 목적을 달성하기 위한 본 발명에 따른 이동 카메라 환경에서의 이동 물체의 움직임 검출 장치는 일정 시간 간격으로 취득된 이전 및 현재의 영상에서 카메라 이동에 의하여 발생된 영상내의 자가 움직임 에너지를 제거하기 위한 자가 움직임 제거부와, 상기 자가 움직임 에너지가 제거된 상태에서 전달된 영상을 현재 영상과 이전 영상에 대하여 시간에 대한 미분연산으로써 이동 물체에 의하여 발생된 움직임 에너지를 검출하기 위한 시간미분 연산부와, 상기 검출된 이동 물체의 움직임 에너지에 포함된 잡음 및 고립 영역 등을 제거하기 위한 수리형태학적 열기 연산부와, 현재 영상의 전 영역 중, 이동 물체의 움직임 에너지가 존재하는 영역을 세그멘테이션하기 위한 세그멘테이션 연산부와, 이동 물체의 세그먼트로부터 가로 및 세로 방향의 1차 모멘트를 계산하므로써 이동 중심을 찾아 내기 위한 이동 중심 계산부와, 이전 시간의 이동 중심과 현재 시간의 이동 중심의 차이만큼 카메라를 구동하기 위한 카메라 구동부를 포함하여 이루어진 것을 특징으로 한다.An apparatus for detecting a motion of a moving object in a mobile camera environment according to the present invention for achieving the above object is for removing self-movement energy in an image generated by camera movement from previous and current images acquired at a predetermined time interval. A self-movement removal unit and a time differential calculation unit for detecting motion energy generated by a moving object by performing differential operation on a current image transmitted in a state where the self-movement energy is removed with respect to a current image and a previous image; A mathematical morphological heat calculation unit for removing noise and an isolated region included in the detected moving energy of the moving object, a segmentation calculating unit for segmenting an area in which the moving energy of the moving object exists among all areas of the current image; From the segment of the moving object And a camera driver for driving the camera by the difference between the movement center of the previous time and the movement center of the current time by calculating the primary moment.

상술한 목적을 달성하기 위한 본 발명에 따른 이동 카메라 환경에서의 이동 물체의 움직임 검출 방법은 교차 상관관계 연산부에서 이전 영상과 현재 영상의 교차 상관관계 연산을 수행한 후, 상기 연산값의 최대값 여부를 확인하는 단계와, 상기 확인 결과 최대값이 아니면 현재 영상을 가로 또는 세로 방향으로 나선형 좌표 이동을 한 후, 상기 교차 상관관계 연산부로 복귀하여 연산을 반복 수행하는 단계와, 상기 확인 결과 최대값이면 그 위치에서 현재 영상과 이전 영상의 차영상을 구하여 물체의 이동에 따라 발생된 움직임을 검출하는 단계와, 상기 단계로부터 계속 입력되는 다음 영상에 대하여 상기 교차 상관관계 연산부로 복귀하여 상기 과정을 반복 수행하는 단계를 포함하여 이루어진 것을 특징으로 한다.In accordance with an aspect of the present invention, there is provided a method of detecting a motion of a moving object in a mobile camera environment, by performing a cross correlation calculation between a previous image and a current image in a cross correlation calculator, and then determining whether the maximum value is obtained. Checking the step; if the check result is not the maximum value, moving the current coordinate in the horizontal or vertical direction, returning to the cross correlation calculator and repeating the operation; Obtaining the difference image between the current image and the previous image at the position, detecting the movement generated according to the movement of the object, and returning to the cross correlation calculator for the next image which is continuously input from the step, and repeating the above process. Characterized in that it comprises a step.

도 1은 본 발명이 적용되는 이동 물체의 검출 과정을 나타낸 구성도.1 is a block diagram showing a detection process of a moving object to which the present invention is applied.

도 2는 본 발명에 따른 나선 탐색에 의한 자가 움직임 에너지의 보상 기법을 나타낸 구성도.2 is a block diagram showing a technique for compensating self motion energy by spiral search according to the present invention.

도 3은 일 실시예에 적용된 본 발명에 따른 나선 탐색에 의한 이동 물체의 움직임 검출 방법의 흐름도.3 is a flowchart illustrating a method of detecting a movement of a moving object by spiral search according to an embodiment of the present invention.

〈도면의 주요 부분에 대한 부호 설명〉<Description of Signs of Major Parts of Drawings>

1 : 자가 움직임 제거부 2 : 시간미분 연산부1: Self motion elimination unit 2: Time derivative calculator

3 : 수리형태학적 열기 연산부 4 : 세그멘테이션 연산부3: Mathematical Morphological Calculator 4: Segmentation Calculator

5 : 이동중심 계산부 6 : 카메라 구동부5: moving center calculation unit 6: camera driving unit

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용될 수 있는 이동 물체 추적 장치를 나타낸 구성도로서, 자가움직임 제거부(1), 시간미분 연산부(2), 수리형태학적 열기(morphological opening) 연산부(3), 세그멘테이션 연산부(4), 이동 중심 계산부(5), 카메라 구동부(6)로 구성된 것을 나타낸다.1 is a block diagram showing a moving object tracking device to which the present invention can be applied, a self-movement removal unit 1, a time differential calculation unit 2, a morphological opening calculation unit 3, a segmentation calculation unit ( 4), the movement center calculation part 5 and the camera drive part 6 are shown.

이상과 같이 구성된 이동 물체의 추적 장치는 일반적으로 다음과 같이 동작한다.The tracking device for a moving object configured as described above generally operates as follows.

자가 움직임 제거부(1)는 일정 시간 간격으로 취득된 2장의 인접 영상에서 카메라의 이동에 의하여 발생된 영상내의 자가 움직임 에너지를 제거한 후, 자가 움직임이 제거된 영상을 시간미분 연산부(2)로 전달한다.The self motion removal unit 1 removes the self motion energy in the image generated by the movement of the camera from two adjacent images acquired at predetermined time intervals, and then transfers the self motion removed image to the time differential calculation unit 2. do.

시간미분 연산부(2)는 자가 움직임 에너지가 제거된 상태에서 현재 영상과 이전 영상에 대하여 시간에 대한 미분연산으로써 이동 물체에 의하여 발생된 움직임 에너지를 검출한 후, 수리형태학적 열기(morphological opening) 연산부(3)로 전달한다.The time differential calculation unit 2 detects the motion energy generated by the moving object as a differential operation of time with respect to the current image and the previous image in the state where the self motion energy is removed, and then the morphological opening calculation unit To (3).

수리형태학적 열기(morphological opening) 연산부(3)는 검출된 이동 물체의 움직임 에너지에 포함된 잡음(noise), 고립 영역(isolated clutters) 등을 제거하여 세그멘테이션 연산부(4)로 전달한다.The morphological opening calculator 3 removes noise, isolated clutters, etc. included in the motion energy of the detected moving object, and transmits the noise to the segmentation calculator 4.

세그멘테이션 연산부(4)는 현재 영상의 전 영역 중, 이동 물체의 움직임 에너지가 존재하는 영역을 세그멘테이션하여 이동 중심 연산부(5)로 전달한다.The segmentation calculator 4 segments the region where the movement energy of the moving object exists among all regions of the current image and transmits the segment to the movement center calculator 5.

이동 중심 계산부(5)는 이동 물체의 세그먼트로부터 가로, 세로 방향의 1차 모멘트를 계산함으로써 이동 중심을 찾아 내어 카메라 구동부(6)로 전달한다.The moving center calculating unit 5 finds the moving center by calculating the first moment in the horizontal and vertical directions from the segment of the moving object and transmits the moving center to the camera driver 6.

카메라 구동부(6)는 이전 시간의 이동 중심과 현재 시간의 이동 중심의 차이만큼 카메라를 구동한다.The camera driver 6 drives the camera by the difference between the movement center of the previous time and the movement center of the current time.

도 2는 일 실시 예에 적용된 본 발명에 따른 나선 탐색에 의한 자가 움직임 에너지의 보상 기법을 나타낸 구성도로서, 여기서 도면 부호(11)은 영상을 포착하는 일정 시간 간격 중 현재 시간에 포착된 현재 영상이고, 도면 부호(12)는 이전 시간에 포착된 이전 영상이며, 도면 부호(13)은 자가 움직임을 보상하기 위하여, 두 영상간의 교차 상관 관계를 계산을 하는 데 있어서 행하는 나선 탐색 방향이다.2 is a block diagram illustrating a compensation technique of self-movement energy by spiral search according to an embodiment of the present invention, wherein reference numeral 11 denotes a current image captured at a current time during a predetermined time interval for capturing an image. Reference numeral 12 denotes a previous image captured at a previous time, and reference numeral 13 denotes a spiral search direction performed in calculating a cross correlation between two images in order to compensate for self motion.

도 2와 같이 구성된 자가 움직임 에너지의 보상 기법은 다음과 같이 동작한다.The self-motion energy compensation scheme configured as shown in FIG. 2 operates as follows.

최초 탐색은 현재 영상(11)과 이전 영상(12)을 동일 위치의 좌표상에 위치시킨 후, 두 영상에서 같은 좌표상에 있는 화소의 밝기 값의 차를 구하여, 이 값이 소정의 임계값 이하인 경우 상관 관계 값을 1 증가 시킨다. 이와 같은 차연산을 영상내의 가로, 세로 방향의 일정 간격에 위치한 표본 화소에 대하여 실시한다. 다음은 나선 탐색방향(13)으로 소정의 영역 범위 내에서 한 단계씩 현재 영상을 이동시키면서 상기의 교차 상관 관계 연산을 행하여, 그 값이 최대가 되는 지점에 현재 영상(11)을 위치 시킨 후, 이전 영상(12)과 현재 영상(11)있는 동일 위치의 화소의 차를 행함으로써 이동하는 카메라에 의하여 유발된 영상의 자가 움직임 에너지를 보상한다.The initial search locates the current image 11 and the previous image 12 on the same coordinates, and then obtains the difference between the brightness values of the pixels on the same coordinates in the two images, and the value is equal to or less than a predetermined threshold. In this case, increase the correlation value by 1. This difference calculation is performed on the sample pixels located at regular intervals in the horizontal and vertical directions in the image. Next, the cross-correlation operation is performed while moving the current image by one step within the predetermined area range in the spiral search direction 13, and the current image 11 is positioned at the point where the value is maximum. Compensation for the self-movement energy of the image caused by the moving camera is made by performing the difference between the pixel at the same position as the previous image 12 and the current image 11.

도 3은 일 실시 예에 적용된 본 발명에 따른 나선 탐색에 의한 이동 물체의 움직임 검출 방법을 나타낸 흐름도로서, 여기서 도면 부호(21)은 교차 상관관계 연산부이며, 도면 부호(22)는 교차상관 관계 연산의 최대값 여부의 판단부, 도면 부호(23)은 나선 탐색을 위한 나선형 좌표 이동, 도면 부호(24)는 차영상 연산부, 도면 부호(25)는 다음 영상을 나타낸다. 도 3과 같이 구성된 이동물체의 움직임 검출 방법은 다음과 같이 동작한다.3 is a flowchart illustrating a method of detecting a movement of a moving object by spiral search according to an embodiment of the present invention, wherein reference numeral 21 denotes a cross correlation calculator and reference numeral 22 denotes a cross-correlation operation. Determination unit of whether or not the maximum value of the reference numeral 23 is a spiral coordinate movement for spiral search, 24 is a difference image calculation unit, 25 is a next image. The motion detection method of the moving object configured as shown in FIG. 3 operates as follows.

이전 영상과 현재 영상의 교차 상관 관계 연산(21)을 행한 후, 이 값이 최대값(22)인지 아닌지를 판단하여 최대값이 아니면 현재 영상을 가로, 혹은 세로 방향으로 나선형 좌표 이동을 한 후, 교차 상관관계 연산부(21)로 되돌아가 연산을 반복한다. 최대값이면 그 위치에서 현재 영상과 이전 영상의 차영상(24)을 구함으로써 물체의 이동에 의하여 발생된 움직임을 검출한다. 이후에 계속 입력되는 다음 영상(25)에 대하여 교차 상관관계 연산부(21)부터 반복함으로써 연속적으로 움직임을 검출한다.After performing cross-correlation calculation 21 between the previous image and the current image, it is determined whether the value is the maximum value 22 or not, and if the maximum value is not the maximum value, the spiral coordinates are moved horizontally or vertically. The operation returns to the cross correlation calculating section 21 and repeats the operation. If the maximum value is obtained, the motion generated by the movement of the object is detected by obtaining the difference image 24 between the current image and the previous image at the position. Thereafter, the motion is continuously detected by repeating the cross correlation calculator 21 for the next image 25 which is continuously input.

상술한 바와 같이, 본 발명은 영상의 포착 시간 간격 및 카메라의 이동량을 기반 정보로 영상의 탐색 범위를 결정하고, 정해진 범위 내에서 현재 영상과 이전 영상간의 교차 상관 관계(cross-correlation)를 나선 탐색에 의하여 계산하며, 그 값이 최대가 되는 지점에 현재 영상을 위치시킨 후, 차 영상을 구하여 자가 움직임 에너지를 보상함과 동시에 이동 물체를 검출할 수 있다.As described above, the present invention determines the search range of the image based on the information acquisition time interval and the amount of movement of the camera, the spiral search for cross-correlation between the current image and the previous image within a predetermined range The current image is positioned at the point where the value is maximum, and the difference image is obtained to compensate for the self-movement energy and detect the moving object.

상술한 바와 같이, 본 발명에 의하면 영상의 전역 움직임이 유발되는 이동 카메라 환경하에서 자가 움직임 에너지를 보상하고 이동 물체의 움직임 에너지를 검출하는 데 있어서 나선 탐색을 행하므로 신속한 움직임 보상이 이루어지며, 정수의 뺄셈 및 덧셈만으로 수행하므로 디지털 회로로 구현하기 적합하다. 또한, 영상 정보 자체의 교차 상관관계정보를 이용하므로 카메라의 사전 설치 정보에 관계없이 이동 물체의 움직임 에너지를 검출하는데 탁월한 효과가 있다.As described above, according to the present invention, in the mobile camera environment in which the global motion of the image is induced, the spiral motion is compensated for compensating the self motion energy and detecting the motion energy of the moving object. It only performs subtraction and addition, making it ideal for digital circuitry. In addition, since cross-correlation information of the image information itself is used, there is an excellent effect of detecting the movement energy of the moving object regardless of the pre-installation information of the camera.

Claims

A self motion removal unit for removing self motion energy in an image generated by camera movement from previous and current images acquired at predetermined time intervals;

A time differential calculator for detecting motion energy generated by a moving object by performing differential operation on a current image transmitted from the state in which the self motion energy is removed with respect to a current image and a previous image;

A mathematical morphological heat calculation unit for removing noise, an isolated region, and the like included in the detected motion energy of the moving object;

A segmentation calculator for segmenting an area in which moving energy of a moving object exists among all areas of a current image;

A moving center calculator for finding a moving center by calculating horizontal and vertical primary moments from segments of moving objects;

And a camera driver for driving the camera by the difference between the movement center of the previous time and the movement center of the current time.

Performing a cross correlation operation between the previous image and the current image by the cross correlation calculating unit, and then checking whether or not the operation value is the maximum value;

If the result of the check is not the maximum value, moving the current coordinate in a helical coordinate direction in the horizontal or vertical direction, and then returning to the cross correlation calculator to repeat the calculation;

Obtaining a difference image between the current image and the previous image at the position where the maximum value is determined, and detecting a movement generated according to the movement of the object;

And repeating the process by returning to the cross-correlation calculating unit for the next image which is continuously inputted from the step.

The method of claim 2,

The cross correlation calculation method is a spiral detection method for detecting the movement of a moving object in a mobile camera environment, characterized in that for performing a spiral search to calculate the cross correlation.

The method of claim 2,

The cross correlation calculation method is a method of detecting a motion of a moving object in a mobile camera environment, characterized in that for calculating the pixels located at a predetermined sample interval in the image.

The method of claim 2,

The cross-correlation calculation method includes: placing a current image and a previous image on coordinates of the same position, and obtaining a difference between brightness values of pixels on the same coordinates for pixels sampled in the two images;

If the value is less than the predetermined threshold value, the correlation value is increased by 1, and the difference operation is performed on the sampled pixels in the image. Way.

The method of claim 2,

The method of detecting energy generated by the moving object includes detecting a current image and a previous image by time differentiating the image whose self-motion is compensated for.