KR101806453B1 - Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof - Google Patents

Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof Download PDF

Info

Publication number
KR101806453B1
KR101806453B1 KR1020160086390A KR20160086390A KR101806453B1 KR 101806453 B1 KR101806453 B1 KR 101806453B1 KR 1020160086390 A KR1020160086390 A KR 1020160086390A KR 20160086390 A KR20160086390 A KR 20160086390A KR 101806453 B1 KR101806453 B1 KR 101806453B1
Authority
KR
South Korea
Prior art keywords
gmm
camera motion
moving object
camera
background
Prior art date
Application number
KR1020160086390A
Other languages
Korean (ko)
Inventor
정윤호
조재찬
윤경한
정용철
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020160086390A priority Critical patent/KR101806453B1/en
Application granted granted Critical
Publication of KR101806453B1 publication Critical patent/KR101806453B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a moving object detection device to avoid collision with an unmanned aerial vehicle (UAV), capable of applying a background separation algorithm for a fixated camera to a moving camera, such as a UAV environment, thereby easily applying an algorithm with excellent performance to the UAV environment with limited resources; and a method thereof. According to the present invention, as motion information is received from a sensor mounted on a UAV, ego-motion of a camera is effectively corrected, thereby solving a problem of recognizing background as an object, thus being able to apply a low complexity Gaussian mixture model (GMM)-based background subtraction (BS) algorithm, which provides high performance in a fixated camera, but is not usable in a moving camera environment such as the UAV, to the UAV having limited resources. Therethrough, provided is an effect capable of providing a real-time moving object detection perform of high performance. According to the present invention, the device comprises: a camera motion correction unit; a GMM-based background generation unit; and an object detection unit.

Description

무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법{Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof}[0001] Moving object detecting apparatus for unmanned aerial vehicle collision avoidance [

본 발명은 무인 비행체(UAV:unmanned aerial vehicle) 충돌 회피를 위한 이동 객체 검출 장치 및 방법에 관한 것으로, 고정 카메라를 위한 백그라운드 분리 알고리즘을 무인 비행체 환경과 같은 이동 카메라에 적용할 수 있도록 함으로써 우수한 성능의 알고리즘을 자원이 한정된 UAV 환경에 용이하게 적용할 수 있도록 한 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and a method for detecting a moving object for avoiding an unmanned aerial vehicle (UAV) collision, and a background separating algorithm for a fixed camera can be applied to a mobile camera such as an unmanned aerial vehicle environment, The present invention relates to an apparatus and method for detecting a moving object for avoiding collision of an unmanned aerial vehicle, which enables an algorithm to be easily applied to a resource-limited UAV environment.

최근 무인 비행체(UAV:unmanned aerial vehicle)는 그 구현이 용이해짐에 따라 다양한 형태와 크기 및 용도로 대량 생산되고 있으며, 그 활용 범위도 점차 넓어지고 있다. 이러한 UAV가 안전하게 임무를 수행하기 위해서는 실내외의 다양한 장애물뿐만 아니라 조류나 임무중인 다른 UAV 등을 탐지하고 자율적으로 회피할 수 있는 충돌회피 기능이 필수적이다. 충돌회피 기능에는 신뢰도 높은 이동객체 탐지 기술이 핵심적으로 요구되며, 객체 탐지 기술에는 센서기반, 레이더기반, 영상처리기반 기법 등이 적용 될 수 있다. 이 중 UAV의 동체에 소형 카메라를 설치하여 영상정보를 이용하여 충돌을 방지하는 영상처리 기반 충돌회피 기법들은 레이더 등의 여타 능동적 센서들과 달리 전력소모, 탑재 중량이 적으므로 소형 기체인 UAV에 적용하기 용이하다. Recently, the unmanned aerial vehicle (UAV) has been mass-produced in various shapes, sizes, and uses as its implementation has become easier, and the application range thereof is gradually widening. In order for such a UAV to perform its mission safely, collision avoidance function that can detect not only various indoor and outdoor obstacles but also other birds or other UAV in the mission and can avoid it is necessary. Reliable moving object detection technology is essential for collision avoidance function, and sensor based, radar based, image processing based technique can be applied to object detection technology. Among these, image processing-based collision avoidance techniques using a small camera installed in the fuselage of the UAV to prevent collision using image information are applied to a small-sized UAV because the power consumption and the weight of the mount are small unlike other active sensors such as a radar It is easy to do.

영상처리 기반 충돌 회피 기법에는 이동 객체 검출 (MOD; moving object detection) 기능이 핵심적이다. 이러한 MOD에 활용되는 알고리즘으로는 대표적으로 FD (frame difference), GMM (Gaussiann mixture model) 기반 BS (background subtraction), 광학흐름추정 (OFE; optical flow estimation) 기법이 존재한다. Moving object detection (MOD) is a key feature of image processing based collision avoidance. There are FD (frame difference), Gaussian mixture model (BSM) based background subtraction (BSM), and optical flow estimation (OFE).

이 중에서 전통적인 객체 추정 알고리즘으로 사용되는 FD 방식은 입력 화면과 이전 화면의 픽셀 차이를 이용하여 객체를 검출하는 것으로, 가장 간단한 방식에 해당한다. 이전 화면과 입력 화면과의 차이를 이용하여 블럽을 객체로 통합하고 이전 객체의 움직임 벡터를 칼만 필터 등으로 파악하여 동일 객체의 움직임으로 파악하는 방법으로 사용하게 되는데, 가장 간단한 구현 복잡도를 가지지만 검출 성능이 매우 낮은 단점이 존재한다.The FD method used in the conventional object estimation algorithm detects the object using the pixel difference between the input screen and the previous screen, and corresponds to the simplest method. It is used as a method of integrating a block into an object using the difference between the previous screen and the input screen, and grasping the motion vector of the previous object as a motion of the same object by grasping the motion vector with a Kalman filter. There is a drawback that the performance is very low.

광학흐름추정 알고리즘은 각 각 화소의 상대적인 움직임, 즉 움직임 벡터 (u,v)를 추정하여 화소 이동의 크기로 이동객체를 검출한다. 이동객체검출에 있어서 높은 정확도의 검출 성능을 보이지만, 하드웨어로 구현하기에는 지나치게 높은 복잡도를 지닌다.The optical flow estimation algorithm estimates the relative motion of each pixel, that is, the motion vector (u, v), and detects the moving object by the size of the pixel movement. Although it has high accuracy detection performance in moving object detection, it has too high complexity to implement in hardware.

GMM 기반 BS 알고리즘은 각 화소의 분포를 다수의 가우시안 혼합 분포로 정의하여 영상을 구성하는 프레임이 입력됨에 따라 분포를 갱신함으로써 배경을 추정한다. 이 후, 추정된 배경과 입력된 프레임과의 차이로 이동객체를 검출한다. 이러한 GMM 기반 BS 알고리즘은 복수의 가우시안 모델로 배경을 추정하기 때문에 신호등, 깃발, 나뭇잎 같이 능동적으로 변화하는 배경에 효율적이다. 이에 따라 GMM 기반의 BS 알고리즘이 FD 알고리즘에 비해 높은 정확도를 보이며, OFE 알고리즘에 비해 구현 복잡도가 상당히 낮기 때문에 탑재중량 및 소모 전력이 엄격히 제한되는 UAV에 적용하기에 가장 적합하다. 단, GMM 기반 BS 알고리즘은 고정 카메라 환경에서 우수한 성능을 지원하지만, UAV 응용과 같은 이동 카메라 환경에서는 배경을 객체로 인식하여 성능이 크게 저하되는 문제가 존재하며 이러한 문제를 해결할 수 있는 효율적인 기법 개발이 필요하다.
The GMM-based BS algorithm defines the distribution of each pixel as a number of Gaussian mixture distributions and estimates the background by updating the distribution as the frames constituting the image are input. Thereafter, the moving object is detected by the difference between the estimated background and the input frame. Since the GMM-based BS algorithm estimates the background using a plurality of Gaussian models, it is efficient for backgrounds such as traffic lights, flags, leaves, and the like. Accordingly, the GM algorithm based on the BSM algorithm is more accurate than the FD algorithm, and its implementation complexity is much lower than that of the OFE algorithm. Therefore, it is most suitable for the UAV which has strictly limited weight and power consumption. However, the GMM-based BS algorithm supports the superior performance in the fixed camera environment, but in the mobile camera environment such as the UAV application, there is a problem that the background is recognized as the object and the performance is significantly degraded. need.

결국, 탑재중량 및 소모 전력이 엄격히 제한되는 UAV에 적용할 수 있는 정도의 낮은 복잡도를 가지지만 이동 카메라에 적용하기 어려운 GMM 기반 BS 알고리즘을 이동 카메라 기반의 UAV에 적용할 수 있도록 하는 새로운 방식에 대한 수요가 증가하고 있다.
Finally, we propose a new method to apply the GMM-based BS algorithm, which is difficult to apply to mobile cameras, to mobile camera-based UAV although it has a low complexity that can be applied to UAVs with strictly limited weight and power consumption. Demand is increasing.

한국 등록 특허 제10-1311148호 [영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법]Korean Patent No. 10-1311148 [Object Detection Method of Video Surveillance System and Video Surveillance System]

"Action recognition in video acquired by a moving camera using motion decomposition of lagrangian particle trajectories" S.Wu et al., IEEE ICCV. Nov. 2011.&Quot; Action recognition in video acquired by a moving camera using motion decomposition of lagrangian particle trajectories "S. Wu et al., IEEE ICCV. Nov. 2011.

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 고정 카메라에서는 우수한 성능을 제공하지만 무인 비행체(UAV)와 같은 이동 카메라 환경에서는 사용할 수 없었던 GMM (Gaussiann mixture model) 기반 BS (background subtraction)알고리즘을 UAV에 탑재된 센서로부터 모션 정보를 제공 받아 카메라의 움직임(ego-motion)을 보정하도록 함으로써 배경이 객체로 인식되는 문제를 해결하여 복잡도가 낮은 GMM 기반 BS 알고리즘을 UAV 충돌 회피 용도로 이용할 수 있도록 한 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법을 제공하는 것이다.The object of embodiments of the present invention to overcome the above problems is to provide a background subtraction (BSM) algorithm based on GMM (Gaussian mixture model), which provides excellent performance in a fixed camera but can not be used in a mobile camera environment such as a UAV In order to solve the problem of recognizing the background as an object by receiving the motion information from the sensor mounted on the UAV and correcting the motion of the camera (ego-motion), a GMM-based BS algorithm with low complexity can be used for UAV collision avoidance An object of the present invention is to provide a moving object detecting apparatus and method for avoiding collision of an unmanned aerial vehicle.

본 발명 실시예들의 다른 목적은 UAV의 x 및 y축 모션 정보를 이용하여 GMM 기반 BS 알고리즘에서 생성한 배경모델을 보정하되, 모션 정보를 정수 부분과 소수 부분으로 나누어 각각 보정을 진행하며, 정수 부분을 통해 영상에서 생성된 파라미터를 쉬프팅하고 소수 부분을 이용하여 보간을 수행함으로써 보정된 배경모델을 생성한 후, 이러한 보정된 배경모델을 기준으로 이동객체를 검출하도록 하여 비교적 간단한 구성으로 우수한 이동 객체 검출 성능을 제공할 수 있도록 한 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법을 제공하는 것이다.
It is another object of embodiments of the present invention to correct the background model generated in the GMM-based BS algorithm using the x and y axis motion information of the UAV, to correct motion by dividing the motion information into an integer part and a decimal part, A compensated background model is generated by performing an interpolation using a decimal part, and then a moving object is detected based on the corrected background model. Thus, a superior moving object detection And to provide a moving object detection apparatus and method for avoiding collision of an unmanned aerial vehicle.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치는 GMM(Gaussiann mixture model) 기반 BS(background subtraction)알고리즘을 이용하여 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치로서, 무인 비행체로부터 제공되는 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상부와; GMM 백그라운드 모델을 생성하고 상기 카메라 모션 보상부를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 갱신하는 GMM 기반 백그라운드 생성부와; GMM 기반 백그라운드 생성부에서 생성된 백그라운드 모델과 입력 영상 이미지 데이터를 이용하여 이동 객체를 검출하는 객체 검출부를 포함한다.In order to achieve the above object, a moving object detection apparatus for avoiding collision of an unmanned aerial vehicle according to an embodiment of the present invention uses a Gaussiann mixture model (BSM) -based background subtraction An apparatus for detecting a moving object, comprising: a camera motion compensator for receiving movement distance values in a x-axis and a y-axis directions of a mobile camera provided from an unmanned aerial vehicle and dividing parameter data of a GMM background model by integers and decimals; A GMM-based background generator for generating a GMM background model and updating the GMM background model using the compensated parameter data through the camera motion compensator; And an object detection unit for detecting a moving object using the background model and input image data generated by the GMM-based background generating unit.

카메라 모션 보상부에서 보상하는 GMM 백그라운드 모델 파라미터는 GMM 백그라운드 모델의 가중치, 평균, 표준편차 중 적어도 하나 이상일 수 있다.The GMM background model parameter compensated in the camera motion compensator may be at least one of weight, average, and standard deviation of the GMM background model.

GMM 백그라운드 모델은 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 다음의 수학식과 같고,The GMM background model generates the background model by modeling the pixel brightness of the input image into k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is expressed by the following equation,

Figure 112016066006997-pat00001
Figure 112016066006997-pat00001

여기서, wi,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차이다.Where w i, t , μ i, t , and σ i, t are the weight, average, and standard deviation of the model at time t and model i, respectively.

카메라 모션 보상부는 이동 카메라의 x축 및 y축 방향의 이동거리 값에 해당하는 무인 이동체의 모션 정보를 무인 이동체에 장착된 IMU(inertial measurement unit) 센서나 OFC(optical flow camera)로부터 제공받을 수 있다.The camera motion compensating unit may receive motion information of the unmanned moving object corresponding to the moving distance values of the moving camera in the x and y axis directions from an inertial measurement unit (IMU) sensor or an optical flow camera (OFC) mounted on the unmanned moving object .

카메라 모션 보상부는 이동 카메라의 x축 및 y축 방향의 이동거리 값 dx, dy를 정수부분과 소수부분으로 나누어 각각 보정을 진행하되, 정수부분 Idx, Idy 는 dx, dy를 올림한 값을 의미할 수 있다.The camera motion compensating unit divides the moving distance values dx and dy of the moving camera in the x and y axis directions into an integer part and a decimal part, and corrects the integer parts I dx and I dy by multiplying dx and dy by It can mean.

카메라 모션 보상부는 소수 부분 fdx, fdy를,The camera motion compensating unit supplies the fractional parts f dx and f dy ,

Figure 112016066006997-pat00002
Figure 112016066006997-pat00002

와 같이 연산하여 구할 수 있다.As shown in FIG.

카메라 모션 보상부는 이전 입력영상으로부터 생성된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 정수 부분만큼 각각 이동시킬 수 있다.The camera motion compensating unit can move the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, and t-1 generated from the previous input image by integer portions in the x axis and y axis directions, respectively.

카메라 모션 보상부는 정수 부분 이동에 따라 발생하는 빈공간을 wi,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채울 수 있다.The camera motion compensation unit calculates the initial values w 0 and σ 2 0 for w i, t-1 , σ 2 i, and t-1 , Lt; RTI ID = 0.0 > Xt. ≪ / RTI >

카메라 모션 보상부는 정수 부분이 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 각각 보간하여 소수 부분 보정을 수행할 수 있다.The camera motion compensation unit can perform the fractional part correction by interpolating the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, have.

객체 검출부는 보정된 백그라운드 모델 값과 이미지 화소 정보를 비교하여 그 차이에 대한 절대값을 출력하는 백그라운드 분리부와; 상기 백그라운드 분리부의 출력값과 실험적으로 결정된 임계값을 비교하여 1또는 0을 결정하는 비교기와; 상기 비교기의 출력을 저장하여 흑백 이미지를 생성하는 흑백 이미지 메모리와; 흑백 이미지에서 노이즈를 줄이는 메디안 필터와; 흑백 이미지에서 백색 객체 위치를 검출하는 바운더리 검출기를 포함할 수 있다.The object detecting unit includes a background separator for comparing the corrected background model value and the image pixel information and outputting an absolute value of the difference; A comparator for comparing the output value of the background separator with an experimentally determined threshold to determine 1 or 0; A monochrome image memory for storing the output of the comparator to generate a monochrome image; A median filter for reducing noise in a monochrome image; And a boundary detector for detecting a white object position in a monochrome image.

여기서, 메디안 필터는 x축과 y축 각각에 적용되는 1차원 메디안 필터일 수 있다.
Here, the median filter may be a one-dimensional median filter applied to each of the x-axis and the y-axis.

본 발명의 다른 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치는, GMM 기반 BS 알고리즘을 이용하여 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치로서, 무인 이동체에 장착된 IMU 센서나 OFC로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상부와; GMM 백그라운드 모델을 생성하고 상기 카메라 모션 보상부를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 갱신하는 GMM 기반 백그라운드 생성부와; GMM 기반 백그라운드 생성부에서 생성된 백그라운드 모델과 입력 영상 이미지 데이터를 이용하여 이동 객체를 검출하는 객체 검출부를 포함하되, 카메라 모션 보상부는 입력 받은 이동 카메라의 이동거리 값 dx, dy를 정수부분과 소수부분으로 나누어 각각 보정을 진행하며, 정수부분 Idx, Idy 는 dx, dy를 올림한 값이고, 소수 부분 fdx, fdy를 각각 Idx-dx, Idy-dy로 구하는 것을 특징으로 한다.A moving object detecting apparatus for avoiding collision of an unmanned aerial vehicle according to another embodiment of the present invention is a moving object detecting apparatus for avoiding collision of an unmanned vehicle using a GMM based BS algorithm, A camera motion compensation unit that receives a movement distance value in the x and y axis directions of the camera and divides the parameter data of the GMM background model into an integer and a prime; A GMM-based background generator for generating a GMM background model and updating the GMM background model using the compensated parameter data through the camera motion compensator; And an object detection unit that detects a moving object using the background model and the input image data generated by the GMM-based background generating unit. The camera motion compensation unit calculates the moving distance values dx and dy of the input moving camera as integer parts and decimal part The integer parts I dx and I dy are values obtained by raising dx and dy, and the fractional parts f dx and f dy are obtained as I dx -dx and I dy -dy, respectively.

GMM 백그라운드 모델은 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 다음의 수학식과 같고,The GMM background model generates the background model by modeling the pixel brightness of the input image into k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is expressed by the following equation,

Figure 112016066006997-pat00003
Figure 112016066006997-pat00003

여기서, wi,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차이다.Where w i, t , μ i, t , and σ i, t are the weight, average, and standard deviation of the model at time t and model i, respectively.

카메라 모션 보상부에서 보상하는 GMM 백그라운드 모델 파라미터는 w, μ, σ2 일 수 있다.The GMM background model parameters to be compensated in the camera motion compensation section may be w, mu, and 2 .

카메라 모션 보상부는 이전 입력영상으로부터 생성된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 정수 부분만큼 각각 이동시킬 수 있다.The camera motion compensating unit can move the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, and t-1 generated from the previous input image by integer portions in the x axis and y axis directions, respectively.

카메라 모션 보상부는 정수 부분 이동에 따라 발생하는 빈공간을 wi,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채울 수 있다.The camera motion compensation unit calculates the initial values w 0 and σ 2 0 for w i, t-1 , σ 2 i, and t-1 , Lt; RTI ID = 0.0 > Xt. ≪ / RTI >

카메라 모션 보상부는 정수 부분이 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 각각 보간하여 소수 부분 보정을 수행할 수 있다.The camera motion compensation unit can perform the fractional part correction by interpolating the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, have.

카메라 모션 보상부는 소수 부분 보정을 위해 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,The camera motion compensating unit compares the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, t-1 corrected for the fractional part correction by the following equation:

Figure 112016066006997-pat00004
Figure 112016066006997-pat00004

을 통해 fdx항으로 보정할 수 있고, Can be calibrated in terms of f dx ,

fdx항으로 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,The GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, t-1 corrected by f dx are calculated by the following equation:

Figure 112016066006997-pat00005
Figure 112016066006997-pat00005

을 통해 fdy항으로 보정할 수 있다.
Can be corrected to f dy terms.

본 발명의 또 다른 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법은 무인 비행체로부터 제공되는 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받는 단계와; 수집된 이동거리 값을 이용하여 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상단계와; 카메라 모션 보상단계를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 생성하고, 입력 영상과 보상된 백그라운드 모델 간의 절대값 차이를 생성하는 백그라운드 분리 단계와; 백그라운드 분리 단계를 통해 얻어진 입력 영상과 백그라운드 모델 간의 절대값을 임계값과 비교하여 흑백 이미지를 생성하고 그로부터 이동 객체를 검출하는 객체 검출 단계를 포함한다.According to another aspect of the present invention, there is provided a moving object detection method for avoiding a collision of an unmanned aerial vehicle, comprising: receiving movement distance values in a x-axis and a y-axis direction of a mobile camera provided from an unmanned aerial vehicle; A camera motion compensating step of compensating the parameter data of the GMM background model by dividing the parameter data by integers and decimals using the collected movement distance values; A background separation step of generating a GMM background model using the compensated parameter data through the camera motion compensation step and generating an absolute value difference between the input image and the compensated background model; And an object detection step of generating a monochrome image by comparing the absolute value between the input image and the background model obtained through the background separation step with a threshold value and detecting a moving object from the monochrome image.

이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받는 단계는 무인 이동체에 장착된 IMU 센서나 OFC로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받을 수 있다.The step of receiving the movement distance values of the mobile camera in the x and y axis directions may receive the movement distance values of the mobile camera in the x and y axis directions from the IMU sensor or OFC mounted on the unmanned mobile object.

상기 카메라 모션 보상 단계는 수신된 UAV 이동 방향에 대한 거리값을 정수 부분과 소수 부분을 분해하는 단계와; 분해된 정수 부분으로 백그라운드 모델의 파라미터들을 일정 부분 이동시키는 보정과 이러한 보정에 따라 발생되는 빈공간을 채우는 정수부 보정 단계와; 정수부를 통해 보정된 백그라운드 모델의 파라미터에 대해 이동 방향들 각각에 대해 보간을 진행하는 소수부 보정 단계를 포함할 수 있다.The camera motion compensating step comprises the steps of decomposing the distance value for the received UAV moving direction into an integer part and a decimal part; A correction step of moving the parameters of the background model by a predetermined part with the decomposed integer part and an integer part correction step of filling the empty space generated according to the correction; And a fractional correction step of performing interpolation for each of the movement directions with respect to the parameters of the background model corrected through the integer part.

객체 검출 단계는, 백그라운드 분리 과정을 통해 얻어진 절대값과 임계값을 비교하여 흑과 백의 2진 이미지를 생성하는 차이 필터 동작 단계와; 얻어진 흑백 이미지의 x와 y축방향 각각에 대한 메디안 필터 동작 단계와; 객체 영역의 좌표를 찾는 바운더리 검출 단계를 포함할 수 있다.
The object detecting step may include: a difference filter operation step of generating a black and white binary image by comparing an absolute value obtained through a background separation process with a threshold value; A median filter operation step for each of the x and y axis directions of the obtained monochrome image; And a boundary detection step of finding the coordinates of the object area.

본 발명의 또 다른 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법은 무인 이동체에 장착된 IMU 센서나 OFC로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값 dx, dy을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상단계와; 카메라 모션 보상단계를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 생성하고, 입력 영상과 보상된 백그라운드 모델 간의 절대값 차이를 생성하는 백그라운드 분리 단계와; 백그라운드 분리 단계를 통해 얻어진 입력 영상과 백그라운드 모델 간의 절대값을 임계값과 비교하여 흑백 이미지를 생성하고 그로부터 이동 객체를 검출하는 객체 검출 단계를 포함하되, 카메라 모션 보상 단계는 정수부분 Idx, Idy 를 dx, dy를 올림하여 구하고, 소수 부분 fdx, fdy를 각각 Idx-dx, Idy-dy로 구하여 보정을 수행한다.According to another embodiment of the present invention, a moving object detection method for avoiding collision of an unmanned aerial vehicle includes receiving motion distance values dx and dy of the mobile camera in the x and y axis directions from an IMU sensor or OFC mounted on an unmanned vehicle, A camera motion compensating step of compensating the parameter data of the background model by dividing the parameter data by an integer and a prime number; A background separation step of generating a GMM background model using the compensated parameter data through the camera motion compensation step and generating an absolute value difference between the input image and the compensated background model; By comparing the absolute values between the input image and the background model obtained through the separation step in the background with the threshold value, but generates a black-and-white image containing an object detection step of detecting a moving object from it, the camera motion compensation step is the integral part I dx, I dy Is obtained by raising dx and dy, and correction is performed by finding the fractional parts f dx and f dy as I dx -dx and I dy -dy, respectively.

본 발명 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법은 고정 카메라에서는 우수한 성능을 제공하지만 무인 비행체(UAV)와 같은 이동 카메라 환경에서는 사용할 수 없었던 GMM 기반 BS알고리즘을 UAV에 탑재된 센서로부터 모션 정보를 제공 받아 카메라의 움직임을 효과적으로 보정하여 배경이 객체로 인식되는 문제를 해결함으로써 제한된 자원을 가지는 UAV에 복잡도가 낮은 GMM 기반 BS 알고리즘을 적용할 수 있으며, 이를 통해 높은 성능의 실시간 이동 객체 검출 성능을 제공할 수 있는 효과가 있다.According to the embodiment of the present invention, a moving object detection apparatus and method for avoiding collision of an unmanned aerial vehicle provides a superior performance in a fixed camera, but a GMM-based BS algorithm that can not be used in a mobile camera environment such as a unmanned aerial vehicle (UAV) It is possible to apply the GMM-based BS algorithm with low complexity to the UAV having limited resources by solving the problem of recognizing the background as an object by effectively correcting the movement of the camera by receiving the motion information from the sensor, There is an effect that the object detection performance can be provided.

본 발명 실시예에 따른 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법은 UAV의 x 및 y축 모션 정보를 이용하여 GMM 기반 BS 알고리즘에서 생성한 배경모델을 보정하되, 모션 정보를 정수 부분과 소수 부분으로 나누어 각각 보정을 진행하며, 정수 부분을 통해 영상에서 생성된 파라미터를 쉬프팅하고 소수 부분을 이용하여 보간을 수행함으로써 복잡한 다른 알고리즘과 큰 차이가 없는 보정된 배경모델을 생성할 수 있고, 이러한 보정된 배경모델을 기준으로 이동객체를 검출하도록 하여 비교적 간단한 구성으로 성능이 좋지만 복잡한 알고리즘과 대등한 수준의 이동 객체 검출 성능을 제공할 수 있는 효과가 있다.
The moving object detecting apparatus and method for avoiding collision of an unmanned aerial vehicle according to an embodiment of the present invention compensates a background model generated by a GMM based BS algorithm using x and y axis motion information of a UAV, And the interpolation is performed by using the fractional part, it is possible to generate a corrected background model that does not greatly differ from other complicated algorithms, It is possible to provide a moving object detection performance equal to that of a complicated algorithm although the performance is good with a relatively simple configuration by detecting the moving object based on the background model.

도 1은 본 발명의 실시예에 따른 이동 객체 검출 과정을 보인 순서도.
도 2 및 도 3은 본 발명의 실시예에 따른 객체 검출 성능을 보인 예시도.
도 4는 본 발명의 실시예에 따른 이동 객체 검출 장치의 블록도.
도 5는 본 발명의 실시예에 따른 카메라 모션 보상부 구성도.
도 6은 본 발명의 실시예에 따른 백그라운드 생성부 구성도.
도 7은 본 발명의 실시예에 따른 객체 검출부 구성도.
도 8은 본 발명의 실시예에 따른 객체 검출 시 2차원 메디안 필터를 이용한 경우와 1차원 메디안 필터를 x와 y축에 각각 적용한 경우를 보인 예시도.
도 9는 본 발명의 실시예에 따른 이동 객체 검출 장치의 동작 타이밍도.1 is a flowchart showing a moving object detection process according to an embodiment of the present invention.
FIG. 2 and FIG. 3 illustrate examples of object detection performance according to an embodiment of the present invention; FIG.
4 is a block diagram of a moving object detection apparatus according to an embodiment of the present invention.
5 is a block diagram of a camera motion compensation unit according to an embodiment of the present invention;
6 is a block diagram of a background generating unit according to an embodiment of the present invention;
FIG. 7 is a block diagram of an object detection unit according to an embodiment of the present invention; FIG.
FIG. 8 is a diagram illustrating a case where a two-dimensional median filter is used for detecting an object and a case where a one-dimensional median filter is applied to the x and y axes, respectively, according to an embodiment of the present invention.
9 is an operation timing diagram of a moving object detecting apparatus according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, Should not be construed to mean, or be interpreted in an excessively reduced sense. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms can be understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Furthermore, the singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "comprising" or "comprising" and the like should not be construed as encompassing various elements or various steps of the invention, Or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Furthermore, terms including ordinals such as first, second, etc. used in the present invention can be used to describe elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 이동 객체 검출 과정을 보인 순서도로서, 고정 카메라 용도로 사용되는 GMM(Gaussiann mixture model) 기반 BS(background subtraction) 알고리즘을 무인 비행체(UAV) 환경의 이동 카메라 용도로 이용할 수 있도록 하기 위한 본 발명에 따른 변형 알고리즘의 순서도를 보인 것이다. FIG. 1 is a flowchart illustrating a moving object detection process according to an exemplary embodiment of the present invention. Referring to FIG. 1, a background subtraction (GMM) based Gaussian mixture model (GMM) FIG. 2 is a flow chart of a modification algorithm according to the present invention for use with the present invention.

즉, GMM 기반 BS 알고리즘을 한정된 자원의 최적 활용을 고려한 이동체 충돌 회피를 위한 객체 검출 알고리즘으로 변형시킨 본 발명 실시예의 동작 순서도를 보인 것으로, 도시된 바와 같이, UAV의 이동 방향(즉, UAV에 탑재된 이동 카메라)에 대한 모션 정보(ego-motion)를 UAV에 탑재된 모션 정보 제공부(예를 들어, IMU (inertial measurement unit) 센서 혹은 OFC (optical flow camera))로부터 UAV의 이동 방향에 대한 정보를 수집하는 단계(S10)와, 이렇게 수집된 모션 정보를 이용하여 GMM에서 생성한 백그라운드 모델 파라미터를 보정하는 카메라 모션 보상 단계(S20)와, 보상된 백그라운드 모델 파라미터를 이용하여 영상 프레임에서 백그라운드를 분리하는 백그라운드 분리단계(S30)와, 백그라운드가 분리된 영상으로부터 객체를 검출하는 객체 검출 단계(S40)를 포함한다. That is, an operation flowchart of the embodiment of the present invention in which the GMM-based BS algorithm is modified to an object detection algorithm for mobile object collision avoidance considering optimal use of limited resources is shown. As shown in the figure, Motion information on the moving direction of the UAV from a motion information provision unit (for example, an inertial measurement unit (IMU) sensor or OFC (optical flow camera)) mounted on the UAV A camera motion compensation step (S20) of correcting a background model parameter generated by the GMM using the motion information thus collected, and a step of separating a background from an image frame using the compensated background model parameter A background separation step S30, and an object detection step S40 for detecting an object from a background-separated image.

이러한 본 발명의 실시예에 따른 카메라 모션 보상 단계(S20)는 수신된 UAV 이동 방향에 대한 거리값을 정수 부분과 소수 부분을 분해하는 단계(S21)와, 분해된 정수 부분으로 백그라운드 모델의 파라미터들을 일정 부분 이동시키는 보정과 이러한 보정에 따라 발생되는 빈공간을 채우는 정수부 보정 단계(S22)와, 정수부를 통해 보정된 백그라운드 모델의 파라미터에 대해 이동 방향들(예컨대, x축과 y축) 각각에 대해 보간을 진행하는 소수부 보정 단계(S23)를 포함한다.The camera motion compensation step S20 according to the embodiment of the present invention includes a step S21 of decomposing a distance value for the received UAV moving direction into an integer part and a decimal part, (For example, x and y axes) with respect to the parameters of the background model corrected through the integer part, an integer part correcting step (step S22) And a decimal fraction correction step S23 for interpolation.

카메라 모션 보상 단계(S20)를 통해 카메라 모션 정보가 보정된 백그라운드 모델의 파라미터를 이용하여 백그라운드를 분리하는 백그라운드 분리 단계(S30)는 보정된 백그라운드 모델의 파라미터를 이용하여 GMM 백그라운드 모델을 갱신하는 단계(S31)와 갱신된 백그라운드 모델과 입력 영상 화소값의 차이에 대한 절대값을 산출하는 백그라운드 분리단계(S32)를 포함한다.The background separating step S30 of separating the background using the parameters of the background model in which the camera motion information is corrected through the camera motion compensation step S20 is a step of updating the GMM background model using the parameters of the corrected background model And a background separating step (S32) for calculating an absolute value of a difference between the updated background model and the input image pixel value.

객체 검출 단계(S40)는 백그라운드 분리 과정을 통해 얻어진 절대값과 임계값을 비교하여 흑과 백의 2진 이미지를 생성하는 차이 필터 동작 단계(S41)와, 얻어진 흑백 이미지의 x와 y축방향 각각에 대한 메디안 필터 동작 단계(S42) 및 객체 영역의 좌표를 찾는 바운더리 검출 단계(S43)를 포함한다.The object detection step S40 includes a difference filter operation step S41 for generating a black and white binary image by comparing the absolute value obtained through the background separation process with a threshold value, A median filter operation step S42 and a boundary detection step S43 for finding the coordinates of the object area.

이러한 단계들을 통해서 비교적 간단한 GMM 기반 BS 알고리즘을 베이스로 하더라도 이동 카메라 영상으로부터 객체를 검출할 수 있다.Through these steps, it is possible to detect an object from a moving camera image even if it is based on a relatively simple GMM-based BS algorithm.

이러한 각 단계의 동작을 좀 더 구체적으로 설명하기 위해서 도 1에 도시된 실시예의 각 단계를 수행하기 위한 수학적 접근을 먼저 설명한다.In order to more specifically explain the operation of each step, a mathematical approach for performing each step of the embodiment shown in FIG. 1 will be described first.

이후, 이러한 각 단계에서 수행되는 수학적 연산이 구현된 장치를 이후 도 4 내지 도 8을 통해 상세히 설명하도록 한다.
Hereinafter, the apparatus in which the mathematical operation performed in each of these steps is implemented will be described in detail later with reference to FIGS. 4 to 8. FIG.

본 발명의 실시예에 따른 이동 객체 검출 알고리즘은 기본적으로 GMM과 BS 알고리즘을 기반으로 하므로, 이러한 GMM과 BS 알고리즘에 대한 수학적 표현부터 정리한다.Since the moving object detection algorithm according to the embodiment of the present invention is basically based on the GMM and the BS algorithm, the mathematical expression of the GMM and the BS algorithm is summarized.

먼저, GMM 알고리즘은 모든 화소에서 각 화소들에 대해 GMM을 수행하여 이동 객체를 구분하기 위한 백그라운드모델을 생성한다. 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 수학식 1과 같이 표현된다. First, the GMM algorithm performs a GMM for each pixel in all pixels to generate a background model for distinguishing moving objects. A background model is generated by modeling the pixel brightness of the input image with k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is expressed by Equation (1).

Figure 112016066006997-pat00006
Figure 112016066006997-pat00006

위 식에서 wi ,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차이다. In this equation, w i , t , μ i, t , and σ i, t are the weight, average, and standard deviation of the model at time t and model i, respectively.

각각의 화소는 다음의 수학식 2에 의해 모델에 매칭되는지 판별된다.It is determined whether each pixel is matched to the model by the following equation (2).

Figure 112016066006997-pat00007
Figure 112016066006997-pat00007

여기서, mk는 모델에 매칭되는지 여부를 나타내는 파라미터로 1인 경우 해당 화소가 백그라운드로 인식된 것을 의미하고, D는 검출성능을 높이기 위해 실험적으로 결정되는 파라미터이다. 각 GMM 파라미터 wi ,t, μi,t, σ2 i,t- 1는 mk=1인 모델에서 다음의 수학식 식3에 의해 갱신된다.Here, m k is a parameter indicating whether or not the model is matched. When m k is 1, it means that the corresponding pixel is recognized in the background, and D is an experimentally determined parameter for improving the detection performance. Each GMM parameter w i , t , μ i, t , σ 2 i, t -1 is updated by the following equation (3) in the model with m k = 1.

Figure 112016066006997-pat00008
Figure 112016066006997-pat00008

여기서, α는 학습율을 의미하며, ρ는 학습율에 가중치가 반영된 α/wkt로 연산된다. 입력되는 화소 값이 가우시안 모델에 매칭되지 않을 경우 w는 α를 더하지 않으며,μ, σ2은 이전 값을 유지한다. 입력되는 화소 값이 k개의 모든 가우시안 모델에 포함되지 않을 경우에는 다음의 수학식 4에 의해 가장 낮은 가중치를 갖는 가우시안 모델의 파라미터들이 초기화된다. Here, α means the learning rate, and ρ is calculated as α / w kt , which reflects the learning rate. If the input pixel value does not match the Gaussian model, w does not add α, and μ and σ 2 retain the previous value. If the input pixel value is not included in all k Gaussian models, the parameters of the Gaussian model having the lowest weight are initialized by the following equation (4).

Figure 112016066006997-pat00009
Figure 112016066006997-pat00009

이는 가장 낮은 신뢰도를 갖는 가우시안 모델을 새롭게 생성하는 방식으로, w0 는 실험적으로 결정된 가중치의 초기 값이고 σ2 0은 분산의 초기 값이다. This is a method of newly generating a Gaussian model with the lowest reliability, where w 0 is the initial value of the experimentally determined weight and σ 2 0 is the initial value of the variance.

이동객체검출을 위한 각 화소의 백그라운드 모델 Bt는 수학식 5와 같이 모델의 평균, 가중치를 이용하여 0~255의 그레이 스케일로 생성된다. The background model B t of each pixel for moving object detection is generated in a gray scale of 0 to 255 using the average and weight of the model as shown in Equation (5).

Figure 112016066006997-pat00010
Figure 112016066006997-pat00010

이렇게 GMM을 이용하여 백그라운드 모델을 생성한 후 BS 알고리즘을 이용하여 이동객체를 검출하게 되는데, 다음의 수학식 6은 GMM 알고리즘을 이용해 생성된 백그라운드모델의 값과 입력 영상 화소의 밝기값 차이의 절대값을 실험적으로 결정된 임계값(threshold)과 비교하는 것을 의미하며, 그 결과로서 1과 0, 즉 흑과 백(black & white) 이미지를 생성할 수 있다. The background model is generated using the GMM, and then the moving object is detected using the BS algorithm. The following Equation (6) is used to calculate the absolute value of the difference between the background model value generated using the GMM algorithm and the brightness value of the input image pixel Is compared with an experimentally determined threshold, and as a result, 1 and 0, i.e., black and white images, can be generated.

Figure 112016066006997-pat00011
Figure 112016066006997-pat00011

위 수학식 6에서 절대값이 임계값보다 큰 경우 이동객체로 판별하여 백(white)의 값(binary 1)으로 저장하고 나머지는 백그라운드로 판별하여 흑(black)의 값(binary 0)으로 저장한다. 생성된 이미지는 메디안 필터(median filter)로 노이즈를 제거하여 보정하고, 최종적으로 백(white) 영역의 좌표를 찾아 이동 객체를 검출한다. In Equation (6), if the absolute value is greater than the threshold value, the object is determined as a moving object and stored as a white value (binary 1) and the rest is determined as a background and stored as a black value (binary 0) . The generated image is corrected by removing the noise with a median filter, and finally, the coordinates of the white area are detected and the moving object is detected.

이러한 기본적인 GMM 기반 BS 알고리즘의 수학적 표현들을 이용하여 본 발명의 실시예에 따른 백그라운드 모델의 카메라 모션 보상과 이동 객체 검출 과정을 설명하면 다음과 같다.The camera motion compensation and the moving object detection process of the background model according to the embodiment of the present invention using mathematical expressions of the basic GMM-based BS algorithm will be described as follows.

먼저, 백그라운드 모델의 카메라 모션 보상 과정은 UAV의 모션을 기준으로 백그라운드 모델을 보정하기 위한 과정이다.First, the camera motion compensation process of the background model is a process for correcting the background model based on the motion of the UAV.

UAV에 장착된 카메라는 임무에 따라서 자유롭게 이동하므로 카메라의 입력 영상은 객체의 움직임뿐만 아니라 백그라운드의 움직임 정보까지 포함하게 된다. 따라서 백그라운드를 객체로 인식하는 문제점이 발생하므로 객체를 판별하기에 앞서 백그라운드의 움직임 정보를 제거해주어야 한다. 이를 위해 UAV에 장착된 IMU 센서 혹은 OFC의 출력 값 중에서 x축, y축 방향의 이동거리 값을 이용하여 GMM에서 생성한 백그라운드모델을 보정한다. 이때 x축, y축 방향의 이동거리 값 dx, dy를 정수부분과 소수부분으로 나누어 각각 보정을 진행한다. 정수부분 Idx, Idy 는 dx, dy를 올림한 값을 의미하며, 소수부분 fdx, fdy는 다음의 수학식 7을 통해 생성한다. Since the camera mounted on the UAV moves freely according to its mission, the input image of the camera includes not only the movement of the object but also the motion information of the background. Therefore, it is necessary to remove the background motion information before the object is recognized because the background is recognized as an object. For this purpose, we use the moving distance values of the IMU sensor or OFC installed in the UAV to correct the background model generated by the GMM. At this time, the movement distance values dx and dy in the x-axis and y-axis directions are divided into an integer portion and a decimal portion, and correction is performed. The integer parts I dx and I dy represent values obtained by increasing dx and dy, and the fractional parts f dx and f dy are generated by the following equation (7).

Figure 112016066006997-pat00012
Figure 112016066006997-pat00012

정수부분을 이용한 보정은 이전 입력영상으로부터 생성된 GMM 파라미터 wi ,t-1, μi,t-1, σ2 i,t- 1를 x축, y축 방향으로 정수 부분만큼 각각 이동하는 것이다. 이때 이동에 따라 발생하는 빈공간은 수학식 8과 같이 wi ,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채운다.The correction using the integer part shifts the GMM parameters w i , t-1 , μ i, t-1 , σ 2 i, and t- 1 generated from the previous input image by the integer part in the x axis and y axis directions . At this time, an empty space generated according to the movement are the same position when the w i, t-1, σ 2 i, for t-1 as the initial value w 0, σ 2 0, μ i, t-1 as shown in equation (8) Of the input pixel X t .

Figure 112016066006997-pat00013
Figure 112016066006997-pat00013

소수부분을 이용한 보정은 정수 부분을 이용하여 보정된 GMM 파라미터 wi ,t-1, μi,t-1, σ2 i,t- 1를 x축, y축 방향으로 각각 보간(interpolation)하는 방식을 적용한다. 보간은 수학식 9와 같이 x축 방향의 소수부분 fdx항으로 보정한 후 수학식 10과 같이 y축 방향의 소수부분 fdy항으로 보정한다. Correction using the decimal part is corrected by using the integer part GMM parameters w i, t-1, μ i, t-1, σ 2 i, t- 1 in the x-axis, y-axis direction, each interpolation (interpolation) Method. The interpolation is corrected to the fractional part f dx in the x-axis direction as shown in Equation (9) and then corrected to the fractional part f dy in the y-axis direction as shown in Equation (10).

Figure 112016066006997-pat00014
Figure 112016066006997-pat00014

Figure 112016066006997-pat00015
Figure 112016066006997-pat00015

이와 같은 정수부 보정과 소수부 보정을 통해 카메라 모션을 보상한 후 앞서 설명했던 백그라운드 분리 단계 및 객체 검출 단계를 거쳐 객체를 검출한다.After compensating the camera motion through the integer part correction and the fractional part correction, the object is detected through the background separation step and the object detection step described above.

즉, 카메라 모션 정보가 보정된 GMM 파라미터 wi ,t-1, μi,t-1, σ2 i,t-1에 앞서 수학식 1 내지 5를 통해 설명했던 GMM 알고리즘을 적용하여 백그라운드의 x축, y축 방향의 움직임 정보가 제거된 백그라운드모델을 생성한다.That is, the GMM algorithm described in Equations 1 to 5 is applied to the GMM parameters w i , t-1 , μ i, t-1 , σ 2 i, Axis, and y-axis motion information is removed.

이후 보정된 백그라운드모델의 값과 입력 영상 화소의 밝기 값을 수학식 6을 통해 설명했던 BS 알고리즘에 적용하여 흑백(black & white) 이미지를 생성하고 메디안 필터로 보정한 후, 최종적으로 백(white) 영역의 좌표를 찾아 백그라운드가 아닌 실제 이동객체를 검출할 수 있다. Then, the corrected background model value and the brightness value of the input image pixel are applied to the BS algorithm described in Equation (6) to generate a black & white image, corrected by a median filter, It is possible to detect the actual moving object other than the background by searching the coordinates of the area.

이러한 수학적 알고리즘을 통해 고정 카메라에 사용되던 객체 검출 알고리즘을 이동식 카메라에 사용할 수 있으며, 이러한 본 발명의 실시예에 따른 카메라 모션 보상 방식이 적용된 객체 검출 알고리즘은 비교적 높은 성능을 제공할 수 있다.The object detection algorithm used in the fixed camera can be used for the mobile camera through the mathematical algorithm. The object detection algorithm using the camera motion compensation method according to the embodiment of the present invention can provide relatively high performance.

본 발명의 실시예에 따른 새로운 객체 검출 알고리즘의 MOD(moving object detection) 성능 평가를 위해 항공 카메라로 촬영한 영상이 포함된 기준 영상 데이터세트(실시예에서는 VIVID 데이터세트)를 이용하였다.In order to evaluate the moving object detection (MOD) performance of the new object detection algorithm according to the embodiment of the present invention, a reference image data set (VIVID data set in the embodiment) including an image taken by an aviation camera was used.

도 2는 VIVID 데이터 세트에서 제공되는 이동 카메라 영상(도 2a)에 기존의 GMM 기반 BS 알고리즘을 적용한 경우(도 2b)와 본 발명의 실시예에 따른 카메라 모션 보상 알고리즘을 적용한 경우(도 2c)를 나타낸 것이다.2 shows a case where the existing GMM-based BS algorithm is applied to the mobile camera image (FIG. 2A) provided in the VIVID data set (FIG. 2B) and the case where the camera motion compensation algorithm according to the embodiment of the present invention is applied .

도 2b에 도시된 바와 같이 이동 카메라 환경에 기존의 GMM 기반 BS 알고리즘을 적용한 경우 백그라운드 화소를 객체로 인식하는 FP(False Positive)가 다수 발생하는 것을 확인할 수 있다. As shown in FIG. 2B, when the conventional GMM-based BS algorithm is applied to the mobile camera environment, it can be seen that FP (False Positive) recognizing background pixels as objects is generated.

반면에, 도 2c에 도시된 바와 같이 카메라의 움직임 정보를 보정한 본 발명의 실시예에 따른 알고리즘을 적용한 경우 백그라운드가 아닌 실제 객체만을 인식하는 것을 확인할 수 있다.On the other hand, when the algorithm according to the embodiment of the present invention in which the motion information of the camera is corrected as shown in FIG. 2C is applied, it can be confirmed that only the actual object is recognized, not the background.

이러한 본 발명의 실시예를 통한 알고리즘의 성능이 기존의 GMM 기반 BS 알고리즘보다 어느 정도 개선되었는 지 확인하기 위해 MOD 성능지표인 재현율(Recall), 정확도(Precision), F-measure(재현율과 정확도의 조화평균)를 통해 수치적 값을 산출하였다.In order to confirm the improvement of the performance of the algorithm based on the embodiment of the present invention over the existing GMM-based BS algorithm, the MOD performance index Recall, Precision, and F-measure (combination of recall rate and accuracy Average).

이러한 성능지표는 다음의 수학식 11과 같이 정의된다.This performance index is defined by the following Equation (11).

Figure 112016066006997-pat00016
Figure 112016066006997-pat00016

여기서 TP(true positive)는 실제 객체 화소가 객체로 인식된 총 화소 수를 나타내며, FN(false negative)은 실제 객체 화소가 백그라운드로 인식된 총 화소 수를 나타낸다. 따라서 정확도는 알고리즘이 객체로 인식한 화소 중에 실제 객체 화소의 비율로 정밀도를 의미하며, 재현율은 실제 객체 화소 중에 알고리즘이 객체로 인식한 화소의 비율로 검출율을 나타낸다. Here, TP (true positive) represents the total number of pixels in which the actual object pixel is recognized as an object, and FN (false negative) represents the total number of pixels in which the actual object pixel is recognized in the background. Therefore, accuracy refers to the accuracy of the ratio of actual object pixels among the pixels recognized by the algorithm as objects, and the recall rate represents the detection rate as the ratio of pixels recognized by the algorithm as objects among actual object pixels.

이러한 성능지표에 맞추어 알려져 있는 MOD 알고리즘 중에서, MD (motion decomposition), HOMO (homography based background subtraction), BMS (background motion subtraction),GMM 기반 BS 알고리즘들과 본 발명의 실시예에 따른 알고리즘을 대비해 보면 다음의 표 1과 같다.Among the MOD algorithms which are known according to these performance indexes, MD (motion decomposition), HOMO (homography based background subtraction), BMS (background motion subtraction), GMM based BS algorithms and algorithms according to the embodiment of the present invention As shown in Table 1.

Figure 112016066006997-pat00017
Figure 112016066006997-pat00017

여기서, MD 알고리즘은 OFE를 이용하여 특징점의 궤적을 추정하고 추정된 궤적을 분석하여 객체와 백그라운드를 구분하며, HOMO 알고리즘은 호모그래피 모델을 이용하여 백그라운드의 궤적을 추정하고 객체를 구별해내는 방식이다. BMS 알고리즘은 MD와 마찬가지로 OFE를 이용하여 특징점의 궤적을 추정한 후, RSVD (reduced singular value decomposition)와 적응적 임계치를 통해 백그라운드와 객체를 구별해낸다. 이러한 MD, HOMO, BMS 알고리즘은 모두 이동카메라 환경에 대응 가능한 알고리즘이지만, UAV에 적용하기가 어려울 정도의 복잡도를 지니는 OFE 보다도 훨씬 더 큰 구현 복잡도를 가지는 알고리즘이기 때문에 UAV 적용은 어려운 알고리즘들에 해당한다.Here, the MD algorithm uses the OFE to estimate the trajectory of the feature points, analyzes the estimated trajectory to distinguish the object from the background, and the HOMO algorithm estimates the background trajectory using the homography model and distinguishes the objects . The BMS algorithm estimates the trajectory of feature points using OFE as well as MD, and then distinguishes background and object through reduced singular value decomposition (RSVD) and adaptive threshold. Although these MD, HOMO, and BMS algorithms are compatible with mobile camera environments, UAV applications are difficult algorithms because they have a much higher implementation complexity than OFEs, which are difficult to apply to UAVs .

표 1과 같이 본 발명의 실시예는 기존의 GMM 기반 BS 알고리즘에 비해 약 48% 개선되었으며, 복잡도가 상당히 높은 MD 알고리즘보다 우수하고 HOMO 알고리즘과 거의 동일한 성능을 보였다. 비록 BMS 알고리즘은 본 발명의 실시예에 따른 알고리즘에 비해 우수한 검출율을 보이지만, 앞서 언급된 바와 같이 OFE 연산을 요구할 뿐만 아니라 궤적 추적과 RSVD 연산을 요구하는 등 그 복잡도가 가장 높고 많은 전력 소모가 발생하기 때문에 UAV에 적용하기 어려운 알고리즘에 해당한다.As shown in Table 1, the embodiment of the present invention is improved by about 48% as compared with the conventional GMM-based BS algorithm, and is superior to the MD algorithm with a high complexity and has almost the same performance as the HOMO algorithm. Although the BMS algorithm has a better detection rate than the algorithm according to the embodiment of the present invention, it requires the OFE calculation as well as the trajectory tracking and the RSVD operation as mentioned above. However, the BMS algorithm has the highest complexity and consumes a lot of power Which is difficult to apply to UAV.

따라서, 본 발명의 실시예는 복잡도가 높은 MD 알고리즘이나 HOMO 알고리즘에 비해 더 우수하거나 대등한 정도의 성능을 제공하면서도 그 복잡도는 크게 낮출 수 있게 된다. Accordingly, the embodiment of the present invention can provide a performance that is superior or equal to that of a high-complexity MD algorithm or a HOMO algorithm, but can greatly reduce the complexity.

그림 3은 본 발명의 실시예에 따른 알고리즘을 실제 UAV에 적용하여 촬영한 영상(도 3a)에 기존의 GMM 기반 BS 알고리즘을 적용한 영상(도 3b) 및 본 발명의 실시예에 따른 알고리즘을 적용한 영상(도 3c)을 보인 것이다. FIG. 3 shows an image (FIG. 3B) obtained by applying an algorithm according to an embodiment of the present invention to an actual UAV (FIG. 3A) and a conventional GMM-based BS algorithm (Fig. 3C).

도시된 바와 같이 GMM 기반 BS 알고리즘에 비해 본 발명의 실시예에 따른 알고리즘의 이동 객체 검출 성능이 뛰어남을 확인할 수 있다.
As shown in the figure, the moving object detection performance of the algorithm according to the embodiment of the present invention is superior to that of the GMM-based BS algorithm.

이하, 도 1을 통해 설명했던 본 발명의 실시예에 따른 알고리즘을 하드웨어로 구현한 장치에 관하여 도 4 내지 도 8을 참조하여 설명한다. Hereinafter, an apparatus for implementing an algorithm according to an embodiment of the present invention, which has been described with reference to FIG. 1, in hardware will be described with reference to FIG. 4 to FIG.

먼저, 도 4는 본 발명의 실시예에 따른 이동 객체 검출 장치의 블록도로서, 도시된 바와 같이 입력 영상을 일시 저장한 후 제공하는 입력 프레임 버퍼부(10)와, 입력 프레임 버퍼부(10)로부터 영상을 수신하여 이동 객체를 검출하는 이동 객체 검출부(100)로 이루어진다.FIG. 4 is a block diagram of a moving object detecting apparatus according to an embodiment of the present invention. Referring to FIG. 4, an input frame buffer unit 10 temporarily stores an input image, And a moving object detecting unit 100 for detecting a moving object by receiving an image from the moving object detecting unit 100.

이동 객체를 검출하는 이동 객체 검출부(100)는 카메라 모션을 보상하는 카메라 모션 보상부(120)와, GMM 기반 백그라운드 생성부(130)와, 보상된 GMM 기반 백그라운드를 이용하여 객체를 검출하는 객체 검출부(140)와, 각종 처리 영상이나 파라미터를 저장하는 GMM 파라미터 메모리(135)와, 객체 검출을 위한 흑백 이미지가 저장되는 흑백 이미지 메모리(145) 및 이러한 각 부의 동작을 관리하여 연속적인 객체 검출이 이루어지도록 하는 제어부(110)를 포함한다.The moving object detecting unit 100 for detecting a moving object includes a camera motion compensating unit 120 for compensating camera motion, a GMM-based background generating unit 130, an object detecting unit 130 for detecting an object using the compensated GMM- A GMM parameter memory 135 for storing various processed images and parameters, a monochrome image memory 145 for storing monochrome images for object detection, and continuous object detection by managing the operations of these units And a control unit 110 for controlling the operation of the apparatus.

도시된 카메라 모션 보상부(120)는 입력 프레임 버퍼부(10)를 통해 영상 이미지 데이터를 입력받고, 카메라의 x축, y측 방향의 이동거리 값(UAV의 IMU 센서나 OFC로 부터 수신(미도시))을 입력받아 GMM 파라미터 메모리(135)에 있는 GMM 파라미터 데이터를 보정한다. 그리고, GMM 기반 백그라운드 생성부(130)는 카메라 모션 보상부(120)를 통해 보정된 GMM 파라미터 데이터와 영상 이미지 데이터를 입력받아 백그라운드모델을 생성한다. The camera motion compensating unit 120 receives the image image data through the input frame buffer unit 10 and receives the moving distance values of the camera in the x and y directions from the IMU sensor or OFC of the UAV ) And corrects the GMM parameter data in the GMM parameter memory 135. [ The GMM-based background generating unit 130 receives the corrected GMM parameter data and the image image data through the camera motion compensating unit 120, and generates a background model.

객체 검출부(140)는 GMM 기반 백그라운드 생성부(130)에서 생성된 백그라운드 모델과 영상 이미지 데이터를 이용하여 흑백 이미지를 생성하고, 메디안 필터나 경계 검출 과정을 거쳐 이동객체의 좌표값을 출력한다.
The object detection unit 140 generates a monochrome image using the background model and the image image data generated by the GMM-based background generation unit 130, and outputs coordinate values of the moving object through a median filter and a boundary detection process.

도 6은 본 발명의 실시예에 따른 백그라운드 생성부 구성도로서, 도시된 바와 같이 분해기(121)와 복수의 보간기가 포함된 보간부(122), GMM 메모리 제어기(124) 및 멀티플렉서(123)를 포함한다.6 is a block diagram illustrating a background generating unit according to an embodiment of the present invention. As shown in FIG. 6, the interpolator 121, the interpolator 122 including a plurality of interpolators, the GMM memory controller 124, and the multiplexer 123 .

분해기(decomp-osition unit)(121)는 UAV 모션에 따른 x축 및 y축 이동 변위 dx, dy를 정수 부분과 소수 부분으로 나누어 정수 부분은 GMM 메모리 제어기(124)로, 소수 부분은 보간부(122)에 제공한다.The decomposition unit 121 divides the x-axis and y-axis movement displacements dx and dy according to the UAV motion into an integer part and a decimal part and divides the integer part into the GMM memory controller 124 and the decimal part with the interpolation part 122.

GMM 메모리 제어기(124)는 GMM 파라미터 메모리(135)의 읽기/쓰기를 제어하며, 정수부분 보정과 보간부(122), 백그라운드 생성부(130)의 파라미터 입력과 출력 타이밍에 맞추어 메모리 주소값을 연산한다. The GMM memory controller 124 controls the reading / writing of the GMM parameter memory 135 and calculates the memory address value according to the parameter input and output timings of the integer part correction, interpolation part 122 and background generation part 130 do.

3개의 GMM 파라미터(w, μ, σ2)를 각각 별도의 메모리로 저장할 경우 하드웨어 비용이 상당히 커지기 때문에 이들을 하나의 메모리에 저장하여 동시에 읽고 쓰도록 한다. When the three GMM parameters (w, μ, and σ 2 ) are stored in separate memories, the hardware costs are considerably large, so they are stored in one memory and read and written simultaneously.

정수부분 보정은 앞서 설명했던 알고리즘대로 x축, y축 방향으로 각각 이동한 후 이동에 따라 발생하는 빈공간을 초기값으로 채우는데, 이러한 순차 동작의 경우 하드웨어의 타이밍 코스트가 커지기 때문에 이동시키면서 채우는 동작을 동시에 수행하는 것이 바람직하다. The integer part correction is performed in the x-axis and y-axis directions according to the algorithm described above, and the empty space generated by the movement is filled with the initial values. In this sequential operation, since the timing cost of hardware increases, Are simultaneously performed.

이동을 위해 메모리에서 출력된 값과 채우기 위한 파라미터 초기값, 보간부(122)의 출력 값이 각 연산 타이밍에 맞추어 최종적으로 출력되어 GMM 파라미터 메모리에 입력된다. GMM 메모리 제어기(124)는 카메라 모션 보상부(120)의 모든 연산이 끝나면 백그라운드 생성부(130) 제어가 시작되도록 한다.
The value output from the memory and the initial value of the parameter for filling and the output value of the interpolating unit 122 are finally output in accordance with each operation timing and input to the GMM parameter memory. The GMM memory controller 124 starts the control of the background generating unit 130 when all operations of the camera motion compensating unit 120 are completed.

도 6은 본 발명의 실시예에 따른 백그라운드 생성부(130) 구성을 보인 것으로, 도시된 바와 같이 GMM을 위한 3개의 파라미터를 처리하기 위해 가중치 연산부(131), 비교기(132), 멀티플렉서(133), 가중치 정규화부(134), 디바이더(136), 평균 연산부(137), 쉬프트 레지스터, 변화 연산부(138) 및 백그라운드 연산부(139)를 포함한다.6, a background generating unit 130 according to an exemplary embodiment of the present invention includes a weight computing unit 131, a comparator 132, a multiplexer 133, A weight normalization unit 134, a divider 136, an averaging unit 137, a shift register, a change operation unit 138, and a background operation unit 139.

특히, 처리 속도를 향상시키기 위해 병렬 구조 및 파이프라인 구조를 적용한다.Particularly, a parallel structure and a pipeline structure are applied to improve the processing speed.

도시된 비교기 출력(match)은 입력 이미지 화소와 백그라운드 모델간의 매칭 여부를 나타낸다. 본 발명의 실시예에서는 3개의 가우시안 모델을 생성하며(i=[1,2,3]), 그에 따라 각 화소에서 총 9개의 변수가 연산된다. The illustrated comparator output indicates whether the input image pixel is matched with the background model. In the embodiment of the present invention, three Gaussian models are generated (i = [1, 2, 3]) and a total of nine variables are calculated in each pixel accordingly.

가중치 연산부(131)에서 값을 갱신하는 과정과 분포에 매칭 되는지 판별하는 과정을 병렬로 진행하고, 디바이더(136)의 레이턴시(latency)를 고려하여 값을 추출하는 동안 가중치의 총 합이 1이 넘지 않도록 하기위해 가중치 정규화부(134)에서 가중치를 정규화한다.The process of updating the value in the weight computing unit 131 and the process of determining whether the distribution is matched are performed in parallel and the sum of the weights is not more than 1 while extracting the value in consideration of the latency of the divider 136 The weight normalization unit 134 normalizes the weights.

평균 연산부(137)는 수학식 3의 μ 파라미터를 연산하는 부분이고, 연산된 값과 시프트 레지스터를 통과한 값, 입력영상 화소값을 이용하여 변화 연산부에서 수학식 3의 σ2파라미터를 연산한다. The average calculation unit 137 calculates the σ 2 parameters of the equation (3) from the variation computing section, using a value, the input image pixel values through the part, and the computed value and the shift register for calculating the μ parameters of equation (3).

이와 동시에 백그라운드 연산부(139)는 정규화된 값과 연산된 값을 이용하여 백그라운드모델 값을 최종적으로 출력한다.At the same time, the background operation unit 139 finally outputs the background model value using the normalized value and the calculated value.

도 7은 본 발명의 실시예에 따른 객체 검출부 구성도로서, 도시된 바와 같이 보정된 백그라운드 모델 값과 이미지 화소 정보를 비교하여 그 차이에 대한 절대값을 출력하는 백그라운드 분리부(141)와, 백그라운드 분리부(141)의 출력값과 실험적으로 결정된 임계값을 비교하여 1또는 0을 결정하는 비교기(142)와, 비교기(142)의 출력을 저장하여 흑백 이미지를 생성하는 흑백 이미지 메모리(145)와, 흑백 이미지에서 노이즈를 줄이는 메디안 필터(146)와, 흑백 이미지에서 백색 객체 위치를 검출하는 바운더리 검출기(147) 및 백그라운드 메모리를 제어하는 백그라운드 메모리 제어기(143)를 포함한다.FIG. 7 is a block diagram of an object detecting unit according to an embodiment of the present invention. As shown in FIG. 7, a background separator 141 for comparing a corrected background model value with image pixel information and outputting an absolute value of the difference, A comparator 142 for comparing the output value of the separator 141 with an experimentally determined threshold to determine 1 or 0, a monochrome image memory 145 for storing the output of the comparator 142 to generate a monochrome image, A median filter 146 for reducing noise in a monochrome image, a boundary detector 147 for detecting a white object position in a monochrome image, and a background memory controller 143 for controlling a background memory.

백그라운드 메모리 제어기(143)는 비교기에서 출력되는 흑백 이미지를 흑백 이미지 메모리(145)의 주소에 맞추어 저장한다.The background memory controller 143 stores the monochrome image output from the comparator in accordance with the address of the monochrome image memory 145.

한편, 도시된 메디안 필터(146)의 경우 영상에 관한 것이므로 2차원 메디안 필터를 이용하는 것이 바람직하지만, 이 경우 연산량이 상당히 많기 때문에 복잡도와 지연 시간이 과도하다. 따라서, 본 발명의 실시예에서는 1차원 메디안 필터를 x축과 y축으로 2번 수행하는 것으로 연산량을 줄인다. On the other hand, in the case of the illustrated median filter 146, it is preferable to use a two-dimensional median filter because it is related to an image. However, in this case, the complexity and the delay time are excessive due to a large amount of computation. Therefore, in the embodiment of the present invention, the calculation amount is reduced by performing the one-dimensional median filter twice in the x-axis and the y-axis.

도 8은 본 발명의 실시예에 따른 객체 검출 시 2차원 메디안 필터를 이용한 경우와 1차원 메디안 필터를 x와 y축에 각각 적용한 경우를 보인 예시도로서, 도 8a와 같은 입력 이미지에 대해서 2차원 메디안 필터를 적용한 도 8b와 1차원 메디안 필터를 적용한 도 8c는 그 결과에 차이가 없음을 확인할 수 있다.8A and 8B are views illustrating the case of using a two-dimensional median filter and the case of applying a one-dimensional median filter on the x and y axes, respectively, for object detection according to an embodiment of the present invention. 8B in which the median filter is applied and FIG. 8C in which the one-dimensional median filter is applied can be confirmed that there is no difference in the results.

이렇게 구성된 이동 객체 검출부(100)는 보상된 백그라운드를 생성하는 과정과 객체를 검출하는 과정을 병렬로 처리하며, 앞서 살펴본 바와 같이 GMM 백그라운드 생성부의 내부 동작 역시 병렬 처리되므로 신속한 이동 객체 검출이 가능하게 된다.The moving object detecting unit 100 configured as described above processes the process of generating the compensated background and the process of detecting the object in parallel. As described above, since the internal operations of the GMM background generating unit are also processed in parallel, rapid moving object detection is possible .

도 9는 본 발명의 실시예에 따른 이동 객체 검출 장치의 동작 타이밍도를 보인 것이다. 도시된 바와 같이 입력 영상에 대해 x축과 y축의 정수부분 보상을 수행하는 정수 쉬프트(Integer Shift) 과정은 이미지 해상도에 해당하는 사이클이 소요된다. 본 발명의 실시예에서는 HD 해상도 영상(1280x720)을 기준으로 하므로 한 프레임 사이클은 921.6Kcycle을 의미한다(물론 다른 해상도의 경우 그에 따른 처리 사이클이 결정될 수 있다).FIG. 9 is a timing chart of the operation of the moving object detecting apparatus according to the embodiment of the present invention. As shown in the figure, the integer shift process for performing the integer partial compensation of the x and y axes on the input image takes a cycle corresponding to the image resolution. Since an HD resolution image (1280x720) is used as a reference in the embodiment of the present invention, one frame cycle means 921.6 Kcycle (of course, the processing cycle can be determined for different resolutions).

소수부분 보상의 경우 x축과 y축 각각에 대해 진행되기 때문에 2 프레임 길이에 해당하는 1.84Mcycle이 소요된다.In the case of fractional compensation, it takes 1.84Mcycles, which corresponds to 2 frames, since it is performed for each of the x and y axes.

본 발명의 실시예에서는 GMM 알고리즘에소 총 3개의 분포를 사용하기 때문에 백그라운드 생성부에서는 3 프레임 길이에 해당하는 2.76M cycles이 소요된다. 이후 객체 검출부에서 BS 알고리즘을 통해 흑백 이미지를 생성하고 x축, y축 방향으로 각각 1차원 메디안 필터를 x축과 y축에 적용한 후 백(white) 영역의 좌표를 찾는 과정에서 4.61M cycles이 소요된다. In the embodiment of the present invention, since a total of three distributions are used in the GMM algorithm, 2.76 M cycles corresponding to 3 frames in the background generating unit is required. The object detector then generates a monochrome image through the BS algorithm and applies a one-dimensional median filter to the x and y axes in the x and y axes directions and then searches for the coordinates of the white area in the x and y axes. do.

한편, 객체 검출부의 동작과정 중에 다음번 객체 검출을 위한 카메라 모션 보상과 백그라운드 생성이 병렬적으로 수행되므로, 실제 객체 검출을 위한 연산 과정은 8 프레임 길이에 해당한다.Meanwhile, since the camera motion compensation and the background generation for the next object detection are performed in parallel during the operation of the object detection unit, the calculation process for detecting the actual object corresponds to 8 frame lengths.

따라서, 하나의 프레임에 대한 연산 과정에서 약 7.37M cycles이 소요되므로 HD급 영상에 대해 230MHz 동작 주파수로 처리할 경우 30fps(frames per second)의 실시간 처리가 가능함을 알 수 있다.
Therefore, it takes about 7.37M cycles to process one frame, so that it is possible to process 30 frames per second (frames per second) of the HD-class image at 230MHz frequency.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다. The foregoing and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings. However, the present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention. .

10: 입력 프레임 버퍼부 100: 이동 객체 검출부
110: 제어부 120: 카메라 모션 보상부
130: GMM 기반 백그라운드 생성부 140: 객체 검출부 10: input frame buffer unit 100: moving object detecting unit
110: control unit 120: camera motion compensation unit
130: GMM-based background generating unit 140:

Claims (32)

GMM (Gaussiann mixture model) 기반 BS (background subtraction)알고리즘을 이용하여 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치로서,
무인 비행체로부터 제공되는 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상부와;
GMM 백그라운드 모델을 생성하고 상기 카메라 모션 보상부를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 갱신하는 GMM 기반 백그라운드 생성부와;
GMM 기반 백그라운드 생성부에서 생성된 백그라운드 모델과 입력 영상 이미지 데이터를 이용하여 이동 객체를 검출하는 객체 검출부를 포함하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
A moving object detection apparatus for avoiding collision of a manned vehicle using a Gaussian mixture model (BSM) based background subtraction (BSM) algorithm,
A camera motion compensation unit for receiving the movement distance values of the mobile camera in the x and y axis directions provided from the unmanned aerial vehicle and dividing the parameter data of the GMM background model by integers and decimals;
A GMM-based background generator for generating a GMM background model and updating the GMM background model using the compensated parameter data through the camera motion compensator;
And an object detecting unit for detecting a moving object using the background model and the input image data generated by the GMM-based background generating unit.
청구항 1에 있어서, 상기 카메라 모션 보상부에서 보상하는 GMM 백그라운드 모델 파라미터는 GMM 백그라운드 모델의 가중치, 평균, 표준편차 중 적어도 하나 이상인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The apparatus of claim 1, wherein the GMM background model parameter compensated by the camera motion compensator is at least one of weight, average, and standard deviation of the GMM background model.
청구항 1에 있어서, GMM 백그라운드 모델은 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 다음의 수학식과 같고,
Figure 112016066006997-pat00018

여기서, wi,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
2. The method according to claim 1, wherein the GMM background model generates a background model by modeling the pixel brightness of the input image with k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is Lt; / RTI >
Figure 112016066006997-pat00018

Wherein the w i, t , μ i, t , and σ i, t are weight, average, and standard deviation of the model at time t and model i, respectively.
청구항 1에 있어서, 상기 카메라 모션 보상부는 이동 카메라의 x축 및 y축 방향의 이동거리 값에 해당하는 무인 이동체의 모션 정보를 무인 이동체에 장착된 IMU (inertial measurement unit) 센서나 OFC (optical flow camera)로부터 제공받는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 1, wherein the camera motion compensation unit comprises motion information of an unmanned moving object corresponding to a moving distance value of the moving camera in the x-axis and y-axis directions, an inertial measurement unit (IMU) Wherein the moving object detecting unit is provided from the moving object detecting unit.
청구항 1에 있어서, 상기 카메라 모션 보상부는 이동 카메라의 x축 및 y축 방향의 이동거리 값 dx, dy를 정수부분과 소수부분으로 나누어 각각 보정을 진행하되, 정수부분 Idx, Idy 는 dx, dy를 올림한 값을 의미하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 1, wherein the camera motion compensating unit divides the moving distance values dx and dy of the moving camera in the x and y axis directions into an integer part and a decimal part, respectively, wherein the integer parts I dx and I dy are dx, and dy is a value obtained by multiplying dy.
청구항 5에 있어서, 상기 카메라 모션 보상부는 소수 부분 fdx, fdy를,
Figure 112016066006997-pat00019

와 같이 연산하여 구하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The method according to claim 5, wherein the camera motion compensation unit fractional part f dx, dy f,
Figure 112016066006997-pat00019

Wherein the moving object detecting unit detects the moving object by using the moving object detecting unit.
청구항 3에 있어서, 상기 카메라 모션 보상부는 이전 입력영상으로부터 생성된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 정수 부분만큼 각각 이동시키는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 3, wherein the camera motion compensation unit compensates the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, t-1 generated from the previous input image by an integer part in the x- Wherein the moving object detecting unit moves the moving object detecting unit to the moving object detecting unit.
청구항 7에 있어서, 상기 카메라 모션 보상부는 정수 부분 이동에 따라 발생하는 빈공간을 wi,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채우는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 7, wherein the camera motion compensator calculates an initial value w 0 , σ 2 0 for w i, t-1 , σ 2 i, t-1 , -1 is filled with the input pixel X t of the same position.
청구항 7에 있어서, 상기 카메라 모션 보상부는 정수 부분이 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 각각 보간하여 소수 부분 보정을 수행하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 7, wherein the camera motion compensation unit interpolates the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, And the partial correction is performed on the moving object.
청구항 1에 있어서, 상기 객체 검출부는
보정된 백그라운드 모델 값과 이미지 화소 정보를 비교하여 그 차이에 대한 절대값을 출력하는 백그라운드 분리부와;
상기 백그라운드 분리부의 출력값과 실험적으로 결정된 임계값을 비교하여 1또는 0을 결정하는 비교기와;
상기 비교기의 출력을 저장하여 흑백 이미지를 생성하는 흑백 이미지 메모리와;
흑백 이미지에서 노이즈를 줄이는 메디안 필터와;
흑백 이미지에서 백색 객체 위치를 검출하는 바운더리 검출기를 포함하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The apparatus of claim 1, wherein the object detection unit
A background separator for comparing the corrected background model value and the image pixel information and outputting an absolute value of the difference;
A comparator for comparing the output value of the background separator with an experimentally determined threshold to determine 1 or 0;
A monochrome image memory for storing the output of the comparator to generate a monochrome image;
A median filter for reducing noise in a monochrome image;
And a boundary detector for detecting a white object position in a monochrome image.
청구항 10에 있어서, 상기 메디안 필터는 x축과 y축 각각에 적용되는 1차원 메디안 필터인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
11. The apparatus of claim 10, wherein the median filter is a one-dimensional median filter applied to the x-axis and the y-axis, respectively.
GMM 기반 BS 알고리즘을 이용하여 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치로서,
무인 이동체에 장착된 IMU(inertial measurement unit) 센서나 OFC(optical flow camera)로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상부와;
GMM 백그라운드 모델을 생성하고 상기 카메라 모션 보상부를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 갱신하는 GMM 기반 백그라운드 생성부와;
GMM 기반 백그라운드 생성부에서 생성된 백그라운드 모델과 입력 영상 이미지 데이터를 이용하여 이동 객체를 검출하는 객체 검출부를 포함하되,
카메라 모션 보상부는 입력 받은 이동 카메라의 이동거리 값 dx, dy를 정수부분과 소수부분으로 나누어 각각 보정을 진행하며, 정수부분 Idx, Idy 는 dx, dy를 올림한 값이고, 소수 부분 fdx, fdy를 각각 Idx-dx, Idy-dy로 구하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
A moving object detection apparatus for avoiding collision of an unmanned aerial vehicle using a GMM-based BS algorithm,
The moving distance values of the mobile camera in the x-axis and y-axis directions are input from an inertial measurement unit (IMU) sensor or an optical flow camera (OFC) mounted on an unmanned vehicle and divided into parameter data of GMM background model A camera motion compensating unit;
A GMM-based background generator for generating a GMM background model and updating the GMM background model using the compensated parameter data through the camera motion compensator;
And an object detecting unit for detecting a moving object using the background model and the input image image data generated by the GMM-based background generating unit,
The camera motion compensation unit divides the moving distance values dx and dy of the input moving camera into integer parts and decimal parts, respectively. The integer parts I dx and I dy are values obtained by increasing dx and dy, and the fractional part f dx , and f dy are obtained as I dx -dx and I dy -dy, respectively.
청구항 12에 있어서, GMM 백그라운드 모델은 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 다음의 수학식과 같고,
Figure 112016066006997-pat00020

여기서, wi,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
13. The method of claim 12, wherein the GMM background model generates a background model by modeling the pixel brightness of the input image with k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is Lt; / RTI >
Figure 112016066006997-pat00020

Wherein the w i, t , μ i, t , and σ i, t are weight, average, and standard deviation of the model at time t and model i, respectively.
청구항 13에 있어서, 상기 카메라 모션 보상부에서 보상하는 GMM 백그라운드 모델 파라미터는 w, μ, σ2 인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
14. The apparatus of claim 13, wherein GMM background model parameters compensated by the camera motion compensator are w, mu, and sigma 2 .
청구항 14에 있어서, 상기 카메라 모션 보상부는 이전 입력영상으로부터 생성된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 정수 부분만큼 각각 이동시키는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 14, wherein the camera motion compensation unit compensates the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, t-1 generated from the previous input image by integer Wherein the moving object detecting unit moves the moving object detecting unit to the moving object detecting unit.
청구항 15에 있어서, 상기 카메라 모션 보상부는 정수 부분 이동에 따라 발생하는 빈공간을 wi,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채우는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 15, wherein the camera motion compensating unit calculates an initial value w 0 , σ 2 0 for w i, t-1 , σ 2 i, t-1 , -1 is filled with the input pixel X t of the same position.
청구항 15에 있어서, 상기 카메라 모션 보상부는 정수 부분이 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 각각 보간하여 소수 부분 보정을 수행하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 15, wherein the camera motion compensation unit interpolates the GMM parameters w i, t-1 , μ i, t-1 , and σ 2 i, And the partial correction is performed on the moving object.
청구항 17에 있어서, 상기 카메라 모션 보상부는 소수 부분 보정을 위해 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,
Figure 112016066006997-pat00021

을 통해 fdx항으로 보정하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The camera motion compensation unit according to claim 17, wherein the camera motion compensation unit compensates the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i ,
Figure 112016066006997-pat00021

Wherein the correction is performed to the f dx terms through the non-moving object detection unit.
청구항 18에 있어서, 상기 카메라 모션 보상부는 fdx항으로 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,
Figure 112016066006997-pat00022

을 통해 fdy항으로 보정하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치.
The method according to claim 18, wherein the camera motion compensation unit, wherein the GMM parameters dx f w i, t-1, μ i, of the following t-1, σ 2 i, t-1 Equation corrected,
Figure 112016066006997-pat00022

Wherein the correction is performed in terms of f dy through the use of the moving object detection device.
무인 비행체로부터 제공되는 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받는 단계와;
수집된 이동거리 값을 이용하여 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상단계와;
카메라 모션 보상단계를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 생성하고, 입력 영상과 보상된 백그라운드 모델 간의 절대값 차이를 생성하는 백그라운드 분리 단계와;
백그라운드 분리 단계를 통해 얻어진 입력 영상과 백그라운드 모델 간의 절대값을 임계값과 비교하여 흑백 이미지를 생성하고 그로부터 이동 객체를 검출하는 객체 검출 단계를 포함하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
Receiving movement distance values of the mobile camera provided from the unmanned aerial vehicle in the x and y axis directions;
A camera motion compensating step of compensating the parameter data of the GMM background model by dividing the parameter data by integers and decimals using the collected movement distance values;
A background separation step of generating a GMM background model using the compensated parameter data through the camera motion compensation step and generating an absolute value difference between the input image and the compensated background model;
And an object detecting step of comparing the absolute value between the input image and the background model obtained through the background separating step with a threshold value to generate a monochrome image and detecting a moving object therefrom.
청구항 20에 있어서,
이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받는 단계는 무인 이동체에 장착된 IMU(inertial measurement unit) 센서나 OFC(optical flow camera)로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값을 입력 받는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The method of claim 20,
The step of receiving the movement distance values of the mobile camera in the x-axis and y-axis directions includes moving the moving camera in the x-axis and y-axis directions from an IMU (inertial measurement unit) sensor or an OFC (optical flow camera) Wherein the step of detecting the moving object comprises the steps of:
청구항 20에 있어서,
상기 카메라 모션 보상 단계는
수신된 UAV 이동 방향에 대한 거리값을 정수 부분과 소수 부분을 분해하는 단계와;
분해된 정수 부분으로 백그라운드 모델의 파라미터들을 일정 부분 이동시키는 보정과 이러한 보정에 따라 발생되는 빈공간을 채우는 정수부 보정 단계와;
정수부를 통해 보정된 백그라운드 모델의 파라미터에 대해 이동 방향들 각각에 대해 보간을 진행하는 소수부 보정 단계를 포함하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The method of claim 20,
The camera motion compensation step
Decomposing the integer value and the fractional part of the distance value for the received UAV moving direction;
A correction step of moving the parameters of the background model by a predetermined part with the decomposed integer part and an integer part correction step of filling the empty space generated according to the correction;
And a fractional part correction step of interpolating each of the movement directions with respect to the parameters of the background model corrected through the integer part.
청구항 20에 있어서,
상기 객체 검출 단계는,
백그라운드 분리 과정을 통해 얻어진 절대값과 임계값을 비교하여 흑과 백의 2진 이미지를 생성하는 차이 필터 동작 단계와;
얻어진 흑백 이미지의 x와 y축방향 각각에 대한 메디안 필터 동작 단계와;
객체 영역의 좌표를 찾는 바운더리 검출 단계를 포함 하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The method of claim 20,
Wherein the object detecting step comprises:
A difference filter operation step of generating a binary image of black and white by comparing the absolute value and the threshold value obtained through the background separation process;
A median filter operation step for each of the x and y axis directions of the obtained monochrome image;
And detecting a boundary of the object region based on the detected boundary of the moving object.
청구항 23에 있어서,
상기 메디안 필터 동작 단계는 x축과 y축 각각에 적용되는 1차원 메디안 필터를 통해 수행되는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
24. The method of claim 23,
Wherein the median filter operation step is performed through a one-dimensional median filter applied to the x-axis and the y-axis, respectively.
무인 이동체에 장착된 IMU(inertial measurement unit) 센서나 OFC(optical flow camera)로부터 이동 카메라의 x축 및 y축 방향의 이동거리 값 dx, dy을 입력 받아 GMM 백그라운드 모델의 파라미터 데이터를 정수와 소수로 구분하여 보상하는 카메라 모션 보상단계와;
카메라 모션 보상단계를 통해 보상된 파라미터 데이터를 이용하여 GMM 백그라운드 모델을 생성하고, 입력 영상과 보상된 백그라운드 모델 간의 절대값 차이를 생성하는 백그라운드 분리 단계와;
백그라운드 분리 단계를 통해 얻어진 입력 영상과 백그라운드 모델 간의 절대값을 임계값과 비교하여 흑백 이미지를 생성하고 그로부터 이동 객체를 검출하는 객체 검출 단계를 포함하되,
카메라 모션 보상 단계는 정수부분 Idx, Idy 를 dx, dy를 올림하여 구하고, 소수 부분 fdx, fdy를 각각 Idx-dx, Idy-dy로 구하여 보정을 수행하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The moving distance values dx and dy of the moving camera in the x and y axis directions are input from an inertial measurement unit (IMU) sensor or an optical flow camera (IMU) mounted on an unmanned vehicle. A camera motion compensating step of compensating the camera motion separately;
A background separation step of generating a GMM background model using the compensated parameter data through the camera motion compensation step and generating an absolute value difference between the input image and the compensated background model;
And an object detecting step of generating a monochrome image by comparing an absolute value between the input image and the background model obtained through the background separating step with a threshold value and detecting a moving object therefrom,
Wherein the camera motion compensating step performs correction by obtaining integer parts I dx and I dy by raising dx and dy and finding the fractional parts f dx and f dy as I dx -dx and I dy -dy, respectively, Moving Object Detection Method for Avoidance of Aviation Collision.
청구항 25에 있어서, GMM 백그라운드 모델은 입력 영상의 화소 밝기를 k개의 가우시안 모델로 모델링하여 백그라운드모델을 생성하며, 임의의 시간 t에 입력된 화소 Xt가 백그라운드일 확률 P(Xt)는 다음의 수학식과 같고,
Figure 112016066006997-pat00023

여기서, wi,t, μi,t, σi,t는 시간 t와 모델 i에서 각각 모델의 가중치, 평균, 표준편차인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
26. The method of claim 25, wherein the GMM background model generates a background model by modeling the pixel brightness of the input image with k Gaussian models, and the probability P (X t ) that the pixel X t input at an arbitrary time t is background is Lt; / RTI >
Figure 112016066006997-pat00023

Wherein the w i, t , μ i, t , and σ i, t are the weight, average, and standard deviation of the model at time t and model i, respectively.
청구항 26에 있어서, 상기 카메라 모션 보상 단계에서 보상하는 GMM 백그라운드 모델 파라미터는 w, μ, σ2 인 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The method of claim 26, wherein the GMM background model parameters compensated in the camera motion compensation step are w, μ, and σ 2 .
청구항 27에 있어서, 상기 카메라 모션 보상 단계는 이전 입력영상으로부터 생성된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 정수 부분만큼 각각 이동하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The camera motion compensating method according to claim 27, wherein the camera motion compensating step comprises: compensating the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i, Wherein the moving object is moved by a predetermined distance.
청구항 28에 있어서, 상기 카메라 모션 보상 단계는 정수 부분 이동에 따라 발생하는 빈공간을 wi,t-1, σ2 i,t-1의 경우 초기 값 w0, σ2 0으로, μi,t-1의 경우 같은 위치의 입력 화소 Xt로 채우는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
The method according to claim 28, wherein the camera motion compensation step is an empty space generated in accordance with the movement integer part as w i, t-1, σ 2 i, the initial value of w 0, σ 2 0 In the case of t-1, μ i, t-1 is filled with the input pixel X t of the same position.
청구항 28에 있어서, 상기 카메라 모션 보상 단계는 정수 부분이 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 x축, y축 방향으로 각각 보간하여 소수 부분 보정을 수행하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
29. The method of claim 28, wherein the camera motion compensation step interpolates the GMM parameters w i, t-1 , μ i, t-1 , and σ 2 i, And performing fractional part correction on the moving object.
청구항 30에 있어서, 상기 카메라 모션 보상 단계는 소수 부분 보정을 위해 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,
Figure 112016066006997-pat00024

을 통해 fdx항으로 보정하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.
28. The method of claim 30, wherein the camera motion compensation step comprises the steps of: correcting the GMM parameters w i, t-1 , μ i, t-1 , σ 2 i ,
Figure 112016066006997-pat00024

Wherein the moving object is corrected to the f dx terms through the non-moving object.
청구항 31에 있어서, 상기 카메라 모션 보상 단계는 fdx항으로 보정된 GMM 파라미터 wi,t-1, μi,t-1, σ2 i,t-1를 다음의 수학식,
Figure 112016066006997-pat00025

을 통해 fdy항으로 보정하는 것을 특징으로 하는 무인 비행체 충돌 회피를 위한 이동 객체 검출 방법.The method according to claim 31, wherein the camera motion compensation steps, the GMM parameters w i, t-1, μ i, t-1, σ 2 i, t-1 to the correction f dx wherein the following equation,
Figure 112016066006997-pat00025

Wherein the moving object is corrected in terms of f dy .
KR1020160086390A 2016-07-07 2016-07-07 Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof KR101806453B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160086390A KR101806453B1 (en) 2016-07-07 2016-07-07 Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160086390A KR101806453B1 (en) 2016-07-07 2016-07-07 Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof

Publications (1)

Publication Number Publication Date
KR101806453B1 true KR101806453B1 (en) 2017-12-07

Family

ID=60920571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160086390A KR101806453B1 (en) 2016-07-07 2016-07-07 Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof

Country Status (1)

Country Link
KR (1) KR101806453B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078828A (en) * 2017-12-27 2019-07-05 해성옵틱스(주) Apparatus for controlling flight of unmanned aerial vehicle and method thereof
KR102077219B1 (en) * 2018-11-01 2020-02-13 재단법인대구경북과학기술원 Routing method and system for self-driving vehicle using tree trunk detection
WO2020078139A1 (en) * 2018-10-16 2020-04-23 北京理工大学 Control method and system employing vertical take-off of flying and driving vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950420B1 (en) 2009-05-28 2010-03-30 한국항공우주산업 주식회사 Uav collision avoidance system
KR101539270B1 (en) 2015-02-27 2015-07-24 군산대학교산학협력단 sensor fusion based hybrid reactive motion planning method for collision avoidance and autonomous navigation, recording medium and mobile robot for performing the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950420B1 (en) 2009-05-28 2010-03-30 한국항공우주산업 주식회사 Uav collision avoidance system
KR101539270B1 (en) 2015-02-27 2015-07-24 군산대학교산학협력단 sensor fusion based hybrid reactive motion planning method for collision avoidance and autonomous navigation, recording medium and mobile robot for performing the method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078828A (en) * 2017-12-27 2019-07-05 해성옵틱스(주) Apparatus for controlling flight of unmanned aerial vehicle and method thereof
KR102354229B1 (en) * 2017-12-27 2022-01-21 해성옵틱스(주) Apparatus for controlling flight of unmanned aerial vehicle and method thereof
WO2020078139A1 (en) * 2018-10-16 2020-04-23 北京理工大学 Control method and system employing vertical take-off of flying and driving vehicle
KR102077219B1 (en) * 2018-11-01 2020-02-13 재단법인대구경북과학기술원 Routing method and system for self-driving vehicle using tree trunk detection

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
CN110163904B (en) Object labeling method, movement control method, device, equipment and storage medium
CN113286194A (en) Video processing method and device, electronic equipment and readable storage medium
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US11138742B2 (en) Event-based feature tracking
JP7151488B2 (en) Moving object detection device, moving object detection method and program
EP2901236B1 (en) Video-assisted target location
KR20180056685A (en) System and method for non-obstacle area detection
US9971418B2 (en) Tracker for cursor navigation
JP7272024B2 (en) Object tracking device, monitoring system and object tracking method
WO2020058560A1 (en) Object tracking
US10019801B2 (en) Image analysis system and method
US20180005039A1 (en) Method and apparatus for generating an initial superpixel label map for an image
KR101806453B1 (en) Moving object detecting apparatus for unmanned aerial vehicle collision avoidance and method thereof
KR20210099450A (en) Far away small drone detection method Using Deep Learning
US20210248757A1 (en) Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product
JP6116765B1 (en) Object detection apparatus and object detection method
CN110992393B (en) Target motion tracking method based on vision
CN116740126A (en) Target tracking method, high-speed camera, and storage medium
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
US10708600B2 (en) Region of interest determination in video
CN110009683B (en) Real-time on-plane object detection method based on MaskRCNN
KR101593950B1 (en) Apparatus for hand gesture based interface and pointing method using the same
KR101438451B1 (en) Method of providing fast detection of moving objects from non-stationary camera video by dual-mode SGM, and computer-readable recording medium for the same
CN115222771B (en) Target tracking method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant