KR101521531B1 - Method for controlling surveillance camera - Google Patents

Method for controlling surveillance camera Download PDF

Info

Publication number
KR101521531B1
KR101521531B1 KR1020120076937A KR20120076937A KR101521531B1 KR 101521531 B1 KR101521531 B1 KR 101521531B1 KR 1020120076937 A KR1020120076937 A KR 1020120076937A KR 20120076937 A KR20120076937 A KR 20120076937A KR 101521531 B1 KR101521531 B1 KR 101521531B1
Authority
KR
South Korea
Prior art keywords
image
input image
data
input
surveillance camera
Prior art date
Application number
KR1020120076937A
Other languages
Korean (ko)
Other versions
KR20140009888A (en
Inventor
전범용
김지성
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120076937A priority Critical patent/KR101521531B1/en
Publication of KR20140009888A publication Critical patent/KR20140009888A/en
Application granted granted Critical
Publication of KR101521531B1 publication Critical patent/KR101521531B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

감시 카메라의 제어 방법이 개시된다. 본 발명의 실시예에 따른 방법은 틸팅 수행 단계, 뒤집힘 판정 단계, 및 뒤집힘 보정 단계를 포함한다. 틸팅 수행 단계에서는, 제어 장치는, 사용자의 틸팅 명령을 수행하되, 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 감시 카메라로부터의 입력 영상을 수신한다. 뒤집힘 판정 단계에서는, 제어 장치는 틸팅 수행 단계에서 수신된 입력 영상의 뒤집힘을 판정한다. 뒤집힘 보정 단계에서는, 제어 장치는, 뒤집힘 판정 단계에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시킨다.A control method of a surveillance camera is disclosed. A method according to an embodiment of the present invention includes a tilting performing step, an inversion determining step, and an inverse correction correcting step. In the tilting step, the controller receives the input image from the surveillance camera while performing the tilting command of the user, while controlling the angle of up / down rotation of the surveillance camera to 360 o . In the overtight determination step, the control device determines the inversion of the input image received in the tilting execution step. Flipping the correction step, the control device, thereby rotating the input image 180 by o when it is determined that the input image is overturned in flipping the determination step.

Description

감시 카메라의 제어 방법{Method for controlling surveillance camera}{Method for controlling surveillance camera}

본 발명은, 감시 카메라의 제어 방법에 관한 것으로서, 보다 상세하게는, 상하로 회전하는 틸팅을 수행하는 감시 카메라의 제어 방법에 관한 것이다.The present invention relates to a control method of a surveillance camera, and more particularly, to a surveillance camera control method for performing up and down tilting.

일반적인 감시 시스템에 있어서, 감시 카메라는, 좌우로 회전하는 패닝(panning)과 함께 상하로 회전하는 틸팅(tilting)을 수행한다. 또한, 감시 카메라는 이동하는 표적을 추적하면서 촬영할 수 있다. In a general surveillance system, the surveillance camera performs tilting that rotates up and down with panning rotating left and right. In addition, surveillance cameras can capture moving targets while tracking them.

이와 같은 감시 카메라의 틸팅에 있어서, 통상적인 감시 카메라는 상하 회전 가능 각도가 제한되도록 설계되어, 제어 장치에 의하여 제어된다.In such a tilting of the surveillance camera, a typical surveillance camera is designed to be limited in the up-and-down rotation angle, and is controlled by the control device.

이에 따라, 이동하는 표적 예를 들어, 항공기나 차량의 이동을 추적하는 동안에 상하 회전 가능 각도의 제한으로 인한 촬영 사각 지역이 발생되는 경우가 있다. 즉, 이동하는 표적에 대한 지속적인 추적 촬영이 어려운 경우가 발생될 수 있다.Accordingly, there may be a case where a photographing rectangular area is generated due to the limitation of the angle of upward and downward rotation while tracking the movement of an aircraft or a vehicle, for example, as a moving target. In other words, continuous tracking of the moving target may be difficult.

일본 공개특허공보 제2004-056239호 (출원인 : KOWA(주), 발명의 명칭 : 감시 카메라 장치)Japanese Patent Application Laid-Open No. 2004-056239 (filed by KOWA Co., Ltd., name of invention: surveillance camera device)

본 발명의 실시예는, 감시 카메라의 제어 방법에 있어서, 이동하는 표적에 대한 지속적인 추적 촬영이 가능하게 해주는 방법을 제공하고자 한다.An embodiment of the present invention seeks to provide a method of controlling surveillance cameras that enables continuous tracking of moving targets.

본 발명의 일 측면에 따르면, 상하로 회전하는 틸팅을 수행하는 감시 카메라의 제어 방법에 있어서, 틸팅 수행 단계, 뒤집힘 판정 단계, 및 뒤집힘 보정 단계를 포함한다.According to an aspect of the present invention, there is provided a control method of a surveillance camera that performs up and down tilting, including a tilting step, an overtight determination step, and an inversion correction step.

상기 틸팅 수행 단계에서는, 제어 장치는, 사용자의 틸팅 명령을 수행하되, 상기 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 상기 감시 카메라로부터의 입력 영상을 수신한다.In the tilting step, the controller receives the input image from the surveillance camera while controlling the angle of up / down rotation of the surveillance camera to 360 o , while executing a tilting command of the user.

상기 뒤집힘 판정 단계에서는, 상기 제어 장치는, 상기 틸팅 수행 단계에서 수신된 입력 영상의 뒤집힘을 판정한다.In the overtaking determination step, the control device determines an inversion of the input image received in the tilting-performing step.

상기 뒤집힘 보정 단계에서는, 상기 제어 장치는, 상기 뒤집힘 판정 단계에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시킨다.In the inversing correction step, the control device rotates the input image at 180 o when it is determined that the input image has been inverted in the inversion determining step.

바람직하게는, 상기 뒤집힘 판정 단계는 설정 단계 및 판정 단계를 포함한다.Preferably, the overturning determination step includes a setting step and a determination step.

상기 설정 단계에서는, 상기 제어 장치는, 진입 물체의 영상이 검출된 시점에서의 입력 영상을 기준 영상으로서 설정한다.In the setting step, the control device sets, as a reference image, an input image at a time point when an image of an incoming object is detected.

상기 판정 단계에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상을 비교함에 의하여, 입력 영상의 뒤집힘을 판정한다.In the determination step, the control device determines the inversion of the input image by comparing the input image and the reference image.

바람직하게는, 상기 판정 단계는 단계들 (S101) 내지 (S110)을 포함한다.Preferably, the determining step includes steps S101 to S110.

상기 단계 (S101)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 제1 고속 푸리에 변환(FFT : Fast Fourier Transform)의 결과 데이터를 얻는다.In the step S101, the control device obtains first fast Fourier transform (FFT) result data for each of the input image and the reference image.

상기 단계 (S102)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 제1 고속 푸리에 변환(FFT)의 결과 데이터로부터 복소수의 크기 데이터를 구한다.In the step (S102), the control device obtains complex number magnitude data from the resultant data of the first fast Fourier transform (FFT) for each of the input image and the reference image.

상기 단계 (S103)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 복소수의 크기 데이터로부터 로그(log) 극 좌표계의 데이터를 구한다.In the step S103, the control device obtains data of the log polar coordinate system from the magnitude data of the complex number for each of the input image and the reference image.

상기 단계 (S104)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 로그(log) 극 좌표계의 데이터로부터 제2 고속 푸리에 변환(FFT)의 결과 데이터를 얻는다.In step S104, the control device obtains the resultant data of the second fast Fourier transform (FFT) from the data of the log polar coordinate system for each of the input image and the reference image.

상기 단계 (S105)에서는, 상기 제어 장치는, 입력 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터 및 상기 기준 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터로부터 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터를 구한다.In step S105, the control apparatus calculates an intersection power spectrum (CPS) from the result data of the second fast Fourier transform (FFT) of the input image and the result data of the second fast Fourier transform (FFT) Power Spectrum) data.

상기 단계 (S106)에서는, 상기 제어 장치는, 상기 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터로부터 고속 푸리에 역변환(FFT-1)의 결과 데이터를 구한다.In step S106, the control device obtains the result data of the FFT inverse fast Fourier transform (FFT- 1 ) from the data of the cross power spectrum (CPS).

상기 단계 (S107)에서는, 상기 제어 장치는, 상기 고속 푸리에 역변환(FFT-1)의 결과 데이터에서, 상기 기준 영상에 대한 입력 영상의 회전 각도를 구한다.In step S107, the control device obtains the rotation angle of the input image with respect to the reference image in the resultant data of the fast Fourier transform (FFT- 1 ).

상기 단계 (S108)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적은지의 여부를 판단한다.In the step (S108), the control unit is configured to determine whether or not the rotational angle of the input image for the reference image is less than 180 o.

상기 단계 (S109)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정한다.In the step (S109), the control unit determines the rotational angle of the input image for the reference image is less than 180 o, did the input image turned upside down.

상기 단계 (S110)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정한다.In the step (S110), the control device, when the rotational angle of the input image on the reference video 180 o or more, it is determined that the input image is overturned.

또한, 바람직하게는, 상기 판정 단계는 단계들 (S201) 내지 (S212)를 포함한다.Also, preferably, the determining step includes steps S201 to S212.

상기 단계 (S201)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 제1 고속 푸리에 변환(FFT : Fast Fourier Transform)의 결과 데이터를 얻는다.In step S201, the control device obtains the first fast Fourier transform (FFT) result data for each of the input image and the reference image.

상기 단계 (S202)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 제1 고속 푸리에 변환(FFT)의 결과 데이터로부터 복소수의 크기 데이터를 구한다.In the step S202, the control device obtains the magnitude data of the complex number from the resultant data of the first fast Fourier transform (FFT) for each of the input image and the reference image.

상기 단계 (S203)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 복소수의 크기 데이터 중에서 저주파 데이터가 중심부에 위치하고 고주파 데이터가 주변부에 위치하도록, 상기 복소수의 크기 데이터를 재배치한다.In the step S203, the controller rearranges the complex number size data so that low frequency data is located in the center portion and high frequency data is located in the periphery of the complex number size data, for each of the input image and the reference image .

상기 단계 (S204)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 재배치된 복소수의 크기 데이터에서 고주파수의 노이즈(noise) 데이터를 제거한다.In step S204, the control device removes noise data of high frequency from the size data of the rearranged complex number for each of the input image and the reference image.

상기 단계 (S205)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 고주파수의 노이즈(noise) 데이터가 제거된 복소수의 크기 데이터로부터 로그(log) 극 좌표계의 데이터를 구한다.In step S205, the control device obtains data of the log polar coordinate system from the magnitude data of the complex number from which the noise data of the high frequency is removed, for each of the input image and the reference image.

상기 단계 (S206)에서는, 상기 제어 장치는, 입력 영상과 상기 기준 영상 각각에 대하여, 상기 로그(log) 극 좌표계의 데이터로부터 제2 고속 푸리에 변환(FFT)의 결과 데이터를 얻는다.In the step S206, the control device obtains the result data of the second fast Fourier transform (FFT) from the data of the log polar coordinate system for each of the input image and the reference image.

상기 단계 (S207)에서는, 상기 제어 장치는, 입력 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터 및 상기 기준 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터로부터 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터를 구한다.In step S207, the controller calculates a cross power spectrum (CPS) from the result data of the second fast Fourier transform (FFT) of the input image and the result data of the second fast Fourier transform (FFT) Power Spectrum) data.

상기 단계 (S208)에서는, 상기 제어 장치는, 상기 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터로부터 고속 푸리에 역변환(FFT-1)의 결과 데이터를 구한다.In step S208, the controller obtains the result data of the fast Fourier transform (FFT- 1 ) from the data of the cross power spectrum (CPS).

상기 단계 (S209)에서는, 상기 제어 장치는, 상기 고속 푸리에 역변환(FFT-1)의 결과 데이터에서, 상기 기준 영상에 대한 입력 영상의 회전 각도를 구한다.In the step S209, the controller obtains the rotation angle of the input image with respect to the reference image in the resultant data of the FFT - inverse fast Fourier transform (FFT- 1 ).

상기 단계 (S210)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적은지의 여부를 판단한다.In the step (S210), the control unit is configured to determine whether or not the rotational angle of the input image for the reference image is less than 180 o.

상기 단계 (S211)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정한다.In the step (S211), the control unit determines the rotational angle of the input image for the reference image is less than 180 o, did the input image turned upside down.

상기 단계 (S212)에서는, 상기 제어 장치는, 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정한다.In the step (S212), the control device, when the rotational angle of the input image on the reference video 180 o or more, it is determined that the input image is overturned.

한편, 바람직하게는, 상기 뒤집힘 판정 단계는 파노라마 영상 생성 단계 및 판정 단계를 포함한다.On the other hand, preferably, the inversion determination step includes a panorama image generation step and a determination step.

상기 파노라마 영상 생성 단계에서는, 상기 제어 장치는, 상기 감시 카메라의 상하 회전 각도를 0o부터 360o까지 회전시키면서 기준 배경 파노라마 영상을 생성하되, 움직이는 물체의 영상을 제거한다.In the panorama image generation step, the control device generates a reference background panorama image while rotating the up / down rotation angle of the surveillance camera from 0 o to 360 o , and removes the image of the moving object.

상기 판정 단계에서는, 상기 제어 장치는, 진입 물체의 영상이 검출되었으면, 입력 영상과 상기 기준 배경 파노라마 영상을 비교함에 의하여 입력 영상의 뒤집힘을 판정한다.In the determination step, when an image of an incoming object is detected, the control device determines an inversion of the input image by comparing the input image with the reference background panorama image.

바람직하게는, 상기 판정 단계는 단계들 (S31) 내지 (S37)을 포함한다.Preferably, the determining step includes steps S31 to S37.

상기 단계 (S31)에서는, 상기 제어 장치는, 상기 기준 배경 파노라마 영상의 각 단위 영상에서 기준 특징 화소를 추출한다.In the step S31, the control device extracts reference feature pixels from each unit image of the reference background panoramic image.

상기 단계 (S32)에서는, 상기 제어 장치는, 진입 물체의 영상이 검출된 시점으로부터의 입력 영상에서 상기 진입 물체의 영상을 제거하여, 입력 배경 영상을 생성한다.In the step S32, the control device removes the image of the incoming object from the input image from the time when the image of the incoming object is detected, and generates the input background image.

상기 단계 (S33)에서는, 상기 제어 장치는 생성된 입력 배경 영상에서 특징 화소를 추출한다.In step S33, the controller extracts the feature pixel from the generated input background image.

상기 단계 (S34)에서는, 상기 제어 장치는, 입력 배경 영상에서 추출된 특징 화소가 상기 기준 특징 화소들 중에서 어느 화소와 정합(matching)되는지를 판단하여, 정합된 기준 특징 화소를 포함하는 단위 영상을 찾는다.In step S34, the control device determines whether the feature pixel extracted from the input background image is matched with which of the reference feature pixels, and outputs a unit image including the matched reference feature pixel Find.

상기 단계 (S35)에서는, 상기 제어 장치는, 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o보다 적은지의 여부를 판단한다.In the step (S35), the control device determines whether or not the rotational angle of the unit that includes a matched reference video feature pixel is less than 180 o.

상기 단계 (S36)에서는, 상기 제어 장치는, 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정한다.In the step S36, if the rotation angle of the unit image including the matched reference feature pixel is less than 180 o , the control device determines that the input image is not inverted.

상기 단계 (S37)에서는, 상기 제어 장치는, 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정한다.In the step (S37), the control device, if the rotation angle of the image unit comprising a matching reference feature pixel is more than 180 o, it is determined that the input image overturned.

바람직하게는, 상기 단계 (S34)는 단계들 (S341) 및 (S342)를 포함한다.Preferably, the step S34 includes the steps S341 and S342.

상기 단계 (S341)에서는, 상기 제어 장치는, 입력 배경 영상에서 추출된 특징 화소를 중심으로 하는 입력 특징 영역에 대하여, 상기 기준 특징 화소들 각각을 중심으로 하는 기준 특징 영역들 중에서 정규 상호 정보의 값이 가장 큰 기준 특징 영역을 찾는다.In the step S341, the controller determines, for the input feature region centered on the feature pixel extracted from the input background image, the value of the regular mutual information among the reference feature regions centered on each of the reference feature pixels Find the largest reference feature region.

상기 단계 (S342)에서는, 상기 제어 장치는, 찾아진 기준 특징 영역의 단위 영상을 상기 정합된 기준 특징 화소를 포함하는 단위 영상으로서 판단한다.In the step S342, the controller determines the unit image of the searched reference feature region as a unit image including the matched reference feature pixel.

바람직하게는, 상기 단계 (S341)에서, 입력 특징 영역과 어느 한 기준 특징 영역에 대한 상기 정규 상호 정보의 값을 구함에 있어서, 단계들 (c11) 내지 (c15)가 수행된다.Preferably, in step (S341), steps (c11) to (c15) are performed in obtaining the values of the normal mutual information for the input feature region and the reference feature region.

상기 단계 (c11)에서는, 상기 제어 장치는, 상기 입력 특징 영역의 확률 분포에서의 불확실성을 나타내는 입력 엔트로피(entropy) 값(H(A))을 구한다.In the step (c11), the control device obtains an input entropy value (H (A)) indicating the uncertainty in the probability distribution of the input feature region.

상기 단계 (c12)에서는, 상기 제어 장치는, 상기 어느 한 기준 특징 영역의 확률 분포에서의 불확실성을 나타내는 기준 엔트로피(entropy) 값(H(B))을 구한다.In the step (c12), the controller obtains a reference entropy value (H (B)) indicating an uncertainty in a probability distribution of the reference feature region.

상기 단계 (c13)에서는, 상기 제어 장치는, 상기 입력 특징 영역과 상기 어느 한 기준 특징 영역의 결합 확률 분포에서의 불확실성을 나타내는 결합 엔트로피(entropy) 값(H(A,B))을 구한다.In the step (c13), the control device obtains a joint entropy value (H (A, B)) indicating an uncertainty in the joint probability distribution of the input feature region and the reference feature region.

상기 단계 (c14)에서는, 상기 제어 장치는, 상기 입력 엔트로피(entropy) 값(H(A))과 상기 기준 엔트로피(entropy) 값(H(B))의 합산 결과(H(A) + H(B))를 구한다.In the step (c14), the control device calculates the sum (H (A) + H (A)) of the sum of the input entropy value (H (A)) and the reference entropy value B).

상기 단계 (c15)에서는, 상기 제어 장치는, 상기 합산 결과(H(A) + H(B))를 상기 결합 엔트로피(entropy) 값(H(A,B))으로 나눈 결과를 상기 정규 상호 정보의 값으로서 구한다.In the step (c15), the controller divides the result of division of the sum (H (A) + H (B)) by the entropy value (H (A, B) .

본 발명의 실시예의 감시 카메라의 제어 방법에 의하면, 상기 틸팅 수행 단계에서 상기 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어되고, 상기 뒤집힘 판정 단계에서 입력 영상의 뒤집힘이 판정되며, 상기 뒤집힘 보정 단계에서 뒤집혔던 영상이 반전된다.According to the control method of the surveillance camera of the embodiment of the present invention, in the tilting step, the up / down rotation angle of the surveillance camera is controlled to be 360 o , the inversion of the input image is determined in the inversion determination step, The inverted image is inverted in step.

이에 따라, 이동하는 표적 예를 들어, 항공기나 차량의 이동을 추적하는 동안에 상하 회전 가능 각도의 제한으로 인한 촬영 사각 지역이 발생되지 않는다. 즉, 이동하는 표적에 대한 지속적인 추적 촬영이 보장된다. 또한, 지속적인 추적 촬영 과정에서 뒤집혔던 영상이 반전되므로, 추적 대상에 대한 감시자의 순간적인 감시 능력이 향상될 수 있다. Thereby, during the moving target, for example, while tracking the movement of the aircraft or the vehicle, the shooting rectangular area due to the limitation of the angle of the upward and downward rotations is not generated. That is, continuous tracking of the moving target is ensured. In addition, since the inverted image is inverted in the continuous tracking shooting process, the surveillance ability of the monitor to the tracking target can be improved.

도 1은 본 발명의 일 실시예의 감시 카메라의 제어 방법이 적용되는 감시 시스템의 일 예를 보여주는 도면이다.
도 2는 도 1의 제어 장치에 의하여 감시 카메라가 360o로 회전하는 경우, 180o 회전 시점에서 영상이 뒤집힘을 설명하기 위한 도면이다.
도 3은 도 1의 제어 장치에 의하여 수행되는 본 발명의 일 실시예의 감시 카메라의 제어 방법을 보여주는 흐름도이다.
도 4는 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제1 예를 보여주는 흐름도이다.
도 5는 도 4의 판정 단계 (b3)의 상세 알고리즘의 제1 예를 보여주는 흐름도이다.
도 6은 도 5의 상세 알고리즘을 정리하여 보여주는 블록도이다.
도 7은 도 6의 기준 영상의 일 예를 보여주는 도면이다.
도 8은 도 5 및 6의 단계 (S102)의 수행에 의하여 얻어진 복소수의 크기 데이터를 디스플레이한 결과를 보여주는 도면이다.
도 9는 도 5 및 6의 단계 (S106)의 수행에 의하여 얻어진 고속 푸리에 역변환(FFT-1)의 결과 데이터를 정규화하여 보여주는 그래프이다.
도 10은 도 4의 판정 단계 (b3)의 상세 알고리즘의 제2 예를 보여주는 흐름도이다.
도 11은 도 10의 상세 알고리즘을 정리하여 보여주는 블록도이다.
도 12는 도 10 및 11의 단계 (S202)의 수행에 의하여 얻어진 복소수의 크기 데이터를 디스플레이한 결과 및 그 4 분할을 보여주는 도면이다.
도 13은 도 10 및 11의 데이터 재배치 단계 (S203)의 수행에 의하여 도 12의 복소수의 크기 데이터가 재배치됨을 보여주는 도면이다.
도 14는 도 13의 영상을 다시 보여주는 도면이다.
도 15는, 도 14의 영상의 데이터에 대하여 도 10 및 11의 노이즈(noise) 제거 단계 (S204)가 수행되어, 그 결과 데이터를 디스플레이한 결과를 보여주는 도면이다.
도 16은 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제2 예를 보여주는 흐름도이다.
도 17은 도 16의 판정 단계 (S163)의 상세 알고리즘을 보여주는 흐름도이다.
도 18은 도 17의 기준 배경 파노라마 영상 및 입력 배경 영상을 설명하기 위한 도면이다.
도 19는 도 17의 단계 (S34)의 상세 과정을 보여주는 흐름도이다.
도 20은 도 19의 단계 (S341)에서 정규 상호 정보의 값을 구하는 상세 과정을 보여주는 흐름도이다.1 is a view showing an example of a surveillance system to which a surveillance camera control method of an embodiment of the present invention is applied.
FIG. 2 is a diagram for explaining an image reversal at a 180 ° rotation when the surveillance camera rotates 360 ° by the control device of FIG. 1; FIG.
FIG. 3 is a flowchart illustrating a control method of a surveillance camera according to an embodiment of the present invention, which is performed by the control apparatus of FIG. 1;
Fig. 4 is a flowchart showing a first example of the determination method in the reversal determination step (b) of Fig. 3;
Fig. 5 is a flowchart showing a first example of the detailed algorithm of the determination step (b3) of Fig. 4;
FIG. 6 is a block diagram showing the detailed algorithm of FIG. 5 in an organized fashion.
7 is a view showing an example of the reference image of FIG.
FIG. 8 is a diagram showing a result of displaying the complex number size data obtained by performing the step S102 of FIGS. 5 and 6. FIG.
FIG. 9 is a graph showing normalized result data of the fast Fourier transform (FFT- 1 ) obtained by performing the step S106 in FIGS. 5 and 6. FIG.
10 is a flowchart showing a second example of the detailed algorithm of the determination step (b3) in Fig.
FIG. 11 is a block diagram showing the detailed algorithm of FIG. 10 in an organized fashion.
FIG. 12 is a view showing a result of displaying the complex number size data obtained by performing the step S202 of FIGS. 10 and 11, and its quadrant. FIG.
FIG. 13 is a diagram showing that the complex number size data of FIG. 12 is rearranged by performing the data relocation step (S203) of FIGS. 10 and 11.
14 is a view showing the image of FIG. 13 again.
FIG. 15 is a diagram showing a result of performing the noise removing step (S204) of FIGS. 10 and 11 on the image data of FIG. 14 and displaying the resultant data.
Fig. 16 is a flowchart showing a second example of the determination method in the reversal determination step (b) of Fig. 3;
FIG. 17 is a flowchart showing the detailed algorithm of the determination step (S163) of FIG. 16;
FIG. 18 is a view for explaining the reference background panoramic image and the input background image of FIG. 17; FIG.
FIG. 19 is a flowchart showing a detailed procedure of step S34 of FIG.
FIG. 20 is a flowchart showing a detailed procedure for obtaining the value of the regular mutual information in step S341 of FIG.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art can be omitted.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Furthermore, the specification and drawings are not intended to limit the present invention, and the scope of the present invention should be determined by the claims. The terms used in the present specification should be construed to mean the meanings and concepts consistent with the technical idea of the present invention in order to best express the present invention.

이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예의 감시 카메라(11)의 제어 방법이 적용되는 감시 시스템의 일 예를 보여준다. FIG. 1 shows an example of a surveillance system to which a control method of the surveillance camera 11 according to an embodiment of the present invention is applied.

도 1을 참조하면, 감시 카메라(11)는, 통신 채널(DCOM)을 통하여 관제실(13) 내의 제어 장치(131)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브-뷰(Live-view)의 동영상 데이터를 제어 장치(131)에 전송한다.1, the surveillance camera 11 communicates with the control device 131 in the control room 13 via a communication channel D COM and transmits a live-view image via a video data channel D IMA . view to the control device 131. The control device 131 receives the moving picture data of the view information.

제어 장치(131) 예를 들어, 컴퓨터는, 사용자 입력부(132)로부터의 입력 신호에 따라 동작하면서, 감시 카메라(11), 파노라마 디스플레이 장치(133) 및 라이브-뷰 디스플레이 장치(134)의 동작을 제어한다.Control device 131 For example, the computer can operate the surveillance camera 11, the panoramic display device 133 and the live-view display device 134 in accordance with the input signal from the user input section 132 .

여기에서, 감시 카메라(11)는, 좌우로 회전하는 패닝(panning)과 함께 상하로 회전하는 틸팅(tilting)을 수행한다. 또한, 감시 카메라(11)는 이동하는 표적을 추적하면서 촬영한다.Here, the surveillance camera 11 performs tilting that rotates up and down with panning rotating left and right. Further, the surveillance camera 11 shoots while tracking a moving target.

또한, 제어 장치(131)는, 사용자의 틸팅 명령을 수행하되, 감시 카메라(11)의 상하 회전 가능 각도가 360o가 되도록 제어하면서 감시 카메라(11)로부터의 입력 영상을 수신하고, 수신된 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시킨다. 수신된 입력 영상은 라이브-뷰 디스플레이 장치(134) 및 파노라마 디스플레이 장치(133)에 디스플레이된다.The control device 131 receives the input image from the surveillance camera 11 while controlling the angle of the upward and downward rotation of the surveillance camera 11 to be 360 o while performing the tilting command of the user, If it is determined that the image is inverted, the input image is rotated by 180 ° . The received input image is displayed on the live-view display device 134 and the panoramic display device 133. [

도 2는 도 1의 제어 장치(131)에 의하여 감시 카메라(11)가 360o로 회전하는 경우, 180o 회전 시점에서 영상이 뒤집힘을 설명하기 위한 도면이다.2 is a view for explaining the case, the images are flipping from 180 o rotation time of FIG surveillance camera 11 is rotated by 360 o, by the controller 131 of FIG.

도 1 및 2를 참조하면, 감시 카메라(11)의 직하 방향의 상하 회전 각도가 0o로 설정된 경우, 감시 카메라(11)의 직상 방향의 상하 회전 각도는 180o가 되면서 촬영 영상이 뒤집히게 됨을 알 수 있다. 이 경우, 추적 대상에 대한 감시자의 순간적인 감시 능력이 저하될 수 있다. 1 and 2, when the vertical rotation angle of the surveillance camera 11 in the downward direction is set to 0 o , the vertical rotation angle of the surveillance camera 11 in the vertical direction becomes 180 ° , Able to know. In this case, the surveillance ability of the observer for the object to be traced may be deteriorated.

따라서, 본 발명의 실시예에서, 제어 장치(131)는, 수신된 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시킨다. Therefore, to rotate an input image by 180 o, if it is determined in the embodiment of the invention, the control device 131, the received input image and overturned.

도 3은 도 1의 제어 장치(131)에 의하여 수행되는 본 발명의 일 실시예의 감시 카메라(11)의 제어 방법을 보여준다.FIG. 3 shows a control method of the surveillance camera 11 according to an embodiment of the present invention, which is performed by the control device 131 of FIG.

도 1 및 3을 참조하면, 본 발명의 일 실시예의 감시 카메라(11)의 제어 방법은 틸팅 수행 단계 (a), 뒤집힘 판정 단계 (b), 및 뒤집힘 보정 단계 (c)를 포함한다.1 and 3, a method of controlling the surveillance camera 11 according to an embodiment of the present invention includes a tilting performing step (a), an inversion determining step (b), and an inverse correction step (c).

틸팅 수행 단계 (a)에서, 제어 장치(131)는, 사용자의 틸팅 명령을 수행하되, 감시 카메라(11)의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 감시 카메라로(11)부터의 입력 영상을 수신한다.In the tilting-performing step (a), the controller 131 performs a tilting command of the user, while controlling the up-and-down rotation angle of the surveillance camera 11 to 360 o , And receives an image.

뒤집힘 판정 단계 (b)에서, 제어 장치(131)는 틸팅 수행 단계(a)에서 수신된 입력 영상의 뒤집힘을 판정한다.In the overtight determination step (b), the control device 131 determines the inversion of the input image received in the tilting execution step (a).

뒤집힘 보정 단계 (c)에서, 제어 장치(131)는, 뒤집힘 판정 단계 (b)에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시킨다.In the reversal correction step (c), when it is determined in step (b) that the input image has been inverted, the control device 131 rotates the input image by 180 ° .

상기 틸팅 수행 단계 (a), 뒤집힘 판정 단계 (b), 및 뒤집힘 보정 단계 (c)는 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 (d)).The tilting performing step (a), the inversion determining step (b), and the inverse correction step (c) are repeatedly performed until a termination signal is generated (step (d)).

상기와 같은 본 발명의 실시예의 감시 카메라(11)의 제어 방법에 의하면, 틸팅 수행 단계 (a)에서 감시 카메라(11)의 상하 회전 가능 각도가 360o가 되도록 제어되고, 뒤집힘 판정 단계 (b)에서 입력 영상의 뒤집힘이 판정되며, 뒤집힘 보정 단계 (c)에서 뒤집혔던 영상이 반전된다.According to the control method of the surveillance camera 11 of the embodiment of the present invention as described above, the upward and downward rotation angle of the surveillance camera 11 is controlled to be 360 o in the tilting performing step (a) The inversion of the input image is determined in step (c) and the inverted image is inverted in the inverse correction step (c).

이에 따라, 이동하는 표적 예를 들어, 항공기나 차량의 이동을 추적하는 동안에 상하 회전 가능 각도의 제한으로 인한 촬영 사각 지역이 발생되지 않는다. 즉, 이동하는 표적에 대한 지속적인 추적 촬영이 보장된다. 또한, 지속적인 추적 촬영 과정에서 뒤집혔던 영상이 반전되므로, 추적 대상에 대한 감시자의 순간적인 감시 능력이 향상될 수 있다. Thereby, during the moving target, for example, while tracking the movement of the aircraft or the vehicle, the shooting rectangular area due to the limitation of the angle of the upward and downward rotations is not generated. That is, continuous tracking of the moving target is ensured. In addition, since the inverted image is inverted in the continuous tracking shooting process, the surveillance ability of the monitor to the tracking target can be improved.

도 4는 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제1 예를 보여준다. 도 1 및 4를 참조하면, 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제1 예는 검출 단계 (b1), 설정 단계 (b2) 및 판정 단계 (b3)을 포함한다.Fig. 4 shows a first example of the determination method in the step (b) of determining inversion of Fig. Referring to Figs. 1 and 4, a first example of the determination method in the reversal determination step (b) of Fig. 3 includes a detection step b1, a setting step b2, and a determination step b3.

검출 단계 (b1)에서, 제어 장치(131)는 진입 물체의 영상이 검출되었는지를 판단한다.In the detecting step b1, the control device 131 judges whether or not an image of the incoming object is detected.

설정 단계 (b2)에서, 제어 장치(131)는, 진입 물체의 영상이 검출된 시점에서의 입력 영상을 기준 영상으로서 설정한다.In the setting step b2, the control device 131 sets the input image at the time when the image of the incoming object is detected as the reference image.

판정 단계 (b3)에서는, 제어 장치(131)는, 입력 영상과 상기 기준 영상을 비교함에 의하여, 입력 영상의 뒤집힘을 판정한다.In the determination step b3, the control device 131 compares the input image and the reference image to determine the inversion of the input image.

도 5는 도 4의 판정 단계 (b3)의 상세 알고리즘의 제1 예를 보여준다.Fig. 5 shows a first example of the detailed algorithm of the determination step (b3) of Fig.

도 6은 도 5의 상세 알고리즘을 정리하여 보여주는 블록도이다. FIG. 6 is a block diagram showing the detailed algorithm of FIG. 5 in an organized fashion.

도 7은 도 6의 기준 영상의 일 예를 보여주는 도면이다.7 is a view showing an example of the reference image of FIG.

도 8은 도 5 및 6의 단계 (S102)의 수행에 의하여 얻어진 복소수의 크기 데이터를 디스플레이한 결과를 보여준다.FIG. 8 shows a result of displaying the complex number size data obtained by performing the step S102 of FIGS. 5 and 6. FIG.

도 1, 5 내지 8을 참조하여, 도 4의 판정 단계 (b3)의 상세 알고리즘의 제1 예를 설명하면 다음과 같다.Referring to Figs. 1 and 5 to 8, a first example of the detailed algorithm of the determination step (b3) of Fig. 4 will be described as follows.

단계 (S101)에서는, 제어 장치(131)는, 입력 영상(501)과 기준 영상(502, 도 7) 각각에 대하여, 제1 고속 푸리에 변환(FFT : Fast Fourier Transform)의 결과 데이터를 얻는다.In step S101, the control device 131 obtains the first fast Fourier transform (FFT) result data for each of the input image 501 and the reference image 502 (FIG. 7).

참고로, 영상의 회전 각도를 검출하는 알고리즘에 있어서, 시간 도메인(domain)에서 로그(log) 극 좌표계 및 정규 교차 상관(NCC : Normalized Cross Correlation)을 이용할 수 있지만, 본 실시예의 경우, 주파수 도메인에서 로그(log) 극 좌표계 및 교차 파워 스펙트럼(CPS : Cross Power Spectrum)을 이용한다. 왜냐하면, 주파수 도메인에서 데이터를 처리하면 노이즈(noise) 등에 강인한 효과를 얻을 수 있기 때문이다.For reference, a log polar coordinate system and normalized cross correlation (NCC) can be used in an algorithm for detecting a rotation angle of an image in a time domain. However, in the present embodiment, A log polar coordinate system and a cross power spectrum (CPS) are used. This is because, when data is processed in the frequency domain, a strong effect such as noise can be obtained.

단계 (S102)에서는, 제어 장치(131)는, 입력 영상(501)과 기준 영상(502, 도 7) 각각에 대하여, 상기 제1 고속 푸리에 변환(FFT)의 결과 데이터로부터 복소수의 크기 데이터를 구한다(도 8 참조).In step S102, the control device 131 obtains the complex number size data from the resultant data of the first fast Fourier transform (FFT) for the input image 501 and the reference image 502 (FIG. 7) (See FIG. 8).

여기에서, 복소수의 크기 데이터가 사용되는 이유는, 고속 푸리에 변환(FFT)은 복소수 연산이므로 실수부와 허수부를 얻기 때문이다. 입력 영상 또는 기준 영상에서 X-축과 Y-축의 좌표(x,y)를 가진 어느 한 화소의 실수부를 a(x,y), 허수부를 b(x,y)라 하면, 해당 화소의 복소수의 크기 M(x,y)는 아래의 수학식 1에 의하여 구해진다.Here, the reason why the complex number size data is used is that since the fast Fourier transform (FFT) is a complex number operation, the real part and the imaginary part are obtained. Assuming that a real part of a pixel having coordinates (x, y) on the X-axis and Y-axis in the input image or reference image is a (x, y) and an imaginary part is b (x, y) The size M (x, y) is obtained by the following equation (1).

Figure 112012056327404-pat00001
Figure 112012056327404-pat00001

단계 (S103)에서는, 제어 장치(131)는, 입력 영상과 기준 영상 각각에 대하여, 복소수의 크기 데이터로부터 로그(log) 극 좌표계의 데이터를 구한다. 잘 알려져 있는 바와 같이, 로그(log) 극 좌표계의 데이터에 의하여 회전 각도 및 크기 변화의 정보가 얻어질 수 있다.In step S103, the control device 131 obtains data of the log polar coordinate system from the magnitude data of the complex number for each of the input image and the reference image. As is well known, information of the rotation angle and magnitude change can be obtained by data in the log polar coordinate system.

단계 (S104)에서는, 제어 장치(131)는, 입력 영상과 기준 영상 각각에 대하여, 로그(log) 극 좌표계의 데이터로부터 제2 고속 푸리에 변환(FFT)의 결과 데이터를 얻는다. 즉, 상기 단계 (S103)에서의 로그(log) 극 좌표계의 데이터는 시간 도메인(domain)의 데이터 특성을 가지므로, 노이즈(noise) 등에 강인한 효과를 얻기 위하여 제2 고속 푸리에 변환(FFT)이 수행된다. In step S104, the control device 131 obtains the result data of the second fast Fourier transform (FFT) from the data of the log polar coordinate system for each of the input image and the reference image. That is, since the data in the logarithmic coordinate system in the step S103 has the data characteristic of the time domain, a second fast Fourier transform (FFT) is performed to obtain a robust effect such as noise. do.

단계 (S105)에서는, 제어 장치(131)는, 입력 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터 및 기준 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터로부터 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터를 구한다.In step S105, the control device 131 calculates an intersection power spectrum (CPS: Cross) from the result data of the second fast Fourier transform (FFT) of the input image and the result data of the second fast Fourier transform Power Spectrum) data.

단계 (S106)에서는, 제어 장치(131)는, 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터로부터 고속 푸리에 역변환(FFT-1)의 결과 데이터를 구한다.In step S106, the control device 131 obtains the result data of the fast Fourier transform (FFT- 1 ) from the data of the cross power spectrum (CPS).

단계 (S107)에서는, 제어 장치(131)는, 고속 푸리에 역변환(FFT-1)의 결과 데이터에서, 기준 영상에 대한 입력 영상의 회전 각도를 구한다. 단계 (S107)과 관련된 내용은 도 9를 참조하여 상세히 설명될 것이다.In step S107, the control device 131 obtains the rotation angle of the input image with respect to the reference image in the resultant data of the fast Fourier transform (FFT- 1 ). The content related to step S107 will be described in detail with reference to Fig.

단계 (S108)에서는, 제어 장치(131)는, 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적은지의 여부를 판단한다.In step (S108), the control device 131, the rotational angle of the input image for the reference image and determines whether a is less than 180 o.

단계 (S109)에서는, 제어 장치(131)는, 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정한다.In step (S109), the control device 131, when the rotation angle of the input image for the reference image is less than 180 o, it is determined that the input image turned upside down.

단계 (S110)에서는, 제어 장치(131)는, 기준 영상에 대한 입력 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정한다.In step (S110), the control device 131, when the rotation angle of the input image for the reference image 180 o or more, it is determined that the input image is overturned.

도 9는 도 5 및 6의 단계 (S106)의 수행에 의하여 얻어진 고속 푸리에 역변환(FFT-1)의 결과 데이터를 정규화하여 보여준다. 도 9에서, 참조 부호 R은 교차-파워 역변환 값을, Y-축은 회전 각도에 상응하는 이동 거리를, X-축은 크기 변화에 상응하는 이동 거리를, H는 회전 각도 범위 360o에 상응하는 Y-축 범위를, 그리고 P91은 최고 피크를 각각 가리킨다.Fig. 9 shows the result data of the fast Fourier inverse transform (FFT- 1 ) obtained by performing the step S106 of Figs. 5 and 6 and normalizing it. In Figure 9, reference numeral R represents the cross-power to the inverse value, the moving distance corresponding to a movement distance corresponding to the Y- axis is degree of rotation, the X- axis size variation, Y is H corresponding to the rotation angle range 360 o - axis range, and P91 is the highest peak.

도 9를 참조하면, 최고 피크(P91)를 발생시키는 지점에서의 Y-축 값은, 기준 영상에 대한 입력 영상의 회전 각도에 상응하는 이동 거리이다. 따라서, 최고 피크(P91)를 발생시키는 지점에서의 Y-축 값을 ΔyROT라 하면, 기준 영상에 대한 입력 영상의 회전 각도를 θROT는 아래의 수학식 2에 의하여 구해진다.Referring to FIG. 9, the Y-axis value at the point at which the highest peak P91 is generated is a moving distance corresponding to the rotation angle of the input image with respect to the reference image. Therefore, if the Y-axis value at the point at which the highest peak P91 is generated is? Y ROT , the rotation angle? ROT of the input image with respect to the reference image is obtained by the following equation (2).

Figure 112012056327404-pat00002
Figure 112012056327404-pat00002

도 10은 도 4의 판정 단계 (b3)의 상세 알고리즘의 제2 예를 보여준다. 도 11은 도 10의 상세 알고리즘을 정리하여 보여준다. 도 12는 도 10 및 11의 단계 (S202)의 수행에 의하여 얻어진 복소수의 크기 데이터를 디스플레이한 결과 및 그 4 분할을 보여준다. 도 13은 도 10 및 11의 데이터 재배치 단계 (S203)의 수행에 의하여 도 12의 복소수의 크기 데이터가 재배치됨을 보여준다. 도 14는 도 13의 영상을 다시 보여준다. 도 15는, 도 14의 영상의 데이터에 대하여 도 10 및 11의 노이즈(noise) 제거 단계 (S204)가 수행되어, 그 결과 데이터를 디스플레이한 결과를 보여준다.Fig. 10 shows a second example of the detailed algorithm of the determination step (b3) of Fig. FIG. 11 shows the detailed algorithm of FIG. 10 in an organized manner. FIG. 12 shows a result of displaying the complex number size data obtained by performing the step S202 of FIGS. 10 and 11, and its quadrants. FIG. 13 shows that the complex number size data of FIG. 12 is rearranged by performing the data rearrangement step (S203) of FIGS. 10 and 11. FIG. 14 shows the image of FIG. 13 again. Fig. 15 shows the result of displaying the resultant data by performing the noise removal step (S204) of Figs. 10 and 11 with respect to the image data of Fig.

도 10 및 11의 제2 예를 도 5 및 6의 제1 예와 비교하여 보면, 단계들 (S203) 및 (S204)가 추가적으로 삽입되어 있음을 알 수 있다. 즉, 도 10 및 11의 제2 예에서 단계들 (S203) 및 (S204)를 제외한 모든 단계들은 도 5 및 6의 제1 예에서 설명된 바와 같다.Comparing the second example of Figs. 10 and 11 with the first example of Figs. 5 and 6, it can be seen that steps S203 and S204 are additionally inserted. That is, all the steps except the steps S203 and S204 in the second example of FIGS. 10 and 11 are as described in the first example of FIGS.

따라서, 도 1, 10 내지 15를 참조하여, 단계들 (S203) 및 (S204)만을 설명하면 다음과 같다.1, 10 to 15, only steps S203 and S204 will be described below.

단계 (S203)에서는, 제어 장치(131)는, 입력 영상과 기준 영상 각각에 대하여, 상기 복소수의 크기 데이터 중에서 저주파 데이터가 중심부에 위치하고 고주파 데이터가 주변부에 위치하도록, 상기 복소수의 크기 데이터를 재배치한다.In step S203, the controller 131 rearranges the complex number size data so that the low-frequency data is located at the center and the high-frequency data is located at the periphery of the complex number size data, for each of the input image and the reference image .

이와 같은 단계 (S203)은, 어느 한 프레임 영상에 대한 고속 푸리에 변환(FFT)의 결과 데이터가 원점 대칭이라는 점을 이용한 것이다. 즉, 제1 상한과 제3 상한 영역들의 영상 데이터가 서로 교환되고, 제2 상한과 제4 상한 영역들의 영상 데이터가 서로 교환된다(도 12 및 13 참조).The step S203 uses the fact that the resultant data of the fast Fourier transform (FFT) for one frame image is the origin symmetric. That is, the image data of the first upper limit and the third upper limit areas are exchanged with each other, and the image data of the second upper limit and the fourth upper limit areas are exchanged with each other (FIGS. 12 and 13).

재배치 전의 복소수의 크기 데이터(도 12)의 경우, 고속 푸리에 변환(FFT)의 특성으로 인하여 고주파 데이터가 중심부에 위치하고 저주파 데이터가 주변부에 위치하게 된다.In the case of the complex number size data before rearrangement (FIG. 12), the high frequency data is located at the center and the low frequency data is located at the periphery due to the characteristics of Fast Fourier Transform (FFT).

이에 반하여, 재배치 후의 복소수의 크기 데이터(도 13)의 경우, 저주파 데이터가 중심부에 위치하고 고주파 데이터가 주변부에 위치하게 된다.On the other hand, in the case of the complex number size data (FIG. 13) after rearrangement, the low frequency data is located at the center and the high frequency data is located at the periphery.

따라서, 이와 같이 재배치된 복소수의 크기 데이터는 차후의 고속 푸리에 변환(FFT) 즉, 단계 S206의 정확도 및 정밀도를 상대적으로 향상시킬 수 있다.Accordingly, the size data of the complex number rearranged in this manner can relatively improve the accuracy and precision of the subsequent fast Fourier transform (FFT), that is, step S206.

단계 (S204)에서는, 제어 장치(131)는, 입력 영상과 기준 영상 각각에 대하여, 재배치된 복소수의 크기 데이터에서 고주파수의 노이즈(noise) 데이터를 제거한다(도 14 및 15 참조).In step S204, the control device 131 removes noise data of a high frequency from the size data of the rearranged complex number for each of the input image and the reference image (see Figs. 14 and 15).

이에 따라, 보다 정확하고 정밀하게 뒤짐힘 여부가 판단될 수 있다.Thus, it can be judged whether or not the backlash is more accurately and precisely.

도 16은 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제2 예를 보여준다.Fig. 16 shows a second example of the determination method in the reversal determination step (b) of Fig. 3;

도 1 및 16을 참조하면, 도 3의 뒤집힘 판정 단계 (b)에서의 판정 방법의 제2 예는 파노라마 영상 생성 단계 (S161), 검출 단계 (S162) 및 판정 단계 (S162)를 포함한다.Referring to Figs. 1 and 16, a second example of the determination method in the reversal determination step (b) of Fig. 3 includes a panoramic image generation step (S161), a detection step (S162), and a determination step (S162).

파노라마 영상 생성 단계 (S161)에서는, 제어 장치(131)는, 감시 카메라(11)의 상하 회전 각도를 0o부터 360o까지 회전시키면서 기준 배경 파노라마 영상을 생성하되, 움직이는 물체의 영상을 제거한다.In the panoramic image generation step S161, the control device 131 generates a reference background panorama image while rotating the up / down rotation angle of the surveillance camera 11 from 0 o to 360 o , and removes the image of the moving object.

검출 단계 (S162)에서는, 제어 장치(131)는, 진입 물체에서의 영상이 검출되었는지를 판단한다.In the detecting step S162, the control device 131 judges whether or not an image in the incoming object is detected.

판정 단계 (S163)에서는, 제어 장치(131)는, 진입 물체의 영상이 검출되었으면, 입력 영상과 기준 배경 파노라마 영상을 비교함에 의하여 입력 영상의 뒤집힘을 판정한다.In the determination step S163, when an image of the incoming object is detected, the control device 131 determines the inversion of the input image by comparing the input image with the reference background panorama image.

도 17은 도 16의 판정 단계 (S163)의 상세 알고리즘을 보여준다. 도 18은 도 17의 기준 배경 파노라마 영상(181) 및 입력 배경 영상(182)을 설명하기 위한 도면이다. 도 1, 17 및 18을 참조하여, 도 16의 판정 단계 (S163)의 상세 알고리즘을 설명하면 다음과 같다.FIG. 17 shows the detailed algorithm of the determination step (S163) of FIG. FIG. 18 is a diagram for explaining the reference background panorama image 181 and the input background image 182 of FIG. Referring to Figs. 1, 17 and 18, the detailed algorithm of the determination step S163 of Fig. 16 will be described below.

단계 (S31)에서는, 제어 장치(131)는, 기준 배경 파노라마 영상(181)의 각 단위 영상(1801 내지 1872, UI0 내지 UI355)에서 기준 특징 화소(P0 내지 P72)를 추출한다. 물론, 각 단위 영상(1801 내지 1872, UI0 내지 UI355)에서, 복수 개의 기준 특징 화소들이 추출될 수 있고, 추출되지 않을 수도 있다.In step S31, the control device 131 extracts the reference feature pixels P0 to P72 from the respective unit images 1801 to 1872, UI0 to UI355 of the reference background panoramic image 181. [ Of course, in each unit image 1801 to 1872, UI0 to UI355, a plurality of reference feature pixels may be extracted and not extracted.

단계 (S32)에서는, 제어 장치(131)는, 진입 물체의 영상이 검출된 시점으로부터의 입력 영상에서 진입 물체의 영상을 제거하여, 입력 배경 영상(182, II)을 생성한다.In step S32, the control device 131 removes the image of the incoming object from the input image from the time when the image of the incoming object is detected, and generates the input background image 182 (II).

단계 (S33)에서는, 제어 장치(131)는 생성된 입력 배경 영상(182, II)에서 특징 화소(Pin)를 추출한다. 물론, 입력 배경 영상(182, II)에서 복수 개의 특징 화소들이 추출될 수 있다. 입력 배경 영상(182, II)에서 특징 화소가 추출되지 않을 수도 있겠지만, 추출 과정에서의 문턱 값 조정에 의하여 적어도 한 특징 화소가 추출된다. In step S33, the control device 131 extracts the feature pixel Pin from the generated input background image 182 (II). Of course, a plurality of feature pixels may be extracted from the input background image 182, II. Although the feature pixel may not be extracted in the input background image 182, at least one feature pixel is extracted by adjusting the threshold value in the extraction process.

단계 (S34)에서는, 제어 장치(131)는, 입력 배경 영상(182)에서 추출된 특징 화소(Pin)가 기준 특징 화소들(P0 내지 P72) 중에서 어느 화소와 정합(matching)되는지를 판단하여, 정합된 기준 특징 화소를 포함하는 단위 영상(1801 내지 1872 중에서 어느 하나)을 찾는다.In step S34, the control device 131 determines which of the reference feature pixels P0 to P72 is matched with the feature pixel Pin extracted from the input background image 182, (Any one of 1801 to 1872) including the matched reference feature pixel.

단계 (S35)에서는, 제어 장치(131)는, 정합된 기준 특징 화소를 포함하는 단위 영상(1801 내지 1872 중에서 어느 하나)의 회전 각도가 180o보다 적은지의 여부를 판단한다. 물론, 각 단위 영상(1801 내지 1872, UI0 내지 UI355)의 회전 각도는 이미 설정되어 있다.In step (S35), the controller 131 determines whether or not the rotation angle of the imaging unit (1801 to any one of 1872) comprising a matching reference feature pixel is less than 180 o. Of course, the rotation angles of the unit images 1801 to 1872, UI0 to UI355 are already set.

단계 (S36)에서는, 제어 장치(131)는, 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정한다.In step (S36), the control device 131, if the rotation angle of the image unit comprising a matching reference feature pixel is less than 180 o, it is determined that the input image turned upside down.

단계 (S37)에서는, 제어 장치(131)는, 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정한다.In step (S37), the control device 131, when the rotation angle of the image unit comprising a matching reference feature pixel is more than 180 o, it is determined that the input image overturned.

도 19는 도 17의 단계 (S34)의 상세 과정을 보여준다.FIG. 19 shows the detailed procedure of step S34 of FIG.

도 19를 참조하면, 단계 (S34)는 단계들 (S341) 및 (S342)를 포함한다. 도 1, 18 및 19를 참조하여, 도 17의 단계 (S34)의 상세 과정을 설명하면 다음과 같다.Referring to Fig. 19, step S34 includes steps S341 and S342. Referring to FIGS. 1, 18 and 19, the detailed procedure of step S34 of FIG. 17 will be described as follows.

단계 (S341)에서는, 제어 장치(131)는, 입력 배경 영상(182)에서 추출된 특징 화소(Pin)를 중심으로 하는 입력 특징 영역(Ain)에 대하여, 기준 특징 화소들(P0 내지 P72) 각각을 중심으로 하는 기준 특징 영역들(A0 내지 A72) 중에서 정규 상호 정보의 값이 가장 큰 기준 특징 영역을 찾는다.In step S341, the control device 131 determines whether or not each of the reference feature pixels P0 to P72 for the input feature region Ain centering on the feature pixel Pin extracted from the input background image 182 The reference feature region having the largest value of the normal mutual information among the reference feature regions A0 to A72 centered on the reference feature region.

단계 (S342)에서는, 제어 장치(131)는, 찾아진 기준 특징 영역(A0 내지 A72 중에서 어느 하나)의 단위 영상을 상기 정합된 기준 특징 화소를 포함하는 단위 영상으로서 판단한다.In step S342, the control device 131 determines the unit image of the searched reference feature area (any one of A0 to A72) as a unit image including the matched reference feature pixel.

도 20은 도 19의 단계 (S341)에서 정규 상호 정보의 값 NMI(A,B)을 구하는 상세 과정을 보여준다. 도 1, 18 및 20을 참조하여, 도 19의 단계 (S341)의 상세 과정을 설명하면 다음과 같다. FIG. 20 shows a detailed procedure for obtaining the value NMI (A, B) of the normal mutual information in step S341 of FIG. Referring to FIGS. 1, 18 and 20, the detailed procedure of step S341 of FIG. 19 will be described as follows.

단계 (c11)에서 제어 장치(131)는, 입력 특징 영역(Ain, 이하 A라 함)의 확률 분포에서의 불확실성을 나타내는 입력 엔트로피(entropy) 값(H(A))을 구한다. 잘 알려져 있는 바와 같이, 각각의 화소의 확률 분포 값을 pA(a)라 하면, 입력 엔트로피(entropy) 값(H(A))은 아래의 수학식 3에 의하여 구해진다.In step c11, the control device 131 obtains an input entropy value H (A) indicating the uncertainty in the probability distribution of the input feature region Ain (hereinafter referred to as A). As is well known, if the probability distribution value of each pixel is p A (a), the input entropy value (H (A)) is obtained by the following equation (3).

Figure 112012056327404-pat00003
Figure 112012056327404-pat00003

단계 (c12)에서 제어 장치(131)는, 어느 한 기준 특징 영역(A0 내지 A72 중에서 어느 하나, 이하 B라 함)의 확률 분포에서의 불확실성을 나타내는 기준 엔트로피(entropy) 값(H(B))을 구한다. 각각의 화소의 확률 분포 값을 pB(b)라 하면, 기준 엔트로피(entropy) 값(H(B))은 아래의 수학식 4에 의하여 구해진다.In step c12, the control device 131 calculates the reference entropy value H (B) indicating the uncertainty in the probability distribution of one reference characteristic region (any one of A0 to A72, hereinafter referred to as B) . Assuming that the probability distribution value of each pixel is p B (b), the reference entropy value (H (B)) is obtained by the following equation (4).

Figure 112012056327404-pat00004
Figure 112012056327404-pat00004

단계 (c13)에서 제어 장치(131)는, 입력 특징 영역(A)과 어느 한 기준 특징 영역(B)의 결합 확률 분포에서의 불확실성을 나타내는 결합 엔트로피(entropy) 값(H(A,B))을 구한다. 잘 알려져 있는 바와 같이, 각각의 화소의 결합-확률 분포 값을 pAB(a,b)라 하면, 입력 특징 영역(A)과 어느 한 기준 특징 영역(B)의 결합 엔트로피(entropy) 값(H(A,B))은 아래의 수학식 5에 의하여 구해진다.In step c13, the control device 131 determines a joint entropy value H (A, B) indicating the uncertainty in the joint probability distribution of the input feature region A and the reference feature region B, . Assuming that the combination-probability distribution value of each pixel is p AB (a, b), the entropy value H of the input feature region A and the reference feature region B (A, B)) is obtained by the following equation (5).

Figure 112012056327404-pat00005
Figure 112012056327404-pat00005

단계 (c14)에서 제어 장치(131)는, 입력 엔트로피(entropy) 값(H(A))과 기준 엔트로피(entropy) 값(H(B))의 합산 결과(H(A) + H(B))를 구한다.In step c14, the control device 131 calculates the sum (H (A) + H (B)) of the sum of the input entropy value H (A) and the reference entropy value H ).

단계 (c15)에서 제어 장치(131)는, 상기 합산 결과(H(A) + H(B))를 결합 엔트로피(entropy) 값(H(A,B))으로 나눈 결과를 정규 상호 정보의 값 NMI(A,B)으로서 구한다. 즉, 아래의 수학식 6에 의하여 정규 상호 정보의 값 NMI(A,B)이 구해진다.In step c15, the control device 131 divides the result of the summing (H (A) + H (B)) by the entropy value H (A, B) NMI (A, B). That is, the value NMI (A, B) of the normal mutual information is obtained by the following equation (6).

Figure 112012056327404-pat00006
Figure 112012056327404-pat00006

이상 설명된 바와 같이, 본 발명의 실시예의 감시 카메라의 제어 방법에 의하면, 틸팅 수행 단계에서 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어되고, 뒤집힘 판정 단계에서 입력 영상의 뒤집힘이 판정되며, 뒤집힘 보정 단계에서 뒤집혔던 영상이 반전된다.As described above, according to the control method of the surveillance camera of the embodiment of the present invention, the up-and-down rotation angle of the surveillance camera is controlled to be 360 o in the tilting step, the inversion of the input image is determined in the inversion determination step, The inverted image is inverted in the inverse correction step.

이에 따라, 이동하는 표적 예를 들어, 항공기나 차량의 이동을 추적하는 동안에 상하 회전 가능 각도의 제한으로 인한 촬영 사각 지역이 발생되지 않는다. 즉, 이동하는 표적에 대한 지속적인 추적 촬영이 보장된다. 또한, 지속적인 추적 촬영 과정에서 뒤집혔던 영상이 반전되므로, 추적 대상에 대한 감시자의 순간적인 감시 능력이 향상될 수 있다. Thereby, during the moving target, for example, while tracking the movement of the aircraft or the vehicle, the shooting rectangular area due to the limitation of the angle of the upward and downward rotations is not generated. That is, continuous tracking of the moving target is ensured. In addition, since the inverted image is inverted in the continuous tracking shooting process, the surveillance ability of the monitor to the tracking target can be improved.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.Therefore, the above-described embodiments should be considered in a descriptive sense rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and the inventions claimed by the claims and the inventions equivalent to the claimed invention are to be construed as being included in the present invention.

감시 카메라 뿐만 아니라 일반적인 카메라의 제어에도 이용될 가능성이 높다.It is likely to be used not only for surveillance cameras but also for general camera control.

11 : 감시 카메라, 12 : 통신 네트워크,
13 : 관제실, 131: 제어 장치,
132 : 사용자 입력부, 133 : 파노라마 디스플레이 장치,
134 : 라이브-뷰(live-view) 디스플레이 장치,
R : 교차-파워 역변환 값, Y : 회전 각도에 상응하는 이동 거리,
X : 크기 변화에 상응하는 이동 거리, H : Y-축 범위,
P91 : 최고 피크, 181 : 기준 배경 파노라마 영상,
182, II : 입력 배경 영상, UI0 내지 UI355 : 단위 영상들,
P0 내지 P72 : 단위 영상들의 특징 화소들,
A0 내지 A72 : 단위 영상들의 특징 영역들,
Pin : 입력 영상의 특징 화소,
Ain : 입력 영상의 특징 영역.11: surveillance camera, 12: communication network,
13: control room, 131: control device,
132: user input unit, 133: panoramic display device,
134: live-view display device,
R: cross-power reverse conversion value, Y: travel distance corresponding to rotation angle,
X: moving distance corresponding to size change, H: Y-axis range,
P91: Peak peak, 181: Reference background panoramic image,
182, II: input background image, UI0 to UI355: unit images,
P0 to P72: characteristic pixels of unit images,
A0 to A72: characteristic regions of unit images,
Pin: Feature pixel of input image,
Ain: Feature area of the input image.

Claims (8)

삭제delete 삭제delete 상하로 회전하는 틸팅을 수행하는 감시 카메라의 제어 방법에 있어서,
사용자의 틸팅 명령을 수행하되, 상기 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 상기 감시 카메라로부터의 입력 영상을 수신하는 틸팅 수행 단계;
상기 틸팅 수행 단계에서 수신된 입력 영상의 뒤집힘을 판정하는 뒤집힘 판정 단계; 및
상기 뒤집힘 판정 단계에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시키는 뒤집힘 보정 단계를 포함하고,
상기 뒤집힘 판정 단계는,
진입 물체의 영상이 검출된 시점에서의 입력 영상을 기준 영상으로서 설정하는 설정 단계; 및
입력 영상과 상기 기준 영상을 비교함에 의하여, 입력 영상의 뒤집힘을 판정하는 판정 단계를 포함하며,
상기 뒤집힘 판정 단계에 포함된 상기 판정 단계는,
(S101) 입력 영상과 상기 기준 영상 각각에 대하여, 제1 고속 푸리에 변환(FFT : Fast Fourier Transform)의 결과 데이터를 얻는 단계;
(S102) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 제1 고속 푸리에 변환(FFT)의 결과 데이터로부터 복소수의 크기 데이터를 구하는 단계;
(S103) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 복소수의 크기 데이터로부터 로그(log) 극 좌표계의 데이터를 구하는 단계;
(S104) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 로그(log) 극 좌표계의 데이터로부터 제2 고속 푸리에 변환(FFT)의 결과 데이터를 얻는 단계;
(S105) 입력 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터 및 상기 기준 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터로부터 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터를 구하는 단계;
(S106) 상기 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터로부터 고속 푸리에 역변환(FFT-1)의 결과 데이터를 구하는 단계; 및
(S107) 상기 고속 푸리에 역변환(FFT-1)의 결과 데이터에서, 상기 기준 영상에 대한 입력 영상의 회전 각도를 구하는 단계;
(S108) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적은지의 여부를 판단하는 단계;
(S109) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정하는 단계; 및
(S110) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정하는 단계를 포함한 감시 카메라의 제어 방법. A control method of a surveillance camera for performing up and down tilting,
A tilting step of performing a tilting command of a user and receiving an input image from the surveillance camera while controlling the surveillance camera so that the angle of upward and downward rotation of the surveillance camera is 360 o ;
An overtight determination step of determining an inversion of the input image received in the tilting step; And
And an inversion correction step of rotating the input image by 180 o when it is determined that the input image is inverted in the inversion determination step,
The overturning determination step includes:
A setting step of setting, as a reference image, an input image at a time point when an image of an incoming object is detected; And
And a determination step of determining an inversion of the input image by comparing the input image and the reference image,
Wherein the determining step included in the inversion determining step comprises:
(S101) obtaining first fast Fourier transform (FFT) result data for each of the input image and the reference image;
(S102) obtaining complexity magnitude data from the resultant data of the first fast Fourier transform (FFT) for each of the input image and the reference image;
(S103) obtaining data of a log polar coordinate system from magnitude data of the complex number for each of the input image and the reference image;
(S104) obtaining result data of a second fast Fourier transform (FFT) from data of the log polar coordinate system for each of the input image and the reference image;
(S105) obtaining data of a cross power spectrum (CPS) from result data of a second fast Fourier transform (FFT) of an input image and result data of a second fast Fourier transform (FFT) of the reference image;
(S106) obtaining result data of the fast Fourier transform (FFT- 1 ) from the data of the cross power spectrum (CPS); And
(S107) obtaining a rotation angle of the input image with respect to the reference image in the result data of the fast Fourier transform (FFT- 1 );
(S108) determining whether or not the rotational angle of the input image for the reference image is less than 180 o;
(S109) If the rotation angle of the input image for the reference image is less than 180 o, further comprising: it is determined that the input image is turned upside down; And
(S110) determining that the input image is inverted if the rotation angle of the input image with respect to the reference image is 180 o or more. 상하로 회전하는 틸팅을 수행하는 감시 카메라의 제어 방법에 있어서,
사용자의 틸팅 명령을 수행하되, 상기 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 상기 감시 카메라로부터의 입력 영상을 수신하는 틸팅 수행 단계;
상기 틸팅 수행 단계에서 수신된 입력 영상의 뒤집힘을 판정하는 뒤집힘 판정 단계; 및
상기 뒤집힘 판정 단계에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시키는 뒤집힘 보정 단계를 포함하고,
상기 뒤집힘 판정 단계는,
진입 물체의 영상이 검출된 시점에서의 입력 영상을 기준 영상으로서 설정하는 설정 단계; 및
입력 영상과 상기 기준 영상을 비교함에 의하여, 입력 영상의 뒤집힘을 판정하는 판정 단계를 포함하며,
상기 뒤집힘 판정 단계에 포함된 상기 판정 단계는,
(S201) 입력 영상과 상기 기준 영상 각각에 대하여, 제1 고속 푸리에 변환(FFT : Fast Fourier Transform)의 결과 데이터를 얻는 단계;
(S202) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 제1 고속 푸리에 변환(FFT)의 결과 데이터로부터 복소수의 크기 데이터를 구하는 단계;
(S203) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 복소수의 크기 데이터 중에서 저주파 데이터가 중심부에 위치하고 고주파 데이터가 주변부에 위치하도록, 상기 복소수의 크기 데이터를 재배치하는 단계;
(S204) 입력 영상과 상기 기준 영상 각각에 대하여, 재배치된 복소수의 크기 데이터에서 고주파수의 노이즈(noise) 데이터를 제거하는 단계;
(S205) 입력 영상과 상기 기준 영상 각각에 대하여, 고주파수의 노이즈(noise) 데이터가 제거된 복소수의 크기 데이터로부터 로그(log) 극 좌표계의 데이터를 구하는 단계;
(S206) 입력 영상과 상기 기준 영상 각각에 대하여, 상기 로그(log) 극 좌표계의 데이터로부터 제2 고속 푸리에 변환(FFT)의 결과 데이터를 얻는 단계;
(S207) 입력 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터 및 상기 기준 영상의 제2 고속 푸리에 변환(FFT)의 결과 데이터로부터 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터를 구하는 단계;
(S208) 상기 교차 파워 스펙트럼(CPS : Cross Power Spectrum)의 데이터로부터 고속 푸리에 역변환(FFT-1)의 결과 데이터를 구하는 단계; 및
(S209) 상기 고속 푸리에 역변환(FFT-1)의 결과 데이터에서, 상기 기준 영상에 대한 입력 영상의 회전 각도를 구하는 단계;
(S210) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적은지의 여부를 판단하는 단계;
(S211) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정하는 단계; 및
(S212) 상기 기준 영상에 대한 입력 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정하는 단계를 포함한 감시 카메라의 제어 방법. A control method of a surveillance camera for performing up and down tilting,
A tilting step of performing a tilting command of a user and receiving an input image from the surveillance camera while controlling the surveillance camera so that the angle of upward and downward rotation of the surveillance camera is 360 o ;
An overtight determination step of determining an inversion of the input image received in the tilting step; And
And an inversion correction step of rotating the input image by 180 o when it is determined that the input image is inverted in the inversion determination step,
The overturning determination step includes:
A setting step of setting, as a reference image, an input image at a time point when an image of an incoming object is detected; And
And a determination step of determining an inversion of the input image by comparing the input image and the reference image,
Wherein the determining step included in the inversion determining step comprises:
(S201) obtaining first fast Fourier transform (FFT) result data for each of the input image and the reference image;
(S202) obtaining complexity magnitude data from the resultant data of the first fast Fourier transform (FFT) for each of the input image and the reference image;
(S203) for each of the input image and the reference image, rearranging the complex number size data such that low frequency data is located in the center portion and high frequency data is located in the periphery of the complex number size data;
(S204) removing high-frequency noise data from the relocated complex-number magnitude data for each of the input image and the reference image;
(S205) obtaining data of a log polar coordinate system from magnitude data of complex numbers from which noise data of high frequency is removed, for each of the input image and the reference image;
(S206) obtaining result data of a second fast Fourier transform (FFT) from the data of the log polar coordinate system for each of the input image and the reference image;
(S207) obtaining data of a cross power spectrum (CPS) from the result data of the second fast Fourier transform (FFT) of the input image and the result data of the second fast Fourier transform (FFT) of the reference image;
(S208) obtaining result data of fast Fourier transform (FFT- 1 ) from the data of the cross power spectrum (CPS); And
(S209) obtaining a rotation angle of the input image with respect to the reference image, from the result data of the fast Fourier transform (FFT- 1 );
(S210) determining whether or not the rotational angle of the input image for the reference image is less than 180 o;
(S211) If the rotation angle of the input image for the reference image is less than 180 o, further comprising: it is determined that the input image is turned upside down; And
(S212) determining that the input image is inverted if the rotation angle of the input image to the reference image is equal to or larger than 180 o . 상하로 회전하는 틸팅을 수행하는 감시 카메라의 제어 방법에 있어서,
사용자의 틸팅 명령을 수행하되, 상기 감시 카메라의 상하 회전 가능 각도가 360o가 되도록 제어하면서, 상기 감시 카메라로부터의 입력 영상을 수신하는 틸팅 수행 단계;
상기 틸팅 수행 단계에서 수신된 입력 영상의 뒤집힘을 판정하는 뒤집힘 판정 단계; 및
상기 뒤집힘 판정 단계에서 입력 영상이 뒤집혔다고 판정될 경우, 입력 영상을 180o로 회전시키는 뒤집힘 보정 단계를 포함하고,
상기 뒤집힘 판정 단계는,
상기 감시 카메라의 상하 회전 각도를 0o부터 360o까지 회전시키면서 기준 배경 파노라마 영상을 생성하되, 움직이는 물체의 영상을 제거하는 파노라마 영상 생성 단계; 및
진입 물체의 영상이 검출되었으면, 입력 영상과 상기 기준 배경 파노라마 영상을 비교함에 의하여 입력 영상의 뒤집힘을 판정하는 판정 단계를 포함한 감시 카메라의 제어 방법. A control method of a surveillance camera for performing up and down tilting,
A tilting step of performing a tilting command of a user and receiving an input image from the surveillance camera while controlling the surveillance camera so that the angle of upward and downward rotation of the surveillance camera is 360 o ;
An overtight determination step of determining an inversion of the input image received in the tilting step; And
And an inversion correction step of rotating the input image by 180 o when it is determined that the input image is inverted in the inversion determination step,
The overturning determination step includes:
A panoramic image generation step of generating a reference background panoramic image while rotating the up / down rotation angle of the surveillance camera from 0 o to 360 o , and removing an image of a moving object; And
And determining the inversion of the input image by comparing the input image with the reference background panorama image if an image of the incoming object is detected. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.Claim 6 has been abandoned due to the setting registration fee. 제5항에 있어서, 상기 판정 단계는,
(S31) 상기 기준 배경 파노라마 영상의 각 단위 영상에서 기준 특징 화소를 추출하는 단계; 및
(S32) 진입 물체의 영상이 검출된 시점으로부터의 입력 영상에서 상기 진입 물체의 영상을 제거하여, 입력 배경 영상을 생성하는 단계;
(S33) 생성된 입력 배경 영상에서 특징 화소를 추출하는 단계;
(S34) 입력 배경 영상에서 추출된 특징 화소가 상기 기준 특징 화소들 중에서 어느 화소와 정합(matching)되는지를 판단하여, 정합된 기준 특징 화소를 포함하는 단위 영상을 찾는 단계;
(S35) 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o보다 적은지의 여부를 판단하는 단계;
(S36) 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o보다 적으면, 입력 영상이 뒤집히지 않았다고 판정하는 단계; 및
(S37) 정합된 기준 특징 화소를 포함하는 단위 영상의 회전 각도가 180o 이상이면, 입력 영상이 뒤집혔다고 판정하는 단계를 포함한 감시 카메라의 제어 방법. 6. The method according to claim 5,
(S31) extracting a reference feature pixel from each unit image of the reference background panoramic image; And
(S32) generating an input background image by removing an image of the entry object from an input image from a time when an image of the entry object is detected;
(S33) extracting feature pixels from the generated input background image;
(S34) determining which of the reference feature pixels the feature pixel extracted from the input background image is matched with, and searching for a unit image including the matched reference feature pixel;
(S35) step of the angle of rotation of the image unit comprising a matching reference feature pixel is determined whether a is less than 180 o;
(S36) When the rotation angle of the image unit comprising a matching reference feature pixel is less than 180 o, further comprising: it is determined that the input image is turned upside down; And
(S37) judging that the input image is inverted if the rotation angle of the unit image including the matched reference feature pixel is 180 o or more. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.Claim 7 has been abandoned due to the setting registration fee. 제6항에 있어서, 상기 단계 (S34)는,
(S341) 입력 배경 영상에서 추출된 특징 화소를 중심으로 하는 입력 특징 영역에 대하여, 상기 기준 특징 화소들 각각을 중심으로 하는 기준 특징 영역들 중에서 정규 상호 정보의 값이 가장 큰 기준 특징 영역을 찾는 단계; 및
(S342) 찾아진 기준 특징 영역의 단위 영상을 상기 정합된 기준 특징 화소를 포함하는 단위 영상으로서 판단하는 단계를 포함한 감시 카메라의 제어 방법. 7. The method of claim 6, wherein the step (S34)
(S341) searching for a reference feature region having the largest value of the normal mutual information among the reference feature regions centered on each of the reference feature pixels, with respect to the input feature region centered on the feature pixel extracted from the input background image ; And
(S342) determining a unit image of the searched reference feature region as a unit image including the matched reference feature pixel. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.Claim 8 has been abandoned due to the setting registration fee. 제7항에 있어서, 상기 단계 (S341)에서, 입력 특징 영역과 어느 한 기준 특징 영역에 대한 상기 정규 상호 정보의 값을 구함에 있어서,
(c11) 상기 입력 특징 영역의 확률 분포에서의 불확실성을 나타내는 입력 엔트로피(entropy) 값(H(A))을 구하는 단계;
(c12) 상기 어느 한 기준 특징 영역의 확률 분포에서의 불확실성을 나타내는 기준 엔트로피(entropy) 값(H(B))을 구하는 단계;
(c13) 상기 입력 특징 영역과 상기 어느 한 기준 특징 영역의 결합 확률 분포에서의 불확실성을 나타내는 결합 엔트로피(entropy) 값(H(A,B))을 구하는 단계;
(c14) 상기 입력 엔트로피(entropy) 값(H(A))과 상기 기준 엔트로피(entropy) 값(H(B))의 합산 결과(H(A) + H(B))를 구하는 단계; 및
(c15) 상기 합산 결과(H(A) + H(B))를 상기 결합 엔트로피(entropy) 값(H(A,B))으로 나눈 결과를 상기 정규 상호 정보의 값으로서 구하는 단계가 수행되는 감시 카메라의 제어 방법. 8. The method as claimed in claim 7, wherein, in the step (S341), in obtaining the value of the normal mutual information for the input feature region and the reference feature region,
(c11) obtaining an input entropy value (H (A)) indicating an uncertainty in a probability distribution of the input feature region;
(c12) obtaining a reference entropy value (H (B)) indicating an uncertainty in a probability distribution of the reference feature region;
(c13) obtaining a joint entropy value (H (A, B)) indicating an uncertainty in a joint probability distribution of the input feature region and the reference feature region;
(c14) obtaining a sum (H (A) + H (B)) of the sum of the input entropy value (H (A)) and the reference entropy value (H (B)); And
(c15) a step of dividing the sum result (H (A) + H (B)) by the entropy value (H (A, B)) to obtain a value of the normal mutual information Control method of camera.
KR1020120076937A 2012-07-13 2012-07-13 Method for controlling surveillance camera KR101521531B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120076937A KR101521531B1 (en) 2012-07-13 2012-07-13 Method for controlling surveillance camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120076937A KR101521531B1 (en) 2012-07-13 2012-07-13 Method for controlling surveillance camera

Publications (2)

Publication Number Publication Date
KR20140009888A KR20140009888A (en) 2014-01-23
KR101521531B1 true KR101521531B1 (en) 2015-05-19

Family

ID=50142884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120076937A KR101521531B1 (en) 2012-07-13 2012-07-13 Method for controlling surveillance camera

Country Status (1)

Country Link
KR (1) KR101521531B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289531A (en) * 2002-03-28 2003-10-10 Minolta Co Ltd Image processing system and image processing program
KR20050117681A (en) * 2004-06-11 2005-12-15 엘지전자 주식회사 Method for tilt control and signal processing in monitoring camera and apparatus thereof
KR100744870B1 (en) * 2005-09-21 2007-08-01 엘지전자 주식회사 Apparatus and method for controling pan and tilt for monitoring camera
KR20100012348A (en) * 2008-07-28 2010-02-08 중앙대학교 산학협력단 Monitoring method and system using danger image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289531A (en) * 2002-03-28 2003-10-10 Minolta Co Ltd Image processing system and image processing program
KR20050117681A (en) * 2004-06-11 2005-12-15 엘지전자 주식회사 Method for tilt control and signal processing in monitoring camera and apparatus thereof
KR100744870B1 (en) * 2005-09-21 2007-08-01 엘지전자 주식회사 Apparatus and method for controling pan and tilt for monitoring camera
KR20100012348A (en) * 2008-07-28 2010-02-08 중앙대학교 산학협력단 Monitoring method and system using danger image

Also Published As

Publication number Publication date
KR20140009888A (en) 2014-01-23

Similar Documents

Publication Publication Date Title
US11006104B2 (en) Collaborative sighting
WO2018232837A1 (en) Tracking photography method and tracking apparatus for moving target
US20210049367A1 (en) Pilotless flying object detection system and pilotless flying object detection method
CN109788215B (en) Image processing apparatus, computer-readable storage medium, and image processing method
US11107246B2 (en) Method and device for capturing target object and video monitoring device
CN108198199B (en) Moving object tracking method, moving object tracking device and electronic equipment
JP5484184B2 (en) Image processing apparatus, image processing method, and program
JP2017045283A5 (en)
CN105741261B (en) Plane multi-target positioning method based on four cameras
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
US10685444B2 (en) Method for panorama image processing
WO2016031573A1 (en) Image-processing device, image-processing method, program, and recording medium
CN107094234A (en) A kind of shooting area occlusion method and device applied to dollying terminal
CN112470189B (en) Occlusion cancellation for light field systems
CN110800020B (en) Image information acquisition method, image processing equipment and computer storage medium
Soetedjo et al. Developing of low cost vision-based shooting range simulator
JP6585668B2 (en) Object detection device
KR101521531B1 (en) Method for controlling surveillance camera
CN116051652A (en) Parameter calibration method, electronic equipment and storage medium
US9992398B2 (en) Optical sighting
TWI658434B (en) Apparatus and methods for image processing
CN112053406B (en) Imaging device parameter calibration method and device and electronic equipment
JP2017010555A (en) Image processing method and image processing apparatus
JP2015133532A (en) Imaging apparatus and image processing method
CN118118783A (en) Camera anti-shake detection method, camera anti-shake detection device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5