KR102068800B1 - 원격구동 카메라 및 그 제어 방법 - Google Patents

원격구동 카메라 및 그 제어 방법 Download PDF

Info

Publication number
KR102068800B1
KR102068800B1 KR1020190097715A KR20190097715A KR102068800B1 KR 102068800 B1 KR102068800 B1 KR 102068800B1 KR 1020190097715 A KR1020190097715 A KR 1020190097715A KR 20190097715 A KR20190097715 A KR 20190097715A KR 102068800 B1 KR102068800 B1 KR 102068800B1
Authority
KR
South Korea
Prior art keywords
image
target
identification number
designated
designated target
Prior art date
Application number
KR1020190097715A
Other languages
English (en)
Inventor
김대연
고은진
이재규
박정현
임재완
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020190097715A priority Critical patent/KR102068800B1/ko
Priority to US16/709,017 priority patent/US10880464B1/en
Application granted granted Critical
Publication of KR102068800B1 publication Critical patent/KR102068800B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 원격구동 카메라에 대한 것으로, 촬상부와, 상기 촬상부가 지향하는 방향을 변경하는 짐벌부와, 획득된 시간 순서에 따라 순차적으로 증가하는 식별번호를 가지는 영상들이 저장되는 메모리와, 획득된 영상들을 원격제어장치로 전송하고, 상기 원격제어장치로부터 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보를 수신하는 통신부와, 상기 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상으로부터 기 설정된 기준 표적의 위치를 추적하는 제1 추적부와, 상기 영상 식별번호에 대응하는 영상의 시점과 상기 제1 영상이 획득된 시점 사이의 영상들 중 어느 하나의 영상인 제2 영상으로부터 상기 지정 표적 및 상기 기준 표적의 위치들을 추적하는 제2 추적부를 포함하는 추적부 및, 상기 제2 영상의 식별번호와 상기 제1 영상의 식별번호를 비교하고, 비교 결과에 따라, 상기 제2 영상으로부터 추적된 지정 표적의 위치와 기준 표적의 위치 및, 상기 제1 영상으로부터 추적된 기준 표적의 위치에 근거하여 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하거나 상기 제1 영상으로부터 상기 지정 표적의 위치값을 검출하고, 상기 추정하거나 또는 검출된 지정표적의 위치값에 따라 상기 촬상부가 지향하는 방향이 변경되도록 상기 짐벌부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

원격구동 카메라 및 그 제어 방법{REMOTE ACTIVE CAMERA AND METHOD FOR CONTROLLING THEREOF}
본 발명은 표적을 추적하는 카메라를 원거리에서 제어하기 위한 시스템에서, 상기 표적의 추적을 위해 카메라의 짐벌(Gimbal)을 제어하기 위한 원격구동 카메라 및 제어 방법에 대한 것이다.
최근 네트워크를 통해 공간적으로 떨어진 곳의 신호를 감지할 뿐 아니라 원격 구동을 통해 상황에 대처하고 또한 정보를 더욱 효과적으로 획득하는 응용이 고려되면서 WSAN(Wireless Sensor and Actor Network)과 같은 개념이 적립되어왔다. 이러한 응용 중 하나로 원격 제어를 통한 짐벌구동 방식의 영상감시장치(이하 원격구동 카메라 혹은 Remote Active Camera)가 고려되고 있다.
이러한 영상감시장치의 운용 과정은 다음과 같다. 먼저 원격구동 카메라(Remote Active Camera, RAC)부터 획득된 영상이 네트워크를 통해 원격의 운용자에게 전달된다. 운용자가 수신한 영상을 기반으로 관심물체(이하 표적)를 특정하면, 원격제어장치(Remote Control Unit)는 특정된 표적에 대한 기반으로 제어정보를 산출하고, 산출된 제어정보를 네트워크를 통해 원격구동카메라로 전송한다. 그러면 원격구동카메라는 수신된 제어정보에 따라 표적을 향해 카메라가 지향하는 방향을 제어하여 운용자에게 보다 효과적인 표적감시를 제공한다. 이러한 장치는 고정 플랫폼뿐 아니라 드론과 같은 이동형 물체에 장착될 수도 있다.
그러나 원격구동 카메라와 운용자 사이의 정보 전달 지연이 있는 경우 원격구동 카메라에서 센싱된 영상의 전송이 어려워질 수 있으며, 원격제어 장치에서 산출된 제어 정보를 원격구동 카메라에 전송하는데 있어 어려움이 발생할 수 있다.
이러한 경우 원격구동 카메라 제어의 신속성이 저감될 수 있으며, 원격제어의 신속성이 보장되지 않으면 표적을 시계 밖으로 놓치는 경우도 발생할 수 있다. 더욱이 고정형 플랫폼에 비하여 이동 플랫폼에 원격구동 카메라가 장착된 경우 이러한 정보전달 지연으로 인한 문제가 발생할 가능성이 더욱 높아질 수 있다는 문제가 있다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 원격구동 카메라를 효과적으로 제어하는데 있어서, 통신지연의 영향을 최소화하고 통신지연에 대응할 수 있는 표적 추적 및 카메라의 짐벌을 제어하는 원격구동 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 전술한 문제를 해결하기 위한 것으로, 운용자로부터 표적 식별 정보가 수신되는 시점과 현재 영상이 수신되는 시점 사이의 시간 지연을 보상하여 표적을 추적할 수 있는 원격구동 카메라 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 원격구동 카메라는 영상을 획득하는 촬상부와, 상기 촬상부가 지향하는 방향을 변경하는 짐벌부와, 획득된 시간 순서에 따라 순차적으로 증가하는 식별번호를 가지는 영상들이 저장되는 메모리와, 획득된 영상들을 원격제어장치로 전송하고, 상기 원격제어장치로부터 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보를 수신하는 통신부와, 상기 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상으로부터 기 설정된 기준 표적의 위치를 추적하는 제1 추적부와, 상기 영상 식별번호에 대응하는 영상의 시점과 상기 제1 영상이 획득된 시점 사이의 영상들 중 어느 하나의 영상인 제2 영상으로부터 상기 지정 표적 및 상기 기준 표적의 위치들을 추적하는 제2 추적부를 포함하는 추적부 및, 상기 제2 영상의 식별번호와 상기 제1 영상의 식별번호를 비교하고, 비교 결과에 따라, 상기 제2 영상으로부터 추적된 지정 표적의 위치와 기준 표적의 위치 및, 상기 제1 영상으로부터 추적된 기준 표적의 위치에 근거하여 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하거나 상기 제1 영상으로부터 상기 지정 표적의 위치값을 검출하고, 상기 추정하거나 또는 검출된 지정표적의 위치값에 따라 상기 촬상부가 지향하는 방향이 변경되도록 상기 짐벌부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 지정 표적의 위치값을 추정하거나 검출하면, 상기 제2 영상의 식별번호에 기 설정된 값을 더하고, 상기 기 설정된 값이 더해진 식별번호에 대응하는 영상을 다시 제2 영상으로 검출하며, 상기 기 설정된 값은, 상기 제2 영상의 식별번호와 비교되는 제1 영상의 식별번호 증가량 보다 더 큰 값을 가지는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제2 영상의 식별번호와 상기 제1 영상의 식별번호 비교 결과, 상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 작은 경우 상기 제1 추적부의 추적 결과와 제2 추적부의 추적 결과 모두에 근거하여 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하고, 상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 큰 경우 상기 제1 추적부의 추적 결과 하나로부터 상기 제1 영상에 대한 상기 지정 표적의 위치값을 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 큰 경우, 상기 제2 추적부를 저전력 모드로 구동하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하는 경우, 추정된 위치값에 대해 하기 수학식 4 내지 5에 따른 기 설정된 가중합 함수에 따른 가중치를 반영하고, 상기 촬상부가 지향하는 방향이 변경되는 속도가 제한되도록 상기 가중치가 반영된 지정 표적의 위치 추정값에 근거하여 상기 짐벌부를 제어하는 것을 특징으로 한다.
[수학식 4]
Figure 112019082043663-pat00001
[수학식 5]
Figure 112019082043663-pat00002
여기서,
Figure 112019082043663-pat00003
는 상기 가중치가 반영된 지정 표적의 위치 추정값,
Figure 112019082043663-pat00004
는 상기 지정 표적이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00005
)의 중심이, 상기 제1 영상(
Figure 112019082043663-pat00006
)에서 이동된 위치의 추정값,
Figure 112019082043663-pat00007
는 상기 지정 표적의 위치 추정값,
Figure 112019082043663-pat00008
는 시간에 따라 증가하는 가중치임.
일 실시 예에 있어서, 상기 가중치
Figure 112019082043663-pat00009
는, 0에서 1 사이의 값을 가지는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기준 표적은, 상기 지정 표적에 선행하여 추적된 표적으로, 상기 제1 추적부를 통해 상기 제1 영상으로부터 검출된 위치값 만으로 추적이 가능한 표적임을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 기준 표적이 없는 경우, 표적 지정 정보가 수신될 때에, 메모리에 저장된 영상들 중 식별번호가 가장 큰 영상의 중심을 상기 기준 표적으로 설정하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 원격구동 카메라 제어 시스템은, 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보가 수신되면, 두 개의 추적부를 적어도 하나 구동하여, 현재 저장된 영상들 중 가장 큰 식별번호를 가지는 제1 영상과, 상기 영상 식별번호에 대응하는 영상의 시점과 상기 제1 영상이 획득된 시점 사이의 영상들 중 어느 하나의 영상인 제2 영상 중 적어도 하나로부터 기 설정된 기준 표적과 상기 지정 표적의 위치들 중 적어도 하나를 검출하여, 상기 제1 영상에서의 상기 지정 표적의 위치를 자체적으로 추적하는 원격구동 카메라 및, 상기 원격구동 카메라로부터 전송되는 영상들 중 어느 하나에 대해 상기 지정 표적이 설정되면, 상기 영상 식별번호와 상기 화소 좌표를 상기 표적 지정 정보로 전송하고, 상기 전송된 표적 지정 정보에 대한 응답으로 상기 원격구동 카메라로부터, 상기 지정 표적의 위치 추적 결과에 따른 영상을 수신하는 원격제어장치를 포함하는 것을 특징으로 한다.
또한 상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 원격구동 카메라의 제어 방법은, 원격제어장치로부터 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보가 수신하는 제1 단계와, 상기 영상 식별번호에 대응하는 영상이 획득된 시점과, 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상이 획득된 시점 사이의 임의 영상을 제2 영상으로 검출하는 제2 단계와, 상기 제2 영상의 식별 번호와, 상기 제1 영상의 식별 번호를 비교하는 제3 단계와, 상기 제3 단계의 비교 결과, 제2 영상의 식별 번호가 상기 제1 영상의 식별 번호보다 작은 경우, 상기 제2 영상으로부터 추적된 지정 표적의 위치와 기준 표적의 위치 및, 상기 제1 영상으로부터 추적된 기준 표적의 위치를 검출하는 제4 단계와, 상기 검출된 위치들에 근거하여, 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하는 제5 단계와, 상기 지정 표적의 위치 추정값에 따라, 영상이 촬영되는 중심 위치가 변경되도록 지향 제어를 수행하는 제6 단계와, 상기 제2 영상의 식별번호에 기 설정된 값을 더하고, 상기 기 설정된 값이 더해진 식별번호에 대응하는 영상을 다시 제2 영상으로 검출하고, 상기 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상을 검출하는 제7 단계 및, 상기 제7 단계에서 검출된 제2 영상의 식별번호와 제1 영상의 식별 번호를 비교하고, 비교 결과에 따라 상기 제4 단계 내지 제7 단계를 다시 수행하는 제8 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 값은, 상기 제7 단계가 수행될 때마다 증가하는 제1 영상의 식별번호 증가량 보다 더 큰 값을 가지는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제4 단계는, 상기 제3 단계의 비교 결과, 제2 영상의 식별 번호가 상기 제1 영상의 식별 번호보다 큰 경우 상기 제1 영상으로부터 상기 지정 표적의 위치값을 검출하는 제4-1 단계 및, 상기 검출된 지정 표적의 위치값에 따라, 영상이 촬영되는 중심 위치가 변경되도록 지향 제어를 수행하는 제4-2 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제6 단계는, 상기 추정된 지정 표적의 위치값에 대해 하기 수학식 4 내지 5에 따른 기 설정된 가중합 함수에 따른 가중치를 반영하고, 상기 중심 위치가 변경되는 속도가 제한되도록, 상기 가중치가 반영된 지정 표적의 위치 추정값에 근거하여 상기 지향 제어를 수행하는 것을 특징으로 한다.
[수학식 4]
Figure 112019082043663-pat00010
[수학식 5]
Figure 112019082043663-pat00011
여기서,
Figure 112019082043663-pat00012
는 상기 가중치가 반영된 지정 표적의 위치 추정값,
Figure 112019082043663-pat00013
는 상기 지정 표적이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00014
)의 중심이, 상기 제1 영상(
Figure 112019082043663-pat00015
)에서 이동된 위치의 추정값,
Figure 112019082043663-pat00016
는 상기 지정 표적의 위치 추정값,
Figure 112019082043663-pat00017
는 시간에 따라 증가하는 가중치임.
일 실시 예에 있어서, 상기 가중치
Figure 112019082043663-pat00018
는, 0에서 1 사이의 값을 가지는 것을 특징으로 한다.
본 발명에 따른 원격구동 카메라 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 원격구동 카메라 자체적으로 표적 추적을 수행하고 표적 추적을 위한 제어 신호를 생성하기 때문에, 원격 제어 장치와의 통신 지연과 관계없이, 표적의 위치에 따른 카메라의 짐벌제어가 수행될 수 있다. 또한 원격구동 카메라가 추적 및 제어를 수행하는 도중 하향 통신 오류로 인해 전송 영상정보가 손실되어도 운용자가 표적변경을 수행하지 않는 한 계속적인 표적 추적이 가능하다는 잇점이 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 최근 획득된 영상을 저장하고, 표적이 지정된 영상부터 기 설정된 간격의 영상 열에 대한 추적을 수행하여 현재 획득된 영상으로부터 표적의 위치를 획득하기 때문에, 표적 지정될 당시에 획득된 영상과 최근 획득된 영상 사이의 시간차에 따른 표적 추적의 불연속성을 저감할 수 있으므로, 운용자로부터 추적 초기화 정보의 수신이 지연되는 경우에도 안정적으로 표적의 추적이 가능하다는 잇점이 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 가중치 설정을 통해 카메라의 지향 방향이 변경되는 속도를 조절할 수 있으므로, 보다 안정적인 표적 추적 영상을 제공할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 원격구동 카메라 및 원격제어장치의 구성을 도시한 블록도이다.
도 2는 원격구동 카메라에서 정의되는 시선 및 조준선, 그리고 시계의 관계를 도시한 개념도이다.
도 3은 본 발명의 실시 예에 따른 원격구동 카메라에서 표적을 추적한 결과에 따라 짐벌제어를 수행하는 흐름을 도시한 개념도이다.
도 4는 본 발명의 실시 예에 따른 원격구동 카메라에서, 표적을 추적하고 추적된 표적을 따라 짐벌을 제어하여 카메라의 지향 방향을 제어하는 동작 과정을 도시한 흐름도이다.
도 5는 상기 도 4의 동작 과정 중, 상기 S408 단계에서 추정된 위치들에 근거하여 지정 표적의 위치를 추정하는 개념을 도시한 개념도이다.
도 6은 본 발명의 실시 예에 따른 원격구동 카메라에서, 현재 획득된 영상으로부터 짐벌제어를 위한 가중치 산출을 위해 영상 중심의 변위를 산출하는 개념을 도시한 흐름도이다.
도 7a는 본 발명의 실시 예에 따른 원격구동 카메라에서, 표적의 위치를 추정한 값들에 근거하여 산출된 가중치에 따라 짐벌이 제어되는 동작 과정을 도시한 흐름도이다.
도 7b는 본 발명의 실시 예에 따른 원격구동 카메라에서, 산출된 가중치가 0.1인 경우에 계산되는 지향 제어값과 그에 따른 시선을 추종하는 조준선의 예를 도시한 예시도이다.
도 8은 본 발명의 실시 예에 따른 원격구동 카메라에서, 운용자로부터 표적이 지정될 때에, 기준 표적을 설정하는 동작 과정을 도시한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 원격구동 카메라에서, 지정표적의 예측 위치에 근거하여 지향 제어 속도를 제어하는 개념을 도시한 개념도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
우선 도 1은 본 발명의 실시 예에 따른 원격구동 카메라(100) 및 원격제어장치(200)의 구성을 도시한 블록도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 원격구동 카메라(100)는 원격제어장치(200)와 네트워크를 통해 연결될 수 있다. 그리고 원격구동 카메라(100)는 상기 원격제어장치(200)를 통해 제어될 수 있으며, 상기 원격제어장치(200)의 요청에 따라 촬상된 영상을 상기 네트워크를 통해 전송할 수 있다. 그리고 전송된 영상을 통해 원격제어장치(200)에서 표적이 지정되는 경우, 지정된 표적에 표적 지정 정보(260)가 상기 원격제어장치(200)로부터 원격구동 카메라(100)에 전송될 수 있다. 그러면 원격구동 카메라(100)는 수신된 표적 지정 정보(260)에 근거하여 표적을 추적하고, 추적된 표적의 영상을 원격제어장치(200)로 전송할 수 있다. 여기서 상기 표적 지정 정보(260)는 표적 지정 정보는 영상 내 표적의 화소 좌표와 표적 지정을 수행한 영상의 식별번호를 포함할 수 있다.
원격구동 카메라(100)는 표적 지정 정보(260)가 수신되면 표적을 새로 설정하거나 기존에 추적된 표적을 표적 지정 정보(260)에 따른 표적으로 재설정 하고 추적을 수행한다. 지정된 표적의 추적 결과는 시선오차 정보로서 원격구동 카메라(100)로부터 생성될 수 있으며, 추적 결과에 따라 시선 변화율이 계산될 수 있다. 산출된 시선 변화율은 짐벌부(180)의 구동에 이용되어 원격구동 카메라(100)가 지향하는 각도가 정해질 수 있으며, 획득 영상의 각도가 결정될 수 있다.
이를 위해 본 발명의 실시 예에 따른 원격구동 카메라(100)는 수신된 표적 지정 정보(260)에 포함된 영상 식별 정보에 대응하는 영상을 통해 지정된 표적(이하 지정표적)을 식별할 수 있다. 그리고 상기 영상 식별 정보에 대응하는 영상의 시점으로부터 현재 영상이 획득된 시점까지 획득된 영상들을 통해 상기 표적 지정 정보에 대응하는 표적을 추적하고, 추적 결과에 따라 카메라의 짐벌(Gimbal)을 제어하여 카메라의 렌즈가 지향하는 방향을 제어할 수 있다. 즉, 본 발명은 원격제어장치(200)로부터 표적의 지정에 관련된 정보(표적 지정 정보(260))만 수신하고, 원격구동 카메라가 자체적으로 표적을 추적하여 짐벌을 제어할 수 있도록 함으로써, 원격제어장치(200)로부터 전송되는 데이터의 양을 최소화할 수 있으며, 이에 따라 전송 지연, 즉 원격제어장치(200)로부터 전송되는 정보의 전달에 소요되는 지연 시간을 최소화할 수 있다.
이처럼 본 발명은 원격구동 카메라(100)가 표적 지정 정보(260)에 따라 자체적으로 표적을 추적하고, 또한 상기 표적 지정 정보(260)가 수신되는 동안 발생하는 시간 지연을 보상하기 위해, 표적 지정 정보(260)의 영상 식별 정보에 대응하는 영상과, 현재 획득된 영상으로부터 상기 지정표적을 추적하는 추적 과정이 동시에 이루어질 수 있다.
이러한 본 발명의 실시 예에 따른 원격구동 카메라(100)는, 제어부(110)와 상기 제어부(110)에 연결되며 상기 제어부(110)에 의해 제어되는 통신부(120), 촬상부(130), 메모리(140), 추적부(150), 지연 보상부(160), 가중치 생성부(170) 및 짐벌부(180)를 포함하여 구성될 수 있다.
먼저 통신부(120)는 원격제어장치(200)와 무선 통신을 수행하기 위한 적어도 하나의 모듈을 포함할 수 있다. 통신부(120)는 상기 적어도 하나의 모듈을 통해 원격제어장치(200)로부터 제어 신호를 수신할 수 있으며, 제어부(110)의 제어에 따라 획득된 영상을 원격제어장치(200)로 전송할 수 있다. 또한 원격제어장치(200)로부터 표적 지정 정보(260)를 수신할 수 있다.
촬상부(130)는 영상 획득을 위한 적어도 하나의 이미지 센서를 포함할 수 있다. 그리고 상기 제어부(110)의 제어에 따라 영상을 획득하고 획득된 영상을 제어부(110)의 제어에 따라 메모리(140)에 저장할 수 있다.
한편 메모리(140)는 원격구동 카메라(100)의 동작을 위한 다양한 데이터 및 정보를 저장할 수 있다. 그리고 상기 촬상부(130)에서 획득되는 영상을 저장할 수 있다. 상기 획득되는 영상들은 각각 고유한 식별 정보를 가질 수 있으며, 상기 식별 정보는 상기 영상들이 획득된 시점에 대응될 수 있다. 또한 메모리(140)는 상기 원격제어장치(200)로부터 수신된 표적 지정 정보를 저장할 수 있으며, 표적 지정 정보에 따라 적어도 하나의 영상으로부터 검출되는 추적 정보들을 저장할 수 있다. 이하 상기 영상들이 저장되는 메모리(140)의 저장 영역을 영상 저장부(142)라고 하기로 하고, 표적의 추적에 관련된 정보들이 저장되는 메모리(140)의 저장 영역을 추적 정보 저장부(144)라고 하기로 한다.
한편 본 발명의 실시 예에 따른 원격구동 카메라(100)는 수신된 표적 지정 정보(260)에 대응하는 표적을 검출하는 추적부(150)를 포함할 수 있다. 한편 표적 지정 정보(260)가 원격제어장치(200)로부터 수신되는 경우 전송 지연이 발생하므로, 표적이 지정되는 영상의 시점과, 현재 원격구동 카메라(100)에서 영상이 획득되는 시점의 차이가 발생한다.
이러한 경우 상기 전송 지연으로 인해 현재 획득된 시점의 영상에는, 상기 지정된 표적이 포함되어 있지 않을 수 있으므로, 본 발명은 이전에 추적이 완료되었던 표적, 즉 상기 표적 지정이 이루어지기 전의 표적을 기준으로 설정(이하 기준 표적)하고, 상기 전송 지연이 보상되기 전까지, 기준 표적의 위치를 근거로 지정 표적의 위치를 추정하여 카메라의 짐벌이 제어되도록 함으로써 상기 전송 지연이 보상될 수 있도록 한다.
이를 위해 본 발명의 추적부(150)는 현재 획득된 영상으로부터 상기 기준 표적의 위치를 검출하는 제1 추적부(152)를 포함할 수 있으며, 상기 표적 지정 정보(260)의 영상 식별 정보에 대응하는 시점으로부터 현재 획득된 영상의 시점 사이의 영상들로부터 상기 표적 지정 정보(260)의 표적 좌표(화소 좌표)에 대응하는 표적, 즉 지정 표적의 위치를 검출하는 제2 추적부(154)를 포함할 수 있다. 그리고 상기 제1 추적부(152)와 제2 추적부(154)로부터 검출되는 기준 표적의 위치 및 지정 표적의 위치에 근거하여 현재 획득된 영상에 대한 지정 표적 위치의 추정값을 산출하는 지연 보상부(160)를 포함할 수 있다.
가중치 생성부(170)는 지연 보상부(160)에서 산출된 지정 표적의 추정 위치에 따른 가중치를 산출할 수 있다. 상기 가중치는 짐벌제어를 위한 지향 제어에 적용되는 가중치로서, 짐벌제어에 따라 카메라에 과다한 모션이 발생하는 것을 방지하기 위함이다. 가중치 생성부(170)는, 현재 추정된 지정 표적의 위치, 영상 중심의 변위 추정값, 그리고 시간에 따라 증가하는 시간 변수에 따라 가중치를 생성할 수 있다.
한편 제어부(110)는 본 발명의 실시 예에 따른 원격구동 카메라(100)의 전반적인 동작을 제어한다. 제어부(110)는 통신부(120)를 통해 수신되는 제어 신호에 따라 촬상부(130)를 제어하여 영상을 획득하고, 획득된 영상을 저장 및, 저장된 영상을 원격제어장치(200)로 전송할 수 있다. 그리고 표적 지정 정보(260)가 수신되면, 제1 추적부(152) 및 제2 추적부(154)를 제어하여 최근 획득된 영상(현재 획득된 영상)으로부터 기준 표적의 위치를 검출하고, 상기 표적 지정 정보(260)의 영상 식별 정보에 대응하는 영상으로부터 상기 최근 획득된 시점의 영상들로부터 검출된 지정 표적의 위치를 검출할 수 있다. 그리고 지연 보상부(160)를 제어하여 검출된 기준 표적 및 지정 표적의 위치들로부터, 현재 획득된 영상에 대한 지정 표적의 추정 위치를 산출할 수 있다.
한편 제어부(110)는 가중치 생성부(170)를 제어하여, 상기 지연 보상부(160)로부터 산출된 추정 위치에 따른 가중치를 산출할 수 있다. 그리고 산출된 가중치가 반영된 지향 제어값을 생성할 수 있다. 일 예로 산출된 표적의 추정 위치에 대응하는 지향 제어값은 상기 지정 표적의 추정 위치로부터 산출될 수 있다. 이 경우 상기 가중치는 상기 지정 표적의 추정 위치에 반영될 수 있으며, 이에 따라 제어부(110)는 가중치가 반영된 지정 표적의 위치에 근거하여 지향 제어값을 생성할 수 있다.
여기서 지향 제어란 촬상부(130)의 조준선, 즉 이미지 센서가 지향하는 방향이 변경되도록 제어하는 것을 의미할 수 있다. 또한 짐벌부(180)는 카메라, 즉 촬상부(130)가 지향하는 방향이 변경되도록 복수의 액추에이터 또는 회전 모터를 포함하여 형성될 수 있으며, 상기 복수의 액추에이터 또는 회전 모터를 통해 3축 구동이 가능하도록 형성될 수 있다. 따라서 제어부(110)는 상기 지연 보상부(160)에서 산출된 지정표적 추정 위치에, 상기 가중치 생성부(170)에서 생성된 가중치를 반영하고, 가중치가 반영된 지정표적 추정 위치에 근거하여 상기 짐벌부(180)를 제어하여 상기 지향 제어를 수행할 수 있다.
한편 원격구동 카메라(100)는 획득된 영상을 압축하고 압축(coding)된 영상을 한정된 대역폭의 하향 채널을 통해 원격제어장치(200)에 전송할 수 있다. 그러면 원격제어장치(200)는 수신된 압축 영상을 재생할 수 있으며, 운용자의 입력에 따라 표적을 지정하고, 표적이 지정된 영상의 식별 번호와 상기 표적의 화소 좌표를 포함하는 표적 지정 정보(260)를 원격구동 카메라(100)로 전송할 수 있다. 이를 위해 상기 원격제어장치(200)는 압축된 영상을 디코딩(decoding)하고 재생하기 위한 재생부(202)와 운용자의 입력을 입력받기 위한 입력부(204)를 포함하여 구성될 수 있다.
도 2는 원격구동 카메라(100)에서 정의되는 시선 및 조준선, 그리고 시계의 관계를 도시한 개념도이다.
도 2는 원격구동 카메라(100)에서 정의되는 시선, 조준선, 시계(Field of View) 즉, 획득 영상에 대한 관계를 나타낸다. 도 2에서와 같이 시계(Field of View)는 조준선을 중심으로 형성되며, 시선과 시계가 접하는 위치가 영상에서의 표적 위치가 될 수 있다. 따라서 영상의 중심과 표적 위치 간의 거리를 시선 오차로 정의할 수 있다.
도 3은 본 발명의 실시 예에 따른 원격구동 카메라(100)에서 표적을 추적한 결과에 따라 짐벌 제어를 수행하는 흐름을 도시한 개념도이다.
먼저 도 3 및 이하의 설명에서 언급되는 변수들은 하기와 같다.
Figure 112019082043663-pat00019
: RCU로부터 새로운 추적 초기화 정보 수신 전 추적 하였던 표적의 식별 번호,
Figure 112019082043663-pat00020
: 추적 초기화 정보에 따른 표적의 식별 번호,
Figure 112019082043663-pat00021
: 최근에 획득된 영상의 식별 번호,
Figure 112019082043663-pat00022
: 표적
Figure 112019082043663-pat00023
에 대한 지정 정보가 수신된 시점의
Figure 112019082043663-pat00024
,
Figure 112019082043663-pat00025
: 운용자가 표적 를 지정한 영상의 식별 번호,
Figure 112019082043663-pat00026
: 영상
Figure 112019082043663-pat00027
의 2차원 행렬,
Figure 112019082043663-pat00028
: 영상
Figure 112019082043663-pat00029
에서 표적
Figure 112019082043663-pat00030
의 위치,
Figure 112019082043663-pat00031
: 영상
Figure 112019082043663-pat00032
의 중심 위치가 영상
Figure 112019082043663-pat00033
에서 놓인 위치,
Figure 112019082043663-pat00034
:
Figure 112019082043663-pat00035
가 획득되는 시점의 조준선(Bore Sight),
Figure 112019082043663-pat00036
: 표적
Figure 112019082043663-pat00037
에 대한 시선(LOS: Line of Sight),
(
Figure 112019082043663-pat00038
및
Figure 112019082043663-pat00039
는 임의 영상의 식별번호이며,
Figure 112019082043663-pat00040
는 임의의 표적임)
도 3을 참조하여 살펴보면, 먼저 촬상부(130)를 통해 획득한 영상 중 최근의 일정 기간 동안의 영상 열이 메모리(140)에 저장될 수 있다. 그 중
Figure 112019082043663-pat00041
(현재 획득된 영상의 2차원 행렬)와
Figure 112019082043663-pat00042
(임의 시점(
Figure 112019082043663-pat00043
) 영상의 2차원 행렬)를 제1 추적부(152) 및 제2 추적부(154)가 로드하여,
Figure 112019082043663-pat00044
(현재 획득된 영상에서의 기준 표적의 위치)와
Figure 112019082043663-pat00045
(임의 시점(
Figure 112019082043663-pat00046
) 영상에서의 지정 표적 위치)를 검출하여 메모리(140)에 저장한다. 그리고 지연 보상을 위해 메모리(140)에 저장된
Figure 112019082043663-pat00047
와
Figure 112019082043663-pat00048
(임의 시점(
Figure 112019082043663-pat00049
) 영상에서의 기준 표적 위치)와
Figure 112019082043663-pat00050
를 이용하여
Figure 112019082043663-pat00051
(지정표적이 수신된 시점의 영상 중심 위치에 대응하는 현재 획득된 영상의 위치)와
Figure 112019082043663-pat00052
(현재 획득된 영상에서의 지정 표적의 위치)를 추정한 값인
Figure 112019082043663-pat00053
와
Figure 112019082043663-pat00054
를 구하고, 이 두 값을 혼합하여 안정적 짐벌 지향 제어를 유도하기 위한 심리스(Seamless) 시선인
Figure 112019082043663-pat00055
를 구할 수 있다. 그리고 구해진
Figure 112019082043663-pat00056
에 근거하여 짐벌부(180)를 제어함으로써, 추정된 지정 표적의 위치에 따른 지향 제어가 이루어지도록 할 수 있다.
한편 본 발명의 실시 예에 따른 원격구동 카메라(100)는, 원격제어장치(200)로부터 표적 설정을 위한 표적 지정 정보가 수신되는 경우, 수신된 표적에 따른 표적을 추적하고, 추적된 추적된 표적을 따라 짐벌을 제어하여 카메라의 지향 방향을 제어할 수 있다. 도 4는 이러한 경우, 즉 표적 지정 정보가 수신되는 경우에, 본 발명의 실시 예에 따른 원격구동 카메라(100)의 동작 과정을 도시한 흐름도이다.
먼저 본 발명의 실시 예에 따른 원격구동 카메라(100)의 제어부(110)는 원격제어장치(200)로부터 표적 지정 정보가 수신되는 경우, 도 4에서 도시된 동작 과정을 수행할 수 있다. 상기 표적 지정 정보는, 원격구동 카메라(100)에서 촬영된 영상을 통해 운용자가 지정 표적(
Figure 112019082043663-pat00057
)을 설정하는 경우, 상기 지정 표적(
Figure 112019082043663-pat00058
)이 설정되는 영상의 식별 번호와, 해당 영상에 설정된 지정 표적(b)에 대응하는 화소의 좌표(화소 좌표)에 대한 정보를 포함할 수 있다.
도 4를 참조하여 살펴보면, 원격구동 카메라(100)의 제어부(110)는 표적 지정 정보가 수신되는 경우, 수신된 표적 지정 정보에 근거하여 임의 시점(
Figure 112019082043663-pat00059
)를 설정할 수 있다(S400). 여기서 임의 시점(
Figure 112019082043663-pat00060
)는 상기 표적 지정 정보에 포함된 영상 식별 번호에 대응하는 영상, 즉 지정 표적(
Figure 112019082043663-pat00061
)가 지정된 영상이 획득된 시점으로부터, 현재 영상이 획득된 시점 사이의 시점일 수 있다. 즉, 임의 시점(
Figure 112019082043663-pat00062
)는 지정 표적(
Figure 112019082043663-pat00063
)이 지정된 영상이 획득된 시점으로부터 가장 최근(현재)에 획득된 영상이 획득된 시점 사이의 시점을 의미할 수 있다. 여기서 가장 최근, 즉 현재 획득된 영상의 시점은, 메모리(140)에 저장된 영상들 중 가장 마지막에 저장된 영상의 시점일 수 있으며, 저장된 영상들 중 가장 큰 값을 가지는 식별번호에 대응하는 영상일 수 있다. 즉 상기 현재 획득된 영상은, 상기 메모리(140)에 저장된 영상들 중 가장 큰 식별번호를 가지는 영상일 수 있다.
또한 각 원격구동 카메라(100)에서 획득되는 영상들은, 각 영상들이 획득될 때의 시점에 대응하므로, 임의 시점(
Figure 112019082043663-pat00064
)는 해당 임의 시점(
Figure 112019082043663-pat00065
)에 획득된 영상, 즉 임의 시점(
Figure 112019082043663-pat00066
)에 획득된 영상의 식별 번호를 의미할 수 있다. 한편 각 영상의 식별 번호는 시간의 흐름에 따라 점차 증가할 수 있으며, 이에 따라 가장 최근에 획득된 영상일수록 큰 식별 번호를 가질 수 있다.
한편 제어부(110)는, 지정 표적(
Figure 112019082043663-pat00067
)이 지정된 영상이 획득된 시점과, 현재 영상이 획득된 시점 사이의 오차를 보상하기 위해 상기 임의 시점(
Figure 112019082043663-pat00068
)를 변경할 수 있다. 이처럼 지정 표적(
Figure 112019082043663-pat00069
)이 지정된 영상이 획득된 시점(
Figure 112019082043663-pat00070
)으로부터 가장 최근(현재)에 획득된 영상이 획득된 시점 사이에서 변경되는 임의 시점(
Figure 112019082043663-pat00071
)는 하기 수학식 1과 같이 표현할 수 있다.
Figure 112019082043663-pat00072
위 식에서
Figure 112019082043663-pat00073
은 바로 이전 임의 시점(
Figure 112019082043663-pat00074
)에 대응하는 영상의 식별 번호이며, N은 1보다 큰 정수를 의미할 수 있다. 여기서,
Figure 112019082043663-pat00075
는 현재 영상이 획득된 시점으로서, 현재 획득된 영상의 식별 번호를 의미할 수 있다. 그리고
Figure 112019082043663-pat00076
는 표적 지정 정보가 수신될 때, 원격구동 카메라(100)가 영상을 획득한 시점, 즉 표적 지정 정보가 수신될 때, 획득된 영상의 식별번호를 의미할 수 있다.
또한
Figure 112019082043663-pat00077
는 시간의 흐름에 따라 1씩 증가할 수 있다. 따라서
Figure 112019082043663-pat00078
는, 가장 최근에 영상이 획득된 시점의 식별 번호가
Figure 112019082043663-pat00079
-1일 때에, 임의 시점(
Figure 112019082043663-pat00080
)에 대응하는 영상의 식별 번호일 수 있다.
한편, 촬상부(130)에서 획득되는 영상이 시간 순서에 따라 순차적으로 1씩 증가하는 경우에, 상기 N은 1보다 큰 정수일 수 있다. 따라서 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00081
)는, 시간의 흐름에 따라 1씩 증가하는
Figure 112019082043663-pat00082
보다 더 빠른 속도로 증가할 수 있으며, 이에 따라 어느 시점에서 임의 시점에 대응하는 영상의 식별번호(
Figure 112019082043663-pat00083
)가, 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00084
)에 도달할 수 있다. 이 때 만약 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00085
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00086
)에 도달하면, 현재 획득된 영상의 식별 번호
Figure 112019082043663-pat00087
를
Figure 112019082043663-pat00088
로 정의할 수 있다.
한편 상기 S400 단계에서, 임의 시점(
Figure 112019082043663-pat00089
), 즉 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00090
)가 설정하는 경우, 제어부(110)는 상기 수학식 1에 따라 지정 표적(
Figure 112019082043663-pat00091
)이 지정된 시점의 영상의 식별번호(
Figure 112019082043663-pat00092
)를, 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00093
)로 설정할 수 있다.
한편 제어부(110)는 현재 설정된 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00094
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00095
)에 도달하였는지 여부를 체크할 수 있다(S402).
한편 S402 단계의 체크 결과, 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00096
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00097
)에 도달하지 않은 경우라면, 즉 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00098
)보다 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00099
)가 작은 경우라면, 제어부(110)는 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00100
)에 대응하는 제1 영상 및, 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00101
)에 대응하는 제2 영상을 메모리(140)로부터 검출할 수 있다(S404).
여기서, 상기 S400 단계에서 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00102
)가 설정된 후 변경되지 않은 경우라면, 상기 임의 시점 영상의 식별 번호(
Figure 112019082043663-pat00103
)는 지정 표적(
Figure 112019082043663-pat00104
)이 지정된 시점의 영상의 식별번호(
Figure 112019082043663-pat00105
)일 수 있다.
한편 본 발명의 실시 예에 따른 원격구동 카메라(100)는, 표적이 지정된 영상의 시점과, 현재 영상이 획득되는 시점의 차이를 보상하기 위해, 기준 표적(
Figure 112019082043663-pat00106
)의 위치를 검출하고, 검출된 기준 표적(
Figure 112019082043663-pat00107
)의 위치에 근거하여, 현재 획득된 영상으로부터 지정 표적(
Figure 112019082043663-pat00108
)의 추정 위치를 산출할 수 있다. 이를 위해 제어부(110)는 먼저 상기 S404 단계에서 검출된 각 영상, 즉 임의 시점에 대응하는 영상(식별 번호(
Figure 112019082043663-pat00109
)에 대응하는 영상, 제1 영상)과 현재 획득된 영상(식별 번호(
Figure 112019082043663-pat00110
)에 대응하는 영상, 제2 영상)에 대하여, 기준 표적(
Figure 112019082043663-pat00111
) 및 지정 표적(
Figure 112019082043663-pat00112
)에 대한 검출을 수행할 수 있다(S406). 여기서 상기 기준 표적(
Figure 112019082043663-pat00113
)는 상기 지정 표적(
Figure 112019082043663-pat00114
)이 지정되기 이전에 추적이 완료된 표적일 수 있다.
한편 상기 S406 단계에서, 제어부(110)는 제1 영상으로부터 기준 표적(
Figure 112019082043663-pat00115
)의 위치(
Figure 112019082043663-pat00116
)를 검출할 수 있다. 그리고 제2 영상으로부터 기준 표적(
Figure 112019082043663-pat00117
)의 위치(
Figure 112019082043663-pat00118
) 및, 지정 표적(
Figure 112019082043663-pat00119
)의 위치(
Figure 112019082043663-pat00120
)를 검출할 수 있다. 이처럼 서로 다른 2개의 영상에서 동시에 각 표적(기준 표적, 지정 표적)의 위치를 검출하기 위해, 본 발명의 실시 예에 따른 원격구동 카메라(100)는 2개의 추적기를 포함할 수 있으며, 제1 영상에서 표적의 위치를 검출하는 제1 추적부(152)와 제2 영상에서 표적의 위치를 검출하는 제2 추적부(154)가 동시에 병렬로 운용될 수 있다.
그리고 제어부(110)는 검출된 제1 영상의 기준 표적 위치(
Figure 112019082043663-pat00121
), 제2 영상의 기준 표적 위치(
Figure 112019082043663-pat00122
) 및 지정 표적(
Figure 112019082043663-pat00123
) 위치(
Figure 112019082043663-pat00124
)에 근거하여 제1 영상에서의 지정 표적(
Figure 112019082043663-pat00125
)의 위치 추정값(
Figure 112019082043663-pat00126
)를 산출할 수 있다(S408).
또한 상기 S408 단계에서, 제어부(110)는 현재 획득된 영상(
Figure 112019082043663-pat00127
), 즉 제1 영상에서 기준 표적(
Figure 112019082043663-pat00128
)의 위치(
Figure 112019082043663-pat00129
)와, 지정 표적(
Figure 112019082043663-pat00130
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00131
)에서 기준 표적(
Figure 112019082043663-pat00132
)의 위치(
Figure 112019082043663-pat00133
)에 근거하여, 지정 표적(
Figure 112019082043663-pat00134
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00135
)의 중심이, 현재 획득된 영상(
Figure 112019082043663-pat00136
)에서 이동된 위치의 추정값(
Figure 112019082043663-pat00137
)을 산출할 수 있다.
도 5는 이러한 도 4의 동작 과정 중, 상기 S408 단계에서 추정된 위치들에 근거하여 지정 표적의 위치를 추정하는 개념을 도시한 개념도이다.
설명의 편의를 위하여, 관성 좌표계 상에 원격구동 카메라(100)의 위치와 표적
Figure 112019082043663-pat00138
,
Figure 112019082043663-pat00139
의 위치가 고정된 것으로 가정하기로 한다.
이 경우 도 5에서
Figure 112019082043663-pat00140
는 도 2에서 설명한 바와 같이
Figure 112019082043663-pat00141
의 법선 벡터로서,
Figure 112019082043663-pat00142
의 중심을 관통할 수 있다. 또한
Figure 112019082043663-pat00143
는
Figure 112019082043663-pat00144
내의 표적
Figure 112019082043663-pat00145
의 위치인
Figure 112019082043663-pat00146
를 관통할 수 있다. 한편 도 5에서 보이고 있는 바와 같이, 현재 시점에서 획득된 영상(
Figure 112019082043663-pat00147
)에서 지정 표적(
Figure 112019082043663-pat00148
)에 대한 추적 결과
Figure 112019082043663-pat00149
는 없으며
Figure 112019082043663-pat00150
또한 직접 구할 수 없다. 그러므로
Figure 112019082043663-pat00151
를 추적기를 통해 얻은 값들(
Figure 112019082043663-pat00152
: 500,
Figure 112019082043663-pat00153
: 504,
Figure 112019082043663-pat00154
: 506)로부터 하기 수학식 2를 통해 두 값(
Figure 112019082043663-pat00155
,
Figure 112019082043663-pat00156
)의 추정값들(
Figure 112019082043663-pat00157
,
Figure 112019082043663-pat00158
)을 각각 산출할 수 있다.
Figure 112019082043663-pat00159
Figure 112019082043663-pat00160
여기서,
Figure 112019082043663-pat00161
는 제1 영상에서 기준 표적(
Figure 112019082043663-pat00162
)의 위치,
Figure 112019082043663-pat00163
는 제2 영상에서 기준 표적(
Figure 112019082043663-pat00164
)의 위치,
Figure 112019082043663-pat00165
는 제2 영상에서 지정 표적(
Figure 112019082043663-pat00166
)의 위치, 그리고
Figure 112019082043663-pat00167
는 지정 표적(
Figure 112019082043663-pat00168
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00169
)에서 기준 표적(
Figure 112019082043663-pat00170
)의 위치임.
그리고 제어부(110)는, 상기 S408 단계에서 산출된 지정 표적(
Figure 112019082043663-pat00171
)의 위치 추정값(
Figure 112019082043663-pat00172
)과, 지정 표적(
Figure 112019082043663-pat00173
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00174
)의 중심이, 현재 획득된 영상(
Figure 112019082043663-pat00175
)에서 이동된 위치의 추정값(
Figure 112019082043663-pat00176
)에 근거하여 짐벌부(180)의 제어를 위한 지향 제어값을 생성하고, 생성된 지향 제어값에 근거하여 상기 짐벌부(180)를 제어함으로써, 상기 지정 표적(
Figure 112019082043663-pat00177
)의 위치 추정값(
Figure 112019082043663-pat00178
)에 대응하는 위치로 촬상되는 영상의 조준선이 이동하도록 지행 제어를 수행할 수 있다.
그리고 제어부(110)는 상기 수학식 1에 따라 현재 설정된 임의 시점(
Figure 112019082043663-pat00179
)를 변경할 수 있다(S412). 상기 S412 단계에서 제어부(110)는 상기 수학식 1에 따라 현재 설정된 임의 시점(
Figure 112019082043663-pat00180
)에 대응하는 영상의 식별 번호에 기 설정된 1보다 큰 정수 N을 더하여 새로운 임의 시점(
Figure 112019082043663-pat00181
)에 대응하는 영상의 식별 번호를 설정할 수 있다.
그리고 제어부(110)는 S402 단계로 진행하여, 상기 S412 단계에서 설정된 임의 시점(
Figure 112019082043663-pat00182
)에 대응하는 영상의 식별 번호와 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00183
)를 비교할 수 있다. 그리고 상기 S412 단계에서 설정된 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00184
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00185
)보다 작은 경우라면, 제어부(110)는 다시 S404 단계 내지 S412 단계를 반복하여 수행할 수 있다. 그리고 S412 단계에서 재설정된 새로운 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00186
)와 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00187
)를 다시 비교할 수 있다.
한편 상기 S402 단계의 체크 결과, 현재 설정된 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00188
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00189
)에 도달하는 경우라면, 현재 획득된 영상의 식별 번호
Figure 112019082043663-pat00190
를
Figure 112019082043663-pat00191
로 정의할 수 있다. 그리고 현재 시점에서 획득된 영상(제1 영상)으로부터 지정 표적(
Figure 112019082043663-pat00192
)의 위치(
Figure 112019082043663-pat00193
)를 검출할 수 있다(S414). 그리고 검출된 지정 표적(
Figure 112019082043663-pat00194
)의 위치(
Figure 112019082043663-pat00195
)에 근거하여 지향 제어값을 생성하고, 생성된 지향 제어값에 근거하여 상기 짐벌부(180)를 제어함으로써, 상기 지정 표적(
Figure 112019082043663-pat00196
)의 위치값(
Figure 112019082043663-pat00197
)에 대응하는 위치로 촬상되는 영상의 중심점이 이동하도록 지행 제어를 수행할 수 있다(S416). 이는
Figure 112019082043663-pat00198
시점의 영상 이후로는 획득되는 영상으로부터 지정 표적(
Figure 112019082043663-pat00199
)를 바로 검출할 수 있기 때문이다. 이에 따라 제어부(110)는 제1 영상에 대해 표적을 검출하는 제1 추적부(152)만 구동하여 짐벌부(180)의 제어를 통한 지향 제어를 수행할 수 있다.
도 6은 상기 도 4의 동작 과정 중, 상기 S416 단계에서 추정된 위치들에 근거하여 지정 표적의 위치를 추정하는 개념을 도시한 개념도이다.
Figure 112019082043663-pat00200
시점 이후에는, 도 6에서 보이고 있는 바와 같이, 지정 표적(
Figure 112019082043663-pat00201
)에 대한 위치(좌표)
Figure 112019082043663-pat00202
를 제1 영상으로부터 바로 획득할 수 있다.
반면,
Figure 112019082043663-pat00203
시점 이후에는, 더 이상 기준 표적(
Figure 112019082043663-pat00204
)에 대한 추적을 수행하지 않기 때문에, 도 5에서 보이고 있는 바와 같이, 영상 중심이 이동된 위치의 추정값
Figure 112019082043663-pat00205
를 추정할 수 없다는 문제가 있다. 이에 지정 표적(
Figure 112019082043663-pat00206
)에 대한 위치(좌표)를 이용하여 도 6에서 보이고 있는 바와 같이
Figure 112019082043663-pat00207
를 구하도록 한다. 도 6에서
Figure 112019082043663-pat00208
는,
Figure 112019082043663-pat00209
가
Figure 112019082043663-pat00210
일 때, 즉 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00211
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00212
)에 도달하였을 때의 시점(
Figure 112019082043663-pat00213
)의 영상에서, 지정 표적(
Figure 112019082043663-pat00214
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00215
)의 중심에 대응하는 위치를 의미할 수 있다.
한편
Figure 112019082043663-pat00216
시점 이후의 지정 표적(
Figure 112019082043663-pat00217
)에 대한 위치(좌표) 추정값
Figure 112019082043663-pat00218
와 영상 중심이 이동된 위치의 추정값
Figure 112019082043663-pat00219
는 하기 수학식 3과 같이 산출될 수 있다.
Figure 112019082043663-pat00220
여기서,
Figure 112019082043663-pat00221
는 제1 영상에서 지정 표적(
Figure 112019082043663-pat00222
)의 위치,
Figure 112019082043663-pat00223
는 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00224
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00225
)에 도달하였을 때의 시점의 영상(
Figure 112019082043663-pat00226
)에서 지정 표적(
Figure 112019082043663-pat00227
)의 위치,
Figure 112019082043663-pat00228
는, 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00229
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00230
)에 도달하였을 때의 시점(
Figure 112019082043663-pat00231
)의 영상에서, 지정 표적(
Figure 112019082043663-pat00232
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00233
)의 중심에 대응하는 위치값을 의미함.
한편 상기 수학식 3에서 시점
Figure 112019082043663-pat00234
가
Figure 112019082043663-pat00235
이면, 임의 시점(
Figure 112019082043663-pat00236
)도
Figure 112019082043663-pat00237
이므로
Figure 112019082043663-pat00238
이다. 따라서 시점(
Figure 112019082043663-pat00239
)에 대응하는 영상에서 지정 표적(
Figure 112019082043663-pat00240
)에 대한 좌표는 심리스(seamless)하게 연결될 수 있다. 또한
Figure 112019082043663-pat00241
는
Figure 112019082043663-pat00242
가
Figure 112019082043663-pat00243
일 때 위 식과 동일하기 때문에 수학식 2와 수학식 3에서
Figure 112019082043663-pat00244
와
Figure 112019082043663-pat00245
는 심리스(Seamless)하게 연결될 수 있다.
한편 수학식 2의
Figure 112019082043663-pat00246
는
Figure 112019082043663-pat00247
≤
Figure 112019082043663-pat00248
일 수 있으며, 수학식 3의
Figure 112019082043663-pat00249
는
Figure 112019082043663-pat00250
<
Figure 112019082043663-pat00251
일 수 있다. 이는 수학식 3의
Figure 112019082043663-pat00252
에서
Figure 112019082043663-pat00253
에
Figure 112019082043663-pat00254
를 대입하면
Figure 112019082043663-pat00255
=
Figure 112019082043663-pat00256
가 되기 때문이다. 따라서 t가 Tb가 될 때 수학식 2에서
Figure 112019082043663-pat00257
의 계산을 위해 기준표적(
Figure 112019082043663-pat00258
)에 대한 추적을 수행하지 않아도 되도록, 수학식 2와 3에서
Figure 112019082043663-pat00259
는 하기와 같이 계산될 수도 있다.
Figure 112019082043663-pat00260
한편 수학식 2에서
Figure 112019082043663-pat00261
는
Figure 112019082043663-pat00262
가
Figure 112019082043663-pat00263
일 때 제어부(110)가
Figure 112019082043663-pat00264
를 저장해 두면 이 후
Figure 112019082043663-pat00265
가 변함에 따라 변하지 않으므로,
Figure 112019082043663-pat00266
가
Figure 112019082043663-pat00267
보다 커지는 경우에도 계속 이용 가능하다. 마찬가지로 수학식 3에서,
Figure 112019082043663-pat00268
가
Figure 112019082043663-pat00269
일 때
Figure 112019082043663-pat00270
=
Figure 112019082043663-pat00271
이고,
Figure 112019082043663-pat00272
=
Figure 112019082043663-pat00273
이므로,
Figure 112019082043663-pat00274
가
Figure 112019082043663-pat00275
일 때
Figure 112019082043663-pat00276
를 산출하고, 산출된 값을 저장하여 두면, 산출된 값을
Figure 112019082043663-pat00277
에서 차감하는 것만으로,
Figure 112019082043663-pat00278
가
Figure 112019082043663-pat00279
보다 클 때의
Figure 112019082043663-pat00280
를 쉽게 산출할 수 있다.
한편 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00281
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00282
)에 도달하는 경우, 즉,
Figure 112019082043663-pat00283
=
Figure 112019082043663-pat00284
=
Figure 112019082043663-pat00285
인 경우, 제어부(110)는 표적 지정 정보의 수신에 따른 지연 오차가 보상된 것으로 판단할 수 있다. 따라서 제어부(110)는 새로운 표적 지정 정보가 수신되기 전까지, S414, S416 단계를 반복 수행하여, 상기 수학식 3으로부터 제1 영상을 통해 검출되는 지정 표적(
Figure 112019082043663-pat00286
)의 위치를 검출하고, 검출된 위치에 따라 지향 제어값을 생성할 수 있다. 그리고 생성된 지향 제어값에 따라 짐벌부(180)를 제어하여 지향 제어를 수행할 수 있다.
그러나 새로운 지정 표적(c)에 대한 표적 지정 정보가 수신되는 경우, 제어부(110)는 현재 지정 표적(
Figure 112019082043663-pat00287
)의 위치를 기준 표적으로 설정하고, 도 4의 과정을 통해 새로운 지정 표적(c)에 대한 추적 및 지향 제어를 수행할 수 있다.
한편 본 발명의 실시 예에 따른 원격구동 카메라(100)는, 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00288
)가 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00289
)에 도달하지 못하는 경우(
Figure 112019082043663-pat00290
<
Figure 112019082043663-pat00291
또는
Figure 112019082043663-pat00292
<
Figure 112019082043663-pat00293
), 지정 표적의 위치 추정값(
Figure 112019082043663-pat00294
)에 근거하여 촬상되는 영상의 조준선을 이동시킬 수 있다. 이 경우 조준선이 움직이는 속도가 너무 빠르면 짐벌부(180)의 모션이 너무 커지게 되므로 영상이 크게 흔들릴 수 있으며, 이로 인해 영상 추적이 실패할 가능성이 있다.
따라서 예에 따른 원격구동 카메라(100)는, 보간된 가상의 시선을 형성하여 조준선의 지향 속도를 조절할 수 있다. 도 7a는 이러한 경우에 본 발명의 실시 예에 따른 원격구동 카메라(100)에서, 표적의 위치를 추정한 값들에 근거하여 산출된 가중치에 따라 짐벌이 제어되는 동작 과정을 도시한 흐름도이다.
도 7a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 원격구동 카메라(100)의 제어부(110)는, 먼저 S408 단계에서 추정된 위치들, 즉 지정 표적(
Figure 112019082043663-pat00295
)의 위치 추정값(
Figure 112019082043663-pat00296
)와, 지정 표적(
Figure 112019082043663-pat00297
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00298
)의 중심이, 현재 획득된 영상(
Figure 112019082043663-pat00299
)에서 이동된 위치의 추정값(
Figure 112019082043663-pat00300
)과 기 설정된 가중치를 반영하여 상기 가중치가 반영된 지향 제어값을 생성할 수 있다(S700).
여기서 상기 S700 단계는 하기 수학식 4와 수학식 5에서 보이고 있는 바와 같은 가중합 함수에 따라 지향 제어값을 산출할 수 있다.
Figure 112019082043663-pat00301
한편 범위 [0, 1]의 변수 w의 값을 0에서 1로 증가시킴에 따라 그 결과는 임의의 벡터 u에서 v로 심리스(seamless)하게 이동될 수 있다. 이러한 가중합 함수를 이용하여, 하기 수학식 5와 같이 가중치가 반영된 지향 제어값(
Figure 112019082043663-pat00302
, 가중치가 반영된 지정 표적의 위치 추정값)을 생성할 수 있다.
Figure 112019082043663-pat00303
여기서 가중치
Figure 112019082043663-pat00304
는 시간에 따라 증가하며 하기 수학식 5와 같다.
Figure 112019082043663-pat00305
여기서
Figure 112019082043663-pat00306
는 0 ~ 1 사이의 값을 가지는 변수임.
여기서 min 함수는 입력된 두 변수인 1과 wt-1+△w 중 작은 값을 반환하는 함수로서, 결과적으로 wt-1+△w가 1보다 크면 1이 가중치
Figure 112019082043663-pat00307
로 산출될 수 있다. 즉 가중치
Figure 112019082043663-pat00308
의 값이 1로 제한될 수 있다.
한편 상기 수학식 5에 따라 지정 표적(
Figure 112019082043663-pat00309
)에 대하여 가중치
Figure 112019082043663-pat00310
가 1이 된 순간의
Figure 112019082043663-pat00311
를
Figure 112019082043663-pat00312
라 하면
Figure 112019082043663-pat00313
일 때
Figure 112019082043663-pat00314
는
Figure 112019082043663-pat00315
와 같아질 수 있으므로, 상기 수학식 5는, 하기 수학식 7과 같이 정리될 수 있다.
Figure 112019082043663-pat00316
여기서,
Figure 112019082043663-pat00317
는 지정 표적(
Figure 112019082043663-pat00318
)에 대하여 가중치
Figure 112019082043663-pat00319
가 1이 될 때 획득된 영상의 식별 번호이고,
Figure 112019082043663-pat00320
는 0에서 1의 값을 가지며, 시간에 따라 증가하는 가중치이며,
Figure 112019082043663-pat00321
는 지정 표적(
Figure 112019082043663-pat00322
)의 위치 추정값이고,
Figure 112019082043663-pat00323
는 지정 표적(
Figure 112019082043663-pat00324
)이 지정된 시점에 획득된 영상(
Figure 112019082043663-pat00325
)의 중심이, 현재 획득된 영상(
Figure 112019082043663-pat00326
)에서 이동된 위치의 추정값임.
즉 수학식 7에 따르면, 지정 표적(
Figure 112019082043663-pat00327
)에 대하여 가중치
Figure 112019082043663-pat00328
가 1이 될 때의 시점(
Figure 112019082043663-pat00329
=
Figure 112019082043663-pat00330
)까지는 가중치를 부여하여 지향 제어가 과도하게 수행되는 것을 방지하고, 가중치
Figure 112019082043663-pat00331
가 1이 될 때의 시점(
Figure 112019082043663-pat00332
=
Figure 112019082043663-pat00333
) 이후부터는 지정 표적(
Figure 112019082043663-pat00334
)의 위치에 따라 지향 제어가 수행되는 것을 알 수 있다.
한편 위 수학식 7과 수학식 5는 결과적으로 일치한다. 그러나 수학식 7은
Figure 112019082043663-pat00335
구간에서
Figure 112019082043663-pat00336
를 계산할 필요가 없다는 점에서 의미가 있다. 이와 같은 방식으로 가중치를 사전에 정의된 값
Figure 112019082043663-pat00337
만큼 증가시키고,
Figure 112019082043663-pat00338
가
Figure 112019082043663-pat00339
에서
Figure 112019082043663-pat00340
로 이동할 수 있도록 할 수 있도록, 적절한
Figure 112019082043663-pat00341
값 설정을 통해 지향속도를 조절할 수 있다. 이 때 산출된 가중치가 0.1인 경우에 계산되는 지향 제어값과 그에 따른 시선을 추종하는 조준선의 예를 도시한 도 7b와 같이 조준선인
Figure 112019082043663-pat00342
를 지향 제어값
Figure 112019082043663-pat00343
에 따라 제어함으로써 심리스(Seamless)한 지향을 수행할 수 있다.
한편, 지정 표적(
Figure 112019082043663-pat00344
)의 선행 표적이 없는 상태에서, 지정 표적(
Figure 112019082043663-pat00345
)이 지정된 시점에서 획득된 영상(
Figure 112019082043663-pat00346
)에서 표적 지정에 따른 지향 제어를 수행할 경우, 현재 영상이 획득된 시점(
Figure 112019082043663-pat00347
)(또는 현재 획득된 영상의 식별 번호)가
Figure 112019082043663-pat00348
, 즉, 임의 시점(
Figure 112019082043663-pat00349
)가 현재 영상이 획득된 시점(
Figure 112019082043663-pat00350
)가 되는 시점까지 상기 수학식 7과 같이
Figure 112019082043663-pat00351
를 구하기 위한
Figure 112019082043663-pat00352
를 상기 수학식 2에 따라 구할 수 없다.
따라서 이 경우, 하기 수학식 8과 같이 영상 중심 좌표 c로 대체하고
Figure 112019082043663-pat00353
가
Figure 112019082043663-pat00354
이후 일 때부터 지향 제어가 수행되도록 할 수도 있다. 여기서 상기 영상 중심 좌표 c는 지정 표적이 지정될 당시에 원격구동 카메라(100)에서 획득되는 영상(지정 표적이 지정될 때, 즉 표적 지정 정보가 수신될 때에, 메모리에 저장된 영상들 중 식별번호가 가장 큰 영상)의 중심, 즉 좌표가 0,0 인 지점일 수 있다.
Figure 112019082043663-pat00355
여기서 상기 수학식 8의
Figure 112019082043663-pat00356
는
Figure 112019082043663-pat00357
일 수 있다. 이 경우 가중치는 하기 수학식 9와 같이, 현재 영상이 획득된 시점(
Figure 112019082043663-pat00358
)이,
Figure 112019082043663-pat00359
(임의 시점(
Figure 112019082043663-pat00360
)가, 영상이 획득 시점(
Figure 112019082043663-pat00361
)가 될 때의 시점)보다 커질 때부터 증가될 수 있다.
Figure 112019082043663-pat00362
한편 위 수학식 7과 수학식 8에서
Figure 112019082043663-pat00363
가
Figure 112019082043663-pat00364
일 때, 도 7b에서와 같이,
Figure 112019082043663-pat00365
가 표적 관통 시선(
Figure 112019082043663-pat00366
)상에 놓이게 되므로 지향 제어가 종료된 것으로 볼 수 있다.
한편 추적 초기화 정보는 임의의 상황에서 수신될 수 있다. 일 예로 표적 지정 정보가 수신되는 경우, 제어부(110)는 새로운 표적의 추적을 위한 추적 초기화 정보가 수신된 것으로 판단할 수 있다. 이 경우 본 발명은 수학식 7과 수학식 8을 이용하여 다음과 같은 모든 상황에서 적절한 지향 제어를 수행하도록 한다.
1) 임의의 표적을 지향 혹은 응시제어 하고 있지 않은 상황에서 추적 초기화 정보 수신
2) 임의의 표적을 지향 제어 하고 있는 상황에서 추적 초기화 정보 수신
3) 임의의 표적을 응시 제어 하고 있는 상황에서 추적 초기화 정보 수신
이 모든 상황에 대처하기 위하여 본 발명은 지향 제어를 초기화할 수 있다. 이와 같은 초기화 과정을 이용하여 여러 경우에 대한 예를 들어 설명하기로 한다. 이러한 설명을 위하여 표적 i,j k가 있다고 가정한다(시점 순서 i->j->k).
최초로 표적 에 대하여 표적 지정이 발생하면 수학식 8에 따라 표적 i를 지정 표적으로서 설정하고 지향제어를 수행할 수 있다. 그리고 표적 i로의 지향 제어 중, 표적 j에 대한 표적 지정 정보가 시점 tj에서 수신된다고 가정하면, 두 가지 경우로 나누어 표적 j로의 지향 제어을 수행할 수 있다.
만일 tj >= Tj(임의 시점 영상 식별 번호가 현재 영상이 획득된 시점에 도달된 시점)이면 시점 tj에서 획득된 영상에서 표적 j의 위치가 가용하므로, 기준 표적이 가용한 상태이다. 따라서 표적 i와 j를 각각 기준 표적 및 지정 표적으로 설정하고 수학식 7에 따라 지향 제어을 수행할 수 있다.
반면 tj < Tj이면 시점 tj에서 획득된 영상에서 표적 j의 위치를 구할 수 없으므로 기준 표적이 없는 경우가 될 수 있다. 따라서 표적 j를 지정 표적으로 설정하고 수학식 8에 따른 지향 제어를 수행한다.
또 다른 예로, 수학식 7에 따라 표적 i를 추적하다가 tj부터 표적 j로 지향하고 있을 때 tk(> tj)에서 표적 k에 대한 표적 지정 정보가 수신된 경우를 가정할 수 있다. 이 때 tk < Tk(임의 시점 영상 식별 번호가 현재 영상이 획득된 시점에 도달된 시점)이면 시점 tj에서 획득된 영상에서 표적 j의 위치가 기준 표적으로 가용하고, tk >= Tk이면 시점 tk에서 획득된 영상에서 표적 k의 위치가 기준 표적으로 가용하다. 이 경우 표적 k가 지정 표적이 되고, 기준 표적 가용 상황에 따라 표적 i 또는 표적 j를 기준 표적으로 설정 후 수학식 7에 따른 지향 제어를 수행할 수 있다.
도 8은, 이처럼 표적이 지정될 때에, 기준 표적을 설정하는 동작 과정을 도시한 흐름도이다.
도 8을 참조하여 살펴보면, 본 발명의 실시 예에 따른 원격구동 카메라(100)는 표적 지정 정보가 수신되는 경우, 수신된 표적 지정 정보에 따른 표적을 추적할 수 있다(S800). 이 경우 제어부(110)는 상기 도 4에 근거하여 임의 시점의 영상 식별 번호를 설정하고, 현재 획득된 영상의 식별 번호와 같아질 때까지 임의 시점의 영상 식별 번호를 증가시키면서 상기 표적 지정 정보에 따른 제1 표적의 추적(제1 표적의 위치 검출 및 검출된 위치에 따른 지향 제어)을 수행할 수 있다.
이러한 상태에서, 제어부(110)는 지향 제어가 초기화되는지 여부를 판단할 수 있다(S802). 여기서 지향 제어 초기화는 새로운 표적이 설정되는 경우에 수행될 수 있다. 즉 상기 제1 표적과 다른 제2 표적이 설정되는 경우 제어부(110)는 지행 제어를 초기화할 수 있다. 여기서 상기 제2 표적의 설정은, 상기 제2 표적에 대한 표적 지정 정보가 원격제어장치(200)로부터 수신되는 경우에 이루어질 수 있다.
상기 S802 단계의 판단 결과, 제2 표적으로 지향 제어 초기화가 수행되지 않은 경우라면, 제어부(110)는 제1 표적의 추적을 수행하는 상태를 그대로 유지할 수 있다. 그러나 제2 표적으로 지향 제어 초기화가 수행되는 경우라면, 제어부(110)는 현재 추적 중인 제1 표적이 기준 표적이 가용 가능한지 여부를 판단할 수 있다(S804).
일 예로 제어부(110)는 현재 획득되는 영상만으로 상기 제1 표적의 추적이 가능한지 여부에 따라 상기 제1 표적이 기준 표적으로 가용 가능한지 여부를 판단할 수 있다. 즉, 도 4의 S412 단계를 통해 점차 증가되는 임의 시점의 영상 식별 번호가, 현재 획득된 영상의 식별 번호와 같아짐에 따라 표적 지정 정보의 수신에 따른 지연 오차의 보상이 완료되고, 현재 획득되는 영상만으로 상기 제1 표적의 추적이 가능한 경우라면, 제어부(110)는 현재 추적 중인 제1 표적이 기준 표적으로 가용 가능하다고 판단할 수 있다.
반면 현재 획득되는 영상만으로 상기 제1 표적의 추적이 가능하지 않은 경우, 즉 도 4의 S412 단계를 통해 점차 증가되는 임의 시점의 영상 식별 번호가, 현재 획득된 영상의 식별 번호에 도달하지 못함에 따라 임의 시점에 대응하는 영상과 현재 획득된 영상 모두에서 표적의 위치가 검출되어야 하는 경우, 제어부(110)는 현재 추적 중인 제1 표적이 기준 표적으로 가용 가능하지 않다고 판단할 수 있다.
또는 제어부(110)는 상기 제1 표적의 추적이, 기준 표적이 없이도 가능한지 여부에 따라 상기 제1 표적이 기준 표적으로 가용 가능한지 여부를 판단할 수 있다. 즉, 현재 획득되는 영상만으로 상기 제1 표적의 추적이 가능함에 따라 더 이상 기준 표적이 없이도 제1 표적의 추적이 가능한 경우, 제어부(110)는 상기 제1 표적을, 상기 제2 표적의 기준 표적으로 가용할 수 있다고 판단할 수 있다.
상기 S804 단계의 판단 결과, 제1 표적을 기준 표적으로 가용 가능한 경우라면, 제어부(110)는 상기 제1 표적을 기준 표적으로 설정하고, 제2 표적을 지정 표적으로 설정할 수 있다(S806). 그리고 상기 도 4에 따라 기준 표적(제1 표적)을 이용하여, 지정 표적(제2 표적)을 추적하고, 추적된 위치에 따라 산출된 지향 제어값에 근거하여 지향 제어를 수행할 수 있다.
한편 상기 S804 단계의 판단 결과, 제1 표적을 기준 표적으로 가용 가능하지 않은 경우라면, 제어부(110)는 상기 제1 표적의 추적에 이용된 기준 표적을 제2 표적의 기준 표적으로 설정할 수 있다(S810).
만약 이 경우 제1 표적이, 선행 추적된 표적이 없음으로 인해 영상 중심을 기준으로 추적된 상태라면, 상기 영상 중심의 위치가 제2 표적에 대한 기준 표적으로 설정될 수 있다.
그리고 제어부(110)는 제2 표적을 지정 표적으로 설정하고, 상기 S808 단계로 진행하여 제2 표적을 추적 및, 추적된 위치에 따라 산출된 지향 제어값에 근거하여 지향 제어를 수행할 수 있다.
도 9는 본 발명의 실시 예에 따른 원격구동 카메라에서, 지정표적의 예측 위치에 근거하여 지향 제어 속도를 제어하는 개념을 도시한 개념도이다.
본 발명의 실시 예에 따른 원격구동 카메라(100)는 수학식 6에서 본 바와 같이 가중치 조절을 통해 지향 속도를 줄일 수 있으며, 이에 따라 카메라 모션을 줄여 표적을 안정적으로 추적할 수 있다.
한편 본 발명의 실시 예에 따른 원격구동 카메라(100)는 수학식 7과 같이 지향 제어를 수행할 때 도 3과 같이 제1 및 제2 추적기가 각각 최근 획득된 영상(
Figure 112019082043663-pat00367
)와 임의 시점의 영상(
Figure 112019082043663-pat00368
)에서 표적 추적을 수행한다. 그러나 임의 시점의 영상(
Figure 112019082043663-pat00369
)의 식별 번호는 1보다 큰 정수인 N 단위로 그 값이 증가하기 때문에, 임의 시점의 영상(
Figure 112019082043663-pat00370
)에 대한 추적기는 N배의 카메라 모션을 경험하게 된다. 따라서 지정 표적에 대한 추적이 실패할 수 있다.
따라서 도 9 같이 기준 표적에 대한 결과를 이용하여 지정표적의 위치를 사전에 예측 후, 그 주위에서 표적 검색을 하는 방법을 고려할 수 있다. 즉 하기 수학식 10과 같이 임의 시점의 영상(
Figure 112019082043663-pat00371
)에서 지정표적의 위치에 대한 예측 값을 구할 수 있다.
Figure 112019082043663-pat00372
그리고
Figure 112019082043663-pat00373
를 중심으로 지정표적에 대한 추적을 수행하여
Figure 112019082043663-pat00374
를 찾는다. 이 때
Figure 112019082043663-pat00375
이기 때문에 표적 검색 영역이 넓지 않아도 안정적인 추적이 이루어질 수 있다. 이 과정은 기준 표적을 이용하는 수학식 7을 위해 수학식 2와 같이
Figure 112019082043663-pat00376
를 구하기 위한
Figure 112019082043663-pat00377
를 구하는 과정에 적용될 수 있다.
그러나 기준 표적이 존재하지 않는 경우인 수학식 8과 같은 경우에서는 이러한 예측을 수행할 수 없다. 이 경우 현재 영상에서의 표적 정보인
Figure 112019082043663-pat00378
가 생성되기 전까지
Figure 112019082043663-pat00379
를 c로 하여 짐벌을 관성 좌표계 상에서 움직이지 않게 하므로, 카메라 움직임에 대응하기 위한 수학식 10의 예측 방법이 크게 요구 되지 않을 수 있다.
한편 상술한 설명에서 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00380
)의 증가량은, 제1 추적부(152)와 제2 추적부(154)의 추적 결과에 따른 지정 표적의 위치값 추정 또는 검출이 수행될 때마다 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00381
)와 비교되는 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00382
)의 증가량보다 더 큰 값일 수 있다.
즉, 제1 추적부(152)와 제2 추적부(154)의 추적 결과에 따른 지정 표적의 위치값 추정 또는 검출의 수행 시간이, 촬상부(130)에서 영상이 획득되는 시간과 동일한 경우, 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00383
)와 비교되는 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00384
)는 1씩 증가할 수 있다. 이 경우 상기 수학식 1에서 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00385
)의 증가량 N은 1보다 큰 정수일 수 있다.
그러나 지정 표적의 위치값 추정 또는 검출에 소요되는 시간이, 촬상부(130)에서 영상이 획득되는 시간의 3배가 소요되는 경우, 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00386
)에 비교되는 현재 획득된 영상의 식별 번호(
Figure 112019082043663-pat00387
)는 3씩 증가할 수 있다. 이 경우 상기 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00388
)의 증가량은 3보다 크게 설정될 수 있다. 즉, 상기 임의 시점에 대응하는 영상의 식별 번호(
Figure 112019082043663-pat00389
)의 증가량은, 지정 표적의 위치 추적을 위해 상기 임의 시점에 대응하는 영상의 식별번호(
Figure 112019082043663-pat00390
)와 비교(상기 도 4의 S402 단계)되는 현재 획득된 영상의 식별번호(
Figure 112019082043663-pat00391
) 증가량 보다 큰 값의 정수일 수 있다.
한편 상기 도 4의 S402 단계의 판단 결과에 따르면, 임의 시점에 대응하는 영상의 식별번호(
Figure 112019082043663-pat00392
)가 현재 획득된 영상의 식별번호(
Figure 112019082043663-pat00393
) 에 도달하는 경우, 제1 추적부(152)의 추적 결과만 사용할 수 있음을 언급한 바 있다. 이 경우 제어부(110)는 상기 제2 추적부(154)에 공급되는 전원을 차단하거나 또는 상기 제2 추적부(154)를 저전력 모드 또는 슬립(sleep) 모드로 전환하여 소모 전력을 절감할 수도 있음은 물론이다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 그러나 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 원격구동 카메라
110 : 제어부 120 : 통신부
130 : 촬상부 140 : 메모리
142 : 영상 저장부 144 : 추적 정보 저장부
150 : 추적부 152 : 제1 추적부
154 : 제2 추적부 160 : 지연 보상부
170 : 가중치 생성부 180 : 짐벌부
200 : 원격 제어 장치
202 : 재생부 204 : 입력부
250 : 획득된 영상 260 : 표적 지정 정보

Claims (14)

  1. 영상을 획득하는 촬상부;
    상기 촬상부가 지향하는 방향을 변경하는 짐벌부;
    획득된 시간 순서에 따라 순차적으로 증가하는 식별번호를 가지는 영상들이 저장되는 메모리;
    획득된 영상들을 원격제어장치로 전송하고, 상기 원격제어장치로부터 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보를 수신하는 통신부;
    상기 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상으로부터 기 설정된 기준 표적의 위치를 추적하는 제1 추적부와, 상기 영상 식별번호에 대응하는 영상의 시점과 상기 제1 영상이 획득된 시점 사이의 영상들 중 어느 하나의 영상인 제2 영상으로부터 상기 지정 표적 및 상기 기준 표적의 위치들을 추적하는 제2 추적부를 포함하는 추적부; 및,
    상기 제2 영상의 식별번호와 상기 제1 영상의 식별번호를 비교하고, 비교 결과에 따라, 상기 제2 영상으로부터 추적된 지정 표적의 위치와 기준 표적의 위치 및, 상기 제1 영상으로부터 추적된 기준 표적의 위치에 근거하여 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하거나 상기 제1 영상으로부터 상기 지정 표적의 위치값을 검출하고, 상기 추정하거나 또는 검출된 지정표적의 위치값에 따라 상기 촬상부가 지향하는 방향이 변경되도록 상기 짐벌부를 제어하는 제어부를 포함하며,
    상기 기준 표적은,
    상기 지정 표적에 선행하여 추적된 표적으로, 상기 제1 추적부를 통해 상기 제1 영상으로부터 검출된 위치값 만으로 추적이 가능한 표적임을 특징으로 하는 원격구동 카메라.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 지정 표적의 위치값을 추정하거나 검출하면, 상기 제2 영상의 식별번호에 기 설정된 값을 더하고, 상기 기 설정된 값이 더해진 식별번호에 대응하는 영상을 다시 제2 영상으로 검출하며,
    상기 기 설정된 값은,
    상기 제2 영상의 식별번호와 비교되는 제1 영상의 식별번호 증가량 보다 더 큰 값을 가지는 것을 특징으로 하는 원격구동 카메라.
  3. 제1항에 있어서, 상기 제어부는,
    상기 제2 영상의 식별번호와 상기 제1 영상의 식별번호 비교 결과,
    상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 작은 경우 상기 제1 추적부의 추적 결과와 제2 추적부의 추적 결과 모두에 근거하여 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하고,
    상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 큰 경우 상기 제1 추적부의 추적 결과 하나로부터 상기 제1 영상에 대한 상기 지정 표적의 위치값을 검출하는 것을 특징으로 하는 원격구동 카메라.
  4. 제3항에 있어서, 상기 제어부는,
    상기 제2 영상의 식별번호가 상기 제1 영상의 식별번호보다 큰 경우, 상기 제2 추적부를 저전력 모드로 구동하는 것을 특징으로 하는 원격구동 카메라.
  5. 제1항에 있어서, 상기 제어부는,
    상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하는 경우, 추정된 위치값에 대해 하기 수학식 4 내지 5에 따른 기 설정된 가중합 함수에 따른 가중치를 반영하고, 상기 촬상부가 지향하는 방향이 변경되는 속도가 제한되도록 상기 가중치가 반영된 지정 표적의 위치 추정값에 근거하여 상기 짐벌부를 제어하는 것을 특징으로 하는 원격구동 카메라.
    [수학식 4]
    Figure 112019082043663-pat00394

    [수학식 5]
    Figure 112019082043663-pat00395

    여기서,
    Figure 112019082043663-pat00396
    는 상기 가중치가 반영된 지정 표적의 위치 추정값,
    Figure 112019082043663-pat00397
    는 상기 지정 표적이 지정된 시점에 획득된 영상(
    Figure 112019082043663-pat00398
    )의 중심이, 상기 제1 영상(
    Figure 112019082043663-pat00399
    )에서 이동된 위치의 추정값,
    Figure 112019082043663-pat00400
    는 상기 지정 표적의 위치 추정값,
    Figure 112019082043663-pat00401
    는 시간에 따라 증가하는 가중치임.
  6. 제5항에 있어서, 상기 가중치
    Figure 112019082043663-pat00402
    는,
    0에서 1 사이의 값을 가지는 것을 특징으로 하는 원격구동 카메라.
  7. 삭제
  8. 제1항에 있어서, 상기 제어부는,
    상기 기준 표적이 없는 경우, 표적 지정 정보가 수신될 때에, 메모리에 저장된 영상들 중 식별번호가 가장 큰 영상의 중심을 상기 기준 표적으로 설정하는 것을 특징으로 하는 원격구동 카메라.
  9. 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보가 수신되면, 두 개의 추적부를 적어도 하나 구동하여, 현재 저장된 영상들 중 가장 큰 식별번호를 가지는 제1 영상과, 상기 영상 식별번호에 대응하는 영상의 시점과 상기 제1 영상이 획득된 시점 사이의 영상들 중 어느 하나의 영상인 제2 영상 중 적어도 하나로부터 기 설정된 기준 표적과 상기 지정 표적의 위치들 중 적어도 하나를 검출하여, 상기 제1 영상에서의 상기 지정 표적의 위치를 자체적으로 추적하는 원격구동 카메라; 및,
    상기 원격구동 카메라로부터 전송되는 영상들 중 어느 하나에 대해 상기 지정 표적이 설정되면, 상기 영상 식별번호와 상기 화소 좌표를 상기 표적 지정 정보로 전송하고, 상기 전송된 표적 지정 정보에 대한 응답으로 상기 원격구동 카메라로부터, 상기 지정 표적의 위치 추적 결과에 따른 영상을 수신하는 원격제어장치를 포함하며,
    상기 기준 표적은,
    상기 지정 표적에 선행하여 추적된 표적으로, 상기 제1 영상으로부터 검출된 위치값 만으로 추적이 가능한 표적임을 특징으로 하는 원격구동 카메라 제어 시스템.
  10. 원격제어장치로부터 지정 표적이 설정된 영상의 영상 식별번호와 상기 지정 표적의 화소 좌표를 포함하는 표적 지정 정보가 수신하는 제1 단계;
    상기 영상 식별번호에 대응하는 영상이 획득된 시점과, 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상이 획득된 시점 사이의 임의 영상을 제2 영상으로 검출하는 제2 단계;
    상기 제2 영상의 식별 번호와, 상기 제1 영상의 식별 번호를 비교하는 제3 단계;
    상기 제3 단계의 비교 결과, 제2 영상의 식별 번호가 상기 제1 영상의 식별 번호보다 작은 경우, 상기 제2 영상으로부터 추적된 지정 표적의 위치와 기준 표적의 위치 및, 상기 제1 영상으로부터 추적된 기준 표적의 위치를 검출하는 제4 단계;
    상기 검출된 위치들에 근거하여, 상기 제1 영상에 대한 상기 지정 표적의 위치값을 추정하는 제5 단계;
    상기 지정 표적의 위치 추정값에 따라, 영상이 촬영되는 중심 위치가 변경되도록 지향 제어를 수행하는 제6 단계;
    상기 제2 영상의 식별번호에 기 설정된 값을 더하고, 상기 기 설정된 값이 더해진 식별번호에 대응하는 영상을 다시 제2 영상으로 검출하고, 상기 메모리에 저장된 영상들 중 식별번호가 가장 큰 제1 영상을 검출하는 제7 단계; 및,
    상기 제7 단계에서 검출된 제2 영상의 식별번호와 제1 영상의 식별 번호를 비교하고, 비교 결과에 따라 상기 제4 단계 내지 제7 단계를 다시 수행하는 제8 단계를 포함하며,
    상기 기 설정된 값은,
    상기 제7 단계가 수행될 때마다 증가하는 제1 영상의 식별번호 증가량 보다 더 큰 값을 가지는 것을 특징으로 하는 원격구동 카메라의 제어 방법.
  11. 삭제
  12. 제10항에 있어서, 상기 제4 단계는,
    상기 제3 단계의 비교 결과, 제2 영상의 식별 번호가 상기 제1 영상의 식별 번호보다 큰 경우 상기 제1 영상으로부터 상기 지정 표적의 위치값을 검출하는 제4-1 단계; 및,
    상기 검출된 지정 표적의 위치값에 따라, 영상이 촬영되는 중심 위치가 변경되도록 지향 제어를 수행하는 제4-2 단계를 포함하는 것을 특징으로 하는 원격구동 카메라의 제어 방법.
  13. 제10항에 있어서, 상기 제6 단계는,
    상기 추정된 지정 표적의 위치값에 대해 하기 수학식 4 내지 5에 따른 기 설정된 가중합 함수에 따른 가중치를 반영하고, 상기 중심 위치가 변경되는 속도가 제한되도록, 상기 가중치가 반영된 지정 표적의 위치 추정값에 근거하여 상기 지향 제어를 수행하는 것을 특징으로 하는 원격구동 카메라의 제어 방법.
    [수학식 4]
    Figure 112019082043663-pat00403

    [수학식 5]
    Figure 112019082043663-pat00404

    여기서,
    Figure 112019082043663-pat00405
    는 상기 가중치가 반영된 지정 표적의 위치 추정값,
    Figure 112019082043663-pat00406
    는 상기 지정 표적이 지정된 시점에 획득된 영상(
    Figure 112019082043663-pat00407
    )의 중심이, 상기 제1 영상(
    Figure 112019082043663-pat00408
    )에서 이동된 위치의 추정값,
    Figure 112019082043663-pat00409
    는 상기 지정 표적의 위치 추정값,
    Figure 112019082043663-pat00410
    는 시간에 따라 증가하는 가중치임.
  14. 제13항에 있어서, 상기 가중치
    Figure 112019082043663-pat00411
    는,
    0에서 1사이의 값을 가지는 것을 특징으로하는 원격구동 카메라의 제어방법.
KR1020190097715A 2019-08-09 2019-08-09 원격구동 카메라 및 그 제어 방법 KR102068800B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190097715A KR102068800B1 (ko) 2019-08-09 2019-08-09 원격구동 카메라 및 그 제어 방법
US16/709,017 US10880464B1 (en) 2019-08-09 2019-12-10 Remote active camera and method of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190097715A KR102068800B1 (ko) 2019-08-09 2019-08-09 원격구동 카메라 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR102068800B1 true KR102068800B1 (ko) 2020-01-22

Family

ID=69368610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190097715A KR102068800B1 (ko) 2019-08-09 2019-08-09 원격구동 카메라 및 그 제어 방법

Country Status (2)

Country Link
US (1) US10880464B1 (ko)
KR (1) KR102068800B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408518A (zh) * 2021-07-06 2021-09-17 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
KR102468355B1 (ko) * 2022-06-29 2022-11-17 국방과학연구소 변위 정보 이분화를 통한 상호보완적 짐벌 제어 기반의 이동 객체 감시 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7438684B2 (ja) * 2019-07-30 2024-02-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111246115A (zh) * 2020-02-20 2020-06-05 深圳市昊一源科技有限公司 无线传输系统及发射控制装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130066909A (ko) * 2011-12-13 2013-06-21 국방과학연구소 짐벌 플랫폼의 지향 오차 측정 방법 및 그 장치
KR20180130643A (ko) * 2017-05-29 2018-12-10 국방과학연구소 플랫폼 운용시스템 및 그의 표적 포착 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100472205B1 (ko) 2002-12-21 2005-03-10 한국전자통신연구원 전자광학추적기에서 영상 추적부의 시간지연 보상 제어기및 제어방법
EP2479990A3 (en) * 2005-06-23 2013-01-23 Israel Aerospace Industries Ltd. A system and method for tracking moving objects
IL219639A (en) * 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
KR101560578B1 (ko) 2014-03-11 2015-10-16 국방과학연구소 영상 처리를 이용한 김발장치의 지향오차 제어 장치 및 방법
KR101738519B1 (ko) 2015-12-29 2017-06-08 국방과학연구소 시간 지연이 존재하는 맨 인 더 루프 시스템에서 가중치 융합을 이용한 표적 추적 방법 및 장치
KR101864944B1 (ko) 2016-10-14 2018-06-05 국방과학연구소 속도 및 가속도 적응 파라메터를 이용한 영상기반 표적추적 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130066909A (ko) * 2011-12-13 2013-06-21 국방과학연구소 짐벌 플랫폼의 지향 오차 측정 방법 및 그 장치
KR20180130643A (ko) * 2017-05-29 2018-12-10 국방과학연구소 플랫폼 운용시스템 및 그의 표적 포착 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408518A (zh) * 2021-07-06 2021-09-17 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
KR102468355B1 (ko) * 2022-06-29 2022-11-17 국방과학연구소 변위 정보 이분화를 통한 상호보완적 짐벌 제어 기반의 이동 객체 감시 장치 및 방법

Also Published As

Publication number Publication date
US10880464B1 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
KR102068800B1 (ko) 원격구동 카메라 및 그 제어 방법
US10165233B2 (en) Information processing method, electronic device and computer storage medium
JP6774597B2 (ja) 無人移動装置、引継方法、プログラム
US8180107B2 (en) Active coordinated tracking for multi-camera systems
CN108574822B (zh) 一种实现目标跟踪的方法、云台摄像机和监控平台
CN110784641B (zh) 组合来自多个摄像机的视图的方法及摄像机系统
US7636105B2 (en) Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera
WO2017057054A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US9965830B2 (en) Image processing apparatus, image processing method, and program
US10798345B2 (en) Imaging device, control method of imaging device, and storage medium
US20120019660A1 (en) Video motion compensation and stabilization gimbaled imaging system
CN111213002B (zh) 一种云台控制方法、设备、云台、系统及存储介质
JP6574645B2 (ja) 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
JP2006086591A (ja) 移動体追跡システム、撮影装置及び撮影方法
KR20120118790A (ko) 카메라 간 협업을 이용한 영상 감시 시스템 및 방법
CN110754080A (zh) 图像获取方法、成像装置及拍摄系统
KR102456332B1 (ko) 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법
CN102792673A (zh) 图像模糊补偿装置
JP2009017302A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US20240022821A1 (en) Imaging system, and control apparatus and imaging apparatus constituting same
JP2019145885A (ja) 制御装置および撮像システム
JP7175595B2 (ja) 撮像装置、制御装置、撮像システム及び撮像システムの制御方法
US11763494B2 (en) Mobile surveillance apparatus and operation method thereof
US20240244319A1 (en) Image capturing apparatus that captures image of moving object, image capturing system, method of controlling image capturing apparatus, and storage medium
CN111684784A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant