KR102608332B1 - 대상 추적 알고리즘 - Google Patents

Abstract

일 실시 예에 따른 비행체의 길이 방향을 기준으로 roll/pitch 방향으로 구동하는 카메라를 이용하여 대상을 추적하는 대상 추적 알고리즘은, 상기 카메라의 구동 메커니즘은, 카메라 영상의 중심을 기준으로 카메라 시야각을 회전시키는 Roll 구동과, 상기 대상의 위치가 상기 카메라 영상의 중심에 오도록 상기 카메라 시야각을 선형 이동시키는 Pitch 구동을 하고, 상기 대상이 상기 카메라 영상의 중점의 주위에 위치할 때, 상기 카메라 영상의 두 지점간 픽셀오차가 아닌 구동축을 기준으로 하는 목표 위치와 현재 위치의 차이에 기초하여 게인(gain)을 설정할 수 있다.

Description

대상 추적 알고리즘{TARGET TRACKING ALGORITHM}

아래의 설명은 대상 추적 알고리즘에 관한 것이다.

유도탄 또는 미사일과 같은 비행체에 장착되어 목표물을 추적하는 카메라는 도 1과 같이, 비행체의 길이 방향에 대하여 수직방향으로 장착될 수 있다. 이 경우, 카메라 영상의 좌표계(X,Y)와 카메라 구동 메커니즘의 좌표계(Yaw,Pitch)가 일치하게 된다. 도 3의 (a)를 참조하면, 카메라 영상의 X축은, 카메라 구동 메커니즘의 Yaw축에 대응되고, 카메라 영상의 Y축은, 카메라 구동 메커니즘의 Pitch축에 대응된다. 카메라의 영상에 표적이 포착되면, 표적이 카메라 영상의 중심에 오도록 카메라 구동 메커니즘을 구동시킴으로써, 영상 내에서 표적이 카메라 영상의 중심으로 이동하는 것으로 관찰될 수 있다. 이 때, 추적 오차인 X축의 픽셀(pixel)을 카메라 수평 화각 정보를 이용하여, 카메라 구동 메커니즘의 Yaw축의 각도(deg)로 환산하고, PID 제어를 적용하여, Yaw 모터를 구동하여 카메라를 구동시킬 수 있다. 또한, 추적 오차인 Y의 픽셀(pixel)을 카메라 수직 화각 정보를 이용하여, 카메라 구동 메커니즘의 Pitch축의 각도(deg)로 환산하고, PID 제어를 적용하여, Pitch 모터를 구동하여 카메라를 구동시킬 수 있다. 즉, X축 픽셀 오차만큼 Yaw 구동 명령을 내릴 수 있고, Y 픽셀 오차만큼 Pitch 구동 명령을 내릴 수 있으며, 이와 같은 관계는 Yaw, Pitch 축의 구동이 서로 영향을 주지 않으면서도, 선형적이며 직교성을 갖는다. PID제어에 의해 추적 오차가 0으로 줄어드는 방향으로 Pitch, Yaw모터가 독립적으로 구동되면, 표적은 영상의 중심으로 이동하게 된다. 이와 같이, Yaw/Pitch 구동으로 작동할 경우, 영상 정보(픽셀 오차)만을 이용하여, 속도 구동 명령을 생성하므로, 영상좌표계의 중점과 구동 탐색기의 구동축이 일치하게 된다. 따라서, 추적 대상이 영상좌표계의 중점에 가까이 있을 때에도 카메라의 구동 메커니즘이 과도하게 움직이는 문제가 발생하지 않는다.

한편, 도2와 같이, 동체(11)에 장착된 카메라(1)가 동체의 길이 방향에 수평하게 장착될 경우에는, 카메라 영상의 좌표계 및 카메라의 구동 좌표계가 일치하지 않는 문제가 발생할 수 잇다. 이 경우 도1의 요(yaw)구동축이 롤(roll)구동축이 되며, 롤(roll)/피치(pitch) 구동으로 작동할 경우, 영상 좌표계의 중점과 카메라의 구동 메커니즘의 구동축이 이격되어 있을 수 있다. 롤/피치 구동 메커니즘은, 먼저 Roll축을 구동하여 Pitch 구동축을 표적에 정렬한 후 Pitch 구동시키는 방법이다. 추적 대상이 카메라 영상의 중심부 근처에 있을 때, 카메라의 구동 메커니즘은 각도 오차(deg)에 기초하여 게인(gain)을 적용하므로, 카메라의 구동 메커니즘이 짧은 시간에 과도하게 큰 각도로 움직이는 문제가 발생할 수 있다. 도 3의 (b)는 카메라의 롤 구동 및 피치 구동을 통하여 대상을 카메라의 중심으로 이동할 수 있다. 예를 들어, 추적오차 X,Y[pixel]을 카메라 화각정보를 이용하여, 카메라 구동 메커니즘의 축 x, y각도[rad]로 환산하고, 아래 수학식을 이용하여 구동 메커니즘의 Roll 각도, Pitch각도를 계산할 수 있다.

예를 들어, Pixel 오차를 화각(FOV)를 이용하여 각도로 변경할 수 있다.

x = 현재 수평화각(rad) * Pixel_x / 최대해상도(1920)

y = 현재 수직화각(rad) * Pixel_y / 최대해상도(1080)

카메라 영상 내에서 x,y를 Roll/Pitch 각도로 변경할 수 있다.

(Roll 구동값)

(pitch 구동값)

계산된 Roll각도, Pitch 각도를 오차로 이용하여 PID 제어를 적용하고, Roll/Pitch 모터를 구동할 수 있다. 이때, PID제어에 의해 추적오차가 0으로 줄어드는 방향으로 Roll/Pitch모터가 구동되면, 표적은 영상중심으로 이동하는 것으로 관찰될 수 있다. 도 1과 같이, 수직 장착시와 달리, 추적구동시 Roll구동과 Pitch구동이 서로 연관되어 있어, 매 순간 Roll 구동값과 Pitch 구동값이 변경된다. 이 경우, 추적 대상이 같은 픽셀만큼 이동해도, 영상 중심과 가까울 수록 Roll 회전명령이 커져(비선형) 구동 불안정해지는 문제가 발생한다. 이 때, 도 4와 같이, 위치1에서 위치2로 이동하는 대상을 추적할 때, 제한 영역(Dead Zone)이 적용되어, 제한 영역 내에서는 Roll 구동이 제한되고 pitch 구동만 수행될 수 있다. 다만, 이와 같은 경우에도 제한 영역의 경계에서는, roll 구동의 회전 명령이 크다는 문제점이 여전히 존재한다.

미국 등록특허 US 11,371,806 B2(등록일 2022년06월28일)에는 카메라/센서 네비게이션 및 자동 목표물 인식에 관하여 개시되어 있다.

전술한 배경기술은 발명자가 본 발명의 도출과정에서 보유하거나 습득한 것으로서, 반드시 본 발명의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.

일 실시 예에 따르면, 카메라 영상의 픽셀 오차를 구동축 중심으로 목표 위치를 롤/피치 구동에 따라 위치 제어 가능한 대상 추적 알고리즘을 제공할 수 있다.

일 실시 예에 따르면, 카메라 영상의 중점의 근처에 위치한 대상을 추적하는 경우에도, Roll 구동이 과도하게 수행되는 것을 방지할 수 있는 대상 추적 알고리즘을 제공할 수 있다.

일 실시 예에 따르면, 비행체의 동체의 길이 방향을 기준으로 Roll/pitch 방향으로 구동하는 카메라를 통하여 정면 지향하는 영상으로 안정적으로 대상을 추적할 수 있는 대상 추적 알고리즘을 제공할 수 있다.

일 실시 예에 따른 비행체의 길이 방향을 기준으로 roll/pitch 방향으로 구동하는 카메라를 이용하여 대상을 추적하는 대상 추적 알고리즘이 기록매체에 저장된 컴퓨터 프로그램에 있어서, 카메라의 구동 메커니즘은, 카메라 영상의 중심을 기준으로 카메라 시야각을 회전시키는 Roll 구동과, 상기 대상의 위치가 상기 카메라 영상의 중심에 오도록 상기 카메라 시야각을 선형 이동시키는 Pitch 구동을 하고, 상기 대상이 상기 카메라 영상의 중점의 주위에 위치할 때, 카메라 영상의 두 지점간 픽셀 오차가 아닌 구동축을 기준으로 하는 목표 위치와 현재 위치의 차이에 기초하여 게인(gain)을 설정할 수 있다.

상기 목표 위치와 상기 현재 위치의 차이에 기초하여 상기 카메라의 구동 메커니즘의 구동 속도 명령(deg/sec)을 발생시킬 수 있다.

상기 대상 추적 알고리즘은, 화각을 이용하여 Pixel 오차를 아래 [수학식 1] 및 [수학식 2]에 따라 각도로 변경하는 것을 특징으로 할 수 있다.

[수학식 1]

x = 현재화각(rad) * Pixel_x / 최대해상도(1920)

[수학식 2]

= 현재화각(rad) * Pixel_y / 최대해상도(1080)

상기 대상 추적 알고리즘은, 아래 [수학식 3] 및 [수학식 4]에 따라 구동축 중심 Roll/Pich 목표위치로 변경할 수 있다.

[수학식 3]

[수학식 4]

(ψ, r : 현재 위치 (Roll, Pitch), ψ′, r′: 표적 위치 (Roll, Pitch))

일 실시 예에 따른 대상 추적 알고리즘은, 카메라 영상의 픽셀 오차를 구동축 중심으로한 목표 위치로 환산하여 롤/피치 구동에 따라 위치 제어할 수 있다.

일 실시 예에 따른 대상 추적 알고리즘은, 카메라 영상의 중점의 근처에 위치한 대상을 추적하는 경우에도, Roll 구동이 과도하게 수행되는 것을 방지할 수 있다.

일 실시 예에 따른 대상 추적 알고리즘은, 비행체의 동체 길이 방향을 기준으로 Roll/pitch 방향으로 구동하는 카메라를 통하여 정면 지향하는 영상으로 안정적으로 대상을 추적할 수 있다.

도 1은 수직 방향으로 장착된 카메라를 구비한 비행체를 나타낸 도면이다.
도 2는 수평 방향으로 장착된 카메라를 구비한 비행체를 나타낸 도면이다.
도 3의 (a)은 Yaw/Pitch 구동 메커니즘을 나타내는 도면이고, 도 3의 (b)는 Roll/Pitch 구동 메커니즘을 나타낸 도면이다.
도 4는 카메라 영상의 중심부 근처에서 이동할 때, 제한 영역이 적용되는 예시를 나타낸 도면이다.
도 5는 일 실시 예에 따른 대상 추적 알고리즘의 도면이다.
도 6은 일 실시 예에 따른 대상 추적 알고리즘의 추적 과정을 나타낸 도면이다.
도 7은 일 실시 예에 따른 대상 추적 알고리즘의 순서도이다.

이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

도 5는 일 실시 예에 따른 대상 추적 알고리즘의 도면이다.

도 5를 참조하면, 대상 추적 알고리즘은, 추적오차 X,Y[pixel]을 카메라 화각정보를 이용하여, 각도 x, y [rad]로 환산하고, 현재위치(Roll/Pitch)를 이용하여 영상 추적 대상의 좌표를 구동좌표계(Roll/Pitch)의 목표위치로 변환할 수 있다. 이 때, 구동좌표계에서 영상에서의 추적 대상의 위치와 현재 위치의 차이를 이용하여, 위치제어를 수행할 수 있다. PID제어에 의해 위치오차가 0으로 줄어드는 방향으로 Roll/Pitch모터가 구동되면, 표적은 영상중심으로 이동할 수 있다. 대상 추적 알고리즘에 따르면, 수평 장착시 영상추적에서 Roll구동과 Pitch구동이 서로 연관되어 있음에도, 대상이 카메라 중심 부근에서 움직이는 상황에서, Roll 구동명령이 큰 값으로 변하지 않을 수 있다.

도 6은 일 실시 예에 따른 대상 추적 알고리즘의 추적 과정을 나타낸 도면이다.

도 6을 참조하면, 대상 추적 알고리즘은, (i) Pixel 오차를 화각(FOV)를 이용하여 각도로 변경하고, (ii) 구동축 중심 Roll/Pich 목표위치로 변경할 수 있다.

(i) Pixel 오차를 화각(FOV)를 이용하여 각도로 변경하기 위한 관계식

x = 현재화각(rad) * Pixel_x / 최대해상도(1920)

y = 현재화각(rad) * Pixel_y / 최대해상도(1080)

(ii) 구동축 중심 Roll/Pich 목표위치로 변경하기 위한 관계식

(ψ, r : 현재 위치 (Roll, Pitch), ψ′, r′: 표적 위치 (Roll, Pitch))

도 7은 일 실시 예에 따른 대상 추적 알고리즘의 순서도이다.

도 7을 참조하면, 대상 추적 알고리즘은, 비행체에 카메라를 수평으로 장착시 Roll 축 추적 속도를 개선할 수 있다. 예를 들어, 대상 추적 알고리즘은, 영상 정보에서의 Pixel 오차와 현재위치를 이용하여, 목표점 위치제어를 함으로써 영상추적 구현할 수 있다.

이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (4)

1. 비행체의 길이 방향을 기준으로 roll/pitch 방향으로 구동하는 카메라를 이용하여 대상을 추적하는 대상 추적 알고리즘에 있어서,
   상기 카메라의 구동 메커니즘은, 카메라 영상의 중심을 기준으로 카메라 시야각을 회전시키는 Roll 구동과, 상기 대상의 위치가 상기 카메라 영상의 중심에 오도록 상기 카메라 시야각을 선형 이동시키는 Pitch 구동을 하고,
   상기 대상이 상기 카메라 영상의 중점의 주위에 위치할 때, 상기 카메라 영상의 두 지점간 픽셀오차가 아닌 구동축을 기준으로 하는 목표 위치와 현재 위치의 차이에 기초하여 게인(gain)을 설정하고,
   상기 목표 위치와 상기 현재 위치의 차이에 기초하여 상기 카메라의 구동 메커니즘의 구동 속도 명령(deg/sec)을 발생시키는 것을 특징으로 하는 대상 추적 알고리즘이 기록매체에 저장된 컴퓨터 프로그램.
   
2. 삭제
3. 제1 항에 있어서,
   상기 대상 추적 알고리즘은,
   화각을 이용하여 Pixel 오차를 아래 [수학식 1] 및 [수학식 2]에 따라 각도로 변경하는 것을 특징으로 하는,
   [수학식 1]
   x = 현재화각(rad) * Pixel_x / 최대해상도(1920)
   
   [수학식 2]
   y = 현재화각(rad) * Pixel_y / 최대해상도(1080)
   대상 추적 알고리즘이 기록매체에 저장된 컴퓨터 프로그램.
   
4. 제3 항에 있어서,
   상기 대상 추적 알고리즘은,
   아래 [수학식 3] 및 [수학식 4]에 따라 구동축 중심 Roll/Pich 목표위치로 변경하는 것을 특징으로 하는,
   [수학식 3]
   
   
   [수학식 4]
   
   (ψ, r : 현재 위치 (Roll, Pitch), ψ′, r′: 표적 위치 (Roll, Pitch))
   대상 추적 알고리즘이 기록매체에 저장된 컴퓨터 프로그램.

Images