KR20070035027A - 이미지 확장식 관성 항법 시스템 및 방법 - Google Patents

Abstract

운송수단(10)에 탑재된 이미지 확장식 관성 항법 시스템(LAWS)은 항법 상태 벡터를 추정하도록 구성된 관성 항법 시스템(INS)과, 촬영장치의 시야(x,y,z)를 통과하는 지역 지형과 관련된 픽셀 신호를 출력하도록 구성된 촬영장치(12)를 포함한다. 이 시스템(IAINS)은 관성 항법 시스템(INS)과 촬영장치(12)에 동작가능하게 접속된 처리장치를 또한 포함한다. 이 처리장치는 주어진 이미지 프레임에 대하여 특징 픽셀 신호와 관련된 촬영장치로부터 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심까지의 거리를 감지하도록 구성되어 있다. 처리장치는 또한 지역 지형이 촬영장치의 시야을 통과할 때 각 지역 지형을 추적하도록 구성되어 있다. 처리장치는 또한 추적된 지역 지형에 대한 관성 항법 시스템(INS)의 계산된 NED(North, East, Down) 좌표 위치 정보를 기초로 관성 항법 시스템(INS)의 항법 상태 벡터를 갱신하도록 구성되어 있다.

Description

이미지 확장식 관성 항법 시스템 및 방법{IMAGE-AUGMENTED INERTIAL NAVIGATION SYSTEM (IAINS) AND METHOD}

본 발명은 운송수단을 조종하는 시스템 및 방법에 관한 것이다. 특히, 본원 개시 내용은 운송수단의 이미지 확장식 관성 항법 시스템 및 방법에 관한 것이다.

느슨하게 커플링된(loosely-coupled) 관성 항법 시스템(INS; Inertial Navigation System)의 일반적인 방법은 물체의 항법 상태 벡터의 추정치를 결정하기 위해 두 단계, 1) 물체의 감지된 가속도와 속도의 수치적(또는 다른) 적분을 통해 항법 상태 벡터를 전개하는 단계와, (2) 외부 지원 소스를 이용하여 항법 상태 벡터를 갱신(또는 수정)하는 단계를 실행한다. 외부 지원 소스는 다양한 소스 중 하나 이상으로 될 수 있고, 가장 일반적인 것이 예컨대 미국의 위성항법장치(GPS)와 같은 위성 기반 조정 시스템이다. 이런 INS 솔루션은 지면, 지상, 우주, 또는 해상을 이동하는 운송수단의 항법에 사용되고 있다. 그러나, 가끔씩 GPS와 같은 외부 지원 소스는 각종 이유로 인해 이용할 수 없게 될 수 있다. 예컨대, GPS는 위치에 따라 전파교란되거나 이용할 수 없게 될 수 있다.

GPS 등과 같은 외부 지원 소스의 사용불가를 극복할 수 있는 방법은 이미지 프로세싱에 의한 통상적인 항법 시스템을 포함한다. 이미지 프로세싱에 의한 통상 적인 항법 시스템은 알려진, 저장된 이미지에 관해서 새롭게 검출된 이미지의 위치를 기록한다. 이러한 성공적인 지질 기록(geo-registration)에 따라, 이미지 위치의 북, 동, 및 하방(NED) 좌표는 INS 유도 항법 상태 벡터를 갱신하는 외부 지원 소스로 사용될 수 있다. 그러나, 실시간 지질 기록이 매우 CPU 집약적이므로 이런 이미지 기반 지질 기록은 통상적으로 매우 강력한 컴퓨터 처리장치(CPU)를 필요로 한다. 매우 강력한 CPU의 이용은 엄청나게 고가일 수 있고 또한 특정 응용에 이용할 수 없는 공간을 필요로 할 수 있다.

전술한 결점의 결과로서, GPS와 같은 NED 외부 지원 소스를 이용할 수 없는 조건에서도, 항법 시스템을 탑재하는 운송수단이 연속적인 항법 솔루션을 얻도록 하는 항법 시스템을 제공하는 것이 바람직하다. 또한, 강력한 CPU를 필요로 하지 않는 항법 시스템을 제공하는 것이 바람직하다.

전술한 하나 이상의 결점을 해결하는 것이 바람직하다. 예시적으로 개시된 시스템 및 방법은 전술한 하나 이상의 결점을 만족하도록 추구할 수 있다. 본원에 개시된 시스템 및 방법은 전술한 하나 이상의 결점을 제거할 수 있지만, 개시된 시스템 및 방법의 일부 태양이 결점을 반드시 제거할 수 있는 것은 아니라는 것을 이해해야만 한다.

이후 상세한 설명에서, 특정 태양과 실시형태는 명백하게 될 것이다. 광의의 의미에서, 본 발명은 이들 태양과 실시형태 중 하나 이상의 지형을 갖지 않고 실행될 수 있다는 것을 이해해야만 한다. 이들 태양과 실시형태는 단지 예시적이라는 것을 이해해야만 한다.

일 태양에서, 본원에 구현되고 폭넓게 기술한 바와 같이, 본 발명은 항법 상태 벡터를 추정하도록 구성된 관성 항법 시스템과, 촬영 장치의 시야를 통과하는 지역 지형과 관련된 픽셀 신호를 출력하도록 구성된 촬영장치를 포함하는 이미지 확장식 관성 항법 시스템을 구비한다. 이 시스템은 또한 관성 항법 시스템과 촬영장치에 동작가능하게 접속된 처리장치를 구비한다. 이 처리장치는 이미지 프레임에 대하여 촬영장치로부터 픽셀 신호를 기초로 주어지는 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심까지의 거리를 결정한다. 이 처리장치는 또한 지역 지형이 촬영장치의 시야 내에 유지하는 동안 지역 지형을 포함하는 최초 이미지 프레임에서 후속 이미지 프레임까지 각각의 지역 지형을 추적하고, 각각의 추적된 지역 지형의 NED 좌표 위치 정보를 계산한다. 이 처리장치는 또한 계산된 NED 좌표 위치 정보를 기초로 관성 항법 시스템의 항법 상태 벡터를 갱신하도록 구성된다.

다른 태양에 의하면, 운송수단은 이미지 확장식 관성 항법 시스템을 포함한다. 이 시스템은 항법 상태 벡터를 추정하도록 구성된 관성 항법 시스템과, 촬영 장치의 시야를 통과하는 지역 지형과 관련된 픽셀 신호를 출력하도록 구성된 촬영장치를 포함한다. 이 시스템은 또한 관성 항법 시스템과 촬영장치에 동작가능하게 접속된 처리장치를 구비한다. 이 처리장치는 이미지 프레임에 대하여 촬영장치로부터 픽셀 신호를 기초로 주어지는 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심까지의 거리를 결정한다. 이 처리장치는 또한 지역 지형이 촬영장치 내에 유지하는 동안 지역 지형을 포함하는 최초 이미지 프레임에서 후속 이미지 프레임까지 각각의 지역 지형을 추적하고 각각의 추적된 지역 지형의 NED 좌표 위치 정보를 계산한다. 이 처리장치는 또한 계산된 NED 좌표 위치 정보를 기초로 관성 항법 시스템의 항법 상태 벡터를 갱신하도록 구성된다.

본 발명의 다른 태양에 의하면, 운송수단과 관련된 관성 항법 시스템의 항법 상태 벡터를 갱신하는 방법은 주어진 이미지 프레임에 대하여 운송수단과 관련된 촬영장치로부터 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심까지의 거리를 결정하는 단계를 포함한다. 이 방법은 또한 지역 지형이 촬영장치의 시야를 통과할 때 최초 이미지 프레임에서 후속 이미지 프레임까지 각각의 지역 지형에 대한 NED 좌표 위치 정보를 계산하는 단계와 계산된 NED 좌표 위치 정보를 기초로 관성 항법 시스템의 항법 상태 벡터를 갱신하는 단계를 포함한다.

전술한 구조적 그리고 절차적 장치 이외에, 본 발명은 이후에 설명하는 바와 같은 다수의 장치를 포함한다. 전술한 설명과 이후의 설명 모두는 예시적이라는 것이 이해될 것이다.

첨부도면은 본원 명세서에 합체되어 그 일부를 구성하고 있다. 도면은 본 발명의 예시적 실시형태를 도시하고, 본원의 상세한 설명과 함께, 본 발명의 일부 원리를 설명하도록 기능한다.

도 1은 예시적인 이미지 확장식 관성 항법 시스템을 포함하는 NED 좌표계로 방향이 지향된 운송수단의 개략도이다.

이제 본 발명의 가능한 예시적인 실시형태를 상세히 설명하고, 그 실시예는 첨부도면에 도시되어 있다. 지금까지 사용한 동일 참조번호는 동일부품을 지시하는 도면과 본원 상세한 설명에 사용된다.

예시적인 이미지 확장식 관성 항법 시스템(IAINS)은, NED 외부 지원 소스이 이용될 수 없는 조건에서도, INS 및 IAINS 등을 유지하는 운송수단이 연속적인 항법 솔루션을 얻도록 하는 이미징 유효 탑재량(imaging payload)을 포함한다.

도 1에 개략적으로 도시한 바와 같이, 예컨대 항공기와 같은 호스트 운송수단(10)은 촬영장치(12)를 탑재한다. 촬영장치(12)는, 예컨대, 카메라, 광선레이더, 레이더 또는 당분야의 당업자에게 알려진 다른 유사한 장치가 될 수 있다. 촬영장치(12)는 CPU를 포함할 수 있거나 또는 CPU는 촬영장치(12)로부터 별도로 분리되어 위치될 수 있다. 촬영장치(12)는 이미지화될 대상 풍경(예컨대, 운송수단(10)이 비행하는 지역의 지형)의 방향으로 조준되고 있다. 운송수단(10)과 INS 축(x,y,z)에 관해서 촬영장치(12)의 방향에 대한 구속조건은 없다. 운송수단(10)과 INS 축에 관한 촬영장치(12)의 방향과 오프셋(offset)을 언제나 알 수 있는 한, 이런 방향은 고정될 수 있거나 또는 실시간으로 변화할 수 있다.

운송수단(10)이 지역 위를 이동할 때, 촬영장치(12)는 지면의 풍경을 관찰하고 풍경의 투사된 풍경 이미지는 촬영장치(12)의 이미지 평면에 걸쳐 이동한다. 간략화를 위해, 도 1은 운송수단(10)과 INS z-축과 직접적으로 일치하는 촬영장치(12)의 투영방향을 도시하고, 운송수단(10)과 INS 축은 정렬된 축 시스템을 갖지 만, 이는 반드시 요구되는 것은 아니다.

예시적인 이미지 확장식 관성 항법 시스템에 따르면, 개념은 두 특성: (1) INS 시스템의 특성과, (2) 외부 지원 소스의 특성을 조합한다. 이 조합은 (a) 이미지 좌표에서의 이미지 정보의 픽셀 어레이와, (b) 픽셀에 의해 나타나는 촬영장치(12)(예컨대, 레이더, 광선레이더, 비디오, 또는 그 외 다른 이미징 시스템)로부터 지형의 지면 위치까지의 상대 거리를 나타내는 관련 범위 값과, (c) 지형이 이미지를 통해 이동할 때 지형의 자동화된 추적을 포함하는 데이터를 제공한다. 일부 실시형태에 따른 이미지 확장식 항법 시스템은 최소 이미지 처리 능력이 필요하므로, 강력한 CPU가 불필요하게 한다. 실제로, 일부 실시 형태에 따르면, 확인된 지형이 촬영장치(12)의 시야를 통해 이동할 때, 이미지 평면에서 높은 콘트라스트 지형을 확인하고, 프레임에서 프레임으로 확인된 지형을 추적하는 것이 충분할 수 있다.

예컨대, 항법 외부 지원 소스에 대한 이미지 확장식 관성 항법 시스템은 하기 방법으로 갱신된 항법 상태 벡터가 사용된다.

A. NED 좌표 외부 지원 소스이 이용가능하다.

1. NED 좌표 외부 지원 소스는 GPS가 될 수 있고, 또는

2. 이미지, 지면 기반 레이더, 또는 임의의 다른 외부 지원 소스에서 랜드마크의 자동화된 인식에 의한 지질 기록은 INS의 NED 좌표 위치 형태의 정보를 제공한다. 이런 외부 지원 소스 갱신이 이용가능하게 될 때마다 INS 항법 상태 벡터에 대한 이런 방향 NED 좌표 갱신이 이루어진다.

B. 외부 지원 소스에서의 새로운 지형이 이미지에서 추적될 때: 바로 새롭게 확인된 지형의 최초 수신시, 이 새로운 i번째 추적된 지형의 NED 좌표 위치, X_Oi(N,E,D)은 촬영장치(12)의 시야를 떠날 때의 시간까지 태그되어 고정된다. 이는 INS에 대한 이미지 방향과 오프셋(offset)을 통한 INS의 현재 알려진 위치로부터, 실제 지형과 촬영장치(12) 사이의 범위를 투사함으로써 달성될 수 있다.

C. 새로운 이미지가 이용가능하고 모든 추적된 지형에 관한 새로운 정보를 제공할 때:

1. 모든 추적된 지형이 적어도 하나의 이미지 프레임만큼 지난 것이 되며, 각 지형은 X_Oi(N,E,D)에 의해 정의된 초기 NED 위치를 갖는다.

2. 새로운 이미지가 이용가능할 때, 하기 식을 기초로 현재 추적된 각각의 지형을 참조하여 INS 상대 위치의 새로운 이미지 기반 NED 좌표 위치 추정치를 결정한다.

X(t)_i = X_Oi(N,E,D) + C R(t),

여기서 C R(t)는 INS에 대한 촬영장치의 방향과 오프셋을 통해 투사된 범위를 나타낸다.

3. INS에 대한 NED 위치 갱신으로서, 각 지형에 대해 계산된 INS의 각각의 NED 위치 추정치 X(t)_i를 이용한다.

본 개시내용의 구조와 방법론에 대한 각종 변형과 변화가 이루어질 수 있다는 것이 당분야의 당업자에게 명백하다. 따라서, 본 개시내용은 명세서에 토의된 실시예에 제한되지 않는다는 것을 이해해야 한다. 또, 본 개시내용은 변형과 변형를 포함하도록 의도된다.

Claims (7)

1. 항법 상태 벡터를 추정하도록 구성된 관성 항법 시스템과;

   복수의 이미지 프레임에 걸쳐 촬영장치(imager)의 시야를 통과하는 지역 지형(terrain feature)과 관련된 픽셀 신호를 출력하도록 구성된 촬영장치와;

   관성 항법 시스템과 촬영장치에 동작가능하게 접속된 처리장치를 구비하고,

   상기 처리장치는,

   이미지 프레임에 대하여 촬영장치로부터 픽셀 신호를 기초로 주어지는 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심(centroid)까지의 거리를 감지하고,

   지역 지형이 촬영장치의 시야 내에 유지하는 동안 지역 지형을 포함하는 최초 이미지 프레임으로부터 임의의 후속 이미지 프레임까지 각각의 지역 지형을 추적하고,

   각각의 추적된 지역 지형의 최초 태그된 좌표까지 관성 항법 시스템의 NED 좌표 위치 정보를 계산하며,

   계산된 관성 항법 시스템 위치 정보를 기초로 관성 항법 시스템의 항법 상태 벡터를 갱신하도록 구성된, 이미지 확장식 관성 항법 시스템.
2. 청구항 1에 있어서, 상기 처리장치는, 새로운 지역 지형이 촬영장치의 시야 내를 통과할 때 촬영장치와 새로운 지역 지형 사이의 거리를 결정하고 관성 항법 시스템의 현재 알려진 위치를 기초로 새로운 지역 지형과 촬영장치 사이의 거리를 예측함으로써 새로운 지역 지형을 추적하도록 구성되는, 이미지 확장식 관성 항법 시스템.
3. 청구항 1에 있어서, 상기 처리장치는, 현재 관성 항법 시스템 위치, 새로운 지역 지형에 대한 범위, 관성 항법 시스템에 대한 촬영장치의 방향과 오프셋(offset)을 기초로, 새로운 지역 지형이 촬영 장치의 시야에 들어오는 최초에 새로운 지역 지형에 대한 NED 좌표 위치 정보를 결정하고 태그(tag)하도록 구성되는, 이미지 확장식 관성 항법 시스템.
4. 청구항 1의 시스템을 구비하는 운송수단.
5. 운송수단과 관련된 관성 항법 시스템의 항법 상태 벡터를 갱신하는 방법으로서,

   주어진 이미지 프레임에 대하여 운송수단과 관련된 촬영장치로부터 촬영장치의 시야를 통과하는 하나 이상의 지역 지형의 중심까지의 거리를 감지하고,

   지역 지형이 촬영장치의 시야를 통과할 때 최초 이미지 프레임으로부터 후속 이미지 프레임까지 각각의 지역 지형을 추적하고,

   각각의 추적된 지역 지형에 대한 NED 좌표 위치 정보를 계산하며,

   계산된 NED 좌표 위치 정보를 기초로 관성 항법 시스템의 항법 상태 벡터를 갱신하는 방법.
6. 청구항 5에 있어서, 촬영장치와 새로운 지역 지형 사이의 거리를 결정하고 관성 항법 시스템의 현재 알려진 위치를 기초로 새로운 지역 지형과 촬영장치 사이의 거리를 예측함으로써, 새로운 지역 지형이 촬영장치의 시야 내를 통과함에 따라 새로운 지역 지형을 추적하는 것을 추가로 포함하는 방법.
7. 청구항 5에 있어서, 현재 관성 항법 시스템 위치, 새로운 지역 지형에 대한 범위, 관성 항법 시스템에 대한 촬영장치의 방향과 오프셋을 기초로, 새로운 지역 지형이 촬영 장치의 시야에 들어오는 최초에 새로운 지역 지형에 대한 NED 좌표 위치 정보를 결정하고 태그하는 것을 추가로 포함하는 방법.

Images