KR20040081444A

KR20040081444A - 지연 통신 채널을 통한 원격 운송 수단 가이드 방법 및시스템

Info

Publication number: KR20040081444A
Application number: KR10-2004-7010214A
Authority: KR
Inventors: 플로렌틴이츠학; 버거리아트; 아미어 칼리스맨
Original assignee: 라파엘 아마먼트 디벨롭먼트 오쏘리티 엘티디.
Priority date: 2001-12-27
Filing date: 2002-12-23
Publication date: 2004-09-21
Also published as: BRPI0215363B1; DE60217719D1; AU2002366984B2; ATE352021T1; IL147370A; AU2002366984A1; ES2280628T3; CA2471569C; EP1468241A1; CA2471569A1; US7620483B2; EP1468241B2; US20050119801A1; PL369975A1; WO2003060416A1; BR0215363A; PL205063B1; IL147370A0; DE60217719T2; EP1468241B1

Abstract

시간 지연 통신 채널을 통하여 원격 제어 센터로부터 운송 수단을 목표 물체를 향하여 가이드하는 방법이 개시되며, 본 방법은 상기한 운송 수단 측에서 카메라에 의해 촬영된 프레임 이미지를 주기적으로 캡처하고, 타임 스탬프를 부여하여, 스토리지 내에 저장하는 단계와; 상기한 원격 제어 센터 측에 데이터(글로벌 모션 파라미터; GMP)로부터의 타임 스탬프된 전체 또는 부분 데이터를 전송하는 단계를 포함한다. 상기한 제어 센터 측에서 상기한 이미지들은 상기 프레임 및 타임 스탬프 데이터를 이용하여 재구성 및 디스플레이된다. 오퍼레이터는 디스플레이된 특정 프레임 상에 목표 지점을 마킹함으로써 목표를 선택한다. 상기한 목표 지점의 좌표 및 상기한 특정 프레임의 타임 스탬프는 상기한 운송 수단 측에 재전달된다. 운송 수단 측에서는 저장되어 있는 정보에 나타난 상기 선택된 목표 지점을 상기한 GMP를 이용하여 고속 전방 변환한다. 현재 목표 지점이 결정된 다음 상기한 운송 수단의 가이드 시스템에 의해 목표 물체가 자동적으로 트랙킹된다.

Description

지연 통신 채널을 통한 원격 운송 수단 가이드 방법 및 시스템{METHOD AND SYSTEM FOR GUIDING A REMOTE VEHICLE VIA LAGGED COMMUNICATION CHANNEL}

다음의 기재 사항에 대한 이해를 용이하게 하기 위해, 다수의 용어 및 두문자어(acronym)를 다음과 같이 정의한다:

본 명세서에서 용어 "카메라"는 3D 실체(reality)/물체(object)를 캡처하여 이를 일련의 이미지로 변환하는 장치, 시스템, 혹은 유틸리티를 말한다. 오늘날, 3D 물체로부터 이미지를 생성하는 것은 다양한 수단, 예를 들어, 레이더 신호, 적외선 카메라 혹은 비디오 카메라 등에 의해 수행될 수 있다. 상기한 이미지를 본 명세서에서는 "프레임(frames)"이라고 한다.

용어 "운송 수단(vehicle)"은 내부 보조 가이드 시스템(inner guidance sub-system)에 의해 가이드되는 모든 유형의 물체를 말하는 것이다. 이러한 운송 수단의 예로는 차량(car), 항공기, 위성, 어뢰, 미사일, 선박 등이 있다.

용어 "자동 가이드 시스템(automatic guiding system)"은 목표 물체 혹은 영역쪽으로 운송 수단을 가이드하기 위한 시스템을 말한다. 이러한 동작을 수행하기 위해, 운송 수단은 카메라를 구비하고 있다. 이 카메라에 의해 캡처된 이미지들은 제어 센터에 전달되어 디스플레이에 나타나게 된다. 운송 수단을 가이드하거나 혹은 목표 지점이나 디스플레이된 이미지 상의 영역을 마킹하고, 상기 운송 수단의 마킹에 관련된 정보를 전달함으로써, 운송 수단의 제어 메커니즘(본 명세서에서는 "내부 제어 루프" 혹은 "내부 보조 가이드 시스템")은 운송 수단의 조종 시스템이 목표 지점쪽으로 이동하도록 지시한다.

용어 "오퍼레이터"는 운송 수단을 어느 지점 혹은 영역으로 가이드할지에 대한 결정을 하는 인간 혹은 자동화된 수단(즉, 전산화된 시스템)을 말한다. 수동 조작과 관련하여, 포인팅 장치(예를 들어, 컴퓨터 마우스, 조이스틱, 터치 스크린 등)를 통해 수행될 수 있다. 자동화된 수단과 관련하여서는, 자동 장치(로봇)가 디스플레이 혹은 포인팅 수단의 개재 없이도 데이터를 처리할 수 있기 때문에, 디스플레이 혹은 포인팅 장치 어느 쪽도 요구되지 않는다.

일반적으로, 운송 수단으로부터 제어 센터로의 이미지 전송을 필요로 하는 운송 수단 가이드 시스템에서, 이미지 신호는 전송에 요구되는 대역폭을 줄이기 위해 압축된다.

도 1, 도 2a, 및 도 2b는 인간 오퍼레이터에 의해 운송 수단을 원격적으로 가이드하기 위한 종래 기술에 따른 통상적인 시스템을 개략적으로 예시하고 있다.

운송 수단(10)에서: 카메라(11)에 의해 캡처된 프레임들은 압축기(12)(통상은 소프트웨어/하드웨어 구성요소)에서 압축되어 송신기(13)를 통해 제어 센터(20)에 전송된다. 운송 수단으로부터 제어 센터(20)로의 전송을 본 명세서에서는 "다운링크"라고 한다.

제어 센터(20)에서: 전송 신호는 수신기(21)에 의해 수신되고, 복원기(22)(통상은 소프트웨어/하드웨어 구성요소)에서 복원(압축해제)되며, 디스플레이(23) 상에 프레임들이 디스플레이된다.

오퍼레이터(24)는 운송 수단이 가이드되어야 하는 목표 지점을 스크린(23) 상에 마킹하는데 포인팅 장치(25)(마우스 등)를 사용한다. 마킹된 지점의 좌표는 원격 제어 센터의 송신기(26)를 통해 운송 수단에 전송된다. 제어 센터로부터 운송 수단으로의 전송을 본 명세서에서는 "업링크"라고 한다.

다시, 운송 수단에서는, 수신기(14)가 제어 센터(20)로부터 전송되어온 제어 커맨드들을 수신하여 이 명령들을 내부 보조 가이드 시스템(15)에 공급한다. 내부 보조 가이드 시스템(15)은 트래커 혹은 내비게이션 시스템(151)(혹은 양자 모두) 그리고, 운송 수단이 특정 지점으로 향하도록 하는 조종 시스템(152)을 더 구비하고 있다.

이미지의 압축 및 복원은 전달되는 데이터의 양을 줄이고, 대역폭이 좁은 통신 채널의 제한 사항에 적합하도록 하기 위해 수행되는 것이다.

도 1 및 도 2에 기재되고 있는 시스템은 2개의 제어 루프: 즉,

a. 운송 수단의 보조 조종 시스템(steering sub-system)으로 하여금 운송 수단을 규정된 목표 지점으로 가이드하도록 하는 내부 제어 루프.

b. 오퍼레이터로의 다운링크 전송 및 제어 센터로부터 운송 수단으로의 데이터의 업링크 전송을 포함하는 외부 제어 루프로 이루어진다.

외부 루프는 다음의 단계:

a. 카메라가 이미지를 캡처하는, 운송 수단의 샘플링 단계;

b. 데이터의 양을 줄이기 위해 프레임들이 압축되는, 운송 수단의 압축 단계;

c. 압축된 프레임들이 제어 센터에 전송되는 다운링크 루트;

d. 제어 센터에서 수신된 프레임들이 복원되어 오퍼레이터에게 디스플레이 상에 표시되는, 제어 센터의 복원 단계;

e. 오퍼레이터가 새로운 목표 지점을 규정할 수도 있는(필요없을 수도 있음), 포인팅 단계;

f. 새로운 목표 지점의 좌표가 운송 수단에 전송되는, 업링크 루트로 이루어진다.

운송 수단의 내부 루프는 목표 지점쪽으로 이동할 수 있도록 운송 수단의 조종 시스템을 조종한다.

오퍼레이터가 새로운 목표 지점을 마킹하는 경우, 그러면,

- 새로운 목표 지점의 좌표들이 제어 센터로부터 운송 수단으로 업링크를 통해 전송된다;

- 내부 루프 메커니즘은 새로운 목표 지점으로 조종 시스템을 조종하고, 운송 수단은 이 목표 지점쪽으로 가이드된다.

어느 요소들은 카메라에 의해 이미지가 캡처되는 시간과 원격 제어 센터의디스플레이 상에 동일 프레임이 표시되는 시간 사이에 지연을 초래할 수도 있다.

이러한 지연의 주 원인은 이미지를 전송하기 위해 할당된 다운링크 대역폭과 관련될 수도 있다. 만일 대역폭이 충분히 넓지 않으면, 압축 기법의 사용이 요구될 수도 있다. 이러한 기법은 프레임의 스킵 혹은 양방향 추정((bi-directional estimation)(ISO 13818-2(MPEG2-비디오) 등의 압축 표준에서의 B 프레임이라고 함)의 이용을 포함하는 것일 수도 있다. 캡처된 프레임과 디스플레이된 프레임 간의 지연은 두 기법 모두에 있어 고유한 것이다. 일반적으로, 비디오(혹은 이미지) 압축은 가변 속도로 비트를 발생시킨다. 고정된 비트 속도 채널을 통해 이러한 비트를 전송하는 것은 (채널의 두 종단에서의) 버퍼링을 요구하게 되고, 이에 따라 부가적인 지연이 나타나게 된다.

예를 들어, 통신 경로가 릴레이, 전화선, 모뎀, 인터넷 프로토콜 등을 통해 이루어지는 경우에는 지연의 원인이 되는 기타 장애물(obstacles)이 있을 수 있다. 지연은 업링크 뿐만 아니라 다운링크 루트에 나타날 수도 있다.

제어 센터에서 이미지를 디스플레이할 경우 이러한 지연으로 인해, 오퍼레이터는 최근 디스플레이된 이미지(up-to-date displayed images)들을 처리할 수 없다. 또한, 마킹된 지점의 좌표들이 운송 수단에 도착하기까지는 계속해서, 부가적인 지연이 생겨나게 되고, 목표 지점을 마킹할 경우, 운송 수단은 더 이상 오퍼레이터가 식별할 수 있는 지점에 있지 않게 된다.

이러한 문제에 대한 부분적인 해결책으로, 종래 기술에 나타나고 있는 바와 같이 대역폭을 확장하는 방안이 있다. 이러한 방식에서는, 운송 수단과 제어 센터간의 전송 데이터가 고속으로 얻어질 수 있다. 그러나, 이러한 해결책의 단점은 대역폭의 자원을 낭비하게 된다는 점이다. 대역폭의 제한으로 인해, 다른 방안이 요구되고 있다. 또한, 이러한 해결책은 적용될 경우, 압축 지연만 줄여줄 뿐, 지연의 다른 원인들에 대해서는 영향을 주지 못한다.

따라서, 동일 조건 하에서는 제어 성능이 종래 기술에서 알려져 있는 것보다 우수한, 지연된 통신 채널을 통해 운송 수단을 원격적으로 제어하기 위한 방법 및 시스템을 제공하는 것이 본 발명의 목적이다. 특히, 본 발명은 운송 수단으로부터 그 원격지의 오퍼레이터에게 이미지들을 전송하고, 오퍼레이터로부터 운송 수단에 제어신호를 전송할 경우 지연된 통신 채널로 인한 지연에 대한 보상을 제공하는 것을 목적으로 하고 있다.

본 발명의 또다른 목적은 지연된 통신 채널에서, 특히, 운송 수단과 제어 센터를 연결하는 채널의 대역폭이 좁은 경우에 운송 수단의 본질적인 실시간 제어(essentially real-time control)를 가능하도록 하는 것이다.

본 발명의 또다른 목적은 운송 수단이 가이드되는 지점이 정지 상태이거나 혹은 이동 중인 경우에도 운송 수단의 가이드를 수행할 수 있도록 하는 것이다.

본 발명의 또다른 목적은 콤팩트하고 단순하면서도 경제적인 방식으로 상기 문제점들에 대한 해결책을 제공하는 것이다.

본 발명의 다른 목적과 이점들은 설명이 진행됨에 따라 명확해질 것이다.

본 발명은 촬상 수단(image means)의 도움으로 차량을 원격적으로 제어하는 분야에 관한 것이다. 보다 구체적으로는 지연 통신 채널 하에서 운송 수단을 가이드하기 위한 방법 및 시스템에 관한 것이다.

- 도 1 및 도 2a는 운송 수단을 원격적으로 그리고 수동으로 가이드하는 종래 기술에 따른 통상적인 시스템을 개략적으로 예시하는 도면.

- 도 2b는 운송 수단에 존재하는 내부 보조 가이드 시스템의 구성을 나타내는 도면.

- 도 3은 종래 기술에 따른 압축 비디오 신호를 개략적으로 예시하는 도면.

- 도 4a, 4b 및 4c는 본 발명의 세 가지 실시예에 따른 외부 제어 루프에서 프레임을 전송하여 제어 센터에서 이들을 디스플레이하는 3가지 서로 다른 방법의 개략도.

- 도 5a는 운송 수단에 탑재된 카메라가 촬영한 비디오 프레임 시퀀스의 개략도.

- 도 5b는 본 발명의 일 실시예에 따른 오퍼레이터의 디스플레이 상에 제시된 바와 같은, 도 5a의 비디오 프레임의 개략도.

- 도 6a는 본 발명의 일 실시예에 따른, 지연 통신 채널을 통해 정적 목표에 원격 운송 수단을 가이드하는 시스템의 블록도.

- 도 6b는 본 발명의 다른 실시예에 따른, 지연 통신 채널을 통해 동적 목표에 원격 운송 수단을 가이드하는 시스템의 블록도.

본 발명은 원격 제어 센터로부터 운송 수단을 목표 물체를 향하여 가이드하기 위한 방법에 관한 것이며, 상기 원격 제어 센터는 지연 통신 채널을 이용하여 상기 운송 수단과 통신한다.

상기 방법은,

상기 운송 수단 측에서:

(a) 카메라에 의해 프레임 이미지를 주기적으로 캡처하고, 상기 캡처된 프레임 각각에 관련된 고유한 타임 스탬프를 부여하고, 상기 운송 수단 측의 스토리지 내에 상기 캡처된 프레임의 전체 또는 부분 프레임 데이터 및 그 관련된 타임 스탬프를 저장하는 단계;

(b) 상기 저장된 복수의 프레임에 대해, 전체 프레임 데이터, 부분 프레임 데이터 또는 그 조합을 전송되는 각각의 프레임에 대응하는 타임 스탬프와 함께 상기 지연 통신 채널을 통해 전송하여, 상기 전송된 프레임들의 근사(approximate) 또는 정확한(exact) 버전이 재구성되어 상기 제어 센터 측에 디스플레이되도록 하는 단계;

상기 제어 센터 측에서:

(c) 상기 프레임 데이터 및 관련 타임 스탬프를 수신하고, 상기 전송된 전체 및/또는 부분 프레임 데이터로부터 프레임 이미지를 순차적으로 재구성하고, 상기 재구성된 이미지를 디스플레이 상에 디스플레이하는 단계;

(d) 상기 제어 센터 측의 오퍼레이터가 디스플레이된 특정 프레임 상의 한 지점을 마킹하면, 상기 제어 센터 측에서 이용가능한 기준 프레임 또는 상기 특정 프레임 상에 나타난 상기 마킹된 지점에 관한 좌표 표시(indication)를 상기 특정또는 기준 프레임에 관련된 타임 스탬프와 함께 상기 운송 수단 측에 전송하는 단계;

상기 운송 수단 측에서:

(e) 상기 마킹된 좌표 표시 및 상기 전송된 프레임의 타임 스탬프를 수신하는 단계;

(f) 상기 좌표 표시 및 프레임의 타임 스탬프가 수신되면, 상기 프레임으로부터 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 지점 또는 물체의 좌표를 고속 전방 트레이싱하여, 상기 이용가능한 가장 최근의 캡처된 프레임에 나타난 동일 지점 또는 물체의 좌표를 찾아내는 단계; 및

(g) 상기 찾아낸 이용가능한 가장 최근의 캡처된 프레임 내에서의 상기 목표 지점 또는 물체의 좌표를 상기 운송 수단의 내부 보조 가이드 시스템에 제공하여 상기 물체의 트랙킹을 가능하게 하는 단계를 포함하고 있다.

상기 각각의 부분 프레임 데이터는 중간 프레임을 나타내며, 상기 각각의 전체 프레임 데이터는 기준 프레임을 나타내는 것이 바람직하다.

적어도 하나의 중간 프레임은 임의의 2개의 기준 프레임 사이에서 생성되는 것이 바람직하다.

상기 각각의 부분 프레임 데이터는, GMF(Global Motion Function)를 이용하여 계산되며 선행 기준 프레임에 대한 주어진 프레임의 글로벌 변화를 나타내는 GMP(Global Motion Parameter) 세트를 포함하는 것이 바람직하다.

상기 기준 프레임은 상기 제어 센터 측에 전송되기 전에 상기 운송 수단 측에서 압축되며 상기 제어 센터 측에서 복원되는 것이 바람직하다.

상기 압축된 기준 프레임 중 임의의 2개 기준 프레임 사이에 적어도 한 세트의 GMP가 상기 제어 센터에 전송되는 것이 바람직하다.

상기 운송 수단과 상기 제어 센터 측에 동일한 GMF가 이용되는 것이 바람직하다.

상기 각각의 기준 프레임은 상기 제어 센터 측에서 복원된 다음 디스플레이되는 것이 바람직하다.

상기 각각의 중간 프레임은 수신된 동일 프레임의 GMP와 선행 기준 프레임에 관련된 데이터를 이용하여 GMF를 구동(activate)한 후에 상기 제어 센터 측에 디스플레이되는 것이 바람직하다.

상기 오퍼레이터가 디스플레이된 중간 프레임 상에 목표를 마킹하는 경우, 상기 운송 수단 측에서 상기 고속 전방 트레이싱을 수행하기 전에, GMF를 후방 구동하여 상기 마킹된 좌표를 선행 기준 프레임 상의 좌표로 변환하는 단계를 더 포함한다.

본 발명의 일 실시예에서, 상기 GMF의 후방 구동은 상기 운송 수단 측에서 수행된다.

본 발명의 또다른 실시예에서, 상기 GMF의 후방 구동은 상기 제어 센터 측에서 수행된다.

본 발명의 일 실시예에 따르면, 상기 운송 수단을 정적 목표를 향하여 가이드하는 경우, 상기 운송 수단 측에는 단지 중간 프레임의 GMP만이 저장된다. 이경우, 상기 기준 프레임으로부터 상기 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 물체의 좌표를 고속 전방 트레이싱하는 단계는, 상기 운송 수단 측에서의 GMF의 캐스캐이드 구동에 의해, 기준 프레임 상의 상기 물체의 좌표로부터 출발하여, 상기 목표 좌표의 상기 가장 최근의 캡처된 프레임 상에서의 목표 좌표가 결정될 때까지, 새로 저장된 모든 프레임의 GMP에 대해 상기 함수를 적용함으로써 수행된다.

본 발명의 또다른 실시예에 따르면, 상기 운송 수단을 동적 목표를 향하여 가이드하는 경우, 상기 운송 수단 측에는 전체 데이터 프레임이 저장된다. 이 경우, 상기 기준 프레임으로부터 상기 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 물체의 좌표를 고속 전방 트레이싱하는 단계는, 상기 운송 수단 측에서의 고속 전방 물체 트레이싱 유틸리티 구동에 의해, 기준 프레임 상의 상기 목표의 좌표로부터 출발하여, 상기 가장 최근의 캡처된 프레임 상에서의 상기 목표의 좌표가 결정될 때까지, 새로 저장된 모든 프레임에 대해 상기 유틸리티를 적용함으로써 수행된다.

상기 운송 수단 측에서의 고속 전방 물체 트레이싱 유틸리티는, 먼저 상기 제어 센터로부터 제공된 상기 좌표를 이용하여 기준 프레임 상의 상기 마킹된 물체의 영역을 식별한 다음, 상기 가장 최근의 캡처된 프레임 상에서의 상기 영역 내에 있는 상기 목표의 좌표가 결정될 때까지, 새로 저장된 모든 프레임 내에서의 상기 영역의 움직임을 상관(correlation)에 의해 판정한다.

상기 내부 보조 가이드 시스템은 물체를 한 지점으로, 소정의 방향으로 또는보조 내비게이션 시스템, 보조 트래커(tracker) 시스템 또는 그 조합을 이용하여, 이들의 조합으로 트랙킹하는 능력을 갖는 시스템인 것이 바람직하다.

상기 기준 프레임을 나타내는 전체 프레임 데이터는 해당 프레임의 픽셀 묘사 데이터를 포함하는 것이 바람직하며, 상기 기준 프레임은 상기 픽셀 묘사 데이터를 이용하여 상기 제어 센터 측에 재구성 및 디스플레이되는 것이 바람직하다.

상기 전체 프레임 데이터는 선행 기준 프레임에 대한 상기 기준 프레임의 글로벌 변화를 나타내는 적어도 한 세트의 GMP를 포함하는 것이 바람직하다.

상기 기준 프레임은 상기 픽셀 묘사 데이터를 이용하거나 또는 선행 기준 프레임에 대한 상기 기준 프레임의 글로벌 변화를 나타내는 적어도 한 세트의 GMP를 GMF에서 대체(substitute)함으로써 재구성 및 디스플레이되는 것이 바람직하다.

카메라는 운송 수단을 가이드하는데 필요한 정보를 제공하기 위하여 그 일부가 오퍼레이터에게 종국적으로 제공되는 프레임 시퀀스를 제공한다. 이들 프레임을 관측하면서, 오퍼레이터는 원격 운송 수단이 가이드되어야 할 새로운 목표를 마킹할 수 있다. 이미지 속도가 너무 느린 경우에도, 이미지 시퀀스는 "비디오 시퀀스"로 불린다. 통상, 각 인접 프레임 사이에 약 40밀리초를 갖는 프레임 시퀀스는 "라이브"(live) 이미지를 생성한다.

미국특허 제5,835,147호는 각각이 하나의 "기준" 프레임(세그먼트의 제1 프레임) 후에 하나 이상의 "중간" 프레임을 포함하는, 세그먼트의 시퀀스를 포함하는 비디오 신호를 기재하고 있다. 운송 수단의 움직임을 설명하기 위해서, 기준 프레임 및 임의의 중간 프레임과 대응 기준 프레임 간의 변화를 나타내는 수학식을 포함하는 비디오 신호 세그먼트가 본 발명에 따라 적용된다. 여기서 사용되는 "세그먼트"라는 용어는 하나의 기준 프레임을 지칭하며, 제로 또는 그 이상의 후속 중간프레임이 상기 기준 프레임을 뒤따른다.

예를 들어, 두 프레임 간의 글로벌 변화(global change)는 다음과 같이 표현될 수 있다: x'=G_x(x,y); y'=G_y(x,y); 여기서, (x',y')는 기준 프레임에서 좌표(x,y)를 갖는 화면 내의 하나의 지점의 중간 프레임에서의 좌표이다. 이하 "글로벌 모션 함수(global motion function)"으로 불리는 함수 G≡[G_x,G_y]는 제1 프레임과 후속 프레임 간의 "글로벌" 변화만을 나타내며, 프레임 내의 모든 지점에서의 변화는 동일 함수를 충족하는 것으로 가정된다. 상기 주어진 제1 프레임으로부터 상기 후속 프레임을 재구성하는데 요구되는 데이터량은 최소이다.

"글로벌 모션 함수(GMF)"이라는 용어는 여기서 기준 프레임과 후속 프레임 사이에 발생하는 글로벌 모션을 나타내는 함수를 지칭한다. 기준 프레임과 GMF가 주어진 경우, 후속(중간) 프레임이 구성될 수 있다. 상기 중간 프레임은 디스플레이되어야 하는 실시간 상황의 근사이다.

이러한 변환의 단순예는 시프트 연산, 즉, 변환이 x'=a+x; y'=b+y 함수으로 표현되며, 여기서, a와 b는 상수이다. 보다 구체적으로는, 이 예에서, 중간 프레임은 a1,b1, a2,b2, a3,b3,...,an,bn 상수 리스트로서 제공된다. 이러한 방식으로, 비디오 신호(즉, 프레임)를 전송하는데 요구되는 비트량은 상당히 감소된다. 기준 프레임은 당업계에 공지된 압축 방법에 의해 압축될 수 있으며, 이에 따라, 비디오 신호를 저장하는데 요구되는 데이터량을 더욱 감소시킨다. GMF에 의해 재구성된 중간 프레임은 선행의 기준 프레임의 지점에 대하여 모든 프레임 지점의 글로벌, 균일 이동을 가정하기 때문에, 프레임 내의 물체의 상대 이동을 설명할 수 없어서 그 정확성이 제한된다는 점이 주목되어야 한다. 더욱이, GMF 변환을 실행에 의해 이러한 정보가 이용가능하지 않게 됨에 따라, 기준 프레임에 대한 이동으로 인하여 실시간 프레임 내에 포함되어야 하는 새로운 물체는 고려하지 않는다. 새로운 정보가 포함되어야 하는 중간 프레임 영역은 따라서 블랭크 영역으로서 중간 프레임 내에 디스플레이된다. 기타 공지의 GMF는 예를 들어 (a) 4개 파라미터 시프트-회전-줌(shift-rotate-zoom); (b) 보다 일반적인 6개 파라미터 유사(affine) 변환 (x'=ax+by+e, y'=cx+dy+f, 여기서, x, y는 기준 이미지의 좌표이고, x', y'는 제2 이미지의 좌표이며, a,b,c,d,e 및 f는 변환 파라미터이다); (c) 8개 파라미터 원근(perspective) 함수; 등.

"글로벌 모션 파라미터(GMP)"라는 용어는 여기서 기준 프레임으로부터 중간 프레임을 구성하기 위한 상기 GMF에 의해 사용되는 일련의 상수(파라미터)를 지칭한다. 따라서, F1과 F2가 상당한 유사성을 지닌 프레임이면, GMF(F1,GMP)F2(심볼 ''은 양호한 근사를 의미한다).

"글로벌 모션 계산기(GMC)"라는 용어는 여기서 상당한 유사성을 갖는 두개의 프레임으로부터 GMP를 계산하기 위한 함수를 지칭한다. 따라서, GMC(F1,F2,GMF)=GMP이다.

본 발명에 따라서, GMF 유형의 선택은 연역적(a-priory)으로 행해져야 하며, 동일한 선택이 알려져야 하며 운송 수단 측과 제어 센터 측 모두에 적용되어야 한다. 임의의 특정 시각에, 양측 중 하나가 다른 GMF를 사용하기로 결정하면, 신호를 보내어 상대방에게 변화를 알려 변화에 적응할 수 있게 한다. 따라서, 다음 표현이 사용될 수 있다:

GMP(F1,F2)는 기준 프레임(F1)과 현재 프레임(F2)을 사용하여 GMP를 계산하는 것을 의미(GMC(F1,F2,GMF)=GMP)하며, GMP(F1)은 GMP를 사용하여 GMF를 F1에 적용하는 것을 의미(GMF(F1,GMP)F2와 등가)한다. 따라서, 역변환을 적용하는 것은 GMP^-1(F1)으로 표현(GMF^-1(F2,GMP)F1와 등가)되며, 캐스케이드 변환을 적용하는 것은 GMP2*GMP1(F1)(GMF(GMF(F1,GMP1),(GMP2)F3와 등가)으로 표현될 수 있다.

간략함을 위해서, 용어 GMF는 여기서 전체 프레임에 적용되는 하나의 함수를 의미하게 된다. 본 발명의 일 실시예에서, 프레임은 서브 이미지(또는 공간 세그먼트)로 분할 될 수 있으며, 서로 다른 GMF가 각 서브 프레임(또는 공간 세그먼트)에 대하여 사용될 수 있다. 따라서, 용어 GMP는 이러한 경우, 사용시에 일련의 여러 GMP를 지칭할 수 있다.

도 3은 종래 기술에 따른 압축된 비디오 신호를 개략적으로 예시한다. 세그먼트는 갱신 프레임(51), 및 글로벌 모션 파라미터(52 내지 55)를 포함한다. US 5,835,147호에 개시된 바와 같이, 중간 프레임은 기준 프레임(51)과 글로벌 모션 파라미터(52 내지 55)를 사용하여 재구성될 수 있다. GMP는 비디오 신호의 데이터량을 감소시키기 때문에, GMP의 사용은 운송 수단으로부터 제어 센터로의 비디오 신호의 전송에 유용할 수 있다. 이 대역은 몇몇 프레임에 대하여 GMP의 전송을 생략함으로써 더욱 감소될 수 있다. 이러한 경우, 복원기는 추정 GMP를 생성할 수있다. 예를 들어, 프레임(53)의 GMP가 전송되지 않으면, 이의 적절한 추정이 프레임(52 및 54)의 GMP로부터 생성될 수 있다.

도 4a는 본 발명이 해결하는 문제점과 몇몇의 경우를 나타내는 전형적인 경우를 제공한다.

각 컬럼은 다음과 같다:

- 시각: "타임 스탬프"로도 불림. 순차 번호는 프레임 번호를 나타냄. T1, T2, T3 등으로 마킹됨.

- 카메라: 캡처된 프레임의 프레임 번호. 샘플 속도가 일정하다고 가정하면, 이 열은 "타임 스탬프"를 의미함. F1, F2, F3등으로 마킹됨. 두 인접 프레임 간의 시간차는 본 예에서 "타임 슬라이스"로 불린다.

- 압축: 마킹된 프레임의 압축. 프레임들은 당업계에 공지된 이미지 압축 방식을 사용하여 압축된다. 이 예에서, 단지 프레임 F1, F6, F11 및 F16만이 이미지(또는 비디오) 압축기에 제공된다. 더욱이, 이 예에서, 압축 시간은 하나의 타임 슬라이스 정도라고 가정되므로, 프레임 F1이 카메라에 의해 캡처되고 타임 슬라이스(T1)에서 메모리에 저장되므로, 타임 슬라이스 T2에서는 이미 압축되어 있다.

- GMP 계산: 글로벌 모션 파라미터는 G2, G3 및 G4 등으로 마킹되며, 여기서, 지수 (2, 3, 4 등)은 GMP가 가리키는 프레임 번호이다. 표기 Gx(Fi,Fj)는 기준 프레임 Fi와 후속 프레임 Fj로부터 계산된 프레임 x의 글로벌 파라미터이다. 각 세그먼트는 데이터 Fi, Gi+1, Gi+2, Gi+3,...,Gi+n을 포함하며, 여기서, n은 스킵된 프레임의 최대 수이며, 이 예에서는 4이다. 이 예에서, 하나의 프레임의 GMP를 계산하는데 필요한 시간은 하나의 타임 슬라이스 정도로 가정되며, 예를 들어, 타임 슬라이스 T3은 F1과 F2가 이미 내부 메모리에 존재하기 때문에 G2(F1,F2)를 계산할 수 있다.

- 전송: 운송 수단에서 제어 센터에 전송된 정보. 이 예에서, GMP는 매 프레임마다 계산되어 전송되지만, 상술한 바와 같이, 본 발명의 다른 실시예에서, 일부 GMP는 전송되지 않는 수신측에서 추정될 수 있다.

간략함을 위해서, 이 예에서는, 각 프레임 F1, F6, F11 등이 정확히 5 타임 슬라이스동안 전송된 대략 동일한 개수의 비트를 생성하는 것으로 가정된다. 사실상, 압축으로 인해 생성된 비트수는 각 프레임에 있어서 상당히 가변할 수 있다. 통상, 일정한 속도를 유지하는 것이 바람직하며, 이는 예를 들어 버퍼를 이용하여 수행된다. 이러한 원리는 ISO 14496-2(MPEG4-비디오)와 같은 비디오 압축 방식으로 통상 적용된다.

실제적으로는, 압축 방식에 따라 압축된 프레임은 서로 다른 크기를 가질 수 있음이 이해되어야 한다. 통상, 보다 많은 세부사항을 포함하는 압축 프레임을 나타내는 데이터 파일의 크기는 보다 적은 세부사항을 포함하는 동일 압축 프레임을 나타내는 파일의 크기보다 크다. I, P 및 B 프레임(예를 들어, ISO14496-2)을 사용한 압축 방식에 있어서, 압축된 I 프레임은 압축된 P 또는 B 프레임보다 통상 크다. 따라서, 세그먼트당 전송된 데이터 스트림은 일정하지 않으며, 이에 따라, 그 전송 시간도 또한 일정하지 않게 된다.

- 복원 및 GMP 계산: 복원은 제어 센터에서 수행된다. 압축된 프레임(이 예에서, F1, F6, F11...)이 복원된다. 또한, 스킵된 프레임은 관련 기준-복원 프레임에 대한 역 글로벌 변환을 적용하여 재구성된다. 예를 들어, 타임 슬라이스 T9에서, 프레임 F2의 재구성을 생성하기 위해서, 파라미터 G2를 사용한 변환이 복원된 기준 프레임 F1에 적용된다. 이 예에서, 하나의 프레임을 복원하는 기간은 하나의 타임 슬롯보다 크지는 않다. 이탤릭체로 나타낸 프레임은 소스 프레임이 아닌 재구성된 프레임을 의미한다.

- 디스플레이: 이 열은 각 타임 슬롯에서 제어 센터 디스플레이에 디스플레이되는 프레임을 나타낸다.

이 예에서 설명된 바와 같이, 타임 슬라이스 T1에서 캡처된 프레임 F1은 타임 슬라이스 T9에서만 제어 센터 디스플레이 상에 디스플레이된다. 보다 구체적으로는, 이 예에서, 전체 지연은 8 프레임이며, 즉, Fi 타임 스탬프에서 캡처될 때, 오퍼레이터는 프레임 F(i-8)을 관측한다. 그 후에, 타임 슬라이스 T10, T11, T12 및 T13에서, 중간 프레임 F2 내지 F5가 각각 디스플레이된다.

상기 예는 간략하게 설명되었으며, 세부사항이 시스템 별로 변경될 수 있다.

이 예에서, 표기 F1은 압축된 프레임으로부터 원래의 프레임 F12를 재구성하는 것을 의미한다. 표기 G2(F1)(또는, F2=GMF(F1,G2))는 글로벌 모션 파라미터(G2)와 기준 프레임(F1)으로부터 프레임(F2)의 근사를 재구성하는 것을 의미한다. 재구성된 프레임은 오퍼레이터의 디스플레이 상에 디스플레이될 수 있다.

상기한 예에서, 스킵된 프레임의 수는 상수이다(이 예에서는, 4). 본 발명의 다른 실시예에서, "적응형" 시스템이 사용된다. 이러한 적응형 시스템에서는,스킵된 프레임의 수는 일정하지 않으며, 버퍼의 점유율(occupancy)에 따라 동적으로 변화된다. 버퍼 점유율에 따라 시스템 파라미터를 제어하는 사상은 신규한 것이 아니다(ISO14496-2 참조). 본 발명의 적응형 실시예의 단순예는 운송 수단 사이트에서의 출력 버퍼에 전송되기를 대기하는 비트수에 대한 임계치를 설정한다. 버퍼 내의 비트수가 임계치보다 작은 경우에만, 다음 프레임이 기준 프레임으로 설정된다.

정적 목표 지점의 마킹

운송 수단은 마킹된 목표 지점으로 운송 수단을 가이드하기 위한 내부 제어 루프를 포함하는 내부 보조 가이드 시스템을 구비한다. 목표 지점은 정적(예를 들어, 화면에서의 고정 지점) 또는 동적(예를 들어, 다른 이동 운송 수단)일 수 있다. 본 단락은 정적 목표 지점의 트랙킹을 다룬다. 동적 목표 지점의 트랙킹을 다루는 본 발명의 실시예가 이하 설명된다.

다운링크 채널(예를 들어, 운송 수단에서 제어 센터로의) 통신의 지연으로 인하여, 오퍼레이터가 운송 수단이 가이드되어야 할 물체를 디스플레이된 프레임 상에 마킹할 때, 운송 수단은 이 장소에 더이상 존재하지 않을 수 있다. 더욱이, 업링크 지연으로 인해, 이러한 마킹를 캡슐화하는 운송 수단에 대한 제어 명령이 운송 수단에 도착할 때에는, 운송 수단이 마크가 설정되었을 때의 운송 수단의 위치로부터 대부분 멀리 떨어저 있을 수 있다.

본 발명에 따르면, 두개의 다른 실시예가 이러한 난관을 극복하기 위해 사용될 수 있으며, 이에 의해 오퍼레이터가 정적 물체에 운송 수단을 가이드할 수 있게한다. 이하 도시된 바와 같이, 두개의 실시예는 "후방 트레이싱" 단계가 수행되는 위치가 상이하다. 제1 실시예에서, 이 단계는 제어 센터에서 수행된다. 제2 실시예에서, 이 단계는 운송 수단에서 수행된다.

제1 실시예

운송 수단 측에서는:

a. 각 프레임은 고유 순차 번호와 같은 "타임 스탬프"로 마킹된다. 이러한 방식으로, 각 프레임은 운송 수단과 제어 센터 둘 모두에서 식별될 수 있다. 또한, 몇몇 프레임이 "기준" 프레임으로서 마킹되며, 모든 나머지 프레임이 "중간" 프레임으로 마킹된다.

b. (이전에 '기준' 프레임으로 언급된) 각 프레임에 대한 글로벌 모션 파라미터가 계산된다. 이들 GMP(및 선택적으로 기준 프레임)은 그들의 관련 타임 스탬프와 더불어 운송 수단에 저장된다. 선택적으로, 그들의 관련 타임 스탬프를 갖는 전체 이미지가 운송 수단에 저장될 수 있다.

c. 압축된 기준 프레임, 및 중간 프레임을 나타내는 계산된 GMP는 관련 타임 스탬프를 가지며 제어 센터에 순차적으로 전송된다.

제어 센터 측에서는:

d. 프레임들이 오퍼레이터에게 디스플레이된다. 기준 프레임은 먼저 복원된 후 디스플레이되며, 중간 프레임은 각 중간 프레임의 대응 GMP와 대응 선행 기준 프레임에 따라 GMF를 사용하여 재구성된다.

e. 오퍼레이터가 목표 지점을 마킹한다.

f. 마킹된 지점의 후방 트레이싱이 수행되어 제어 센터에서 이용가능한 선행 기준 프레임 상의 동일 물체의 좌표를 획득한다. 상기 지점이 기준 프레임 상에 마킹되었으면, 기준 프레임에 대한 후방 트레이싱은 물론 필수적이는 않다.

g. 기준 프레임 상에 발견된 바와 같은 마킹된 물체의 좌표 및 기준 프레임 관련 타임 스탬프는 차량에 전송된다.

운송 수단 측에서는:

h. 상기한 마킹된 좌표와 기준 프레임의 타임 스탬프의 수신하여 현재 캡처되는 프레임까지의 모든 보다 최근의 GMP을 운송 수단에 저장할 때, 저장된 GMP가 순차적으로 대체되는 복수의 GMF의 계산을 포함하는 순방향 트랙킹 계산이 수행되어 가장 최근에 캡처된 프레임에 나타나는 목표 지점의 위치를 나타낸다. 이러한 계산은 현재 캡처되는 프레임을 가장 빨리 따라잡을 수 있게 수행된다. 이 계산은 상대적으로 단순한 계산이므로, 일반적으로 짧은 기간, 통상 하나의 타임 슬라이스보다 적은 기간 내에 수행될 수 있다.

i. 운송 수단은 현재의 프레임 상의 갱신된 마킹 좌표를 향하여 이동하도록 지시받는다. 상술한 바와 같이, 상기 차량은 (당업계에 공지된 바와 같은) 정의된 지점에 도착하기 위해서 조종 시스템을 조작할 능력을 갖는다. 더욱이, 마킹된 물체의 좌표는 더이상 새로운 목표가 마킹되지 않는 한 새로운 프레임이 캡처될 때 운송 수단 내에 계속 갱신된다.

제2 실시예

운송 수단 측에서는:

b. (이전에 '기준' 프레임으로 언급된) 각 프레임에 대한 글로벌 모션 파라미터가 계산된다. 이들 GMP(및 선택적으로 기준 프레임)은 그들의 관련 타임 스탬프와 더불어 운송 수단에 저장된다.

c. 압축된 기준 프레임들과 계산된 GMP들 - 상기한 GMP들은 각각 관련된 타임 스탬프를 구비하며 중간 프레임들을 나타냄 - 이 제어 센터에 순차적으로 전송됨.

제어 센터 측에서는:

d. 프레임들이 오퍼레이터에게 디스플레이된다. 기준 프레임이 먼저 복원된 다음 디스플레이되며, 중간 프레임들은 GMF를 이용하여 재구성된다(단, 각각의 중간 프레임과 이에 대응하는 선행의 기준 프레임에 대응하는 GMP가 주어져야 함).

e. 제어 센터 측에서 오퍼레이터는 디스플레이된 프레임 상에 목표 지점을 마킹한다. 디스플레이된 프레임 상에서 발견된 마킹된 물체의 좌표와 그 프레임의 타임 스탬프가 운송 수단 측에 전송된다.

운송 수단 측에서는:

f. 상기한 마킹된 좌표와 프레임의 타임 스탬프를 수신하면, 먼저 운송 수단 측에 저장되어 있는 프레임 범위 내에서 상기한 마킹된 좌표를 후방 트레이싱하여저장되어 있는 GMP를 이용하여 운송 수단 측에 존재하는 선행 기준 프레임 상의 동일 물체의 좌표를 획득한다. 기준 프레임 상에 해당 지점이 마킹되어 있다면 상기한 기준 프레임에서의 후방 트레이싱은 필요하지 않다.

g. 저장되어 있는 GMP들을 순차적으로 바꿔가면서 복수의 GMF에 대한 계산을 포함하는 전방 트레이싱 계산을 수행하여 가장 최근에 캡처된 프레임에 나타난 목표 지점의 위치를 찾아낸다. 이 계산은 현재 캡처되는 프레임을 추종할 정도로 가능한 한 신속하게 수행된다. 이 계산은 비교적 간단한 계산이므로 단시간 내(통상, 1 타임 슬라이스 미만)에 수행될 수 있다.

h. 운송 수단은 현재 프레임 상의 갱신 표시된 마킹 좌표 방향으로 이동하도록 지시받는다. 전술한 바와 같이, 상기한 운송 수단은 [본 기술분야에 공지된 바와 같이] 지정된 지점에 도착하도록 자신의 조종 시스템을 조작할 능력을 구비한다. 또한, 마킹된 물체의 좌표는 새로운 목표에 대한 마킹 처리가 없는 한 신규 프레임이 캡처될 때마다 운송 수단 내에 연속적으로 갱신된다.

그것이 마킹되어 있는 프레임으로부터 현재 프레임까지의 정적 목표 지점의 트레이싱은 저장된 GMP들을 이용하여 일련의(a cascade of) GMF 연산을 적용하는 문제이다.

도 4a를 참조하면, 예를 들어, 타임 슬라이스 T11에서 좌표 (x,y)에 목표 지점이 마킹되어 있는 것으로 가정한다. 이때 디스플레이된 이미지는 F3이다. 상기한 좌표 (x,y)는 타임 스탬프 '3'과 함께 운송 수단 측에 전송된다. 업링크 지연(uplink lag)으로 인해, 상기한 목표 지점 및 타임 스탬프를 담고 있는 메시지는 타임 슬롯 T16(최총 캡처 프레임은 F15임)에 운송 수단 측에 도착된다. 그러면, 운송 수단은 F3으로부터 F15까지 목표 지점을 트레이싱해야 한다. 이는 다음의 두 단계로 수행될 수 있다.

1. 그것이 마킹되어 있는 프레임으로부터 이에 선행하는 최종 기준 프레임까지 목표 지점을 후방 트레이싱한다. 본 예에서 선행 기준 프레임은 F1이다. F3은 중간 프레임이므로 이는 실제로는 기준 프레임의 왜곡된(warped) 버전이다[F1:F3=GMF(F1,G3)]. 이는 F3 내의 위치 (x,y)의 픽셀이 F1 내의 위치 (u,v)의 픽셀과 동일함을 의미한다[(x,y)=GMF([u,v],G3)]. 기준 프레임 내의 목표 지점의 위치는 역변환, [(u,v)=GMF^-1([x,y],G3)]에 의해 쉽게 복구(restore)할 수 있다.

2. F1로부터 F15까지 목표 지점을 전방 트레이싱한다. 이는 단지 F1로부터 F15까지의 캐스캐이드 변환에 의해 수행된다. 본 예에서, F1과 F15 사이에는 2개의 기준 프레임 F6 및 F11이 존재하므로 트레이싱은 F1∼F16 및 F11∼F15에 대해 수행될 것이다. 즉, 내부 루프에 제공되게 될 목표 지점은 다음과 같다: (s,q)=GMF(GMF(GMF((u,v),G6),G11),G15) 또는 보다 간단한 표현으로 [s,q]=G15*G11*G6(u,v). 최종의 2개 단계를 결합하면 [s,q]=G15*G11*G6*G3^-1(x,y)으로 된다.

동적 목표 지점의 마킹

전술한 바와 같이, 촬영된(photographed) 물체에는 빌딩, 나무, 길 등의 정적 물체와 운송 수단 등의 이동 물체의 2가지 타입이 존재한다. 모바일(이동) 물체를 트랙킹하기 위하여, 제어 물체(controlled) 운송 수단은 물체 트랙킹 유틸리티가 장착되어 있어야 한다. "물체 트랙킹 유틸리티"라는 용어는 소정의 물체(예를 들어 동일 비디오 시퀀스의 선행 프레임 상에서 마킹된 물체)가 프레임 상의 어디서 나타나는지를 검출할 수 있는 유틸리티(소프트웨어 및/또는 하드웨어)를 지칭한다. 프레임 시퀀스에서의 물체를 트랙킹하는 것에 대해서는 본 기술분야의 숙련된 자들에게 공지된 것이므로 본 명세서에서는 이에 대한 추가 설명을 생략하기로 한다. 전문 트래커(sophisticated tracker)는 트랙킹 물체 물체뿐만 아니라 트랙킹하고 있는 운송 수단 자체에 대한 조작(maneuvering)과 같은 복잡한 상황에도 대응할 수 있다. 일반적인 물체 트랙킹 유틸리티는 2개 프레임 사이의 물체를 트랙킹하기 위하여 최대 상관 기준을 이용하고 있다. 기타 공지된 기술로는 에지 검출, 변화 검출, 특징 추출 및 트랙킹, 퍼지 로직 등과 이들의 조합이 있다. 본 발명에 따르면, 운송 수단은 그 내부 루프의 일부분으로서 소정의 물체 트랙킹 유틸리티를 구비하고 있어, 오퍼레이터가 일단 트랙킹 물체 물체를 마킹하면 운송 수단이 해당 물체를 자동 트랙킹하게 된다. 또한, 트랙킹이 유지되고 있는지 확인하고 (예를 들어 운송 수단이 트랙킹 물체 물체에 근접하게 되면 세부(details)가 새롭게 눈에 띄게 되는 경우와 같이) 필요한 경우 트랙킹 지점을 갱신 또는 변경하는 것은 일반적으로 오퍼레이터의 일이다. 목표 지점의 마킹 또는 이를 변경하는 경우, 오퍼레이터는 전술한 바와 같이 지연 루프인 외부 루프를 사용한다.

동적 목표 지점의 마킹의 경우에도, "정적 목표 지점의 마킹" 항목에서 전술한 바와 동일한 문제가 있으며, 그 중에서도, 트랙킹 물체 물체가 이동 중이다는 사실로부터 생기는 문제로 어려움을 겪게 된다. 오퍼레이터가 디스플레이된 프레임 상의 한 지점을 마킹하는 때에, 트랙킹 운송 수단은 해당 프레임을 포착한 때에 있었던 지점에 위치하고 있지 않을 뿐만 아니라, 트랙킹 물체 물체도 예측할 수 없는 방식으로 이동했을 것이다. 운송 수단 측에 보내진 조작 지시가 다시 운송 수단 측으로 도착한 때에는 운송 수단 및 트랙킹 물체 물체는 훨씬 멀리 떨어져 있을 것이다.

또다른 문제점은 통신 대역폭을 보다 감소시키기 위하여 전술한 시스템의 기준 및 중간 프레임을 이용하고자 하는 경우에 발생된다. 비디오 세그먼트의 단 하나의 프레임(기준 프레임)만이 촬영된 이미지이고 다른 것들(중간 프레임)은 상기한 촬영 이미지로부터 변환된 것이므로, 복원된 비디오 신호 상의 정적 물체의 "움직임"은 부드럽지만(smooth) 모바일(이동) 물체의 "움직임"은 "불안정"(jumpy)하다. 즉, 상기한 변환은 해당 프레임에 대한 전반적인(global) 정보를 표현하는 것일뿐 해당 프레임 내의 물체에 관한 상세 정보를 표현한 것이 아니므로, 이동 물체는 결과적으로 "불안정"하게 된다(중간 프레임이 디스플레이되는 경우 이동 물체는 그 배경에 '부착'(glued)된 것으로 나타나게 되고, 그 위치가 실제로 갱신되는 것은 기준 프레임이 디스플레이되는 때이다).

도 5a는 운송 수단에 탑재된 카메라에 의해 촬영된 비디어 프레임 시퀀스를 도시한 것이다.

도 5b는 본 발명의 일실시예에 따른 오퍼레이터의 디스플레이에 표시된 도5a의 비디오 프레임을 도시한 것이다.

도 5b에서, 프레임 101, 105 및 109에 나타난 바와 같이 기준 프레임은 강조되는 반면 중간 프레임은 강조되지 않는다.

물체(60)은 도 5a의 캡처 프레임에 반영되어 있는 바와 같이 좌측 상단 코너로부터 아래로 이동한다. 설명의 명료화를 위하여 운송 수단이 정지된 것으로 가정하면 변환식은 x'=x; y'=y가 된다. 각 세그먼트가 기준 프레임 및 복수의 중간 프레임을 포함하고 있는 전술한 압축 방식에 따르면, 세그먼트에서의 물체(60)의 위치, 즉 기준 프레임 및 이에 뒤따르는 중간 프레임들에서의 물체의 위치는 도 5b에 나타낸 바와 같이 일정(constant)하다. 보다 구체적으로, 이동 물체의 정확한 위치는 기준 프레임 내에서만 반영된다. 중간 프레임들은 운송 수단의 이동으로부터 생긴 선행의 기준 프레임에 대한 글로벌 변화만을 반영한다. 중간 프레임 내의 물체들은 선행의 기준 프레임 내에서 그들의 위치에 대해 동일한 거리만큼 변위된다. 따라서, 해당 장면 내의 모든 정적 물체에 대해서는 동일한 변위량이 적절하다. 그러나, 물체(60)와 같이 이동하는 물체의 경우에는, 상기한 물체의 실제 위치는 중간 프레임에서는 반영되지 않으며 기준 프레임(101, 105, 109 등) 내에서만 올바르게 나타난다. (전술한 바와 같이 설명의 명료화를 위해 글로벌 움직임이 없는 것으로 가정하고 있는) 도 5b에 도시된 바와 같이, 이동 물체(60')의 위치는 기준 프레임 및 이에 뒤따르는 중간 프레임들(예를 들어 프레임 101, 102, 103 및 104 내)에서 일정하며 다음 기준 프레임(예컨대 프레임 105)에서만 갱신된다.

본 발명의 일실시예에 따르면 이러한 문제점을 극복하기 위해, 고속 물체 트레이싱 유틸리티가 (운송 수단 측에) 제공되며 다음과 같은 단계가 수행된다.

a. 각 프레임에 (정적 목표 지점의 경우와 마찬가지로) "타임 스탬프"가 마킹된다.

b. 운송 수단 측에서, (최종 '기준' 프레임에 기준한) 각 프레임의 글로벌 모션 파라미터가 산출된다. 이들 프레임은 자신들의 GMP 및 관련된 타임 스탬프와 함께 저장된다.

c. 제어 센터 측에서 마킹된 지점의 좌표 및 마킹된 프레임의 타임 스탬프가 (정적 목표 지점의 경우와 마찬가지로) 운송 수단 측에 전송된다.

운송 수단 측에서는:

d. 상기한 마킹된 좌표와 마킹된 프레임의 타임 스탬프가 운송 수단 측에 수신되면, (정적 목표 지점의 경우와 마찬가지로) 먼저 대응하는 저장된 프레임 상에 해당 지점이 가상으로 "마킹"된다.

e. 트레이싱 계산을 수행하여 가장 최근 프레임 상에 나타나는 해당 지점의 위치를 찾아낸다. 이 계산은 현재 캡처되는 프레임을 추종할 정도로 가능한 한 신속하게 수행된다. 그 다음, 운송 수단은 현재 프레임 상의 갱신 표시된 마킹 좌표 방향으로 이동하도록 지시받는다. 전술한 바와 같이, 상기한 운송 수단은 지정된 지점에 도착하도록 자신의 조종 시스템을 조작할 능력을 구비한다.

그것이 마킹되어 있는 프레임으로부터 현재 프레임까지의 동적 목표 지점의 트레이싱은 다음의 두 단계로 수행된다. 제1 단계는 정정 목표 지점의 경우에서 대응하는 단계와 동일하다. 제2 단계는 고속 물체 트레이싱 유틸리티를 이용하여메모리 내에 저장되어 있는 프레임을 이용하여 물체를 트레이싱한다. 이 문제는 도 4a를 참조하여 설명한 정적 목표 지점의 경우와 동일한 예를 이용함으로써 명료해질 것이다.

타임 슬라이스 T11에서 좌표 (x,y)에 목표 지점이 마킹되어 있는 것으로 가정한다. 이때 디스플레이된 이미지는 F3이다. 상기한 좌표 (x,y)는 타임 스탬프 '3'과 함께 운송 수단 측에 전송된다. 업링크 지연(uplink lag)으로 인해, 상기한 목표 지점 및 타임 스탬프를 담고 있는 메시지는 타임 슬롯 T16(최종 캡처 프레임은 F15임)에 운송 수단 측에 도착된다. 그러면, 운송 수단은 F3으로부터 F15까지 목표 지점을 트레이싱해야 한다. 이는 다음의 두 단계로 수행될 수 있다.

2. F1로부터 가장 최근에 캡처된 프레임까지 목표 물체를 전방 트레이싱한다. 이 작업을 수행하기 위해 고속 물체 트레이싱 유틸리티가 이용된다. 이 유틸리티에는 메모리로부터 페치된 F1로부터 최종 캡처된 프레임까지의 일련의(asequence of) 프레임이 공급된다. 상기한 고속 물체 트레이싱 유틸리티는 입력되는 프레임들을 매우 빠른 속도로 처리할 수 있기 때문에 메모리 내의 프레임들은 이내 고갈된다. 상기한 유틸리티는 메모리 내의 최종 프레임을 처리한 다음 트랙킹 물체 물체의 좌표를 내부 루프로 전달하며, 내부 루프에서는 통상의 방식으로 트랙킹을 계속한다. 예를 들어, 통상의 비디오 속도가 초당 25 프레임(프레임당 40밀리초)이고 상기한 고속 물체 트레이싱 유틸리티가 5밀리초 내에 프레임 내의 물체를 트레이싱할 수 있다면, 상기한 유틸리티는 타임 슬라이스 T16에서 프레임 F1, F2, F3, F4, F5, F6, F7 및 F8 내의 물체를 트레이싱하고, 타임 슬라이스 T17에서 프레임 F9, F10, F11, F12, F13, F14, F15 및 F16(본 타임 슬라이스에서 최종 캡처된 프레임임) 내의 물체를 트레이싱하여 상기한 물체의 좌표들을 내부 루프에 제공한다.

상기한 두 단계의 첫째 단계는 정적 목표 지점의 경우와 동일하므로, 상기한 단계와 관련한 설명은 동적 목표 지점의 경우에도 마찬가지로 적용된다. 즉,

ⅰ. 본 단계는 마킹이 기준 프레임 상에 있는 경우 생략되며, 또한,

ⅱ. 본 단계는 운송 수단 측이 아닌 제어 센터 측에서 수행될 수도 있다.

도시된 바와 같이, 제어 센터 측에서 운송 수단을 정적 또는 동적(moving) 목표 지점으로 가이드하기 위한 단계들은 동일하다. 단지, 운송 수단 측에서만 다음과 같은 차이점을 나타낸다:

- '정적'인 경우, 운송 수단은 GMP를 저장하고 있을 뿐이므로 상기한 GMP에 기초하여 현재 프레임까지의 목표 좌표들을 전방 계산(forward calculate)해야만한다. 그러나, 전체 이미지에 대해서도 동일한 작업이 수행될 수 있다.

- '동적'인 경우, 운송 수단은 전체 비디오 프레임을 저장하고 고속 물체 트레이싱 유틸리티를 실행시켜 마킹된 프레임으로부터 현재 프레임까지 목표를 트레이싱해야 한다.

일반적으로, 비디오 신호가 동적 물체를 포함하는 것으로 가정하면, 운송 수단 측에 저장되는 프레임의 수는 적어도 시스템 내의 지연 프레임의 수 만큼 존재할 것이다. 사용된 트레이싱 유틸리티가 디루트(diluted) 시퀀스(통상, 탐색 영역을 확대하여 보상함)로 물체를 트레이싱하는 성능을 갖고 있다면 프레임들을 하나씩 건너뛰어 저장함으로써 저장 프레임의 수를 줄일 수도 있다.

물론, 상기한 지연이 항상 일정한 것은 아니다. 따라서, 안정 팩터를 도입하여, 저장된 프레임과 관련 GMP가 기대값보다 크도록 해야 한다.

여기서, 편의상 외부 루프의 '고속' 물체 트레이싱 유틸리티와 내부 루프의 '일반' 트래커로 구분하고 있지만, 상기한 2개의 트레이서는 동일한 트레이서이며 단지 2개의 서로 다른 모드에서 동작하고 있을 뿐이다.

정적 또는 동적 목표 지점으로 운송 수단을 가이드할 수 있도록 한 본 발명의 실시예에서, 운송 수단이 정적 또는 동적 목표 지점을 참조(refer)하도록 지시하는 것은 오퍼레이터가 수행한다.

알고리즘에 따라서는 프레임 속도를 줄이기 위하여 프레임 스키핑(즉, 이들 프레임에 대해서는 캡처 및 프로세싱을 하지 않음)을 이용하기도 한다. 그 대신에, 상기한 스킵된 프레임은 이전에 전송된 프레임에 대한 움직임이 보상된 버전에의해 "채움"(filled in)된다. 이러한 프레임들의 GMP는 계산 및 전송을 수행하지 않으므로, 그 대신에 GMP에 대한 추정을 이용한다. 예를 들어, 추정 GMP는 이전에 전송된 GMP로부터의 외삽(extrapolating) 처리 또는 이전 및 다음에 전송된 GMP(지연(delay) 이용)로부터의 내삽(interpolating) 처리 중 어느 하나에 의해 계산될 수 있다. 외삽 또는 내삽 처리는 선형 가중(linear weighting) 또는 칼만 필터링(Kalman filtering) 등의 문헌에 공지된 방법에 의해 수행될 수 있다. 동적 목표 지점에 대한 트랙킹의 경우 상기한 트레이싱 유틸리티는 디루트된 비디오 시퀀스로 물체를 트레이싱할 수 있어야 한다.

운송 수단 측과 제어 센터 측에서는 동일한 GMF가 이용된다. 본 발명의 실시예에서도 운송 수단 측 또는 제어 센터 측 중 어느 하나가 다른 GMF를 이용하고자 하는 경우가 있을 수 있다. 이 경우, 변경을 개시한 측은 (통신 채널을 이용하여) 타측에 대해 이용할 GMF와 상기한 변경이 유효하게 되는 시점(즉, 타임 스탬프)을 통지해야 한다. 양측에는 한 세트의 GMF가 저장될 수 있다(즉, 전이(transitional), 유사(affine), 원근(perspective) 등). 이들 GMF 중 하나는 디폴트, 즉 시스템의 기동시에 사용된 것으로 설정된다. 이 경우, 일측에서 상기한 GMF를 변경하고자 하는 경우, 상기 GMF의 인덱스와 상기한 변경을 발효하는 타임 스탬프를 전송하기만 하면 된다.

재구성 및 트랙킹의 품질을 개선하기 위하여, 상기한 GMC는 이미지를 수개의 부분(공간 세그먼트)으로 분할하여 (선택적으로는, 상이한 GMF에 기초하여) 각 부분에 대한 개별 GMP를 연산할 수도 있다. 이 경우, 상기한 GMC는 제어 센터 측에재구성 및 역트랙킹(back-tracking)에 관련된 모든 데이터 - 즉 세그먼트 경계, 각 세그먼트에 사용된 GMF 및 결과 GMP - 를 전달해야 한다.

도 6a는 본 발명의 바람직한 실시예에 따른 지연 통신 채널을 통하여 원격 운송 수단을정적물체로 가이드하기 위한 시스템의 블록도를 나타낸 것이다.

- 단계 101에서, 카메라는 운송 수단(10)의 전면에서 관측한 광경(view)을 촬영한다.

- 단계 102에서, 이미지들을 캡처 및 디지털화하여 "프레임"이라고 하는 이미지 파일들을 형성한다.

- 단계 104에서, 프레임이 기준 프레임, 즉 세그먼트의 최초 프레임인 경우, 시스템은 단계 106으로 진행하여 이미지에 대한 압축을 수행한다.

- 단계 105에서, GMF를 이용하여 GMP를 계산하고 스토리지(103)에 저장한다.

- 단계 107에서, 프레임 데이터(압축 프레임 및/또는 GMP)를 그 관련 타임 스탬프와 함께 제어 센터(station)에 전송한다.

- 단계 201에서, 상기한 전송이 제어 센터 측에 수신된다.

- 단계 202에서, 상기한 데이터가 세그먼트의 최초 이미지(기준 프레임)인 경우에는, 단계 203에서 상기한 데이터를 복원하여 프레임을 얻는다. 중간 프레임인 경우에는, 단계 204에서 GMF를 GMP에 적용함으로써 프레임을 얻는다. 물론, 데이터가 기준 프레임에 속하는지 또는 중간 프레임에 속하는지를 나타내는 방법은, 예를 들어 전송된 프레임 각각에 관한 정보의 데이터 헤더에 플래그를 설정해 두는 등 수많은 방법이 있을 수 있다.

- 단계 205에서, 이미지가 제어 센터 측의 모니터 상에 디스플레이된다.

- 단계 206에서, 오퍼레이터가 디스플레이된 프레임 상에 목표 지점을 마킹한다. 후방 트레이싱 유틸리티(219)가 운송 수단에 설치된 것으로 가정하면, 목표 지점의 좌표 및 해당 프레임의 타임 스탬프가 운송 수단 측에 전송된다(단계 207).

- 선택적 단계 219'에서, 운송 수단에 후방 트레이싱 유틸리티가 설치되지 않았다면, 전송 전에 후방 트레이싱이 수행된다. 보다 구체적으로, 상기한 마킹된 좌표를 인접한 보다 선행의 기준 프레임까지 후방 트레이싱하여, 그 결과 좌표를 상기한 기준 프레임의 타임 스탬프와 함께 운송 수단 측에 전송한다.

- 단계 208에서, 제어 센터로부터의 전송이 운송 수단 측에 수신된다.

- 선택적 단계 219에서, 상기한 후방 트레이싱 유틸리티가 운송 수단에 실제로 설치되어 있다면 후방 트레이싱이 수행된다. 보다 구체적으로, 상기한 프레임 상의 마킹된 좌표를 인접한 보다 선행의 기준 프레임까지 후방 트레이싱한다.

- 단계 209에서, 상기한 마킹된 물체를 일련의(series 또는 cascade) GMF 계산을 이용하여 상기한 기준 프레임 내에서의 그 자신의 위치로부터 가장 최근에 캡처된 프레임 내에서의 그 자신의 위치까지 전방 트레이싱한다.

- 단계 210에서, 운송 수단의 조종용 내부 보조 가이드 시스템(steering inner guidance sub-system)에는 가이드할 새로운 좌표가 공급된다. 여기서, 내부 보조 가이드 시스템은 내부 트랙킹 루프를 포함한 광의의 의미로 이해되어야 한다.

- 모든 경우에 있어서 더이상 동작에 관련되지 않은 오래된 프레임들 및 그 타임 스탬프는 FIFO 스토리지로부터 폐기된다.

도 6b는 본 발명의 실시예에 따른 지연 통신 채널을 통하여 원격 운송 수단을 동적 물체로 가이드하기 위한 시스템의 블록도를 나타낸 것이다.

- 단계 301에서, 카메라는 운송 수단(10)의 전면에서 관측한 광경(view)을 촬영한다.

- 단계 302에서, 이미지들을 캡처 및 디지털화하여 "프레임"이라고 하는 이미지 파일들을 형성한다.

- 단계 303에서, 캡처된 프레임의 전체 데이터를 그 관련 타임 스탬프와 함께 메모리에 저장한다.

- 단계 304에서, 프레임이 기준 프레임, 즉 세그먼트의 최초 프레임인 경우, 처리 수순을 단계 306으로 진행하여 이미지에 대한 압축을 수행한다. 그렇지 않고, 그 프레임이 중간 프레임인 경우에는 시스템의 처리 수순을 단계 305로 진행하여, (GMF를 이용하여) 프레임의 GMP를 계산하고 스토리지(303)에 저장한다.

- 단계 307, 프레임 데이터(압축 프레임 및/또는 GMP)를 그 관련 타임 스탬프와 함께 지연 채널을 통해 제어 센터(20)에 전송한다.

- 단계 401에서, 상기한 전송이 제어 센터 측에 수신된다.

- 단계 402에서, 상기한 데이터가 세그먼트의 최초 이미지(기준 프레임)인 경우에는, 단계 403에서 상기한 데이터를 복원하여 프레임을 얻는다. 그렇지 않고, 중간 프레임인 경우에는 역 GMF(404)를 상기한 수신 GMP에 적용함으로써 프레임을 얻는다. 물론, 데이터가 기준 프레임에 속하는지 또는 중간 프레임에 속하는지를 나타내는 방법은, 예를 들어 전송된 프레임 각각에 관한 정보의 데이터 헤더에 플래그를 설정해 두는 등 수많은 방법이 있을 수 있다.

- 단계 405에서, 기준 프레임 또는 중간 프레임을 불문하고 이미지가 모니터 상에 디스플레이된다.

- 단계 406에서, 오퍼레이터가 디스플레이된 프레임 상에 목표 지점을 마킹한다. 후방 트레이싱 유틸리티(419)가 운송 수단에 설치된 것으로 가정하면, 목표 지점의 좌표 및 디스플레이된 프레임의 타임 스탬프가 운송 수단 측에 전송된다(단계 407).

- 선택적 단계 419'에서, 운송 수단에 후방 트레이싱 유틸리티(419)가 설치되지 않았다면, 전송 전에 후방 트레이싱이 수행된다. 보다 구체적으로, 상기한 마킹된 좌표를 인접한 보다 선행의 기준 프레임까지 후방 트레이싱하여, 그 결과 좌표를 상기한 기준 프레임의 타임 스탬프와 함께 운송 수단 측에 전송한다(다시, 단계 407).

- 단계 408에서, 전송이 운송 수단 측에 수신된다.

- 선택적 단계 419에서, 상기한 후방 트레이싱 유틸리티가 운송 수단에 실제로 설치되어 있다면 후방 트레이싱이 수행된다. 보다 구체적으로, 상기한 프레임 상의 마킹된 좌표를 인접한 보다 선행의 기준 프레임까지 후방 트레이싱한다.

- 단계 409에서, 상기한 마킹된 물체를 고속 물체 트랙킹 유틸리티를 이용하여 상기한 기준 프레임 내에서의 그 자신의 위치로부터 가장 최근에 캡처된 프레임 내에서의 그 자신의 위치까지 고속으로 전방 트레이싱한다.

- 단계 410에서, 운송 수단의 조종용 내부 보조 가이드 시스템(steeringinner guidance sub-system)에는 가이드할 좌표(단계 409에서의 결과 좌표)가 공급된다. 여기서, 내부 보조 가이드 시스템은 내부 트랙킹 루프를 포함한 광의의 의미로 이해되어야 한다.

- 모든 경우에 있어서 더이상 동작에 관련되지 않은 오래된 프레임들 및 그 타임 스탬프는 FIFO 스토리지(303)로부터 폐기된다.

전술한 시스템에서는 다음의 몇가지 문제점이 존재한다.

1. 상기한 GMF는 기준 프레임에 적용되는 경우 아무런 정보를 갖지 않는 블랭크 영역을 포함하는 중간 프레임을 생성하게 된다. 이들 블랭크 영역은 기준 프레임이 취해진 때에 카메라에서는 시인되지 않은 장면의 '새로운' 부분이 중간 프레임에 포함되어 있을 수도 있다는 사실에 기인하며, 따라서 기준 프레임에 대해 GMF를 적용한다고 하더라도 재구성되지 않는다.

2. 제어 센터 측에서 오퍼레이터가 프레임 내의 물체(또는 영역)를 마킹하였지만, 상기한 마킹의 좌표가 차량 측에 전달되어 가장 최근에 캡처된 프레임 내의 좌표로 변환될 때까지, 그것이 상기한 프레임의 외부에서 발견되는 경우도 있을 수 있다.

도 4b 및 도 4c는 상기한 2가지 단점을 어느 정도 해소한 본 발명의 2가지 실시예를 나타낸 것이다.

도 4b의 실시예에서의 목적은 제어 센터 측에 그들의 관점에서 가장 최근의 프레임 - 지연이 최소이며 블랭크 영역을 포함하고 있을 수도 있음 - 을 디스플레이하는 것이다.

도 4b의 실시예

- 타임 스탬프 T9에서, 기준 프레임 F1 은 시각 T7에 제어 센터에 도착되었고 시각 T8에 복원된 것으로, 이제 막 도착된 GMP G6을 이용하여 프레임 F6을 복원하는데 필요한 계산을 수행하기 위한 기준이 된다.

- 시각 T10에서, 프레임 F6이 디스플레이된다. 여기서, 시각 T10에서 기준 프레임 F6은 아직 제어 센터 측에서 이용이 불가능하다(이는 전송 컬럼에서 확인할 수 있다). 따라서, 추후에 상기한 기준 프레임 F6을 복원함으로써 F6에 대핸 우수한 재구성이 가능하겠지만, 최근의 GMP를 이용하여 보다 선행의 기준 프레임(F1)을 변환하는 것에 의해서는 F6의 재구성이 열악할 것이다. 프레임의 재구성에 관한 이들 2가지 가능한 경우를 구분하기 위하여, 압축 처리된 프레임을 복원하여 얻은 재구성에 대해서는 볼드 이탤릭 폰트(예컨대 F6 )로써 표기하였으며, 기준 프레임에 대해 GMF를 이용하여 프레임을 재구성한 경우는 이탤릭 폰트(예컨대F6)로써 표기하였다.

- 다음으로, 시각 T11 내지 T13에서, 중간 프레임 F7, F8 및 F9가 마찬가지로 디스플레이된다.

- 시각 T13에서, 이제 제어 센터 측에서 이용할 수 있게 된 기준 프레임 F6이 복원된 다음 중간 프레임 F10(F10=G10*G6(F1))이 계산된다.

- 시각 T14에서, 중간 프레임 F10이 디스플레이되며 이와 동시에 F11=G11(F6)이 계산된다. 여기서, 기준 프레임 F6은 제어 센터 측에서 디스플레이 가능하게 되지만, 이것은 타임 슬라이스 T6의 뷰 지점을 포함하고 있는 "오래된"프레임인 한편 타임 슬라이스 T9의 이미 디스플레이된 프레임 F9가 새로운 원근(perspective)으로부터 도시되므로 상기한 기준 프레임 F6은 디스플레이되지 않는다. 이 때문에, F10이 디스플레이되며 프레임 F11은 이 단계에서 마련된다.

- 시각 T15, T16 및 T17에서, 상기한 F6의 정보에 기초하여 뷰 F11, F12 및 F13의 지점에 대응하여 이동된 프레임 F11, F12 및 F13이 디스플레이된다.

- 시각 T18에서 T13에서와 마찬가지의 동작이 수행된다.

도 4b의 실시예는 원근(perspective)이 보다 갱신된다는 점에서 도 4a의 실시예보다 우수하다. 보다 구체적으로, 예를 들어 도 4a의 실시예에서F6의 원근은 상기한 기준 프레임 F6 의 디스플레이가 가능한 때인 시각 T14에만 디스플레이되는 것이지만, 도 4b의 실시예에서는 시각 T10에서F6의 원근이 디스플레이된다. 그러나, 도 4a의 실시예에서는 디스플레이되는 경우 모든 기준 프레임에 블랭크 영역이 존재하지 않지만, 도 4b의 실시예에서는 디스플레이되는 모든 프레임에 대해서 GMF를 적용하고 있기 때문에 프레임들에 블랭크 영역이 포함될 수도 있다.

도 4c의 실시예의 목적은 최소의 블랭크 영역을 포함하는 프레임 - 상당한 디스플레이 시의 지연이 있을 수 있음 - 을 디스플레이하는 것이다.

도 4c의 실시예

- 제어 센터 측에서 최초 2개의 기준 프레임,F1및F6을 이용할 수 있을 때까지 제어 센터 측에 디스플레이되는 프레임이 존재하지 않는다.

- 시각 T14에서, 기준 프레임F1은 이미 이용 가능하며(시각 T8에 복원됨), 기준 프레임F6이 복원됨.

- 시각 T14에서, 기준 프레임F1이 디스플레이된다. 이와 동시에,F2가 계산된다.F2는 최소의 블랭크 영역을 포함하도록 마련된다. 보다 구체적으로,F2는 2개 부분의 혼합이다: 제1 부분은 G2(F1) 연산에 의해 기준 프레임F1을F2(즉, 시각 T2에서의 카메라 뷰)의 원근에 가져간 것이며, 제2 부분은 G2*G6^-1(F6) 연산에 의해 기준 프레임F6을F2의 원근에 가져간 것이다. 상기한 제2 부분은 제1 부분의 결과에 의해 형성된 프레임 내의 대부분의 블랭크 영역을 채우게 된다.

- 시각 T15에서, T14에서 계산된F2가 디스플레이된다. 이와 동시에F3이 계산된다.F3은 프레임F2와 마찬가지로, 블랭크 영역을 배제시키도록 마련된다. 보다 구체적으로,F3은 2개 부분의 혼합이다: 제1 부분은 G3(F1) 연산에 의해 기준 프레임F1을F3(시각 T3에서의 카메라 뷰)의 원근에 가져간 것이며, 제2 부분은 G3*G6^-1(F6) 연산에 의해 기준 프레임F6을F3의 원근에 가져간 것이다. 상기한 제2 부분은 제1 부분의 결과에 의해 형성된 프레임 내의 대부분의 블랭크 영역을 채우게 된다. 상기한F3은 시각 T16에서 디스플레이된다.

- T17 및 T18에 대응하여 디스플레이되는F4및F5는 상기한F2및F3과 마찬가지 방식으로 마련되어 디스플레이 - 단 그 대응하는 원근에 디스플레이됨 - 된다.

- 시각 T18에서, 3번째 기준 프레임F11이 복원되며 시각 T19에 이용 가능하게 된다.

- 시각 T19에서 기준 프레임 F6이 디스플레이된다.

도시된 바와 같이, 도 4c의 실시예에서, 디스플레이된 프레임은 최소의 블랭크 영역을 포함하고 있다. 각각의 중간 프레임은 2개의 개별 GMF 계산에 의해 계산된 2개 부분의 조합이다. 여기서, 이들 2개 부분 중 하나를 1차(primary) 부분으로서 규정하는 것이 바람직하다. 제2 부분은 상기한 제1 부분의 블랭크 영역을 채우기 위해 계산된 것이다. 상기한 1차 부분은 계산된 프레임 부분이 기준 프레임에 근접하도록 하는 것이 바람직하다. 보다 구체적으로,F5의 계산에 있어서, 계산된 프레임F5는 기준 프레임F1보다 기준 프레임F6에 보다 근접하므로, G5(F1)의 결과로 생긴 부분을 2차(secondary) 부분으로 규정하고, G5*G6^-1(F6) 계산에 의해 생긴 영역을 1차 부분으로 규정하게 되면, 상기한 제1 부분에서 블랭크 영역 - 추후에 2차 영역에 의해 채워짐 - 이 보다 적어지게 된다. 도 4c의 실시예는 최소의 블랭크 영역을 포함한다는 점에서 유리하다. 단점은, 상기한 도 4a, 도 4b, 도 4c의 3개 실시예 중에서, 운송 수단 측에서 프레임을 캡처한 후 제어 센터 측에 디스플레이될 때까지의 지연이 가장 크다는 점이다. 예를 들어, 도 4a의 실시예에서는 프레임F6이 T14에서 디스플레이되며, 도 4b의 실시예에서는 프레임F6이 T10에서 디스플레이되며, 도 4c의 실시예에서는 프레임F6이 T19에서 디스플레이된다.

주석(General Note)

시스템에서의 디스플레이

채널 지연에는 다음의 3가지 타입의 지연이 포함된다.

a. 전송 매체 지연: 송신기의 전단(예컨대 안테나)과 수신기의 전단 사이. 이러한 타입의 지연은 릴레이, 패킷 스위칭 라우팅 등에 의해 야기되는 것으로, 업링크 및 다운링크 양자에서 전형적이다.

b. 신호 "보호" 지연(또는 "메시지 일체성 지연"): 순방향 에러 정정 코드 및/또는 확산 스펙트럼 기술에 관련됨. 이러한 타입의 지연은 업링크 및 다운링크에서 전형적이다. 본 명세서에서 설명하고 있는 방법은 상기한 2가지 타입의 지연을 동일하게 취급하며, 이들 지연을 "전달 지연"이라 한다.

c. 압축/복원 지연: 원격 운송 수단과 오퍼레이터 사의의 채널이 좁은 대역폭을 갖는다면, 비디오 시퀀스는 전송 전에 압축되어야만 한다. 데이터 압축의 고유한 특성은 지연으로서, 이는 여러 원인으로부터 생겨날 수 있으며, 그 중 주요한 것으로는 다음과 같은 것들이 있다.

- 일정한 속도의 채널을 통해 비트 속도가 가변적인 데이터(압축된 비디오)를 전송하는 데에는 채널의 양단에 오버플로우나 언더플로우가 없는 버퍼를 필요로 한다. 본 기술분야의 숙련된 자들이 알고 있는 바와 같이, 압축된 비디오 신호는 타입 I, P 또는 B에 의존한 프레임 사이 및 비주얼 액티비티 공간 분산에 의존한 프레임 내에서의 비트 속도 변동이 크며 따라서 상당한 버퍼링이 요구된다.

- B 프레임의 압축은 "퓨처"(future) 프레임을 필요로 한다. 따라서, B 프레임을 사용한 경우, 압축기는 중간 B 프레임이 압축되기 전에 다음의 P 또는 I 프레임이 압축될 때까지 대기해야 한다. 이러한 타입의 지연은 (MPEG 또는 MPEG과 유사한 압축 방식을 이용하는) 다운링크에서만 전형적이다.

- 또한, 오퍼레이터의 지연도 있을 수 있으며, 이는 오퍼레이터가 프레임을 검토하고 제어 커맨드를 보내는데 소요되는 시간에 기인한다.

운송 수단의 제어 루프에서의 유도된 지연 불안정은 다음의 2가지 부수적인 문제점을 안고 있는 것으로 볼 수 있다.

- 업링크 지연: 오퍼레이터 측에서 디스플레이에 이용가능한 프레임은 최근의 프레임이 아니라 지연된 프레임이다. 따라서, 오퍼레이터에 의해 수행되는 조종 동작은 지연된 정보에 기초하고 있고 이러한 상황은 불안정하게 되는 경향이 있다.

- 다운링크 지연: 운송 수단 측에서 제어 커맨드를 해석하지만, 이때 운송 수단은 상기한 커맨드에서 가리킨 위치에 머물러 있지 않는다.

ROI 모드 조작(Region Of Interest mode of operation)

일정한 비트 속도의 채널에서 프레임 사이즈를 줄이게 되면 비디오 품질 및/또는 프레임 속도가 증대되게 된다. 본 발명의 바람직한 실시예에서는, 프레임 사이즈가 고정된 것이 아니라 오퍼레이터에 의한 선택이 가능하게 되어 있다. 매우 낮은 대역폭 상황 하에서, 오퍼레이터는 카메라의 일부 뷰 필드만을 수신하되 보다 높은 품질 및/또는 보다 높은 리프레시 속도(즉, 보다 적은 스킵 프레임)를 선호할 것이다. 이를 ROI(Region of Interest) 조작이라고 한다.

세그먼트 사이즈의 영향(The effect of segment size)

세그먼트의 프레임 수는 원격 운송 수단 가이드 시스템의 성능에 영향을 준다. 예를 들어, 전술한 바와 같이, 실제 캡처된 이미지는 오직 기준 프레임들뿐이고 중간 프레임들은 실제로는 이들 기준 프레임들로부터 변환된 것이다. 따라서, 기준 프레임 후에 카메라의 프레임에 들어왔지만 다음 기준 프레임 전에 사라져 버린 물체는 오퍼레이터에게는 관측되지 않는다. 이러한 상황이 일어날 확률을 줄이기 위한 한가지 방법(option)으로는, 세그먼트의 프레임 수를 줄이는 것이다. 그러나, 이러한 방법은 보다 많은 데이터를 전송해야 하므로 또다른 지연을 야기하게 된다.

이상, 본 발명의 몇가지 실시예를 예로 들어 설명하였지만, 본 기술분야의 숙련된 자들이라면 첨부된 청구의 범위 및 본 발명의 사상을 일탈하지 않는 범위 내에서 각종의 동등물 또는 대안을 이용하여, 본 발명의 각종의 수정예, 변경예, 변형예 및 적용예를 실시할 수 있을 것이다.

Claims

원격 제어 센터로부터 운송 수단을 목표 물체를 향하여 가이드 - 상기 원격 제어 센터는 지연 통신 채널을 이용하여 상기 운송 수단과 통신함 - 하는 방법에 있어서,

상기 운송 수단 측에서:

ⅰ) 카메라에 의해 프레임 이미지를 주기적으로 캡처하고, 상기 캡처된 프레임 각각에 관련된 고유한 타임 스탬프를 부여하고, 상기 운송 수단 측의 스토리지 내에 상기 캡처된 프레임의 전체 또는 부분 프레임 데이터 및 그 관련된 타임 스탬프를 저장하는 단계;

ⅱ) 상기 저장된 복수의 프레임에 대해, 전체 프레임 데이터, 부분 프레임 데이터 또는 그 조합을 전송되는 각각의 프레임에 대응하는 타임 스탬프와 함께 상기 지연 통신 채널을 통해 전송하여, 상기 전송된 프레임들의 근사(approximate) 또는 정확한(exact) 버전이 재구성되어 상기 제어 센터 측에 디스플레이되도록 하는 단계;

상기 제어 센터 측에서:

ⅲ) 상기 프레임 데이터 및 관련 타임 스탬프를 수신하고, 상기 전송된 전체 및/또는 부분 프레임 데이터로부터 프레임 이미지를 순차적으로 재구성하고, 상기 재구성된 이미지를 디스플레이 상에 디스플레이하는 단계;

ⅳ) 상기 제어 센터 측의 오퍼레이터가 디스플레이된 특정 프레임 상의 한지점을 마킹하면, 상기 제어 센터 측에서 이용가능한 기준 프레임 또는 상기 특정 프레임 상에 나타난 상기 마킹된 지점에 관한 좌표 표시(indication)를 상기 특정 또는 기준 프레임에 관련된 타임 스탬프와 함께 상기 운송 수단 측에 전송하는 단계;

상기 운송 수단 측에서:

ⅴ) 상기 마킹된 좌표 표시 및 상기 전송된 프레임의 타임 스탬프를 수신하는 단계;

ⅵ) 상기 좌표 표시 및 프레임의 타임 스탬프가 수신되면, 상기 프레임으로부터 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 지점 또는 물체의 좌표를 고속 전방 트레이싱하여, 상기 이용가능한 가장 최근의 캡처된 프레임에 나타난 동일 지점 또는 물체의 좌표를 찾아내는 단계; 및

ⅶ) 상기 찾아낸 이용가능한 가장 최근의 캡처된 프레임 내에서의 상기 목표 지점 또는 물체의 좌표를 상기 운송 수단의 내부 보조 가이드 시스템에 제공하여 상기 물체의 트랙킹을 가능하게 하는 단계

를 포함하는 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 부분 프레임 데이터는 각각 중간 프레임을 나타내며, 상기 전체 프레임 데이터는 각각 기준 프레임을 나타내는 것을 특징으로 하는 가이드 방법.
제2항에 있어서,

적어도 하나의 중간 프레임은 임의의 2개의 기준 프레임 사이에서 생성되는 것을 특징으로 하는 가이드 방법.
제2항에 있어서,

상기 각각의 부분 프레임 데이터는, GMF를 이용하여 계산되며 선행 기준 프레임에 대한 주어진 프레임의 글로벌 변화를 나타내는 GMP 세트를 포함하는 것을 특징으로 하는 가이드 방법.
제2항에 있어서,

상기 기준 프레임은 상기 제어 센터 측에 전송되기 전에 상기 운송 수단 측에서 압축되며 상기 제어 센터 측에서 복원되는 것을 특징으로 하는 가이드 방법.
제5항에 있어서,

상기 압축된 기준 프레임 중 임의의 2개 기준 프레임 사이에 적어도 한 세트의 GMP가 상기 제어 센터에 전송되는 것을 특징으로 하는 가이드 방법.
제4항에 있어서,

상기 운송 수단과 상기 제어 센터 측에 동일한 GMF가 이용되는 것을 특징으로 하는 가이드 방법.
제7항에 있어서,

상기 각각의 기준 프레임은 상기 제어 센터 측에서 복원된 다음 디스플레이되는 것을 특징으로 하는 가이드 방법.
제7항에 있어서,

상기 각각의 중간 프레임은 수신된 동일 프레임의 GMP와 선행 기준 프레임에 관련된 데이터를 이용하여 GMF를 구동(activate)한 후에 상기 제어 센터 측에 디스플레이되는 것을 특징으로 하는 가이드 방법.
제9항에 있어서,

상기 오퍼레이터가 디스플레이된 중간 프레임 상에 목표를 마킹하는 경우, 상기 운송 수단 측에서 상기 고속 전방 트레이싱을 수행하기 전에, GMF를 후방 구동하여 상기 마킹된 좌표를 선행 기준 프레임 상의 좌표로 변환하는 단계

를 더 포함하는 것을 특징으로 하는 가이드 방법.
제10항에 있어서,

상기 GMF의 후방 구동은 상기 운송 수단 측에서 수행되는 것을 특징으로 하는 가이드 방법.
제10항에 있어서,

상기 GMF의 후방 구동은 상기 제어 센터 측에서 수행되는 것을 특징으로 하는 가이드 방법.
제4항에 있어서,

상기 운송 수단을 정적 목표를 향하여 가이드하는 경우, 상기 운송 수단 측에는 단지 중간 프레임의 GMP만이 저장되는 것을 특징으로 하는 가이드 방법.
제10항에 있어서,

상기 기준 프레임으로부터 상기 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 물체의 좌표를 고속 전방 트레이싱하는 단계는, 상기 운송 수단 측에서의 GMF의 캐스캐이드 구동에 의해, 기준 프레임 상의 상기 물체의 좌표로부터 출발하여, 상기 목표 좌표의 상기 가장 최근의 캡처된 프레임 상에서의 목표 좌표가 결정될 때까지, 새로 저장된 모든 프레임의 GMP에 대해 상기 함수를 적용함으로써 수행되는 것을 특징으로 하는 가이드 방법.
제4항에 있어서,

상기 운송 수단을 동적 목표를 향하여 가이드하는 경우, 상기 운송 수단 측에는 전체 데이터 프레임이 저장되는 것을 특징으로 하는 가이드 방법.
제15항에 있어서,

상기 기준 프레임으로부터 상기 이용가능한 가장 최근의 캡처된 프레임을 향하여 상기 물체의 좌표를 고속 전방 트레이싱하는 단계는, 상기 운송 수단 측에서의 고속 전방 물체 트레이싱 유틸리티 구동에 의해, 기준 프레임 상의 상기 목표의 좌표로부터 출발하여, 상기 가장 최근의 캡처된 프레임 상에서의 상기 목표의 좌표가 결정될 때까지, 새로 저장된 모든 프레임에 대해 상기 유틸리티를 적용함으로써 수행되는 것을 특징으로 하는 가이드 방법.
제16항에 있어서,

상기 운송 수단 측에서의 고속 전방 물체 트레이싱 유틸리티는, 먼저 상기 제어 센터로부터 제공된 상기 좌표를 이용하여 기준 프레임 상의 상기 마킹된 물체의 영역을 식별한 다음, 상기 가장 최근의 캡처된 프레임 상에서의 상기 영역 내에 있는 상기 목표의 좌표가 결정될 때까지, 새로 저장된 모든 프레임 내에서의 상기 영역의 움직임을 상관(correlation)에 의해 판정하는 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 내부 보조 가이드 시스템은 물체를 한 지점으로, 소정의 방향으로 또는 보조 내비게이션 시스템, 보조 트래커(tracker) 시스템 또는 그 조합을 이용하여, 이들의 조합으로 트랙킹하는 능력을 갖는 시스템인 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 기준 프레임을 나타내는 전체 프레임 데이터는 해당 프레임의 픽셀 묘사 데이터를 구비하는 것을 특징으로 하는 가이드 방법.
제19항에 있어서,

상기 전체 프레임 데이터는 선행 기준 프레임에 대한 상기 기준 프레임의 글로벌 변화를 나타내는 적어도 한 세트의 GMP를 구비하는 것을 특징으로 하는 가이드 방법.
제19항에 있어서,

상기 기준 프레임은 상기 픽셀 묘사 데이터를 이용하여 상기 제어 센터 측에 재구성 및 디스플레이되는 것을 특징으로 하는 가이드 방법.
제20항에 있어서,

상기 기준 프레임은 상기 픽셀 묘사 데이터를 이용하거나 또는 선행 기준 프레임에 대한 상기 기준 프레임의 글로벌 변화를 나타내는 적어도 한 세트의 GMP를 GMF에서 대체(substitute)함으로써 재구성 및 디스플레이되는 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 오퍼레이터는 인간 오퍼레이터가 아닌 전산화된 시스템인 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 GMP는 상기 제어 센터에 프레임이 도착하자마자 프레임을 구성하여 최소 지연을 갖는 프레임을 산출하는데 이용되는 것을 특징으로 하는 가이드 방법.
제1항에 있어서,

상기 프레임의 재구성은 하나 이상의 기준 프레임에 기초하는 것을 특징으로 하는 가이드 방법.