KR101359381B1

KR101359381B1 - 데이터 검색, 파서와 비디오 데이터와 텔레메트리 데이터의 동기화

Info

Publication number: KR101359381B1
Application number: KR1020127010686A
Authority: KR
Inventors: 쉴라 쥐. 휘태커; 진 에이. 그라인드스태프; 로저 케이. 쉘튼; 윌리암 디. 하월
Original assignee: 인터그래프 테크놀로지스 캄파니
Priority date: 2009-10-19
Filing date: 2010-10-15
Publication date: 2014-02-20
Also published as: AU2010310822B2; WO2011049834A3; CA2775963C; AU2010310822A1; CN102668534A; WO2011049834A2; IL218782A0; KR20120069750A; CA2775963A1; BR112012007309A2; CN102668534B; EP2491709B1; US8189690B2; CN104284233A; CN104284233B; IL218782A; EP2491709A4; EP2491709A2; US20110090399A1

Abstract

본 발명은 또한 구조화 파일 또는 구조화 데이터 스트림 내에 데이터를 일시적으로 위치시키는 데이터에 관한 것이며, 보다 상세하게는 프레임에 대한 일시적 시간과 관련된 암호화된 비디오 시퀀스 내에 프레임을 위치시키는 것에 관한 것이다. 또한 본 발명은 상응하는 암호화된 비디오 데이터를 가진 텔레메트리 데이터(telemetry data)를 동기화 하기 위한 시스템 및 방법, 데이터를 분석하는 방법에 관한 것이다.

Description

데이터 검색, 파서와 비디오 데이터와 텔레메트리 데이터의 동기화{DATA SEARCH, PARSER, AND SYNCHRONIZATION OF VIDEO AND TELEMETRY DATA}

MPEG-2 부호화된 비디오와 같은, MPEG 부호화된 비디오를 가지는 것이 종래 기술에 개시되어 있다. 검색 메커니즘을제공하기 위해, DVD 비디오는 암호화된 비디오 시퀀스를 챕터(chapter)로 분할한다. DVD 시스템의 사용자는 비디오 프로그램의 챕터(chapter) 사이를 이동하고, 챕터(chapter)에 의해 검색할 수 있지만, 사용자는 프로그램 내에 특정 시간에 특정 프레임에 접근하지 못 할 수 있다.정상적으로, MPEG 전송 스트림 내에서 특정 프레임을 찾기 위해서, 전체 MPEG 전송 스트림은 디코딩될 필요가 있고 그런 다음 특정한 재생 시간과 관련한 프레임을 위치시킬 수 있다. 그러므로, 비디오는 완전히 제공될 필요가 있을 것이다.

종래 기술에서, 텔레메트리(telemetry) 데이터를 획득하고 항공 사진/비디오를 동시 발생한다.

맵 기반 렌더링에 사용하기 위해, 텔레메트리(telemetry) 데이터와 비디오 이미지를 동기화될 필요가 있다. 일반적인 비디오 획득 시스템에서, MPEG 비디오 프로토콜과 그 밖의 비디오 압축 프로토콜이 사용된다. 프레임 데이터가 압축되고 시간적으로 색인에 넣지 않기 때문에, 각각 비디오 프레임을 위한 정확한 시간 위치는 상술한 바와 같이 바로 획득될 수 없다. 그러므로, 유용한 실시간 시스템 및 본질적인 실시간 시스템을 위해, 방법은 지도 위에 획득한 비디오 프레임을 제공하기 위해 비디오 프레임은 획득된 텔레메트리 데이터와 동기화 하기 위해서, 특정 미디어 재생 시간과 연관된 비디오 프레임을 압축 비디오 시퀀스 내에 빨리 위치시킬 필요가 있다.

데이터 파싱(parsing)은 잘 알려져 있는 기술적 기술이다. 파싱(parsing)은 일반적으로 파스 트리(parse tree)의 생성을 요구하고 토큰들(즉, 미리 정의된 데이터 워드들)을 식별하고, 상기 파스 트리(parse tree)에 배치될 수 있다.그런 다음 파스 트리(parse tree)는 식별된 단어의 문장 구조를 결정하기 위해 재탐지할 수 있다. 실시간 애플리케이션에서, 분석되거나 동기화될 필요가 있는 다량의 흐름 데이터가 있을 경우, 종래 파싱(parsing) 알고리즘은 효과적이지 않다.

본 발명의 목적은 텔레메트리 데이터와 비디오 데이터가 타임 스탬프와 같은, 시간 정보을 근거로 동기화되고, 텔레메트리(telemetry) 데이터와 그에 상응하는 비디오 데이터를 분석할 수 있는 시스템이 제공된다.

또한, 본 발명의 다른 목적은 항공기로부터 획득된 데이터가 지도에 디스플레이될 수 있도록 실시간으로 작동하는 시스템이 제공된다.

또한, 본 발명의 또 다른 목적은 실시간으로 복수의 비디오 스트림을 제공하기 위한 다중 데이터 스트림에 실시간으로 작동하는 시스템 및 방법이 제공된다.

또한, 본 발명의 또 다른 목적은 디스플레이에 대한 비디오 데이터의 소정의 획득 시간 주기를 출력하는 그래픽 사용자 인터페이스(GUI)를 포함하는 시스템이 제공된다.

본 발명의 일 실시예에 따른 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템은 사용자 지정 획득 시간 구간 및 텔레메트리 데이터 스트림을 수신하고, 상기 텔레메트리 데이터 스트림을 상기 사용자 지정 획득 시간 구간 안에 혹은 가깝게 위치시키기 위해 분석하는 텔레메트리 파서(parser); 인코딩된 에어리얼(aerial) 비디오 데이터 스트림에 접근하고, 상기 인코딩된 에어리얼 비디오 데이터 스트림의 일부를 비디오 프레임들로 변환하는 비디오 프레임 추출 모듈; 상기 획득 시간 및 비디오 프레임 데이터 타임에 기초하여 소정의 획득 시간 구간에 대한 상기 텔레메트리 데이터 및 상기 비디오 프레임 데이터를 동기화하는 동기화 모듈; 및 상기 소정의 획득 시간 구간 안에 비디오 프레임 각각에 대응되는 텔레메트리 데이터를 위해서 추가적인 텔레메트리 데이터를 생성하는 필터;를 포함하며, 상기 텔레메트리 데이터 스트림은 획득 시간을 가지고, 샘플링 레이트로 획득된 텔레메트리 데이터를 포함하며,

상기 비디오 프레임들은 상기 사용자 지정 시간 구간에 가깝거나 혹은 상기 사용자 지정 구간 내에 있는 비디오 프레임 데이터 시간을 가짐을 특징으로 할 수 있다.

또한 본 발명의 일 실시예에 따른 시스템은 디스플레이를 위한 비디오 데이터의 상기 소정의 획득 시간 구간을 출력하는 그래픽 사용자 인터페이스;를 더 포함할 수 있다.

상기 인코딩 에어리얼 비디오 데이터 스트림은 상기 소정의 시간 주기에 가깝거나, 포함되는 비디오 프레임의 그룹을 위한 프리젠테이션 타임스탬프를 기반으로 하여 데이터를 위치시키기 위해 분석될 수 있다.

상기 텔레메트리 데이터는 비디오 프레임 데이터의 샘플링 레이트보다 더 긴 레이트로 샘플링 될 수 있다.

본 발명의 일 실시예에 따른 시스템은 지도를 생성하는 렌더링 모듈;을 더 포함하며, 상기 비디오 프레임 데이터는 에어리얼 획득 평면으로부터 지도 평면 공간적으로 변환되며, 상기 변환된 비디오 프레임 데이터는 상기 비디오 프레임 데이터와 관련된 텔레메트리 데이터를 기초로 하여 상기 지도에 삽입될 수 있다.

또한 본 발명의 일 실시예에 따른 또 다른 시스템은 텔레메트리 파일로 상기 텔레메트리 데이터 스트림을 저장하고, 에어리얼 비디오 파일로 상기 인코딩 에어리얼 비디오 데이터 스트림을 저장하는 메모리;를 더 포함할 수 있다.

상기 텔레메트리 데이터는 KLV(Key length value)포맷으로 인코딩될 수 있다.

상기 텔레메트리 파서(parser)는 제1의 키 바이트 사이즈를 분석하고, 제1 부분 및 제2 부분을 적어도 제1 및 제2 버퍼 안에 두고, 상기 텔레메트리 파서(parser)는 상기 제1 버퍼 안에 제1 부분 키 값을 위한 텔레메트리 데이터를 확인하고, 그리고 만약 상기 텔레메트리 데이터가 유효한 부분 키를 나타내면, 상기 파서는 상기 제2 버퍼 안에 제2 부분 키 값을 위한 텔레메트리 데이터를 확인할 수 있다.

상기 비디오 프레임 추출 모듈은 소정의 시간 범위 안에 있는 않는 PTS를 가진 MPEG 인코딩 데이터를 처분할 수 있다.

본 발명의 일 실시예에 따른 소정의 시간 구간에 기초하여 KVL 포맷으로 저장된 텔레메트리 데이터 파일로부터 텔레메트리 데이터를 분석하는 방법은 텔레메트리 데이터 파일의 제1 섹션을 수신하는 단계; 식별된 키와 상기 텔레메트리 데이터 파일의 제1 섹션을 비교하는 단계; 만약 상기 제1 섹션이 확인된 키와 같다면, 소정의 키와 관련된 길이를 확인하는 단계; 텔레메트리 데이터 안의 타임 스탬프와 소정의 시간 구간을 비교하는 단계; 만약 상기 타임 스탬프가 상기 시간 구간과 대략적으로 가깝거나 상기 시간 구간 내에 있는 경우, 식별된 키를 기초로 하여 데이터베이스 구조체에 식별된 길이와 같은 길이의 데이터를 저장하는 단계; 및 만약 상기 타임 스탬프가 상기 시간 구간과 가깝지 않거나 상기 시간 구간 범위 밖에 있다면, 상기 키와 관련된 텔레메트리 데이터를 처분하고, 상기 텔레메트리 데이터 파일로부터 데이터의 다음 바이트로 증가시키는 단계;를 포함할 수 있다.

상기 데이터베이스 구조는 상기 확인된 길이와 같게 저장된 데이터를 위한 것이며, 지면 위치의 표시를 포함할 수 있다.

상기 데이터베이스 구조는 확인된 길이와 같게 저장된 데이터를 위한 것이며, 지면 위치의 위도 및 경도에 대한 식별자를 포함할 수 있다.

본 발명의 일 실시예에 따른 또 다른 텔레메트리 데이터 파일 및 개별적으로 획득된 인코딩된 비디오 파일을 동기화 하는 방법은 텔레메트리 데이터 파일의 데이터 세그먼트를 프로세서로 수신하는 단계; 상기 데이터 세그먼트를 식별된 키와 비교하는 단계; 만약 상기 데이터 세그먼트가 상기 식별된 키와 매칭되지 않으면, 데이터의 다음 바이트로 증가하고, 텔레메트리 데이터 파일의 제1 섹션이 상기 키와 매칭될 때 까지 수신과 비교를 반복하는 단계; 소정의 키와 관련된 식별자의 길이를 확인하는 단계; 텔레메트리 데이터 안의 텔레메트리 타임 스탬프를 확인하는 단계; 만약 상기 텔레메트리 타임 스탬프가 시간적으로 사용자 정의 시간 구간 내이거나 가깝다면, 상기 키에 기초하여 메모리 안의 데이터베이스 구조체까지 확인된 길이와 같은 길이의 텔레메트리 데이터 파일로부터 데이터를 저장하는 단계; 만약 상기 텔레메트리 타임 스탬프가 시간적으로 사용자 정의 시간 구간 내가 아니거나 가깝지 않다면, 상기 키와 관련된 텔레메트리 데이터를 처분하고 상기 텔레메트리 데이터 파일로부터 데이터의 다음 바이트까지 증가하고 수신하기, 비교하기, 확인하기, 저장하기를 반복하는 단계; 인코딩된 비디오 데이터 파일의 데이터 세그먼트를 수신하는 단계; 상기 세그먼트 안에 식별된 각각의 PTS에 대해서 사용자가 지정한 시간 구간 내이거나 상기 시간 구간에 가까운지 여부를 결정하는 단계; 만약 상기 PTS가 상기 사용자 지정 시간 구간내이거나 상기 사용자 지정 시간에가깝다면, 비디오 데이터를 디코딩하고 비디오 프레임 각각에 대한 프레임 타임 스탬프들을 확인하고, 상기 사용자 지정 시간 구간 안에 상기 비디오 프레임들을 메모리에 저장하는 단계; 상기 사용자 지정 시간 구간에 기초하여 메모리에 저장된 상기 비디오 프레임들과 메모리에 저장된 상기 텔레메트리 데이터를 동기화하는 단계; 및 상기 동기화된 텔레메트리 데이터와 그에 상응하는 비디오 프레임들을 메모리에 저장하는 단계;를 포함할 수 있다.

또한 본 발명의 일 실시예에 따른 텔레메트리 데이터 파일 및 개별적으로 획득된 인코딩된 비디오 파일을 동기화 하는 방법은 상기 동기화된 텔레메트리 데이터에 기초하여 메모리에 저장된 상기 비디오 프레임들을 뷰 스페이스 변환하는 단계; 및 지도와 함께 디스플레이 되는 뷰 스페이스 변환된 비디오 프레임들을 렌더링 하는 단계;를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법은 인코딩된 비디오 데이터를 프로세서로 전달하는 단계; PTS와 관련된 근사 타임 스탬프를 위치시키는 단계; 상기 근사 타임 스탬프와 소정의 시간 구간을 비교하는 단계; 만약 상기 근사 타임 스탬프가 소정의 시간 구간내이거나 가깝다면, 인코딩된 비디오 프레임들의 그룹을 디코딩하고, 각각의 인코딩된 비디오 프레임을 위한 프레임 타임 스탬프를 확인하는 단계; 및 만약 상기 프레임 타임 스탬프가 소정의 시간 구간 내라면, 프레임과 대응되는 프레임 타임 스탬프를 나중에 회수하기 위해 메모리에 저장하는 단계;를 포함할 수 있다.

상기 인코딩된 비디오 데이터는 MPEG 포맷으로 인코딩될 수 있다.

상기 근사 타임 스탬프가 재생 시간의 추정이고, 동일시 하는 범위와 관련될 수 있다.

또한 본 발명의 일 실시예에 따른 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법은 룩업 모듈로부터 상기 소정의 시간 구간을 수신 받는 단계를 더 포함하며, 상기 룩업 모듈은 맵 로케이션을 입력으로 받고, 인코딩된 비디오 데이터 파일을 획득하는 항공기에 대한 비행 경로에 기초하여 인코딩된 비디오 데이터 파일에 대한 상기 소정의 시간 구간을 확인함을 특징으로 할 수 있다.

상기 인코딩된 비디오 데이터가 MPEG-2 포맷으로 인코딩됨을 특징으로 할 수 있다.

본 발명의 일실시예에 따르면, 텔레메트리 데이터와 비디오 데이터가 타임 스탬프와 같은, 시간 정보을 근거로 동기화되고, 텔레메트리(telemetry) 데이터와 그에 상응하는 비디오 데이터를 분석할 수 있는 시스템이 제공된다.

또한, 본 발명의 일실시예에 따르면, 항공기로부터 획득된 데이터가 지도에 디스플레이될 수 있도록 실시간으로 작동하는 시스템이 제공된다.

또한, 본 발명의 또 다른 일실시예에 따르면, 실시간으로 복수의 비디오 스트림을 제공하기 위한 다중 데이터 스트림에 실시간으로 작동하는 시스템 및 방법이 제공된다.

또한, 본 발명의 또 다른 일실시예에 따르면, 디스플레이에 대한 비디오 데이터의 소정의 획득 시간 주기를 출력하는 그래픽 사용자 인터페이스(GUI)를 포함하는 시스템이 제공된다.

본 발명은 미국특허청에 2009년 10월 19일자로 출원한 가출원인 제61/252959호에 대해서 우선권 주장을 하여 출원한다.

본 발명의 제 첫번째 실시예에 따르면, 텔레메트리 데이터와 비디오 데이터가 타임 스탬프와 같은, 시간 정보을 근거로 동기화되고, 텔레메트리(telemetry) 데이터와 그에 상응하는 비디오 데이터를 분석할 수 있는 시스템이 제공된다. 텔레메트리(telemetry) 데이터와 비디오 데이터는 원래 비동기화되고 각각의 데이터는 독립된 장치에 의해 획득된다. 취득 장치는 항공기들에 부착되거나, 항공기 안에 있을 수 있다. 시스템은 텔레메트리(telemetry) 데이터 스트림 또는 텔레메트리 데이터 파일과 비디오 데이터 스트림 또는 비디오 데이터 파일을 수신하고, 텔레메트리(telemetry) 데이터를 가진 일련의 동기화된 비디오 이미지를 출력한다. 그러므로, 각각 비디오 이미지와 관련된 텔레메트리 정보가 있다. 텔레메트리(telemetry) 데이터는 비디오 데이터보다 다른 레이트로 획득될 수 있다. 결과적으로, 텔레메트리(telemetry) 데이터는 각각 비디오 이미지에 해당된 텔레메트리(telemetry) 데이터를 만들기 위해 외삽(extrapolated) 되거나 내삽(interpolated)된다. 본 발명의 일실시예에 따른 다른 시스템은 항공기로부터 획득된 데이터가 지도에 디스플레이될 수 있도록 실시간으로 작동한다.

시스템은 군대 운동에 대한 실시간 시각 정보를 제공하기 위해서 전쟁 상태에 사용될 수 있다. 덧붙여, 항공기로부터 유출시킨 비디오 데이터와 텔레메트리(telemetry) 데이터는 캡쳐 될 수 있고, 파일로서 메모리에 저장될 수 있다. 텔레메트리 데이터와 비디오 데이터는 소정의 시간 후에 회복될 수 있고, 분석(해석)될 수 있고, 동기화 될 수 있으며, 비디오 데이터가 디스플레이 장치에서 표현하기 위해 공간적으로 변환될 수 있다. 시스템은 디스플레이를 위한 시간 구간(특정 시간 구간)을 사용자가 선택하게 할 수 있다. 예를 들면, 항공기는 비행 하는 동안 수백의 마일 위에서 이미지를 찍을 수 있고 사용자는 오직 선택 영역에 관심을 가질 수 있다.

그러므로, 사용자는 항공기가 관심 지역을 지나갈 것으로 예상되는 특정 시간을 선택할 수 있고, 그 이미지 정보는 비디오 파일 안에 다른 획득 정보를 디스플레이하지 않으면서, 지도 위에 디스플레이 될 것이다.

텔레메트리(telemetry) 데이터 파서(parser)는 획득 장치로부터 혹은 메모리에 저장된 파일로부터 KVL(key value length)을 수신한다.

파서(parser)는 비트 단위의 분석을 요구하지 않고, 계층적 구문 트리(hierarchical syntax tree)를 재탐지할 필요 없이 부적당한 데이터를 건너 뛸 수 있다. 오히려 정보의 바이트 단위로 알려진 키 시퀀스를 찾기 위해 분석된다. 키 값(key value)은 키를 따른 데이터의 타입으로 지정한다. 파서(parser)는 텔레메트리(telemetry) 데이터를 위한 타임 스탬프를 위치시키고 텔레메트리(telemetry) 데이터가 특정 시간 주기 내에 있다면, 데이터가 도출되고 메모리에 저장된다. 텔레메트리 파일 또는 스트림 내에 있는 키 값을 근거로, 특정 시간 주기 동안 획득된 텔레메트리(telemetry) 데이터는 식별되어지고, 알려진 데이터베이스 구조체에 저장될 수 있다. 만약 텔레메트리(telemetry) 데이터를 위한 타임 스탬프가 소정의 시간 주기에 없다면, 데이터가 버려지고 파서(parser)가 파스(parse) 트리에 데이터를 추가 하지 않고, 계속한다.

그러므로, 파서(parser)는 계층적 파서(parser)(hierarchical parser)보다 오히려 순차적인 것이다. 파서(parser)는 알려진 키 값과 키들을 비교함으로써 키를 검증(인증)하고, 체크썸(checksum)을 근거로 한 텔레메트리(telemetry) 데이터를 인증한다. 데이터가 무효이면, 파서(parser)는, 정보의 다음 바이트로 이동할 것이고, 무효인 데이터를 버리고, 다음 키 값을 찾기 시작할 것이다. 이것은 비트 단위 분석을 수행할 종래 파서(parser)와 상반되고 부적당한 데이타가 마주치게 되면 계층 파서(parser) 트리를 재탐지할 필요가 있다. 결과적으로, 파서(parser)는 KLV 조합과 일치하는 수만 또는 수십만의 패킷을 가지고 있는 스트림 또는 파일이 동작 하는 동안에 실시간으로 작동할 수 있다. 텔레메트리(telemetry) 데이터 파서(parser)가 일련의 키를 가진 포맷을 가지고 있는 텔레메트리(telemetry) 데이터 또는 다른 데이터를 분석할 수 있다. 여기서, 실시간 파싱이 필수적이다. 텔레메트리(telemetry) 데이터 파서(parser)는 주문형 반도체(ASIC) 또는 현장 프로그램 가능 게이트 어레이(FPGA)과 같은, 전자 소자로서, 컴퓨터 위의 작동을 위한 컴퓨터 판독성 매체에 대한 컴퓨터 프로그램으로 구체화될 수 있거나, 전자공학과 컴퓨터 코드의 조합을 포함할 수 있다.

압축된 비디오 데이터를 위한 데이터 검색 모듈은 필터를 사용하며, 대략적인타임 스탬프(Time Stamp)를 위치시킨다. 데이터 검색 모듈은 또한 비디오 프레임 추출 모듈로서 언급될 수 있다. 압축 데이터가 MPEG, H.264 혹은 PTS(Presentation Time Stamp)를 포함하는 다른 포맷이라면, 필터는 PTS 헤더를 위치시키고, 플레이백을 위해 대략적인 시작 미디어 시간을 보여주는 타임 스탬프를 추출한다. 필터는 소정의 시간 구간 내에 혹은 소정의 시간 구간에 가까운 타임 스탬프를 가지지 않은 PTS 헤더에 대한 압축 데이터를 처분할 것이다. 필터가 소정의 시간 구간 내에 혹은 소정의 시간 구간에 가깝게 타임 스탬프를 위치시킬 때, 압축 데이터는 데이터를 디코딩하는 디코더에게 전달된다. 소정의 시간 구간 안에 포함된 프레임(들)은 각각 프레임을 위한 타임 스탬프를 이용하거나 PTS 시간과 함께 플레이백 레이트(Playback rate)를 기반으로 한 프레임과 관련된 시간을 계산함으로써 위치되고 저장된다. 데이터 검색 모듈에 의해 사용된 방법론은 다른 암호화된 비디오 데이터 시스템과 함께 사용될 수 있고, 항공기에 의해 캡쳐된 비디오에 대한 용도로 제한되지 않는다.

덧붙여, 데이터 검색 모듈은 컴퓨터 프로세서에 대한 용도로 컴퓨터 판독성 매체에 대한 컴퓨터 코드로 구현될 수 있거나, ASIC ( application specific integrated circuit )또는 FPGA( field programmable gate array )과 같은, 전자 소자로 구체화될 수 있다. 덧붙여, 데이터 검색 모듈은 하드웨어와 소프트웨어의 조합으로서 형성될 수 있다.

시스템은 소정의 시간 구간 내에 있는 텔레메트리(telemetry) 데이터와 비디오 데이터를 동기화시킨다. 텔레메트리(telemetry) 데이터는 비디오 스트림으로부터 각각 이미지에 대한 텔레메트리(telemetry) 데이터를 제공하기 위해 외삽되거나, 내삽될 있다. 소정의 시간 구간 내에 텔레메트리(telemetry) 데이터와 동기화된 비디오 데이터는 렌더링(rendering) 엔진에게 전달된다. 렌더링 엔진은 텔레메트리(telemetry) 데이터를 사용하며, 디스플레이에 비디오 프레임 데이터를 출력한다. 렌더링 엔진은 또한 보기 평면(view plane)에 주어진 각각 비디오 이미지의 필수적인 공간 변형을 수행할 것이다. 또 다른 실시예에서, 비디오 프레임 데이터는 지도 위의 디스플레이를 위해 포맷이 지정되기 위해 변형될 수 있다.

시스템, 방법과 상응하는 컴퓨터 프로그램 제품은 실시간으로 복수의 비디오 스트림을 제공하기 위한 다중 데이터 스트림에 실시간으로 작동할 수 있다. 이에 따라 복수의 항공기로부터의 비디오는 동시에 지도 위에 제공될 수 있다.

에어리얼(aerial) 비디오 데이터를 포함하는 지도를 생성하기 위한 비동기 인코딩된 에어리얼(aerial)비디오 데이터와 개별적으로 획득된 텔레메트리(telemetry) 데이터를 동기화하는 시스템이 기술된다. 시스템은 사용자 지정 획득 시간 구간 및 텔레메트리 데이터 스트림을 수신받고, 텔레메트리 데이터 스트림을 분석하여 텔레메트리 데이터가 사용자 지정 획득 시간 구간 내 혹은 사용자 지정 획득 시간 구간에 가깝게 위치하게 하기 위한 텔레메트리 파서(parser)를 포함하며, 텔레메트리 데이터 스트림은 샘플링 레이트(sampling rate)에서 획득된 텔레메트리 데이터를 가진다.

게다가 시스템은 인코딩된 에어리얼(aerial) 비디오 데이터 스트림에 접근하고 인코딩된 에어리얼(aerial) 비디오 데이터 스트림의 일부를 비디오 프레임 데이터 시간을 가지고 있는 비디오 프레임으로 디코딩하기 위한 비디오 프레임 추출 모듈을 포함한다. 비디오 프레임들은 시간적으로 사용자 지정 시간 구간에 가깝거나, 사용자 지정 시간 구간 내에 있다.

텔레메트리 파서(parser)와 비디오 프레임 추출 모듈이 대응되는 비디오 및 텔레메트리 데이터를 위한 적절한 타임 스탬프들(획득 시간과 비디오 프레임 데이터 시간 등)을 확인한다면, 동기화 모듈은 획득 시간과 비디오 프레임 데이터 시간을 근거로 한 소정의 획득 시간 주기 동안 텔레메트리(telemetry) 데이터와 비디오 프레임 데이터를 동기화시킨다. 시스템은 또한 소정의 획득 시간 주기 내에 각각 비디오 프레임에 해당된 텔레메트리(telemetry) 데이터가 있도록 추가적 텔레메트리(telemetry) 데이터를 생산하기 위한 필터를 포함할 수 있다.

본 발명의 다양한 실시예에서, 시스템은 디스플레이에 대한 비디오 데이터의 소정의 획득 시간 주기를 출력하는 그래픽 사용자 인터페이스(GUI)를 포함할 수 있다.

본 발명의 실시예에서, 인코딩된 에어리얼(aerial) 비디오 데이터 스트림은 소정의 시간 구간에 가깝거나 소정의 시간 구간내의 비디오 프레임 그룹을 위한 프리젠테이션 타임 스탬프(Presentation time stamp, PTS)를 근거로 하여 데이터를 위치시키기 위해 분석된다. 텔레메트리(telemetry) 데이터는 비디오 프레임 데이터를 위한 샘플링 레이트(sampling rate)보다 더 긴 레이트로 샘플 될 수 있다.

시스템은 지도를 생성하는 렌더링(rendering) 모듈을 포함하거나 부착될 수 있다. 여기에서 비디오 프레임 데이터는 공간적으로 에어리얼 획득 평면부터 지도 평면까지 변형되고, 변형된 비디오 프레임 데이터는 비디오 프레임 데이터와 관련된 텔레메트리 데이터에 기반하여, 지도에 삽입된다.

시스템은 또한 텔레메트리 파일 안으로 텔레메트리(telemetry) 데이터 스트림을 저장하고, 에어리얼(aerial) 비디오 파일 안으로 인코딩된 에어리얼(aerial) 비디오 데이터 스트림을 저장하기 위한 메모리를 포함한다. 그래픽 사용자 인터페이스(GUI)는 사용자가 동시에 디스플레이 장치에 나타나는 지도에 보여 질 수 있도록 적어도 둘이상의 비디오 데이터 파일을 선택하게 할 수 있다.

텔레메트리(telemetry) 데이터는 KLV(Key length value) 포맷에 저장될 수 있다. 텔레메트리(telemetry) 데이터가 KLV 포맷에 저장될 때, 텔레메트리 파서(parser)는 데이터의 첫번째 알려진 키 바이트 사이즈를 분석할 수 있고, 데이터의 첫번째 부분과 두번째 부분을 제1 버퍼와 제2 버퍼 중 하나에 삽입한다. 텔레메트리 파서(parser)는 첫번째 부분 키 값을 위해 제 1 버퍼 내에 텔레메트리(telemetry) 데이터를 체크하고, 텔레메트리(telemetry) 데이터가 유효한 부분 키를 나타내면, 파서(parser)는 텔레메트리(telemetry) 데이터를 두번째 부분 키 값을 위한 제2 버퍼에서 체크한다.

비디오 프레임 추출 모듈은 소정의 시간 범위에 있지 않은 프리젠테이션 타임 스탬프(PTS)와 관련된 MPEG 부호화된 데이터를 처분하도록 형성될 수 있다.

텔레메트리 파서(parser)는 다음과 같은 방법에서 작동할 수 있다. 텔레메트리 파서(parser)는 텔레메트리(telemetry) 데이터 파일이 KLV 포맷(Key Length Value format)에 저장된 텔레메트리(telemetry) 데이터를 포함할 수 있는 텔레메트리(telemetry) 데이터 파일의 제1 섹션을 수신한다. 텔레메트리 파서(parser)는 식별 키(identified key)와 텔레메트리(telemetry) 데이터 파일의 제1 섹션을 비교한다. 텔레메트리(telemetry) 데이터 파일의 제1 섹션이 식별키와 일치하면, 텔레메트리 파서(parser)는 식별 키와 관련된 길이를 확인한다.

그런 다음, 텔레메트리 파서(parser)는 소정의 시간 구간과 텔레메트리(telemetry) 데이터에 포함된 식별 시간 표시를 비교한다. 만약 타임 스탬프가 시간적으로 소정의 시간 구간에 가깝거나 소정의 시간 구간 안에 포함된다면, 텔레메트리 파서(parser)는 식별 키를 근거로 하여 데이터베이스 구조에 확인된 길이와 동일한 길이의 데이터를 저장한다. 만약 타임 스탬프가 시간 구간게 시간적으로 가깝지 않으면, 텔레메트리 파서(parser)는 키와 관련되고 텔레메트리(telemetry) 데이터 파일로부터 데이터의 다음 바이트에 덧붙여진 텔레메트리(telemetry) 데이터를 처분한다. 텔레메트리(telemetry) 데이터는 항공기에 붙어 있는 카메라가 촬영한 지면 위치에 대한 경도 및 위도를 포함한 지면의 표시를 포함한 많은 다양한 데이터 형식을 포함할 수 있다.

비디오 프레임 추출 모듈은 소정의 시간 주기를 가지고 있는 적어도 하나의 비디오 프레임을 위치시키기 위해 암호화된 비디오 데이터를 분석할 수 있다. 비디오 프레임 추출 모듈은 암호화된 비디오 데이터를 수신 받고, 한 그룹의 비디오 프레임을 위한 근사 타임 스탬프(time stamp)를 위치시킨다.

근사 타임 스탬프(time stamp)가 소정의 시간 주기와 가깝거나 소정의 시간 주기내에 포함된다면, 비디오 프레임 추출 모듈은 비디오 프레임의 그룹을 디코딩하고 디코딩된 비디오 프레임을 위한 프레임 타임 스탬프를 각각 확인할 것이다.

만약 프레임 타임 스탬프가 소정의 시간 주기 내에 있다면, 비디오 프레임 추출 모듈은 프레임 및 프레임 타임 스탬프를 저장 할 것이다.

특정 실시예에서, 암호화된 비디오 데이터는 MPEG 포맷으로 암호화 된다. 근사 타임 스탬프는 플레이백 시간의 추정치이고 동일한 시간 범위와 관련된 프리젠테이션 타임 스탬프(PTS)일 수 있다.

일단 비디오 프레임 추출 모듈과 텔레메트리 파서(parser)는 비디오 데이터와 텔레메트리(telemetry) 데이터를 분석했고, 사용자 지정 시간 구간을 위한 데이터를 위치시켰다. 동기화 모듈은 텔레메트리(telemetry) 데이터를 사용자 지정 시간 구간을 위한 디코딩된 비디오 프레임에 동기화시킨다. 동기화된 텔레메트리(telemetry) 데이터와 상응하는 디코딩된 비디오 프레임은 메모리에 저장된다. 텔레메트리(telemetry) 데이터는 관계형 데이터베이스 시스템에 의해 이용된 파일 구조와 같은 파일 구조(file structure)에 저장될 수 있다. 그런 다음 디코딩된 비디오 프레임은 비디오 데이터가 디스플레이장치에 디스플레이될 수 있도록 상응하는 텔레메트리(telemetry) 데이터를 기반으로 한 뷰 스페이스 변환(view space transform)을 실행한다.

일단 비디오 데이터가 뷰 스페이스 변환(view space transform)하면, 인코딩된 비디오 프레임은 디스플레이에 제공된다. 비디오 프레임은 지도 위에 덧붙여 질 수 있고, 디스플레이 장치에 (즉, 연속적으로) 실시간으로 나타낼 수 있다.

소정의 시간 범위(즉, 사용자 지정 시간 구간)는 지도 위에 위치의 선택을 근거로 결정될 수 있다. 그와 같은 실시예에서, 소정의 시간 주기는 그래픽 사용자 인터페이스(GUI)에 의해 결정되고 그래픽 사용자 인터페이스는 제어 모듈을 통하여 소정의 시간 범위를 텔레메트리 파서(parser)와 비디오 프레임 추출 모듈로 넘겨 준다. 그래픽 사용자 인터페이스(GUI)는 맵 로케이션(map location)을 입력으로 받고 인코딩된 비디오 데이터 파일 및 비행 시간들의 DB에 접근함으로써 소정의 시간 주기를 확인할 수 있다.

비행 시간을 근거로 하여, 그래픽 사용자 인터페이스(GUI)는 암호화된 비디오 데이터 파일을 획득했던 항공기를 위한 비행 경로를 기반으로 암호화된 비디오 데이터 파일을 선택한다. 그런 다음, 그래픽 사용자 인터페이스(GUI)는 비행을 위한 비행 경로, 출발 시간과 항공기의 속도를 근거로 하여 소정의 근사 시간 주기를 추정할 수 있다.

도면의 간단한 설명

발명의 상기 특징은 첨부된 도면 및 상세한 설명을 통해 좀더 쉽게 이해 될 것이다.

도 1는 본 발명의 일실시예에 따른 시간 X에 비디오 프레임 및 텔레메트리 데이터를 위치시키기 위해 처리되는 텔레메트리 데이터와 압축된 비디오 데이터의 분리 획득을 보여준다.

도 1a는 본 발명의 일실시예에 따른 내부 모듈 사이에 통신 경로를 포함하는 시스템을 보여준다.

도 2는 본 발명의 일실시예에 따른 실시간 에어리얼(aerial) 비디오 데이터를 보여주는 그래픽 사용자 인터페이스(GUI)와 비디오 디스플레이 위에지도 위에 디스플레이를 위한 획득된 텔레메트리(telemetry) 데이터을 근거로 하여 변환된 비디오 데이터를 가진 프로세서를 포함한 시스템을 보여준다.

도 3는 본 발명의 일실시예에 따른 압축된 비디오 파일에 저장된 소정의 시간 또는 주기와 관련된 프레임 혹은 비디오 프레임을 위치시키기 위한 데이터 파이프라인 처리기의 일부이다.

도 3a는 본 발명의 일실시예에 따른 비디오 그룹 필터에 의해 실행된 단계의 흐름도이다.

도 3b는 본 발명의 일실시예에 따른 압축된 비디오 파일 내에 특정한 비디오 프레임을 찾기 위한 검색 모듈에 의해 실행된 방법의 흐름도이다.

도 4는 본 발명의 일 실시예에 따른 텔레메트리 데이터 파서(parser), 텔레메트리 동기화 모듈 및 엑스트라폴레이션 필터(extrapolation filter)를 보여주는 데이터 파이프라인 처리기의 두번째 부분이다 여기서, 소정의 시간 구간으로부터 비디오 프레임들은 뷰 스페이스 변환을 포함하는 렌더링 엔진에게 전달되는 것에 우선하여, 대응된 텔레메트리 데이터와 동기화된다.

도 5는 본 발명의 일실시예에 따른 텔레메트리 파서(parser)를 위한 흐름도이다.

도 6은 본 발명의 일실시예에 따른 단수의 항공기를 위해 비디오 데이터를 가지고 그래픽 사용자 인터페이스 및 지도의 렌더링이다.

도 7은 본 발명의 일실시예에 따른 2대 항공기를 위해 덮어 씌워진 비디오 데이터로 그래픽 사용자 인터페이스 및 지도의 렌더링이다.

실시예

용어""모듈""은 소프트웨어 컴포넌트 (예를 들어 대상, 프로그램 블록, 분리된 독립성 프로그램 기타 등등), 하드웨어 구성 요소 (ASICs 또는 FGPAs와 같은 회로소자)또는 소프트웨어와 하드웨어 구성 조합에 관해 언급할 것이다. 모듈은 단일 위치에 있거나, 다양한 위치에 분포될 수 있다.

항공기, 헬리곱터와 드론(drone)들을 포함한 공중 정찰 운반체는 영역, 빌딩, 사람들과 운반체를 포함하여 지구의 표면의 기록 이미지를 위한 비디오 저장 장비를 갖추고 있을 수 있다. 덧붙여, 공중 정찰 운반체는 일련의 시간에 기록하는 원격 측정 정보를 위한 텔레메트리 획득 장치를 포함할 수 있다. 텔레메트리(telemetry) 데이터는 지면에 관해서 공중 정찰 운반체의 위치와 같은 정보를 포함할 수 있다. 공중 정찰 운반체는 재고품(off-the-shelf) 텔레메트리 수집 장치와 재고품 비디오 레코딩 장비를 갖추고 있다. 그와 같은 운반체에서, 텔레메트리 수집 장치와 레코딩 장비는 독립적으로 작동하고, 동기화되지않는다. 텔레메트리 수집 장비와 비디오 레코딩 장비는 모두 데이터 스트림을 출력한다. 여기에서 데이터가 샘플링/획득 비율로 생산된다.

비디오 레코딩 장비는 비디오 데이터를 MPEG-2 인코딩된 데이터와 같은, 압축된 형식으로기록할 수 있다. 비디오 데이터는 추가적 처리를 위해서, 항공기에서 중심 수용 오피스로 전송된다. 유사하게, 텔레메트리(telemetry) 데이터는 또한 항공기에서 추가적 처리를 위해서 중심 수용 오피스로 전송될 수 있다. 이것은 실시간으로 행해질 수 있다. 약간의 실시예에서, 비디오 데이터와 텔레메트리(telemetry) 데이터는 항공기로부터 중심 수용 위치까지의 전송을 위한 하나의 MPEG-2 전송 스트림로 암호화될 수 있다. 예를 들면, 비디오와 관련된 텔레메트리 정보를 획득하는 동안에 항공기 또는 다른 비행 운송 수단은 지구 표면의 영상을 촬영하고, MPEG 포맷으로 그들의 이미지를 녹화한다.

프로세서는 텔레메트리 데이터 스트림과 비디오 데이터 스트림을 수신받을 수 있고, MPEG 기본 스트림 같이 텔레메트리(telemetry) 데이터 스트림을 포맷할 수 있다.

그런 다음, 텔레메트리 기본 스트림과 함께 MPEG 비디오 기본 스트림은 중심 수용 오피스에 단일 MPEG 전송 스트림을 무선으로 전송될 수 있다.

텔레메트리(telemetry) 데이터와 MPEG 비디오는 디스플레이 장치에 처리와 디스플레이를 위한 중심 수용 위치에서 수신될 때 역다중화된다. 그와 같은 시스템에서, 비디오와 텔레메트리 획득 시스템은 동기화되지않고 비디오와 텔레메트리 획득 시스템으로부터의 정보는 독립적으로 획득된다. 게다가 비디오와 텔레메트리 시스템은 다양한 비율로 데이터를 획득할 수 있다 (예를 들어 0.5초마다텔레메트리(telemetry) 데이터와 1/30초마다 비디오 이미지). 이것은 때 비디오와 텔레메트리(telemetry) 데이터가 똑같은 MPEG 전송 스트림 내에 포함될 수 있다.

그러므로, 도 1에 나타난 바와 같이 2 가지 분리된 데이터 파일이 있다 : 텔레메트리(telemetry) 데이터 파일(100)과 비디오 데이터 파일(110), 항공기의 속도 때문에, 각각 이미지/프레임은 다양한 지면 위치 (즉, 경도와 위도 위치)의 항공 관측을 나타낼 수 있다.

예시에서, 각각 이미지는 (항공기의 속도, 높이, 카메라 렌즈, 시야 등에 따라서) 50 야드 또는 더 넓은 부분 일 수 있다. 비디오 데이터의 프레임은 각각 다양한 텔레메트리(telemetry) 데이터와 관련될 수 있고 샘플링 레이트(sampling rate)에 의존해서, 다중 비디오 프레임은 텔레메트리 샘플 사이에 발생할 수 있다. 그러므로 텔레메트리 데이터와 비디오 데이터는 데이터를 획득하는 동안 획득된 타이밍 정보를 이용하여 동기화할 필요가 있다.

텔레메트리(telemetry) 데이터는 원격 측정 시스템의 내부 클럭과 관련하여 날인되거나 외부 클럭과 관련하여 날인 될 수 있다.

유사하게, 압축된 MPEG 비디오 데이터는 각각 비디오 프레임을 위한 타임 스탬프를 포함할 수 있다. 그러나 MPEG 비디오 데이터가 압축이 풀어지지 않는다면, 타임 스탬프에 접근할 수 없다.도 1에 도시된 바와 같이, 비디오 데이터(110)은 압축된 MPEG 데이터 (전송 스트림)으로 수신되고, 최종결과는 특정 미디어 플레이백 시간 X에서의 디코딩된 MPEG 프레임(130)을 시간 X에 대한 상응하는 텔레메트리(telemetry) 데이터(160)와 함께 동기화한다. 도면에 나타낸 바와 같이, 텔레메트리(telemetry) 데이터는 프레임 획득 비율이 텔레메트리 획득 비율 (텔레메트리 데이터(140)과 (150)사이의 보간)보다 더 빠르기 때문에 삽입되는 것이 요구된다.

도 1a는 디스플레이 장치 위의 디스플레이를 위한 그래픽 지도의 생성을 위한 시스템을 보여준다. 여기서, 그래픽 지도는 오버레이(overlay)된 비디오 이미지를 포함한다.

텔레메트리(telemetry) 데이터와 비디오 데이터는 텔레메트리 데이터 입력(170)과 비디오 데이터 입력(171)을 통하여 시스템에 입력된다. 원래, 텔레메트리(telemetry) 데이터와 비디오 데이터는 MPEG 전송 스트림을 이용하여 시스템에 스트림 될 수 있다. 여기서, 텔레메트리 데이터는 제1 기본 스트림의 일부이며, 비디오 데이터는 제2 기본 스트림의 일부일 수 있다.

실시예에서, 데이터는 역다중화될 것이고 개별적 스트림은 메모리(172)에게의 그들의 각각 개별적으로 입력을 통해 보내질 것이다. 만약 실시간 디스플레이가 선택된다면, 메모리(172)는 텔레메트리 데이터 스트림과 비디오 데이터 스트림을 완충시키기 위한 버퍼이거나, 메모리는 나중의 회수 및 나중의 디스플레이를 위한 텔레메트리 데이터와 비디오 데이터를 저장할 수 있다.

사용자는 그래픽 사용자 인터페이스(173)와 서로 작용한다. 사용자는 디스플레이 장치(173)에 디스플레이된 유인 항공기이거나 무인 항공기로부터 회수한 저장된 정보 혹은 실시간 정보를 받기 위해 그래픽 사용자 인터페이스(173)를 사용해서 나타낼 수 있다. 여기서, 그래픽 지도는 생성되고 비디오의 개별 프레임은 지도 위에 적당한 위도 및 경도 좌표에 놓여진다.

실시간 실시예에서 그래픽 사용자 인터페이스(173)은 제어모듈(174)과 통신한다.

제어 모듈(174)은 텔레메트리와 에어리얼 비디오 프레임 데이터의 동기와 함께 에어리얼 비디오 프레임 데이터를 가진 지도의 생성을 감독한다. 제어 모듈(174)은 텔레메트리 파서(parser)(175)와 비디오 프레임 추출 모듈(176)이 텔레메트리 데이터와 비디오 데이터를 각각 메모리(172)에서 검색하도록 명령한다. 제어 모듈(174)은 데이터가 모듈 사이를 이동하고, 결국 디스플레이에 제공될 수 있도록 타이밍 신호를 각각의 모듈(텔레메트리 파서(parser) 175, 비디오 프레임 추출 모듈(176), 동기화 모듈(177)과 엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈 (178)에게 제공한다. 애플리케이션 계층(181)이 제어 모듈 위의 계층에 있다. 애플리케이션 계층(181)은 그래픽 사용자 인터페이스(173)와 연결되고, 필요한 제어 모듈의 인스턴스의 수를 결정한다. 만약 다중 영상이 디스플레이 되면서 동기화되어야 한다면, 다중 비디오 제어 모듈이 필요할 것이다. 예를 들면, 만약 사용자가 복수의 항공기로부터 비디오를 보려고 하는 것을 그래픽 사용자 인터페이스(GUI)를 통해 나타내며, 각각은 공통의 지도 위에 디스플레이 된다.

특정 실시예에서 마스터 클럭(180)은 동기화에 사용된다. 마스터 클럭은 공통 클럭에 대해 텔레메트리 데이터 및 비디오 데이터를 동기화시키기 위해 이용될 수 있고 또한 동시에 디스플레이를 위한 제어 모듈에 의해 제어되고 있는 다중 비디오 스트림을 동기화시키는데 사용될 수 있다.

텔레메트리파서(parser)(175)는 메모리로부터 검색된 텔레메트리(telemetry) 데이터 스트림을 분석한다. 데이터는 특정 시간에서 샘플이 된 텔레메트리 데이터를 위치시켜 분석된다. 특정 시간과 함께 텔레메트리 데이터는 동기화 모듈(177)에게 전달되고 버퍼링한다.

텔레메트리 파서(parser)(175)는 특정 시간을 비디오 프레임 추출 모듈(176)로 보낸다.

비디오 프레임 추출 모듈(176)은 각각 프리젠테이션 타임 스탬프 (PTS) 헤더를 가진 스트림을 분석하는 메모리로부터 MPEG 또는 H.264를 검색한다.

PTS와 관련된 타임 스탬프는 확인되고 텔레메트리 파서(parser)로부터 특정 시간과 비교된다. PTS의 타임 스탬프가 특정 시간의 미리 설정된 시간 범위 내에 포함되면 (예를 들어 PTS 타임 스탬프가 특정시간 전에 발생한다) PTS는 디코딩된다. PTS가 미리 설정된 시간 범위 내에 있지 않은 있다면, PTS 헤더 정보와 인코딩된 데이터는 처분된다. 미리 설정된 시간 범위 내에 포함된 PTS를 위해, 비디오 프레임 추출 모듈(176)은 PTS가 디스플레이장치(173)에 제공될 수 있도록 PTS를 디코딩한다. 복호화 처리 동안 비디오 프레임 추출 모듈(176)은 각각 프레임과 관련된 타임 스탬프를 확인한다. 비디오 프레임 추출 모듈(176)은 비디오 렌더러(renderer)에 그들의 타임 스탬프로 디코딩된 비디오 프레임을 보낼 수 있다.

동기화 모듈(177)은 다양한 시간에서 샘플된 텔레메트리(telemetry) 데이터의 다중 세트를 버퍼링할 수 있다. 그런 다음 동기화 모듈(177)은 그것의 타임 스탬프가 지정된 허용오차 내에 비디오 스트림 시간에 해당될 때까지 텔레메트리(telemetry) 데이터를 대기행렬에넣는다. 비디오 스트림 시간은 비디오 디스플레이 시간 혹은 비디오 동작 시간이다.

그러므로, 다음 디스플레이된 비디오 프레임은 대기행렬(큐, queue)를 빠져나온 텔레메트리(telemetry) 데이터와 관련될 것이다. 텔레메트리(telemetry) 데이터가 비디오 데이터와 다른 레이트로 획득될 수 있다는 것이 인지되어야 한다. 일반적으로, 텔레메트리(telemetry) 데이터는 비디오 데이터의 레이트 보다 작은 레이트로 샘플이 될 것이다. 결과적으로, 텔레메트리(telemetry) 데이터의 각각 세트는 비디오 데이터의 적어도 하나 이상의 프레임과 관련될 수 있었다. 일단 텔레메트리(telemetry) 데이터의 타임 스탬프는 스트림 시간 허용 오차 내라면, 데이터는 엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈(178)에게 전달된다.

엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈은 텔레메트리(telemetry) 데이터의 2개 세트 사이의 텔레메트리(telemetry) 데이터를 내삽하거나 수신된 텔레메트리 데이터 샘플로부터 텔레메트리 데이터를 외삽할 것이다. 각각의 비디오 프레임이 텔레메트리 데이터를 가지기 위해서이다.

다시 말하면, 비디오 프레임을 위한 각각 샘플링 주기 동안, 그 샘플링 주기와 관련된 상응하는 텔레메트리(telemetry) 데이터가 있다. (예를 들어 시간 주기 X 동안 비디오 프레임 1이 캡쳐되고, 그에 상응하는 텔레메트리 데이터 A가 있다)

그런 다음 엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈(178)은 현재 비디오 프레임을 연상하기 위해 텔레메트리(telemetry) 데이터를 지도 렌더링(rendering) 모듈(179)로 넘겨 준다. 지도 렌더링(rendering) 모듈(179)은 데이터가 디스플레이 장치(173)의 지도에 디스플레이 될 수 있도록 비디오 프레임 이미지 데이터를 변환한다.

그러므로, 데이터는 획득 평면에서부터 뷰잉(viewing) 평면까지 만곡시킨다. 비디오 프레임 데이터에 대한 텔레메트리 데이터는 지도 위에 제공되는 이미지에 대한 비디오 프레임의 경도와 위도를 나타낸다.

또 다른 실시예에서, 시스템은 메모리(172)의 파일에 저장된 미리 기록된 데이터와 함께 일할 수 있다. 그와 같은 실시예에서, 사용자는 특정 날짜 및 시간과 관련된 비디오 파일을 또한 선택하기 위해 그래픽 사용자 인터페이스(173)와 서로 작용할 수 있거나 사용자는 상응하는 비디오의 디스플레이를 위한 지도 위에 위치를 선택할 수 있다. 사용자는 또한 플레이백을 위해 (스타트 시간과 끝 시간) 시작 시간 또는 시간 구간으로 지정함으로써 특정 파일의 부분 집합을 선택할 수 있다. 사용자가 시작 시간 혹은 시작/정지 시간을 직접적으로 또는 간접적으로 보여줄때, 비디오 프레임 추출 모듈(176)은 프리젠테이션 타임 스탬프(PTS) 헤더를 분석하고 데이터가 디코딩되었는지 여부를 스타트 타임 스탬프을 근거로 결정할 것이다. 만약 PTS 타임 스탬프가 시간 범위의 밖에 있다면, 비디오는 처분되고 디코딩되지 않을 것이다. 유사하게, 텔레메트리파서(parser)(175)는 저장된 파일로부터 텔레메트리 데이터를 분석 할뿐만 아니라 동기화 모듈(177)을 지나기 위한 메모리에 적절한 텔레메트리 데이터(스타트/스톱 시간 주기 내에 타임 스탬프를 가진 텔레메트리 데이터)를 모으고, 저장할 것이다.

그래픽 사용자 인터페이스를 가진 모듈과 파서(parser)(174-179)는 하나 이상의 프로세서에서 동작될 수 있다. 그것은 해당 기술 분야의 통상의 기술을 가진 자에게는 일반적으로 인식될 것이다.

모듈과 파서(parser)는 또한 하나 이상의 집적 회로 칩으로 형성될 수 있다. 예를 들면 동기화 모듈과 엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈은 실리콘의 하나의 피스 위에 존재할 수 있다.

실시간 획득과 디스플레이 시스템에서, 비디오는 항공기로부터 수신받자 마자 사용자에게 보여진다. 사용자는 도2에 도시된 바와 같이 지도 위에 보여지길 원하는 비디오를 사용자 인터페이스(UI 200)을 통해 나타낼 수 있다

그러므로, 그래픽 사용자 인터페이스를 통해 시스템은 적절한 텔레메트리 데이터(220)를 선택하는데 사용되는 시작 타임 스탬프와 종료 타임 스탬프(210)를 결정하며, 비디오 데이터(230)을 위치시킨다.

시작과 종료 타임 스탬프(즉, 사용자 선택 시간 주기)는 항공기의 비행 경로를 받은 항공기의 예상 위치를 근거로 결정될 수 있다. 예를 들면, 항공기가 비행하면서, 실시간으로 인코딩된 비디오 데이터와 텔레메트리(telemetry) 데이터를 전송하고 있다면, 시스템의 사용자는 단지 항공기에 의해 캡쳐된 비디오의 일부를 보는 것에 흥미가 있을 수 있다. 그러므로, 해당 기술분야의 통상의 기술을 이용하여 비행 경로를 기반으로 항공기가 원하는 지면 위치의 이미지를 캡쳐한 시간을 계산할 수 있다.

이러한 사용자 선택 시간 주기는 사용자 선택 시간 주기에 해당된 텔레메트리 데이터와 비디오 데이터를 위치시킨 텔레메트리 데이터 스트림과 비디오 데이터 스트림을 분석하는데 시스템에 사용하곤 한다.미리 기록된 텔레메트리와 비디오 데이터 파일이 이용되면 유사 기법이 사용될 수 있다.

가능한 미리 기록된 에어리얼 및 텔레메트리 데이터 파일의 목록을 포함한 데이터베이스는 그래픽 사용자 인터페이스를 통하여 사용자에 접근될 수 있다. 데이터베이스는 항공기를 위한 비행 경로에 관한 정보를 포함할 수 있고, 심지어 항공기에 의해 촬영되는 관심 위치의 목록을 포함할 수 있다. 이 목록으로부터, 사용자는 디스플레이되는 바람직한 파일을 선택할 수 있고, 지도에 또는 위치 (도시, 거리, 주소)의 좌표를 통해 사용자가 보기 원하는 비디오 데이터를 표시될 수 있다.

그런 다음, 시스템은 선택된 알려진 위치를 사용자 지정 시간 구간으로 변환할 수 있다.

이 실시간 시스템에서, 텔레메트리 데이터와 비디오 데이터는 파일에 또는 메모리에 저장된다. 텔레메트리 데이터 파일과 비디오 데이터 파일이 타임 스탬프을 근거로 하여 분석된다면 비디오 정보는 텔레메트리 데이터를 근거로 하여 스페이스 변형 엔진(235)에서 변형된다. 그런 다음 변환된 비디오 프레임은 지도에 제공되고, 지도(240)에 디스플레이된다.

텔레메트리 데이터와 비디오 데이터는 연속적으로 추출될 수 있거나 데이터는 파이프-라인 프로세서에서 병렬적으로 추출될 수 있다 (파이프라인 처리기의 개략도를 위한 도 3과 도4를 보시오). 텔레메트리와 비디오 데이터의 처리는 MPEG 전송 스트림 또는 다른 스트림의 수신으로 시작할 수 있다. 여기에서 텔레메트리 데이터와 비디오 데이터가 하나 이상의 기본 스트림에 저장되고 텔레메트리와 비디오 데이터가 적어도 하나 이상의 기본 스트림 안에 저장되고, 텔레메트리 데이터와 비디오 데이터는 알려진 역다중화하는 기술 및/또는 디멀티플렉서를 이용하여 역다중화된다.

다른 실시예에서, 텔레메트리 데이터와 비디오 데이터는 각 분리된 스트림에서 유출시킬 수 있다. 다른 실시예에서, 비디오 데이터와 텔레메트리 데이터는 이전에 획득되고 별도의 파일에 저장될 수 있다.

지면에서의 공간 위치에 해당하는 용어 "획득 시간"은 해당 기술분야에서 통상의 지식을 가진 자에 의해 인식되어야 한다.

그러므로, 비디오 시퀀스 내에 특정된 획득 시간을 위치시킴으로써, 시스템은 특정 위치(경도와 위도)에 비디오를 위치시킨다.

소정의 시간 또는 주기와 관련된 비디오 프레임 또는 프레임을 획득하기 위해, 방법은 압축 비디오 파일로부터 프레임의 대략 표시 기간의 정확도를 가진 시간 정보를 추출하는 것이 요구된다. 약간의 실시예에서, 비디오 프레임은 시간에 제약을 받는 프레임 인덱스를 포함하지 않는 MPEG-2, MPEG-4, H.264와 같은 프로토콜을 이용하여 암호화되고 그러므로 실시간 혹은 본질적인 실시간으로 실행이 바람직하다면 이 정보는 간접적으로 결정되어야만 한다.

각각의 식별된 프로토콜은 레벨에 대한 정보를 제공하는 헤더를 포함하여 각각 레벨의 헤더를 가진 계층적 구조를 가진다. 파일 (전송 스트림), 스트림 (기본 스트림), 그림, 개별 그림(프레임), 그림의 일부(매크로 블록)의 그룹.

MPEG 프로토콜에서, 프리젠테이션 타임 스탬프(PTS)는 데이터가 기술되어야 하는 시간을 보여주는 시스템 클럭을 기반으로 하는 메타데이타이다. 시스템은 PTS 필터(310)를 캡슐화하는데, MPEG-2 전송 스트림 소스 필터를 사용한다. MPEG-2 전송 스트림 소스 필터는 제1의 PTS 헤더를 위치시키고 그 PTS에 대한 시간을 추출하기 위해 전송 스트림을 분석한다. MPEG-2 전송 스트림 소스 필터는 시스템의 사용자에 의해 선택된 소정의 시작 시간에 가까운 시작 시간을 PTS 필터링이 발견할 때까지 계속 비디오 파일을 분석한다.

PTS 필터 내에 사용된 방법론의 다른 실시예는 도 3a의 흐름도에 제공된다.

도 3a에서 비디오 데이터는 PTS 필터로 수신된다. 도 3a에서 비디오 데이터는 MPEG 기본 스트림(300A)로서 PTS 필터로 흘러 간다.

MPEG-2 전송 스트림 소스 필터는 프리젠테이션 시간 스탬프(PTS)를 확인하기 위해 MPEG 스트림을 분석한다.

MPEG-2 전송 스트림 소스 필터가 PTS를 포함하는 패킷을 확인한다. (310 A)그런 다음 PTS 필터(300)은 프리젠테이션을 위한 대략적인 시작 시간인 PTS 타임 스탬프를 획득한다. 이것이 제1 PTS(320A)이면 타임 스탬프는 제1 타임 스탬프와 현재 타임 스탬프로 저장된다. (321a)그런 다음 PTS 필터(300)는 시작과 정지 시간이 셋팅되는지 여부를 체크한다. (330A)시작과 정지 시간은 사용자가 비디오 데이터를 보기를 희망하는 시간이다. 그런 다음 PTS 필터는 하기 반응식 ( (현재 타임 스탬프 ?? 제1 타임 스탬프) >= 요청된 시작 시간 && (현재 타임 스탬프 ?? 제1 타임 스탬프) <=정지 시간)을 수행하고(335A), 만약 비디오 데이터가 이 시간 주기 내에 떨어지면 이미지 그룹을 위한 비디오 데이터는 디코더(340A)에게 전달된다.

정보가 규정된 시간 주기 내에 있지 않다면, 그 영상 그룹과 관련된 비디오 데이터는 디코더(345A)에게 전달되지 않는다. 그런 다음 디코더에게 전달된 데이터는 공간 도메인(350A)에 디코딩된다. 프로세스는 각각 MPEG 기본 스트림 내에 각각 PTS로 작동하거나, 프로세스는 적절한 PTS가 위치할 때, 끝날 수 있다.

도 3으로 돌아가면, 일단 적절한 PTS는 소정의 프레임 혹은 프레임들을 포함하도록 위치되면, PTS를 위한 MPEG 인코딩된 데이터는 MPEG 디코더(320)에서 디코딩될 수 있다.

MPEG 전송 스트림/파일 및 MPEG 데이터로부터의 다른 헤더 정보는 처분될 수 있고 그러므로, 소정의 프레임을 포함한 MPEG 데이터는 디코딩된다. 사용자 또는 시스템이 디스플레이를 위해 시작 시간 및 정지 시간을 보여줄 수 있다고 인지되고, 그러므로 시작 및 정지 시간이 이미지(사진)의 복수 그룹 안에 있으므로, 하나 이상의 이미지(사진) 그룹은 디코딩 될 수 있다.

바람직한 프레임이 디코딩된다면, 소정의 시간 위치에 해당된 정확한 프레임은 검색 모듈(330)에 위치할 수 있다. 특정한 시간 위치와 관련된 프레임은 각각 프레임을 위한 미디어 샘플 타임 스탬프를 근거로 하여 결정될 수 있다. PTS 정보를 이용하여, 전체 암호화된 비디오 시퀀스는 바람직한 위치(위도와 경도)와 관련된 시간에 해당된 미디어 샘플 타임 스탬프를 가지고 있는 프레임(들)를 위치시키기 위해 디코딩될 필요는 없다. 검색 모듈에 의해 사용된 방법론의 다른 실시예는 도 3b의 흐름도에 제공된다.

도 3b은 검색 모듈에 의해 사용될 수 있는 방법론의 흐름도다. 우선, 검색 모듈은 디코더로부터 디코딩 비디오 프레임을 수신한다. (360B)

검색 모듈은 디코딩 비디오 프레임에서미디어 샘플 타임 스탬프를 확인한다. (365B)

그런 다음 검색 모듈은 첫 이미지를 위한 미디어 샘플 타임 스탬프가 요청 시작 시간보다 크거나 같은지 확인하고 체크한다. (370B)

이것은 PTS가 정확한 미디어 프레임 시간을 제공하지 않기 때문에 수행된다. 그러므로, 언제 디스플레이를 위한 정확한 시간과 바람직한 프레임을 확인하는지를 설명하는데 필요한 추가 데이터가 있을 수 있다.

예를 들면, PTS는 제1 프레임이 1:04에 재생되는 것을 나타낼 수 있다 그러나, 제1 프레임은 실제로 1:03.90에 재생될 수 있다. 그러므로 제1 타임 스탬프 및 현재 타임 스탬프가 1 :03.90으로 설정될 필요가 있다. (375B)

검색 모듈은 요청된 시작과 정지 시간이 제공되었는지를 알기 위해 체크한다. (380B)

요청된 시작과 정지 시간은 사용자가 보고 싶은 비디오와 관련된다. 검색 모듈은 타임 스탬프와 요청된 시작 및 정지 시간들을 비교하며, 프레임의 타임 스탬프가 요청된 시간 주기 안에 있는지 여부를 확인한다. (385B)

그런 다음, 비디오 데이터에 상대적인 타임 스탬프를 날인한다. (390B)

그러므로, 상대적인 타임 스탬프으로 인해, 시스템이 요청된 타임 프레임 안에 있는 비디오 프레임의 재생을 즉시 시작하는 것이 초래된다. (395B)

상기 예에서, 사용자는 요청된 시작과 정지 시간을 입력하고 이 정보로부터 특정 프레임들이 위치 한다고 가정되었다.

또 다른 사용자 정의된 입력은 기술된 시스템에 사용될 수 있다. 예를 들면, 텔레메트리 데이터가 데이터베이스에 저장된 실시예에서, 사용자는 사용자가 보고 싶은 특정한 경도와 위도를 규정할 수 있다. 데이터베이스로부터, 경도와 위도는 위치할 수 있고 획득 시간을 포함하는 데이터 파일이 발견될 수 있다. 일단 획득 시간이 결정된다면, 상기 기술된 방법론이 사용될 수 있다. 여기에서 빠른 검색은 각각 프레임을 디코딩 하지 않고 MPEG 인코딩된 데이터에서 실행될 수 있다. 또한, 빠른 검색 방법론은 특정 시간에 발생한 압축 비디오 스트림 안에 특정 비디오 프레임을 위치시키기 위한 다른 산업 분야에서도 사용되곤 한다고 이해되어야 한다.

예를 들면, 이 기술은 비디오 변론술, 비디오 감시 시스템과 비디오 편집에 적용될 수 있다.

도 4는 텔레메트리 파서(parser)(파서(parser)), 동기화 모듈(텔레메트리 동기), 엑스트라폴레이션 필터 (엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈), 및 지도 렌더링(rendering) 모듈(뷰 스페이스 변환)을 포함하는 도1a로부터의 모듈들의 일부를 보여준다.

이 도면은 텔레메트리(telemetry) 데이터와 비디오 프레임 데이터 사이에 동기화를 예시한다. 비디오 프레임 데이터는 디코딩되고 각각 프레임을 위해 타이밍 정보(타임 스탬프)와 함께 버퍼에 저장된다.

텔레메트리 데이터는 파서(parser)(410)에게 전달된다. 텔레메트리 데이터는 KLV 포맷에서 암호화될 수 있다. 파서(parser)는 데이터 패킷의 동작을 하고, 알려진 키 값과 첫번째 두개의 64 비트를 비교한다. 키가 확인될 때, 파서(parser)는 파서(parser)가 획득 시간에 대한 텔레메트리(telemetry) 데이터의 끝을 결정할 때까지 데이터를 계속해서 분석한다. 텔레메트리(telemetry) 데이터의 끝이 결정된다면 타임 스탬프는 텔레메트리(telemetry) 데이터를 위해 위치한다. 확인된 타임 스탬프가 소정의 타임 스탬프 안에 혹은 소정의 타임 스탬프 (시작 시간과 끝나는 시간)에 가깝다면, 텔레메트리(telemetry) 데이터는 메모리에 저장되고, 만약 그렇지 않다면 텔레메트리(telemetry) 데이터는 처분/무시 된다. 일단 패킷(즉, 획득 시간과 관련된 모든 텔레메트리 데이터)이 만들어졌고, 패킷은 소정의 시간 주기 내에 포함되면, 텔레메트리(telemetry) 데이터를 포함하는 패킷은 텔레메트리 동기화 모듈(420)에게 전달된다. 텔레메트리 동기화 모듈(420)은 그것의 타임 스탬프가 대략적으로 현재 비디오 프레젠테이션 타임과 같아질 때까지 텔레메트리 데이터를 요청한다.

텔레메트리(telemetry) 데이터와 비디오 데이터의 타임 스탬프(425)가 대략적으로 같을때, 텔레메트리 동기화 모듈은 비디오 미디어 시간을 요청하고, 텔레메트리(telemetry) 데이터를 공개한다. 특정 실시예에서, 비디오 데이터(425)로부터의 타임 스탬프는 획득 시간과는 대조적으로 프리젠테이션 타임을 나타낼 수 있다. 결과적으로, 시스템은 텔레메트리(telemetry) 데이터 시간 표시가 프리젠테이션 타임을 나타내도록 획득 시간과 프리젠테이션 타임 사이의 차이를 보충할 것이다. 텔레메트리 동기화 모듈은 언제 텔레메트리(telemetry) 데이터가 추가적 처리를 위해 공개되어야하는지 결정하기 위해서, 비디오 데이터의 프리젠테이션에 대한 현재 스트림 시간과 타임 스탬프를 비교한다. 그러므로, 데이터는 동기화될 뿐 아니라, 프리젠테이션을 위해 적절하게 시간이 맞춰져야 할 것이다. 다른 실시예에서, 텔레메트리 동기화 모듈은 다수의 텔레메트리 데이터 패킷(즉, 다양한 시간에 대해 획득된 텔레메트리 데이터)을 저장할 것이다. 텔레메트리 동기화 모듈은 관계가 있는 텔레메트리(telemetry) 데이터를 구조적 포맷에 저장하기 위한 버퍼를 제공한다. 텔레메트리 데이터는 비디오 데이터와는 다른 레이트로 샘플/획득할 수 있기 때문에, 버퍼는 비디오 데이터를 위해 소정의 시작 및 정지 시간 전후에 있는 획득 시간을 가지고 있을 수 있는 텔레메트리(telemetry) 데이터를 가진다.

그런 다음 텔레메트리(telemetry) 데이터는 엑스트라폴레이션 필터(430)에게 전달된다. 텔레메트리(telemetry) 데이터의 타임 스탬프가 소정의 타임 스탬프와 일치하지 않으면 엑스트라폴레이션 필터는 텔레메트리(telemetry) 데이터를 외삽(extrapolation)을 행하거나 내삽(interpolation)할 것이다. 일 실시예에서, 텔레메트리(telemetry) 데이터가 비디오 데이터보다 더 느린 샘플링 레이트에서 샘플이 되기 때문에, 소정의 시간 전의 텔레메트리(telemetry) 데이터와 소정의 시간 후에 획득된 텔레메트리(telemetry) 데이터는 소정의 시간에 대한 텔레메트리(telemetry) 데이터를 내삽(interpolation)하는데 사용된다. 그러므로, 엑스트라폴레이션 필터는 각각 바람직한 비디오 프레임과 텔레메트리(telemetry) 데이터 사이에 1대 1 대응으로 생산한다. 앞에서 언급한 실시예에서, 초기화 화일로부터 분석된 텔레메트리 데이터는 패킷화된다. 여기서 특별한 위치와 관련된 모든 정보가 함께 유지된다.

일단 텔레메트리(telemetry) 데이터는 엑스트라폴레이션 필터에 의해 결정되면, 소정의 시간을 위해, 텔레메트리(telemetry) 데이터는 뷰 스페이스 트랜스포메이션 모듈(440)에게 전달된다. 뷰 스페이스 변환 모듈은 텔레메트리(telemetry) 데이터 (예를 들어 항공기 고도, 경도, 위도, 시야, 초점 길이 기타 등)를 근거로 한 지도 위에 비디오 데이터의 프로젝션(425)을 수행한다. 결과로 생기는 바뀌어진 비디오 프레임 데이터는 지도 위에 나타내어지며, 데이터는 디스플레이 장치에 디스플레이된다. 공간 변환 및 디스플레이를 위한 디지털 데이터의 렌더링을 수행하기 위한 다양한 알려진 기술이 이용될 수 있다.

파서(parser), 텔레메트리 동기화 모듈과 엑스트라폴레이션 필터에 관하여 상세한 설명은 지금 제공된다.

비디오와 텔레메트리(telemetry) 데이터를 같이 조정하기 위해, 스트림되거나 저장된 텔레메트리(telemetry) 데이터 파일은 도 5의 흐름도에 나타난 바와 같이 분석되어야 한다. 도 5의 흐름도는 텔레메트리(telemetry) 데이터를 분석하기 위한 흐름도의 복잡함이 줄어듦을 보여준다. 도 5는 네스티드(nested) 키의 증가한 복잡성을 포함하지 않고, 오직 높은 레벨 키를 위한 과정을 보여준다. 그러나 텍스트는 중첩 키를 하기에서 설명한다. 텔레메트리(telemetry) 데이터 파일은 사이즈가 크고 수 메가바이트의 데이터를 포함할 수 있다. 텔레메트리(telemetry) 데이터 파일은 MIBS(The Motion Imagery Sensory Board) 표준 0601.3, 0104.5에 의해 정의된 포맷 또는 다른 비슷한 포맷으로 저장될 수 있다.

획득한 각 텔레메트리 위치의 경우, 데이터가 획득되었을 때, 텔레메트리(telemetry) 데이터는 비행기의 고도와 마찬가지로 경도와 위도와 같은 정보를 포함할 수 있다. 더 나아가 상기 정보에는 타임 스탬프가 있을 수 있다. 게다가 텔레메트리(telemetry) 데이터는 카메라 (카메라와 항공기 사이에 마운트 때문에 차이)의 오일러 각과 마찬가지로 비행기의 오일러 각(롤roll, 피치pitch와 요yaw)를 포함할 수 있다. 또한, 카메라가 배치된 텔레메트리(telemetry) 데이터가 카메라가 위치한 지면 위의 지점, 카메라의 시야의 경도와 위도를 포함할 수 있고, 심지어 예상 이미지의 각각의 4개의 모서리의 위치(경도 및 위도)를 포함할 수 있다. 추가적인 데이터가 또한 텔레메트리(telemetry) 데이터에 포함될 수 있다. 그러므로, 텔레메트리(telemetry) 데이터 내에 포함된 변수의 이러한 목록은 완전한 것으로 해석되지 말아야 하며, 텔레메트리(telemetry) 데이터라고 생각하기 위해 데이터에 요구된 모든 변수라고도 해석되지 말아야 한다.

텔레메트리(telemetry) 데이터는 SMPTE(The society of Motion Picture Television Engineers)의 MXP(Material Exchange Format)와 유사한 포맷에 저장된다. 그것은 KLV포맷에서 암호화된 데이터 패킷으로 구성된다. 패킷은SMPTE와 MISB에 등록된 16바이트인 키로 구성된다. SMPTE와 MISB는 각종 키의 정의를 제공한 KLV 사전을 제공한다. 텔레메트리(telemetry) 데이터의 길이가 결정되게 하는 1바이트가 키 뒤에 있다. 바이트의 사인 비트 또는 가장 중요한 비트가 놓여있지 않다면, 바이트는 뒤따른 데이터의 길이(값)이다. 그런 다음 길이의 그 가장 중요한 비트 또는 사인 비트가 놓여지면, 그리고 나서 이 바이트의 나머지 7비트는 바이트 단위로 뒤따르는 길이의 크기를 말한다.

그런 다음 이러한 길이 바이트는 값(value)의 길이를 말한다. 값(value)의 데이터의 포맷은 등록된 키의 정의에 의해 결정된다. 그것은 소숫점, 정수, 특징 또는 다른 데이터 형식일 수 있다.

각각 데이터 획득점에 대한 텔레메트리(telemetry) 데이터를 위치시키기 위해 파서(parser)는 텔레메트리(telemetry) 데이터 파일을 분석할 것이다. 파서(parser)는 데이터의 패킷을 수신하고, 동시에 이진 데이터 16 바이트를 검색함으로써 그것을 분석하기 시작한다(500). 이것은 두개의 64 비트 포인터를 데이터에 할당함으로써 성취된다. 데이터의 전반부가 유효한 부분 키이면 그것이 정의된 키(501)의 유효한 부분인지를 결정하기 위해 데이터의 후반부를 체크한다. (501)텔레메트리(telemetry) 데이터의 빠른 파싱(parsing)을 제공하기 위해 키는 특정 실시예에서 케이스 문으로 하드코드로 된다. 다른 실시예에서 파서(parser)는 사전에서 데이터 (키)의 룩-업(검색)을 수행한다.

데이터가 유효한 키가 아니라면, 포인터는 다음 바이트로 증대되고 과정은 유효 키가 발견되거나 버퍼의 끝에 도달할 때까지 계속된다. (502)

만약 유효한 키가 발견되면 데이터의 길이는 결정된다.(503)

데이터는 그 키를 위한 미리 정의된 데이터 구조로 되돌아오고 포인터는 데이터를 넘어서 첫번째 바이트로 이동한다.

키가 네스티드(nested) 키이면 가장 높은 네스티드(nested) 키의 길이는 결정되어 지고, 데이터 혹은 패킷의 한 그룹으로 유지된다.

네스티드(nested) 패킷과 데이터의 길이는 패킷의 마침내 패킷 체크썸(checksum)을 읽고 상기 체크썸(checksum)과 체크썸(checksum)까지의 값의 계산된 체크썸(checksum)을 비교함으로써 검증된다. 그런 다음 검사 합계가 유효하지 않다면, 키가 무효일 것으로 추측되고, 검색 포인터가 다음 유효 키를 찾기 위해 1 바이트를 증가된다.

네스티드(nested) 컨테이너 키 패킷이 유효하면, 키 내에 데이터는 분석되고 데이터는 소정 구조체(504)로 로드된다.

부적당한 데이타 구조체 또는 키가 패킷 내에서 발견되면 검색은 검색 포인터를 증가시킴으로써 계속해서 다음 유효 키를 찾는다.(502)

검색은 패킷의 끝이 도달하거나 버퍼의 끝이 발생할 때까지 계속된다.

버퍼 끝에 도달되면 남아있는 파싱(parsing)되지 않는 데이터는 다음 데이터 버퍼까지 덧붙여지고 스캔은 계속된다.

높은 레벨의 컨테이너 패킷의 끝이 도달될 때, 그것은 출력 처리 루틴에 보내지고 스캔 포인터들은 바로 컨테이너 패킷을 넘어서 데이터로 이동된다. (502)데이터가 네스티드 컨테이너 패킷 안에 있다면, 개별 개인 키는 설명되어 지고 만약 첫번째 리피트(repeat) 키가 발견될 때, 패킷은 출력 처리 루틴으로 보내 진다.

네스티드(nested) 키들이 발견되면 그것들은 어떤 키와 같이 처리되지만, 최상위 레벨 키가 출력될 때까지 그것들은 출력되지 않다. 로컬 데이터 세트(LDS)가 발견되면, 그것의 체크섬은 계산되고 패킷 체크썸(checksum)에 견주어 체크된다.

LDS는 길이와 값(TLV)가 이어진 키 대신에 1바이트 태그(Tag)의 세트로 구성된다. 태그가 한 바이트 이므로, 그것들은 16 바이트 키와 같이 스캐닝될 수 없다.

그 대신에 체크썸(checksum)이 네스티드 LDS의 유효성을 검증하기 위해 반드시 체크되어야 한다. 네스티드 LDS가 무효이면 스캔은 네스티드 LDS 쪽으로 1 바이트만큼 움직여지며, 유효한 16 바이트 키를 위한 검색은 다시 재개된다.

체크썸(checksum)이 유효하면 LDS는 동시에 하나 TLV 데이터 세트를 읽는데 시리얼 방식으로 처리된다. 정의되지 않은 태그가 발견되거나 유효하지 않은 길이가 발견되면 전체 LDS는 처분된다. LDS가 처분되면, 스캔은 LDS 키로 한 바이트만큼 움직이며, 다음 키에 대한 검색이 재개된다.

모든 패킷의 끝에 도달하거나EOS(End of Stream)까지 스캔은 계속된다.

일단 텔레메트리(telemetry) 데이터의 완전한 패킷이 분석되고 표준 데이터 베이스 구조로 변환된다면, 패킷의 타임 스탬프가 위치되고(505) 타임 스탬프는 그것이 소정의 범위에 포함되는지 여부를 결정하기 위해 검증된다(506). SMPTE와 MISB KLV 포맷에서 타임 스탬프가 최초의(제1의) 데이터 값으로서 발생한다.

텔레메트리 타임 스탬프가 소정의 시간 범위의 밖에 있다면, 모든 텔레메트리(telemetry) 데이터는 처분된다(507). 그것이 소정의 범위에 포함되면, 그것은 텔레메트리동기화 모듈에 보내진다. (508) 텔레메트리(telemetry) 데이터를 텔레메트리 동기화 모듈로 보내는 것에 앞서 텔레메트리(telemetry) 데이터는 미디어 시간을 할당받는다. 샘플을 위한 미디어 시간은 KLV에서 획득된 데이터에 기초하여 계산된다. KLV 타임 스탬프는 텔레메트리(telemetry) 데이터의 시간을 유지한다. 이 타임 스탬프는 비디오와 KLV가 공통 시간에 의해 연관되게 하기 위해서, 상대적인 미디어 시간으로 변환된다.

추가적으로, 텔레메트리 타임 스탬프는 직접적으로 텔레메트리획득 시스템과 비디오 데이터 획득 시스템 사이의 시간 차이 덕분에 비디오 데이터의 타임 스탬프와 동시에 일어나지 않을지도 모른다. 시계가 동기화되지 않는다고 결정되거나알려지면, 오프셋(offset)은 타임 스탬프로부터 더해지거나 빼진다. 시간 보정은 또한 시작 시간으로서데이터 패킷에 적용되고, 저장된다.

다음의 패킷 타임스탬프는 그들의 상대오프셋비디오 스트림 안으로 텔레메트리(telemetry) 데이터가 일치하는지를 결정하기 위해서 시작 시간과 비교된다.타임 스탬프에 필요한 교정(correction)을 한 후, 데이터의 타임 스탬프가 지금 소정의 시간 범위 밖에 있다면 텔레메트리 패킷으로부터 데이터는 처분된다.

출력 루틴(routine)은 그것이 비영(non zero)이고, 합리적인 값을 가지고 있다는 것을 확실히 하기 위해 패킷의 타임 스탬프를 인증한다. 만약 그것이 첫번째 패킷이라면, 그 타임 스탬프는 첫번째 텔레메트리 패킷의 시작 시간으로 저장된다. (KLV 포맷으로)텔레메트리 파일의 마지막에 도달되거나 마지막 패킷을 위한 패킷의 마지막에 도달될 때까지 프로세스는 소정의 시간 주기 내에 텔레메트리(telemetry) 데이터와 관련된 적절한 키를 계속해서 위치시킨다. (509)

구조체 안의 데이터의 일부는 쓸모없거나, 다른 값으로부터 계산될 수 있다. 예를 들면, 그라운드(ground) 코너 포인트들은 오일러 각, 센서 (즉, 카메라)의 위치, 시야 그리고 지구의 모델로부터 계산될 수 있다. 또 다른 예로서, 수직이거나 수평선상인 필드는 수직이거나 수평선상인 필드와 비디오 프레임의 화상으로부터 계산될 수 있다. 결과적으로, 데이터의 일부는 수신된 데이터 패킷에서 발생하지 않을지도 모른다. 그러므로, 유효성 검사는 제공된 정보에서 파생되는 데이터와 값에 만들어진다.

텔레메트리 동기화 모듈은 (즉, 디스플레이장치에 디스플레이되는 시간) 미디어 시간까지 텔레메트리(telemetry) 데이터 패킷을 완충시키고, 엑스트라폴레이션/인터폴레이션 필터에 텔레메트리(telemetry) 데이터 패킷을 방출한다. 본 발명의 특정 실시예에서, 텔레메트리 파서(parser)는 요청된 획득 시간의 밖에 있는 어떠한 텔레메트리패킷 데이터를 떨어뜨릴 것이다. 다른 실시예에서, 텔레메트리(telemetry) 데이터는 텔레메트리 동기화 모듈에게 전달되고 텔레메트리동기화 모듈은 요청된 획득 시간의 밖에 있는 어떤 텔레메트리(telemetry) 데이터 패킷을 떨어뜨릴 것이다. 이 실시예에서, 요청된 획득 시간 내에 텔레메트리(telemetry) 데이터 패킷은 타임 인덱스 링크 리스트(time indexed linked list)에 저장된다. 패킷들이 소정의 미디어 시간 범위를 벗어나고, 숙성될 때, 그것들은 목록에서 떨어진다. 그런 다음, 새로운 패킷이 목록에 추가된다. 그러므로, 시스템은 비디오/텔레메트리 데이터를 잃어버렸거나, 파이프라인 프로세서를 통하여 통과하기에 너무 오랜 시간이 걸릴지라도 계속해서 지도에 대한 비디오 데이터의 실시간 디스플레이를 제공한다.

텔레메트리 동기화 모듈은 텔레메트리 패킷 두 개가 요청된 획득 시간에 놓여있는 엑스트라폴레이션 필터에게 제공되도록 예정된 미디어 시간을 다소 앞서간 (미디어 시간이 비디오 시간을 나타낸다) 패킷을 내보내려고 시도한다.

엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈의 목적은 사용자에 의해 요청된 요청 획득 시간의 데이터 값을 계산하는 것이다. 엑스트라폴레이션(extrapolation) 필터는 요구된 데이터 값을 계산하기 위해 단순한 기울기-절편의 식(y=m*x+b)를 이용할 수 있다. 인터폴레이션(interpolation)을 위한 다른 방법은 다른 알려진 선형 기술 및 비선형 기술을 포함하여 이용될 수 있다. 계산되는 데이터의 값이 데이터의 허용값 범위 밖에 떨어지면, 그것은 적절하게 교정된다. 예를 들면 0도에서 360도까지 이를 수 있는 각도 값이 370도의 계산 값을 초래할 수 있다. 그것은 10도로 조절될 것이다.

텔레메트리 동기화 모듈과 인터폴레이션 필터 사이에 협조와 스케줄링은 보통 저장된 데이터 패킷이 텔레메트리 동기화 모듈로부터수신받은 두개의 저장된 데이터 패킷의 2개 타임 스탬프의 사이에 있는 요청된 시간에 일반적으로 발생한다. 압축해제 알고리즘의 사이즈 및 복잡성 때문에 KLV 데이터가 비디오 데이터 보다 수백 단위 시간 만큼 빠르게 진행될 수 있기 때문에 이것은 일반적으로 가능하다.

그러므로, 엑스트라폴레이션(extrapolation) 필터는 인터폴레이터(interpolator)로써 역할을 한다. 만약 요청된 시간이 저장된 값의 전 혹은 후에 있다면 계산된 값은 엑스트라폴레이션(extrapolation)이다. 이를 테면, 비디오 데이터 파일의 끝에, 해당 텔레메트리 데이터 타임 스탬프는 오직 비디오 프레임의 타임 스탬프 전에 발생하는 것이 가능하다. 그러므로 인터폴레이션 보다는 엑스트라폴레이션가 필요하다.

예를 들면, 마지막 비디오 프레임의 타임 스탬프는 30분 9초에 있을 수 있다. 마지막 텔레메트리(telemetry) 데이터 시간 표시는 30분 5초에 있을 수 있다. 그 결과, 30분 9초의 시간의 텔레메트리값은 시간적으로 이른 텔레메트리(telemetry) 데이터 수집으로부터 추정될 필요가 있을 것이다. 엑스트라폴레이션(extrapolation)은 예술에서 통상의 지식 중 하나로 알려진 선형 및 비선형 엑스트라폴레이션 기술을 이용하여 수행될 수 있다. 비디오 데이터와 텔레메트리(telemetry) 데이터의 처리가 비동기적으로 처리된다는 것이 또한 이해되어야 한다.

결과적으로, 텔레메트리(telemetry) 데이터가 비디오 데이터의 훨씬 뒤에 혹은 앞에 있을 수 있다.

결과적으로, 실시간 디스플레이를 제공하기 위해, 단지 처리 제한 엑스트라폴레이션은 필수적이기 때문에 텔레메트리 데이터가 인터폴레이션을 위해서 존재하는 상황이 발생할 수 있다.

예로서, KLV 텔레메트리(telemetry) 데이터 스트림 내에, 20분 0초 타임스탬프의 텔레메트리 데이터와 20분 10초 타임 스탬프의 텔레메트리 데이터가 존재한다.

20분 5초의 타임 스탬프를 가지고 있는 비디오 데이터는 디스플레이되기로 스케쥴되어 있지만, 텔레메트리(telemetry) 데이터는 20분 0초, 20분 10초를 위해 존재할 뿐만 아니라 분석된다.

결과적으로, 엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈은 20분 0초의 텔레메트리 데이터에 기반하여 20분 5초를 위한 데이터를 삽입할 것이다.

엑스트라폴레이션(extrapolation)/인터폴레이션(interpolation) 모듈 뒤에, 상응하는 텔레메트리(telemetry) 데이터와 비디오 데이터는 지도 렌더링(rendering) 모듈에게 제공된다.

지도 렌더링(rendering) 모듈은 텔레메트리(telemetry) 데이터로부터 좌표를 취하고, 비디오 데이터의 뷰 스페이스 변환(view space transform)을 수행하면서, 디스플레이를 위한 스크린 좌표를 계산한다. 뷰 스페이스 변환(view space transform)은 지도 격자망에 비디오 이미지의 모서리에 상응하는 각각의 경도와 위도 좌표를 매핑한다. 이것을 하기 위해 센서의 위치는 제공되어야한다. 또한 오일러 각은 제공되거나 관련 센서 정보로부터 파생되어야 한다. 또한 지구의 수학 모델 또는 승강 모델은 지구와 함께 센서의 뷰 원추형의 교차점을 결정하는데 사용된다. 그런 다음 변환된 비디오 데이터는 디스플레이 장치로 출력되고, 도 6에 나타난 바와 같이 지도 위에 덮어 씌운다. 도 6의 좌측에 보여진 대로캡쳐된 비디오 상(610)을 가진 지도는 오버레이(overlay)로 표시되고 있다. 이 구성에서 비디오 데이터는 본질적으로 항공기로부터 실시간으로덮어 씌워질 수 있으며, 여기서 이미지는 시간이 진행됨에 따라 지도 위에 덮어 씌워질 것이다.

도 6의 우측에는 실시간으로 실제 에어리얼(aerial) 비디오 데이터를 디스플레이한 그래픽 사용자 인터페이스(620)를 보여준다. 본 도면에서 타임 라인(630)이 기술된다. 여기에서 디스플레이되는 비디오 이미지는 비디오에서 대략 31초이다.

그러므로, 좌측 이미지는 항공기로부터 캡쳐된 이미지의 최초의 31초를 보여준다.

도 7은 비디오 데이터의 또 다른 렌더링이 지도위에 덮어 씌워진다는 것을 보여준다. 그러나, 도 7의 2대 항공기로부터의 비디오(710, 711)는 도 6에 나타난 바와 같이 단 하나 항공기 대신에 동시에 덮어 씌워진다. 각각의 지도 디스플레이는 도 1a에 나타난 바와 같이 비디오 제어 모듈(174)의 고유 사례에 의해 다뤄진다. 비디오 제어 위에 애플리케이션 계층은 그것들이 시작되고, 정지될 때, 비디오 제어의 인스턴스의 수 및 그것들의 재생(playback) 레이트를 결정한다.

지도 렌더링(rendering) 모듈은 DirectX 표면와 같은 알려진 표현 프로토콜을 통해 다중 비디오들이 드로잉되게 한다. 비디오 제어 모듈은 멀티 스레드(multi-threaded)로 수행될 수 있고 제어의 각각의 인스턴스는 통제의 분리 스레드에 있다.

스레드와 비디오 제어 모듈은 도 1a에 나타난 바와 같이 마스터 클럭(180)에 대하여 동기화된다. 제어 모듈은 지도 렌더링(rendering) 모듈로부터 데이터의 디스플레이를 제어할 뿐만 아니라 프레임이 떨어질 때 렌더링(rendering) 모듈로 신호를 보내다.

예를 들면, 제어 모듈은 비디오가 두번째 항공기로부터 비디오를 가진 동기화의 밖에 있다면 첫번째 항공기로부터의 비디오에서 떨어지기 위해 프레임에 대한 신호를 보낼 수 있다.

제어 모듈(174)는 디스플레이를 위한 다중 영상을 추가하는 능력을 제어하고, 그 비디오에 대한 비디오 제어의 각각의 인스턴스를 시작하는데 책임이 있다.

도면의 우측은 각각의 항공기를 위한 타임라인(730, 731)과 함께 그래픽 사용자 인터페이스(720, 721)를 보여준다.

상부의 항공기를 위한 비디오 이미지(740)은 대략 41초에서 발생한다. 타임 라인이 대략적으로 데이터의 41초를 보여줄 지라도 이것은 항공기에 의해 캡쳐된 모든 비디오의 서브섹션일 수 있다는 것을 이해하여야 한다. 디스플레이되는 비디오 데이터는 저장된 텔레메트리와 비디오 파일 조합으로부터 있을 수 있고, 그러므로 디스플레이된 정보는 간단하게 비디오 파일의 서브 섹션일 수 있다. 다른 실시예에서, 덮어 씌워지는 비디오는 본질적으로 항공기가 데이터를 획득하는 시간으로부터 실시간으로 보여질 수 있다. 그러므로, 시스템은 항공기로부터 실시간 송신 스트림으로 수신하고, 지도에 동기화와 오버레이를 위한 정보를 처리한다. 두 개의 항공기 비디오 데이터 스트림(740, 741)은 실시간 획득된 파일로부터, 저장된 파일로부터, 또는 하나는 실시간 획득으로부터 하나는 이전의 획득된 파일로부터 중 하나의 방식으로 획득할 수 있다.

처음에, 비디오 데이터는 비디오 데이터의 프레임이 추가되고 연속적으로 지도 위에 입혀지도록 실시간으로 처리되고 디스플레이된다.

비디오와 텔레메트리(telemetry) 데이터 파일이 동기화된다면, 시간 구간 위에서 캡쳐된 비디오 데이터는 비디오가 캡쳐된 시간과 같은 시간 구간을 기다리는 것 없이 지도 위에 직접적으로 즉시 디스플레이 될 수 있다.예를 들면, 오른쪽 상단으로부터의비디오가 미리 캡쳐되고 텔레메트리(telemetry) 데이터와 동기화되면, 뷰 스페이스 변환(view space transform)된 비디오 데이터가 이전에 메모리에 저장되지 않았다면, 모든 비디오 프레임은 뷰 스페이스 변환(view space transform)을 수행하는 데 필요한 시간을 거의 실시간으로 계산하여 지도 위에 위치할 수 있다. 또한, 다중 파일은 동시에 그리고 항공기로부터 실시간으로 수신되고 있는 하나 이상의 비디오 데이터와 결합하여 지도에 위치할 수 있다.

덧붙여, 비디오 이미지가 지도에 위치한 것처럼, 이미지는 모자이크를 형성하기 위해 함께 혼합될 수 있다. 이에 따라 이미지는 디스플레이에 지속하고, 항공기의 비행 경로를 보여주는 트레일을 제공한다. 비행 경로의 합성 이미지는 만들어지고 메모리에 저장될 수 있다. 블렌딩은 이미지를 오버랩하는 장소에 이미지의 평균을 취함으로써 이루어진다. 이미지가 상기 평균을 취함과 동시에 혼합될 때, 지면에서의 이동하는 객체들은 일반적으로 이미지를 벗어나서 평균화된다. 그러나, 결과로 생기는 지면 이미지는 간단하게 가장 최신의 정보를 디스플레이 위에 덧씌워진 것 보다 분명하게 더 높은 해상도를 가지고 있다.

위에서 기술된 방법과 시스템의 다양한 부분과 성분이 또한 서로 독립적으로 구현되고 결합하여 상이한 형태가 될 수 있다. 게다가, 상기 기술된 실시예는 단지 대표적 구현으로 간주하는 것이다.

상기 방법론이 컴퓨터 처리 시스템에서 실행될 수 있고 컴퓨터 처리 시스템이 상기 기술된 방법론의 컴퓨터 코드 대표를 처리하기 위한 하나 이상의 프로세서를 포함될 수 있다는 것이 해당 기술 분야의 통상의 지식 중 하나로 인식되어야 한다. 컴퓨터 코드는 분명히 존재하는 컴퓨터 판독성 매체 즉 컴퓨터 프로그램 제품을 구현화될 수 있다.

본 발명은 아무런 제한 없이 많은 다양한 형태로 구현될 수 있고, 프로세서(마이크로 프로세서, 마이크로 컨트롤러, 디지털 시그널 프로세서, 혹은 일반적인 컴퓨터)를 가지고 사용을 위한 컴퓨터 프로그램 로직 및 프로그램 할 수 있는 로직 장치를 가지고 프로그램된 로직(Fidle Programmable Gate Array, PLD) 및 명백한 구성요소, IC(ASIC), 혹은 상기의 요소들이 결합된 다른 수단을 포함할 수 있다.

본 발명의 일실시예에서, 용이하게 모든 재정렬 로직은 컴퓨터 프로그램 명령어의 세트(set)로써 실행될 수 있다. 여기서, 컴퓨터 프로그램 명령어 세트는 컴퓨터 실행 가능한 형태로 변환되고, 컴퓨터 판독 매체에 저장되고, 운영 시스템의 제어하에 마이크로 프로세서에 의해 실행된다.

여기에서 이전에 기술된 기능의 모두 혹은 일부를 실행하는 컴퓨터 프로그램 로직은 다양한 형태로 구현될 수 있고, 소스 코드 형태, 컴퓨터 실행 가능 형태, 다양한 중간 형태(어셈블러, 컴파일러, 네트워커, 혹은 로케이터에 의해 생성된 형태)를 제한없이 포함할 수 있다.

소스 코드는 다양한 프로그래밍 언어의 형식(오브젝트 코드, 어셈블리 랭귀지, 혹은 포트란, C, C++, 자바, HTML 등의 높은 레벨 랭귀지)으로 컴퓨터 프로그램 명령어들의 시리즈를 포함할 수 있다. 소스 코드는 다양한 데이터 구조 및 통신 메세지를 규정하고 이용할 수 있다. 소스 코드는 컴퓨터 실행 가능 형식(인터프리터interpreter를 통해)안에 있을 수 있거나 소스 코드는 컴퓨터 실행가능형식로 변환될 수 있다. (예를 들면, 인터프리터(interpreter), 어셈블러 또는 컴파일러를 통해)

컴퓨터 프로그램은 어떤 형태(소스 코드 형태, 컴퓨터 실행 가능 형태, 중간 형태)로 고정될 수 있다. 반도체 메모리 장치(램, 롬, PROM, EEPROM, 혹은 플래쉬 프로그램된 램), 마그네틱 메모리 장치(디스켓, 고정 디스크), 옵티컬 메모리 장치(CD-ROM), PC 카드(PCMCIA 카드), 혹은 다른 저장 장치와 같은 실재하는 저장 매체 안에 영구적으로 혹은 일시적으로 저장될 수 있다.

컴퓨터 프로그램은 다양한 통신 기술을 이용하여 컴퓨터에 전송가능한 신호 안에 어떤 형태로 고정될 수 있다. 상기 통신 기술에는 아날로그 기술, 디지털 기술, 옵티컬 기술, 무선 기술, 네트워킹 기술, 인터네트워킹 기술이 제한없이 포함될 수 있다.

컴퓨터 프로그램은 제거 가능한 저장 매체로써 통신 시스템(인터넷 혹은 WWW)을 통해 인쇄되거나 전자 문서(수축 포장된 소프트웨어 혹은 마그네틱 테이프)와 함께, 컴퓨터 시스템(롬 혹은 고정 디스크)에 미리 로드되어, 혹은 서버 또는 전자 게시판으로부터 분산되어, 분산될 수 있다.

이전에 기술된 기능의 일부 혹은 모두를 실행하는 하드웨어 로직은 전통적인 매뉴얼 방법을 이용하여 디자인 될 수 있거나 캐드(computer Aided Design), HDL(Hardware Description Language), 혹은 PLD 프로그램(PALASM, ABEL, CUPL)과 같은 다양한 툴을 이용하여 전자적으로 디자인 되거나 캡쳐되거나 시뮬레이트되거나 혹은 문서화 될 수 있다.

Claims

획득 시간과 샘플링 레이트로 획득된 텔레메트리 데이터를 포함한 텔레메트리 데이터 스트림 및 사용자 지정 획득 시간 구간을 수신하고, 상기 텔레메트리 데이터 스트림을 상기 사용자 지정 획득 시간 구간 안에 위치시키기 위해 분석하는 텔레메트리 파서(parser);
인코딩된 에어리얼(aerial) 비디오 데이터 스트림에 접근하고, 상기 인코딩된 에어리얼 비디오 데이터 스트림의 일부를 비디오 프레임들로 변환하는 비디오 프레임 추출 모듈;
상기 획득 시간 및 비디오 프레임 데이터 타임에 기초하여 소정의 획득 시간 구간에 대한 상기 텔레메트리 데이터 및 상기 비디오 프레임 데이터를 동기화하는 동기화 모듈; 및
상기 소정의 획득 시간 구간 안에 비디오 프레임 각각에 대응되는 텔레메트리 데이터를 위해서 추가적인 텔레메트리 데이터를 생성하는 필터;를 포함하며,
상기 비디오 프레임들은 상기 사용자 지정 획득 시간 구간 내에 있는 비디오 프레임 데이터 시간을 가짐을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제1항에 있어서,
디스플레이를 위한 비디오 데이터의 상기 소정의 획득 시간 구간을 출력하는 그래픽 사용자 인터페이스;를 더 포함함을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
상기 인코딩 에어리얼 비디오 데이터 스트림은 상기 소정의 획득 시간 구간에 포함되는 비디오 프레임의 그룹을 위한 프리젠테이션 타임스탬프를 기반으로 하여 데이터를 위치시키기 위해 분석됨을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
상기 텔레메트리 데이터는 비디오 프레임 데이터의 샘플링 레이트보다 더 긴 레이트로 샘플링 됨을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
지도를 생성하는 렌더링 모듈;을 더 포함하며,
상기 비디오 프레임 데이터는 에어리얼 획득 평면으로부터 지도 평면 공간적으로 변환되며,
상기 변환된 비디오 프레임 데이터는 상기 비디오 프레임 데이터와 관련된 텔레메트리 데이터를 기초로 하여 상기 지도에 삽입됨을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
텔레메트리 파일로 상기 텔레메트리 데이터 스트림을 저장하고,
에어리얼 비디오 파일로 상기 인코딩 에어리얼 비디오 데이터 스트림을 저장하는 메모리;를 더 포함함을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
상기 텔레메트리 데이터는 KLV(Key length value)포맷으로 인코딩됨을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
상기 텔레메트리 파서(parser)는 제1의 키 바이트 사이즈를 분석하고,
제1 부분 및 제2 부분을 적어도 제1 및 제2 버퍼 안에 두고,
상기 텔레메트리 파서(parser)는 상기 제1 버퍼 안에 제1 부분 키 값을 위한 텔레메트리 데이터를 확인하고,
그리고 만약 상기 텔레메트리 데이터가 유효한 부분 키를 나타내면, 상기 파서는 상기 제2 버퍼 안에 제2 부분 키 값을 위한 텔레메트리 데이터를 확인함을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
제 1 항에 있어서,
상기 비디오 프레임 추출 모듈은 소정의 시간 범위 안에 있는 않는 PTS를 가진 MPEG 인코딩 데이터를 처분함을 특징으로 하는 에어리얼 비디오 데이터를 포함하는 지도를 생성하기 위해 동기 인코딩된 에어리얼 비디오 데이터와 개별적으로 획득된 텔레메트리 데이터를 동기화하는 시스템.
텔레메트리 데이터 파일의 제1 섹션을 수신하는 단계;
식별된 키와 상기 텔레메트리 데이터 파일의 제1 섹션을 비교하는 단계;
만약 상기 제1 섹션이 확인된 키와 같다면, 소정의 키와 관련된 길이를 확인하는 단계;
텔레메트리 데이터 안의 타임 스탬프와 소정의 시간 구간을 비교하는 단계;
만약 상기 타임 스탬프가 상기 소정의 시간 구간 내에 있는 경우, 식별된 키를 기초로 하여 데이터베이스 구조체에 식별된 길이와 같은 길이의 데이터를 저장하는 단계; 및
만약 상기 타임 스탬프가 상기 소정의 시간 구간 범위 밖에 있다면, 상기 키와 관련된 텔레메트리 데이터를 처분하고, 상기 텔레메트리 데이터 파일로부터 데이터의 다음 바이트로 증가시키는 단계;를 포함하는 소정의 시간 구간에 기초하여 KVL 포맷으로 저장된 텔레메트리 데이터 파일로부터 텔레메트리 데이터를 분석하는 방법.
제 10 항에 있어서,
상기 데이터베이스 구조체는 상기 확인된 길이와 같게 저장된 데이터를 위한 것이며, 지면 위치의 표시를 포함함을 특징으로 하는 소정의 시간 구간에 기초하여 KVL 포맷으로 저장된 텔레메트리 데이터 파일로부터 텔레메트리 데이터를 분석하는 방법.
제 10 항에 있어서,
상기 데이터베이스 구조체는 확인된 길이와 같게 저장된 데이터를 위한 것이며, 지면 위치의 위도 및 경도에 대한 식별자를 포함함을 특징으로 하는 소정의 시간 구간에 기초하여 KVL 포맷으로 저장된 텔레메트리 데이터 파일로부터 텔레메트리 데이터를 분석하는 방법.
텔레메트리 데이터 파일의 데이터 세그먼트를 프로세서로 수신하는 단계;
상기 데이터 세그먼트를 식별된 키와 비교하는 단계;
만약 상기 데이터 세그먼트가 상기 식별된 키와 매칭되지 않으면, 데이터의 다음 바이트로 증가하고, 텔레메트리 데이터 파일의 제1 섹션이 상기 키와 매칭될 때 까지 수신과 비교를 반복하는 단계;
소정의 키와 관련된 식별자의 길이를 확인하는 단계;
텔레메트리 데이터 안의 텔레메트리 타임 스탬프를 확인하는 단계;
만약 상기 텔레메트리 타임 스탬프가 시간적으로 사용자 정의 시간 구간 내이면, 상기 키에 기초하여 메모리 안의 데이터베이스 구조체까지 확인된 길이와 같은 길이의 텔레메트리 데이터 파일로부터 데이터를 저장하는 단계;
만약 상기 텔레메트리 타임 스탬프가 시간적으로 상기 사용자 정의 시간 구간 내가 아니면, 상기 키와 관련된 텔레메트리 데이터를 처분하고 상기 텔레메트리 데이터 파일로부터 데이터의 다음 바이트까지 증가하고 수신하기, 비교하기, 확인하기, 저장하기를 반복하는 단계;
인코딩된 비디오 데이터 파일의 데이터 세그먼트를 수신하는 단계;
상기 세그먼트 안에 식별된 각각의 PTS에 대해서 상기 사용자 정의 시간 구간 내인지 여부를 결정하는 단계;
만약 상기 PTS가 상기 사용자 정의 시간 구간 내라면, 비디오 데이터를 디코딩하고 비디오 프레임 각각에 대한 프레임 타임 스탬프들을 확인하고, 상기 사용자 정의 시간 구간 안에 상기 비디오 프레임들을 메모리에 저장하는 단계;
상기 사용자 정의 시간 구간에 기초하여 메모리에 저장된 상기 비디오 프레임들과 메모리에 저장된 상기 텔레메트리 데이터를 동기화하는 단계; 및
상기 동기화된 텔레메트리 데이터와 그에 상응하는 비디오 프레임들을 메모리에 저장하는 단계;를 포함하는 텔레메트리 데이터 파일 및 개별적으로 획득된 인코딩된 비디오 파일을 동기화 하는 방법.
제 13 항에 있어서,
상기 동기화된 텔레메트리 데이터에 기초하여 메모리에 저장된 상기 비디오 프레임들을 뷰 스페이스 변환하는 단계; 및
지도와 함께 디스플레이 되는 뷰 스페이스 변환된 비디오 프레임들을 렌더링 하는 단계;를 더 포함하는 텔레메트리 데이터 파일 및 개별적으로 획득된 인코딩된 비디오 파일을 동기화 하는 방법.
인코딩된 비디오 데이터를 프로세서로 전달하는 단계;
PTS와 관련된 근사 타임 스탬프를 위치시키는 단계;
상기 근사 타임 스탬프와 소정의 시간 구간을 비교하는 단계;
만약 상기 근사 타임 스탬프가 상기 소정의 시간 구간 내라면, 인코딩된 비디오 프레임들의 그룹을 디코딩하고, 각각의 인코딩된 비디오 프레임을 위한 프레임 타임 스탬프를 확인하는 단계; 및
만약 상기 프레임 타임 스탬프가 상기 소정의 시간 구간 내라면, 프레임과 대응되는 프레임 타임 스탬프를 나중에 회수하기 위해 메모리에 저장하는 단계;를 포함하는 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법.
제 15 항에 있어서,
상기 인코딩된 비디오 데이터는 MPEG 포맷으로 인코딩됨을 특징으로 하는 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법.
제 15 항에 있어서,
상기 근사 타임 스탬프가 재생 시간의 추정이고, 동일시 하는 범위와 관련됨을 특징으로 하는 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법.
제 15 항에 있어서,
룩업 모듈로부터 상기 소정의 시간 구간을 수신 받는 단계를 더 포함하며, 상기 룩업 모듈은 맵 로케이션을 입력으로 받고, 인코딩된 비디오 데이터 파일을 획득하는 항공기에 대한 비행 경로에 기초하여 인코딩된 비디오 데이터 파일에 대한 상기 소정의 시간 구간을 확인함을 특징으로 하는 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법.
제 15 항에 있어서,
상기 인코딩된 비디오 데이터가 MPEG-2 포맷으로 인코딩됨을 특징으로 하는 소정의 시간 구간을 가진 적어도 하나 이상의 비디오 프레임들을 위치시키기 위해서 인코딩된 비디오 데이터를 분석하는 방법.