JP5159084B2 - 有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ - Google Patents

有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ Download PDF

Info

Publication number
JP5159084B2
JP5159084B2 JP2006293437A JP2006293437A JP5159084B2 JP 5159084 B2 JP5159084 B2 JP 5159084B2 JP 2006293437 A JP2006293437 A JP 2006293437A JP 2006293437 A JP2006293437 A JP 2006293437A JP 5159084 B2 JP5159084 B2 JP 5159084B2
Authority
JP
Japan
Prior art keywords
pixel data
data
pixel
image
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006293437A
Other languages
English (en)
Other versions
JP2007149076A (ja
JP2007149076A5 (ja
Inventor
アカーマン マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Systems Corp
Original Assignee
Northrop Grumman Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Systems Corp filed Critical Northrop Grumman Systems Corp
Publication of JP2007149076A publication Critical patent/JP2007149076A/ja
Publication of JP2007149076A5 publication Critical patent/JP2007149076A5/ja
Application granted granted Critical
Publication of JP5159084B2 publication Critical patent/JP5159084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は、契約番号F33657−01−C−4600に基づいて成された。米国政府は契約の下、本発明に対する権利を有する。
本発明は、監視システムに於けるデータ獲得及び処理する方法及び装置に関する。
偵察、監視及び目標獲得システムは、複数の空挺プラットフォーム、即ち飛行物体を含み、各々が監視下の領域についての情報を収集するのに用いられる複数のセンサを携行している。空挺プラットフォームは、人又は装置を含み、センサによって収集されたデータにアクセスすることを所望し、1又は2以上の地上ステーションに位置する要求者と通信することができる。複雑な監視システムは、複数の通信及びセンサシステムを含み、該通信及びセンサシステムは、環境に関する情報を収集し、情報を処理して有意義な情報を得て、情報に基づいて行動するエンティティに情報を通信する。
対象となる領域の画像を生成するのに、合成開口レーダ(SAR)、電気光学的(EO)又は赤外線(IR)センサが用いられる。これらの画像は、素早く処理され、監視システムの種々の装置及び/又はユーザに送られなければならない大量のデータを含む。通信する帯域幅、送信されるべきデータ量、送信されなければならないデータの距離は全て、応答時間に影響する。
センサの処理能力速度と同様にネットワークの帯域幅速度は、最新のブレードサーバが有効に処理することができる速度よりも速い。1Gb/sのイーサネット(登録商標)が現在の監視システムのアーキテクチャに用いられ、ハイパースペクトラル及びHDTVセンサのような先進の搭乗物(payload)によって要求される処理能力が高まることにより、10Gb/sのイーサネットへの代替が予定されている。ブレードサーバは入力/出力(I/O)が障害となりつつあり、高帯域幅のデータネットワーク伝送に於ける要素が限定される。これは1つには、作られる必要があるペイロードデータの内部コピーが多数であることによる。これにより、ブレードの中央処理ユニット(CPU)の内部メモリバスに負担を掛ける(overwhelm)。
センサ及び通信データリンクインターフェイスをより低いレベル及びより高いレベルに標準化して、センサ、通信データリンクインターフェイス、地上ステーションが機能向上することができるのが望ましい。また、十分な帯域幅を有するシステムがリアルタイムに近い信号処理及び通信を提供するのが好ましい。従って、収集した情報を広めるのに要求される時間を短縮できるデータ処理システムを求めるニーズがある。
発明の要約
本発明は信号処理方法を提供し、以下の工程を有する。画素データワードのを複数含む画像フレームを受信する工程であって、各は最初の画素データワードと複数の連続した画素データワードを含む工程と、の最初の画素データワードからの各連続した画素データワードを抜き出すことにより、各を処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び/又は送信する工程を有する。
本発明は更に装置に関し、該装置は、複数の画素データワードのを含み、各は最初の画素データワードと複数の連続した画素データワードを含む画像フレームを受信する入力と、の最初の画素データワードからの各連続した画素データワードを抜き出すことにより、各を処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを有する。
他の態様に於いて、本発明は信号処理方法を提供し、以下の工程を有する。各々が複数の画素データワードを含む対応する画像フレームを受信する工程と、第1の画像フレーム内の対応する画素データから、第2の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び/又は送信する工程を有する。
本発明は更に装置に関し、該装置は、各々が複数の画素データワードである対応する画像フレームを受信する入力と、第1の画像フレーム内の対応する画素データから、第2の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを具える。
発明の詳細な説明
図面に関して、図1は、本発明に従って構成された要素を含む監視システム(10)を表す図である。システムは、無人の航空機(12)(14)(16)(UAVs)である複数のセンサプラットフォームを含む。各プラットフォームは監視下の領域についての情報を供給する1又は2以上のセンサを搭載する。UAVは、複数の地上ステーション(18)(20)(22)及び複数の衛星(24)(26)(28)と通信することができる。通信リンクが種々のシステム要素間に配備され、所望の機能を達成する。
監視システムの1つのタイプは、アドバンストペイロードプロセッサユニット(APPS)アーキテクチャを用い、該アーキテクチャはネットワーク中心エンタープライズシステム(NCES)の概念内にて空中のサーバのノードを支持するように設計されたオープンソースアーキテクチャである。そのようなシステムは、PICMG2.16のような1Gb/s又はそれ以上のネットワークにて支持されるネットワーク帯域幅速度で大量のデータ伝送を取り扱う必要がある。これはストレージがアドバンスド情報アーキテクチャ(AIA)のような機上であっても、地上であっても、サーバ対サーバ、サーバ対クライアント、又はサーバ対ストレージに等しく適用される。
図2は、本発明を含む監視システム(30)の一部のブロック図である。システムは、対象となる領域の画像を生成するのに用いられる電気光学的センサ、赤外線センサ、又は合成開口レーダのような1又は2以上のセンサを含む一組のセンサ(32)を含む。センサは画像内の情報を表す信号を、アドバンストペイロードプロセッサユニット(APPS)(34)に送信する。APPSは、ドーターボード(36)を用いて実施される信号処理回路、スイッチング回路(38)、ブレードサーバー(40)を含む種々の回路を含む。APPSの要素は、データ処理能力を改善するように修正された市販の要素である。例えば、この用途に必要でない動作を提供するファームウェアは無効にされ得る。APPSは、画像情報を処理し、処理された情報を一組の通信手段(42)に送り、該通信手段は情報をユーザ又は監視システム内の他の装置に送信する。
本発明は、スイッチファブリック技術に基づく最先端(state-of-the-art)のPICMG2.16と結び付けられる市販の(COTS)ギガビットの最先端のイーサネット(GbE)スイッチ/ルータを利用するオープンシステムアーキテクチャを提供し、情報監視及び偵察(ISR)センサが収集する処理能力速度を高める要求に対応し、処理能力速度は10Gbps(1秒当たりギガビット)に達し得る。
APPSアーキテクチャは、フレキシブルでロバストな性能の故に、命令、制御、通信、コンピュータ、情報、監視及び偵察(C4ISR)の用途に適しており、センサのデータ速度を速くすることに挑み、10Gb/sのイーサネットデータネットワークとの接続に良好な移動経路を提供する。
APPSアーキテクチャは、伝送制御プロトコル(TCP)、オフロードエンジン(TOE)、遠隔直接メモリアクセス(RDMA)間の結合を実施することにより、ブレードCPUを用いる問題(飽和)に或る程度、取り組む。本発明は、これらの開かれた標準的な技術を新規性があるEO/IR及び/又はSPOT画像処理に利用するものであって、該画像処理はワイヤ速度に近い速度で有効な帯域幅管理を実行することにより、C4ISRセンサにとっての有用なネットワーク帯域幅を増加させる。
本発明の実際的な2つの帯域幅管理用途は、EOスポット画像及びSARステレオ画像処理に関する。図3は、EO画像の画像画素を表すNXMマトリックスである。図4は、合成開口レーダ画像の対応するフレームの画像画素を示すNXMマトリックスである。ここで開示されるように、対応する画像フレームとは、対象となる同じ目標又は領域の画像のフレームである。図3及び図4の画素は、N個のとM個ののマトリックスに配列される。各画素はP(x、y)として特定され、xはでyはである。画素ラベルの前のFは、画像フレームの番号である。
図5は、図2のシステムの一部のブロック図であり、EOフレーム内パケット処理を示し、データワードとも画素データワードとも言及されるパケットは、画素の8ビット(又はそれ以上)デジタル化を表す。例えば、電気光学的センサ又は赤外線センサであり得る複数のセンサ(50)は、画像データを捉え、複数のイーサネットチャンネル(52)(54)上の該データを線(56)で示すように、PICMG2.16スイッチファブリックに送信する.複数のブレードサーバ(58)(図では1つのみしか示さない)がイーサネットに接続されている。各サーバは線(62)及び(64)で示すPICMG2.16スイッチファブリックからデータを受信し、及びPICMG2.16スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(RNIC)(60)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。本記載にてこれからは、パケット、データワード、及び画素データワードは、交互に用いられる。
図5の例は、図3に示す画素データを有する電気光学的画像のフレーム内処理を示す。データはメガバイト(Mバイト)ブロックに分離されて、RNICに送信され、各々は画像のフレーム内の各画素の輝度(intensity)を表す8ビットのパケットの組から構成される。
NXMマトリックスの電気光学的画像については、ブレードサーバは、画像の画素の各毎にM−2モジュラブロックを含む。これらのモジュラブロックの2つ(66)(68)が図5に開示されている。モジュラブロック(66)は2つのバッファ(70)(72)及び圧縮デバイス(74)を含む。モジュラブロック(68)はバッファ(76)(78)及び圧縮デバイス(80)を含む。電気光学的画像フレームは、図3の画素P(0,0)にて開始すると仮定する。各モジュラブロックの第1のバッファは、図3に描かれた蛇行経路に続く各の第1の画素で満たされる。各モジュラブロックの第2のバッファは、からの第2の画素で満たされ、この場合はP(0,1)である。
第2のモジュラブロックは、P(0,0)及びP(0,2)で満たされ、モジュラブロックM−2に達するまで続く。モジュラブロックM−2は、画素P(0,0)及びP(0,M−1)を比較する。各一対のバッファ内の第2の画素は、第1の画素から抜き出されて、画素値の差分(即ち、デルタ)を生成する。データ差分は、各一対の画素の第2の画素の箇所に格納される。デルタ差分値は、圧縮データとなる。しかし、更なる圧縮が所望されるなら、更にデータを圧縮する為にデルタ差分の値に適用されるデルタ符号化、即ち標準JPEG2000のような他の圧縮技術がある。その最も簡略化した形式にて、デルタ符号化は以下の如く実行され得る。
元の画像データの8つの画素は、以下の輝度値を有すると仮定する。
127 129 130 137 129 131 133 128
次に、このデータを表すのに用いられるビットの数は、
8…8…8…8…8…8…8…8
となり、総計で64ビットである。
圧縮された画像データは、第1の画素の輝度値であり、各次の画素と第1の画素との差の値である。このように圧縮された画像データは、
127+2+3+10+2+4+6+1である。
このデータを表すのに用いられるビットの数は、
8…4…4…4…4…4…4…4
となり、総計で36ビットである。このように、圧縮比は64/36〜2:1となる。
第1の先端(開始)の8ビットの画素輝度値(即ち、8ビット)のみが送られると、第1の画素の輝度値と次の画素の輝度値の間のデルタも同様に送られる。内のあらゆる画素について、元の画素の輝度値は、先端(開始)の画素の全輝度値(圧縮されていない)及び次の画素のデルタ値から再構築されることができる。
上記は、データ速度が制限されたパイプ(データリンク)を介して、データをグランドにダウンリンクするのに必要なビット速度を減速する典型的な例である。他の実施例に於いては、画素デルタ値は、各内の次の画素間の差分を取ることにより決定される。上記の例については、元の画像データは、以下の輝度値を有する。
127 129 130 137 129 131 133 128
圧縮された画像データは、
127+2+1+7−8+2+2−5である。
再びこのデータを示すのに用いられるビット数は、
8…4…4…4…4…4…4…4
となり、総計で36ビットである。このように、圧縮比は64/36〜2:1となる。
番号1の画素データの処理に続いて、画素P(1,M−1)から始まる番号2に進む。同じモジュラーブロックが、番号2の画素データを処理するのに用いられる。処理は画像データに亘って蛇行経路を用いて進められる。蛇行経路の使用は、各についての次の関連する地点を、独立させる(de-correlate)。理論的には、次の各の両端で取られる2つの参照した地点は、切り離される(de-couple)べきである。
全てのが処理されると、P(0,0)、P(1,M−1)、……P(N−1,M−1)の位置にある画素は元の輝度値を有し、一方、他の画素は各の先頭(即ち、開始)画素に対して、圧縮された輝度値を示す。各の先頭画素は、送信帯域幅の制限により圧縮することが求められているならば、また圧縮される。
図5のモジュラブロックは、例えば、P(0,0)データからP(0,1)を抜き出した結果であるデルタ画素の輝度値は、圧縮され、P(0,1)箇所に格納される。上記の例に於いて、8ビットの画素データは、4ビットの画素データに圧縮される。圧縮された画素データは、PICMG2.16スイッチファブリックに搬送され、デジタル信号プロセッサ(82)、AIA(84)、及び/又はラジオ(86)に分配されて、更に処理され、又は送信される。
パケット(88)(90)(92)は、矢印(94)で示すように、シリアルストリームに達し、上記の処理は画素データの各について繰り返される。本発明は、ワイヤスピード速度に近い速度にて、監視システムによって実行されるEO又はIR SPOT画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
図5のAPSブレードは、入力フレームについてTOE's及びRDMAを実行する2つのポートの双方向リモートネットワークインターフェイスカード(RNIC)を有する。この例に於いて、各パケットはフレーム毎に平均1008×1018の画素を有する画像フレームを有する。
図6は処理を示し、それによって、種々のEO/IRセンサフレームがAPPSブレードに到着した際に処理される。各センサチャンネルは、1つのAPPSブレードによって処理される。現在のデータのネットワーク構成は、1Gb/sのイーサネットに接続され、容易に10Gb/sのイーサネットに格上げできる。
図6は、十分な帯域幅管理技術を用いて、EO/IRシーンフレームを収集する方法を工程毎に記載している。本発明の一実施例に於いて、処理はブロック(100)にて開始し、各入力フレームは1008×1018の画素を有し、画素毎に8ビットの格納空間を要する。UDP/IP及びイーサネットをカプセル化(encapsulate)したフレームは、(TOE'sを用いて)RNIC内にて開封され(deencapsulate)、生の画像画素は、センサからAPPSブレード(ゼロコピー)へRDMAを介して所定の格納箇所に格納される。ブロック(102)に示すように、フレームが格納された後は、処理はブロック(104)に示すように、1にて開始する。最後のに達していなければ(ブロック(106))、上記の如く及びブロック(108)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することを進めていく。ブロック(110)は、図3に示す蛇行経路を用いて、各にこれが繰り返されることを示す。N−1に達すると、処理は終了し(112)、ブロック(114)に示すように、圧縮されたフレームはRNICに送られて、更に処理され及び/又は分散される。
同じEO/IRシーン収集に属する処理されたフレームは、PICMG2.16 1Gb/sスイッチファブリックに亘って、RDMAとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にAIAに送られ、又は送信用にラジオに送られ、又は更に処理されるべくDSPに送られ、又は多数の動作を介して先の全ての目的地に送られる。
典型的なEO/IR SPOTシーンはトラックの横方向に10のフレームを有し、トラックに沿って14のフレームを有し、全部で140のフレームを有する。140のフレームの全てが処理されるまで、処理は繰り返される。処理されたフレームは、次にUPD/IP及びイーサネットに再びカプセル化される。
本発明はまた、SARステレオ画像のフレーム内処理を含む。SARステレオ画像イメーングは、同じ地点の多数の画像を捉え、1つの画像の解像度を上回って、該地点からのSAR画像の解像度を高める。SARステレオ画像の処理は、その性質により、帯域幅に集約される。本発明の目的は、目標とした地点上で収集されたSARステレオ画像のフレームに対応する各画素間を画素毎に比較することにより、帯域幅のデータを減らすことにある。
図7は、SARステレオのフレーム内処理を示す図2のシステムの一部のブロック図であり、またデータワード又は画素データワードと言及されるパケットは画素を表すデジタル化された8ビット(またはそれ以上)である。複数のセンサ(120)がSAR画像データを捉え、線(126)で示すように、複数のイーサネットチャンネル(122)(124)上のデータをPICMG2.16スイッチファブリックに送信する。複数のブレードサーバ(128)(この図では、1つのみが図示される)がイーサネットに接続される。各サーバは、線(132)及び(134)で示すPICMG2.16スイッチファブリックからデータを受信し、及びPICMG2.16スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(RNIC)(130)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。
図7の例は、図4に示す画素データを有するSAR画像のフレーム内処理を示す。データはメガバイト(Mバイト)のブロックに分けられて送信され、各ブロックは画素密度を表す8ビットのパケットの組から構成される。
SAR画像について、ブレードサーバは画像内の画素の毎に、M個のモジュラブロックを有する。これらのモジュラブロックの2つ(136)(138)は、図7に示される。モジュラブロック(136)は、2つのバッファ(140)(142)及び圧縮デバイス(144)を含む。モジュラブロック(138)は、バッファ(146)(148)及び圧縮デバイス(150)を含む。2つの連続したSAR画像フレームが図4に示される。連続したフレーム内の対応する画素が、点線の矢印で示される。各モジュラブロックの第1のバッファは、例えばF1P(0,0)である図4の第1のフレームの第1の画素で満たされる。第1のモジュラブロック内の第2のバッファは、第2のフレームからの対応する画素で満たされ、この例はF2P(0,0)である。第2のモジュラブロックは、画素F1P(0,1)及びF2P(0,1)で満たされ、モジュラブロックM−1に達するまで続く。モジュラブロックMは、画素F1P(N−1,M−1)とF2P(N−1,M−1)を比較する。対応する画素の各対内の第2の画素は、第1の画素から抜き出されて、差分画素値(即ちデルタ)を生成する。差分値は、元の画素値よりも小さな値を有し、より小さなデータワードによって表される。差分データは、以前に第2のフレームデータが保持されていた箇所に格納される。更なる圧縮が所望されるなら、関連する圧縮デバイスが付加されて、差分データを更に圧縮するのに、既知の圧縮技術が適用される。
上記例の如く、8ビットの画素データは、4ビットの画素データに圧縮される。圧縮された画素データは次に、PICMG2.16スイッチファブリックに送信され、デジタル信号プロセッサ(152)、AIA(154)、及び/又はラジオ(156)に分配されて、更に処理され又は送信される。
データパケット(158)(160)(162)は矢印(164)で示すように、シリアル流れに達し、上記の処理は次の画素データのフレームについて繰り返される。本発明は、ワイヤ速度に近い速度にて、監視システムによって実行されるSAR画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
SARの例について、比較されるSARステレオ画素のフレームは、NXMマトリックスを表す図4に示される。この場合、各はM個のモジュラブロックを有する。第1のモジュラブロックに於いて、次に収集されるフレームであるフレーム1とフレーム2の為に、F1P(0,0)はF2P(0,0)と比較される。デルタ結果は圧縮されて、F2P(0,0)箇所に格納される。全てのNXM画素が比較されると、フレーム1のマトリックスは、修正されたフレーム2のマトリックスとともに、RNICを介して、PICMG2.16バス上に送られて、更に処理され及び/又は送信される。
図8は、SARステレオフレーム内処理のアルゴリズムを示すフローチャートである。図8は、APPSブレードに達した種々のSARセンサフレームが処理される工程を示す。各センサチャンネルは、1つのAPPSブレードによって処理される。現在のデータのネットワーク構成は、1Gb/sのイーサネットに接続され、容易に10Gb/sのイーサネットに格上げすることができる。
図8は、十分な帯域幅の管理技術を用いて、EO/IRシーンフレームを収集する方法を工程毎に記載する。本発明の一実施例に於いて、処理はブロック(170)にて開始し、各入力フレームは1008×1018の画素を有し、画素毎に8ビットの格納空間を要する。UDP/IP及びイーサネットが封入されたフレームは、RNIC内にて開封され(TOE'sを用いて)、生の画像画素は、センサからAPPSブレード(ゼロコピー)へRDMAを介して所定の格納箇所に格納される。ブロック(172)に示すように、フレームが格納された後は、ブロック(174)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することにより処理は続く。ブロック(176)は、対象である2つのフレームの最後の画素が比較されるまで、これが繰り返されることを示す。N−1及びM−1に達すると、処理は終了し、ブロック(178)に示すように、圧縮されたフレームはRNICに送られて、更に処理され及び/又は分散される。
フレームF+1内の8ビット/画素によって表される1008×1018の画素は、先のフレームF内の対応する1008×1018の8ビット画素から抜き出される。結果は例えば、N=2,4,10又は20である因子N毎に圧縮され、フレームF+1の元の画素位置と同じ箇所に格納されるが、今度は4ビット/画素格納箇所を用いる。
上記のデルタ符号化圧縮の例については、簡略化の為に、4ビット(1/2バイト)が用いられたが、4ビットは各例に於いて必要ではない。圧縮比は、用いられる圧縮の関数である。
同じ動作がフレームF+1とF+2に実行され、結果が格納される。この処理は最後のフレームが受信されるまで繰り返される。図8に記載された方法は、2つの連続したフレームF及びF+1に夫々実行される。同じSARシーン収集に属する処理されたフレームは、PICMG2.16Gb/sスイッチファブリックに亘って、RDMAとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にAIAに送られ、又は送信用にラジオに送られ、又は更に処理されるべくDSPに送られ、又は多数の動作を介して先の全ての目的地に送られる。
本発明は、市販の(COTS)要素を有するOSAアーキテクチャを用いて実行され、該要素は例えば既知のサーバ、プロセッサ、スイッチファブリックその他を含み、このようにして最終生成物のコストを急激に減じる。双方向の、全二重、専用の、衝突のない、障害のない経路が、UAV空中プラットフォームと地上の制御要素との間に配備される。
ロバスト化用の冗長(robust redundancy)が、OSAアーキテクチャ内に配備される。OSAアーキテクチャは、更に処理速度が向上するスイッチファブリック技術の進化を利用するように格上げされて、その一方で、ソフトウエア/ファームウエアへの投資(investment)を維持する。
システムは、種々のネットワークが作られたデータリンクと同様に、種々の多面情報型(multi-intelligence)センサを提供する“プラグアンドプレイ”OSAアーキテクチャを具える。UAVは、空中で移動可能なサーバを具える。
機上での先進のセンサ処理は、例えば自動目標キューイング(ATC);モザイク化;自動目標認識(ATR);多重仮想トラッキング(MHT);干渉変化探知(CCD);デジタル地域高度データ(DTED)の生成;センサデータの融合;センサ交差キュー;無損失/JPEG2000圧縮;情報帯域幅圧縮;予想及び回避(See & Avoid)(衝突回避);レーダー警告受信器の再終結(rehost);及び赤/黒の分離(Red/Black Separation)を含む。
システムにより、遠隔センサのペイロード制御ができ、ASARS−2Aリンクと互換性がある。システムは、非飛行管理機能から飛行管理機能を物理的に分離する。赤及び黒の暗号化スキームが規定され得る。将来、多重情報ペイロード及び通信リンクが支持され得る。
本発明が種々の実施例について記載されてきたが、以下の請求の範囲で示された発明から離れることなく、開示された実施例に種々の変更がなされることは当業者には明らかであろう。
本発明に従って構成される要素を含む監視システムを示す図である。 本発明を含む監視システムの一部のブロック図である。 電気光学(EO)画像についての画像画素を表すNXMマトリックスである。 合成開口レーダ(SAR)画像についての画像画素を表すNXMマトリックスである。 EO画像処理について用いられる図2のシステムの一部のブロック図である。 本発明の第1の態様に従った画像データの処理方法を示す流れ図である。 SAR画像処理について用いられる図2のシステムの一部のブロック図である。 本発明の第2の態様に従った画像データの処理方法を示す流れ図である。

Claims (4)

  1. 信号処理方法であって、
    画素データワードの行を複数含む画像フレームを受信する工程であって、各行は開始画素データワード及び次の複数の画素データワードを含む工程と、
    行内の開始画素データワードから、行内の次の各画素データワードを抜き出して、複数の差分画素データワードを生成する工程であって、次の行の開始画素は、該次の行の反対側端部にある工程と、
    該差分画素データワードを格納する工程を有する方法。
  2. 開始画素データワードは圧縮されている、請求項1に記載の方法。
  3. 画素データワードの複数の行を含む画像フレームを受信する入力であって、各行は開始画素データワード及び次の複数の画素データワードを含む入力と、
    行内の開始画素データワードから、行内の次の各画素データワードを抜き出して、複数の差分画素データワードを生成するプロセッサであって、次の行の開始画素は、該次の行の反対側端部にあるプロセッサと、
    該圧縮された差分画素データワードを格納するメモリを具えた装置。
  4. プロセッサは、複数のモジュールを含んでおり、各モジュールは、各行について、開始画素データワードから次の複数の画素データワードの1つを抜き出す、請求項3に記載の装置。
JP2006293437A 2005-10-31 2006-10-30 有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ Active JP5159084B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/263,461 US7536057B2 (en) 2005-10-31 2005-10-31 Open system architecture for surveillance systems with efficient bandwidth management
US11/263,461 2005-10-31

Publications (3)

Publication Number Publication Date
JP2007149076A JP2007149076A (ja) 2007-06-14
JP2007149076A5 JP2007149076A5 (ja) 2009-11-05
JP5159084B2 true JP5159084B2 (ja) 2013-03-06

Family

ID=37890152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006293437A Active JP5159084B2 (ja) 2005-10-31 2006-10-30 有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ

Country Status (6)

Country Link
US (1) US7536057B2 (ja)
EP (1) EP1788527A1 (ja)
JP (1) JP5159084B2 (ja)
BR (1) BRPI0604364A (ja)
CA (1) CA2561202A1 (ja)
IL (1) IL178338A0 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223739B2 (en) 2008-10-29 2012-07-17 Intel Corporation Method and apparatus of dynamic bandwidth management
US10275375B2 (en) 2013-03-10 2019-04-30 Mellanox Technologies, Ltd. Network interface controller with compression capabilities

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2554995B1 (fr) * 1983-11-15 1989-05-05 Thomson Cgr Procede de compression d'une succession d'informations numeriques et dispositif mettant en oeuvre ce procede
JP2511939B2 (ja) * 1987-03-13 1996-07-03 株式会社日立製作所 合成開口レ―ダ画像の再成処理方法
US5179651A (en) * 1988-11-08 1993-01-12 Massachusetts General Hospital Apparatus for retrieval and processing of selected archived images for display at workstation terminals
US5046027A (en) * 1988-11-08 1991-09-03 Massachusetts General Hospital Apparatus and method for processing and displaying images in a digital procesor based system
GB8905472D0 (en) 1989-03-10 1989-04-19 Crosfield Electronics Ltd Data encoding
JPH0564000A (ja) * 1991-08-29 1993-03-12 Hitachi Ltd 画像データの圧縮と伸長方法
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP3590648B2 (ja) * 1994-03-23 2004-11-17 株式会社日立国際電気 原画像データの圧縮処理の方法及び原画像データの伸張処理の方法
US5627546A (en) * 1995-09-05 1997-05-06 Crow; Robert P. Combined ground and satellite system for global aircraft surveillance guidance and navigation
DE19625465C2 (de) 1996-06-26 1998-11-26 Dornier Gmbh Verfahren zur datenreduzierenden Codierung von SAR-Rohdaten
US6061562A (en) * 1997-10-30 2000-05-09 Raytheon Company Wireless communication using an airborne switching node
JP2000115786A (ja) * 1998-07-22 2000-04-21 Matsushita Electric Ind Co Ltd 符号化装置、記録装置および符号化方法
US6760778B1 (en) * 1998-09-09 2004-07-06 At&T Wireless Services, Inc. System and method for communication between airborne and ground-based entities
US6157337A (en) * 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
US6553336B1 (en) * 1999-06-25 2003-04-22 Telemonitor, Inc. Smart remote monitoring system and method
US6628941B2 (en) * 1999-06-29 2003-09-30 Space Data Corporation Airborne constellation of communications platforms and method
JP2001157205A (ja) * 1999-11-24 2001-06-08 Pfu Ltd 画像データ圧縮方法、画像データ圧縮装置および記録媒体
US6758089B2 (en) * 2001-07-09 2004-07-06 Intelligent Technologies International Inc. Wireless sensing and communication system of roadways
US6840480B2 (en) * 2001-09-27 2005-01-11 Ernest A. Carroll Miniature, unmanned aircraft with interchangeable data module
US6674398B2 (en) * 2001-10-05 2004-01-06 The Boeing Company Method and apparatus for providing an integrated communications, navigation and surveillance satellite system
US6665594B1 (en) * 2001-12-13 2003-12-16 The United States Of America As Represented By The Secretary Of The Navy Plug and play modular mission payloads
GB2387056A (en) 2002-03-28 2003-10-01 Sony Uk Ltd Differential encoding and decoding
US7379088B2 (en) * 2002-07-01 2008-05-27 The Johns Hopkins University System and method for real-time image control and processing for use in wide area space based surveillance
US20040143602A1 (en) * 2002-10-18 2004-07-22 Antonio Ruiz Apparatus, system and method for automated and adaptive digital image/video surveillance for events and configurations using a rich multimedia relational database
US6873341B1 (en) * 2002-11-04 2005-03-29 Silicon Image, Inc. Detection of video windows and graphics windows
US6712312B1 (en) * 2003-01-31 2004-03-30 The United States Of America As Represented By The Secretary Of The Navy Reconnaissance using unmanned surface vehicles and unmanned micro-aerial vehicles

Also Published As

Publication number Publication date
US20070098280A1 (en) 2007-05-03
BRPI0604364A (pt) 2007-08-28
IL178338A0 (en) 2007-07-04
CA2561202A1 (en) 2007-04-30
EP1788527A1 (en) 2007-05-23
US7536057B2 (en) 2009-05-19
JP2007149076A (ja) 2007-06-14

Similar Documents

Publication Publication Date Title
TW569570B (en) Multimedia sensor network
US20190327463A1 (en) System and methods for feedback-based data transmission
US9241094B2 (en) Capturing event information using a digital video camera
CN111405241A (zh) 一种用于视频监控的边缘计算方法和系统
US8160129B2 (en) Image pickup apparatus and image distributing method
US7675549B1 (en) Imaging architecture for region and time of interest collection and dissemination
US20060078046A1 (en) Method and system for multi-path video delivery and distribution
US20220147042A1 (en) Near Real-Time Data and Video Streaming System for a Vehicle, Robot or Drone
CN108307202B (zh) 实时视频转码发送方法、装置及用户终端
WO2024001114A1 (zh) 一种卫星健康状况监测图像多路径传输方法及装置
WO2002101969A2 (en) Transmitting data from aircraft to ground stations
CN112104918A (zh) 基于卫星网络的图像传输方法及装置
JP5159084B2 (ja) 有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ
US20090238411A1 (en) Estimating motion of an event captured using a digital video camera
US20150109436A1 (en) Smart Dual-View High-Definition Video Surveillance System
CN109714531B (zh) 一种图像处理方法、装置和无人机
Pham et al. An energy efficient image compression scheme for Wireless Sensor Networks
CN105828043A (zh) 一种无人机视频远程传输系统
CN111263113B (zh) 数据包的发送方法及装置、数据包的处理方法及装置
EP2963929A1 (en) A method for configuration of video stream output from a digital video camera
CN217240799U (zh) 一种数据传输处理装置及车辆
US7248632B1 (en) Video data storage and transmission system and method
JP2018537885A (ja) コンテンツによって制御されたストリーミングネットワークにおけるフローレート調節の方法及びシステム
JP2018530954A (ja) パノラママルチメディアストリーミングの方法及びシステム
Alam et al. Learn to Compress (LtC): Efficient Learning-based Streaming Video Analytics

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111012

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111024

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20111116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121211

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5159084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250