JP5213880B2 - パノラマ画像処理システム - Google Patents

Description

本発明は、画像データ処理に関し、更に特定すれば、厳しいリアル・タイム撮像処理能力を要求する厳しい軍事用途に適したパノラマ撮像システムに関する。

従来技術

米国海軍の潜水艦の大部分は、未だに昔からの潜望鏡の使用に頼っている。潜望鏡の深さでは、例えば、バージニア級潜水艦に装備される潜望鏡および最新世代の非貫通フォトニクス・マスト(non-penetrating photonics mast)でさえも、特定の接触(contact)を視認するためには、回転させなければならない。接触が難しい環境(contact deep environment)において受動的に動作する場合、このような手動接触識別は時間がかかり、場合によっては潜水艦を潜在的に危険な状況に置く虞れもある。

現行のパノラマ・システムは、主に２つの手法の内の１つを用いている。第１の手法は、水平線上の３６０度を撮像焦点面の円に撮像する特殊な光学素子を用いる。表示のために、画像処理を用いて、円を直線にマッピングする。しかしながら、この手法には様々な欠点がある。即ち、このシステムで達成可能な最高分解能は、光学構成において物理的に利用することができる焦点面／焦点面群のサイズによって制限される。加えて、光学的分解能は、視野全域にわたって均一ではない。通例、これは、多数の別個のカメラを用いて実現可能な画素よりも遥かに少なくなる。また、この手法は、連続透過性円筒を必要とし、この連続透過性円筒も適度の構造的堅牢性を備えなければならないために、機械的課題もある。

第２の手法は、完全な円を撮像するために、標準的ビデオ・カメラをいくらか多めに用い、円周上に配列する。通例、汎用プロセッサ上で走る画像処理ソフトウェアを用いて、別個の画像を組み立て直して即ち縫合(stitch)して１つの連続体にするか、または代わりに数枚の長い画像セグメントにする。この手法は、計算集約的、非効率的、厄介であり、著しいレイテンシおよび処理オーバーヘッドを生ずる可能性がある。このため、当技術分野では、改良した高分解能リアル・タイム・パノラマ撮像システムが求められている。

ここに開示し特許請求するのは、低レイテンシ、高分解能、連続運動パノラマ・ビデオ撮像システムである。一実施形態では、本システムは、ほぼリアル・タイムのビデオ・カメラ画像信号を発生する、複数の高分解能ビデオ・カメラを含む。３６０度視野全体を包含するビデオ・カメラ画像信号を発生するために、複数のカメラを所定の角度位置に位置付けるために、支持部が設けられている。本システムは、通信リンクを通じて複数のカメラに結合されており、複数のビデオ・カメラからビデオ・カメラ画像信号を受信し、ビデオ・カメラ画像信号を一斉に並列処理し、パノラマ画像信号を発生するように構成されている画像プロセッサを含む。画像プロセッサは、第２通信リンクを通じてディスプレイに結合することができ、このディスプレイは、複数のカメラ周囲の視野におけるパノラマ画像をほぼリアル・タイムで示すことができる。

本発明のその他の態様、特徴、および技法は、以下の本発明の詳細な説明を検討することにより、当業者には明白となろう。

本発明の特徴、目的、および利点は、以下に明記する詳細の説明を、図面と共に検討することによって一層明らかとなろう。図面においては、同様の参照符号は全体を通じて呼応して同一視することとする。
図１は、３６０度撮像システムの一実施形態のブロック図である。 図２は、本発明の１又は２以上の実施形態による撮像システムの簡略ブロック図である。 図３は、本発明の一実施形態による、撮像デバイスのレイアウトを示す、センサ・ポッドの平面図である。 図４は、本発明の１又は２以上の実施形態による画像処理アルゴリズムの論理フローを示すブロック図である。 図５は、本発明の１又は２以上の実施形態による画像処理アルゴリズムを示すブロック図である。

開示の全体像
本発明の一態様は、パノラマ撮像デバイスに関する。一実施形態では、複数の高分解能ビデオ・カメラを含む撮像デバイスを提供することができる。複数の高分解能カメラは、安全確実にそして調整可能に、ビデオ・カメラを配置するように構成されている筐体即ちポッド内に設置することができる。更に、ビデオ・カメラは、静止画像、動画、一連の画像、および／またはあらゆる種類の撮像データ一般を供給するように構成することもできる。

以下で更に詳しく説明するが、複数の高分解能ビデオ・カメラは、カメラ当たり少なくとも５００キロ画素(kilopixel)の、それぞれのカメラの視野における画像を表す、ほぼリアル・タイムのビデオ・カメラ画像信号を発生することができる。また、他の画素値を用いてもよいことは認められてしかるべきである。例えば、一実施形態では、各カメラは１メガ画素の画像信号を供給するように構成することもできる。複数のカメラを所定の角度位置に位置付けるための支持部を用いると、複数のカメラが調和して動作し、カメラを中心とする３６０度視野全体に亘るビデオ・カメラ画像信号を発生することが可能になる。

本発明の別の態様は、複数のビデオ・カメラからのカメラ画像信号を画像プロセッサに供給することである。一実施形態では、画像プロセッサは、継ぎ目のないパノラマ画像を表す継ぎ目のないビデオ信号を発生するために、ビデオ・カメラ画像信号を並列に処理するように構成することができる。その後、ビデオ信号をディスプレイ・デバイスに、通信リンクを通じて、供給することができる。次いで、ディスプレイ・デバイスは複数のカメラを中心とする視野における継ぎ目のないパノラマ画像をほぼリアル・タイムで表示することができる。本明細書において用いる場合、継ぎ目のないパノラマ画像は、視野の断絶や歪みのない、連続３６０度パノラマ画像に関係付けることができる。別の実施形態によれば、ビデオ信号は、画像データをほぼ連続的に表示するように、全体的に継ぎ目のない画像として表示することができる。

パノラマ撮像システムの特徴は、潜水艦の用途というコンテキストでも有用となることもある。ある種の実施形態では、本発明は、水平線の３６０度連続画像をビデオ・レート( video rate)で供給することができる。ある種の実施形態では、本発明は、潜水艦が、潜望鏡またはマストのいずれも回転することなく、瞬時に全てのコンタクトを観察することを可能にする。また、パノラマ撮像システムは、地上系撮像、空中撮像、およびあらゆる種類の撮像一般というような、他の用途にも使用可能である場合もあることも認められてしかるべきである。

ある種の実施形態では、パノラマ撮像は、潜水艦の状況認識(situation awareness)および衝突回避能力を改善することができる。船長および船員は、システムのユーザとして、船舶の安全性や外部環境を素早く、最小限の操作者の介入で、評価できることを期待される。この目的のために、継ぎ目のないパノラマ視野の表示は、１つの高解像度ビデオ・モニタ上で表示可能とする。

本発明の教示に基づいて、単一ディスプレイ実施態様および多重ディスプレイ実施態様双方に合わせたカメラおよび処理資源の追加によって、分解能の向上が可能となる場合もある。他の実施形態では、投射ゴーグル(projection goggle)または同様のシステムを用いた仮想ディスプレイも用いることができ、この場合、表示される画像に基づいて、操作者の方位を検出することができる。本発明の更に別の実施形態、態様、特徴、および教示については、以下で更に詳しく説明する。

本明細書において用いる場合、「ａ」または「ａｎ」という用語は、１又は２以上を意味するものとする。「複数」という用語は、２又は３以上を意味するものとする。「別の」(another)という用語は、第２以降と定めることとする。「含む」および／または「有する」という用語は、範囲が決められていないこととする（例えば、備えている(comprising)）。「または」という用語は、本明細書において用いる場合、包含、即ち、いずれか１つまたはいずれかの組み合わせを意味するように解釈することとする。したがって、「Ａ、ＢまたはＣ」は、「以下のいずれか、即ち、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、Ａ、ＢおよびＣ」を意味する。この定義の例外が生じるのは、要素、機能、ステップ、または行為の組み合わせが、ある意味では本質的に相互に排他的である場合だけである。

この文書全体を通じて「一実施形態」、「ある種の実施形態」、「実施形態」または同様の用語を引用する場合、当該実施形態と関連付けて記載されている特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味するものとする。つまり、本明細書全体を通じて、種々の場所においてこのような句が現れる場合、全てが必ずしも同じ実施形態に言及している訳ではない。更に、特定の特徴、構造、または特性は、１又は２以上の実施形態において、適した態様であればそのいずれでも、制限なく組み合わせることができる。

ファームウェアで実施する場合、本発明の要素は、本質的に、必要なタスクを実行するためのコード・セグメントとなる。プログラムまたはコード・セグメントは、いずれのプロセッサ読み取り可能媒体上にでも格納することができる。
本発明の実施形態例

これより図１を参照すると、図１は、撮像システム１００の上位ブロック図を示し、一実施形態では、撮像システム１００は、低レイテンシ、高分解能、連続運動パノラマ・ビデオ撮像システムに対応する。図１に示すように、システム１００は、センサ・ポッド１１０を含む。センサ・ポッド１１０は、更に、図３の平面図においてセンサ３００として示されている。一実施形態では、センサ・ポッド１１０は、耐圧エンクロージャ即ち筐体を含む。別の実施形態によれば、センサ・ポッド１１０は、複数の撮像出力を備えており、これらをマルチプレクサ１２０によってファイバ（またはＲＦ）チャネル１２５上に多重化して画像プロセッサ１５０に送信することができる。画像プロセッサ１５０は、デマルチプレクサ１３０によって多重分離された後に、特定用途集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）回路またはボード１６０₁〜１６０_nのような２又は３以上の適したディジタル信号プロセッサを備えることができる。ある種の実施形態では、センサ・ポッド１１０は、複数の高分解能ビデオ・カメラを備えることができる。このような高分解能ビデオ・カメラは、それぞれのカメラの視野における画像を表す、少なくともカメラ当たり５００キロ画素の、ほぼリアル・タイムのビデオ・カメラ画像信号を発生するように構成することができる。また、高分解能カメラは、他の画素値によって特徴付けることができる高分解能撮像データも発生することができることは認められてしかるべきである。例えば、一実施形態では、高分解能は、少なくとも５００キロ画素の画像信号データに関するとすればよい。本明細書において用いる場合、ほぼリアル・タイムとは、６０から１００ｍｓｅｃ以下のレイテンシに関するとすればよい。しかしながら、他のレイテンシ値を用いてもよいことは認められよう。

画像プロセッサ１５０は、センサ・ポッド１１０に近接して位置付けるとよいが、別の実施形態では、１又は２以上のビデオ撮像システム（例えば、システム１００）との通信のために、システム・センタを用いてもよい。同様に、１又は２以上のビデオ撮像システムの動作を遠隔制御するためにも、システム・センタを用いてもよい。これについては、図２を参照しながら更に詳しく論ずることにする。

図１には示されていないが、センサ・ポッド１１０はセンサ（例えば、複数のカメラ）を所定の角度位置に位置付けて、複数のカメラが共同で、当該複数のカメラの周囲の３６０度視野全体を包含するビデオ・カメラ画像信号を発生することを可能にするように、支持部に結合する、またはこれと一体化することもできる。

一実施形態では、図１に示すように、ＦＰＧＡボード（群）１６０₁〜１６０_nを高速画像プロセッサｓ１５０内に統合することもできる。更に、プロセッサ１５０をディスプレイ１７５に電気的に接続して、得られる画像データを表示することもできる。一例として、画像プロセッサ１５０は、センサ・ポッド１１０から受信するビデオ・カメラ画像を一斉に並列処理して、ビデオ・カメラが取り込んだ継ぎ目のないパノラマ画像を表すビデオ信号を発生する。別の実施形態によれば、センサ・ポッド１１０から受信した画像データをシリアルに処理することもできる。次いで、これらの信号をディスプレイ１７５に送信し、複数のカメラ周囲の視野におけるシームレスのパノラマ画像のほぼリアル・タイム画像を得ることができる。一実施形態では、ＣＰＵ１６５は、グラフィクス・カード１７０に供給する撮像データを受信し扱うことができる。ＣＰＵ１６５は、更に、オペレータ・インターフェース１４５からの制御情報を受信するように構成することもできる。別の実施形態では、センサ・ポッド１１０によって収集された撮像データは、視覚撮像データ、非視覚撮像データ、赤外線データ、熱撮像データ、マイクロ波撮像データ、磁気撮像データ等の少なくとも１つに関するとよい。

尚、センサ・ポッド１１０内にあるセンサが収集したデータは、デマルチプレクサ１３０、インターフェース・ボード１４０、および／または入力／出力（Ｉ／Ｏ）カード１５５を用いて、ファイバ・チャネル１２５から収集すればよいことは認めることができよう。別の実施形態によれば、Ｉ／Ｏカード１５５を用いて、撮像データおよび非撮像データを含む１又は２以上の信号を受信および／または出力することもできる。そのようにすると、Ｉ／Ｏカード１５５は、センサ・ポッド１１０が供給するのではない別のデータを受信するために用いることもできる。別のデータには、レーダ・データ、プラットフォーム・データ等が含まれるが、これらに限定されるのではない。更に別の実施形態では、Ｉ／Ｏカード１５５は、有線リンクまたはワイヤレス・リンクのいずれかを通じて遠隔地からコマンドを受信するように構成することもできる。別の実施形態では、Ｉ／Ｏカード１５５は、センサ・ポッド１１０と関連付けることもできる、汎地球測地システム（ＧＰＳ）データ、タイム・スタンプ・データ、方位、速度、および動作座標の内１又は２以上に関するメタデータを受信することができる。更に、Ｉ／Ｏカード１５５は、圧縮ビデオのようなビデオをＩＰを通じて出力するために用いることもできる。

加えて、システム１００は、更に、画像データを安定化させるために、動き補償アルゴリズムを備えるとよい。動き補償アルゴリズムは、ビデオ信号を修正して移動(movement)を調整するように構成することができる。一実施形態では、センサ・ポッド１１０の動きを特徴付ける１又は２以上の出力信号をインターフェース・ボード１４０に供給するように、慣性測定ユニット（ＩＭＵ）１１５を構成することができる。そのために、ＩＭＵ１１５の出力を用いてビデオ信号を修正し、移動を調整することができる。

一実施形態では、動き補償アルゴリズムは、追加のビデオ・カメラから発生したビデオ・カメラ画像信号を調整するために、ビデオ・カメラの１つの視野内において概ね固定されている物体を利用することができる。要するに、基準線を確立するためには、他のビデオ・カメラからのビデオ・カメラ画像信号に関して、少なくとも１つのビデオ・カメラの視野における固定物体から得られるビデオ信号を用いて、ビデオ・データ減算プロセスを用いることができる。別の実施形態によれば、システム１００は、ビデオ・データ減算を実行するように構成した回路を含むこともできる。

一例として、ＩＭＵ１１５はレベル・センサの形態とするとよく、機械式ジャイロおよび光ファイバ・ジャイロの１つを含むがこれに限定されるのではない。レベル・センサは、センサ・ポッド１１０の内部またはその近傍に配置し、センサ・ポッド１１０の方位および動きを検知するように構成することができる。一実施形態では、センサ・ポッド１１０は、慣性空間における方位および動きを検知し、対応するデータを高速画像プロセッサ１５０に送信することができる。ある種の実施形態では、画像プロセッサ１５０（および／またはその上にあるＦＰＧＡ（群）１６０₁〜１６０_n）が着信ビデオを処理し、以下の内１又は２以上を実行することができる。
・方位を補正し、プラットフォームの動きを補償するための画像の安定化。
・連続（縫合）表示を生成するための画像の平行移動および位置合わせ。
・真の方位座標で画像を表示するように、方位角軸を中心とする回転を補償するための、方位角面における画像位置の補正。

引き続き図１を参照すると、システム１００は、画像プロセッサ１５の出力をフォーマットするグラフィクス・カード１７０を含むことができる。そのようにすると、撮像データをディスプレイ１７５に供給することができる。

一実施形態では、移動を受ける可動プラットフォーム（例えば、潜水艦、水上軍艦(naval surface vessel)、タンク、戦車等）の上に支持部を載置し、動き補償アルゴリズムを用いて、ビデオ信号を修正しこのような移動に対する調整を行うことができる。

別の実施形態によれば、センサ・ポッド１１０は、１又は２以上の非視覚センサを含むこともできる。例えば、一実施形態では、センサ１０５は、センサ・ポッド１１０の視野内にある非視覚データを収集するために設けることができ、次いでセンサ・ポッド１１０の出力と統合することができる。次に、この出力を用いて、非視覚データを画像プロセッサ１５０に伝達することができ、画像プロセッサ１５０は、非視覚データを、非視覚データと同時に収集したビデオ・カメラ画像信号から発生した画像データ（例えば、継ぎ目のないパノラマ画像）と関連付けることができる。センサ１０５によって検出した非視覚データは、インターフェース・ボード１４０を通じて画像プロセッサ１５０に供給してもよい。

別の実施形態では、センサ・ポッド１１０は、更に、汎地球測地データを画像プロセッサ１５０に供給する汎地球測地センサも含むことができる。そして、画像プロセッサ１５０は、汎地球測地データを、非視覚データおよび／またはメタデータと同時に収集したビデオ・カメラ画像信号から発生した画像データ（例えば、継ぎ目のないパノラマ画像）と関連付けることができる。非限定的な例として、このような非視覚データは、真北インディケータ、方位(bearing)、機首方位(heading)、緯度、経度、１日の時刻、地図座標、チャート座標、および／または速度、深度、および傾斜のようなプラットフォーム動作パラメータに関係することができる。

別の実施形態では、本システムのカメラおよび光学部品（例えば、センサ・ポッド１１０）は、等級Ａ（重要任務）または等級Ｂ（非重要任務）のいずれかを満たすように設計することができる。加えて、必要な冷却手段を決定するために、熱分析を用いることもできる。海洋用途に応用する場合、受動冷却方法を用いて熱をマストに導き、最終的に海水に導くことができる。能動冷却方法は、用途によっては、これの方が望ましくない場合もある。センサ・ポッド１１０は、カメラおよび／または光学構成要素を含むように記載したが、電子撮像デバイスおよび撮像デバイス一般を含む電子的撮像デバイスも等しく用いてもよいことは、等しく認められてしかるべきである。

引き続き図１を参照すると、ＦＰＧＡ（群）１６０₁〜１６０_nを別の回路カード上に一体化してもよい。一実施形態では、ＦＰＧＡ（群）１６０₁〜１６０_nは、Xilinx Vertex４または５と関係付けることができ、Nallatech, Inc.（ナラテック社）製造の回路カード上に一体化することができる。また、ビデオ・インターフェース回路またはボード１５０は、多数のディジタル・ビデオ・インターフェース選択肢を受け入れるように構成することもでき、ディジタル・ビデオ・インターフェースの選択肢には、ＳＤＩ、ＧｉｇＥ、カメラ・リンク、およびディジタル・ビデオ一般が含まれるが必ずしもこれらには限定されないことは認めることができよう。一実施形態では、カスタム・インターフェース・ボード１４０を用いて、高速、高帯域ディジタル・ビデオ・データを直接ＦＰＧＡ（群）１６０₁〜１６０_nとインターフェースすることができるが、バス１８０（例えば、ＰＣＩ／ＰＣＩＸバス）には負担をかけない。そのようにすると、システム１００および関連する撮像方法のユーザは、船舶または場所の近接度を素早く評価することができる。ＦＰＧＡ（群）１６０₁〜１６０_nによるほぼリアル・タイムの撮像は、並列、および／またはパイプライン状、即ち、直列でセンサ・ポッド１１０が発生する画像信号を処理することによって得ることができる。本明細書において用いる場合、パイプライン状処理における処理は、少なくとも部分的に撮像データを受け取る順序に基づく撮像データの処理に関するとすればよい。時間が絶対不可欠であるとして３６０度画像を供給できれば有利であろう。更に、ＦＰＧＡ（群）１６０₁〜１６０_nによる並列処理は、パノラマ画像の動き補償および／または安定化を促進することもできる。移動を受けるセンサ・ポッド１１０を取り付ける場合、動き補償回路がビデオ信号を修正し、このような移動に対して調整することができる。

図１には示さないが、本システムは、更に、複数のカメラの少なくとも１つの視野における物体の移動を検出するために、自動化した検出アルゴリズムを備えるとよいことは認められてしかるべきである。一実施形態では、オペレータ制御デバイスを用いて、継ぎ目のないパノラマ画像における対称区域を特定し、画像プロセッサを制御して、追加の画像信号情報を供給し、対称区域の拡大図を表示することができる。オペレータ・インターフェース１４５は、表示する情報の制御のために、１又は２以上の信号を出力するように構成することができる。一実施形態では、オペレータ・インターフェース１４５は、マウスのような入力デバイスを含むことができる。また、システム１００は、基準画像フレームを後続フレームと比較することによって、移動を検出することもできる。後続画像に現れる変化を用いて、可能な動きを示すことができる。

これより図２を参照すると、本発明の１又は２以上の実施形態による撮像システムの簡略ブロック図が示されている。図２に示すように、１又は２以上のセンサ・ポッド２０５₁〜２０５_n（例えば、センサ・ポッド１１０）は、データ通信ネットワーク２１５を通じて１又は２以上のプロセッサ２２５ａ〜２２５ｂと通信するように構成することができる。一実施形態によれば、センサ・ポッド２０５₁〜２０５_nの各々は、遠隔地から１つのワークステーションによって制御するように構成することもできる。各ワークステーションは、グラフィカル・ユーザ・インターフェース（ＧＵＩ）２２０ａおよび処理ロジック２２５ａ（例えば、画像プロセッサ１５０）を含むことができる。そのようにすると、センサ・ポッド２０５₁〜２０５_nが検知した撮像データおよび／または非撮像データを、遠隔地で処理し、ユーザに提示することができる。別の実施形態によれば、各センサ・ポッド２０５₁〜２０５_nは、撮像データをデータ通信ネットワーク２１５を通じて送信する前に、撮像データを処理する処理ロジック２１０₁〜２１０_nを含むことができる。データ２１５通信ネットワークは、有線またはワイヤレス通信ネットワークの１つとすることができる。

これより図３を参照すると、本発明の別の実施形態によるセンサ筐体（例えば、センサ・ポッド１１０）の平面図が示されている。即ち、センサ・ポッド３００は、エンクロージャ材料３０５、複数の撮像デバイス３１０₁〜３１０_n、およびマウント／支持部３１５を含むように示されている。一実施形態では、撮像デバイス３１０₁〜３１０_nは、少なくとも５００キロ画素のほぼリアル・タイムのビデオ・カメラ画像信号を発生することができる複数の高分解能ビデオ・カメラで構成することができるが、多数のその他の形式の撮像デバイスも、本発明の原理にしたがって等しく用いられることは、等しく認められてしかるべきである。例えば、撮像デバイスは、赤外線（ＩＲ）、短波赤外線（ＳＷＩＲ）、電子倍増電荷結合ディスプレイ（ＥＭＣＣＤ）等の内少なくとも１つに関するとすればよい。

ある種の実施形態では、カメラ・エンクロージャ材料３０５は、ステンレス鋼製の円筒とするとよい。加えて、この円筒の壁厚は、深海潜水でも耐えるように、約１／２インチとするとよいが、他のしかるべき材料の厚さも、同様に用いることができる。更に、エンクロージャ材料３０５は、他の種類の材料から成るのでもよく、合金、他の金属、シームレス高強度材料一般等が含まれる。撮像デバイス３１０₁〜３１０_nに合わせた光学開口(optical aperture)をクオーツまたはサファイアで作ることができ、例えば、冗長性を持つＯ−リング・シールを用いて、エンクロージャ内に密閉することができる。図３に示すように、撮像デバイス３１０₁〜３１０_nの光路は、エンクロージャ材料３０５を通過することができ、外部環境から封止および保護することができる。しかしながら、撮像デバイス３１０₁〜３１０_nを支持部に移動自在に結合してもよいことも認めることができよう。

Westerly, Rode Islandに事務所があるSEACON（登録商標）Phoenix, Inc.が製造するコネクタのような、耐圧密閉コネクタを用いると、電力および信号はエンクロージャ（例えば、エンクロージャ材料３０５）を通過することができる。ある種の実施形態では、センサ・ポッド３００は、ねじ込み結合によって（潜水艦の潜望鏡のような）マストに取り付けることができる。マストまたは潜望鏡の外径は、ねじ切り部を含むことができ、センサ・エンクロージャの外径もそのようにすることができる。結合リングは、その内径にねじ切り部を有する。一実施形態では、マウント３１５は、撮像デバイス３１０₁〜３１０_nが共同で、センサ・ポッド３００周囲の３６０度視野全体を包含するビデオ・カメラ画像信号を発生することを可能にするように、撮像デバイス３１０₁〜３１０_nを所定の角度位置に位置付ける支持部としての役割を果たすことができる。

図３は、撮像デバイス３１０₁〜３１０_nにエンクロージャを設けることとして説明したが、撮像デバイスの各々を別個に取り付けてもよいことも認められてしかるべきである。例えば、一実施形態では、撮像デバイス３１０₁〜３１０_nは、車両の４つの四分体(quadrant)に、またはその周囲に取り付けることができる。そのようにすると、撮像デバイス３１０₁〜３１０_nの各々を別個のエンクロージャに収容することができる。同様に、潜水艦の用途に関して図３を説明したが、センサ・ポッド３００を水上戦艦(surface vessel)、戦車、およびあらゆる車両一般の１つに取り付けてもよいことは認められてしかるべきである。地上車両上で用いる場合、撮像デバイス３１０₁〜３１０_nを、弾道弾保護を含むことができる一体構造体として、車両の高い位置に取り付けることもできる。あるいは、水上戦艦上で用いる場合、撮像デバイス３１０₁〜３１０_nを、マストおよび／または展開可能な構造に固定した上部構造上の高い位置に取り付けることもできる。

一例として、本発明の１又は２以上の実施形態にしたがって、多様な動作環境に本発明をどのようにして適応させることができるか示すために、以下の２つの想定動作場面を提案する。
想定動作環境例

想定場面１（５マイル先にあるタンカの認識）

タンカの長さは、３００メートルある可能性がある。５マイルは８ｋｍであり、目標対辺は３７．５ｍラジアンである。認識には、目標寸法の端から端まで(across)少なくとも４サイクルまたは８画素が必要となる。したがって、画素ＩＦＯＶは４．７ｍＲａｄ未満でなければならない。１ｍＲａｄ ＩＦＯＶは、この要件を容易に満たす。

想定場面２（１マイル先にある漁船の認識）

漁船の長さは、１０メートルである。１マイルは１．６ｋｍであり、目標対辺は、６．２５ｍラジアンである。認識には、目標寸法の端から端まで少なくとも４サイクルまたは８画素が必要となる。したがって、画素ＩＦＯＶは、０．７８ｍＲａｄ未満でならなければならず、これはほぼ１ｍＲａｄである。したがって、１ｍＲａｄシステムであれば、この要件をほぼ満たすはずである。

１ｍＲａｄのＩＦＯＶでは、３６０度水平線の周囲に６２８２ｍＲａｄが得られる。４台のカメラに割り当てるとすると、カメラ毎（例えば、センサ２００の撮像デバイス２１０₁〜２１０_n）に約１５７０画素が必要となる。水平フォーマットに１６００画素を有するカメラが入手可能である。水平方向の重複が３から５度であると正しい画像の位置合わせができると仮定すると、次の値を用いることができる。
カメラの水平視野：９５度
水平画素数：最少１６００
ＩＦＯＶ：１．０３６ｍＲａｄ
カメラの垂直視野：７１．２度

これより図４を参照すると、本発明の一実施形態にしたがって、画像プロセッサ（例えば、画像プロセッサ１５０）のＦＰＲＡ（群）（例えば、ＦＰＧＡ（群）１６０₁〜１６０_n）が実行する画像処理シーケンス４００のブロック図が示されている。図４に示すように、ＩＭＵセンサ４２０（例えば、ＩＭＵセンサ１１５）からの入力を用いて、４台のカメラからの画像データを最初に回転させて、２つの次元におけるセンサ（例えば、センサ・ポッド１１０）の傾きを補正するとよい。尚、本発明の原理にしたがって構成した耐圧センサ（例えば、センサ・ポッド１１０および／またはセンサ・ポッド２００）に、４台のカメラを一体化してもよいことは認められてしかるべきである。別の実施形態によれば、カメラ４１０ａ〜４１０ｄによって供給される撮像データは、ブロック４１５ａ〜４１５ｃにおいて補正することもできる。これについては以下で図５に関して更に詳細に説明する。

一旦傾きに対して調整したならば、ブロック４３０ａ〜４３０ｂにおいて、４台のカメラの既知の相対位置を用いて、受信データを変換することができる。次に、ブロック４４０において、本質的に連続なパノラマを作成するように、画像データを混合することができる。混合の後、ビンナー(binner)４５０において、画素を組み合わせるとよい。何故なら、多くのディスプレイは、最大の解像度を表示するのに十分な解像度を有していない場合もあるからである。ブロック４２０において受信したユーザ入力は、受信画像データの拡大および／または操作を含む、所望の絵図 (view)を示すことができる。その後、ブロック４６０において画像のトリミングを行って、選択した垂直サイズとした後に、データを表示できるように、画像データを２又は３以上の区間に分割する。

引き続き図４を参照すると、多くのディスプレイは、本発明の撮像システム（例えば、システム１００）が撮像する画素よりも、画素が少ない。したがって、前述のようにパノラマ全体を表示するときに、画素を組み合わせる（間引く(bin)）必要がある場合もある。しかしながら、パノラマ画像において特定の対象区域／項目を検出する場合、ある種の実施形態では、図３の画像処理を用いて、ブロック４８０においてズーム機構を用いて対象区域／項目を拡大することができる。ズーム機構は、一実施形態にしたがって最大画素解像度で（即ち、間引くことなく各画素を表示することができる）対象区域および／または項目周囲のその画像部分を別個のウィンドウにおいて表示することができる。

他の実施形態では、ＦＰＧＡ（群）（例えば、ＦＰＧＡ（群）１６０₁〜１６０_n）は、自動目標現出を遂行するために、画像データの処理を実行することができる。一般的な用語では、検出アルゴリズムは、局在的コントラスト、動き等のような、ある種の画像特徴が検出された領域を探し求める。このために、目標認識を同様に実行することができ、これによって、認識した画像の固有性に基づいて、物体を自動的に特徴付ける。一実施形態によれば、目標認識は、センサ（例えば、センサ・ポッド１１０）によって検出した物体に基づくことができる。代わりに、ユーザ入力を通じて目標を特定してもよく、またはこれを組み合わせてもよい。更に、ユーザは、ズーム機構４８０が発生する表示ウィンドウの拡大または操作のために地理的座標を規定することもできる。

更に、本明細書において開示する種々の特徴、特性、および実施形態の全ては、赤外線帯域におけるパノラマ撮像にも等しく適用可能な場合もあることも認められてしかるべきである。しかしながら、赤外線カメラは、通例、市販の可視光スペクトルのカメラよりも画素数が少ないので、このような場合全体的なシステム分解能が低くなる可能性がある。

最後に、目標追跡アルゴリズムをＦＰＧＡ（群）（例えば、ＦＰＧＡ（群）１６０₁〜１６０_n）にプログラミングすることができることも認められてしかるべきである。目標追跡アルゴリズムの例には、質量中心(centroid)、相関、エッジ(edge)等を含むことができる。そのようにすると、追跡項目を３６０度パノラマ・ディスプレイ上で表すことができる。

これより図５を参照すると、図４の画像補正（例えば、画像補正ブロック４１５ａ〜４１５ｄ）の間に実行することができる画像処理シーケンス５００のブロック図が示されている。ブロック５１０において、撮像デバイス（例えば、撮像デバイス３１０₁〜３１０_n）から受信した撮像データ５０５を補正して、画素を位置合わせし直すようにすることができる。ブロック５１５において、バイエル補間プロセスを画像データに対して実行して、撮像データのＲＧＢカラーをフィルタ処理することができる。ブロック５２０において、ＲＧＢカラー・データをＹＵＶカラー・データに変換して、撮像データをルーマ成分およびクロミナンス成分に関して規定することができる。次に、ブロック５２５において、撮像データを自動的に等価することができる。ブロック５３０において、撮像データをＹＵＶからＲＧＢカラー・データに変換することができる。別の実施形態によれば、プロセス５００は、ブロック５３５において、撮像データの補正のためのバレル歪み補正を含むこともできる。補正した撮像データ５４０は、変換および／または混合のために供給することができる。プロセス５００は、画像データを補正するための具体的なステップを実行するように説明したが、プロセス５００によって追加の行為および／または異なる行為も実行してもよいことは認められてしかるべきである。

以上、ある種の実施形態例について説明し添付図面に示したが、このような実施形態は、広範な発明の限定ではなく単なる例示に過ぎないこと、そして種々の他の変更が当業者に想起され得るので、本発明は図示し説明した具体的な構造や構成に限定されないことは言うまでもない。本明細書において引用した商標および著作権は、それらそれぞれの所有者の資産である。

Claims (25)

1. 低レイテンシ、高分解能、連続運動フル３６０度パノラマ・ビデオ撮像・表示システムであって、
   複数の高分解能ビデオ・カメラであって、各々、それぞれのビデオ・カメラの視野における画像を表す、少なくとも５００キロ画素のビデオ・カメラ画像信号を個々の画素のディジタルストリームとして発生する、ビデオ・カメラと、
   前記複数のビデオ・カメラを位置付ける支持部であって、前記複数のビデオ・カメラが、当該複数のビデオ・カメラ周囲の３６０度視野全体を包含するディジタル画素ストリームのビデオ・カメラ画像信号を一斉に発生することを可能にするために、当該支持部を中心として所定の角度位置に位置付ける、支持部と、
   前記複数のビデオ・カメラと画像プロセッサとの間にあり、前記複数のビデオ・カメラから前記画像プロセッサに前記ディジタル画素ストリームのビデオ・カメラ画像信号を伝達する、通信リンクと、
   前記複数のビデオ・カメラのそれぞれから前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信し、前記複数のビデオ・カメラのそれぞれからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号と並列処理し、結合されたビデオ信号を発生する、画像プロセッサであって、
   前記ディジタル画素ストリームのビデオ・カメラ画像信号の画像修正であって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つ画像修正のために画素の完全なフレームを受信する前に画素修正が実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号の画像修正と、
   前記ディジタル画素ストリームのビデオ・カメラ画像信号のシリンドリカル・ラッピングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つシリンドリカル・ラッピングのために画素の完全なフレームを受信する前に画素のシリンドリカル・ラッピングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のシリンドリカル・ラッピングと、
   前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・ブレンディングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つイメージ・ブレンディングのために画素の完全なフレームを受信する前に画素のブレンディングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・ブレンディングと、
   前記ディジタル画素ストリームのビデオ・カメラ画像信号のピクセル・ビニングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つピクセル・ビニングのために画素の完全なフレームを受信する前に画素のビニングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のピクセル・ビニングと、
   前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・トリミングであって、それにより、前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信するときで且つイメージ・トリミングのために画素の完全なフレームを受信する前に画素のトリミングが実施且つ完了される、前記ディジタル画素ストリームのビデオ・カメラ画像信号のイメージ・トリミングと、
   を実施するよう構成される、画像プロセッサと、
   前記結合されたビデオ信号をディスプレイ装置に伝達するために、前記画像プロセッサと前記ディスプレイ装置との間にある通信リンクと、
   前記結合されたビデオ信号を、前記複数のビデオ・カメラの周囲の視野において、完全な、像の歪みが修正された、シームレスな、結合された３６０度パノラマ画像として表示する前記ディスプレイ装置であって、結合された３６０度パノラマ画像のそれぞれは、画像の発生から１００ミリ秒を越えない範囲内にある前記ディジタル画素ストリームのビデオ・カメラ画像信号に基づいて表示され、前記ビデオ・カメラ画像のそれぞれは、全体として、時間的に同じ瞬間を反映する前記結合された３６０度パノラマ画像を構成する、ディスプレイ装置と、
   を備えている、ビデオ撮像・表示システム。
2. 請求項１記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記ディジタル画素ストリームのビデオ・カメラ画像信号の並列処理のために、フィールド・プログラマブル・ゲート・アレイを含む、ビデオ撮像・表示システム。
3. 請求項１記載のビデオ撮像・表示システムであって、更に、前記複数のビデオ・カメラの視野における非視覚データを収集するために非視覚スペクトルにおいて動作可能な少なくとも１つのセンサと、前記非視覚データを前記少なくとも１つのセンサから前記画像プロセッサに伝達する通信リンクとを備えており、前記画像プロセッサは、前記非視覚データを、当該非視覚データと同時に収集した前記ディジタル画素ストリームのビデオ・カメラ画像信号から発生したパノラマ画像と関連付ける、ビデオ撮像・表示システム。
4. 請求項３記載のビデオ撮像・表示システムにおいて、前記少なくとも１つのセンサは、赤外線センサである、ビデオ撮像・表示システム。
5. 請求項３記載のビデオ撮像・表示システムであって、更に、汎地球測地データを前記画像プロセッサに供給する汎地球測地センサを備えており、前記画像プロセッサは、前記汎地球測地データを、前記非視覚データと同時に収集したディジタル画素ストリームのビデオ・カメラ画像信号から発生したパノラマ画像と関連付ける、ビデオ撮像・表示システム。
6. 請求項１記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記パノラマ画像の安定化のために、動き補償アルゴリズムを実行するように構成された動き補償回路を含む、ビデオ撮像・表示システム。
7. 請求項６記載のビデオ撮像・表示システムにおいて、前記支持部は、移動を受けるプラットフォーム上に載置されており、前記動き補償アルゴリズムは、このような移動に対して調整するために、前記ビデオ信号を修正する、ビデオ撮像・表示システム。
8. 請求項７記載のビデオ撮像・表示システムにおいて、前記動き補償回路は、更に、安定化回路を備えている、ビデオ撮像・表示システム。
9. 請求項７記載のビデオ撮像・表示システムであって、更に、前記支持部上に動きセンサを備えており、前記センサは、前記支持部の相対的移動を表す信号を表す信号を発生し、更に、前記センサと前記動き補償回路との間に通信リンクを備えている、ビデオ撮像・表示システム。
10. 請求項７記載のビデオ撮像・表示システムにおいて、前記動き補償アルゴリズムは、前記複数のビデオ・カメラの１つの視野における、所定の物体を利用して、前記複数のビデオ・カメラの内の前記１つからのディジタル画素ストリームのビデオ・カメラ画像信号に対して、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を調整する、ビデオ撮像・表示システム。
11. 請求項１記載のビデオ撮像・表示システムであって、更に、前記複数のビデオ・カメラの少なくとも１つの視野における物体の移動を検出するために検出回路を備えている、ビデオ撮像・表示システム。
12. 請求項１記載のビデオ撮像・表示システムであって、更に、前記パノラマ画像における対象区域を特定し、当該対象区域の拡大図を表示するために追加の画像信号情報を提供するように前記画像プロセッサを制御するオペレータ制御デバイスを備えている、ビデオ撮像・表示システム。
13. 請求項１記載のビデオ撮像・表示システムにおいて、前記画像プロセッサは、前記複数のビデオ・カメラに近接して位置付けられている、ビデオ撮像・表示システム。
14. 請求項１３記載のビデオ撮像・表示システムであって、更に、複数のビデオ撮像・表示システムの画像プロセッサとの通信のため、および前記ビデオ撮像システムから離れた場所から前記複数のビデオ撮像システムの動作を制御するためのシステム・センタを備えている、ビデオ撮像・表示システム。
15. 請求項１記載の撮像・表示システムにおいて、前記画像プロセッサが発生するパノラマ画像を表す前記結合されたビデオ信号は、継ぎ目のないパノラマ画像に関する、撮像・表示システム。
16. 請求項１記載の撮像・表示システムにおいて、３６０度の視野を与えるよう前記複数の高分解能ビデオ・カメラを配置するとともに前記カメラを環境から保護するように構成した筐体内に、前記高分解能ビデオ・カメラを取り付けた、撮像・表示システム。
17. 請求項１記載の撮像・表示システムにおいて、前記複数の高分解能ビデオ・カメラを、可動である前記プラットフォームの四分体に取り付けた、撮像・表示システム。
18. 請求項１記載の撮像・表示システムにおいて、前記複数の高分解能ビデオ・カメラを環境から保護するために、ビデオ・カメラ毎に１つの筐体として、別個の筐体内において前記支持部周囲の離間位置に前記ビデオ・カメラを別個に取り付けた、撮像・表示システム。
19. 請求項１２記載の撮像・表示システムにおいて、１つ又は複数の関心領域が、表示のためにビデオ画像処理システムによって、別々に独立して処理される、撮像・表示システム。
20. 請求項１９記載の撮像・表示システムにおいて、前記関心領域が、操作者の方向に関連付けられたプラットフォームの移動方向に関連する、撮像・表示システム。
21. 請求項１９記載の撮像・表示システムにおいて、前記ビデオ画像処理システムの１つ又は複数のセンサが、前記１つ又は複数の関心領域に関連付けられたデータを収集する、撮像・表示システム。
22. 請求項１９記載の撮像・表示システムにおいて、前記関心領域に関連付けられたプラットフォーム座標が自動的に送信され、前記ビデオ画像処理システムの外部のサブシステムを指揮・管理する、撮像・表示システム。
23. プラットフォーム上に載置される、低レイテンシ、高分解能、連続運動フル３６０度パノラマ・ビデオ撮像・表示システムであって、
    複数の高分解能ビデオ・カメラであって、各々、それぞれのビデオ・カメラの視野における画像を表す、少なくとも５００キロ画素のビデオ・カメラ画像信号を個々の画素のディジタルストリームとして発生する、ビデオ・カメラと、
    前記複数のビデオ・カメラを位置付けるように前記プラットフォーム上に載置されるよう構成された支持部であって、前記複数のビデオ・カメラが、前記プラットフォーム周囲の３６０度視野全体を包含するディジタル画素ストリームのビデオ・カメラ画像信号を一斉に発生することを可能にするために、当該支持部を中心として所定の角度位置に位置付ける、支持部と、
    前記複数のビデオ・カメラと画像プロセッサとの間にあり、前記複数のビデオ・カメラから前記画像プロセッサに前記ディジタル画素ストリームのビデオ・カメラ画像信号を伝達する、通信リンクと、
    前記複数のビデオ・カメラのそれぞれから前記ディジタル画素ストリームのビデオ・カメラ画像信号を受信し、前記複数のビデオ・カメラのそれぞれからの前記ディジタル画素ストリームのビデオ・カメラ画像信号を、前記複数のビデオ・カメラのその他のものからの前記ディジタル画素ストリームのビデオ・カメラ画像信号と並列処理し、結合されたビデオ信号を発生するように構成された画像プロセッサであって、画像処理が、前記複数のビデオ・カメラの少なくとも一つが動く場合であっても前記結合したビデオ信号から表示される画像は静止したままであるような動的動き補償を含む、画像プロセッサと、
    前記結合されたビデオ信号をディスプレイ装置に伝達するために、前記画像プロセッサと前記ディスプレイ装置との間にある通信リンクと、
    前記結合されたビデオ信号を、前記複数のビデオ・カメラの周りの視野において、完全な、像の歪みが修正された、シームレスな、結合された３６０度パノラマ画像として表示する前記ディスプレイ装置であって、結合された３６０度パノラマ画像のそれぞれは、画像の発生から１００ミリ秒を越えない範囲内にある前記ディジタル画素ストリームのビデオ・カメラ画像信号に基づいて表示され、前記ビデオ・カメラ画像のそれぞれは、全体として、時間的に同じ瞬間を反映する前記プラットフォーム周囲の視野の前記結合された３６０度パノラマ画像を構成する、ディスプレイ装置と、
    を備えている、ビデオ撮像・表示システム。
24. 請求項２３記載の撮像・表示システムにおいて、前記プラットフォームは乗物である、撮像・表示システム。
25. 請求項２４記載の撮像・表示システムにおいて、前記乗物は、陸上乗物、海上乗物、航空乗物から成る組から選択される、撮像・表示システム。

Images