JP6564895B2 - 超低レイテンシー映像通信 - Google Patents

Description

本発明は、データ通信の分野に関する。より具体的には、本発明は超低レイテンシー（非常に低いレイテンシー）映像通信のための方法及びシステムに関する。

映像データは、カラー映像を想定しているか、もしくはグレイスケール映像を想定しているかに応じて、カラーデータもしくは輝度データの３次元アレイと考えられる。この３次元アレイのうちの２つの次元、すなわち水平次元及び垂直次元は、空間データ、もしくは映像画像のいわゆる画素を表す一方で、第３の次元は、連続画像の時間領域を表す。以下、各映像画像をフレームと言う。画像センサにより生成される画素データのフレームは、典型的には、データをシリアル化して１つの通信線もしくは限られた一組の通信線を介してそれを送信することにより、処理もしくは可視化装置に転送される。従って、単一のフレームの２次元空間データは、時間的に連続する一連のデータとして単一の通信線を介して転送される。この通信線は、元の画素データを表すアナログデータもしくはデジタル符号語を伝送することができる。複数の通信線を使用することにより、より多くのデータを並列に転送することができる（例えば、いくつかのシステムは、赤データ、緑データ、青データ及び同期化データを並列に転送する）。以上の記述は、典型的には、カメラシステムが単一のケーブルを介してその連続フレームデータをディスプレイにどのように伝送するかを説明する。デジタルディスプレイは、単一フレームのすべての連続データをバッファ内に収集し、一旦フレームが完成されると、可視化のためにそれを表示マトリックスに対して提示するであろう。以下、これを「ダイレクトビデオリンク」と言う。

映像もしくは画像圧縮とは、空間領域で帯域幅を削減すること（画像圧縮）、又は空間領域及び時間領域内で同時に帯域幅を削減すること（映像圧縮）のいずれかのことを言う。圧縮の主要な目的は、データ量（帯域幅）を削減することにある。後者は、まったく情報を損失することなしに両方を実行することができる（可逆圧縮）。従って、元のフレームデータは、圧縮されたフレームデータに基づいて完全に同一となるように再構成され、ビット単位ごとにオリジナルに対して完全に一致する。代替として、圧縮は、人間の観察者がオリジナルと圧縮されたフレームデータとの間の差を知覚することができないように実行されてもよい（視覚的可逆圧縮）。従って、オリジナルフレームは完全に同一となるように再構成されないが、人間の観察者には、典型的には、オリジナルフレームと再構成されたフレームとの間の差は分からないであろう。最後に、強く改善された圧縮効率を受け入れるために、圧縮は、「損失を伴って」かつ視覚情報量を削減することができる。映像圧縮は、画素データが典型的には時間的及び空間的に強い冗長性を有するという事実を利用する。圧縮は、画素と１つもしくはそれ以上の基準との間の差を空間的に記憶することにより実現され（イントラフレーム：例えばＪＰＥＧ圧縮方式などにおいて使用される）、時間領域における連続フレーム間の差を格納することにより実現される（インターフレーム：例えばＭＰＥＧ圧縮方式などにおいて使用される）。さらに、人間の目が強度及び／もしくは色における微妙な変化に対してあまり敏感でないと仮定すれば、圧縮後に保持される異なる変化量を削減することにより、さらなる圧縮が達成される。これらの技術の組み合わせは、例えばＭＰＥＧ１、ＭＰＥＧ２及びＭＰＥＧ４ファミリー及びそれらの関連規格などにおいて使用される、現今の新しい圧縮方式の背後にある基礎を形成する。
通信プロトコルは、情報の交換のためのコンピューティングシステムもしくは電気通信システムの間の規約である。インターネット／イントラネット上で使用される通信プロトコルは、複雑かつ制御されない設定において機能するように設計される。ここで、設計は、典型的には、より大きなかつより複雑なプロトコルを、個別の、より管理しやすいサブプロトコルに分離するレイヤリング方式（スキーム）をその基礎として使用する。インターネットプロトコル群は、以下の層、すなわち、アプリケーション機能と、トランスポート機能と、インターネット機能と、ネットワークインターフェース機能との層から構成される。これによって、インターネットは全世界相互接続（ユニバーサルインターコネクション）を提供し、このことは、インターネットに接続される任意のペアのコンピュータが互いに通信可能となることを意味する。相互接続された物理的なネットワークのすべては、ユーザには単一の大きなネットワークとして見られる。それ故に、この相互接続方式は、インターネットと呼ばれる。

通信プロトコルは、シグナリング、認証、暗号化、並びに誤り検出及び訂正能力を含んでもよい。

映像通信は、最小限の圧縮を行った、もしくは非圧縮の生の映像データ（ロービデオデータ）を伝送する電気的なもしくは光学的な「ダイレクトケーブル」を介して、かつ典型的にはより高レベルではない通信プロトコルを用いて行われる。古典的なケーブルベースのシステムは、典型的には、高速の低レイテンシー通信を生じさせるが、広い帯域幅を消費し、かつ普通は、インターネットやイントラネットのような複雑な通信ネットワークを介してトンネリングされない。さらに、従来の映像ケーブリングには、典型的には、制限された最大ケーブル長が課され、もしくは、従来の映像ケーブリングは、例えばＵＴＰエクステンダー、光ファイバエクステンダー、及び衛星接続などの高価な技術及び／もしくは信号に特有の技術を用いて延長されなければならない。そして、さらに、これらの技術は、柔軟性が比較的制限されているときに、同一の「信号線」上に複数のチャネルを設定すること及び／又は複数の受信機で同一のチャネルを受信することのために高いコストを発生させる。

（例えばテレプレゼンスなどに使用される）インターネットに接続できる映像通信システムは、典型的には、高圧縮率の圧縮を提供し、インターネット／イントラネットを介してシームレスに動作するが、常に、１つもしくはそれ以上のフレームの遅延を導入する。言い換えると、複雑な通信プロトコル及び圧縮は遅延をもたらす。

現在の映像通信システムが進歩した段階にあるにもかかわらず、低レイテンシー及び高圧縮率を組み合わせた、インターネット／イントラネットに接続できる映像通信のためのシステムであって、高い視覚的な品質を提供しうるシステムへのニーズが依然として存在する。インターネット／イントラネット（又は同様の複雑性を有する通信チャネル）を使用して、送信装置に供給される映像における２つの連続したフレーム間の時間の１／２未満の遅延のみで、映像データを送信して受信することができる方法もしくは装置が欠如している。言い換えると、任意の従来のシステムの「ダイレクトビデオリンク」（ｃｆｒ．ｓｕｐ．）と比較すると、残余遅延は、典型的には、フレーム間の時間間隔の少なくとも１／２となるように思われる。

本発明の目的は、低レイテンシーもしくは超低レイテンシーの映像通信のためにすぐれたシステム及び方法を提供することにある。

低レイテンシーもしくは超低レイテンシーの映像通信のための方法及びシステムが提供されることが本発明に係る実施態様の利点である。当該システムは、映像データの取得、圧縮及び伝送を組み合わせる送信装置を備える。また、当該システムは、送信装置と組み合わされる受信装置であって、圧縮されたデータパケットを収集しておそらくは並べ替え、それらを伸長し、再構成された映像データをレンダリングする受信装置により補完される。

これらは古典的なケーブルと同様の通信速度を生じさせるが、典型的には３倍から１５倍だけ狭い帯域幅の消費で、最大でも５ミリ秒の遅延を示すことが本発明に係る実施態様の利点である。

インターネットもしくはイントラネットを介して容易に伝送され、例えば、暗号化／復号化などを組み込むこともできる通信をインターネットプロトコル（ＩＰ）などのより高いレベルのプロトコルを用いて実施可能となることが本発明に係る実施態様の利点である。インターネットもしくはイントラネットデータ伝送に使用される既存の映像通信システムに比較すると、本発明の実施態様は典型的には、遅延の観点では、５倍から５０倍だけより高速となる。

「ダイレクトビデオリンク」を使用することの必要性なしに、低遅延と比較的狭い帯域幅とを組み合わせるデバイスが得られることが本発明に係る実施態様の利点である。実施態様は、私たちが低遅延かつより狭い帯域幅を必要とし、１つもしくはそれ以上の「ダイレクトビデオリンク」を提供することができない状況における解決法を提供する。このことは、典型的には、例えば医療用内視鏡検査などにおけるように、人間の観察者が彼もしくは彼女が見るものに対して即座に行動しなければならない状況において起こる可能性がある。同様の状況が任意の高速な帰還映像ベースの制御ループにおいて見られる。

フレーム間の時間間隔の１／２より小さい遅延で、映像取得と低レイテンシー圧縮と高レベル通信プロトコルを使用する可能性とを組み合わせることにより解決法を提供することが本発明に係る実施態様の利点である。

上述した目的は、本発明に係る方法及びデバイスにより達成される。

本発明は、データネットワークを介して映像データを送信もしくは受信するための少なくとも１つの映像データ伝送装置を備える映像データ通信システムに関する。伝送装置は、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路と、映像データの少なくとも一部を処理するための映像処理装置と、データの少なくとも一部を送信もしくは受信するための通信装置とを備える。ここで、画像取得回路もしくは画像再構成回路と、映像処理装置と、通信装置とのうちの少なくとも２つは、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理するように設けられる、例えば構成される。低レイテンシー及び狭帯域幅使用を組み合わせる映像通信システムを得られることが本発明に係る実施態様の利点である。

画像取得回路もしくは画像再構成回路と、映像処理装置と、通信装置とのすべてが、映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように設けられてもよい。画像の取得もしくは統合化、画像のエンコードもしくはデコード、及び画像の送信もしくは受信において同時に処理することにより速度での利得が得られることが本発明に係る実施態様の利点である。

画像取得回路は、画像フレームもしくは画像フィールドを、その一部を含む画像ブロック、すなわち、画像フレームもしくはフィールドの１つもしくはそれ以上の行の画素を含む画像ブロックに分割するための画像分割器を備えてもよい。もしくは画像再構成回路は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロック、すなわち、画像フレームもしくは画像フィールドの全体における画像フレームもしくはフィールドの１つもしくはそれ以上の行の画素を含む画像ブロックを統合（マージ）するための画像統合器を備える。画像ブロックは画像スライスであってもよい。

映像通信システムは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックの画像ブロックヘッダを生成するための画像ブロックヘッダ生成手段を備えてもよい。

映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックをエンコードもしくはデコードするように構成されたエンコーダもしくはデコーダを備えてもよい。

通信装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを示すデータを送信もしくは受信するように構成されてもよい。

少なくとも１つの映像データ伝送装置は、映像送信機であってもよいし、もしくは映像受信機であってもよい。有利な処理が送信機側のみならず受信機側でも実施されることが本発明に係る実施態様の利点である。

映像通信システムは、映像送信機と、映像受信機との両方を備えてもよい。映像送信機は、例えば映像データの同一フレームもしくは同一フィールドの異なる部分を同時に処理するように設けられる、例えば構成される画像取得回路、映像処理装置及び通信装置を備える。映像受信機は、映像データの同一フレームもしくは同一フィールドの部分をそれぞれ同時に処理するように構成される、通信装置、映像処理装置及び画像再構成回路を備える。またさらに、当該システムは、映像送信機及び映像受信機が映像データの同一フレームもしくは同一フィールドの部分を同時に処理するように構成される。有利な処理が送信機側及び受信機側において同時に実行されることが本発明に係る実施態様の利点であり、結果として、例えばダイレクトケーブルビデオに比較して知覚できる遅延を有しない、超高速の映像通信システムをもたらす。

再構成回路は、画像ブロックの画像ブロックヘッダを考慮してフレームもしくはフィールドを再構成するために構成されてもよい。

映像通信システムは、ソフトウェアで実装されたコントローラであってもよい。

映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを圧縮もしくは伸長するように構成される圧縮もしくは伸長装置を備えてもよい。

映像処理装置は、画像フレームもしくは画像フィールドの一部だけを含む画像ブロックを暗号化もしくは復号化するように構成される暗号化もしくは復号化装置を備えてもよい。

また、本発明は、映像データの画像フレームもしくは画像フィールドを含む映像データを転送するための方法に関する。当該方法は、画像フレームもしくは画像フィールドを取得もしくは再構成するステップと、映像データの少なくとも一部を処理するステップと、データの少なくとも一部を送信もしくは受信するステップとを含む。上記取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのうちの少なくとも２つのステップは、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されてもよい。

上述した取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップのすべてが、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、同一の画像フィールドの異なる部分を同時に処理することにより同時に実行されてもよい。

当該方法は、同一の画像フレームもしくは同一の画像フィールドの部分である少なくとも第１の画像ブロックと第２の画像ブロックとを取得するステップと、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する間に第１の画像ブロックを処理ステップと、その後に、第２の画像ブロックを処理する前もしくは第２の画像ブロックを処理する間にデータネットワークを介して第１の画像ブロックを送信するステップとを含んでもよい。

さらに、当該方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを受信すると、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックの画像ブロックヘッダを生成するステップを含んでもよい。

当該方法は、同一の画像フレームもしくは同一の画像フィールドの部分である少なくとも第１の画像ブロックと第２の画像ブロックとをデータネットワークを介して受信するステップと、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは第２の画像ブロックを受信する間に第１の画像ブロックを処理するステップと、その後に、これらの画像ブロックが処理された後に少なくとも第１の画像ブロックと第２の画像ブロックとを単一の画像フレームもしくは画像フィールドへと統合するステップとを含む。

少なくとも上述した統合するステップは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックの画像ブロックヘッダを考慮して実行されてもよい。

また、本発明は、処理装置上で実行するときに、上述した任意の方法に従って映像データを転送するためのコンピュータプログラム製品に関する。

また、本発明は、そのようなコンピュータプログラム製品を格納するデータキャリア媒体に関する。

またさらに、本発明は、上述した映像データを伝送するための方法を使用して取得された映像データに関する。

また、本発明は、内視鏡映像データの伝送において、上述した映像データ通信システムの使用に関する。

またさらに、本発明は、複数の映像データ入力を組み合わせるためでありかつ複数の映像データ出力を提供するかもしくは統合されたデータ出力を提供するための、上述した映像データ通信システムの使用に関する。

また、本発明は、映像データの視覚的な遅延なしのトランスポートを行うための、上述した映像データ通信システムの使用に関する。

本発明の特定のかつ好ましい態様が、添付の独立請求項及び従属請求項に記載される。従属請求項からの特徴は、特許請求の範囲に明示的に記載されていなくても、適宜、独立請求項の特徴と組み合わされてもよく、他の従属請求項の特徴と組み合わされてもよい。

本発明のこれらの態様及び他の態様が、以下に説明される１つもしくは複数の実施態様から、また、これらを参照することで明らかとなるであろう。

図面は、概略のみを示し、限定するものではない。図面において、複数の構成要素のうちのいくつかのサイズは、例示の目的で、誇張され、縮尺通りに描かれていない可能性がある。特許請求の範囲における任意の参照記号は、範囲を限定するとして解釈されるべきでない。

従来技術から知られた、送信側の映像通信装置と受信側の映像通信装置とを備える古典的な映像通信アーキテクチャのブロック図である。 図１において参照されたセットアップによって生じる遅延を説明するタイミング図である。 図１において参照された古典的な映像通信方式の提案されるＮ個の並列化を図示する。 図２に関して、図３に図示される方式を用いて取得される全体遅延の１／Ｎの縮小を説明するタイミング図である。 本発明の実施形態に係る映像通信システムのブロック図を例示する。

本発明が、特定の実施形態に関して、及びある図面を参照して説明されるであろうが、本発明はこれに限定されずただ特許請求の範囲だけによって限定される。提示する図面は概略のみを示し、限定するものではない。図面において、構成要素のうちのいくつかのサイズは、例示の目的で誇張され、縮尺通りに描かれていない可能性がある。寸法及び相対寸法は、発明を実施するために実際の縮図には対応しない。

またさらに、明細書及び特許請求の範囲における「第１」、「第２」などの用語は、同様の複数の構成要素間を区別するために使用され、必ずしも、時間的に、空間的に、序列により、もしくは任意の他の方法で決められた順序を記述するためには使用されない。そのように使用される複数の用語は、適切な状況下ではお互いに交換可能であること、また、ここで説明される本発明の実施形態は、ここで説明されるもしくは図示される他の複数の順序で動作可能であることが理解されるべきである。

さらに、明細書及び特許請求の範囲における「上」（ｔｏｐ）、「下」（ｕｎｄｅｒ）などの用語は、説明の目的で使用され、必ずしも相対的な位置を記述するために使用されるものではない。そのように用いられる用語は、適切な状況下では相互に交換可能であること、また、ここで説明される本発明の実施形態は、ここで説明されるもしくは図示されるもの以外の他の向きでも動作可能であることが理解されるべきである。

留意すべきことは、特許請求の範囲で使用された用語「備えている（含んでいる）」は、その後に記載された手段に制限されるように解釈されるべきでなく、すなわち、それは他の複数の構成要素もしくは複数のステップを除かない、ということである。従って、それは、記載された複数の特徴、複数の整数、言及された複数のステップもしくは複数の構成要素の存在を特定するように解釈されるべきであるが、それは、１つもしくはそれ以上の他の特徴、整数、ステップもしくは構成要素、またはそれらのグループの存在もしくは追加を除外しない。従って、「手段Ａ及び手段Ｂを備えるデバイス」という表現の範囲は、構成要素Ａ及び構成要素Ｂだけからなる複数のデバイスに限定されるべきでない。それは、本発明に関しては、デバイスの唯一の関連のある構成要素がＡ及びＢである、ということを意味する。

この明細書を通して「一実施形態」もしくは「ある実施形態」へ言及したとき、これは、実施形態に関連して説明される特定の特徴、構造もしくは特性が本発明の少なくとも１つの実施形態において含まれることを意味する。従って、この明細書を通して種々の場所での「一実施形態において」もしくは「ある実施形態において」の言葉の出現は、必ずしも同一の実施形態を示していないが、同一の実施形態を示してもよい。またさらに、特定の特徴、構造もしくは特性は、１つもしくはそれ以上の実施形態において、この開示から当業者には明らかとなるように、任意の適切な方法で組み合わされてもよい。

本発明の実施形態、説明もしくは特許請求の範囲において、画像フレームの一部もしくは画像フィールドの一部に言及する場合、これは、画像フレームの一部だけもしくは画像フィールドの一部だけを表してもよい。すなわち、画像フレームの全体もしくは画像フィールドの全体が関連しなくてもよい。

同様に、本発明の例示的な実施形態の説明において、本発明の種々の特徴はときどき、開示内容を明確化して、種々の発明の態様のうち１つもしくはそれ以上の理解を支援する目的で、単一の実施形態、図面もしくはその説明としてグループ化されることが認識されるべきである。しかしながら、このような開示方法は、特許請求の範囲に記載した発明が、各請求項において明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映していると解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、発明の態様は、上述の開示された単一の実施形態のすべての特徴よりも少ない部分にある。従って、発明の詳細な説明に続く特許請求の範囲は、各請求項がそのままでこの発明の別々の実施形態として存在して、それによってこの詳細な説明に明示的に組み込まれる。

またさらに、当業者により理解されるように、ここで説明されるいくつかの実施形態は、他の実施形態に含まれたいくつかの特徴を含むが他の実施形態に含まれた他の特徴を含み、一方で、異なる実施形態の特徴の組み合わせは、本発明の範囲内でありかつ異なる実施形態を形成することが意図される。例えば、以下の特許請求の範囲において、請求項に記載された任意の実施形態が、任意の組み合わせにおいて使用される。

ここで提供された説明において、多数の特定の詳細事項が説明される。しかしながら、本発明の実施形態がこれらの特定の詳細事項なしに実用化されてもよいことが理解される。他の例では、この説明の理解を曖昧にしないように、よく知られた方法、構造、及び技術が詳細に示された。

本発明に係る実施形態では、内視鏡検査に言及する場合、これは、内部空洞もしくは空洞構造を検査もしくは調査するために使用される技術を表す。今日、内視鏡検査は、医療用途で使用され、また、例えばいわゆるボアスコープにより航空機、ディーゼル及び自動車エンジンの視覚的な検査などのように、産業用途で使用される。医療分野では、内視鏡は、患者の体腔における臓器に対する内視鏡手術などの救命検査及び治療介入のために使用される。ボアスコープは、検査されるべき領域が他の手段によりアクセスできない場合に予防保全もしくは検査業務を可能とする。例えば、それらは、閉じられた構造物、例えば、航空機エンジン、及び、安全要求事項のために特定の注意を必要とする他の構造物などの内部における対象物に対する予防保全及び検査課題（タスク）のために使用可能である。本明細書の残りの部分において、新しい装置を例示するために医療分野だけを使用するであろう。しかしながら、その適用性は、産業上の作業領域へと制限なしに拡張される。

本発明に係る実施形態において、同一の画像もしくは映像フレームに言及する場合、これは、表示されるべき、典型的にはより大きな映像データの部分として表示されるべき単一の瞬間におけるシーンの内容全体を示す、単一の画像もしくはショットを表す。典型的には、多数の単一の画像フレームが連続的に表示され、シームレスな映像データに見えるものを生成する。

本発明に係る実施形態において、同一の画像もしくは映像フィールドに言及する場合、これは、表示されるべき単一の瞬間におけるシーンの内容全体の静止表現である画像フレームのうちの選択された一組の画像ライン、例えばすべての奇数ラインもしくは偶数ラインを表す。

本発明に係る実施形態において、画像ブロックに言及する場合、これは、典型的には、表示されるべき単一の瞬間におけるシーンの内容全体を表さない、画像フレームもしくは画像フィールドの一部を表す。そのような画像ブロックは、典型的には、表示されるシーンの部分だけを画像フレームもしくは画像フィールドによって覆う、一組の画素もしくは一組の画素ラインから構成されてもよい。すなわち、画像ブロックは、画像フレームもしくは画像フィールドによって表示されるシーン全体ではない。

本発明に係る実施形態において、画像フィールドという用語に言及する場合、これは、画像フレームの奇数もしくは偶数の画像ラインだけに対応する画像データを表す。

本発明に係る実施形態において、画像ブロックに言及する場合、これは、画像スライスを表してもよい。画像ブロックもしくは画像スライスは、画像フレームもしくは画像フィールドのすべてのラインではなく、１つもしくはそれ以上のラインを備えてもよい。典型的には、画像ブロックもしくは画像スライスは、画像フレームもしくは画像フィールドにより示されたシーン全体を表さない。いくつかの特定の実施形態では、画像ブロックもしくは画像スライスは、８個のライン、１６個のラインもしくはそれらの倍数個のラインを備えてもよい。

第１の態様によれば、本発明は、（超）低レイテンシー映像通信のための映像データ通信処理もしくは映像データ通信システムに関する。本発明の実施形態に係るシステムは、映像データを送信もしくは受信するための少なくとも１つの映像データ伝送装置を備える。当該伝送装置は、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路を備える。本発明の実施態様によれば、画像取得回路もしくは画像再構成回路と、映像処理装置と、通信装置との少なくとも２つは、映像データの同一の画像フレームもしくは同一の画像フィールドの異なる部分を同時に処理するように、すなわち取り扱うように設けられる。有利なこととして、画像を取得及び／又は再構成することと、処理することと、通信することとのすべては、同一の画像フレームもしくは同一の画像フィールドの異なる部分に対して同時に実行されてもよい。伝送装置は、送信装置、受信装置、もしくは送信装置及び受信装置の組み合わせであってもよい。送信装置は、映像データの取得と、例えば圧縮などの処理と、伝送とを組み合わせてもよく、並びに／又は、受信装置は、圧縮されたデータパケットを収集しておそらくは並べ替えることと、データパケットに対して例えば伸長などの処理を行うことと、再構成された映像データをレンダリングすることとを組み合わせる。本発明のシステムは、２つの連続的なフレーム間における時間の１／２未満の遅延で、かつ、５ミリ秒未満の典型的な遅延で、この通信を実行するための解決法を提供することができる。２つの連続的なフレーム間での遅延は、フレーム時間の１／２未満であってもよい。フラットパネル表示マトリックスのリフレッシュクロック、すなわち受信フレームバッファデバイスの読み出しフレームレートクロックは、典型的には、画像を生成する基本的なカメラシステムのフレームレートクロックに同期しない。従って、本発明において導入される遅延は、典型的には、フラットパネルの場合における次のリフレッシュまでの時間、もしくはフレームバッファの場合における次の読み出しまでの時間よりも小さい。従って、「ダイレクトビデオリンク」に比較すると、典型的には、本発明での遅延は知覚されない。これは、インターネット／イントラネットのような通信媒体にわたって（圧縮された）映像トランスポートを用いる応用のための新しい可能性を開く。

画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路は、画像フィールド全体ではない画像フレームの一部だけである画像ブロックを取得するように、又は、画像フィールドの一部だけである画像ブロックを取得するように構成されてもよい。画像取得回路は、画像ブロックヘッダを提供するように構成されてもよい。そのような画像ブロックヘッダは、例えば当該ヘッダが生じる画像フレームの識別などのためのメタデータを備えてもよいが、それはまた、処理するために未来のフレームが考慮されないかもしれないことを処理装置に対して識別するメタデータを備えてもよい。

映像処理装置は、画像ブロック、すなわち取得された画像フレームもしくは画像フィールドの一部を処理するためのプロセッサを備えてもよい。使用されてもよいプロセッサは、例えば、従来の画像処理において使用される従来のプロセッサとすることができる。本実施形態では、従って、画像ブロックは、従来の画像同様に処理されてもよいが、画像ブロックは典型的には画像フレームもしくは画像フィールドの１つ以上のラインであってすべてのラインよりも少ない個数のラインを含んでもよいので、画像ブロックのサイズは、典型的には、高さに対する幅の比が大きい。使用されてもよい画像もしくは映像プロセッサの例は、本発明の実施形態はこれに限定されないが、例えばＨ．２６４やＶＣ１などのＭＰＥＧアドバンスドビデオ符号化（ＡＶＣ）である。使用されてもよい映像プロセッサのもう１つの例は、レンペルジフもしくはレンペルジフウェルチベースのコーデックである。映像処理装置は、それらの代替として、それらに組み合わせて、もしくはそれらに加えて、圧縮装置もしくは伸長装置を備えてもよい。映像処理装置は、それらの代替として、それらに組み合わせて、もしくはそれらに加えて、暗号化装置もしくは復号化装置をまた備えてもよい。より一般的には、想定される処理には、画像フレームもしくは画像フィールドの一部の処理を、画像フレームもしくは画像フィールドの他の部分に関する他の情報の大部分又はすべてを必要とすることなく実行することができる任意のタイプの処理を含んでもよく、よって、対応する処理は、ここで説明される同時的な処理を利用することができる。

通信装置は、画像ブロックを送信もしくは受信するように構成された装置であってもよい。それにより、通信装置は、典型的には、画像ブロックヘッダを含む画像ブロックを送信する。

典型的な古典的な映像通信システムは、フレームもしくはフィールドベース（フィールドは、データの半分だけを含むインターレースのフレームである）で動作するのに対して、本開示は統合された実施形態を提示し、これにより、サブフレームもしくはサブフィールドベースの方法で、すなわち、画像フィールド全体ではない画像フレームの一部だけである異なる画像ブロック、又は、画像フィールドの一部だけである異なる画像ブロックに対して動作することができる。そのシステムは、画像フレームもしくは画像フィールドを取得もしくは再構成するための画像取得回路もしくは画像再構成回路を制御するためのコントローラであって、これらの構成要素のうちの２つ以上が同一のフレームもしくは同一の画像フィールドの部分（典型的には、異なる部分）に対して同時に動作することができるような方法で制御するためのコントローラを備えてもよい。

本発明の実施形態の利点を明らかに識別するために、古典的な通信装置をより詳しく見て例示する。そのような装置では、我々は３つの連続的な構築ブロックを識別する。第１に、フレームデータが「ダイレクトビデオリンク」を介してシリアルに到着する取得構築ブロックが存在する。フレームバッファは、到着するフレームもしくはフィールドのすべてのデータを蓄積する。一旦フレームもしくはフィールドが完成すると、データはパイプラインの次の構築ブロックへと渡される。その間に、フレームバッファはすでに次のフレームを蓄積し始める。この次の構築ブロックは、画像処理装置と言われる。典型的には、それはいくつかの画像修正もしくは画像強調を実行することができ、また映像データを圧縮することができる。次に、データは通信装置と言われる最後の構築ブロックに転送される。この通信装置は、通信チャネルを介してデータを送信するために、デジタルもしくはアナログ通信プロトコルを実装するであろう。この段階では、暗号化もしくは同様のプロトコルに特有の機能が追加されてもよい。受信側では、逆の一連のステップが実行され、データを取得する代わりに、我々はそれをレンダリングしてそれを「ダイレクトビデオリンクを介して」ディスプレイ、プロジェクタもしくはデータが意図された他のデバイスに供給する。この典型的な挙動はさらに図１に例示される。

そのような古典的な映像通信装置は、「ダイレクトビデオリンク」に比較すると、いつも映像を遅延させるという限定されたさらなる説明が必要である。これによって、遅延は、フレームをフレームバッファに蓄積するための時間Ｔと、（例えば圧縮などの）画像処理に必要とされる時間Ｕと、送信機及び受信機の（例えばデータパケットを送信／受信する）通信装置において必要とされる時間Ｃと、（例えば伸長などの）受信機での画像処理に必要とされる時間Ｖとを足し合わせた値に等しい。ほとんどの場合において、画像処理装置は、電力消費を制御しながら実時間性能に対して設計される。すなわち、Ｕ＝Ｖ＝Ｔとなる。ここで、全体レイテンシーは３Ｔ＋Ｃである。これが図２のタイミング図において例示される。送信機でのソースの映像クロックと受信機での（例えばディスプレイなどの）コンシューマとが典型的には同期しないと仮定すれば、実際の遅延はわずかだけさらに大きくなるであろう。

本発明の実施形態に戻ると、これらの実施形態に係る映像通信システムは、サブフレームもしくはサブフィールドベースの方法で動作することができる統合された実施形態を提示する。

このことへの鍵は、取得構築ブロック、画像処理装置及び通信装置は、もはや、交互に動作する独立した装置ではなく、単一の論理的な並列処理装置内に集積され、少なくともいくつかの動作を並列に組み合わせる、ということである。この装置は、少なくとも２つの動作を同時に実行して、有利なことには、画像を取得することができ、その間に、すでに取得された画像の一部を処理することができ、その間に、すでに処理された画像の一部を通信することができる。受信装置は同様に動作するが、到着データの受信及び処理及びレンダリングをそれぞれ並列に実行するか、もしくはこれらの動作の少なくとも２つを並列に実行する。図３は、この処理の概略図である。

すべての動作が並列に実行される実施形態に対して、画像通信装置は、上述した古典的な装置とは全く異なるタイミングで到着する。もし画像処理及び通信装置は無視できる時間間隔だけを消費すれば、その通信はダイレクトビデオリンクの場合とまさに同じ速度である。例えば、例示的な実施形態として、映像を取得することができ、それを並列にパケット化し、それをＩＰリンクを介して送信することができる（画像処理なし）。受信機は、パケットを連結して画像を再構成する一方で、送信機はまだ画像を取得している。図４に、更新されたタイミング図を示す。さて理論上では、遅延量３Ｔ＋Ｃは（３Ｔ＋Ｃ）／Ｎへと低減される。ここで、Ｎは画素数であり、典型的には（何百万などの）非常に大きな数である。従って、達成される遅延量は、（数マイクロ秒から数十マイクロ秒などで）無視できるほど小さい。

上述した実施形態は、第１のステップだけを説明している。実時間画像処理は、最大の場合でも、取得時間もしくはインターフレーム／フィールド時間に相当する時間間隔を消費する。しかしながら、本発明の実施形態では、この処理時間はもはや全体タイミングにおける付加的なリード時間を創出しない。装置が並列化されると仮定すると、一旦最初の画素が取得されるとデータの処理を開始することができる。実際には、いくらかより複雑な処理を用いた実際の実施形態は、典型的には、離散的画素に対して動作することができないが、典型的には、水平方向及び垂直方向における画素の領域を必要とする。（例外として、ルックアップテーブルを適用可能な場合がある。）水平データ及び垂直データの両方を必要とし、画素データがライン単位で（すなわち走査順序で）連続的に到着すると仮定し、我々は「画像スライス」の概念を定義する。後者は、一組の完全な水平画像ラインを含むが、垂直方向において不完全であるサブ画像（もしくは画像ブロックもしくは画像スライス）である。言い換えると、連続的に到着して行単位で水平に位置合わせされた画像データは、スライスを形成する。例えば１６ラインや３２ラインなどの画像スライスは、それに対する（例えば、圧縮などの）画像処理タスクを実行するのに十分な空間的な関連性を持ち始める。スライスを低い高さを有する非常に広幅の擬似的な画像とみなすことができる。画像からスライスへのポーティング画像処理は、スライスの高さによる空間的依存性を低減させておそらくは異方性とすることを含む。第２に、スライスベースの処理は、スライスの最低部と最上部での不可避的な境界効果を処理すべきである。

従って、スライスベースの処理により、ほとんどすべての種類の高度画像処理を導入することが可能となり、タイミングをほとんど変更することはない。図４のＮ段の並列処理の意味は、フレームもしくはフィールドでの画素数から、フレームもしくはフィールドでのスライス数まで変化し、それは全体遅延を「無視できる程小さい」長さ（典型的には、数マイクロ秒）から、「非常に低い」長さ（典型的には、数ミリ秒）まで変化させる。

いま、遅延は、最初のスライスを取得するための待ち時間と、単一のスライスの処理及び送信時間との合計になる。例えば、（１９２０×１０８０画素の、１秒当たり６０フレームでプログレッシブにスキャンされる）フルＨＤＴＸ１０８０Ｐ６０の画像に基づいてこれを例示する。この例では、画像は、（１／６０秒の）インターフレーム時間で（例えば、映像圧縮などの）処理され、通信装置が全く時間を消費しない。古典的な映像通信システムでは、我々は、蓄積時間（１／６０秒）と、送信機での（圧縮）処理時間（１／６０秒）と、受信機での（伸長）処理時間（１／６０秒）とを加算した時間を必要とするであろう。

映像クロックが同期するであろうと仮定すれば、我々は、映像を３／６０秒＝５０ミリ秒だけ遅延させる。ほとんどの人間の観察者はこの遅延を知覚することができる。

全体画像の１／６７．５だけである１６×１９２０画素のスライスを用いた、本発明の実施形態の映像通信システムでは、１／６０×１／６７．５秒（最初のスライスのための待ち時間）と、送信機での（圧縮）処理時間１／６０×１／６７．５秒と、受信機での（伸長）処理時間１／６０×１／６７．５秒とを合計した３／６０×１／６７．５秒＝０．７４ミリ秒だけ映像が遅延するという結果が得られる。この例では、我々は、最後のスライスは不完全であろうという事実と、高さ１６の代わりに高さ８を有するという事実とを無視した。重要なこととして、古典的な映像システムに比較すると５０倍を超える高速化を達成し、かつ、遅延がおよそ１７ミリ秒のインターフレーム時間の２０分の１よりも小さくなることがわかる。この余剰遅延は、人間の観察者によって気付かれず、典型的には、生産して消費する映像デバイスの与えられたすべての非同期映像クロックにおけるタイミングには全く影響を及ぼさない。

別の態様によれば、本発明はまた、映像データを転送するための方法に関する。その方法は、映像データの画像フレームもしくは画像フィールドを備える映像データを処理するのに適している。その方法は、画像フレームもしくは画像フィールドを取得もしくは再構成するステップと、映像データの少なくとも一部を処理するステップと、そのデータの少なくとも一部を送信もしくは受信するステップとを含む。本発明の実施形態によれば、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより、上述した取得もしくは再構成するステップと、処理するステップと、送信もしくは受信するステップとの少なくとも２つのステップが同時に実行される。いくつかの実施形態では、映像データの同一の画像フレームの異なる部分、完全な画像フィールドではない部分、もしくは同一の画像フィールドの異なる部分を同時に処理することにより、上述した取得もしくは再構成するステップ、処理するステップ、送信もしくは受信するステップのすべてのステップが同時に実行される。いま、例示のために、本発明のいくつかの特定の方法の実施形態がより詳細に説明されるであろう。

一実施形態では、その方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを取得するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する間に、第１の画像ブロックを処理するステップを含み、当該処理するステップの後に、第２の画像ブロックを処理する前もしくは当該第２の画像ブロックを処理する間に、データネットワークを介して第１の画像ブロックを送信するステップを含む。その方法はまた、少なくとも第１の画像ブロックと第２の画像ブロックとを受信するときに、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックの画像ブロックヘッダを生成するステップを含んでもよい。そのような画像ブロックヘッダはまた、例えばエンコードもしくはデコードのために、未来のフレームが全く使用されなくてもよいという事実などに関する他のメタデータを含んでもよい。この画像ブロックヘッダ情報は、画像処理を制御するために使用されてもよい。その方法はさらに、本説明のシステムの態様もしくは例で示された構成部品の機能を表現するさらなるステップを含んでもよい。

もう１つの実施形態では、その方法は、データネットワークを介して、少なくとも第１の画像ブロック及び第２の画像ブロックを受信するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは当該第２の画像ブロックを受信する間に、第１の画像ブロックを処理するステップを含み、その後に、これらの画像ブロックが処理された後に、少なくとも第１の画像ブロックと第２の画像ブロックを単一の画像フレームもしくは画像フィールドに統合するステップを含む。統合するステップは、画像ブロックが得られる画像フレームもしくはフィールドを識別するための、画像ブロックの画像ブロックヘッダを考慮して実行されてもよい。その方法はさらに、本説明のシステムの態様もしくは例で示される構成部品の機能を表現するさらなるステップを含んでもよい。いくつかの実施形態では、送信するための方法と受信するための方法とが組み合わされて映像データを伝送するための方法をさらに提供する。

さらに別の実施形態では、その方法は、少なくとも第１の画像ブロックと第２の画像ブロックとを取得するステップを含み、各画像ブロックは、完全な画像フィールドではない同一の画像フレームの部分であるか、同一の画像フィールドの部分である。その方法はまた、少なくとも第１の画像ブロックを取得した後でありかつ第２の画像ブロックを取得する前もしくは当該第２の画像ブロックを取得する間に、第１の画像ブロックを処理するステップを含む。言い換えれば、第２の画像ブロックを取得中であるとき（例えば、読み込み中であるとき、入力として受信中であるとき）、１つの画像ブロックの処理をすでに開始している。

別の実施形態では、その方法は、第１の画像ブロック及び第２の画像ブロックを処理するステップを含み、各画像ブロックは、完全な画像フィールドではない同一の画像フレームの部分であるか、同一の画像フィールドの部分である。またさらに、その方法は、少なくとも第１の画像ブロックを処理した後でありかつ第２の画像ブロックを処理する前もしくは当該第２の画像ブロックを処理する間に、データネットワークを介して第１の画像ブロックを送信するステップを含む。

別の実施形態では、その方法は、データネットワークを介して、少なくとも第１の画像ブロック及び第２の画像ブロックを受信するステップを含み、各画像ブロックは、同一の画像フレームもしくは同一の画像フィールドの一部である。その方法は、第１の画像ブロックを受信した後でありかつ第２の画像ブロックを受信する前もしくは当該第２の画像ブロックを受信する間に、第１の画像ブロックを処理するステップを含む。その方法はさらに、その後、すなわちこれらの画像ブロックが処理された後に、少なくとも第１の画像ブロック及び第２の画像ブロックを単一の画像フレームもしくは画像フィールドに統合するステップを含んでもよい。

上述した実施形態に係る方法は、本発明から離れることなしに、他の方法のステップと組み合わされてもよい。それらはさらに、本説明のシステムの態様もしくは例において示される構成部品の機能を表現するさらなるステップを含んでもよい。

さらに別の態様では、本発明は、処理手段において、例えば本発明の第１の態様に係るデバイスにおける処理手段において実行されるとき、映像データを伝送するための方法の１つを実行するためのコンピュータプログラム製品に関し、また、対応する処理システムに関する。言い換えると、本発明の実施形態に係る方法は、例えばソフトウェアベースの方法で実装される、コンピュータで実装された方法として実装されてもよい。処理システムの１つの例は、例えばＲＡＭ、ＲＯＭなどのメモリの少なくとも１つの形態を含むメモリサブシステムに接続される少なくとも１つのプログラマブルプロセッサを含む処理システムであってもよい。留意すべきことは、１つもしくは複数のプロセッサは、汎用プロセッサもしくは特定用途のプロセッサでもよく、例えば他の機能を実行する他の構成部品を有するチップなど、デバイス内に包含されるものであってもよい、ということである。従って、本発明の実施形態の１つもしくはそれ以上の態様は、デジタル電子回路もしくはコンピュータハードウェア、ファームウェア、ソフトウェア、並びにそれらの組み合わせにおいて実装される。その処理システムは、少なくとも１つのディスクドライブ及び／又はＣＤ−ＲＯＭドライブ及び／又はＤＶＤドライブを有する記憶（ストレージ）サブシステムを含んでもよい。いくつかの実施例では、表示システム、キーボード、及びポインティングデバイスが、ユーザが手動で情報を入力するために提供するためのユーザインターフェースサブシステムの一部として含まれてもよい。データを入力して出力するためのポートがまた含まれてもよい。さらに、例えばネットワーク接続や種々のデバイスへのインターフェースなどの構成要素が含まれてもよい。処理システムの種々の構成要素は、バスサブシステムを介することを含む種々の方法で接続されてもよい。これは、本実施例では簡単化のために単一バスであるが、少なくとも１つのバスのシステムを含むことが当業者には理解されるであろう。メモリサブシステムのメモリは、処理システム上で実行されるときにここで説明される方法の実施形態のステップを実施する一組の命令の一部もしくはすべてをある時点において保持してもよい。

別の態様では、本発明は、上述した映像データ伝送を制御するためのコントローラで実行されるソフトウェアを格納するためのデータキャリア、上述したコンピュータプログラム製品を格納するデータキャリア、又は広域ネットワークもしくはローカルエリアネットワークを介するコンピュータプログラム製品の伝送に関する。従って、そのようなデータキャリアは、上述したコンピュータプログラム製品を具現化することができる。従って、キャリア媒体は、プログラマブルプロセッサによる実行のための機械可読コードを保持してもよい。従って、本発明は、コンピュータ手段上で実行される場合に、上述した任意の方法を実行するための命令を提供するコンピュータプログラム製品を保持するキャリア媒体に関する。用語「キャリア媒体」は、命令を実行のためにプロセッサに提供することに関与する任意の媒体を表す。そのような媒体は、必ずしもこれに限定されないが、不揮発性媒体や伝送媒体などの多くの形態をとってもよい。不揮発性媒体は、例えば、大容量記憶装置の一部である記憶装置などの光ディスクや磁気ディスクを含む。一般的な形態のコンピュータ可読媒体は、ＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスクやフロッピィーディスク、テープ、メモリチップやカートリッジ、又はコンピュータが読み込むことが可能な任意の他の媒体を含む。種々の形態のコンピュータ可読媒体は、１つもしくはそれ以上の命令の１つもしくはそれ以上のシーケンスを実行のためにプロセッサに伝送することに関与してもよい。コンピュータプログラム製品はまた、例えばＬＡＮ、ＷＡＮ，もしくはインターネットなどのネットワークにおける搬送波を介して伝送されてもよい。伝送媒体は、例えば電波及び赤外線データ通信を行う間に生成されるような音波や光波の形態をとることができる。伝送媒体は、コンピュータ内のバスを備える配線を含む、同軸ケーブル、銅配線及び光ファイバを含む。

さらに別の態様では、本発明は、本発明の態様に係る方法による伝送後に取得された映像データに関する。

さらに別の態様では、本発明はまた、内視鏡映像データの伝送のための上述した映像データ通信システムの使用に関する。特定の特徴及び利点が特定の例で示されるが、そのような特徴及び利点はこれらの特定の例に限定されない。それはまた、複数の映像データ入力を組み合わせるための、また、複数の映像データ出力もしくは統合されたデータ出力を提供するための、映像データ通信システムの使用に関する。その使用は、多数の応用もしくは特定の応用に適用可能な、映像データの視覚的な遅延なしのトランスポートを達成するための使用であってもよい。

超低遅延の映像通信装置の本発明の処理及び方法において、種々の変更及び変化がなされることが当業者には明らかであろう。例示のために、本発明の実施形態はこれには限定されず、本発明に係る実施形態の標準的な特徴及びオプションの特徴を示す多くの特定の実施例が以下に示されるであろう。

実施例１：ＩＰを介する視覚的な遅延なしの圧縮された映像トランスポート
本実施形態は、アナログもしくはデジタルの一組の映像インターフェースを使用して映像ラインデータを即座に画像処理装置に供給する。画像処理装置上で、ＭＰＥＧ４のアドバンスドシンプルプロファイルコーデックのアドバンスドスライス適合版は、データを高さ３２のスライスに圧縮する。各スライスは、中央演算処理装置によりイーサネット（登録商標）コントローラに転送され、イーサネットコントローラは、データをパケット化してネットワークを介して送信する。同様の装置がイーサネットコントローラを介して映像データを受信して、それを画像処理装置へ転送し、画像処理装置は映像データを伸長し、最後にＤＶＩ、ＶＧＡもしくは（ＨＤ）−ＳＤＩ上の映像インターフェースへとデータをレンダリングする。ダイレクトリンクを介して画像画素が電気的に／光学的に伝搬する場合（０ミリ秒）に比較すると、このシステムにおける全体遅延は、５ミリ秒未満である。帯域幅削減は、典型的には、視覚損失なしの品質で１．５ＧｂｐｓのＨＤＴＶ信号を５０Ｍｂｐｓよりも小さくする。

イーサネットコントローラによる通信と中央演算処理装置の存在とにより、我々が必要に応じて通信上に強い暗号化を実装することを可能とする。
もし全く遅延が望ましくなくかつ帯域幅に制限がないのであれば、圧縮を無効にしてリンクを介して生の映像データを送信することができる。イーサネットコントローラの帯域幅はこれをサポートするべきである。従って、ツイストペアベースのギガビットイーサネットＰＨＹを用いた本実施形態では、このオプションはＳＤ解像度に制限される。ＨＤ解像度は、光ファイバのイーサネットインターフェースを介して同様にサポートされる。そのシステムは、内蔵型であり、受動的に冷却され、イーサネットを介して電力を受信し（power over ethernet：ＰｏＥ）、典型的には１５ワットだけ消費する。

同様の特性を有する単一のシステムとして、商業的に利用可能なものは存在せず、また、非特許文献もしくは特許文献にも開示されていない。

この実施形態のブロック図は図５で提示される。

実施例２：ＩＰを介する最小限の侵襲的外科手術／診断
上述された実施形態は、内視鏡カメラと外科手術用ディスプレイとの間の内視鏡外科手術映像をトランスポートする複数の送信機、複数の受信機、及びローカル通信システムを実装するように使用される。当該実施形態は、ＩＰベースのネットワーク上での任意の種類の映像信号を統合し、ほとんど無制限の個数の入力及び出力に対してスケーリングする。

そのシステムは、視覚的な損失なしの圧縮品質を有し、視覚的な遅延はまったくない。このことはＩＰベースの映像供給に対する目と手の同期をベースとする外科手術に受容されることで実証される。

さらに、この実施形態は、画像の診断品質を改善させる一組のスライスベースの画像強調ステップを実装する（ＬＵＴ／ガンマ補正、特徴検索及び強調表示、…）。

実施例３：ＩＰベースの機械視覚
コンピュータアルゴリズム制御された検査機では、ダイレクトビデオリンクによりサポートされる距離でコンピューティングシステムとカメラとを配置することがしばしば問題となる。例えば、製造するときにおいて、工場はコンピューティングシステムに対して適さない環境となる可能性を有する一方で、典型的なダイレクトビデオリンクはより長い距離を介して信号を伝送することはできない。同様に、画像ベースの海洋ナビゲーションは、水面よりも高い位置にあるカメラを必要とする一方で、コンピューティング能力は数十メータ離れた距離のみで利用できる。

制御ループを実装する任意の上述した機械視覚システムは、著しい遅延を被る（フィードバックベースの制御ループにおける時定数）。本実施形態は、遅延なしのＩＰベースの映像トランスポートを介してこれらの制限を克服し、これは、コンピューティングプラットフォームのレベルにおいて、デジタル画像を変換してビデオインターフェースに戻すのではなく、デジタル画像をＣＰＵにすぐに提供することができる。

Claims (12)

1. 外科映像データ送信機及び外科映像データ受信機を備える外科映像データ通信システムであって、
   上記外科映像データ送信機は、
   映像データ入力からの外科映像データとして画像フレームを取得する外科画像取得回路と、
   上記外科映像データをエンコードする第１の外科映像処理装置と、
   上記エンコードされた外科映像データを、インターネットプロトコルに基づくデータネットワークを介して送信する第１の通信装置とを備え、
   上記外科画像取得回路と上記第１の外科映像処理装置と上記第１の通信装置とは、上記外科映像データの同一の画像フレームの複数の異なる部分を同時に処理するように構成され、
   上記外科画像取得回路は、画像フレームを複数の画像ブロックに分割するための画像分割器を備え、上記各画像ブロックは、上記画像フレームの全体のうちの１つ以上のラインであってすべてのラインよりも少ない個数のラインを含み、
   上記外科映像データ送信機において、
   上記第１の外科映像処理装置は、他の画像ブロックに関する情報を必要とすることなく、上記各画像ブロックを個別にエンコードするように構成されたエンコーダを備え、
   上記外科映像データ送信機は、上記画像ブロックが得られる画像フレームを識別するための、上記画像ブロックの画像ブロックヘッダを生成する画像ブロックヘッダ生成手段を備え、
   上記第１の外科映像処理装置は、上記画像ブロックが上記第１の外科映像処理装置に供給されたときに、１つの画像フレームのすべての画像ブロックが上記第１の外科映像処理装置に供給されることを待機することなく、上記画像ブロックをエンコードし、
   上記第１の通信装置は、上記エンコードされた外科映像データが上記第１の通信装置に供給されたときに、１つの画像フレームのすべての画像ブロックに対応する上記エンコードされた外科映像データが上記第１の通信装置に供給されることを待機することなく、上記エンコードされた外科映像データを送信し、
   上記外科映像データ受信機は、
   上記エンコードされた外科映像データを、上記インターネットプロトコルに基づくデータネットワークから受信する第２の通信装置と、
   上記エンコードされた外科映像データをデコードする第２の外科映像処理装置と、
   画像フレームを再構成する外科画像再構成回路とを備え、
   上記第２の通信装置と上記第２の外科映像処理装置と上記外科画像再構成回路とは、上記外科映像データの同一の画像フレームの複数の異なる部分を同時に処理するように構成され、
   上記外科画像再構成回路は、上記デコードされた外科映像データの複数の画像ブロックを統合して、画像フレームの全体の外科映像データを映像データ出力に供給する画像統合器を備え、
   上記外科映像データ受信機において、
   上記第２の外科映像処理装置は、他の画像ブロックに関する情報を必要とすることなく、画像フレームの一部のみを含む上記各画像ブロックを個別にデコードするように構成されたデコーダを備え、
   上記外科画像再構成回路は、上記画像ブロックの画像ブロックヘッダを考慮して画像フレームを再構成するように構成され、
   上記第２の通信装置は、１つの画像フレームのすべての画像ブロックに対応する上記エンコードされた外科映像データが上記第２の通信装置に供給されることを待機することなく、上記エンコードされた外科映像データを受信し、
   上記第２の外科映像処理装置は、上記エンコードされた外科映像データが上記第２の外科映像処理装置に供給されたときに、１つの画像フレームのすべての画像ブロックに対応する上記エンコードされた外科映像データが上記第２の外科映像処理装置に供給されることを待機することなく、上記エンコードされた外科映像データをデコードし、
   上記外科映像データ通信システムの全体遅延はフレーム期間の半分未満であり、
   上記インターネットプロトコルに基づくデータネットワークを介する最小侵襲外科手術に使用されるように構成されたことを特徴とする外科映像データ通信システム。
2. 上記外科映像データ通信システムの全体遅延は５ミリ秒未満であることを特徴とする請求項１記載の外科映像データ通信システム。
3. 上記外科映像データ送信機の上記第１の通信装置は、画像ブロックを表すデータを送信するように構成され、
   上記外科映像データ受信機の上記第２の通信装置は、画像ブロックを表すデータを受信するように構成されたことを特徴とする請求項１又は２記載の外科映像データ通信システム。
4. 上記外科映像データ送信機は、８ライン、１６ライン、又は３２ラインの画素データのみを格納するように構成されたスライスバッファを備え、
   上記外科映像データ受信機は、８ライン、１６ライン、又は３２ラインの画素データのみを格納するように構成されたスライスバッファを備えることを特徴とする請求項１〜３のうちの１つに記載の外科映像データ通信システム。
5. 上記外科映像データ送信機は、ソフトウェアで実装された第１のコントローラであり、
   上記外科映像データ受信機は、ソフトウェアで実装された第２のコントローラであることを特徴とする請求項１〜４のうちの１つに記載の外科映像データ通信システム。
6. 上記外科映像データ送信機の上記第１の外科映像処理装置は、他の画像ブロックに関する情報を必要とすることなく、上記外科映像データの１つの画像ブロックを圧縮するように構成された映像圧縮装置を備え、
   上記外科映像データ受信機の上記第２の外科映像処理装置は、他の画像ブロックに関する情報を必要とすることなく、上記外科映像データの１つの画像ブロックを伸長するように構成された映像伸長装置を備えることを特徴とする請求項１〜５のうちの１つに記載の外科映像データ通信システム。
7. 上記第１の外科映像処理装置は、上記画像ブロックを暗号化するように構成された暗号化装置を備え、
   上記第２の外科映像処理装置は、上記画像ブロックを復号化するように構成された復号化装置を備えることを特徴とする請求項１〜６のうちの１つに記載の外科映像データ通信システム。
8. 上記映像データ入力は内視鏡カメラに接続され、
   上記映像データ出力は外科ディスプレイに接続されたことを特徴とする請求項１〜７のうちの１つに記載の外科映像データ通信システム。
9. 外科映像データ送信機及び外科映像データ受信機を用いて、インターネットプロトコルに基づくデータネットワークを介して映像データ入力から映像データ出力に外科映像データを転送する方法であって、
   上記外科映像データ送信機は、外科画像取得回路、第１の外科映像処理装置、及び第１の通信装置を備え、上記外科映像データ受信機は、第２の通信装置、第２の外科映像処理装置、及び外科画像再構成回路を備え、
   上記外科映像データは、映像データの画像フレームを含み、
   上記方法は、
   上記映像データ入力からの外科映像データとして画像フレームを取得するステップと、
   上記画像フレームを、上記画像フレームの全体のうちの１つ以上のラインであってすべてのラインよりも少ない個数のラインをそれぞれ含む複数の画像ブロックに分割し、上記画像ブロックが得られる画像フレームを識別するための、上記画像ブロックの画像ブロックヘッダを生成するステップと、
   上記画像ブロックが供給されたときに、１つの画像フレームのすべての画像ブロックが供給されることを待機することなく、他の画像ブロックに関する情報を必要とすることなく、上記各画像ブロックをエンコードするステップと、
   上記エンコードされた外科映像データが供給されたときに、１つの画像フレームのすべての画像ブロックに対応する上記エンコードされた外科映像データが供給されることを待機することなく、上記エンコードされた外科映像データを上記インターネットプロトコルに基づくデータネットワークを介して上記外科映像データ受信機に送信するステップと、
   １つの画像フレームのすべての画像ブロックに対応する上記エンコードされた外科映像データが供給されることを待機することなく、上記外科映像データ受信機によって上記インターネットプロトコルに基づくデータネットワークから上記エンコードされた外科映像データを受信するステップと、
   上記受信された外科映像データが供給されたときに、１つの画像フレームのすべての画像ブロックに対応する上記受信された外科映像データが供給されることを待機することなく、他の画像ブロックに関する情報を必要とすることなく、上記受信された外科映像データをデコードして複数の画像ブロックを取得するステップと、
   上記画像ブロックが得られる画像フレームを識別するための上記画像ブロックヘッダを考慮して、上記デコードされた外科映像データの複数の画像ブロックを統合して、画像フレームの全体の外科映像データを上記映像データ出力に供給するステップとを含み、
   上記取得するステップ、上記エンコードするステップ、上記送信するステップ、上記受信するステップ、上記デコードするステップ、及び上記統合するステップは同時に実行され、
   上記外科映像データ送信機及び上記外科映像データ受信機を備える外科映像データ通信システムの全体遅延はフレーム期間の半分未満であり、
   上記インターネットプロトコルに基づくデータネットワークを介する最小侵襲外科手術に使用されることを特徴とする方法。
10. 上記外科映像データ送信機及び上記外科映像データ受信機を備える外科映像データ通信システムの全体遅延は５ミリ秒未満であることを特徴とする請求項９記載の方法。
11. ８ライン、１６ライン、又は３２ラインの画素データのみを格納するステップを含むことを特徴とする請求項９又は１０記載の方法。
12. 処理装置上で実行するときに、請求項９〜１１のうちの１つに記載の方法により外科映像データを転送することを特徴とするコンピュータプログラム。

Images