WO2013154025A1 - 情報処理装置および方法、並びに、プログラム - Google Patents

Abstract

　本技術は、画像データ伝送における映像同期をより容易に制御することができるようにする情報処理装置および方法、並びに、プログラムに関する。 本技術の情報処理装置は、画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部とを備える情報処理装置である。本技術は、例えば、情報処理装置に適用することができる。

Description

情報処理装置および方法、並びに、プログラム

　本技術は、情報処理装置および方法、並びに、プログラムに関し、特に、画像データ伝送における映像同期をより容易に制御することができるようにした情報処理装置および方法、並びに、プログラムに関する。

　従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。ネットワークを介して画像データを送受信する場合には、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である（例えば、特許文献１乃至特許文献６参照）。

　動画像データの伝送においては、即時性（所謂リアルタイム性）が要求される場合がある。例えば、伝送元において撮像装置により撮像されて得られた画像を、伝送先において画像表示装置に、即時的に（所謂リアルタイムに）表示させる場合、画像データの符号化、伝送、復号等による遅延が大き過ぎると、動画像表示が破綻してしまう恐れがある。このような場合、動画像表示を保証するために、画像データの伝送（符号化や復号等の、伝送に関する処理も含む）において遅延時間の管理が要求される。

　そのためには、装置間で映像やネットワークの同期を正確に制御する必要がある。

特開２００７－３１１９４８号公報 特開２００９－２７８５４５号公報 特開２００８－０２８５４１号公報 特許３６１７０８７号 特開２００２－１５２１６２号公報 特開２００４－３０４８０９号公報

　しかしながら、例えばEthernet（登録商標）、NGN（Next Generation Network）、無線といった汎用回線では、帯域が不安定になる場合が多く、遅延時間への影響も大きい。また、一部の回線が切断したり、新たな回線が接続したりする等、状況によってネットワーク構成が変化する場合も考えられる。

　さらに、このような汎用回線を介して通信装置同士を接続する通信システムの場合、そのシステム構成の自由度が高く、通信装置をシステムから外したり、新たな通信装置をシステムに加えたりすることが容易に実現できる。

　したがって、どの装置が主体となって同期を制御するのが望ましいかは、状況によって変化する可能性があり、ある装置が常に他の装置との同期を制御するような固定化された制御方法では、十分な同期がとれない恐れがあった。このように、より柔軟な同期制御が求められていた。

　本技術は、このような状況に鑑みて提案されたものであり、画像データ伝送における映像同期をより容易に制御することを目的とする。

　本技術の一側面は、画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部とを備える情報処理装置である。

　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早めることができる。

　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化することができる。

　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させることができる。

　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備えることができる。

　前記遅延時間を測定する測定部をさらに備え、前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除することができる。

　前記測定部は、同期制御トポロジやネットワーク設定に応じて送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定することができる。

　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備えることができる。

　本技術の一側面は、また、情報処理装置の情報処理方法において、前記情報処理装置が、画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる情報処理方法である。

　本技術の一側面は、さらに、コンピュータを、画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部として機能させるためのプログラムである。

　本技術の他の側面は、映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部とを備える情報処理装置である。

　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早めることができる。

　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化することができる。

　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させることができる。

　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備えることができる。

　前記遅延時間を測定する測定部をさらに備え、前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除することができる。

　前記測定部は、同期制御トポロジやネットワーク設定に応じて前記第１の映像伝送シーケンスにおける送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定することができる。

　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備えることができる。

　本技術の他の側面は、また、映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムの情報処理装置の情報処理方法において、前記情報処理装置が、第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させ、前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる情報処理方法である。

　本技術の他の側面は、さらに、映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、コンピュータを、第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部として機能させるためのプログラムである。

　本技術の一側面においては、画像データ伝送の遅延時間に基づいて、画像データを伝送するネットワークの同期タイミングと画像データの同期タイミングとの間の同期が解除され、ネットワークの同期タイミングとの同期が解除された画像データの同期タイミングが調整され、調整された画像データの同期タイミングが、ネットワークの同期タイミングに同期させられる。

　本技術の他の側面においては、映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、画像データを伝送するネットワークの同期タイミングと画像データの同期タイミングとの間の同期が解除され、そのネットワークの同期タイミングとの同期が解除された画像データの同期タイミングが調整され、その調整された画像データの同期タイミングが、ネットワークの同期タイミングに同期させられ、第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、第１の映像伝送シーケンスとは異なる第２の映像伝送シーケンスが動作させられる。

　本技術によれば、情報を処理することが出来る。特に、画像データ伝送における映像同期をより容易に制御することができる。

画像伝送システムの主な構成例を示すブロック図である。 システムタイミング構成の例を示す図である。 画像伝送システムの主な構成例を示すブロック図である。 システムタイミング構成の例を示す図である。 システムタイミングの詳細を説明する図である。 画像データ送受信に伴う処理の流れの例を説明する図である。 画像データ送受信に伴う処理の流れの例を説明する、図６に続く図である。 画像データ送受信に伴う処理の流れの、他の例を説明する図である。 画像データ送受信に伴う処理の流れの、他の例を説明する、図８に続く図である。 初期同期処理の流れの例を説明するフローチャートである。 再同期処理の流れの例を説明するフローチャートである。 再同期処理の流れの例を説明する、図１１に続くフローチャートである。 初期同期処理の流れの、他の例を説明するフローチャートである。 再同期処理の流れの、他の例を説明するフローチャートである。 再同期処理の流れの、他の例を説明する、図１４に続くフローチャートである。 システム構成変化の例を説明する図である。 システム構成変化の他の例を説明する図である。 判定処理の流れの例を説明するフローチャートである。 データ伝送における遅延比率の例を説明する図である。 本技術を適用した画像伝送システムの主な構成例と、その遅延比率の例を説明する図である。 本技術を適用した画像処理システムの主な構成例を示す図である。 撮像装置の主な構成例を示すブロック図である。 FECブロックの例を説明する図である。 パケットの構成例を説明する図である。 送信処理の流れの例を説明するフローチャートである。 受信処理の流れの例を説明するフローチャートである。 符号化部の主な構成例を示すブロック図である。 ウェーブレット変換部の主な構成例を示すブロック図である。 変換係数のサブバンドの主な構成例を示す図である。 ラインブロックの例を説明する図である。 復号部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（画像伝送システム）
　２．第２の実施の形態（画像伝送システム）
　３．第３の実施の形態（画像処理システム）
　４．第４の実施の形態（符号化部・復号部）
　５．第５の実施の形態（コンピュータ）

　＜１．第１の実施の形態＞
　［１－１画像伝送システム］
　図１は、画像伝送システムの主な構成例を示すブロック図である。

　図１に示される画像伝送システム１０は、送信装置１１および受信装置１２を有し、送信装置１１から受信装置１２へ、画像データが符号化された符号化データを伝送するシステムである。図１においては、送信装置１１および受信装置１２の同期に関する構成について示してある。

　図１に示されるように、送信装置１１は、画像用時刻管理部２１とネットワーク伝送用時刻管理部２２を有する。また、受信装置１２は、画像用時刻管理部３１とネットワーク伝送用時刻管理部３２を有する。

　画像用時刻管理部２１および画像用時刻管理部３１は、画像データの、垂直同期や水平同期等の、画像表示に関する同期を管理する。

　ネットワーク伝送用時刻管理部２２およびネットワーク伝送用時刻管理部３２は、ネットワーク回線の同期制御を行ったり、画像データの伝送に関する同期制御を行ったりする。この場合、どちらか一方がステイ（STAY）となり、他方がフォロワ（Follower）となる。ステイとなった方が主体となって同期制御を行い、フォロワは、ステイの同期制御に従う。

　図２は、図１の画像伝送システム１０におけるシステムタイミング構成の例を示す図である。映像伝送の同期管理とネットワーク回線の同期管理は、ネットワーク伝送用時刻管理部２２およびネットワーク伝送用時刻管理部３２が行うので、図２の例のように、映像伝送の同期管理の制御の方向とネットワーク回線の同期管理の制御の方向は、互いに同一方向に限定される。

　例えば、映像伝送の同期管理（図２の表の「Video同期」）において、送信装置１１がステイであり、受信装置１２がフォロワである場合、ネットワーク回線の同期管理（図２の表の「ネットワーク」）においても、送信装置１１がステイとなり、受信装置１２がフォロワとなる。

　汎用回線を介して通信を行う通信システムの場合、ネットワーク構成やシステム構成等、データ伝送の環境が大きく変化し易い。そのため、図１のようなステイとフォロワの関係が常に最適であるとは限らない。

　また、映像伝送の同期管理を、ネットワーク回線の同期管理とは全く別に行う方法も考えられるが、その場合、映像伝送の時刻管理と、ネットワーク回線の時刻管理との間の同期をとることが困難であり、より低遅延なデータ伝送を行うことが困難になる恐れがあった。

　［１－２画像伝送システム］
　そこで、より柔軟な同期制御を行うことができるように、映像伝送の同期制御を、ネットワーク回線の同期管理とは別に行い、さらに、それらを連携（同期接続）や独立（同期解除）を制御することができるようにする。

　図３は、画像伝送システムの主な構成例を示すブロック図である。

　図３に示される画像伝送システム１００は、本技術を適用した通信システムである。画像伝送システム１００は、送信装置１０１および受信装置１０２を有し、送信装置１０１から受信装置１０２へ、画像データが符号化された符号化データを伝送するシステムである。図３においては、送信装置１０１および受信装置１０２の同期に関する構成について示してある。

　図３に示されるように、送信装置１０１は、画像用時刻管理部１１１、伝送用時刻管理部１１２、ネットワーク伝送用時刻管理部１１３を有する。また、受信装置１０２は、画像用時刻管理部１２１、伝送用時刻管理部１２２、およびネットワーク伝送用時刻管理部１２３を有する。

　画像用時刻管理部１１１および画像用時刻管理部１２１は、画像データの、垂直同期や水平同期等の、画像用の同期タイミングを管理する。伝送用時刻管理部１１２および伝送用時刻管理部１２２は、画像データの伝送用の同期タイミングの管理と、画像データの符号化や復号に関する処理用（圧縮用）の同期タイミングの管理を行う。ネットワーク伝送用時刻管理部１１３およびネットワーク伝送用時刻管理部１２３は、ネットワーク回線の同期制御を行う。

　この圧縮用の同期タイミングは、図５に示されるような各種遅延量よりなるデータ伝送全体の遅延量がより低減するように、符号化処理や復号処理を行うように、制御される。

　また、伝送用の同期タイミングの管理は、ネットワーク回線の同期情報に基づいて行われる。さらに、画像用の同期タイミングの管理は、伝送用の同期タイミングの管理と同一の時刻精度で行われる。上述したように、画像用の同期タイミングの管理と、伝送用の同期タイミングの管理とは、互いに異なる処理部により行われる。しかしながら、同期タイミングがセットされると、これらの同期タイミングは、同位相で動作し続ける。

　伝送用の同期タイミングの管理は、ネットワーク回線の同期タイミングの管理と関連付けることもできるし、その関連付けを解除することもできる。例えば、伝送用の同期タイミングのみを変更させることもできる。この変更は、ゆっくりと変更しても、一瞬で変更してもよい。なお、伝送用の同期タイミングの「伝送」には、映像（画像データ）の伝送も、音声（音声データ）の伝送も含まれる。

　この同期によってオフセット遅延量を判断すると、伝送用時刻管理部１１２および伝送用時刻管理部１２２は、伝送用の同期タイミングを、ネットワーク回線の同期タイミングと分離させ、関連付けを解消させる。これにより、伝送用の同期タイミングが自走する。なお、このとき、画像用の同期タイミングと伝送用の同期タイミングが同位相のままとすることができる。

　オフセット遅延量がセットされるとすぐに、伝送用時刻管理部１１２および伝送用時刻管理部１２２は、伝送用の同期タイミングを、ネットワーク回線の同期タイミングに関連付ける。伝送用時刻管理部１１２および伝送用時刻管理部１２２は、ネットワーク伝送用時刻管理部１１３やネットワーク伝送用時刻管理部１２３と、同期情報とのやりとりを行い、伝送用の同期タイミングを、ネットワーク回線の同期タイミングに関連付ける。

　以上のように、画像伝送システム１００の同期管理の場合、容易に、ネットワーク回線の同期タイミングと伝送用の同期タイミングとを分離させたり、関連付けたりすることができる。したがって、例えば、ネットワーク回線の同期制御部が送信側にあっても受信側にあっても正常に動作するようにすることができる。

　例えば、図４に示されるように、映像伝送用同期（Video同期）において、受信装置１０２の伝送用時刻管理部１２２（STA2）がステイ（Stay）であり、送信装置１０１の伝送用時刻管理部１１２（STA1）がフォロワ（Timing Follower）である場合、ネットワーク回線の同期（ネットワーク）のステイは、STA1であってもよいし、STA2であってもよい。

　従来のライブ中継を行うカメラシステムでは、カメラとCCU（Camera Control Unit）は光ファイバケーブル、トライアックスケーブルあるいはマルチケーブルと呼ばれる複合ケーブルで接続されていたが、Ethernet（登録商標）やNGN（Next Generation Network）、または無線といった汎用回線に対応させることで、専用回線や衛星回線と比較し、非常に安価であるため、ライブ中継システムの構築が低コストでできる。

　また、ネットワーク上で同期を管理する端末に関係なく、映像同期を制御することが可能になり、シンプルな構成での起動シーケンスを構築することができる。

　さらに、非同期網を通してカメラをGenLockできるため、複数の中継制御局と複数台のカメラで同時中継を行うような場合でも、同一な起動シーケンスで、低遅延で高画質なカメラの画像を伝送できる。

　［１－３同期制御］
　データ伝送の際には、データ伝送開始時に行われる同期処理である初期同期処理や、データ伝送中に行われる同期処理である再同期処理が行われる。これらの同期処理の様子を図６乃至図９に示す。

　図６および図７は、ネットワーク回線の同期管理のステイであるネットワーク管理部が受信装置側にあり、フォロワであるネットワーク受信部が送信装置側にある場合の様子を示している。なお、伝送用の同期管理のステイは、画像を受信する受信装置側にあり、フォロワは、画像を送信する送信装置側にある。つまり、ネットワーク回線の同期管理と、伝送用の同期管理とで、ステイとフォロワの向きが互いに同一である。図６および図７の詳細については後述する。

　［１－４同期制御］
　図８および図９は、ネットワーク回線の同期管理のステイであるネットワーク管理部が送信装置側にあり、フォロワであるネットワーク受信部が受信装置側にある場合の様子を示している。なお、伝送用の同期管理のステイは、画像を受信する受信装置側にあり、フォロワは、画像を送信する送信装置側にある。つまり、ネットワーク回線の同期管理と、伝送用の同期管理とで、ステイとフォロワの向きが互いに逆向きである。図８および図９の詳細については後述する。

　このように、ネットワーク回線の同期管理のステイは、伝送用の同期管理の向きに関わらず、送信側にすることもできるし、受信側にすることもできる。

　より具体的な処理の流れについては、図１０乃至図１５を参照して説明する。

　［１－５初期同期処理の流れ］
　まず、図１０のフローチャートを参照して、送信装置１０１による、より低遅延に映像を同期させるための初期同期処理の流れの例を説明する。必要に応じて図６乃至図９を参照して説明する。

　製品に電源投入されると,Power On Resetがシステム全体に投入され,システムPLLが動作を開始する。初期状態においては、送受信間の回線同期が獲得されていないため、時刻情報を管理するブロックが送受信間の時刻情報を気にせずに電源の立ち上がりで動作を開始する。

　ステップＳ１０１において、送信装置１０１は、ネットワーク伝送用時刻管理部１１３による管理の基、ネットワーク回線の時刻同期を獲得する（図６の場合、処理１５２乃至処理１５８、図８の場合、処理２０１乃至処理２０７、処理２０９）。本機能を実現するために、GPSやIEEE1588といった技術が存在する。

　ステップＳ１０２において、送信装置１０１は、画像入力を開始する。この処理のタイミングは任意である。画像入力を開始することにより、ステップＳ１０３において設定される初期値が判断される。ステップＳ１０３において、送信装置１０１は、画像圧縮エンコーダの初期化を行う。なお、この処理の有無にかかわらず、初期化の設定値が決定されるようにしてもよい。ステップＳ１０４において、送信装置１０１は、入力された画像データの圧縮を開始する。

　ステップＳ１０５において、送信装置１０１は、伝送用時刻管理部１１２の管理の基、映像伝送を開始し、画像データを符号化した符号化データを、汎用回線を含むネットワークを介して受信装置１０２に伝送させる（図６の場合処理１６０、図８の場合処理２１１）。

　ステップＳ１０６において、伝送用時刻管理部１１２は、予め把握している遅延オフセット量をセットする。例えば、前回設定された値を保存しておき（図６の場合処理１５１、図８の場合処理２０８）、その保存された値を再セットする（図６の場合処理１６８、図８の場合処理２２０）。この処理により、送信装置１０１は、初期同期にかかる時間を低減させることができる。なお、このステップＳ１０６の処理は、図１０のシーケンス順に限らないものとする。例えば、図１０のステップＳ１０６の位置よりも前に処理が行われればよい。

　ステップＳ１０７において、伝送用時刻管理部１１２は、受信装置１０２から遅延オフセット量の測定結果の通知を受け取るまで待機する。通知が受け取られると、処理は、ステップＳ１０８に進む。

　ステップＳ１０８において、伝送用時刻管理部１１２の制御に従って、送信装置１０１は、映像のタイミング信号であるVSYNCやHSYNCのタイミングを変更するために、一度入力映像を停止し、映像同期とネットワーク同期との間の同期を外す（図６の場合処理１６５、図８の場合処理２１６）。

　通常の場合、映像圧縮エンコーダは、VSYNCやHSYNCのタイミングが変更されると、事前に把握していた映像データ分が入力されない可能性があるため、一時的に正常動作しない事がある。そのため、映像圧縮エンコーダが耐えられる程度の周波数シフトのみVSYNCやHSYNCのタイミングが機能を有してもよい。

　ステップＳ１０９において、伝送用時刻管理部１１２は、同期獲得位置（SYNC位置）を変更させる（図６の場合処理１６６、図８の場合処理２１７）。ステップＳ１０９の処理により同期獲得位置が変更されると、伝送用時刻管理部１１２は、ステップＳ１１０において、受信装置１０２から通知されるオフセット遅延量を基に、伝送用時刻管理部１１２による映像入力タイミングの再設定（図６の場合処理１９２、図８の場合処理２４２）を行う。なお、この間、ネットワーク同期は維持される。

　ステップＳ１１１において、送信装置１０１は、測定結果に基づく遅延量で映像入力を再開し、映像同期とネットワーク同期とを同期させる。また、送信装置１０１は、映像同期の補正処理を終了して、映像伝送が開始できる環境が整う状態を示す。ただし、映像データが乱れても良い、または、VSYNC，HSYNCの間隔が変更されても対応可能な機能がある場合、リセットを行わなくてもよい。

　ステップＳ１１２において、送信装置１０１は、映像伝送を開始する（図７の場合処理１７４、図９の場合処理２３４）。

　ステップＳ１１３において、伝送用時間管理部１１２に制御される送信装置１０１は、微小なレベルでオフセット遅延量を補正し、その微小なレベルの変化に対応する。つまり、この処理においては、送信装置１０１は、HD-SDI、3D-SDI、HDMI（登録商標）、Display Port等の標準規格映像入出力インタフェースの規格を満たすぐらいのオフセット量を修正する動作を行う（図７の場合処理１７７、処理１８０、および処理１８１（すなわち、処理１９４）、図９の場合処理２３７乃至処理２３９（すなわち、処理２４３））。

　ステップＳ１１４において、送信装置１０１は、受信装置１０２からオフセット遅延量に関するコマンドを受信するか否かを確認する。コマンドが受信された場合、処理は、ステップＳ１１３に戻り、それ以降の処理が繰り返される。また、受信しない場合、初期動作処理が終了する。

　以上のように、送信装置１０１は、映像伝送中も送受信間のわずかな同期ズレを補正するため、受信装置１０２からのコマンドによって送信時間管理を微量補正する。

　［１－６再同期処理の流れ］
　次に、図１１および図１２のフローチャートを参照して、送信装置１０１による再同期処理の流れの例を説明する。例えば、ネットワーク回線トポロジ―を変更する場合、この再同期処理が実行される。

　今までサービスしていた映像伝送の同期とは異なるタイミングで同期獲得処理が必要になった場合、この再同期処理が開始される。

　ステップＳ１３１において、送信装置１０１は、受信装置１０２からの再同期要求を取得する。なお、ネットワーク回線の同期が終了しているものとする。

　ステップＳ１３２において、送信装置１０１は、現状の同期関係とネットワーク回線トポロジ―を変更後の同期関係が異なり、映像伝送の再同期が必要か否かを判断する。再同期が必要でない場合、再同期処理が終了される。

　また、再同期が必要な場合、処理は、ステップＳ１３３に進む。

　ステップＳ１３３において、伝送用時刻管理部１１２により制御される送信装置１０１は、現状の映像伝送の同期がおかしい状態（Error状態）から映像伝送の再同期を決定する。

　ステップＳ１３４において、送信装置１０１は、システム全体を初期化するか否かを判断する。映像伝送の再同期だけでなくシステム全体の再同期が必要であると判定された場合、処理は、図１２のステップＳ１４１に進む。

　また、ステップＳ１３４において、映像伝送の再同期が必要だがシステム全体の初期化処理が必要ないと判定された場合、処理は、ステップＳ１３５に進む。

　ステップＳ１３５において、ネットワーク伝送用時刻管理部１１３により制御される送信装置１０１は、ネットワーク回線の再起動を行うか否かを判定する。物理層の再起動を行う必要がある場合、処理はステップＳ１３６に進む。

　ステップＳ１３６において、ネットワーク伝送用時刻管理部１１３により制御される送信装置１０１は、ネットワーク回線の同期情報を初期化する。ステップＳ１３６の処理が終了すると、処理は図１２のステップＳ１４２に進む。

　また、ステップＳ１３５において、物理層の再起動を行う必要が無いと判定された場合、処理は、ステップＳ１３７に進む。

　ステップＳ１３７において、伝送用時刻管理部１１２により制御される送信装置１０１は、映像伝送の同期タイミングを初期化する。つまり、画像データの符号化処理が初期化される。ステップＳ１３７の処理が終了すると、処理は、図１２のステップＳ１４３に進む。なお、画像データの符号化処理を初期化する代わりに、画像データのフレームのブランク期間を通常よりも短くして、画像データの符号化処理を継続させるようにしてもよい。

　図１２のステップＳ１４１乃至ステップＳ１５２の各処理は、図１０のステップＳ１０３乃至ステップＳ１１４の各処理と同様に実行される。

　ステップＳ１５２において、オフセットとネットワーク遅延量が一致していると判定された場合、処理は、図１１に戻り、再同期処理が終了する。

　以上のようにして、送信装置１０１は、図６乃至図９の各処理を実現する。

　［１－７初期同期処理の流れ］
　次に、受信装置１０２により実行される各種処理について説明する。図１３のフローチャートを参照して、受信装置１０２による、より低遅延に映像を同期させるための初期同期処理の流れの例を説明する。必要に応じて、図６乃至図９を参照して説明する。

　受信装置１０２は、ステップＳ２０１乃至ステップＳ２０３の各処理を、図１０のステップＳ１０１乃至ステップＳ１０３の各処理と同様に行う。ステップＳ２０１の処理によりネットワーク回線が同期獲得することで、ネットワーク回線を掌る時間管理が伝送用時間管理部１１２に関し、送信と同じ時間タイミングを通知する（図６の場合処理１６２、図８の場合処理２１３）。この処理により、送信側でセットされるオフセット遅延量分だけ、送信側の時間管理が進んでいる状態になる。

　ステップＳ２０４において、受信装置１０２は、送信装置１０１から伝送されたパケットを受信し、ネットワーク回線エラーを訂正する処理を開始する。なお、本ステップの時点では、送受信間のネットワーク回線遅延量を測定している段階なので、映像乱れを回避するために、映像復号を開始しない。低遅延のシステムでは、各処理の遅延量を極力削減させているので、ネットワーク回線遅延量のような不確定要因があるのにも関わらず、映像表示させてしまうと映像乱れが発生しやすいためである。

　ステップＳ２０５において、受信装置１０２は、ステップＳ２０４の処理により決定された時刻で映像データの受信を開始する。但し、映像表示は行わない状態のままである。

　ステップＳ２０６において、受信装置１０２は、受信した映像データのパケットに付加されたタイムスタンプ値と受信装置１０２が持っているタイムスタンプ値の差分を比較する。タイムスタンプ値は、ステップＳ２０４において一時的に獲得された時刻レベルでタイムスタンプは動作しており、映像データがパケットをして伝送する直前に、タイムスタンプが付加される。

　ステップＳ２０７において、受信装置１０２は、上記差分情報を統計処理するステップであり、送受信間の遅延量を算出することで、送信側をどれだけオフセット量させるかを把握する（図６の場合処理１６３（処理１９１）、図８の場合処理２１４（処理２４１））。

　ステップＳ２０８において、受信装置１０２は、上記オフセット量がシステム全体として問題ないかを判定する。問題がない場合、処理はステップＳ２０９に進む。

　ステップＳ２０９において、受信装置１０２は、次の起動のために演算されたオフセット遅延量を不揮発性メモリへ書き込む。ステップＳ２０９の処理が終了すると、処理はステップＳ２０５に戻る。

　ステップＳ２０８において、オフセット遅延量が問題ないと判定された場合、処理はステップＳ２１０に進む。ステップＳ２１０において、受信装置１０２は、映像伝送用の同期を獲得する（図７の場合処理１７２、図９の場合処理２３２）。

　ステップＳ２１１において、受信装置１０２は、映像を表示しても乱れないようなシステム設定になったため、映像の表示をOnにする（図７の場合処理１７３、図９の場合処理２３３）。

　ステップＳ２１２において、受信装置１０２は、映像受信を開始する（図７の場合処理１７４、図９の場合処理２３４）。

　ステップＳ２１２の処理が終了すると、初期同期処理が終了する。

　［１－８再同期処理の流れ］
　次に、図１４および図１５のフローチャートを参照して、再同期処理の流れの、他の例を説明する。

　再同期処理が開始されると、受信装置１０２は、ステップＳ２３１において、図１３のステップＳ２０６と同様の処理を行い、初期同期時と変わらない同期タイミングになっているかどうかを監視する。

　ステップＳ２３２において、受信装置１０２は、再同期が必要であるか否かを判定する。再同期が必要でないと判定された場合、処理は、ステップＳ２３１に戻る。

　また、ステップＳ２３２において再同期が必要であると判定された場合、処理は、ステップＳ２３３に進む。

　ステップＳ２３３乃至ステップＳ２３７の各処理は、図１１のステップＳ１３３乃至ステップＳ１３７の各処理と同様に実行される。ただし、ステップＳ２３４においてシステム全体の初期化処理を行うと判定された場合、処理は、図１５のステップＳ２４１に進む。また、図１４のステップＳ２３６の処理が終了した場合、処理は、図１５のステップＳ２４２に進む。さらに、図１４のステップＳ２３７の処理が終了した場合、処理は、図１５のステップＳ２４３に進む。

　図１５のステップＳ２４１乃至ステップＳ２５０の各処理は、図１３のステップＳ２０３乃至ステップＳ２１２の各処理と同様に実行される。

　以上のようにして、受信装置１０２は、図６乃至図９の各処理を実現する。

　つまり、送信装置１０１および受信装置１０２は、ネットワーク回線の同期管理のステイと、伝送用の同期管理のステイとが一致する場合もしない場合も同様に、容易に同期制御を行うことができる。

　［１－９システム構成変化］
　以上のような柔軟な同期制御を実現することにより、システム構成の変化にも容易に対応することができるようになる。図１６は、システム構成変化の例を説明する図である。

　例えば、図１６のスター型ネットワーク環境において、通信装置STA1から通信装置STA2へ映像伝送するシステムを考える。

　サービス開始時点では、通信装置STA1と通信装置STA2の間で画像伝送が行われ、その画像転送中に、新たな通信装置STA3および通信装置STA４がシステムに接続されるとする。

　図１６の例の場合、スター型トポロジにおいて、サービススタート時点では、ネットワーク管理部（STA）は、通信装置STA1である（Case1）。この場合、STA1-STA2間の画像伝送手順のやりとりは図８および図９のとおりである。

　その後、通信装置STA3や通信装置STA4が接続されることによって、トポロジが修正され、ネットワーク管理部（STA）が通信装置STA1から通信装置STA2に変更されるとする。この場合、STA1-STA2間の画像伝送手順のやりとりは図６および図７のとおりである。

　このように、画像伝送システム１００の送信装置１０１および受信装置１０２は、サービス中においても、トポロジの変化を把握し、容易に、変更するネットワーク管理部に応じて転送処理手順を変更することができる。

　ネットワーク管理部においては、本実施例に限らないものとする。各リンクのネットワーク管理部は、トポロジの変更だけでなく、ネットワークの負荷やトポロジ、時々刻々と変化するネットワークトラフィックに応じ変更してもよい。

　図１７は、システム構成変化の他の例を説明する図である。図１７のＡに示されるメッシュ型ネットワーク環境において、STA1からSTA2へ映像伝送するシステムを考える。それぞれのリンクにおいて、ネットワーク管理部（STA）は、STA1-STA3間ではSTA1、STA1-STA4間ではSTA1、STA3-STA4間ではSTA3、STA3-STA2ではSTA3、STA4-STA2間ではSTA4が選択された例とする。

　本環境において、STA1からSTA2へ映像データを送信する。STA1からSTA2への伝送経路は図３２のとおり、Case1とCase2がある。ネットワークの経路選択方法として、Proactive方式とReactive方式があるが、本実施例では、Proactive方式を用いて、まず、経路選択をCase1に設定する。なお、経路選択とネットワーク管理部による時間管理は異なるものとする。Case１に伝送経路が選択された状態において、STA3ーSTA4間の画像伝送手順のやりとりは図８および図９のとおりである。本動作中またはサービスが終了時点で、Proactive方式による経路選択が行われ、今度はCase2が選択されたとする。Case2の場合、図１７の画像転送手順を行う。

　このように、本技術は、同じトポロジにおいても、選択される伝送経路に応じて転送処理手順を変更することが可能となる。

　ネットワーク管理部においては、本実施例に限らないものとする。各リンクのネットワーク管理部はネットワークの負荷やトポロジ、時々刻々と変化するネットワークトラフィックに応じ変更してもよいものとする。

　ネットワークの経路選択方法として、Proactive方式を例に説明を行ったが、Reacive方式でも良いもとする。または両方を用いてもよい。

　さらに、Proactive方式は常に最適な経路選択を行うための試みをしており、突然、Case2に変更されるケースも想定する。

　［１－１０判定処理の流れ］
　また、以上のようなネットワーク構成等、環境の変化を検出し、その変化に応じて、ネットワーク回線の同期制御について、自身をステイとするかフォロワとするかを判定するようにしてもよい。

　図１８のフローチャートを参照して、判定処理の流れの例を説明する。ここでは、送信装置１０１が実行する場合について説明する。

　判定処理が開始されると、送信装置１０１は、ステップＳ３０１において、ネットワークに接続された通信相手を把握する。ステップＳ３０２において、送信装置１０１は、ネットワーク管理に関する情報を通信相手と交換する。

　その情報に基づいて、送信装置１０１は、ステップＳ３０３において、ネットワーク回線の同期について、自身をステイとするか否かを判定する。ステイとすると判定された場合、処理は、ステップＳ３０４に進む。

　ステップＳ３０４において、送信装置１０１は、ネットワーク同期をステイに設定する。ステップＳ３０４の処理が終了すると、判定処理が終了する。

　また、ステップＳ３０３において、自身をステイとしないと判定された場合、処理はステップＳ３０５に進む。

　ステップＳ３０５において、送信装置１０１は、ネットワーク同期をフォロワに設定する。ステップＳ３０５の処理が終了すると、判定処理が終了する。

　以上のように判定処理を行うことにより、送信装置１０１は、システム構成の変化に応じて柔軟にステイ（フォロワ）の設定を行うことができる。なお、受信装置１０２が実行する場合、この送信装置１０１が実行する場合と基本的に同様の処理が行われる。つまり、受信装置１０２も、送信装置１０１と同様に、システム構成の変化に応じて柔軟にステイ（フォロワ）の設定を行うことができる。

　以上のような同期制御は、画像データを伝送するシステムであれば、任意のシステムに適用することができる。例えば、以下に説明するような、遅延量をより低減させるようにFEC処理の遅延制御を行うシステムにも適用することができる。

　＜２．第２の実施の形態＞
　［２－１遅延比率例］
　従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。

　ネットワークを介して画像データを送受信する場合、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である。

　例えば、画像圧縮処理の最も知られた手法として、MPEG（Moving Pictures Experts Group）と呼ばれる圧縮技術がある。MPEG圧縮技術を用いる場合、MPEG圧縮技術により生成されたMPEGストリームがIP（Internet Protocol）に従ったIPパケットに格納され、ネットワーク経由で配信される。そして、MPEGストリームは、PC（Personal Computer）やPDA（Personal Digital Assistants）、携帯電話などの通信端末を用いて受信され、各端末の画面上に表示される。

　このような状況の中、画像データの配信を主目的とする例えばビデオオンデマンドやライブ映像の配信、あるいはビデオ会議、テレビ電話などのアプリケーションにおいては、ネットワークのジッタによって送信側のデータが全て受信側へ到達しない環境や、異なる能力を持つ端末に画像データが受信される環境があり、それらの環境を想定する必要がある。

　例えば、１つの送信源から送信される画像データは、携帯電話などの解像度の低いディスプレイと処理能力の低いCPU（Central Processing Unit）を有する受信端末によって受信され、表示される可能性がある。また、それと同時に、デスクトップPCのように高解像度のモニタと高性能のプロセッサを有する受信端末によって受信され、表示される可能性もある。

　このように、ネットワーク接続環境によって、パケット受信状況が異なることを想定する場合、例えば送受信するデータの符号化を階層的に実行する、階層符号化と呼ばれる技術が利用される。階層符号化された画像データにおいては、例えば高解像度のディスプレイを有する受信端末向けの符号化データ、及び低解像度のディスプレイを有する受信端末向けの符号化データが選別して保持され、受信側で画像サイズや画質を適宜変更することができる。

　階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4とJPEG（Joint Photographic Experts Group）2000によるビデオストリームが挙げられる。MPEG4では、FGS（Fine Granularity Scalability）技術が標準規格として取り込まれプロファイル化される予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。

　また、ウェーブレット（Wavelet）変換を基盤とするJPEG2000では、ウェーブレット変換の特徴を生かして空間解像度をベースにパケットを生成し、または画質をベースに階層的にパケットを生成することが可能である。また、JPEG2000では、静止画だけではなく動画を扱えるMotion JPEG2000（Part3）規格により、階層化したデータをファイルフォーマットで保存することが可能である。

　さらに、階層符号化を適用したデータ通信の具体案として提案されているものとして、離散コサイン変換（DCT（Discrete Cosine Transform））を基盤とするものがある。これは通信対象の例えば画像データをDCT処理し、DCT処理により高域と低域とを区別して階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ通信を実行する方法である。

　このような階層符号化された画像データを配信する場合、一般的には即時性（リアルタイム性）が要求されるが、現状ではリアルタイム性よりも大画面・高画質の表示が優先される傾向がある。

　画像データの配信においてリアルタイム性を確保するためには、IPベースの通信プロトコルとして、通常はUDP（User Datagram Protocol）が用いられる。さらに、UDPの上のレイヤにおいてはRTP（Real-time Transport Protocol）が用いられる。RTPパケットに格納されるデータフォーマットは、アプリケーションごと、即ち符号化方式ごとに定義された個々のフォーマットに従う。

　また、通信ネットワークとしては、無線または有線によるLAN、光ファイバー通信、xDSL、電力線通信、またはCo-axといった通信方式が用いられる。これらの通信方式は年々高速化しているが、それを送信する画像コンテンツも高画質化している。

　例えば、現在主流になっているMPEG方式またはJPEG2000方式における代表的なシステムのコード遅延（符号化遅延＋復号遅延）は２ピクチャ以上であり、これでは画像データ配信における十分な即時性（リアルタイム性）が確保されているとは言い難い。

　そこで、近日、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックと称する）ごとに画像を符号化することで遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックと称する）が提案され始めている。

　ラインベース・コーデックの利点としては、低遅延のほか、画像圧縮の１単位で取り扱う情報が少ないことにより、高速処理やハードウエア規模の低減が可能といった利点がある。

　例えば、特許文献１には、ラインベース・コーデックに基づく通信データについて、ラインブロックごとに適切に欠落データの補完処理を行う通信装置が記載されている。

　また、特許文献２には、ラインベース・コーデックを用いる場合の遅延の低減と処理の効率化を図った情報処理装置が記載されている。

　さらに、特許文献３には、ラインベース・ウェーブレット変換された画像データの低周波数成分を伝送することにより画質の劣化を抑える送信装置が記載されている。

　ラインベース・コーデックの利用により、高画質・低遅延伝送が行えるようになったため、今後、ライブ中継を行うカメラシステムへの適用が期待されている。

　しかしながら、画像データはデータ量が多い。そのた画像像データの伝送を、Ethernet（登録商標）やNGN（Next Generation Network）、または無線といった汎用回線を介して行うようにすると、遅延量の増大により、画像データ伝送の即時性（リアルタイム性）が損なわれる恐れがある。

　特に、例えば、ライブ中継等を行うカメラシステムにおいては、データ伝送の即時性に対する要求が高い。しかしながら、高画質な動画像データの伝送が行われるため、データ量は多い。そのため、汎用回線を介したデータ伝送では、即時性が破綻する可能性がさらに高くなる。

　さらに、汎用回線に対応させるために回線上のエラーをある程度想定したシステム構成を構築する必要がある。専用回線の場合、帯域の制御をローカルに行うことができるが、汎用回線の場合、回線の安定性が保証されていないので、このエラー対策は、事実上必須となる。しかしながら、このような機能追加は、さらなる遅延の発生を招く恐れもある。

　図１９は、特許文献２に記載のシステムにおけるデータ伝送の遅延比率を示している。このシステムにおいては、低遅延を実現するために、バッファ遅延量が、送信側と受信側シェアされている。ラインベース・コーデックはピクチャベース・コーデックに比べて、演算に費やせる時間が極端に少ない。そこで、送信バッファ待機時間＋受信バッファ待機時間を一定とし、難しい画像データの符号化を行う場合、送受信バッファの待機時間の比率を変更し、送信に費やすバッファ待機時間を増やして、受信バッファの待機時間をその分減らすように制御する。送信バッファ待機時間が長くなることで難しい画像によって発生した一時的な大量なデータをシステム遅延的には吸収することができる。Case1乃至Case3は、映像データのメモリ蓄積量の多さによって場合分けした遅延比率の例を示したものである。ケース１（Case1）が、メモリ蓄積量（伝送データ量）が最も多い場合の遅延比率を示しており、ケース３（Case3）が、メモリ蓄積量（伝送データ量）が最も少ない場合の遅延比率を示している。

　しかしながら、コーデックだけで低遅延を実現するのには限度があり、同図のような低遅延環境においては、システム全体の様々な機能において低遅延を実現させるノウハウが必要となる。例えば、図１９のＡの回線遅延において、多少の回線エラーを回復させるような機能として、パケット消失回復機能を実装する環境を考える。

　一般的には、パケット訂正機能には、ビットエラー訂正を行う内符号と、ブロック分の訂正や消失回復機能として使われる外符号の２種類が存在する。本明細書では説明を分かりやすくするため、外符号を用いて説明する。外符号は、パケット単位または一定のブロック単位で処理が行われることが多い。外符号には、例えば、リードソロモン符号、LDPC（Low Density Parity Check）符号、ハミング符号、BCH（Bose-Chaudhuri-Hocquenghem）符号、Raptor符号、およびLT（Luby Transform）符号（商標）などがある。図１９のＡにおいて、パケット消失回復機能を低遅延な期間だけ処理を行わせる方法について考える。勿論、ブロック符号の方式は任意である。

　まず、コーデックが持つデータ量と遅延量の特徴について考えてみる。送信側において、伝送データ量が多い場合、符号化データは、かなり小さい遅延量の範囲で所定時間遅らせて送信される。これに対して、伝送データ量が少ない場合、符号化データは、略遅らせられることなく送信される。つまり、送信側においては、伝送データ量に応じた時間（送信バッファ待機時間）、送信される符号化データがバッファに保持される。

　受信側においては、デコードを行う時点でデータが揃っている必要がある。そのため、次のプレシンクトのデータ量が多い可能性を考慮して、送信バッファ待機時間＋受信バッファ待機時間を一定にするように、デコード開始時刻が制御される。つまり、受信側においては、送信バッファ待機時間に応じた時間（受信バッファ待機時間）、受信された符号化データがバッファに保持される。

　図１９のＢは、ブロック符号であるFEC（Forward Error Correction）を適応させた場合の動作を実施例として記載している。ブロック符号は予め決められたブロック数毎に処理を行うため、そのブロック分のデータを受信するまで受信側で待機するのが一般的である。

　受信側では、一定のブロック（またはパケット）分の符号化データを受信した後、パリティを受信して始めてError Correction処理を行う。よって、必然的に受信側は、送信側の誤り訂正パリティ挿入期間と同等の期間を待機する必要がある。

　符号化処理を行うシステムの場合、上述したように送信バッファ待機時間が発生する。つまり、伝送データ量が多いものほど必要なブロック分のデータが揃う。そのため、送信側においては、FEC処理時間は小さくなり、伝送データ量が少ないものほどFEC処理時間が長くなる傾向にある。例えば、図１９のＢのCase1のFEC処理待機時間はCase3の処理時間よりも短い傾向が高い。

　つまり、FEC処理を含まない回線遅延が各ケースで一致している場合、Case1のシステム遅延の合計は１２になり、Case2では１５になり、Case3では１８となる。つまり、伝送データ量が少なくなると、システム全体の遅延量が増大してしまう恐れがあった。

　［２－２画像伝送システム］
　そこで、FEC処理待機時間を送信側で適切に制御し、このような遅延時間の増大を抑制するようにする。

　図２０は、本技術を適用した画像伝送システムの主な構成例と、その遅延比率の例を説明する図である。

　図２０のＡに示される画像伝送システム１１００は、本技術を適用した画像処理システムであり、送信装置１１０１および受信装置１１０２を有し、画像データを符号化した符号化データを、汎用回線を含む任意のネットワークを介して、送信装置１１０１から受信装置１１０２に伝送するシステムである。

　送信装置１１０１は、本技術を適用した画像処理装置であり、入力された符号化データを受信装置１１０２に送信する。図２０のＡに示されるように、送信装置１１０１は、画像用送信バッファ１１１１および誤り訂正ブロック長生成部１１１２を有する。

　画像用送信バッファ１１１１は、画像データを符号化する前段の処理部（図示せず）から入力された符号化データを蓄積し、所定のタイミングにおいて誤り訂正ブロック長生成部１１１２に供給する。この符号化データを蓄積する時間が送信バッファ待機時間（送信バッファ遅延）である。

　誤り訂正ブロック長生成部１１１２は、供給された符号化データにパリティを付加し、受信装置１１０２に送信する。この誤り訂正ブロック長生成部１１１２の処理時間が誤り訂正パリティ挿入期間である。

　受信装置１１０２は、本技術を適用した画像処理装置であり、送信装置１１０１から伝送された符号化データを受信する。図２０のＡに示されるように、受信装置１１０２は、誤り訂正待機バッファ１１２１と画像用受信バッファ１１２２を有する。

　誤り訂正待機バッファ１１２１は、誤り訂正処理単位の符号化データ、すなわち、所定のパケット（ブロック）分とパリティを受信するまで、受信した符号化データを保持する。データが揃うと、誤り訂正待機バッファ１１２１は、誤り訂正処理を行い、訂正後の符号化データを画像用受信バッファ１１２２に供給する。この符号化データを保持する時間が、誤り訂正遅延である。

　画像用受信バッファ１１２２は、復号処理が開始される所定のタイミングまで、供給された符号化データを保持し、そのタイミングになると、保持している符号化データを、復号処理を行う後段の処理部（図示せず）へ供給する。この符号化データを保持する時間が受信バッファ待機時間（受信バッファ遅延）である。

　このような画像伝送システム１１００において、受信バッファ待機時間（Decode）とFEC受信遅延時間（FEC Rx）が一致するようなFEC処理量を考えてみる。なお、図２０において、システム全体の遅延時間は、送信バッファ待機時間（Encode）と受信バッファ待機時間（Decode）の合計が１０になるように分配されている。

　したがって、送信バッファ待機時間（Encode）から受信バッファ待機時間（Decode）の見積もりが可能である。つまり、送信装置１１０１において、受信装置１１０２の受信バッファ待機時間（Decode）を推定することができる。

　また、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）の範囲内にすれば、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）とは別に用意して待機するのではなく、受信バッファ待機時間（Decode）に含めることができる。つまり、誤り訂正待機バッファ１１２１が、画像用受信バッファ１１２２において必要な待機時間を利用してFEC処理を行うようにすることにより、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）に含めることができ、システム全体の遅延量を低減させることができる。

　さらに、このFEC受信遅延時間（FEC Rx）は、誤り訂正ブロック長生成部１１１２において設定されるブロック長により決定される。つまり、送信装置１１０１は、FEC受信遅延時間（FEC Rx）を設定することができる。

　そこで、送信装置１１０１の誤り訂正ブロック長生成部１１１２が、画像用送信バッファ１１１１における送信バッファ待機時間（Encode）に基づいて、FECブロックのブロック長を定めることにより、受信バッファ待機時間（Decode）を超えないように、FEC受信遅延時間（FEC Rx）を制御するようにする。

　例えば、図２０のＢに示されるCase1の場合、送信バッファ待機時間（Encode）の割合が１０なので、受信バッファ待機時間（Decode）の割合は、０である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）ができるだけ短くなるように、ブロック長を設定する。同図において、Case1の(２)はFECによる遅延時間であるが、括弧は実際には遅延にはならない。送信側では図２３のとおり、パリティしか挿入しないため、実質の遅延にはならず、受信側で割合２の分だけ、FECが待機してからデコードを開始するため、受信バッファ待機時間が２の分だけ遅延する。

　ただし、この場合、FEC受信遅延時間（FEC Rx）内に、FEC受信処理を終了させることは不可能である。しかしながら、送信バッファ待機時間（Encode）の割合が１０となるのは、符号化データのデータ量が伝送路の帯域を超えてしまい、送信側で待ちが発生している状態である。つまり、伝送データ量が多過ぎて、ブロック符号を行う上での送信処理遅延（すなわち、受信処理遅延）は非常に小さくなることが予想される。したがって、この場合、FEC受信遅延時間（FEC Rx）を追加しても、送信バッファ待機時間（Encode）と受信バッファ待機時間（Decode）との和がわずかに増大する程度であり、システム全体の遅延量としての影響は非常に少ない。

　また、図２０のＢのCase2の場合、受信バッファ待機時間（Decode）の割合は５である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）が５以下となるように、ブロック長を設定する。

　さらに、図２０のＢのCase3の場合、受信バッファ待機時間（Decode）の割合は１０である。そのため、誤り訂正ブロック長生成部１１１２は、FEC受信遅延時間（FEC Rx）が１０以下となるように、ブロック長を設定する。

　以上のように、FEC受信遅延時間（FEC Rx）を受信バッファ待機時間（Decode）と共通化することにより、画像伝送システム１１００は、システム全体の遅延時間を低減させることができる。

　また、そのような制御を、送信装置１１０１が単独で行うことができる。つまり、この制御を実現するために、受信装置１１０２と情報を授受する必要がない。また、受信装置１１０２による特別な制御も不要である。つまり、送信装置１１０１は、容易に、システム全体の遅延時間を低減させることができる。

　なお、画像の種類によって送信バッファ待機時間（Encode）は変動するが、その変動幅の中で最長の送信バッファ待機時間（Encode）（つまり、受信バッファ待機時間（Decode）が最短となる場合）を基にFECブロック長（FEC受信遅延時間（FEC Rx））決定すればよい。

　以上のような画像伝送システム１１００において、送信装置１１０１に、上述した画像伝送システム１００の送信装置１０１のように同期タイミングの管理を実行させることにより、画像データ伝送における映像同期をより容易に制御することができ、より容易に遅延時間を抑制することができるようになる。また、受信装置１１０２についても同様である。つまり、受信装置１１０２に、上述した画像伝送システム１００の受信装置１０２のように同期タイミングの管理を実行させることにより、画像データ伝送における映像同期をより容易に制御することができ、より容易に遅延時間を抑制することができるようになる。

　＜３．第３の実施の形態＞
　［３－１画像処理システム］
　なお、以上に説明した本技術は、図２０に示される構成のシステムに限らず、即時性が要求される画像データ伝送が行われる任意のシステムに適用することができる。したがってシステムの構成や用途は任意である。

　例えば、スポーツ中継やイベント中継等を行うカメラシステムにも適用することができる。このようなカメラシステムにおいては、複数のカメラ（撮像装置）により撮像されて得られた画像データが、カメラコントロールユニット（CCU（Camera Control Unit））の制御により伝送される。

　図２１は、本技術を適用した画像処理システムの主な構成例を示す図である。図２１に示される画像処理システム１２００は、本技術を適用したカメラシステムである。画像処理システム１２００は、撮像装置１２０１－１乃至撮像装置１２０１－３、並びに、CCU１２０２を有する。撮像装置１２０１－１乃至撮像装置１２０１－３は、CCU１２０２の制御により、汎用回線であるネットワーク１２１０を介してCCU１２０２と通信を行うことができ、例えば、画像や音声の符号化データを授受したり、制御データを授受したりすることができる。

　撮像装置１２０１－１乃至撮像装置１２０１－３を互いに区別して説明する必要が無い場合、単に撮像装置１２０１と称する。なお、図２１においては、３台の撮像装置１２０１が設けられているが、画像処理システム１２００は、任意の台数の撮像装置１２０１を有することができる。

　例えば、CCU１２０２の制御により、撮像装置１２０１－１において得られた画像や音声の符号化データは、ネットワーク１２１０を介してCCU１２０２に伝送される。この符号化データは、例えばCCU１２０２において復号され、画像データや音声データとして、例えば編集装置や中継装置等の、図示せぬ後段の情報処理装置に伝送される。

　また、撮像装置１２０１は、撮像装置１２０１のユーザ（つまり撮影者）が撮像画像や放送画像を確認するためのモニタ（表示部）やスピーカ等を有しており、CCU１２０２から伝送された符号化データを復号し、画像をそのモニタに表示したり、音声をスピーカから出力したりすることができる。

　したがって、CCU１２０２は、例えば、撮像装置１２０１－１から伝送された符号化データ（矢印１２２１）を、撮像装置１２０１－１に戻したり（矢印１２２２）、他の撮像装置１２０１である撮像装置１２０１－２や撮像装置１２０１－３に伝送したりすることができる（矢印１２２３および矢印１２２４）。

　このようなデータ伝送においては、動画像表示や音声出力が破綻しないように、即時性が要求される。第１の実施の形態において説明したような本技術を適用することにより、データ伝送全体の遅延時間を低減させることができるので、動画像表示や音声出力の破綻を抑制することができる。

　［３－２撮像装置］
　図２２は、図２１の撮像装置１２０１の主な構成例を示すブロック図である。図２２に示されるように、撮像装置１２０１は、撮像部１３０１、送信部１３０２、受信部１３０３、および表示部１３０４を有する。

　撮像部１３０１は、被写体を撮像し画像データや音声データを生成する。撮像部１３０１は、生成した画像データや音声データを送信部１３０２に供給する。

　送信部１３０２は、撮像部１３０１から供給された画像データ（ビデオ信号入力）や音声データ（音声信号入力）を取得して符号化する。送信部１３０２は、生成した符号化データをCCU１３０２等に送信する。

　受信部１３０３は、CCU１２０２等から伝送される画像や音声の符号化データを受信し、受信した符号化データを復号して、画像データや音声データを抽出し、表示部１３０４に供給する。

　表示部１３０４は、画像を表示するモニタや音声を出力するスピーカを有する。表示部１３０４は、受信部１３０３から供給される画像データ（ビデオ信号出力）の画像をモニタに表示する。また、表示部１３０４は、受信部１３０３から供給される音声データを（音声信号出力）の音声をスピーカより出力させる。

　図２２に示されるように、送信部１３０２は、ビデオ符号化部１４０１、パケット生成部１４０２、待機時間解析部１４０３、オーディオ符号化部１４０４、パケット生成部１４０５、および待機時間解析部１４０６を有する。また、送信部１３０２は、多重化部１４０７、FECパリティ生成部１４０８、RTPパケット生成部１４０９、および、FECブロック長制御部１４５０を有する。さらに、送信部１３０２は、非同期伝送路インタフェース（I/F）１５０１、回線制御同期タイミング調整部１５１０、およびタイムスタンプ生成部１５１１を有する。

　なお、クロック生成部１５１２および同期信号発生部１５１３は、送信部１３０２に含まれない。また、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０は、受信部１３０３と共有している。

　ビデオ符号化部１４０１は、撮像部１３０１から出力されたビデオ信号を符号化し、パケット生成部１４０２に供給する。パケット生成部１４０２は、供給された符号化データに画像ヘッダを付加してパケット化する。

　パケット生成部１４０２は、また、符号化データのパケットに、メディアに同期したタイムスタンプ（映像制御レイヤ同期用タイムスタンプ）を付加する。パケット生成部１４０２は、符号化データのパケットを待機時間解析部１４０３に供給する。

　待機時間解析部１４０３は、ビデオデータのパケットが、ビデオ符号化部１４０１にある送信バッファにどの程度の期間保持されているかを、パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて判定する。そして、待機時間解析部１４０３は、その判定結果に基づいて、受信バッファ待機時間（Decode）を推定する。待機時間解析部１４０３は、推定した受信バッファ待機時間（Decode）をFECブロック長制御部１４５０に供給し、それ以外のデータを多重化部１４０７に供給する。

　オーディオ符号化部１４０４は、撮像部１３０１から出力されたオーディオ信号を符号化し、パケット生成部１４０５に供給する。パケット生成部１４０５は、供給された符号化データに音声ヘッダを付加してパケット化する。

　パケット生成部１４０５は、また、符号化データのパケットに、メディアに同期したタイムスタンプ（映像制御レイヤ同期用タイムスタンプ）を付加する。パケット生成部１４０５は、符号化データのパケットを待機時間解析部１４０６に供給する。

　待機時間解析部１４０６は、音声データのパケットが、オーディオ符号化部１４０４にある送信バッファにどの程度の期間保持されているかを、パケットに付加された映像制御レイヤ同期用タイムスタンプに基づいて判定する。そして、待機時間解析部１４０６は、その判定結果に基づいて、受信バッファ待機時間（Decode）を推定する。待機時間解析部１４０６は、推定した受信バッファ待機時間（Decode）をFECブロック長制御部１４５０に供給し、それ以外のデータを多重化部１４０７に供給する。

　多重化部１４０７は、ビデオデータのパケットと音声データのパケットを多重化し、１本のストリームとする。

　FECブロック長制御部１４５０は、待機時間解析部１４０３や待機時間解析部１４０６から供給された受信バッファ待機時間（Decode）よりも短くなるように、FEC受信遅延時間（FEC Rx）を設定する。そして、FECブロック長制御部１４５０は、このようなFEC受信遅延時間（FEC Rx）を実現するようにFECブロック長を設定する。FECブロック長制御部１４５０は、設定したFECブロック長を示す情報をFECパリティ生成部１４０８に供給する。

　FECパリティ生成部１４０８は、多重化部１４０７から供給された、パケット化された符号化データを、FECブロック長制御部１４５０により設定されたFECブロック長分取得すると、パリティを挿入する。FECブロックは、パリティを受信して始めてデータの訂正を行えるため、FEC復号部は、予め決められたブロック長まで（パリティデータの受信が終了するまで）待機し、それから演算を行う。

　図２３にFECデータ伝送の概念図を示す。FECパリティ生成部１４０８は、FECブロック長制御部１４５０により設定されたブロック長分のデータを送信するとパリティを挿入する。図２３の例の場合、アプリケーションデータに相当するデータ４つに２つのパリティが生成されている。FEC復号部はデータ１から受信を開始し、パリティ２までを受信して始めてFEC復号処理を行うため、ブロック長を受信する時間分だけ待機する必要がある。

　FECパリティ生成部１４０８は、パリティを挿入すると、それらのデータをRTPパケット生成部１４０９に供給する。

　RTPパケット生成部１４０９は、RTPパケットを生成する。また、タイムスタンプ生成部１５１１は、回線制御同期タイミング調整部１５１０の制御にしたがって、回線制御レイヤ同期用タイムスタンプを生成する。RTPパケット生成部１４０９は、RTPパケットに回線制御レイヤ同期用タイムスタンプを付加する。RTPパケット生成部１４０９は、生成したRTPパケットを非同期伝送路インタフェース（I/F）１５０１に供給する。

　非同期伝送路インタフェース１５０１は、RTPパケットに、UDPヘッダやIPヘッダを付加することにより、IPパケットを生成する。非同期伝送路インタフェース１５０１は、生成したIPパケットを撮像装置１２０１の外部に出力し、CCU１２０２に伝送させる。

　また、図２２に示されるように、受信部１３０３は、非同期伝送路インタフェース（I/F）１５０１、回線制御同期タイミング調整部１５１０、クロック生成部１５１２、および同期信号発生部１５１３を有する。また、受信部１３０３は、RTPパケット復号部１６０１、タイムスタンプ復号部１６０２、逆多重化部１６０３、FEC復号部１６０４、デパケタイザ１６０５、およびビデオ復号部１６０６を有する。さらに、受信部１３０３は、FEC復号部１６０７、デパケタイザ１６０８、およびオーディオ復号部１６０９を有する。

　なお、タイムスタンプ生成部１５１１は、受信部１３０３に含まれない。また、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０は、送信部１３０２と共有している。もちろん、送信部１３０２および受信部１３０３が、これらの処理部を共有せずに、それぞれ、非同期伝送路インタフェース（I/F）１５０１および回線制御同期タイミング調整部１５１０を有するようにしてもよい。

　CCU１２０２から伝送されてきたリターンビデオデータパケットやオーディオデータパケット、コマンドデータパケットは、非同期伝送路インタフェース（I/F）１５０１を介して、RTPパケット復号部１６０１により、IPヘッダやRTPヘッダの確認が行われる。次に、映像や音声のデータが含まれるRTPヘッダがタイムスタンプ復号部１６０２に供給され、RTPヘッダの後に付加された回線制御レイヤ同期用タイムスタンプのみクロック生成部１５１２へ送信される。

　逆多重化部１６０３は、画像データと音声データとを分離する。FEC復号部１６０４は、画像データのパケットに対してFEC復号処理を行う。FEC復号部１６０４は、FECパリティ生成部１４０８において付加されたパリティを用いて、誤ったパケットまたは消失したパケットを復元する。タイムスタンプはカメラでクロックや同期信号を発生させる為に使用される。

　デパケタイザ１６０５は、FEC復号された画像データのパケットに対して、デパケタイズする。ビデオ復号部１６０６は、デパケタイズされて得られた画像データの符号化データを復号し、それをビデオ信号出力として表示部１３０４に供給する。

　同様に、FEC復号部１６０７は、音声データのパケットに対してFEC復号処理を行う。FEC復号部１６０７は、FECパリティ生成部１４０８において付加されたパリティを用いて、誤ったパケットまたは消失したパケットを復元する。タイムスタンプはカメラでクロックや同期信号を発生させる為に使用される。

　デパケタイザ１６０８は、FEC復号された音声データのパケットに対して、デパケタイズする。オーディオ復号部１６０９は、デパケタイズされて得られた音声データの符号化データを復号し、それを音声信号出力として表示部１３０４に供給する。

　［３－３パケット構成例］
　図２４は、パケットの構成例を説明する図である。図２４では、１つのIPパケットの内部構成が図２４の４段階に分けて示されている。一番上の段において、IPパケットは、IPヘッダ及びIPデータから構成される。IPヘッダには、例えば宛先IPアドレスなどのIPプロトコルに基づく通信経路の制御に関する制御情報などが含まれる。

　IPデータは、さらにUDPヘッダ及びUDPデータから構成される。UDPは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、OSI参照モデルのトランスポート層のプロトコルである。UDPヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。

　UDPデータは、さらにRTPヘッダ及びRTPデータから構成される。RTPヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。また、RTPヘッダのサブ情報として、回線制御レイヤ同期用タイムスタンプを用意し、回線環境の遅延やジッタ量を時間情報から把握できるようにする。

　RTPデータは、画像データのヘッダ（以下、画像ヘッダという。）及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される。また、画像ヘッダのサブ情報として、映像制御レイヤ同期用タイムスタンプを用意し、FECブロック長制御部１４５０で判断すべきブロック長の情報や、同期獲得タイミングを高い精度で判断できるような情報を持つ。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などを含むことができる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。

　なお、CCU１２０２も送信部１３０２や受信部１３０３と同様の構成を有する。例えば、撮像装置１２０１の送信部１３０２から送信されたパケットは、ネットワーク１２１０を伝送して、CCU１２０２の受信部１３０３により受信される。また、例えば、CCU１２０２の送信部１３０２から送信されたパケットは、ネットワーク１２１０を伝送して、撮像装置１２０１の受信部１３０３により受信される。

　つまり、例えば、送信部１３０２が第１の実施の形態の送信装置１１０１に対応し、受信部１３０３が第１の実施の形態の受信装置１１０２に対応する。

　また、例えば、送信部１３０２においては、ビデオ符号化部１４０１およびパケット生成部１４０２が、画像用送信バッファ１１１１に対応し、待機時間解析部１４０３、FECブロック長制御部１４５０、およびFECパリティ生成部１４０８が、誤り訂正ブロック長生成部１１１２に対応する。

　さらに、例えば、受信部１３０３においては、FEC復号部１６０４が誤り訂正待機バッファ１１２１に対応し、デパケタイザ１６０５やビデオ復号部１６０６が画像用受信バッファ１１２２に対応する。

　つまり、FECブロック長制御部１４５０が、FEC復号部１６０４におけるFEC受信遅延時間（FEC Rx）を、ビデオ復号部１６０６による受信バッファ待機時間（Decode）よりも短くするように、FECブロック長を設定する。このようにすることにより、送信部１３０２は、容易に、画像データの伝送において発生する遅延時間を低減させることができる。

　［３－４送信処理の流れ］
　図２５のフローチャートを参照して、送信処理の流れの例を説明する。

　送信処理が開始されると、ステップＳ１００１において、ビデオ符号化部１４０１は、ビデオ信号を符号化する。また、オーディオ符号化部１４０４は、音声信号を符号化する。

　ステップＳ１００２において、パケット生成部１４０２は、ビデオ信号が符号化された符号化データをパケット化する。パケット生成部１４０５は、音声信号が符号化された符号化データをパケット化する。

　ステップＳ１００３において、パケット生成部１４０２は、映像制御冷夏同期用タイムスタンプを付加する。

　ステップＳ１００４において、待機時間解析部１４０３は、ビデオ信号のパケットについて、待機時間を求める。また、待機時間解析部１４０６は、音声信号のパケットについて、待機時間を求める。

　ステップＳ１００５において、FECブロック長制御部１４５０は、ステップＳ１００４において算出された待機時間に基づいてFECブロック長を設定する。

　ステップＳ１００６において、多重化部１４０７は、ビデオ信号のパケットと、オーディオ信号のパケットとを多重化し、１系統のストリームに変換する。

　ステップＳ１００７において、FECパリティ生成部１４０８は、FECブロック長に基づいてパリティを生成する。

　ステップＳ１００８において、RTPパケット生成部１４０９は、RTPパケットを生成する。

　ステップＳ１００９において、RTPパケット生成部１４０９は、回線制御レイヤ同期用タイムスタンプを付加する。

　ステップＳ１０１０において、送信部１３０２の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを生成する。

　ステップＳ１０１１において、送信部１３０２の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを伝送する。

　ステップＳ１０１１の処理が終了すると、送信処理が終了する。

　以上のように送信処理を行うことにより送信部１３０２は、画像データの伝送に関する全体の遅延時間を抑制することができる。

　［３－５受信処理の流れ］
　次に、図２６のフローチャートを参照して、受信処理の流れの例を説明する。

　受信処理が開始されると、ステップＳ１１０１において、受信部１３０３の非同期伝送路インタフェース（I/F）１５０１は、IPパケットを復号し、RTPパケットを抽出する。

　ステップＳ１１０２において、RTPパケット復号部１６０１は、RTPパケットを復号する。

　ステップＳ１１０３において、タイムスタンプ復号部１６０２は、回線制御レイヤ同期用タイムスタンプを抽出する。

　ステップＳ１１０４において、クロック生成部１５１２は、抽出された回線制御レイヤ同期用タイムスタンプに基づいてクロックを生成する。

　ステップＳ１１０５において、同期信号発生部１５１３は、生成されたクロックに基づいて同期信号を発生する。

　ステップＳ１１０６において、逆多重化部１６０３は、１系統のストリーム化されていた映像信号のパケットと、音声信号のパケットとを互いに分離する。

　ステップＳ１１０７において、FEC復号部１６０４は、音声信号から分離された映像信号のパケットについて、誤り訂正復号を行う。また、FEC復号部１６０７は、映像信号から分離された音声信号のパケットについて、誤り訂正復号を行う。

　ステップＳ１１０８において、デパケタイザ１６０５は、映像信号のパケットから映像制御レイヤ同期用タイムスタンプを抽出する。

　ステップＳ１１０９において、デパケタイザ１６０５は、映像信号のパケットをデパケタイズする。また、デパケタイザ１６０８は、音声信号のパケットをデパケタイズする。

　ステップＳ１１１０において、ビデオ復号部１６０６は、映像制御レイヤ同期用タイムスタンプに従って映像信号の符号化データを復号する。また、オーディオ復号部１６０９は、映像制御レイヤ同期用タイムスタンプに従って音声信号の符号化データを復号する。

　ステップＳ１１１０の処理が終了すると、受信処理が終了する。

　以上のように受信処理を行うことにより受信部１３０３は、画像データの伝送に関する全体の遅延時間の抑制を実現することができる。

　以上のように送信処理および受信処理を行うことにより、撮像装置１２０１やCCU１２０２は、動画像データ伝送の即時性の破綻を抑制することができる。

　また、図２１に示される画像処理システム１２００のようなカメラシステムの撮像装置１２０１やCCU１２０２に、上述した画像伝送システム１００の送信装置１０１や受信装置１０２のように同期タイミングの管理を実行させることにより、画像データ伝送における映像同期をより容易に制御することができ、より容易に遅延時間を抑制することができる。また、画像処理システム１２００のようなカメラシステムにおいては、ネットワーク構成等の通信環境が状況に応じて変化する可能性が高い。そのため、本技術を適用することにより、より柔軟な同期制御を実現することができ、より容易に遅延時間を抑制することができる。

　また、画像処理システム１２００の場合、図２１に示されるように、例えば撮像装置１２０１とCCU１２０２との間で、画像データの伝送を双方向に行うことができる。つまり、画像処理システム１２００は、第１の映像伝送シーケンスと、その逆方向の第２の映像シーケンスを有する。このようなシステムに本技術を適用する場合、例えば、第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、逆方向の第２の映像伝送シーケンスを動作させるようにしてもよい。このように、ある映像伝送シーケンスにおいて決定された同期タイミングを、他の映像伝送シーケンスに利用することにより、複数の映像伝送シーケンスの同期をより容易に管理することができる。

　＜４．第４の実施の形態＞
　［４－１符号化部］
　なお、画像データの符号化方式は任意である。例えば、ピクチャを複数のラインブロックに分割し、そのラインブロック毎に符号化を行うラインベース・コーデックであってもよい。

　図２７は、符号化部の主な構成例を示すブロック図である。図２７に示されるように符号化部２１００は、ウェーブレット変換部２１０１、途中計算用バッファ部２１０２、係数並び替え用バッファ部２１０３、係数並び替え部２１０４、およびエントロピ符号化部２１０５の機能を有する。

　符号化部２１００に入力された画像データは、ウェーブレット変換部２１０１を介して途中計算用バッファ部２１０２に一時的に溜め込まれる。ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部２１０２に格納する。

　ウェーブレット変換部２１０１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部２１０２に格納される。

　ウェーブレット変換部２１０１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部２１０２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部２１０３に書き込む。

　係数並び替え部２１０４は、係数並び替え用バッファ部２１０３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部２１０５に供給する。エントロピ符号化部２１０５は、供給された係数データを、所定の方法で量子化し、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部２１０５は、生成した符号化データを符号化部２１００の外部に出力する。

　図２８は、ウェーブレット変換部２１０１の主な構成例を示すブロック図である。ウェーブレット変換部２１０１は、原画像のベースバンド信号の１ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定数のラインを読み込むごとに縦方向のウェーブレット変換を行う。

　図２８に示されるウェーブレット変換部２１０１は、最も一般的なウェーブレット変換であるオクターブ分割を３階層（３つのレベル）にわたって実行し、階層符号化された画像データを生成する。

　図２８に示されるように、ウェーブレット変換部２１０１は、レベル１の回路部２２１０、レベル２の回路部２２２０、およびレベル３の回路部２２３０を備える。

　また、レベル１の回路部２２１０は、ローパスフィルタ２２１１、ダウンサンプラ２２１２、ハイパスフィルタ２２１３、およびダウンサンプラ２２１４を有する。

　レベル２の回路部２２２０は、ローパスフィルタ２２２１、ダウンサンプラ２２２２、ハイパスフィルタ２２２３、およびダウンサンプラ２２２４を有する。

　レベル３の回路部２２３０は、ローパスフィルタ２２３１、ダウンサンプラ２２３２、ハイパスフィルタ２２３３、およびダウンサンプラ２２３４を有する。

　入力画像信号は、レベル１の回路部２２１０のローパスフィルタ２２１１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２１３（伝達関数Ｈ１（ｚ））によって帯域分割される。帯域分割によって得られた低域成分（１Ｌ成分）と高域成分（１Ｈ成分）は、それぞれ対応するダウンサンプラ２２１２およびダウンサンプラ２２１４によって、解像度がそれぞれ２分の１倍に間引かれる。

　ダウンサンプラ２２１２で間引かれた低域成分（１Ｌ成分）の信号は、レベル２の回路部２２２０のローパスフィルタ２２２１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２２３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（２Ｌ成分）と高域成分（２Ｈ成分）は、それぞれ対応するダウンサンプラ２２２２、および、ダウンサンプラ２２２４によって、解像度がそれぞれ２分の１倍に間引かれる。

　さらに、ダウンサンプラ２２２２で間引かれた低域成分（２Ｌ成分）の信号は、レベル３の回路部２２３０のローパスフィルタ２２３１（伝達関数Ｈ０（ｚ））とハイパスフィルタ２２３３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（３Ｌ成分）と高域成分（３Ｈ成分）は、それぞれ対応するダウンサンプラ２２３２、およびダウンサンプラ２２３４によって、解像度がそれぞれ２分の１倍に間引かれる。

　このように、所定のレベルまで低域成分を階層的に帯域分割した帯域成分が順次生成される。図２８の例では、レベル３まで帯域分割した結果、ダウンサンプラ２２１４で間引かれた高域成分（１Ｈ成分）、ダウンサンプラ２２２４で間引かれた高域成分（２Ｈ成分）、ダウンサンプラ２２３４で間引かれた高域成分（３Ｈ成分）、ダウンサンプラ２２３２で間引かれた低域成分（３Ｌ成分）が生成される。

　図２９は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を示す図である。図２９の例では、まずレベル１の帯域分割（水平・垂直方向）により４つの成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各副画像が取得される。ここでＬＬは水平・垂直成分が共にＬであることを意味し、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、１ＬＬ成分は再度帯域分割されて、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各副画像が取得される。さらに、２ＬＬ成分は再度帯域分割されて、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの各副画像が取得される。

　このようにウェーブレット変換が繰り返し行われた結果、出力信号においては、副画像が階層構造を形成する。こうしたウェーブレット変換をさらにラインベースに拡張したのが、ラインベース・ウェーブレット変換である。

　図３０は、ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。ここでは、一例として、ベースバンドの８ラインごとに縦方向のウェーブレット変換を行うこととしている。

　この場合、ウェーブレット変換を３階層で行うとすると、その８ラインに対して、最低域３ＬＬ副画像に１ライン、その次のレベルのサブバンド３Ｈ（副画像３ＨＬ、３ＬＨ、３ＨＨ）に各１ラインが生成される。また、さらに次のレベルのサブバンド２Ｈ（副画像２ＨＬ、２ＬＨ、２ＨＨ）に各２ライン、さらに最高域１Ｈ（副画像１ＨＬ、１ＬＨ、１ＨＨ）に各４ラインの符号化データが生成される。

　なお、この各サブバンドのラインの集合をプレシンクトと称する。即ち、ラインベース・ウェーブレット変換におけるプレシンクトは、ラインの集合であるラインブロックの一形態として、ラインベース・ウェーブレット変換の符号化単位となるラインの集合である。ここで、符号化単位とは、符号処理の単位となるラインの集合という一般的な意味であり、上記ラインベース・ウェーブレット変換に限定されない。即ち、例えば符号化単位とは、JPEG2000やMPEG4のような既存の階層符号化における符号処理の単位であってもよい。

　図３０に示されるように、図３０の左側に示されるベースバンド信号２３０１において８ラインであったプレシンクト（図中斜線部分）は、図３０の右側に示されるように、ラインベース・ウェーブレット変換された変換後信号２３０２の１Ｈにおいて、１ＨＬ、１ＬＨ、および１ＨＨのそれぞれの４ライン（図中斜線部分）、２Ｈにおいて、２ＨＬ、２ＬＨ、および２ＨＨのそれぞれの２ライン（図中斜線部分）、３ＬＬ、３ＨＬ、３ＨＬ、および３ＨＨのそれぞれの１ライン（図中斜線部分）として構成されている。

　このようなラインベース・ウェーブレット変換処理によれば、JPEG2000のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、JPEG2000のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。

　このようなラインベース・コーデックを行う符号化部２１００を、例えば、図２２のビデオ符号化部１４０１に適用することにより、撮像装置１２０１は、より低遅延なデータ伝送を実現することができる。

　もちろん、ビデオ符号化部１４０１の符号化方式は任意であり、このラインベース・ウェーブレット変換に限らず、例えばJPEG2000やMPEG4のような既存の階層符号化など、任意の符号化方式を適用することができる。

　［４－２復号部］
　次に、図２７の符号化部２１００に対応する復号部について説明する。図３１は、本発明を適用した復号部の構成例を示すブロック図である。図３１に示される復号部２５００は、符号化部２１００により符号化された符号化データを復号して画像データを復元する。図３１に示されるように、復号部２５００は、エントロピ復号部２５０１、係数バッファ部２５０２、およびウェーブレット逆変換部２５０３を有する。

　エントロピ復号部２５０１は、供給された符号化データをエントロピ符号化部２１０５による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部２５０２に格納される。ウェーブレット逆変換部２５０３は、係数バッファ部２５０２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部２５０２に格納する。ウェーブレット逆変換部２５０３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得ると、それを外部に出力する。

　このようなラインベース・コーデックを行う復号部２５００を、例えば、図２２のビデオ復号部１６０６に適用することにより、撮像装置１２０１は、より低遅延なデータ伝送を実現することができる。

　もちろん、ビデオ復号部１６０６の符号化方式は任意であり、このラインベース・ウェーブレット変換に限らず、例えばJPEG2000やMPEG4のような既存の階層符号化など、任意の符号化方式を適用することができる。

　［４－３送信処理の流れ］
　図３２のフローチャートを参照して、符号化処理の流れの例を説明する。

　符号化処理が開始されると、ステップＳ２００１において、ウェーブレット変換部２１０１は、途中計算用バッファ部２１０２や係数並び替え用バッファ部２１０３を用いて、ライン入力しながらウェーブレット変換を行う。

　ステップＳ２００２において、ウェーブレット変換部２１０１は、１ラインブロック分の処理を行ったか否かを判定する。ラインブロック内に未処理のラインが存在すると判定された場合、処理は、ステップＳ２００１に戻る。

　ステップＳ２００１およびステップＳ２００２の各処理が繰り返し実行され、ステップＳ２００２において、ラインブロック内の全てのラインを処理したと判定された場合、処理は、ステップＳ２００３に進む。

　ステップＳ２００３において、係数並び替え部２１０４は、係数並び替え用バッファ部２１０３に記憶されている係数データを所定順に読み出すことにより、係数データの並び替えを行う。

　ステップＳ２１０４において、エントロピ符号化部２１０５は、ステップＳ２００３において読み出された順に、係数データをエントロピ符号化する。

　ステップＳ２１０４の処理が終了すると、符号化処理が終了する。

　以上のように符号化処理を行うことにより、符号化部２１００は、より低遅延に画像データを符号化することができる。

　［４－４受信処理の流れ］
　図３３のフローチャートを参照して、復号処理の流れの例を説明する。

　復号処理が開始されると、ステップＳ２１０１において、エントロピ復号部２５０１は、供給された符号化データをエントロピ復号する。

　ステップＳ２１０２において、係数バッファ部２５０２は、ステップＳ２１０１において復号されて得られた係数データを保持する。

　ステップＳ２１０３において、ウェーブレット逆変換部２５０３は、ステップＳ２１０２において係数バッファ部２５０２に蓄積された係数データを、外部からの要求に基づいて、若しくは、所定のタイミングにおいて読みだす。ウェーブレット逆変換部２５０３は、読み出した係数データに対してウェーブレット逆変換を行い、画像データを生成する。

　ステップＳ２１０３の処理が終了すると、復号処理が終了する。

　以上のように復号処理を行うことにより、復号部２５００は、より低遅延に画像データを復号することができる。

　また、画像伝送システムに、第１の実施の形態において説明したような同期制御を実行させることにより、同期時刻管理が容易になるので、遅延時間の制御もより容易になる。つまり、本実施の形態において説明したようなより低遅延なデータ伝送が要求されるシステムに、第１の実施の形態において説明した本技術を適用することにより、その効果はより大きなものとなる。

　［４－５その他］
　なお、ここまで説明した各実施の形態に共通し、ラインベース・コーデックとして上述したラインベース・ウェーブレット変換を用いる場合、ラインブロック単位ではなくラインブロックのサブバンド単位で通信パケットを生成することができる。その場合、受信メモリ部において、例えば画像ヘッダから取得されるラインブロック番号及びサブバンド番号に対応する記憶領域を確保し、周波数成分に分解された画像データをラインブロックのサブバンド単位で蓄積するようにしてもよい。

　この場合、例えばラインブロック単位で復号を行う際に、伝送エラーなどによってサブバンド（またはその一部）の欠落が生じたときは、ラインブロック内の当該サブバンド以降にダミーデータを挿入し、次のラインブロックからは通常の復号を行うようにしてもよい。

　＜５．第５の実施の形態＞
　［コンピュータ］
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図３４に示されるコンピュータ３１００において、CPU（Central Processing Unit）３１０１、ROM（Read Only Memory）３１０２、RAM（Random Access Memory）３１０３は、バス３１０４を介して相互に接続されている。

　バス３１０４にはまた、入出力インタフェース３１１０も接続されている。入出力インタフェース３１１０には、入力部３１１１、出力部３１１２、記憶部３１１３、通信部３１１４、およびドライブ３１１５が接続されている。

　入力部３１１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３１１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３１１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３１１４は、例えば、ネットワークインタフェースよりなる。ドライブ３１１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１２１を駆動する。

　以上のように構成されるコンピュータでは、CPU３１０１が、例えば、記憶部３１１３に記憶されているプログラムを、入出力インタフェース３１１０およびバス３１０４を解して、RAM３１０３にロードして実行することにより、上述した一連の処理が行われる。RAM３１０３にはまた、CPU３１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータ（CPU３１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア３１２１をドライブ３１１５に装着することにより、入出力インタフェース３１１０を介して、記憶部３１１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３１１４で受信し、記憶部３１１３にインストールすることができる。その他、プログラムは、ROM３１０２や記憶部３１１３に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　本技術は、例えば、動画像信号やビデオ信号や静止画像を圧縮して伝送、受信して伸長して画像を出力する装置に好適である。具体的には、モバイル通信機、TV会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での静止画・動画伝送、対話型ゲームアプリケーション等に適用することができる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と
　を備える情報処理装置。
　（２）　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早める
　前記（１）に記載の情報処理装置。
　（３）　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化する
　前記（１）または（２）に記載の情報処理装置。
　（４）　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させる
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備える
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記遅延時間を測定する測定部をさらに備え、
　前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記測定部は、同期制御トポロジやネットワーク設定に応じて送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定する
　前記（６）に記載の情報処理装置。
　（８）　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備える
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　情報処理装置の情報処理方法において、
　前記情報処理装置が、
　　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、
　　前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、
　　調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる
　情報処理方法。
　（１０）　コンピュータを、
　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と
　して機能させるためのプログラム。
　（１１）　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、
　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、
　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部と
　を備える情報処理装置。
　（１２）　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早める
　前記（１１）に記載の情報処理装置。
　（１３）　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化する
　前記（１１）または（１２）に記載の情報処理装置。
　（１４）　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させる
　前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備える
　前記（１１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記遅延時間を測定する測定部をさらに備え、
　前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する
　前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記測定部は、同期制御トポロジやネットワーク設定に応じて前記第１の映像伝送シーケンスにおける送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定する
　前記（１６）に記載の情報処理装置。
　（１８）　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備える
　前記（１１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムの情報処理装置の情報処理方法において、
　前記情報処理装置が、
　　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、
　　前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、
　　調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させ、
　　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる
　情報処理方法。
　（２０）　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、コンピュータを、
　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、
　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部と
　して機能させるためのプログラム。

　１００　画像伝送システム，　１０１　送信装置，　１０２　受信装置，　１１１　画像用時刻管理部，　１１２　伝送用時刻管理部，　１１３　ネットワーク伝送用時刻管理部，　１２１　画像用時刻管理部，　１２２　伝送用時刻管理部，　１２３　ネットワーク伝送用時刻管理部，　１１００　画像伝送システム，　１１０１　送信装置，　１１０２　受信装置，　１１１１　画像用送信バッファ，　１１１２　誤り訂正ブロック長生成部，　１１２１　誤り訂正待機バッファ，　１１２２　画像用受信バッファ，　１２００　画像処理システム，　１２０１　撮像装置，　１２０２　CCU，　１２１０　ネットワーク，　１３０１　撮像部，　１３０２　送信部，　１３０３　受信部，　１３０４　表示部，　１４０１　ビデオ符号化部，　１４０２　パケット生成部，　１４０３　待機時間解析部，　１４０４　オーディオ符号化部，　１４０５　パケット生成部，　１４０６　待機時間解析部，　１４０７　多重化部，　１４０８　FECパリティ生成部，　１４０９　RTPパケット生成部，　１５０１　非同期伝送路I/F，　１５１０　回線制御同期タイミング調整部，　１５１１　タイムスタンプ生成部，　１５１２　クロック生成部，　１５１３　同期信号発生部，　１６０１　RTPパケット復号部，　１６０２　タイムスタンプ復号部，　１６０３　逆多重化部，　１６０４　FEC復号部，　１６０５　デパケタイザ，　１６０６　ビデオ復号部，　１６０７　FEC復号部，　１６０８　デパケタイザ，　１６０９　オーディオ復号部，　２１００　符号化部，　２１０１　ウェーブレット変換部，　２１０２　途中計算用バッファ部，　２１０３　係数並び替え用バッファ部，　２１０４　係数並び替え部，　２１０５　エントロピ符号化部，　２５００　復号部，　２５０１　エントロピ復号部，　２５０２　係数バッファ部，　２５０３　ウェーブレット逆変換部

Claims (20)

1. 　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
   　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
   　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と
   　を備える情報処理装置。
2. 　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早める
   　請求項１に記載の情報処理装置。
3. 　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化する
   　請求項１に記載の情報処理装置。
4. 　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させる
   　請求項１に記載の情報処理装置。
5. 　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備える
   　請求項１に記載の情報処理装置。
6. 　前記遅延時間を測定する測定部をさらに備え、
   　前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する
   　請求項１に記載の情報処理装置。
7. 　前記測定部は、同期制御トポロジやネットワーク設定に応じて送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定する
   　請求項６に記載の情報処理装置。
8. 　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備える
   　請求項１に記載の情報処理装置。
9. 　情報処理装置の情報処理方法において、
   　前記情報処理装置が、
   　　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、
   　　前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、
   　　調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる
   　情報処理方法。
10. 　コンピュータを、
    　画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
    　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
    　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と
    　して機能させるためのプログラム。
11. 　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、
    　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
    　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
    　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、
    　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部と
    　を備える情報処理装置。
12. 　前記調整部は、前記画像データの同期タイミングを、前記遅延時間分早める
    　請求項１１に記載の情報処理装置。
13. 　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データの符号化処理を初期化する
    　請求項１１に記載の情報処理装置。
14. 　前記調整部は、前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、前記画像データのフレームのブランク期間を通常よりも短くして、前記画像データの符号化処理を継続させる
    　請求項１１に記載の情報処理装置。
15. 　前記同期解除部により前記画像データの同期タイミングと前記ネットワークの同期タイミングとの同期が解除された状態において、通信相手との間で前記ネットワークの同期タイミングを獲得するネットワーク同期獲得部をさらに備える
    　請求項１１に記載の情報処理装置。
16. 　前記遅延時間を測定する測定部をさらに備え、
    　前記同期解除部は、前記測定部により測定された前記遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する
    　請求項１１に記載の情報処理装置。
17. 　前記測定部は、同期制御トポロジやネットワーク設定に応じて前記第１の映像伝送シーケンスにおける送信元を決定し、前記送信元から伝送される画像データを用いて前記遅延期間を測定する
    　請求項１６に記載の情報処理装置。
18. 　前記同期接続部により前記ネットワークの同期タイミングと同期された前記画像データの同期タイミングに従って前記画像データを伝送する伝送部をさらに備える
    　請求項１１に記載の情報処理装置。
19. 　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムの情報処理装置の情報処理方法において、
    　前記情報処理装置が、
    　　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除し、
    　　前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整し、
    　　調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させ、
    　　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる
    　情報処理方法。
20. 　映像同期獲得機能を有する第１の映像伝送シーケンスと、第２の映像伝送シーケンスを持つシステムにおいて、コンピュータを、
    　第１の映像伝送シーケンスによる画像データ伝送の遅延時間に基づいて、前記画像データを伝送するネットワークの同期タイミングと前記画像データの同期タイミングとの間の同期を解除する同期解除部と、
    　前記同期解除部により前記ネットワークの同期タイミングとの同期が解除された前記画像データの同期タイミングを調整する調整部と、
    　前記調整部により調整された前記画像データの同期タイミングを、前記ネットワークの同期タイミングに同期させる同期接続部と、
    　前記第１の映像伝送シーケンスによって出来上がった同期タイミングを用いて、前記前記第１の映像伝送シーケンスとは異なる前記第２の映像伝送シーケンスを動作させる制御部と
    　して機能させるためのプログラム。

Images