JP5493471B2

JP5493471B2 - 情報処理装置および方法

Info

Publication number: JP5493471B2
Application number: JP2009127243A
Authority: JP
Inventors: 嘉伸久礼
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-05-27
Filing date: 2009-05-27
Publication date: 2014-05-14
Anticipated expiration: 2029-05-27
Also published as: CN102100082A; KR20120033296A; US20110123170A1; WO2010137502A1; EP2437493A1; JP2010278596A; TW201108748A

Description

本発明は、情報処理装置および方法に関し、特に、画像の低遅延伝送同期再生をより確実に実現することができるようにした情報処理装置および方法に関する。

近年、インターネットもしくはその他の伝送路を経由してマルチメディアデータを低遅延に伝送するという需要が高まっている。例えば、手術室から動画像伝送される手術風景を見ながら、遠隔地でその手術室の手術器具を操作するといった所謂遠隔手術のアプリケーションがある。このようなアプリケーションにおいては、遠隔地における手術器具の操作性の低減を抑制するために、数フレーム間隔以下の遅延で動画像が伝送されることが求められる。

このような要求に対して、例えば、動画像の各ピクチャの数ライン毎を１つの圧縮符号化ブロックとしてウェーブレット変換による圧縮符号化を行う方式が提案されている（例えば特許文献１参照）。この特許文献１に記載の方式では、ピクチャ内のデータ全てを入力するまで待つことなく圧縮符号化を開始することができる。換言すれば、圧縮データをネットワーク伝送して受信側で復号する場合、ピクチャ内の全てのデータを受信する前に復号処理を開始することができる。したがって、ネットワーク伝播遅延が十分小さければ、フレーム間隔以下の低遅延でのリアルタイム動画像伝送（低遅延伝送）が可能となる。

データ伝送技術については、このような、キャプチャデバイス等により取得または生成される動画像を符号化しながら伝送するリアルタイム動画像伝送（低遅延伝送）に適したインターネット技術に、例えば、IETF（Internet Engineering Task Force） RFC（Request for Comments）3550で規定されているRTP（Realtime Transport Protocol）がある。RTPによるデータ転送では、時間情報としてパケットにタイムスタンプを付加しておき、これによって送信側と受信側の時間的関係を把握する。このようにすることにより、受信側では、パケット転送の遅延ゆらぎ（ジッタ）などの影響を受けずに同期をとった再生（同期再生）が可能となる。

なお、インターネットを経由した伝送においては伝送帯域が保証されないため、例えば、IETF RFC3448「TCP（Transmission Control Protocol） Friendly Rate Control (TFRC):Protocol Specification」に示されるようなレート制御処理により、ネットワークの混雑度を監視しながら最適な伝送レートに調整するといった処理が有効になる。

ところで、動画像データの伝送においては、レート制御機構により算出された指定レートに動画像のエンコードレートを動的に調整する必要がある。エンコードレートの調整方法は、例えば、画質、フレームレート、および解像度等がある。どの方法により調整することが望ましいかは利用法（アプリケーション）等に依存する。例えば、画像の画サイズ（解像度）が比較的大きく固定であり、レート制御により、その解像度に対して低くレートが指定された場合、画質設定値を調整するよりもフレームレートを調整する方が利用者に感じる品質が高い場合がある。このような場合、フレームレート調整によるエンコードレートの調整を行うことが望ましい。

低遅延伝送とは、送信装置が、動画像の各ピクチャのデータ全てがキャプチャデバイスによりキャプチャされる前に（符号化して）伝送を開始し、例えば、フレーム間隔以下の遅延でデータ伝送を行うことである。また、同期再生とは、受信装置が、送信装置から伝送されるデータを受信しながら、それを復号して再生し、同期のとれた画像表示（出力）を行うことである。つまり、低遅延伝送同期再生とは、送信装置および受信装置がこれらの動作を行うことである。

例えば、特許文献１に記載の圧縮符号化・復号方法を用いて、送信装置がキャプチャした動画像データを圧縮符号化して受信装置へ伝送し、受信装置がそのデータを復号して画像を再生する場合（低遅延伝送同期再生を行う場合）を考える。上述したように、圧縮符号化単位（圧縮符号化ブロック）は、ピクチャ以下の単位となる。

送信装置において圧縮符号化されて生成された圧縮符号化ブロックデータは、複数のパケットに分割され、入力画像データのキャプチャ時刻に同期したタイムススタンプ値が付加される。受信装置は、各パケットに付加されたタイムスタンプ値を基に画像の同期再生を行う。

ここでいうキャプチャ時刻とは、キャプチャデバイスによりキャプチャされた非圧縮動画像データが例えばHD-SDI（High Definition Serial Digital Interface）等のシリアルインターフェイス経由で送信装置の圧縮符号化モジュールに入力されるときの、各圧縮符号化ブロックの先頭データが入力された時刻を示す。つまり、同じフレーム内でも、圧縮符号化ブロック毎に異なるキャプチャ時刻（すなわちタイムスタンプ値）を取る。

図１にフレームレートの動的変更を行わず、サンプリングフレームレートのままで伝送する場合のタイムチャート例を示す。図１において、上から順に処理が行われるものとする。つまり、最初にキャプチャ＆CODEC（図１Ａ）が行われ、次に送信装置送信（図１Ｂ）が行われ、次に受信装置受信（図１Ｃ）が行われ、最後に受信装置再生（図１Ｄ）が行われる。また、左から右に向かう方向が時系列を示すものとする。さらに、四角印で各パケットの処理時刻を表し、四角印内の上部数字がフレームID（Frame ID）、すなわちフレーム毎の連続番号を示し、下部数字が、タイムスタンプ値を示す。また、各フレームが４パケット、２圧縮符号化ブロックで構成されているものとする。タイムスタンプ値は圧縮符号化ブロック毎に１０カウントずつ増加してセットされている。

このような場合、フレームレート変換が行われないため、図１に示されるように、キャプチャ＆CODEC（図１Ａ）におけるキャプチャ間隔（キャプチャフレームレート）と同間隔の再生間隔（再生フレームレート）で行われる受信装置再生（図１Ｄ）における再生時刻において、再生に必要なパケットは受信済みとなる。つまり、この場合、受信装置は、受信装置再生（図１Ｄ）において同期再生を行うことができる。

特開２００７−３１１９２４号公報

しかしながら、送信装置が画像データのフレームレートをサンプリングフレームレートより低いフレームレートへフレームレート変換してから画像データを伝送する場合、送信装置もしくは伝送中継装置（いわゆるルータ）等により伝送レートの平滑化が行われる。したがって、変換後フレームレートによって各ピクチャ全てのデータの伝送にかかる時間が異なってしまう恐れがあった。これにより、動的にフレームレートを変更する場合に受信装置での同期再生に問題が生じる恐れがあった。

図２は、フレームレートが動的に変換される場合のタイムチャート例を示す図である。処理の流れは、基本的に図１の場合と同様であるが、この場合、図２Ｂに示されるように、送信装置において送信装置フレームレート変換処理出力が行われ、フレーム番号（Frame ID）３以降において、一部のフレームが間引かれ、フレームレートが３分の１に変換されている。

また、送信装置送信（図２Ｃ）の前に伝送レートの平滑化が行われており、フレームレート変換された部分のパケット間隔は、それ以前のパケット間隔と比較して長くなっている。

この場合、受信装置受信（図２Ｄ）のパケット間隔も送信装置送信（図２Ｃ）と同様に変化する。したがって、受信装置再生（図２Ｅ）において、最初の圧縮符号化ブロックデータが受信された時点で再生を開始し、それ以降は最初のパケットのタイムスタンプに対する差分値に従い同期再生を行うようにすると、フレーム番号（Frame ID）３の１番目の圧縮符号化ブロック再生時において、フレーム番号（Frame ID）３の圧縮符号化ブロックデータが揃っておらず、不完全な映像を再生してしまう恐れがあった。つまり、映像が破綻してしまい、同期再生を実現することができない恐れがあった。

このような破綻の発生を回避するために、例えば、図３に示されるように、受信装置が、フレームレートが最低となる場合のピクチャデータの伝送時間を想定し、その伝送時間に対して十分なデータ量の受信データをバッファに保存するようにし、同期再生を行う方法が考えられる。

図３は、この場合のタイムチャート例を示す図である。図３の例においても、図２の場合と同様に、送信装置側においてフレームレートが動的に変換されている。このようなフレームレートの動的な変換に対し、受信装置は、受信装置再生（図３Ｅ）に示されるように、受信データをバッファリングしてから再生するようにして、予め所定の遅延時間を設けている。これにより、フレーム番号（Frame ID）３の１番目の圧縮符号化ブロック再生時刻が図２の場合よりも遅れるので、フレーム番号（Frame ID）３の圧縮符号化ブロックデータが揃っており、破綻が抑制される。

しかしながら、この場合、フレーム番号（Frame ID）が１や２のときのように、フレームレートが高いときにおいては、不必要な遅延が生じることになり、十分な低遅延性が失われてしまう恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、画像の低遅延伝送同期再生をより確実に実現することを目的とする。

本発明の第１の側面は、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを下げるように変換するフレームレート変換手段と、前記フレームレート変換手段によりフレームレートが下げられた後の各フレームの前記タイムスタンプを、フレームレートが下げられる前の状態においてフレームレートが下げられた後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新する更新手段と、前記更新手段により前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する送信手段とを備える情報処理装置である。

前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換することができる。

前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換することができる。

前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを下げるように変換し、前記更新手段は、前記フレームレート変換手段によりフレームレートが下げられた後の前記ID値を更新し、前記送信手段は、前記更新手段により前記ID値が更新された前記動画像データを、各フレームの再生時刻を前記ID値に基づいて決定する他の情報処理装置に送信することができる。

本発明の第１の側面は、また、フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを下げるように変換し、更新手段が、フレームレートが下げられた後の各フレームの前記タイムスタンプを、フレームレートが下げられる前の状態においてフレームレートが下げられた後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新し、送信手段が、前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する情報処理方法である。

本発明の第２の側面は、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段によるフレームレート変換後のフレームレート、および、前記フレームレート変換手段によるフレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報を、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、前記付加手段により前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する送信手段とを備える情報処理装置である。

前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、前記送信手段は、前記付加手段により前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信することができる。

本発明の第２の側面は、また、フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、付加手段が、フレームレート変換後のフレームレート、および、フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報を、前記フレームレート変換された前記動画像データに付加し、送信手段が、前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する情報処理方法である。

本発明の第３の側面は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、並びに、前記他の情報処理装置で行われたフレームレート変換の後のフレームレート、および、前記フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報が付加された動画像データを受信する受信手段と、前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段とを備える情報処理装置である。

前記再生時刻決定手段は、前記サンプリングレート、および、前記フレームレート変換後のフレームレートから算出される補正値を、前記タイムスタンプから算出される再生時刻に加算した時刻を前記再生時刻に決定することができる。
前記再生時刻決定手段は、前記サンプリングレート、および、前記フレームスキップ数から算出される補正値を、前記タイムスタンプから算出される再生時刻に加算した時刻を前記再生時刻に決定することができる。

前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、前記フレーム情報が付加された動画像データを受信し、前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定することができる。

本発明の第３の側面は、また、受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、並びに、前記他の情報処理装置で行われたフレームレート変換の後のフレームレート、および、前記フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報が付加された動画像データを受信し、再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定する情報処理方法である。

本発明の第１の側面においては、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートが下げるように変換され、フレームレートが下げられた後の各フレームのタイムスタンプが、フレームレートが下げられる前の状態においてフレームレートが下げられた後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新され、タイムスタンプが更新された動画像データが、各フレームの再生時刻をタイムスタンプに基づいて決定する他の情報処理装置に送信される。

本発明の第２の側面においては、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートが変換され、フレームレート変換後のフレームレート、および、フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、フレームレート変換を特定する情報であるフレーム情報が、フレームレート変換された動画像データに付加され、フレーム情報が付加された動画像データが、各フレームの再生時刻をタイムスタンプ、動画像データのサンプリングレート、並びに、フレーム情報に含まれるフレームレート変換後のフレームレート若しくはフレームスキップ数に基づいて決定する他の情報処理装置に送信される。

本発明の第３の側面においては、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、並びに、他の情報処理装置で行われたフレームレート変換の後のフレームレート、および、フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、フレームレート変換を特定する情報であるフレーム情報が付加された動画像データが受信され、タイムスタンプ、動画像データのサンプリングレート、並びに、フレーム情報に含まれるフレームレート変換後のフレームレート若しくはフレームスキップ数を用いて、受信された動画像データの各フレームの再生時刻が決定される。

本発明によれば、情報を処理することができる。特に、画像の低遅延伝送同期再生をより確実に実現することができる。

フレームレート変換しない場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。フレームレート変換する場合の、従来の、データ伝送における各処理が実行されるタイミングの例を説明する図である。フレームレート変換する場合の、従来の、データ伝送における各処理が実行されるタイミングの他の例を説明する図である。本発明を適用した情報処理システムの構成例を示すブロック図である。レート制御処理の流れの例を説明するフローチャートである。送信処理の流れの例を説明するフローチャートである。伝送レートとフレームレートとの関係の例を示す図である。受信処理の流れの例を説明するフローチャートである。本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。本発明を適用した符号化部の構成例を示すブロック図である。ウェーブレット変換について概略的に説明するための略線図である。ウェーブレット変換について概略的に説明するための略線図である。５×３フィルタのリフティングによるフィルタリングを分解レベル＝２まで実行した例を示す略線図である。この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。本発明を適用した復号部の構成例を示すブロック図である。符号化処理の流れの例を説明するフローチャートである。復号処理の流れの例を説明するフローチャートである。符号化部および復号部の各要素が行う並列動作の様子の例を概略的に示す略線図である。本発明を適用した情報処理システムの他の構成例を示すブロック図である。送信処理の流れの、他の例を説明するフローチャートである。伝送フレームレート付加の様子を説明する図である。受信処理の流れの、他の例を説明するフローチャートである。本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの他の例を説明する図である。本発明を適用した情報処理システムの、さらに他の構成例を示すブロック図である。送信処理の流れの、さらに他の例を説明するフローチャートである。フレームスキップ数付加の様子を説明する図である。受信処理の流れの、さらに他の例を説明するフローチャートである。本発明を適用した場合の、データ伝送における各処理が実行されるタイミングのさらに他の例を説明する図である。本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（タイムスタンプ更新）
２．第２の実施の形態（符号化処理・復号処理）
３．第３の実施の形態（フレームレート情報提供）
４．第４の実施の形態（フレームスキップ数提供）
５．第５の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［デバイスの構成］
図４は、本発明を適用した情報処理システムの構成例を示すブロック図である。

図４において、情報処理システム１００は、送信装置１０１から受信装置１０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。すなわち、送信装置１０１は、キャプチャした動画像を符号化し、得られた符号化データを、インターネット網１０３を介して受信装置１０２に転送し、受信装置１０２は、その符号化データを受信して復号し、動画像を同期再生する。

送信装置１０１は、低遅延な符号化方式で画像データを符号化する。受信装置１０２は、その符号化方式に対応する、低遅延な復号方式で符号化データを復号する。また、送信装置１０１は、伝送路の帯域等に応じて画像データのフレームレートを動的に変化させる。受信装置１０２は、その送信装置１０１が変化させたフレームレートで画像データを再生する（同期再生を行う）。

このとき、受信装置１０２は、伝送レートの平滑化により生じる伝送タイミングのずれに合わせて、各フレームの再生タイミングを調整し、低フレームレートの部分でも再生画像が破綻しないようにする。

送信装置１０１は、キャプチャ部１１１、符号化部１１２、フレームレート変換部１１３、タイムスタンプ制御部１１４、平滑化部（Shaper）１１５、およびRTP送信部（RTP TX）１１６、RTCP（RTP Control Protocol）部１２１、伝送レート制御部１２２を有する。

キャプチャ部１１１は、送信装置１０１に入力された動画像（ビデオIN）を所定のフレームレートでキャプチャし、そのデータを符号化部１１２に供給する。符号化部１１２は、キャプチャ部１１１から供給された画像データを、所定の符号化方式で、伝送レート制御部１２２により指定されるエンコードレート（Encode Rate）で符号化する。このとき符号化部１１２は、符号化単位の各符号化データについて、キャプチャ時刻と同期したタイムスタンプ値を算出する。このタイムスタンプ値は、受信装置により動画像再生の際に参照される。

本構成例において、キャプチャ時刻とは、キャプチャデバイスによりキャプチャされた非圧縮動画像データがHD-SDI（High Definition Serial Digital Interface）等のシリアルインターフェイス経由で送信装置１０１の符号化部１１２に入力される場合における、各符号化ブロックの先頭データが入力された時刻を示す。つまり、同一フレーム内に互いに異なるキャプチャ時刻の複数の符号化ブロックが存在してもよい。もちろん、タイムスタンプの設定単位は任意であるので、符号化処理の単位である符号化ブロック毎にタイムスタンプが設定されても良いし、フレーム単位でタイムスタンプが設定されても良いし、複数フレーム毎にタイムスタンプが設定されるようにしてもよい。

符号化部１１２は、画像データを符号化して得られた符号化データをRTPパケット化し、算出したタイムスタンプ値をRTPタイムスタンプとしてRTPパケットに付加し、フレームレート変換部１１３に供給する。

フレームレート変換部１１３は、符号化部１１２から供給された符号化データのフレームレートを、例えば一部のフレーム（の符号化データ）を間引く等して、伝送レート制御部１２２により指定されるフレームレート（Frame Rate）に変換する。フレームレート変換部１１３は、例えば、間引き処理や加算平均処理等の画像合成処理によりフレームレートを変換する。フレームレート変換部１１３は、フレームレートが変換された符号化データをタイムスタンプ制御部１１４に供給する。

なお、伝送レート制御部１２２により指定されるフレームレートが変換前のフレームレート（キャプチャ部１１１のサンプリングレート）と同一である場合、フレームレート変換部１１３は、変換処理を省略し、符号化データをタイムスタンプ制御部１１４に供給する。

タイムスタンプ制御部１１４は、フレームレートの変化（フレームの間引き率等）に応じて、タイムスタンプ値（RTPタイムスタンプ）を調整する。後述するように受信装置１０２は、このタイムスタンプ値に応じた時刻にそのデータの再生を行う。タイムスタンプ制御部１１４は、タイムスタンプ値を、必要に応じて、この再生において画像が破綻しないような値に更新する。タイムスタンプ値の調整を行うとタイムスタンプ制御部１１４は、符号化データのパケットを平滑化部１１５に供給する。

平滑化部１１５は、パケットの伝送レートを平滑化し、伝送レート制御部１２２により指定される伝送レートにする。つまり、平滑化部１１５は、タイムスタンプ制御部１１４から供給されたパケットを一旦保持し、パケットの伝送レートが伝送レート制御部１２２により指定される伝送レート（Transmission Rate）となるような所定のタイミングで（所定の時間間隔で）パケットをRTP送信部１１６に供給する。

RTP送信部１１６は、平滑化部１１５から供給されるパケットを、インターネット網１０３を介して受信装置１０２に送信する。

RTCP部１２１は、受信装置１０２のRTCP部１４１とインターネット網１０３を介して通信を行い、インターネット網１０３の使用可能帯域幅等を確認するためのネットワーク状況情報を取得する。RTCP部１２１は、例えば、RTCP部１４１と、IETF RFC 3550記載のRTCP Sender Report(SR)パケット、RTCP Receiver Report(RR)パケットを送受信することによりネットワーク状況情報を交換する。このネットワーク状況情報には、インターネット網１０３の通信に関する情報であれば、どのような情報が含まれていても良い。例えば、往復伝送遅延（所謂RTT（Round Trip Time））やパケット損失率等が含まれていてもよい。もちろん、その他のパラメータが含まれるようにしてもよい。RTCP部１２１は、このように授受されたネットワーク状況情報を、伝送レート制御部１２２に供給する。

伝送レート制御部１２２は、RTCP部１２１から供給されたネットワーク状況情報に基づいて、符号化処理のエンコードレート、フレームレート変換後のフレームレート、およびパケットの伝送レート等を決定する。伝送レート制御部１２２は、エンコードレートを符号化部１１２に供給し、フレームレートをフレームレート変換部１１３に供給し、転送レートを平滑化部１１５に供給する。

受信装置１０２は、RTP受信（RTP RX）部１３１、受信バッファ１３２、復号部１３３、RTCP部１４１、および同期制御部１４２を有する。

RTP受信部１３１は、インターネット網１０３を介して送信装置１０１と通信を行い、RTP送信部１１６から送信されたパケットを受信し、それを受信バッファ１３２に供給する。また、RTP受信部１３１は、パケットの受信状況に関する情報（Packet info）をRTCP部１４１に供給する。

受信バッファ１３２は、RTP受信部１３１から供給されたパケットを保持する。受信バッファ１３２は、同期制御部１４２に制御され、所定のタイミングでパケットから符号化データを抽出して復号部１３３に供給する。

復号部１３３は、符号化部１１２の符号化方式に対応する方法で、受信バッファ１３２から供給される符号化データを復号し、得られたベースバンドの画像データを、同期制御部１４２により決められた再生時刻（同期再生時刻）に出力（再生）する（ビデオOUT）。

RTCP部１４１は、ネットワーク状況情報を、インターネット網１０３を介して送信装置１０１のRTCP部１２１と授受する。例えば、RTCP部１４１は、RTP受信部１３１から供給されたパケットの受信状況に関する情報等を含むネットワーク状況情報を、ネットワーク状況情報としてRTCP部１２１に供給する。

同期制御部１４２は、受信バッファ１３２に保持された符号化単位の符号化データの同期再生時刻を決定する。同期制御部１４２は、符号化データのタイムスタンプ値に対応する時刻を用いて同期再生時刻を算出する。同期制御部１４２は、このように算出された同期再生時刻を受信バッファ１３２に供給し、その同期再生時刻に対応する符号化データとともに、復号部１３３に供給させる。

［処理の流れ］
このような構成の情報処理システム１００において実行されるデータ伝送に関する主な処理について、処理の流れの例を説明する。最初に送信装置１０１の伝送レート制御部１２２により実行されるレート制御処理の流れの例を、図５のフローチャートを参照して説明する。

伝送レート制御部１２２は、所定のタイミングでレート制御処理を実行し、RTCP部１２１から供給されたネットワーク状況情報に基づいて各種レートを決定する。

レート制御処理が開始されると、伝送レート制御部１２２は、ステップＳ１０１において伝送レートを決定する。この伝送レートの決定方法は任意である。例えば、IETF RFC3448「TCP Friendly Rate Control (TFRC):Protocol Specification」に示される方法にしたがって伝送レートが決定されるようにしてもよい。

ステップＳ１０２において、伝送レート制御部１２２は、ステップＳ１０１において決定した伝送レートに基づいて、フレームレート変換部１１３におけるフレーム変換後のフレームレートを決定する。この変換後のフレームレートが伝送時のフレームレート（伝送フレームレート）になる。このフレームレートの決定方法は任意である。例えば、各伝送レートにおいてユーザの感じる品質を最適化したフレームレートを、図６に示されるグラフのように予め設定しておき、そのグラフに従って、伝送レートに対応するフレームレートが設定されるようにしてもよい。このフレームレート−伝送レート設定グラフは、アプリケーションや符号化部等の特性に応じて変更する（設定する）のが望ましい。なお、この図６のグラフのような、伝送レートとフレームレートの変換の関係を示すデータは、代表点を用いたテーブル情報であってもよいし、数式等であってもよい。

ステップＳ１０３において、伝送レート制御部１２２は、エンコードレートを決定する。上述したように、送信装置１０１の符号化部１１２は、伝送レート制御部１２２により指定されるフレームレートによらず、元動画像のサンプリングフレームレート（キャプチャレート）をフレームレートとして符号化処理を行う。そして、フレームレート変換部１１３は、一部のフレームを間引きする間引き処理により、フレームレート変換を行う。このため、伝送レート制御部１２２は、フレームレート変換後のデータレートを伝送レートと等しくするために、エンコードレートをR_e(bps)とし、伝送レートをR_t(bps)とし、サンプリングフレームレートをf_s(fps)とし、変換後フレームレートをf_t(fps)とするとき、以下の式（１）を満たすようにエンコードレートR_eを設定する。

以上のように各レートが決定されると、レート制御処理が終了される。

以上のレート制御方法は一例であり、上述した以外の方法で各レートを制御するようにしてもよい。例えば、符号化部１１２がフレームレート変換機能を備え、伝送レート制御部１２２が、エンコードレートと伝送レートを等しく設定し、エンコードレートおよび変換後のフレームレートを符号化部１１２に供給するようにしてもよい。

送信装置１０１の各部は、送信処理を実行し、以上のようにレート制御に基づくレートで画像データを符号化して送信する。図７のフローチャートを参照して、送信処理の流れの例を説明する。

送信処理が開始されると、ステップＳ１２１において、キャプチャ部１１１は、外部から供給される動画像（ビデオカメラ等を経由しビデオ入力IFであるビデオINより入力されたビデオデータを取り込む。

符号化部１１２は、ステップＳ１２２において、供給された画像データを、伝送レート制御部１２２により指定されたエンコードレートで符号化する。符号化部１１２は、ステップＳ１２３において、キャプチャ時刻情報に基づいて、キャプチャ時刻と同期したタイムスタンプ値を算出する。

ステップＳ１２４において、符号化部１１２は、符号化して得られた符号化データを、例えば、複数のRTPパケットに分割する。符号化部１１２は、そのRTPパケットに、ステップＳ１２３の処理により算出されたタイムスタンプ値をRTPタイムスタンプとして付加する。

ステップＳ１２５において、フレームレート変換部１１３は、伝送レート制御部１２２により指定されたフレームレートへ、例えば、一部のフレームを間引くフレーム間引き処理により変換する。

ここで、サンプリングフレームレートf_s(fps)から変換後の伝送フレームレートf_t(fps)へ変換する場合について説明する。これらのf_sとf_tは以下の式（２）の関係を満たす。

式（２）において、変数Ｍはフレーム間引き比率を示す。フレームレート変換部１１３は、変換前データからＭフレームに１フレームの頻度で抜き出し、抜き出したフレームで変換後データを生成する。

変換前フレームデータをＦ（ｎ）（nはフレーム連続番号）とし、変換後フレームデータをＦ’（ｎ）（nは変換後フレームの連続番号）とし、変換前データD_oを以下の式（３）のように示すと、変換後データD'_tは、以下の式（４）のように表すことができる。

なお、フレームレート変換部１１３は、フレーム間引き処理以外の方法でフレームレートを変換するようにしてもよい。フレームレート変換方法は任意である。例えば、加算平均処理等の画像合成処理により連続する複数フレームを合成してフレーム数を低減させることによりフレームレートを変換するようにしてもよい。

また、伝送レート制御部１２２により指定されたフレームレートが、変換前のフレームレート（サンプリングフレームレート）と同一である場合、ステップＳ１２５の処理は省略される。

ステップＳ１２６において、タイムスタンプ制御部１１４は、例えば、RTPヘッダ部に含まれるRTPタイムスタンプを制御する。タイムスタンプ制御部１１４は、フレームレート変換部１１３においてフレームレート変換された変換後フレームデータのフレーム間引き率Ｍによってタイムスタンプ調整を行う。

変換前フレームデーをＦ（ｎ）（ｎは変換前フレームの連続番号）とし、変換後フレームデータをＦ’（ｍ）（ｍは変換後フレームデータの連続番号）とし、変換前の符号化ブロックデータをＢ（ｎ，ｋ）とし、変換後の符号化ブロックデータをＢ’（ｍ，ｋ）（ｋはフレームデータ内の符号化ブロックの連続番号）とする。また、変換前の符号化ブロックデータＢ（ｎ，ｋ）のタイムスタンプ値をTS（ｎ，ｋ）とする。さらに、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御前のタイムスタンプ値をTS'（ｍ，ｋ）とする。また、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御後のタイムスタンプ値をTS’’（ｍ，ｋ）とする。そして、フレーム間引き比率をＭとする。

このとき、変換後フレームデータＦ’（ｍ）、変換後の符号化ブロックデータＢ’（ｍ，ｋ）、および、変換後の符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御前のタイムスタンプ値TS'（ｍ，ｋ）は、それぞれ、以下の式（５）乃至式（７）のように表される。

変換後符号化ブロックデータＢ’（ｍ，ｋ）のタイムスタンプ制御後のタイムスタンプ値TS’’（ｍ，ｋ）は、変換後フレームデータＦ’（ｍ）と次の変換後フレームデータＦ’（ｍ＋１）との間で間引かれた変換前フレーム数（Ｍ−１）に応じて調整される。タイムスタンプ制御後のタイムスタンプ値TS’’（ｍ，ｋ）は以下の式（８）で表される。

すなわち、タイムスタンプ制御後のタイムスタンプ値には、該当するフレーム後に間引かれた変換前フレームデータの内の最後の変換前フレームデータの一致する符号化ブロックデータと同一のタイムスタンプ値がセットされる。変換後フレームデータの直後でフレームが間引かれていない場合、タイムスタンプ値は、タイムスタンプ制御の前後で変更されない。

なお、このタイムスタンプ制御においては、あるフレームデータの直後にフレーム間引き処理が行われた場合、伝送レートの平滑化により、該当フレームが、間引かれたフレームに割り当てられるべきであった時間も使い平滑化され伝送されることを想定している。したがって、平滑化された各フレームデータの末尾データの到着時刻にあわせて同期再生されるようにするため、該当するフレーム後に間引かれた変換前フレームデータの内の最後の変換前フレームデータの一致する圧縮符号化ブロックデータと同一のタイムスタンプ値がセットされる。

以上のようにタイムスタンプが更新されると、ステップＳ１２７において、平滑化部１１５は、パケットの送出タイミングを調整し、伝送レートを平滑化する。平滑化部１１５は、例えば、ITU-T Recommendation Y.1221 Traffic control and congestion control in IP-based networksに記載のToken Bucketと同様の処理により伝送レートの平滑化を行う。

ステップＳ１２８において、RTP送信部１１６は、平滑化部１１５に制御されたタイミングでパケットを送信する。パケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、上述した各処理は適宜平行して実行される。

なお、平滑化処理は、送信装置１０１外の、例えばルータやEthernet Switch等の中継装置において行われるようにしてもよい。

受信装置１０２は、受信処理を実行し、以上のように送信されたパケットを受信する。

図８のフローチャートを参照して、受信処理の流れの例を説明する。

受信処理が開始されると、受信装置１０２のRTP受信部１３１は、ステップＳ１４１において、送信装置１０１から送信されたRTPパケットを受信する。ステップＳ１４２において、受信バッファ１３２は、受信されたRTPパケットを保持する。

同期制御部１４２は、ステップＳ１４３において、例えば受信バッファ１３２に格納された各RTPパケットのタイムスタンプ情報に基づいて同期再生時刻を決定する。

最初のRTPパケットのタイムスタンプ値をTS_initとし、そのRTPパケットの受信時刻をT_init（sec）とし、RTPタイムスタンプ周波数をf_rtp（Hz）とし、再生オフセット時間をT_play（sec）とし、送受信装置時刻オフセットをT_skew（sec）とし、タイムスタンプ値TSのRTPパケットの受信時刻をT_r（TS）とする。このとき、タイムスタンプ値TSのRTPパケットの再生時刻T_p（TS）は、例えば、以下の式（９）のように算出することができる。

もちろん、これ以外の方法でRTPパケットの再生時刻T_p（TS）が算出されるようにしてもよい。

なお、再生オフセット時間T_playは、パケット受信時刻から再生時刻までのオフセット時間を示す。このパラメータは、受信装置１０２内での処理遅延を反映させるためのものである。送受信装置時刻オフセット時間T_skewは、送受信装置間のシステムクロック周波数の差異を吸収するためのオフセット時間である。例えば、この送受信装置時刻オフセット時間T_skewの値は、ストリーム受信開始直後において「０」であり、一定時間おきに以下の式（１０）のように補正される。

同期制御部１４２は、以上のように決定した同期再生時刻およびRTPパケットに格納された圧縮動画像データを受信バッファ１３２から復号部１３３に供給させる。

復号部１３３は、ステップＳ１４４において、符号化データを復号する。ステップＳ１４５において、復号部１３３は、復号して得られた画像データを、同期制御部１４２により決定された同期再生時刻に再生し、ビデオ出力IF（ビデオOUT）から出力する。出力データは、例えば、ディスプレイ等の映像表示装置に出力される。

画像データが再生されると受信処理が終了する。以上のように、受信された各パケットが順次処理され、画像データとして出力される。以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、上述した各処理は適宜平行して実行される。

図９は、本発明を適用した場合の、データ伝送における各処理が実行されるタイミングの例を説明する図である。

この図９は、図１乃至図３に対応する図であり、基本的にそれらの図と同様の内容がされている。図９の場合、一連の処理のそれぞれの出力として、画像の取り込みおよび符号化の出力タイミングを示す「キャプチャ＆CODEC」（図９Ａ）、フレームレート変換の出力タイミングを示す「送信装置フレームレート変換処理出力」（図９Ｂ）、タイムスタンプ更新の出力タイミングを示す「タイムスタンプ制御処理出力」（図９Ｃ）、パケットの送信タイミングを示す「送信装置送信」（図９Ｄ）、パケットの受信タイミングを示す「受信装置受信」（図９Ｅ）、および画像データの再生出力タイミングを示す「受信装置再生」（図９Ｆ）が示されている。

図９の例の場合、送信装置１０１では、「キャプチャ＆CODEC」（図９Ａ）処理により、圧縮符号化ブロック毎に、一定間隔毎にキャプチャおよび符号化され、「送信装置フレームレート変換」処理（図９Ｂ）により、サンプリングフレームレートの３分の１のフレームレートにフレーム間引かれている。また、「タイムスタンプ制御」処理（図９Ｃ）により、フレーム間引き比率に応じてタイムスタンプ値の変換が行われ、平滑化処理により平滑化されたデータのパケットが「送信装置送信」（図９Ｄ）に示されるタイミングで送信される。

受信装置１０２では「受信装置受信」（図９Ｅ）のタイミングでパケットが受信され、「同期制御部」の処理にあわせて「受信装置再生」（図９Ｆ）のタイミングで再生される。このとき、符号化ブロックの全てのデータの「受信装置受信」処理が終了しなければ「受信装置再生」はされないものとする。

ここで、図９Ｂに示されるように、フレーム番号「３」以降のフレームにおいて、３フレーム中２フレームを間引くようにする（Ｍ＝３）。この場合、フレーム番号「３」以降のフレームのフレームレート（フレーム数）は、それ以前の３分の１になる。したがって、図９Ｄに示されるように、各フレームが、フレームが減少した分、平滑化処理によって分散されて伝送される。

従来の方法では、図２や図３のタイムチャート例のように、再生映像の破綻や不必要な遅延増加が起こる恐れがあったが、上述したように送信装置１０１のタイムスタンプ制御部１１４においてタイムスタンプを、変更後のフレームレートに応じて更新するようにしたので、その更新されたタイムスタンプに基づくタイミングで再生を行う受信装置１０２は、図９Ｆに示されるように、フレームレートの高低によらず、同期破綻なく画像データを確実に再生することができる。

このように、送信装置１０１がフレームレートを動的に変更しながら動画像をリアルタイム伝送しても、受信装置１０２は、同期再生の破綻をきたすことなく、低遅延伝送を実現することができる。

また、情報処理システム１００においては、低遅延伝送同期再生を行いながらフレームレートを動的に変更することができる。したがって、伝送レート制御のためにフレームレートを動的に変更することができるため、画質パラメータのみにより伝送レート制御を行う場合よりも、画像一枚あたりの画質を高く設定することができ、動きの少ない動画像を伝送する場合に有効である。

さらに、情報処理システム１００では、伝送レートの平滑化を行ってもフレームレートを動的に変更しながら、低遅延伝送同期再生が可能であるため、データのバースト伝送を行う必要がなく、ネットワークでのパケット損失の発生を抑制することができる。

つまり、情報処理システム１００の各装置は、画像の低遅延伝送同期再生をより確実に実現することができる。

なお、以上においては、送信装置１０１が、動画像データにサンプリング時刻に同期したタイムスタンプを付加し、受信装置１０２がそのタイムスタンプに同期して動画像データの各フレームを再生するように説明したが、このような再生時刻を制御するための情報は、サンプリング時刻に同期した情報であればタイムスタンプ以外の情報であってもよい。例えばタイムスタンプの代わりに、フレームIDやフレーム内ブロックID等、所定のデータ単位毎に動画像データに割り当てられるID値が用いられるようにしてもよい。サンプリングレートが明らかであれば、受信装置１０２は、これらのフレームIDやフレーム内ブロックIDからタイムスタンプと同様の情報を得ることが出来る。送信装置１０１は、このような、動画像データの各フレームのサンプリング時刻に同期した、所定のデータ単位毎に動画像データに割り当てられるID値を、フレームレート変換に応じて更新することにより、上述したタイムスタンプの場合と同様に、受信装置１０２における再生タイミングを制御することができる。すなわち、情報処理システム１００の各装置は、画像の低遅延伝送同期再生をより確実に実現することができる。

＜２．第２の実施の形態＞
［符号化処理］
次に、以上のような情報処理システム１００において適用される符号化処理および復号処理について説明する。

符号化部１１２の符号化方法（復号部１３３の復号方法）は基本的に任意であり、どのような方法でも適用可能であるが、例えば、特許文献１において提案されている動画像の各ピクチャの数ラインを１つの符号化ブロックとして符号化を行う動画像符号化方式を用いてもよい。

最初に符号化部１１２の構成について説明する。

図１０は、本発明を適用した符号化部１１２の詳細な構成例を示すブロック図である。図１０に示されるように符号化部１１２は、ウェーブレット変換部２１１、途中計算用バッファ部２１２、係数並び替え用バッファ部２１３、係数並び替え部２１４、エントロピ符号化部２１５、タイムスタンプ算出部２１６、およびパケタイズ部２１７を有する。

符号化部１１２に入力された画像データは、ウェーブレット変換部２１１を介して途中計算用バッファ部２１２に一時的に溜め込まれる。ウェーブレット変換部２１１は、途中計算用バッファ部２１２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部２１１は、途中計算用バッファ部２１２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部２１２に格納する。

ウェーブレット変換部２１１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部２１１は、途中計算用バッファ部２１２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部２１２に格納される。

ウェーブレット変換部２１１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部２１２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部２１３に書き込む。

係数並び替え部２１４は、係数並び替え用バッファ部２１３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部２１５に供給する。エントロピ符号化部２１５は、供給された係数データを所定の方法で量子化し、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部２１５は、生成した符号化データをタイムスタンプ算出部２１６に供給する。

タイムスタンプ算出部２１６は、供給された符号化データのタイムスタンプ値を、そのデータのキャプチャ時刻情報に基づいて算出する。つまり、タイムスタンプ算出部２１６は、キャプチャ時刻に同期したタイムスタンプ値を算出する。タイムスタンプ算出部２１６は、算出したタイムスタンプ値を、符号化データとともにパケタイズ部２１７に供給する。

パケタイズ部２１７は、供給された符号化データをRTPパケット化し、さらに、タイムスタンプ値をRTPタイムスタンプ値として各パケットに付加する。パケタイズ部２１７は、生成したパケットをフレームレート変換部１１３に供給する。

次に、図１０のウェーブレット変換部２１１で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図１１に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。

なお、図１１は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図１１において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。この階層の最大値が、ウェーブレット変換のその時の分割レベル（分割数）を示す。

また、図１１の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図１１の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。

低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図１２Ａに一例が示される分割レベル＝１の状態から、図１２Ｂに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図１２Ｂに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図１１におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。

ウェーブレット変換部２１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG（Joint Photographic Experts Group）２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１１）および式（１２）に示すように、低域フィルタＨ₀（ｚ）と、高域フィルタＨ₁（ｚ）とから構成される。

Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６ｚ^-2＋２ｚ^-3−ｚ^-4）／８・・・（１１）
Ｈ₁（ｚ）＝（−１＋２ｚ^-1−ｚ^-2）／２・・・（１２）

これら式（１１）および式（１２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、例えば、図１３に示されるようにリフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

次に、このウェーブレット変換方法について、さらに具体的に説明する。図１３は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図１３において、図の左側に分析フィルタとして示される部分は、図１０のウェーブレット変換部２１１のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述するウェーブレット逆変換部のフィルタである。

なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。

図１３において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部２１１におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。

分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図１３における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図１０の係数並び替え用バッファ部２１３に格納される。また、算出された低域成分の係数データは、図１０の途中計算用バッファ部２１２に格納される。

図１３においては、係数並び替え用バッファ部２１３は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部２１２は、点線で囲まれた部分として示す。

途中計算用バッファ部２１２に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、係数並び替え用バッファ部２１３に格納される。

ウェーブレット変換部２１１では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部２１２に格納する。次に、途中計算用バッファ部２１２に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。

そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。

ウェーブレット変換部２１１は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図１３の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。

なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。

図１３によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部２１２に格納された係数Ｃaに基づき算出され、係数Ｃ４は、途中計算用バッファ部２１２に格納された係数Ｃa、係数Ｃbおよび係数Ｃcに基づき算出される。さらに、係数Ｃcは、係数並び替え用バッファ部２１３に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。

これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部２１３に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。

すなわち、図１３によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部２１２に格納された係数Ｃcに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部２１３に格納されている。同様に、係数Ｃcは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部２１２に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。

このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部２１２および係数並び替え用バッファ部２１３に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。

なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。

このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。

ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部２１２に対応し、図１３においては点線で囲まれて示されている。また、第２のバッファは、係数並び替え用バッファ部２１３に対応し、図１３においては一点鎖線に囲まれて示されている。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。

次に、図１０の係数並び替え部２１４の処理について説明する。上述したように、ウェーブレット変換部２１１で算出された係数データは、係数並び替え用バッファ部２１３に格納され、係数並び替え部２１４により順序を並び替えられて読み出され、コーディングユニット単位でエントロピ符号化部２１５に送出される。

既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図１３の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。

これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。

図１３の例を用いて、より具体的に説明する。図１３の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（逆ウェーブレット変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。

すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃfを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃfと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。

このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部１３に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。

なお、図１３の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図１３の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。

符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図１３の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。

すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃgを生成し、バッファに格納する。この係数Ｃgと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃfとを用いて係数Ｃhを生成し、バッファに格納する。

そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃgおよび係数Ｃhと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。

このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。

３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部２１３に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。

なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図１３の例では、最後の回に８ラインが出力される。

なお、係数並び替え部２１４による係数データの並び替え処理は、例えば、係数並び替え用バッファ部２１３に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。

図１４を用いて、上述までの処理をより具体的に説明する。図１４は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部１１において、図１４Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図１４ＡのＩｎ−１）。

１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図１４Ｂに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図１４ＢのＷＴ−１）。

また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬに係数Ｃ５による１ラインが配置され、領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。

ウェーブレット変換部２１１による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図１４ＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図１４ＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。

図１３の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図１４Ｂに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬに配置され、１ライン分の係数Ｃ８が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。

図１４Ｂのようにウェーブレット変換されたデータを復号した際には、図１４Ｃに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図１４ＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図１４ＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。

ウェーブレット変換部２１１で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部２１３に順次格納される。係数並び替え部２１４は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部２１３に係数データが蓄積されると、係数並び替え用バッファ部２１３から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部２１５に順次、供給される。

エントロピ符号化部２１５は、供給される係数データを順次符号化し、生成した符号化データをタイムスタンプ算出部２１６に供給する。タイムスタンプ算出部２１６は、上述したようにタイムスタンプを算出し、パケタイズ部２１７は、上述したようにパケット化する。

次に、図１０の符号化部１１２に対応する復号部について説明する。図１５は、本発明を適用した復号部の構成例を示すブロック図である。図１５に示されるように、復号部１３３は、エントロピ復号部２２１、係数バッファ部２２２、ウェーブレット逆変換部２２３、および再生時刻調整バッファ２２４を有する。

エントロピ復号部２２１は、供給された符号化データをエントロピ符号化部２１５による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部２２２に格納される。ウェーブレット逆変換部２２３は、係数バッファ部２２２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部２２２に格納する。ウェーブレット逆変換部２２３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得ると、それを再生時刻調整バッファ２２４に一旦保持させ、同期制御部１４２により決定された同期再生時刻に出力させる。

［処理の流れ］
次に、符号化部１１２および復号部１３３により実行される処理の流れの例について説明する。最初に、図１６のフローチャートを参照して符号化部１１２により実行される符号化処理の流れの例を説明する。なお、この処理は、図７のステップＳ１２２乃至ステップＳ１２４に対応する。

符号化処理が開始されると、ウェーブレット変換部２１１は、ステップＳ２０１において、処理対象プレシンクトの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部２１１は、ステップＳ２０２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得する。

また、ウェーブレット変換部２１１は、ステップＳ２０３において、その画像データに対して、画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行う。ウェーブレット変換部２１１は、さらに、その画像データに対して、ステップＳ２０４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。

ステップＳ２０５においてウェーブレット変換部２１１は、分析フィルタリング処理を最終レベルまで行ったか否かを判定する。分解レベルが最終レベルに達していないと判定された場合、ステップＳ２０３に戻り、現在の分解レベルに対して、ステップＳ２０３およびステップＳ２０４の分析フィルタリング処理が繰り返される。

ステップＳ２０５において、分析フィルタリング処理が最終レベルまで行われたと判定された場合、ステップＳ２０６に進む。

ステップＳ２０６において、係数並び替え部２１４は、プレシンクトＡ（ピクチャ（フレームまたはフィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。エントロピ符号化部２１５は、ステップＳ２０７において、その係数に対してライン毎にエントロピ符号化する。

ステップＳ２０８において、タイムスタンプ算出部２１６は、エントロピ符号化されて得られた符号化データの、キャプチャ時刻に同期したタイムスタンプを算出する。ステップＳ２０９において、パケタイズ部２１７は、符号化データをパケット化する。このときパケタイズ部２１７は、算出されたタイムスタンプ値をパケットに付加する。

ステップＳ２１０において、パケタイズ部２１７は、生成したパケットを送出する。

ウェーブレット変換部２１１は、ステップＳ２１１において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ２１２において、処理対象のピクチャ（フレームまたはフィールド）について、未処理の画像入力ラインが存在するか否かを判定する。未処理の画像入力ラインが存在すると判定された場合、処理は、ステップＳ２０２に戻り、新たな処理対象のプレシンクトに対してそれ以降の処理が繰り返される。

以上のようにステップＳ２０２乃至ステップＳ２１２の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ２１２において、未処理の画像入力ラインが存在しないと判定された場合、そのピクチャに対する符号化処理が終了される。次のピクチャに対しては新たに符号化処理が開始される。

このように、ウェーブレット変換部２１１は、プレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、画面全体に対してウェーブレット変換を行う方法と比較して遅延時間を大幅に低減させることができる。

次に、図１７のフローチャートを参照して、復号部１３３により実行される復号処理の流れの例を説明する。なお、この処理は、図８のステップＳ１４４およびステップＳ１４５に対応する。

復号処理が開始されると、エントロピ復号部２２１は、ステップＳ２３１において、復号部１３３の外部より供給される符号化データを取得し、ステップＳ２３２において、ライン毎に符号化データをエントロピ復号する。

ステップＳ２３３において、係数バッファ部２２２は、その復号されて得られた係数データを保持する。ステップＳ２３４においてウェーブレット逆変換部２２３は、係数バッファ部２２２に１プレシンクト分の係数データが蓄積されたか否かを判定する。１プレシンクト分の係数データが蓄積されていないと判定された場合、処理は、ステップＳ２３１に戻り、それ以降の処理が実行される。つまり、ウェーブレット逆変換部２２３は、係数バッファ部２２２に１プレシンクト分の係数データが蓄積されるまで待機する。

ステップＳ２３４において係数バッファ部２２２に１プレシンクト分の係数データが蓄積されたと判定された場合、処理はステップＳ２３５に進む。ステップＳ２３５において、ウェーブレット逆変換部２２３は、係数バッファ部２２２に保持されている係数データを１プレシンクト分読み出す。ステップＳ２３６において、ウェーブレット逆変換部２２３は、その読み出した係数データに対して、画面垂直方向に並ぶ係数データに対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行う。

ステップＳ２３７において、ウェーブレット逆変換部２２３は、画面水平方向に並ぶ係数データに対して合成フィルタリング処理を行う水平合成フィルタリング処理を行う。ステップＳ２３８において、ウェーブレット逆変換部２２３は、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定する。レベル１まで達していないと判定された場合、処理はステップＳ２３６に戻り、ステップＳ２３６およびステップＳ２３７のフィルタリング処理が繰り返される。

ステップＳ２３８において、レベル１までウェーブレット逆変換処理が終了されたと判定した場合、処理はステップＳ２３９に進む。ステップＳ２３９において、ウェーブレット逆変換部２２３は、ウェーブレット逆変換処理により得られた画像データを、再生時刻調整バッファ２２４に一時的に保持させながら、同期制御部１４２により決定された同期再生時刻に外部に出力する。

ステップＳ２４０において、エントロピ復号部２２１は、復号処理を終了するか否かを判定する。復号処理を終了しないと判定された場合、処理はステップＳ２３１に戻り、それ以降の処理が繰り返される。また、ステップＳ２４０において、プレシンクトが終了するなどして復号処理が終了されると判定した場合、復号処理は終了される。

従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。

また、この場合、ピクチャ（フレームまたはフィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。

これに対して、復号部１３３のウェーブレット逆変換部２２３の場合、上述したようにプレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。

以上のような各種処理は、例えば、図１８に示されるように、適宜、並列的に実行させることもできる。

図１８は、図１０に示される符号化部１１２および図１５に示される復号部１３３の各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図１８は、上述した図１４と対応するものである。画像データの入力Ｉｎ−１（図１８Ａ）に対して、ウェーブレット変換部２１１（図１０）で１回目のウェーブレット変換ＷＴ−１が施される（図１８Ｂ）。図１３を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。

生成された係数データは、係数並び替え用バッファ部２１３（図１０）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。

２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部２１４（図１）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図１８Ｃ）。

なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部２１４に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部２１４の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。

係数データは、並び替えが終了した順に係数並び替え用バッファ部２１３から読み出され、エントロピ符号化部２１５（図１０）に供給され、エントロピ符号化ＥＣ−１が行われる（図１８Ｄ）。このエントロピ符号化ＥＣ−１は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。

エントロピ符号化部２１５によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、復号部１３３（図１５）に伝送される（図１８Ｅ）。

以上のように、符号化部１１２に対しては、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。符号化部１１２では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。符号化部１１２における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、符号化部１１２において、図１８Ａ乃至図１８Ｄに例示されるように、並列的に行われる。

符号化部１１２によるエントロピ符号化ＥＣ−１により符号化された符号化データは、各部を介して復号部１３３に供給される。復号部１３３のエントロピ復号部２２１（図１５）は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図１８Ｆ）。復元された係数データは、順次、係数バッファ部２２２に格納される。ウェーブレット逆変換部２２３は、係数バッファ部２２２にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部２２２から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図１８Ｇ）。

図１３を参照して説明したように、ウェーブレット逆変換部２２３によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５が係数バッファ部２２２に格納された時点で開始することができる。したがって、エントロピ復号部２２１による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部２２３によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。

ウェーブレット逆変換部２２３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図１８Ｈ）。出力Ｏｕｔ−１では、図１３および図１４を用いて説明したように、第１ライン目の画像データが出力される。

復号部１３３に対して、符号化部１１２における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。復号部１３３では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。符号化部１１２の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、復号部１３３において、図１８Ｆ乃至図１８Ｈに例示されるように、並列的に行われる。

上述のようにして、画面上部から下部の方向に順番に、符号化部１１２および復号部１３３における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。

図１８を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが符号化部１１２に入力されてから、この第１ライン目の画像データが復号部１３３から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。

（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の係数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ

図１８を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、符号化部１１２において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、復号部１３３において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。

したがって、この図１８の例では、符号化部１１２に第１ライン目の画像データが入力されてから、復号部１３３から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。

遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６.６７msec（＝１sec/６０フィールド）の時間に、符号化部１１２に入力されることになる。

したがって、７ライン分の画像データの入力に伴う遅延時間は、０.２１６msec（＝１６.６７msec×７/５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。

以上のように、ピクチャ以下の単位で符号化を行う低遅延符号化方式を適用する場合、低遅延性の維持が特に重要になる。情報処理システム１００においては、上述したように、画像の低遅延伝送同期再生をより確実に実現することができる。つまり、情報処理システム１００は、画像を破綻させないように、フレームレートを動的に変更しながら低遅延伝送を実現することができるので、より大きな効果を奏することができる。

なお、符号化・復号方法は、基本的に任意であり、上述した方法以外であっても良い。例えばMotion JPEG（Joint Photographic Experts Group）等の他のフレーム内符号化方式であってもよいし、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）H.264等のフレーム間符号化方式であってもよい。

もちろん、符号化せずに、ベースバンドの画像データを送信装置１０１から受信装置１０２へ伝送させるようにしてもよい。

＜３．第３の実施の形態＞
［デバイスの構成］
また、以上においては、送信装置１０１がタイムスタンプ値を更新するように説明したが、これに限らず、受信装置１０２においてフレームレート等の情報から、タイムスタンプ値の更新を反映させた同期再生時刻（第１の実施の形態の場合と実質的に同様の同期再生時刻）を算出するようにしてもよい。

図１９は、本発明を適用した情報処理システムの他の構成例を示すブロック図である。

図１９に示される情報処理システム３００は、図４の情報処理システム１００に対応する。すなわち、情報処理システム３００は、情報処理システム１００の場合と同様に、送信装置３０１から受信装置３０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。

送信装置３０１は、図４の送信装置１０１に対応する。送信装置３０１は、基本的に送信装置１０１と同様の構成を有するが、タイムスタンプ制御部１１４の代わりにフレームレート値付加部３１４を有する。

フレームレート値付加部３１４は、フレームレート変換部１１３からフレームレート変換された符号化データのRTPパケットを取得するとともに、フレームレート変換部１１３から変換後の伝送フレームレートf_t（fps）の通知を受ける。

フレームレート値付加部３１４は、そのフレームレート変換部１１３から通知された伝送フレームレートf_t（fps）を示す情報を、符号化データのRTPパケットに付加する。フレームレート値付加部３１４は、フレームレート値を付加したパケットを平滑化部１１５に供給する。

すなわち、第１の実施の形態において、更新されたタイムスタンプが送信装置１０１から受信装置１０２に供給されたのに対して、本実施の形態においては、更新前のタイムスタンプと、変換後のフレームレート値が送信装置３０１から受信装置３０２に供給される。

受信装置３０２は、図４の受信装置１０２に対応する。受信装置３０２は、基本的に受信装置１０２と同様の構成を有するが、同期制御部１４２の代わりに同期制御部３４２を有する。

同期制御部３４２は、受信バッファ１３２に保持されているパケット（符号化データ）に対して、そのパケットに付加されて送信装置３０１から伝送されたタイムスタンプ値およびフレームレート値、並びに、キャプチャ部１１１のサンプリングフレームレートから、伝送レートの平滑化に対応する同期再生時刻を算出する。

つまり、本実施の形態の場合、送信装置側でタイムスタンプを更新する代わりに、受信装置３０２の同期制御部３４２が伝送フレームレートf_t（fps）、サンプリングフレームレートf_s（fps）からフレーム間引き率Ｍを求める。同期制御部３４２は、この値と、符号化ブロックデータに付加されたタイムスタンプ値TSから、同期再生時刻を算出する。算出される同期再生時刻は、基本的に上述した実施の態様によるものと同一である。

つまり、この同期再生時刻においても、低フレームレート時の各パケットの処理タイミングが伝送レートの平滑化に合わせて調整されており、画像が破綻しないようになされている。

［処理の流れ］
図２０のフローチャートを参照して、送信装置３０１により実行される送信処理の流れの例を説明する。この送信処理は、図７のフローチャートに対応する。

上述したように、本実施の形態の場合も、送信処理は、基本的に図７のフローチャートを参照して説明した場合と同様に実行される。したがって、図２０のステップＳ３２１乃至ステップＳ３２５の各処理は、図７のステップＳ１２１乃至ステップＳ１２５の各処理と同様に実行される。

ステップＳ３２６において、フレームレート値付加部３１４は、変換後のフレームレート値（伝送フレームレートf_t（frame/sec））を示すフレームレート情報を符号化データのパケットのヘッダ等に付加する。

図２１は、伝送フレームレート付加の様子を説明する図である。

フレームレート情報は、例えばRTP拡張ヘッダ（RTP Extension Header）に、図２１に示されるフォーマットにて格納される。フレームレート値付加部３１４は、図２１に示されるように、DBP（Defined by Profile）の値を「０」にセットし、LEN（Length）の値を「１」にセットする。フレームレート値付加部３１４は、さらに、その後の３２ビットにTFR（Transmission Frame Rate）を設け、伝送フレームレートf_t（fps）をセットする。例えば、伝送フレームレートf_tを１０００倍し、小数点以下を切り捨てた値をセットする。

ステップＳ３２７およびステップＳ３２８の各処理は、図７のステップＳ１２７およびステップＳ１２８の各処理と同様に実行される。

ステップＳ３２８においてパケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。この場合も、以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、この場合も上述した各処理は適宜平行して実行される。

なお、この場合も、平滑化処理は、送信装置１０１外の、例えばルータやEthernet Switch等の中継装置において行われるようにしてもよい。

次に、図２２のフローチャートを参照して、受信装置３０２により実行される受信処理の流れの例を説明する。この受信処理は、図８のフローチャートに対応する。

上述したように、本実施の形態の場合も、受信処理は、基本的に図８のフローチャートを参照して説明した場合と同様に実行される。したがって、図２２のステップＳ３４１およびステップＳ３４２の各処理は、図８のステップＳ１４１およびステップＳ１４２の各処理と同様に実行される。

ステップＳ３４３において、同期制御部３４２は、受信バッファ１３２に保持されているパケットに対して、タイムスタンプ値（更新されていないタイムスタンプ値）のみではなく、送信装置１０１から通知された伝送フレームレートf_t（fps）や、受信装置１０２内に予め保持されているキャプチャ部１１１のサンプリングフレームレートも用いて、再生時刻を決定する。

同期制御部３４２は、フレーム間引き率Ｍを、例えば以下の式（１３）のように算出する。

第１の実施の形態の場合と同様に、同期制御部３４２は、再生すべき符号化ブロックデータＢを含むフレームデータ直後にフレーム間引きされたフレームデータの内の最後のフレームデータの一致する符号化ブロックデータの再生時刻を算出する。同期制御部３４２は、その再生時刻T2_p（TS）を以下の式（１４）のように算出する。

なお、T_p（TS）は、式（９）の再生時刻であり、タイムスタンプから求められる再生時刻である。本実施の形態の場合、サンプリングレートに対応するタイムスタンプから求められる再生時刻となる。つまり、再生時刻T2_p（TS）は、タイムスタンプから求められる再生時刻に、サンプリングフレームレートと伝送フレームレートとにより算出される補正値（（（f_s div f_t）−１）／f_s）を加算することにより求められる。

再生時刻T2_p（TS）にそれぞれのデータを再生することにより、図２３のタイムチャート例に示されるように、第１の実施の形態の場合と同じタイミングでの再生が可能となる。

つまり、情報処理システム３００も、画像の低遅延伝送同期再生をより確実に実現することができる。

なお、以上においては、受信装置３０２が予めキャプチャ部１１１におけるサンプリングフレームレートを把握しているように説明したが、これに限らず、送信装置３０１から受信装置３０２へサンプリングフレームレート情報を伝送するようにしてもよい。その場合、上述した伝送フレームレート情報とともに、サンプリングフレームレート情報が伝送されるようにすればよい。

また、フレームレート情報は、RTPパケットのRTP拡張ヘッダ（RTP Extension Header）以外のフィールドにセットされるようにしても良い。また、その他のパケットに付加されて伝送されるようにしてもよいし、他の伝送方法にて伝送されるようにしてもよい。

もちろん、本実施の形態の場合も、第１の実施の形態の場合と同様に、タイムスタンプの代わりに、例えばフレームIDやフレーム内ブロックID等の、動画像データの各フレームのサンプリング時刻に同期した、タイムスタンプ以外の情報が用いられるようにしてもよい。

＜４．第４の実施の形態＞
［デバイスの構成］
さらに、送信装置１０１がフレームレート情報の代わりに、フレームレート変換において間引いたフレーム数を示すフレームスキップ数を受信装置１０２に送信するようにしてもよい。この場合、受信装置１０２は、そのフレームスキップ数を用いて、タイムスタンプ値の更新を反映させた同期再生時刻（第１の実施の形態の場合と実質的に同様の同期再生時刻）を算出する。

図２４は、本発明を適用した情報処理システムの、さらに他の構成例を示すブロック図である。

図２４に示される情報処理システム４００は、図４の情報処理システム１００に対応する。すなわち、情報処理システム４００は、情報処理システム１００の場合と同様に、送信装置４０１から受信装置４０２へ、インターネット網１０３を介して動画像の低遅延伝送同期再生を行うシステムである。

送信装置４０１は、図４の送信装置１０１に対応する。送信装置４０１は、基本的に送信装置１０１と同様の構成を有するが、タイムスタンプ制御部１１４の代わりにフレームスキップ数付加部４１４を有する。

フレームスキップ数付加部４１４は、フレームレート変換部１１３からフレームレート変換された（フレームの間引き処理された）符号化データのRTPパケットを取得するとともに、フレームレート変換部１１３からフレームレート変換の際に間引いたフレーム数を示すフレームスキップ数N_s（frame）の通知を受ける。

より具体的に、フレームスキップ数は、変換後フレームデータと次の変換後フレームデータとの間に存在した変換前フレーム数を示し、フレーム間引き率をＭとするとＭ−１で表される。

フレームスキップ数付加部４１４は、そのフレームレート変換部１１３から通知されたフレームスキップ数N_s（frame）を示す情報を、符号化データのRTPパケットに付加する。フレームスキップ数付加部４１４は、フレームスキップ数を付加したパケットを平滑化部１１５に供給する。

すなわち、第１の実施の形態において、更新されたタイムスタンプが送信装置１０１から受信装置１０２に供給されたのに対して、本実施の形態においては、更新前のタイムスタンプと、フレームスキップ数が送信装置４０１から受信装置４０２に供給される。

受信装置４０２は、図４の受信装置１０２に対応する。受信装置４０２は、基本的に受信装置１０２と同様の構成を有するが、同期制御部１４２の代わりに同期制御部４４２を有する。

同期制御部４４２は、受信バッファ１３２に保持されているパケット（符号化データ）に対して、そのパケットに付加されて送信装置４０１から伝送されたタイムスタンプ値およびフレームスキップ数、並びにキャプチャ部１１１のサンプリングフレームレートから、伝送レートの平滑化に対応する同期再生時刻を算出する。

つまり、本実施の形態の場合、送信装置側でタイムスタンプを更新する代わりに、受信装置４０２の同期制御部４４２がフレームスキップ数N_s（frame）、サンプリングフレームレートf_s（fps）、およびタイムスタンプ値TSから、同期再生時刻を算出する。算出される同期再生時刻は、基本的に上述した実施の態様によるものと同一である。

［処理の流れ］
図２５は、送信処理の流れの、さらに他の例を説明するフローチャートである。この送信処理は、図７のフローチャートに対応する。

上述したように、本実施の形態の場合も、送信処理は、基本的に図７のフローチャートを参照して説明した場合と同様に実行される。したがって、図２５のステップＳ４２１乃至ステップＳ４２５の各処理は、図７のステップＳ１２１乃至ステップＳ１２５の各処理と同様に実行される。

ステップＳ４２６において、フレームスキップ数付加部４１４は、フレームスキップ数N_s（frame）を符号化データのパケットのヘッダ等に付加する。

図２６は、フレームスキップ数付加の様子を説明する図である。

フレームスキップ数は、例えばRTP拡張ヘッダ（RTP Extension Header）に、図２６に示されるフォーマットにて格納される。フレームスキップ数付加部４１４は、図２６に示されるように、DBP（Defined by Profile）の値を「０」にセットし、LEN（Length）の値を「１」にセットする。フレームスキップ数付加部４１４は、さらに、その後の３２ビットにNSF（Num of Skip Frame）を設け、フレームスキップ数N_s（frame）をセットする。

ステップＳ４２７およびステップＳ４２８の各処理は、図７のステップＳ１２７およびステップＳ１２８の各処理と同様に実行される。

ステップＳ４２８においてパケットが送信されると送信処理が終了される。以上のように、各パケットが順次送信される。この場合も、以上に説明した各ステップの処理は、準備が整い次第実行され、かつ、それぞれの処理単位での処理が終了次第、次のデータ対して処理が繰り返される。したがって、この場合も上述した各処理は適宜平行して実行される。

次に、図２７のフローチャートを参照して、受信装置４０２により実行される受信処理の流れの例を説明する。この受信処理は、図８のフローチャートに対応する。

上述したように、本実施の形態の場合も、受信処理は、基本的に図８のフローチャートを参照して説明した場合と同様に実行される。したがって、図２７のステップＳ４４１およびステップＳ４４２の各処理は、図８のステップＳ１４１およびステップＳ１４２の各処理と同様に実行される。

ステップＳ４４３において、同期制御部４４２は、受信バッファ１３２に保持されているパケットに対して、タイムスタンプ値（更新されていないタイムスタンプ値）のみではなく、送信装置１０１から通知されたフレームスキップ数N_s（frame）や、受信装置１０２内に予め保持されているキャプチャ部１１１のサンプリングフレームレートも用いて、再生時刻を決定する。

第１の実施の形態の場合と同様に、同期制御部４４２は、再生すべき符号化ブロックデータＢを含むフレームデータ直後にフレーム間引きされたフレームデータの内の最後のフレームデータの一致する符号化ブロックデータの再生時刻を算出する。同期制御部４４２は、その再生時刻T3_p（TS）を以下の式（１５）のように算出する。

なお、T_p（TS）は、式（９）の再生時刻であり、タイムスタンプから求められる再生時刻である。本実施の形態の場合、サンプリングレートに対応するタイムスタンプから求められる再生時刻となる。つまり、再生時刻T3_p（TS）は、タイムスタンプから求められる再生時刻に、サンプリングフレームレートとフレームスキップ数とにより算出される補正値（N_s／f_s）を加算することにより求められる。

再生時刻T3_p（TS）にそれぞれのデータを再生することにより、図２８のタイムチャート例に示されるように、第１の実施の形態の場合と同じタイミングでの再生が可能となる。

なお、以上においては、受信装置４０２が予めキャプチャ部１１１におけるサンプリングフレームレートを把握しているように説明したが、これに限らず、送信装置４０１から受信装置４０２へサンプリングフレームレート情報を伝送するようにしてもよい。その場合、上述したフレームスキップ数とともに、サンプリングフレームレート情報が伝送されるようにすればよい。

また、フレームスキップ数は、RTPパケットのRTP拡張ヘッダ（RTP Extension Header）以外のフィールドにセットされるようにしても良い。また、その他のパケットに付加されて伝送されるようにしてもよいし、他の伝送方法にて伝送されるようにしてもよい。

＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２９に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２９において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００情報処理システム，１０１送信装置，１０２受信装置，１１１キャプチャ部，１１２符号化部，１１３フレームレート変換部，１１４タイムスタンプ制御部，１１５平滑化部，１１６ RTP送信部，１２１ RTCP部，１２２伝送レート制御部，１３１ RTP受信部，１３２受信バッファ，１３３復号部，１４１ RTCP部，１４２同期制御部，２１１ウェーブレット変換部，２１２途中計算用バッファ部，２１３係数並び替え用バッファ部，２１４係数並び替え部，２１５エントロピ符号化部，２１６タイムスタンプ算出部，２１７パケタイズ部，３００情報処理システム，３０１送信装置，３０２受信装置，３１４フレームレート値付加部，３４２同期制御部，４００情報処理システム，４０１送信装置，４０２受信装置，４１４フレームスキップ数付加部，４４２同期制御部

Claims

各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを下げるように変換するフレームレート変換手段と、
前記フレームレート変換手段によりフレームレートが下げられた後の各フレームの前記タイムスタンプを、フレームレートが下げられる前の状態においてフレームレートが下げられた後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新する更新手段と、
前記更新手段により前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する送信手段と
を備える情報処理装置。
前記フレームレート変換手段は、前記動画像データから一部のフレームデータを間引くことにより、前記フレームレートを所望のフレームレートに変換する
請求項１に記載の情報処理装置。
前記フレームレート変換手段は、前記動画像データの複数フレームを画像合成することにより、前記フレームレートを所望のフレームレートに変換する
請求項１に記載の情報処理装置。
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを下げるように変換し、
前記更新手段は、前記フレームレート変換手段によりフレームレートが下げられた後の前記ID値を更新し、
前記送信手段は、前記更新手段により前記ID値が更新された前記動画像データを、各フレームの再生時刻を前記ID値に基づいて決定する他の情報処理装置に送信する
請求項１乃至請求項３のいずれかに記載の情報処理装置。
フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを下げるように変換し、
更新手段が、フレームレートが下げられた後の各フレームの前記タイムスタンプを、フレームレートが下げられる前の状態においてフレームレートが下げられた後の次のフレームからみて１つ前に位置するフレームのタイムスタンプに更新し、
送信手段が、前記タイムスタンプが更新された前記動画像データを、各フレームの再生時刻を前記タイムスタンプに基づいて決定する他の情報処理装置に送信する
情報処理方法。
各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換するフレームレート変換手段と、
前記フレームレート変換手段によるフレームレート変換後のフレームレート、および、前記フレームレート変換手段によるフレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報を、前記フレームレート変換手段により前記フレームレート変換された前記動画像データに付加する付加手段と、
前記付加手段により前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する送信手段と
を備える情報処理装置。
前記フレームレート変換手段は、各フレームのサンプリング時刻に同期したID値が所定のデータ単位毎に割り当てられた動画像データのフレームレートを変換し、
前記送信手段は、前記付加手段により前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記ID値、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する
請求項６に記載の情報処理装置。
フレームレート変換手段が、各フレームにサンプリング時刻に同期したタイムスタンプが割り当てられた動画像データのフレームレートを変換し、
付加手段が、フレームレート変換後のフレームレート、および、フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報を、前記フレームレート変換された前記動画像データに付加し、
送信手段が、前記フレーム情報が付加された前記動画像データを、各フレームの再生時刻を前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数に基づいて決定する他の情報処理装置に送信する
情報処理方法。
他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、並びに、前記他の情報処理装置で行われたフレームレート変換の後のフレームレート、および、前記フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報が付加された動画像データを受信する受信手段と、
前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する再生時刻決定手段と
を備える情報処理装置。
前記再生時刻決定手段は、前記サンプリングレート、および、前記フレームレート変換後のフレームレートから算出される補正値を、前記タイムスタンプから算出される再生時刻に加算した時刻を前記再生時刻に決定する
請求項９に記載の情報処理装置。
前記再生時刻決定手段は、前記サンプリングレート、および、前記フレームスキップ数から算出される補正値を、前記タイムスタンプから算出される再生時刻に加算した時刻を前記再生時刻に決定する
請求項９に記載の情報処理装置。
前記受信手段は、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期した所定のデータ単位毎のID値、および、前記フレーム情報が付加された動画像データを受信し、
前記再生時刻決定手段は、前記ID値、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、前記受信手段により受信された前記動画像データの各フレームの再生時刻を決定する
請求項９乃至請求項１１のいずれかに記載の情報処理装置。
受信手段が、他の情報処理装置から送信された、各フレームのサンプリング時刻に同期したタイムスタンプ、並びに、前記他の情報処理装置で行われたフレームレート変換の後のフレームレート、および、前記フレームレート変換により削除されたフレーム数を示すフレームスキップ数のうち、少なくともいずれか一方を含み、前記フレームレート変換を特定する情報であるフレーム情報が付加された動画像データを受信し、
再生時刻決定手段が、前記タイムスタンプ、前記動画像データのサンプリングレート、並びに、前記フレーム情報に含まれる前記フレームレート変換後のフレームレート若しくは前記フレームスキップ数を用いて、受信された前記動画像データの各フレームの再生時刻を決定する
情報処理方法。