JP4821836B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP4821836B2
JP4821836B2 JP2008289346A JP2008289346A JP4821836B2 JP 4821836 B2 JP4821836 B2 JP 4821836B2 JP 2008289346 A JP2008289346 A JP 2008289346A JP 2008289346 A JP2008289346 A JP 2008289346A JP 4821836 B2 JP4821836 B2 JP 4821836B2
Authority
JP
Japan
Prior art keywords
data
image data
information processing
processing apparatus
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008289346A
Other languages
English (en)
Other versions
JP2009213116A (ja
Inventor
隆浩 福原
勝俊 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2008/059003 external-priority patent/WO2008143158A1/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008289346A priority Critical patent/JP4821836B2/ja
Publication of JP2009213116A publication Critical patent/JP2009213116A/ja
Application granted granted Critical
Publication of JP4821836B2 publication Critical patent/JP4821836B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、情報処理装置および方法に関し、特に、より多様な状況において、画像データを高品質かつ低遅延に伝送することができるようにした情報処理装置および方法に関する。
家庭内のデジタル映像機器には、目を見張る技術の発展があり、映像の高解像度化はその一例である。しかし、映像をカメラで撮影するカムコーダ、テレビ番組を録画・再生する機器（DVD（Digital Versatile Disc）レコーダ、BD（Blue-Ray Disc）レコーダ等）、ゲーム機器、テレビ受信機等の機器間の接続はまだ完全とは言えない。
MPEG-2（Moving Picture Experts Group phase 2）は、例えばBS（Broadcasting Satellite）デジタル放送で、HDTV（HighDefinition Television）のインターレース動画像を圧縮する際に使われている。また、DVDソフトも全てMPEG-2が使われており、MPEG-2で圧縮されたビデオのストリームが記録されている。
また、近年、MPEG-2の２倍の圧縮率を持ったAVC（Advanced Video Coding）が、その圧縮効率を買われてカムコーダに採用され始めている。BDレコーダでもAVCエンコーダを搭載して長時間録画をセールスポイントにした商品も出始めている。一方、デジタル機器間を接続するインタフェースとして、最近業界標準になりつつあるのが、HDMI（High Definition Multimedia Interface）である。例えば、特許文献１には、HDMI規格の詳細についての記載がある。
HDMIは、デジタル家電向けのインタフェースであり、PC（Personal Computer）とディスプレイとの間の接続標準規格であるDVI（DigitalVisual Interface）に、音声伝送機能や著作権保護機能（デジタルコンテンツ等の不正コピー防止機能）、色差伝送機能を加えるなど、AV（Audio Visual）家電向けにアレンジしたものである。２００２年１２月にHDMI1.0の仕様が策定された。
HDMIは非圧縮デジタル音声・映像を伝達し、画質・音質の劣化がない利点がある。HDMIでは現在フルスペック・ハイビジョン（フルHD：解像度は水平１９２０画素×垂直１０８０ライン）の機能を基本としている。映像・音声を非圧縮でプレーヤからテレビに側に転送できるため、デコーダなどの専用チップやソフトウェアを必要としない。接続機器同士が互いに認識できるインテリジェント機能も備えている。
また、映像・音声・制御信号が一本化したシングルケーブルのため、AV機器の配線を簡略化できるメリットもある。制御信号なども送信することができるので、各AV機器間の連携も容易である。
ＷＯ２００２／０７８３３６号公報
しかしながら、HDMI以外のネットワークを伝送路とするデータ伝送を行う場合も考えられ、その場合、従来の方法では、高品質かつ低遅延に画像データを伝送することは困難になる恐れがあった。また、受信側の能力も機器によって異なるため、通信相手によって、従来の方法では、高品質かつ低遅延に画像データを伝送することは困難になる恐れがあった。
本発明は、このような従来の実情に鑑みて提案されたものであり、より多様な状況において、画像データを高品質かつ低遅延に伝送することができるようにするものである。
本発明の一側面は、伝送路の伝送許容ビットレートが伝送する画像データのビットレートより大きいか否かによって、前記画像データを符号化するか否かを選択する選択手段と、前記選択手段により前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段とを備える情報処理装置である。
前記受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段をさらに備え、前記選択手段は、前記取得手段により取得された前記復号処理能力に関する情報に基づいて前記画像データを符号化するか否かを選択することができる。
本発明の他の側面は、受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段と、前記取得手段により取得された前記復号処理能力に関する情報に基づいて前記画像データを符号化するか否かを選択する選択手段と、前記選択手段により前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段とを備える情報処理装置である。
前記送信手段は、所定の符号化データを前記受信側の情報処理装置に送信し、前記取得手段は、前記復号処理能力に関する情報として、前記受信側の情報処理装置における前記符号化データの受信および復号結果を示す情報を取得することができる。
前記取得手段は、前記復号処理能力に関する情報として、復号処理にかかる遅延時間の情報を取得することができる。
本発明のさらに他の側面は、受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段と、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、前記取得手段により取得された前記復号処理能力に関する情報に基づいて復号処理の遅延時間を設定し、前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段とを備える情報処理装置である。
前記取得手段により取得された前記復号処理能力に関する情報に基づいて画像データを符号化するか否かを選択する選択手段をさらに備え、前記フィルタ手段は、前記選択手段により前記画像データを符号化するように選択された場合、前記サブバンドを生成する処理を行うことができる。
前記取得手段は、前記受信側の情報処理装置における前記画像データの解像度の情報を取得し、前記符号化手段は、前記取得手段により取得された前記解像度の情報に基づいて、生成する符号化データの解像度を設定することができる。
前記受信側の情報処理装置は、HDMI（High Definition Multimedia Interface）規格に準拠する方法で前記情報処理装置に接続されることができる。
前記取得手段は、前記受信側の情報処理装置から伝送されるE-EDID（Enhanced Extended Display Identification Data）を取得し、前記E-EDIDに含まれる前記復号処理能力に関する情報を取得することができる。
前記取得手段は、前記E-EDIDのVIDEO SHORT領域、若しくは、Vender Specific領域に含まれる前記復号処理能力に関する情報を取得することができる。
前記取得手段は、DDC（Display Data Channel）を介して前記E-EDIDを取得することができる。
前記フィルタ手段は、符号化する前記画像データのフォーマットが４：２：０の場合、前記画像データの色差成分の分解数を、前記画像データの輝度成分の分解数より１つ少なくすることができる。
前記フィルタ手段は、前記サブバンドを生成する処理をリフティングにより行うことができる。
前記フィルタ手段は、ウェーブレット変換により前記画像データを周波数帯域毎に分解することができる。
前記フィルタ手段、前記並び替え手段、および前記符号化手段は、適宜、並列的に各処理を行うことができる。
本発明の一側面はまた、選択手段が、伝送路の伝送許容ビットレートが伝送する画像データのビットレートより大きいか否かによって、前記画像データを符号化するか否かを選択し、フィルタ手段が、前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行い、並び替え手段が、高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替え、符号化手段が、並び替えられた前記係数データを符号化し、送信手段が、前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する情報処理方法である。
本発明の一側面においては、伝送路の伝送許容ビットレートが伝送する画像データのビットレートより大きいか否かによって、画像データを符号化するか否かが選択され、画像データを符号化するように選択された場合、画像データを周波数帯域毎に分解し、周波数帯域毎の係数データからなるサブバンドを生成する処理が、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に行われ、高域成分から低域成分の順に生成された係数データが低域成分から高域成分の順に並び替えられ、並び替えられた係数データが符号化され、係数データが符号化されることにより生成される符号化データが、伝送路を介して受信側の情報処理装置に送信される。
本発明の他の側面においては、受信側の情報処理装置より受信側の情報処理装置の復号処理能力に関する情報が取得され、取得された復号処理能力に関する情報に基づいて画像データを符号化するか否かが選択され、画像データを符号化するように選択された場合、画像データを周波数帯域毎に分解し、周波数帯域毎の係数データからなるサブバンドを生成する処理が、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に行われ、高域成分から低域成分の順に生成された係数データが低域成分から高域成分の順に並び替えられ、並び替えられた係数データが符号化され、係数データが符号化されることにより生成される符号化データが、伝送路を介して受信側の情報処理装置に送信される。
本発明のさらに他の側面においては、受信側の情報処理装置より受信側の情報処理装置の復号処理能力に関する情報が取得され、画像データを周波数帯域毎に分解し、周波数帯域毎の係数データからなるサブバンドを生成する処理が、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に行われ、高域成分から低域成分の順に生成された係数データが低域成分から高域成分の順に並び替えられ、取得された復号処理能力に関する情報に基づいて復号処理の遅延時間が設定され、並び替えられた係数データが符号化され、係数データが符号化されることにより生成される符号化データが、伝送路を介して受信側の情報処理装置に送信される。
本発明によれば、画像データを伝送することができる。特に、画像データを、より多様な状況において、高品質かつ低遅延に伝送することができる。
以下、本発明の実施の形態について説明する。
図１は、本発明を適用した伝送システムの構成例を示すブロック図である。
図１において、伝送システム１００は、伝送路１０３を介して画像データを送信装置１０１から受信装置１０２に伝送するシステムである。送信装置１０１および受信装置１０２は、ベースバンドの画像データ、またはその画像データを符号化して生成される符号化データを、伝送路１０３を介して授受する。符号化データを授受する場合、送信装置１０１は、入力されるベースバンドの画像データを所定の方法で符号化して符号化データを生成し、それを受信装置１０２に送信する。受信装置１０２は、その符号化データを受信し、送信装置１０１による符号化方法に対応する復号方法で、受信した符号化データを復号し、ベースバンドの画像データ（復号画像）を生成し、出力する。
また、ベースバンドの画像データを伝送する場合、送信装置１０１は、入力されたベースバンドの画像データをベースバンドのまま受信装置１０２に送信する。受信装置１０２は、そのベースバンドの画像データを受信すると、それをベースバンドのまま外部に出力する。
送信装置１０１および受信装置１０２は、符号化データを伝送させるか、または、ベースバンドの画像データを伝送させるかを、状況に応じて適切に選択する。これにより伝送システム１００は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
図１に示されるように、送信装置１０１は、制御部１１１、切替部１１２、符号化部１１３、および切替部１１４を有する。
制御部１１１は、切替部１１２、符号化部１１３、および通信部１１４の動作を制御する。切替部１１２は、接続先を切り替えることにより、入力されたベースバンドの画像データを、符号化部１１３に供給するか、通信部１１４に供給するかを選択する。符号化部１１３は、切替部１１２より供給されるベースバンドの画像データを所定の方法で符号化し、符号化データを生成する。符号化部１１３は、生成した符号化データを通信部１１４に供給する。通信部１１４は、切替部１１２より供給されるベースバンドの画像データ、または、符号化部１１３より供給される符号化データを、伝送路１０３の規格に基づく方法で、その伝送路１０３を介して受信装置１０２に送信する。
例えば、ベースバンドの画像データを伝送させる場合、制御部１１１は、切替部１１２を制御して、入力されたベースバンドの画像データを通信部１１４に供給させる。また、制御部１１１は、通信部１１４を制御し、そのベースバンドの画像データを、伝送路１０３の規格に基づく方法で、その伝送路１０３を介して受信装置１０２に送信させる。
また、例えば、符号化データを伝送させる場合、制御部１１１は、切替部１１２を制御して、入力されたベースバンドの画像データを符号化部１１３に供給させる。制御部１１１は、符号化部１１３を制御し、そのベースバンドの画像データを符号化させ、生成された符号化データを通信部１１４に供給させる。また、制御部１１１は、通信部１１４を制御し、その符号化データを、伝送路１０３の規格に基づく方法で、その伝送路１０３を介して受信装置１０２に送信させる。
また、図１に示されるように、受信装置１０２は、制御部１２１、通信部１２２、切替部１２３、復号部１２４、および切替部１２５を有する。
制御部１２１は、切替部１１２、通信部１２２、切替部１２３、復号部１２４、および切替部１２５の動作を制御する。通信部１２２は、送信装置１０１より送信されるベースバンドの画像データまたは符号化データを、伝送路１０３を介して取得し、それを切替部１２３に供給する。切替部１２３は、接続先を切り替えることにより、供給されたベースバンドの画像データを、切替部１２５に供給する。また、切替部１２３は、接続先を切り替えることにより、供給された符号化データを、復号部１２４に供給する。復号部１２４は、切替部１２３より供給される符号化データを、符号化部１１３による符号化方法に対応する所定の復号方法で復号し、ベースバンドの画像データ（復元画像）を生成する。
切替部１２５は、接続元を切り替えることにより、切替部１２３、または、復号部１２４より供給されたベースバンドの画像データを受信装置１０２の外部に出力する。
例えば、ベースバンドの画像データを伝送させる場合、制御部１２１は、通信部１２２を制御してそのベースバンドの画像データを受信させ、切替部１２３に供給させる。制御部１２１は、切替部１２３を制御して、そのベースバンドの画像データを切替部１２５に供給させる。さらに、制御部１２１は、切替部１２５を制御し、そのベースバンドの画像データを受信装置１０２の外部に出力させる。
また、例えば、符号化データを伝送させる場合、制御部１２１は、通信部１２２を制御して、送信装置１０１より送信された符号化データを受信させ、それを切替部１２３に供給させる。また、制御部１２１は、切替部１２３の接続先を制御し、供給された符号化データを復号部１２４に供給させる。さらに、制御部１２１は、復号部１２４を制御し、符号化データを復号させ、生成されたベースバンドの画像を切替部１２５に供給させる。また、制御部１２１は、切替部１２５の接続元を制御し、復号部１２４より供給されるベースバンドの画像データを受信装置１０２の外部に出力させる。
図２は、送信装置１０１の符号化部１１３の詳細な構成例を示すブロック図である。図２に示されるように、符号化部１１３は、ウェーブレット変換部１５１、途中計算用バッファ部１５２、係数並び替え用バッファ部１５３、係数並び替え部１５４、およびエントロピ符号化部１５５の機能を有する。
符号化部１１３に入力された画像データは、ウェーブレット変換部１５１を介して途中計算用バッファ部１５２に一時的に溜め込まれる。ウェーブレット変換部１５１は、途中計算用バッファ部１５２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部１５１は、途中計算用バッファ部１５２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部１５２に格納する。ウェーブレット変換部１５１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部１５１は、途中計算用バッファ部１５２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部１５２に格納される。
ウェーブレット変換部１５１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部１５２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部１５３に書き込む。
係数並び替え部１５４は、係数並び替え用バッファ部１５３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部１５５に供給する。エントロピ符号化部１５５は、供給された係数データを、所定の方法で量子化し、例えば、ハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１５５は、生成した符号化データを符号化部１１３の外部に出力する。
次に、図２のウェーブレット変換部１５１で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図３に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。
なお、図３は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図３において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。この階層の最大値が、ウェーブレット変換のその時の分割レベル（分割数）を示す。
また、図３の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図３の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図４のＡに一例が示される分割レベル＝１の状態から、図４のＢに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図４のＢに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図３におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。
ウェーブレット変換部１５１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ0（ｚ）と、高域フィルタＨ1（ｚ）とから構成される。
Ｈ0（ｚ）＝（−１＋２ｚ-1＋６ｚ-2＋２ｚ-3−ｚ-4）／８ ・・・（１）
Ｈ1（ｚ）＝（−１＋２ｚ-1−ｚ-2）／２ ・・・（２）
これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
次に、このウェーブレット変換方法について、さらに具体的に説明する。図５は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図５において、図の左側に分析フィルタとして示される部分は、図２のウェーブレット変換部１５１のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述するウェーブレット逆変換部のフィルタである。
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。
図５において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部１５１におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。
分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図５における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図２の係数並び替え用バッファ部１５３に格納される。また、算出された低域成分の係数データは、図２の途中計算用バッファ部１５２に格納される。
図５においては、係数並び替え用バッファ部１５３は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部１５２は、点線で囲まれた部分として示す。
途中計算用バッファ部１５２に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、係数並び替え用バッファ部１５３に格納される。
ウェーブレット変換部１５１では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部１５２に格納する。次に、途中計算用バッファ部１５２に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。
そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。
ウェーブレット変換部１５１は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図５の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。
なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ（フレームまたはフィールド）、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。
図５によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部１５２に格納された係数Ｃaに基づき算出され、係数Ｃ４は、途中計算用バッファ部１５２に格納された係数Ｃa、係数Ｃbおよび係数Ｃcに基づき算出される。さらに、係数Ｃcは、係数並び替え用バッファ部１５３に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。
これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部１５３に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。
すなわち、図５によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部１５２に格納された係数Ｃcに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部１５３に格納されている。同様に、係数Ｃcは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部１５２に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。
このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部１５２および係数並び替え用バッファ部１５３に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。
このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。
次に、図２の係数並び替え部１５４の処理について説明する。上述したように、ウェーブレット変換部１５１で算出された係数データは、係数並び替え用バッファ部１５３に格納され、係数並び替え部１５４により順序を並び替えられて読み出され、コーディングユニット単位でエントロピ符号化部１５５に送出される。
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図５の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。
図５の例を用いて、より具体的に説明する。図５の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（逆ウェーブレット変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。
すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃfを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃfと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。
このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部１５３に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。
なお、図５の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図５の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。
符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図５の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。
すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃgを生成し、バッファに格納する。この係数Ｃgと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃfとを用いて係数Ｃhを生成し、バッファに格納する。
そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃgおよび係数Ｃhと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。
このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。
３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部５３に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図５の例では、最後の回に８ラインが出力される。
なお、係数並び替え部１５４による係数データの並び替え処理は、例えば、係数並び替え用バッファ部１５３に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。
図５を用いて、上述までの処理をより具体的に説明する。図５は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部１５１において、図６のＡに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図６のＡのＩｎ−１）。
１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図６のＢに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図６のＢのＷＴ−１）。
また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬに係数Ｃ５による１ラインが配置され、領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。
ウェーブレット変換部１５１による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図６のＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図６のＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。
図５の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図６のＢに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬに配置され、１ライン分の係数Ｃ８が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。
図６のＢのようにウェーブレット変換されたデータを復号した際には、図６のＣに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図６のＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図６のＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。
ウェーブレット変換部１５１で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部１５３に順次格納される。係数並び替え部１５４は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部１５３に係数データが蓄積されると、係数並び替え用バッファ部１５３から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部１５５に順次、供給される。
エントロピ符号化部１５５は、供給される係数データを順次符号化し、生成した符号化データを符号化部１１３の外部に出力する。
図７は、図１の復号部１２４の構成例を示すブロック図である。
図７に示されるように、復号部１２４は、エントロピ復号部１６１、係数バッファ部１６２、およびウェーブレット逆変換部１６３の機能を有する。
エントロピ復号部１６１は、供給された符号化データを、エントロピ符号化部１５５（図２）による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部１６２に格納される。ウェーブレット逆変換部１６３は、係数バッファ部１６２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部１６２に格納する。ウェーブレット逆変換部１６３は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得ると、それを外部に出力する。
次に、図１の送信装置１０１による送信処理の流れの例を図８のフローチャートを参照して説明する。
送信処理が開始されると、制御部１１１は、ステップＳ１０１において、通信部１１４より伝送路１０３の情報、すなわち、伝送路１０３として通信部１１４に接続されたネットワーク（またはケーブル）の、伝送路１０３としての性能を示す情報を取得する。例えば、性能が既知であるネットワーク（またはケーブル）が接続されたのであれば、そのネットワーク（またはケーブル）の種類を示す情報でもよい。
なお、通信部１１４が特定の１つの種類のネットワーク（またはケーブル）のみ接続可能である場合、通信部１１４は、予め定められているそのネットワーク（またはケーブル）に関する情報を制御部１１１に提供すればよい。通信部１１４が複数種類のポートを有し、複数種類のネットワーク（またはケーブル）を接続可能である場合、通信部１１４は、現在接続されている伝送路１０３を識別し、その伝送路１０３に関する情報を制御部１１１に提供する。
伝送路１０３の情報を取得すると、制御部１１１は、ステップＳ１０２において、送信する画像データのビットレートが伝送路１０３の伝送許容ビットレート、すなわち、伝送可能な最大ビットレートより高いか否かを判定し、送信する画像データのビットレートの方が高く、画像データをベースバンドのまま伝送不可能であると判定した場合、処理をステップＳ１０３に進める。
ステップＳ１０３において、制御部１１１は、入力画像データを符号化部１１３に供給し、符号化部１１３において画像データを符号化するように切替部１１２を制御する。ステップＳ１０４において、符号化部１１３は、制御部１１１に制御され、切替部１１２を介して供給されたベースバンドの画像データを符号化し、符号化データを生成し、伝送するデータのビットレートを低減させる。ステップＳ１０５において、通信部１１４は、符号化部１１３において符号化されて得られた符号化データを、伝送路１０３を介して受信装置１０２に送信し、送信処理を終了する。
また、ステップＳ１０２において、送信する画像データのビットレートが伝送許容ビットレートより低いと判定された場合、画像データをベースバンドのまま伝送可能であるので、制御部１１１は、処理をステップＳ１０６に進め、入力画像データを符号化部１１３に供給しないように切替部１１２を制御する。切替部１１２は、その制御に基づいて、入力されたベースバンドの画像データを通信部１１４に供給させる。ステップＳ１０７において、通信部１１４は、切替部１１２より供給されたベースバンドの画像データを、伝送路１０３を介して受信装置１０２に送信し、送信処理を終了する。
次に、図９のフローチャートを参照して、図８のステップＳ１０４において実行される符号化処理の流れの例を説明する。
符号化処理が開始されると、符号化部１１３のウェーブレット変換部１５１は、ステップＳ１２１において、処理対象プレシンクトの番号Ａを初期設定にする。例えば、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部１５１は、ステップＳ１２２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得し、その画像データに対して、ステップＳ１２３において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップＳ１２４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。
ステップＳ１２５においてウェーブレット変換部１５１は、分析フィルタリング処理を最終レベルまで行ったか否かを判定する。分解レベルが最終レベルに達していないと判定された場合、処理はステップＳ１２３に戻り、現在の分解レベルに対して、ステップＳ１２３およびステップＳ１２４の分析フィルタリング処理が繰り返される。
ステップＳ５において、分析フィルタリング処理が最終レベルまで行われたと判定された場合、処理は、ステップＳ１２６に進む。
ステップＳ１２６において、係数並び替え部１５４は、プレシンクトＡ（ピクチャ（フレームまたはフィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。エントロピ符号化部５５は、ステップＳ１２７において、その係数に対してライン毎にエントロピ符号化する。
ウェーブレット変換部１５１は、ステップＳ１２８において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ１２９において、処理対象のピクチャ（フレームまたはフィールド）について、未処理の画像入力ラインが存在するか否かを判定する。未処理の画像入力ラインが存在すると判定された場合、処理は、ステップＳ１２２に戻り、新たな処理対象のプレシンクトに対してそれ以降の処理が繰り返される。
以上のようにステップＳ１２２乃至ステップＳ１２９の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ１２９において、未処理の画像入力ラインが存在しないと判定された場合、そのピクチャに対する符号化処理が終了される。次のピクチャに対しては新たに符号化処理が開始される。
このように、ウェーブレット変換部１５１は、プレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、画面全体に対してウェーブレット変換を行う方法と比較して遅延時間を大幅に低減させることができる。
また、以上のように、送信装置１０１は、伝送させる画像データのビットレートおよび伝送路１０３の伝送許容ビットレートに基づいて、画像データを圧縮するか否かを決定することができる。これにより、送信装置１０１は、不要に画像データを圧縮したり、画像データをベースバンドのまま伝送不可能なビットレートで伝送させたりすることを抑制することができる。したがって、送信装置１０１は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
次に、図１０のフローチャートを参照して、図１の受信装置１０２による受信処理の流れの例を説明する。
受信処理が開始されると、ステップＳ１４１において通信部１２２は、制御部１２１に制御され、送信装置１０１より送信されるデータを受信する。ステップＳ１４２において、通信部１２２は、その受信したデータが符号化データであるか否かを判定し、符号化データであると判定した場合、処理をステップＳ１４３に供給する。
ステップＳ１４３において、復号部１２４のエントロピ復号部１６１は、符号化データをエントロピ復号する。ウェーブレット逆変換部１６３は、ステップＳ１４４において、係数データに対して垂直合成フィルタリングを行い、ステップＳ１４５において、水平合成フィルタリングを行う。ステップＳ１４５において、ウェーブレット逆変換部１６３は、合成フィルタリングがレベル１まで終了したか否かを判定し、終了していないと判定した場合、処理をステップＳ１４４に戻し、合成フィルタリングを継続する。合成フィルタリングがレベル１まで終了したと判定された場合、処理はステップＳ１４７に進む。
また、ステップＳ１４２において、受信したデータがベースバンドの画像データあると判定された場合、通信部１２２は、処理をステップＳ１４７に進める。
ステップＳ１４７において、制御部１２１は、受信処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１４１に戻し、それ以降の処理を繰り返す。また、ステップＳ１４７において、受信処理を終了すると判定した場合、制御部１２１は、受信処理を終了する。
以上のように、受信装置１０２は、データを受信し、必要に応じて復号処理を行うことができる。したがって、受信装置１０２は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
以上のような各種処理は、例えば、図１１に示されるように、適宜、並列的に実行させることもできる。
図１１は、図２に示される符号化部１１３および図７に示される復号部１２４の各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図１１は、上述した図５および図６と対応するものである。画像データの入力Ｉｎ−１（図１１のＡ）に対して、ウェーブレット変換部１５１（図２）で１回目のウェーブレット変換ＷＴ−１が施される（図１１のＢ）。図５を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。
生成された係数データは、係数並び替え用バッファ部１５３（図２）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。
２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部１５４（図２）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図１１のＣ）。
なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部１５４に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部１５４の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。
係数データは、並び替えが終了した順に係数並び替え用バッファ部１５３から読み出され、エントロピ符号化部１５５（図２）に供給され、エントロピ符号化ＥＣ−１が行われる（図１１のＤ）。このエントロピ符号化ＥＣ−１は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。
エントロピ符号化部１５５によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、復号部１２４（図７）に伝送される（図１１のＥ）。
以上のように、符号化部１１３に対しては、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。符号化部１１３では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。符号化部１１３における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、符号化部１１３において、図１１のＡ乃至図１１のＤに例示されるように、並列的に行われる。
符号化部１１３によるエントロピ符号化ＥＣ−１により符号化された符号化データは、復号部１２４に供給される。復号部１２４のエントロピ復号部１６１（図７）は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図１１のＦ）。復元された係数データは、順次、係数バッファ部１６２に格納される。ウェーブレット逆変換部１６３は、係数バッファ部１６２にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部１６２から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図１１のＧ）。
図５を参照して説明したように、ウェーブレット逆変換部１６３によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５が係数バッファ部１６２に格納された時点で開始することができる。したがって、エントロピ復号部１６１による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部１６３によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。
ウェーブレット逆変換部１６３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図１１のＨ）。出力Ｏｕｔ−１では、図５および図６を用いて説明したように、第１ライン目の画像データが出力される。
復号部１２４に対して、符号化部１１３における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。復号部１２４では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。符号化部１１３の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、復号部１２４において、図１１のＦ乃至図１１のＨに例示されるように、並列的に行われる。
上述のようにして、画面上部から下部の方向に順番に、符号化部１１３および復号部１２４における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。
図１１を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが符号化部１１３に入力されてから、この第１ライン目の画像データが復号部１２４から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。
（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の計数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ
図１１を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、符号化部１４において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、復号部３６において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。
したがって、この図１１の例では、符号化部１１３に第１ライン目の画像データが入力されてから、復号部１２４から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６.６７msec（＝１sec/６０フィールド）の時間に、符号化部１１３に入力されることになる。
したがって、７ライン分の画像データの入力に伴う遅延時間は、０.２１６msec（＝１６.６７msec×７/５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。
以上においては、伝送路１０３の伝送許容ビットレートと送信する画像データのビットレートの大小関係に基づいて、画像データの符号化を制御するように説明したが、これ以外にも、例えば、画像データを伝送する前に、実際に、送信装置１０１と受信装置１０２との間で伝送路１０３の帯域幅を計測することにより、伝送路１０３の規格としての伝送許容ビットレートではなく、その時点における実際の伝送許容ビットレート（計測値）を用いて、送信装置１０１において画像データを符号化するか否かを制御するようにしてもよい。
ただし、そのためには、伝送路１０３の企画が、画像データ伝送の前に、送信装置１０１と受信装置１０２との間で情報の授受を行うことに対応している必要がある。また、画像データを符号化することを前提にして、その計測値を符号化データのビットレートとするようにしてもよい。つまり、送信装置１０１が、その計測値を目標ビットレートとして画像データの符号化を行うようにしてもよい。例えば、伝送路１０３が他のシステムと共有される場合等、伝送路１０３の使用可能帯域幅が時間や状況に応じて変化する場合がある。この使用帯域幅が狭い場合には符号化データのビットレートを低くするように制限し、使用帯域幅に余裕がある場合にはビットレートを上げる等、伝送路１０３の使用可能帯域幅に応じて符号化データのビットレートを制御することにより、伝送システム１００は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
また、その画像データ伝送の前の、送信装置１０１と受信装置１０２との間での情報の授受の機能を利用して、受信装置１０２が、受信装置１０２の能力（「実際に必要な能力」という意味も含む）に関する情報を送信装置１０１に対して提供するようにしてもよい。例えば、送信装置１０１が、受信装置１０２が符号化部１１３に対応する復号部１２４を有するか否かによって、画像データの符号化を行うか否かを制御するようにしてもよい。
さらに、送信装置１０１が画像データを符号化して受信装置１０２に伝送させることを前提とする場合においても、送信装置１０１が、その受信装置１０２の能力に関する情報に基づいて、例えば解像度、ビットレート、遅延時間等の、符号化処理の設定を行うようにしてもよい。
例えば、受信装置１０２より出力される画像を表示する表示装置の表示可能な画像の解像度が低い場合等、受信装置１０２の出力時の画像の解像度が送信装置１０１の入力時の画像の解像度よりも低い場合も考えられる。このような場合、送信装置１０１より高解像度の画像の符号化データを出力するようにすると、伝送路１０３の帯域を不要に占有するだけでなく、受信装置１０２に不要な負荷をかけてしまう恐れがあり、無意味である。さらに、例えば、伝送システム１００全体における遅延時間に制限がある場合、復号処理の遅延時間によって、符号化処理の遅延許容量を制限しなければならないことも考えられる。
したがって、画像データ伝送の前に、受信装置１０２の能力に関する情報を送信装置１０１に供給し、送信装置１０１が、その情報に基づいて符号化処理の設定を行うことにより、送信装置１０１は、より適切に符号化処理を行うことができる。つまり、伝送システム１００は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
このような画像データを伝送する前の送信装置１０１および受信装置１０２の間のネゴシエーション機能を有する伝送路１０３の一例としてHDMIがある。以下にそのHDMIについて説明する。以下の説明において、伝送路１０３は、HDMIケーブルとする（HDMIケーブル１０３とも称する）。
送信装置１０１の通信部１１４（HDMI送信部）は、HDMIケーブル１０３を介して、受信装置１０２の通信部１２２（HDMI受信部）から、その通信部１２２のE-EDID（Enhanced Extended Display Identification Data）を、DDC（Display Data Channel）を介して読み出す。このE-EDIDには、受信装置１０２で取り扱われる解像度、復号処理の遅延時間、ビット深度、フレームレート等、受信装置１０２の能力に関する情報が含まれている。
図１２は、E-EDIDのデータ構造例を示している。このE-EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックの先頭には、“E-EDID1.3 Basic Structure”で表されるE-EDID1.3の規格で定められたデータが配置され、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“2nd timing”で表される従来のEDIDとの互換性を保つための“Preferred timing”とは異なるタイミング情報が配置されている。
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報、および“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が順番に配置されている。
拡張ブロックの先頭には、“Speaker Allocation”で表される左右のスピーカに関する情報が配置され、続いて“VIDEO SHORT”で表される、表示可能な画像サイズ（解像度）、フレームレート、インターレースであるかプログレッシブであるかを示す情報、アスペクト比などの情報が記述されたデータ、“AUDIO SHORT”で表される、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報が記述されたデータ、および“Speaker Allocation”で表される左右のスピーカに関する情報が順番に配置されている。
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータ、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。
図１３は、VIDEO SHORT領域の映像データ例を示している。このVIDEO SHORT領域のByte#1からByte#Lまでに、CEA（Consumer Electronics Association）-861-Dという規格で定義された映像信号フォーマットの内、受信装置１０２が処理可能なフォーマットが、解像度・フレームレート・縦横比の組み合わせで表記されている。
図１４は、Vender Specific領域のデータ構造例を示している。このVender Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
“Vender Specific”で表されるデータの先頭に配置された第０ブロックには、“Vendor-Specific tag code（=3）”で表されるデータ“Vender Specific”のデータ領域を示すヘッダ、および“Length（=N）”で表されるデータ“Vender Specific”の長さを示す情報が配置される。
また、第１ブロック乃至第３ブロックには、“24bit IEEE Registration Identifier（0x000℃03）LSB first”で表されるＨＤＭＩ（Ｒ）用として登録された番号“0x000℃03“を示す情報が配置される。さらに、第４ブロックおよび第５ブロックには、”Ａ“、”Ｂ“、”Ｃ“、および”Ｄ“のそれぞれにより表される、２４bitのシンク機器の物理アドレスを示す情報が配置される。
第６ブロックには、“Supports-AI”で表されるシンク機器が対応している機能を示すフラグ、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される１ピクセル当たりのビット数を指定する情報のそれぞれ、“DC-Y444”で表される、シンク機器がYCbCr４：４：４の画像の伝送に対応しているかを示すフラグ、および“DVI-Dual”で表される、シンク機器がデュアルDVI（DIGITAL Visual Interface）に対応しているかを示すフラグが配置されている。
また、第７ブロックには、“Max-TMDS-Clock”で表されるTMDS (Transition Minimized Differential Signaling)のピクセルクロックの最大の周波数を示す情報が配置される。さらに、第８ブロックには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第９ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第１０ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。さらに、第１１ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置され、第１２ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
例えば、第８ブロックの“Latency”のフラグを立て、第９ブロックの“Video Latency”に実際の遅延時間のデータを記述することで、復号部１２４の遅延時間を符号化部１１３に提供することができる。また、画像がインターレース方式の場合、第１１ブロックにの“Interlaced Video Latency”に実際の遅延時間のデータを記述すればよい。
次に、送信装置１０１の通信部１１４（HDMI送信部）および受信装置１０２の通信部１２２（HDMI受信部）について説明する。図１５は、通信部１１４と、通信部１２２の詳細な構成例を示すブロック図である。
HDMI送信部である通信部１１４は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間および垂直帰線区間を除いた区間である有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部である通信部１２２に一方向に送信するとともに、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、通信部１２２に一方向に送信する。
すなわち、通信部１１４は、HDMIトランスミッタ２１１を有する。HDMIトランスミッタ２１１は、例えば、符号化データを対応する差動信号に変換し、複数のチャネルである３つのTMDSチャネル＃０，＃１，＃２で、HDMIケーブル１０３を介して接続されている通信部１２２に、一方向にシリアル伝送する。
また、HDMIトランスミッタ２１１は、符号化データに付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのTMDSチャネル＃０，＃１，＃２でHDMIケーブル１０３を介して接続されている通信部１２２に、一方向にシリアル伝送する。
さらに、HDMIトランスミッタ２１１は、３つのTMDSチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル１０３を介して接続されている通信部１２２に送信する。ここで、１つのTMDSチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、例えば１０ビットのデータが送信される。
通信部１２２は、アクティブビデオ区間において、複数のチャネルで、通信部１１４から一方向に送信されてくる、画素データに対応する差動信号を受信するとともに、水平帰線区間または垂直帰線区間において、複数のチャネルで、通信部１１４から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、通信部１２２は、HDMIレシーバ２１２を有する。HDMIレシーバ２１２は、TMDSチャネル＃０，＃１，＃２で、HDMIケーブル１０３を介して接続されている通信部１１４から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を、同じく通信部１１４からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
通信部１１４と通信部１２２とからなるHDMIシステムの伝送チャネルには、通信部１１４から通信部１２２に対して、符号化データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての３つのTMDSチャネル＃０乃至＃２と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルの他に、DDC（Display Data Channel）２１３やCECライン２１４と呼ばれる伝送チャネルがある。
DDC２１３は、HDMIケーブル１０３に含まれる図示せぬ２本の信号線からなり、通信部１１４が、HDMIケーブル１０３を介して接続された通信部１２２から、E-EDIDを読み出すために使用される。
すなわち、通信部１２２は、HDMIレシーバ２１２の他に、自身の性能（Configuration/capability）に関する性能情報であるE-EDIDを記憶しているEDID ROM(Read Only Memory)２１５を有している。通信部１１４は、HDMIケーブル１０３を介して接続されている通信部１２２から、当該通信部１２２のE-EDIDを、DDC２１３を介して読み出し、そのE-EDIDに基づき、例えば、通信部１２２を有する電子機器が対応している画像のフォーマット（プロファイル）、例えば、RGB、YCbCr４：４：４、YCbCr４：２：２、YCbCr４：２：０等を認識する。
CECライン２１４は、HDMIケーブル１０３に含まれる図示せぬ１本の信号線からなり、通信部１１４と通信部１２２との間で、制御用のデータの双方向通信を行うのに用いられる。
また、HDMIケーブル１０３には、HPD（Hot Plug Detect）と呼ばれるピンに接続されるライン２１６が含まれている。ソース機器は、当該ライン２１６を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル１０３には、ソース機器からシンク機器に電源を供給するために用いられるライン２１７が含まれている。さらに、HDMIケーブル１０３には、拡張用のリザーブライン２１８が含まれている。
図１６は、図１５のHDMIトランスミッタ２１１とHDMIレシーバ２１２の構成例を示している。
HDMIトランスミッタ２１１は、３つのTMDSチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ２１１Ａ，２１１Ｂ，２１１Ｃを有する。そして、エンコーダ／シリアライザ２１１Ａ，２１１Ｂ，２１１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ（赤），Ｇ（緑），Ｂ（青）の３成分を有する場合、Ｂ成分（Ｂ component）はエンコーダ／シリアライザ２１１Ａに供給され、Ｇ成分（Ｇ component）はエンコーダ／シリアライザ２１１Ｂに供給され、Ｒ成分（Ｒ component）はエンコーダ／シリアライザ２１１Ｃに供給される。
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ２１１Ａに供給され、音声データは、エンコーダ／シリアライザ２１１Ｂ，２１１Ｃに供給される。
さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットCTL０，CTL１，CTL２，CTL３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ２１１Ａに供給される。制御ビットCTL０，CTL１はエンコーダ／シリアライザ２１１Ｂに供給され、制御ビットCTL２，CTL３はエンコーダ／シリアライザ２１１Ｃに供給される。
エンコーダ／シリアライザ２１１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ２１１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ２１１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃０で送信する。
また、エンコーダ／シリアライザ２１１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃０で送信する。さらに、エンコーダ／シリアライザ２１１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ２１１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃０で送信する。
エンコーダ／シリアライザ２１１Ｂは、そこに供給される画像データのＧ成分、制御ビットCTL０，CTL１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ２１１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ２１１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃１で送信する。
また、エンコーダ／シリアライザ２１１Ｂは、そこに供給される制御ビットCTL０，CTL１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃１で送信する。さらに、エンコーダ／シリアライザ２１１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ２１１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃１で送信する。
エンコーダ／シリアライザ２１１Ｃは、そこに供給される画像データのＲ成分、制御ビットCTL２，CTL３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ２１１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ２１１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃２で送信する。
また、エンコーダ／シリアライザ２１１Ｃは、そこに供給される制御ビットCTL２，CTL３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃２で送信する。さらに、エンコーダ／シリアライザ２１１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ２１１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル＃２で送信する。
HDMIレシーバ２１２は、３つのTMDSチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ２１２Ａ，２１２Ｂ，２１２Ｃを有する。そして、リカバリ／デコーダ２１２Ａ，２１２Ｂ，２１２Ｃのそれぞれは、TMDSチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ２１２Ａ，２１２Ｂ，２１２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
すなわち、リカバリ／デコーダ２１２Ａは、TMDSチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ２１２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ／デコーダ２１２Ｂは、TMDSチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットCTL０，CTL１、補助データを受信する。そして、リカバリ／デコーダ２１２Ｂは、その画像データのＧ成分、制御ビットCTL０，CTL１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ／デコーダ２１２Ｃは、TMDSチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットCTL２，CTL３、補助データを受信する。そして、リカバリ／デコーダ２１２Ｃは、その画像データのＲ成分、制御ビットCTL２，CTL３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
図１７は、HDMIの３つのTMDSチャネル＃０，＃１，＃２で各種の伝送データが伝送される伝送区間（期間）の例を示している。なお、図１７は、TMDSチャネル＃０，＃１，＃２において、横×縦が７２０×４８０画素のプログレッシブの画像が伝送される場合の、各種の伝送データの区間を示している。
HDMIの３つのTMDSチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、ビデオデータ区間（VideoData period）、データアイランド区間（Data Island period）、およびコントロール区間（Control period）の３種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間であるアクティブビデオ区間（Active Video）に分けられる。
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する７２０画素×４８０ライン分の有効画素（Active pixel）のデータ、あるいは、それを圧縮処理して得られたデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。
すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
ここで、現行のHDMIでは、TMDSクロックチャネルで伝送されるピクセルクロックの周波数は、例えば１６５MHzであり、この場合、データアイランド区間の伝送レートは約５００Ｍbps程度である。
図１８は、HDMI端子１０１，２０１のピン配列を示している。このピン配列は、タイプＡ（type-A）の例である。
TMDSチャネル＃ｉの差動信号であるTMDS Data＃ｉ＋とTMDS Data＃ｉ−が伝送される差動線である２本のラインは、TMDS Data＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、TMDS Data＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
また、制御用のデータであるCEC信号が伝送されるCECライン２１４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、E-EDID等のSDA（SerialData）信号が伝送されるラインは、ピン番号が１６であるピンに接続され、SDA信号の送受信時の同期に用いられるクロック信号であるSCL（Serial Clock）信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のDDC２１３は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのライン２１６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するためのライン２１７は、ピン番号が１８であるピンに接続される。
次に、送信装置１０１と受信装置１０２の間で、画像データ（符号化データ）の伝送の前に行われるネゴシエーション処理の流れの例を図１９のフローチャートを参照して説明する。
ネゴシエーション処理が開始されると、送信装置１０１の通信部１１４は、ステップＳ２０１において、所定のビットレートＲでダミーデータ（符号化データ）を、伝送路１０３を介して受信装置１０２に送信する。受信装置１０２の通信部１２２は、ステップＳ２１１において、そのダミーデータを受信する。受信装置１０２の復号部１２４は、ステップＳ２１２において、そのダミーデータを復号する。ステップＳ２１３において、通信部１２２は、ダミーデータの復号結果、復号器の有無、解像度、ビットレート、および、遅延時間等の受信装置１０２に関する情報を含むネゴシエーション情報を、伝送路１０３を介して送信装置１０１に送信する。
ステップＳ２０２において、通信部１１４がそのネゴシエーション情報を受信すると、制御部１１１は、ステップＳ２０３において、受信装置１０２が、ダミーデータの受信に失敗したか否か（すなわち、ダミーデータの復号に失敗したか否か）を判定し、受信（復号）に成功したと判定した場合、処理をステップＳ２０４に進め、ビットレートＲの設定をΔＲインクリメントさせ、処理をステップＳ２０１に戻し、通信部１１４に新たなビットレートＲで再度ダミーデータの送信を行わせる。
制御部１１１は、受信装置１０２がダミーデータの受信および復号に成功する限り、以上の処理を繰り返してビットレートＲを大きくしていく。そして、ステップＳ２０３において、ネゴシエーション情報に基づいて、受信装置１０２がダミーデータの受信および復号に失敗したと判定した場合、制御部１１１は、処理をステップＳ２０５に進め、前回のビットレートＲ（受信装置１０２がダミーデータの受信および復号に成功したビットレートＲの最大値）を最終ビットレートし、ネゴシエーション処理を終了する。
次に、以上のネゴシエーション処理を行った後に送信装置１０１が実行する送信処理の流れの例を図２０のフローチャートを参照して説明する。なお、ここでは、送信装置１０１が画像データを符号化することにより生成した符号化データを受信装置１０２に伝送することを前提として説明する。もちろん、上述したように、符号化を行うか否かの制御を以下の処理に組み合わせるようにしてもよい。
送信処理が開始されると、制御部１１１は、ステップＳ２３１において、通信部１１４よりネゴシエーション情報を取得し、ステップＳ２３２において、そのネゴシエーション情報に含まれる受信装置１０２（復号部１２４）が処理可能な最大ビットレートの情報、または、上述したネゴシエーション処理の際に計測した計測結果である実際の最大ビットレートに基づいて符号化部１１３による符号化処理の目標ビットレートを設定する。例えば、制御部１１１は、実際に計測した最大ビットレートを優先的に目標ビットレートに設定するようにしてもよいし、受信装置１０２（復号部１２４）が処理可能な最大ビットレート、および、実際の最大ビットレートのうち、値の小さい方を目標ビットレートとして設定するようにしてもよい。
ステップＳ２３３において、制御部１１１は、ネゴシエーション情報に基づいて、符号化部１１３による符号化処理の解像度を設定する。上述したような符号化処理を行うことにより符号化データは周波数成分毎に並べられるので、符号化部１１３は、この解像度の設定に応じて、必要な部分を抽出し、伝送させるようにするだけで、容易に所望の解像度の符号化データを伝送させることができる。
さらに、ステップＳ２３４において、制御部１１１は、ネゴシエーション情報に基づいて、符号化部１１３による符号化処理の遅延時間を設定する。
各種設定が終了すると、符号化部１１３は、ステップＳ２３５において、上述した設定に基づいて画像データを符号化し、設定に応じた符号化データを生成する。通信部１１４は、この符号化データを、伝送路１０３を介して受信装置１０２に送信する。全てのデータの送信が終了すると、送信処理が終了される。
以上のようにネゴシエーション処理および送信処理を実行することにより、伝送システム１００は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
なお、伝送させる画像データのフォーマットがYCbCr４：２：０フォーマットである場合、色差成分（Ｃ）の縦方向サイズが輝度成分（Ｙ）の半分となる。符号化部１１３のウェーブレット変換部１５１が上述したようにウェーブレット変換を行うと、輝度成分（Ｙ）と色差成分（Ｃ）の分解数は互いに同一となる。
このとき、上述したように色差成分（Ｃ）の縦方向サイズが輝度成分（Ｙ）の半分であるため、例えば図２１に示されるように、色差成分（Ｃ）のプレシンクト数が輝度成分（Ｙ）のプレシンクト数と異なる恐れがある。図２１のＡは、輝度成分（Ｙ）のプレシンクトの構成例を示しており、図２１のＢは、色差成分（Ｃ）のプレシンクトの構成例を示している。図２１のＡのＹ−Ｐ０乃至Ｙ−Ｐ１０は、それぞれ、輝度成分（Ｙ）のプレシンクトを示しており、図２１のＢのＣ−Ｐ０乃至Ｃ−Ｐ５は、それぞれ、色差成分（Ｃ）のプレシンクトを示している。図２１のＡおよび図２１のＢのそれぞれの左右の数字はライン数を示している。
図２１のＡの例においては、輝度成分（Ｙ）のプレシンクト数は「１１」であるが、これに対応する色差成分（Ｃ）のプレシンクト数は、図２１のＢに示されるように「５」である。つまり、輝度成分（Ｙ）と色差成分（Ｃ）の同番号のプレシンクトの対応する画像の位置が互いに異なってしまう恐れがある。このように、輝度成分（Ｙ）と色差成分（Ｃ）とで同番号のプレシンクトに対応する画像の位置が互いに異なると、プレシンクトベースの低遅延レート制御が困難になる恐れがある。レート制御するためには、輝度成分（Ｙ）と色差成分（Ｃ）とで、互いに同じ画像の位置のプレシンクトがどれなのかを判断しなければならない。
そこで、このように、伝送させる画像データのフォーマットがYCbCr４：２：０フォーマットで、色差成分（Ｃ）の縦方向サイズが輝度成分（Ｙ）の半分である場合、符号化部１１３（ウェーブレット変換部１５１）が、色差成分（Ｃ）のウェーブレット変換における分解数を輝度成分（Ｙ）の分解数より１つ小さくするようにしてもよい。
図２２は、色差成分（Ｃ）のウェーブレット変換における分解数が、輝度成分（Ｙ）の分解数より１つ小さい場合の、各成分のプレシンクトの構成例を示す模式図である。図２２のＡが輝度成分（Ｙ）のプレシンクトの構成例を示し、図２２のＢが色差成分（Ｃ）のプレシンクトの構成例を示している。図２２のＡのＹ−Ｐ０乃至Ｙ−Ｐ１０は、それぞれ、輝度成分（Ｙ）のプレシンクトを示しており、図２２のＢのＣ−Ｐ０乃至Ｃ−Ｐ１０は、それぞれ、色差成分（Ｃ）のプレシンクトを示している。図２２のＡおよび図２２のＢのそれぞれの左右の数字はライン数を示している。
図２２に示されるように、このようにウェーブレット変換を行うことにより、輝度成分（Ｙ）の１プレシンクトのライン数は１６（画像の上下端を除く）であるが、色差成分（Ｃ）の１プレシンクトのライン数は８（画像の上下端を除く）となり、色差成分（Ｃ）と輝度成分（Ｙ）とでプレシンクト数が互いに略一致する。これにより、輝度成分（Ｙ）と色差成分（Ｃ）の同番号のプレシンクトの対応する画像の位置が略一致するようになるので、各プレシンクトにおいて、輝度成分（Ｙ）と色差成分（Ｃ）の画像の違いが図２１の場合よりも小さくなるので、符号化部１１３は、プレシンクト単位の低遅延レート制御をより容易に行うことができる。
このような場合の符号化処理の流れの例を図２３のフローチャートを参照して説明する。
符号化処理が開始されると、ステップＳ３０１において、符号化部１１３のウェーブレット変換部１５１は、符号化する画像データのフォーマットが４：２：０フォーマットであるか否かを判定し、４：２：０フォーマットであると判定した場合、ステップＳ３０２に処理を進め、色差成分（Ｃ）の分解数の設定を輝度成分（Ｙ）の分解数の設定より１つ小さくする。ステップＳ３０２の処理を終了すると、ウェーブレット変換部１５１は、処理をステップＳ３０３に進める。また、ステップＳ３０１において、符号化する画像データのフォーマットが４：２：０フォーマットでないと判定した場合、ウェーブレット変換部１５１は、ステップＳ３０２の処理を省略し、ステップＳ３０２に処理を進める。
ステップＳ３０３乃至ステップＳ３１１の各処理は、図９のステップＳ１２１乃至ステップＳ１２９の各処理と同様に実行される。すなわち、ウェーブレット変換部１５１は、分解数が異なる以外は、輝度成分（Ｙ）に対しても色差成分（Ｃ）に対しても基本的に互いに同様に処理を行う。
以上のように、符号化部１１３は、符号化する画像データのフォーマットが４：２：０フォーマットである場合であっても、容易にレート制御を行うことができる。これにより、伝送システム１００は、より多様な状況において、画像データを高品質かつ低遅延に伝送することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ、または、複数の装置よりなる情報処理システムの情報処理装置などに、プログラム記録媒体からインストールされる。
図２４は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。
図２４に示されるように、情報処理システム３００は、情報処理装置３０１、その情報処理装置３０１とPCIバス３０２によって接続された、記憶装置３０３、複数台のビデオテープレコーダ（VTR）であるVTR３０４-１乃至VTR３０４-S、ユーザがこれらに対する操作入力を行うためのマウス３０５、キーボード３０６、並びに操作コントローラ３０７により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。
例えば情報処理システム３００の情報処理装置３０１は、RAID（Redundant Arrays of Independent Disks）でなる大容量の記憶装置３０３に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置３０３に記憶させたり、記憶装置３０３に記憶されている符号化データを復号して得られた復号画像データ（動画コンテンツ）を記憶装置３０３に記憶させたり、符号化データや復号画像データをVTR３０４-１乃至VTR３０４-Sを介してビデオテープに記録したりすることができる。また、情報処理装置３０１は、VTR３０４-１乃至VTR３０４-Sに装着されたビデオテープに記録された動画コンテンツを記憶装置３０３に取り込み得るようにもなされている。その際、情報処理装置３０１が、動画コンテンツを符号化するようにしてもよい。
情報処理装置３０１は、マイクロプロセッサ４０１、GPU（Graphics Processing Unit）４０２、XDR（Extreme Data Rate）-RAM４０３、サウスブリッジ４０４、HDD（Hard Disk Drive）４０５、USBインタフェース（USB I/F）４０６、およびサウンド入出力コーデック４０７を有している。
GPU４０２は専用のバス４１１を介してマイクロプロセッサ４０１に接続される。XDR-RAM４０３は専用のバス４１２を介してマイクロプロセッサ４０１に接続される。サウスブリッジ４０４は、専用のバスを介してマイクロプロセッサ４０１のI/Oコントローラ４４４に接続される。このサウスブリッジ４０４には、HDD４０５、USBインタフェース４０６、および、サウンド入出力コーデック４０７も接続されている。このサウンド入出力コーデック４０７にはスピーカ４２１が接続されている。また、GPU４０２にはディスプレイ４２２が接続されている。
またサウスブリッジ４０４には、さらに、PCIバス３０２を介して、マウス３０５、キーボード３０６、VTR３０４-１乃至VTR３０４-S、記憶装置３０３、並びに、操作コントローラ３０７が接続されている。
マウス３０５およびキーボード３０６は、ユーザの操作入力を受け、PCIバス３０２およびサウスブリッジ４０４を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ４０１に供給する。記憶装置３０３およびVTR３０４-１乃至VTR３０４-Sは、所定のデータを記録または再生できるようになされている。
PCIバス３０２にはさらに、必要に応じてドライブ３０８が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてHDD４０５にインストールされる。
マイクロプロセッサ４０１は、OS（Operating System）等の基本プログラムを実行する汎用のメインCPUコア４４１と、メインCPUコア４４１に内部バス４４５を介して接続された複数（この場合８個）のRISC（Reduced Instruction Set Computer）タイプの信号処理プロセッサである、サブCPUコア４４２-１乃至サブCPUコア４４２-８と、例えば２５６[MByte]の容量を持つXDR-RAM４０３に対するメモリコントロールを行うメモリコントローラ４４３と、サウスブリッジ４０４との間でデータの入出力を管理するI/O（In/Out）コントローラ４４４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を実現している。
このマイクロプロセッサ４０１は、起動時、HDD４０５に格納された制御プログラムに基づき、HDD４０５に格納されている必要なアプリケーションプログラムを読み出してXDR-RAM４０３に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づいて必要な制御処理を実行する。
また、マイクロプロセッサ４０１は、ソフトウェアを実行することにより、例えば、上述した符号化処理や復号処理を実現し、エンコードの結果得られた符号化ストリームを、サウスブリッジ４０４を介して、HDD４０５に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、GPU４０２へデータ転送して、ディスプレイ４２２に表示させたりすることができる。
マイクロプロセッサ４０１内の各CPUコアの使用方法は任意であるが、例えば、メインCPUコア４４１が、画像符号化処理や画像復号処理の制御に関する処理を行い、８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８に、ウェーブレット変換、係数並び替え、エントロピ符号化、エントロピ復号、ウェーブレット逆変換、量子化、および逆量子化等の各処理を、例えば図１１を参照して説明したように同時並列的に実行させるようにしてもよい。その際、メインCPUコア４４１が、８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８のそれぞれに対してプレシンクト単位で処理を割り振るようにすれば、符号化処理や復号処理が、上述したようにプレシンクト単位で同時並列的に実行される。つまり、符号化処理や復号処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させることができる。もちろん、これ以外の方法で各処理を行うようにしてもよい。
例えば、マイクロプロセッサ４０１の８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８のうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行するようにすることも可能である。
また、例えば、PCIバス３０２に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されている場合、マイクロプロセッサ４０１の８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８が、サウスブリッジ４０４およびPCIバス３０２を介して、これらの装置が実行する処理を制御するようにしてもよい。さらに、これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ４０１の８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御するようにしてもよい。
このときメインCPUコア４４１は、８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８の動作を管理し、各サブCPUコアに対して処理を割り当てたり、処理結果を引き取ったりする。さらに、メインCPUコア４４１は、これらのサブCPUコアが行う以外の処理も行う。例えば、メインCPUコア４４１は、サウスブリッジ４０４を介してマウス３０５、キーボード３０６、または、操作コントローラ３０７から供給された命令を受け付け、命令に応じた種々の処理を実行する。
GPU４０２は、ディスプレイ４２２に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、動画コンテンツの再生映像及び静止画コンテンツの静止画像をディスプレイ４２２に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像及び静止画コンテンツの静止画像に対する拡大・縮小処理等を行う機能を司り、マイクロプロセッサ４０１の処理負担を軽減させるようになされている。
GPU４０２は、マイクロプロセッサ４０１の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ４２２へ送出して、画像信号をディスプレイ４２２へ表示させる。
例えば、マイクロプロセッサ４０１における８個のサブCPUコア４４２-１乃至サブCPUコア４４２-８で同時並列的にデコードされた複数の動画コンテンツにおける再生映像は、バス４１１を介してGPU４０２へデータ転送されるが、このときの転送速度は、例えば、最大３０[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされている。
また、マイクロプロセッサ４０１は、動画コンテンツの映像データ及び音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ４０４およびサウンド入出力コーデック４０７を介して、スピーカ４２１へ送出することにより、音声信号に基づく音声をスピーカ４２１から出力させることもできる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているHDD４０５や記憶装置３０３等で構成される。もちろん、記録媒体は、ROMやフラッシュメモリ等の半導体メモリであってもよい。
以上においては、マイクロプロセッサ４０１内に８個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ４０１が、メインCPUコアとサブCPUコアのような複数のコアにより構成されていなくてもよく、シングルコア（１つのコア）により構成されるCPUを用いるようにしてもよい。また、マイクロプロセッサ４０１の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置において実行する）ようにしてもよい。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
以上説明したこの発明は、より多様な状況において、データ伝送を高品質かつ低遅延に行うものであり、画像を圧縮符号化して伝送し、伝送先で圧縮符号を復号して出力するような装置またはシステムであれば、様々なものに適用することができる。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。
例えば、この発明は、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などにおける、画像を符号化して伝送し、復号して表示または記録するようなシステムに用いて好適である。
さらに、実況中継される映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、この発明を適用することができる。
さらにまた、カメラ機能付き携帯電話端末といった、撮像機能を有するモバイル端末で撮影された画像データの送信や、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステムなどに、この発明を適用することができる。
本発明を適用した伝送システムの構成例を示す図である。 図１の符号化部の構成例を示すブロック図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 ５×３フィルタのリフティングの様子の例を示す略線図である。 ウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。 図１の復号部の構成例を示すブロック図である。 送信処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 受信処理の流れの例を説明するフローチャートである。 符号化部および復号部の各要素が行う並列動作の様子の例を概略的に示す略線図である。 E-EDIDデータの構造例を示す図である。 Video Short領域の映像データ例を示す図である。 Vendor Speciffic領域のデータ構造例を示す図である。 通信部の構成例を示すブロック図である。 HDMIトランスミッタとHDMIレシーバの構成例を示すブロック図である。 TMDS伝送データの構造を示す図である。 HDMI端子のピン配列（タイプＡ）を示す図である。 ネゴシエーション処理の流れの例を説明するフローチャートである。 送信処理の流れの、他の例を説明するフローチャートである。 輝度成分と色差成分のプレシンクトの構成例を示す模式図である。 輝度成分と色差成分のプレシンクトの、他の構成例を示す模式図である。 符号化処理の流れの、他の例を説明するフローチャートである。 本発明を適用した情報処理システムの構成例を示す図である。
符号の説明
１００ 伝送システム， １０１ 送信装置， １０２ 受信装置， １０３ 伝送路， １１１ 制御部， １１２ 切替部， １１３ 符号化部， １１４ 通信部， １２１ 制御部， １２２ 通信部， １２３ 切替部， １２４ 復号部， １２５ 切替部， １５１ ウェーブレット変換部， １５２ 途中計算用バッファ部， １５３ 係数並び替え用バッファ部， １５４ 係数並び替え部， １５５ エントロピ符号化部， １６１ エントロピ復号部， １６２ 係数バッファ部， １６３ ウェーブレット逆変換部， ２１１ HDMIトランスミッタ， ２１２ HDMIレシーバ， ２１３ DDC， ２１４ CEC

Claims (17)

  1. 伝送路の伝送許容ビットレートが伝送する画像データのビットレートより大きいか否かによって、前記画像データを符号化するか否かを選択する選択手段と、
    前記選択手段により前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、
    前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、
    前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、
    前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段と
    を備える情報処理装置。
  2. 前記受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段をさらに備え、
    前記選択手段は、前記取得手段により取得された前記復号処理能力に関する情報に基づいて前記画像データを符号化するか否かを選択する
    請求項１に記載の情報処理装置。
  3. 受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段と、
    前記取得手段により取得された前記復号処理能力に関する情報に基づいて前記画像データを符号化するか否かを選択する選択手段と、
    前記選択手段により前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、
    前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、
    前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、
    前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段と
    を備える情報処理装置。
  4. 前記送信手段は、所定の符号化データを前記受信側の情報処理装置に送信し、
    前記取得手段は、前記復号処理能力に関する情報として、前記受信側の情報処理装置における前記符号化データの受信および復号結果を示す情報を取得する
    請求項３に記載の情報処理装置。
  5. 前記取得手段は、前記復号処理能力に関する情報として、復号処理にかかる遅延時間の情報を取得する
    請求項３に記載の情報処理装置。
  6. 受信側の情報処理装置より前記受信側の情報処理装置の復号処理能力に関する情報を取得する取得手段と、
    前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行うフィルタ手段と、
    前記フィルタ手段により高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替える並び替え手段と、
    前記取得手段により取得された前記復号処理能力に関する情報に基づいて復号処理の遅延時間を設定し、前記並び替え手段により並び替えられた前記係数データを符号化する符号化手段と、
    前記符号化手段により前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する送信手段と
    を備える情報処理装置。
  7. 前記取得手段により取得された前記復号処理能力に関する情報に基づいて画像データを符号化するか否かを選択する選択手段をさらに備え、
    前記フィルタ手段は、前記選択手段により前記画像データを符号化するように選択された場合、前記サブバンドを生成する処理を行う
    請求項６に記載の情報処理装置。
  8. 前記取得手段は、前記受信側の情報処理装置における前記画像データの解像度の情報を取得し、
    前記符号化手段は、前記取得手段により取得された前記解像度の情報に基づいて、生成する符号化データの解像度を設定する
    請求項２、３、または６に記載の情報処理装置。
  9. 前記受信側の情報処理装置は、HDMI（High Definition Multimedia Interface）規格に準拠する方法で前記情報処理装置に接続される
    請求項２、３、または６に記載の情報処理装置。
  10. 前記取得手段は、前記受信側の情報処理装置から伝送されるE-EDID（Enhanced Extended Display Identification Data）を取得し、前記E-EDIDに含まれる前記復号処理能力に関する情報を取得する
    請求項９に記載の情報処理装置。
  11. 前記取得手段は、前記E-EDIDのVIDEO SHORT領域、若しくは、Vender Specific領域に含まれる前記復号処理能力に関する情報を取得する
    請求項１０に記載の情報処理装置。
  12. 前記取得手段は、DDC（Display Data Channel）を介して前記E-EDIDを取得する
    請求項１０に記載の情報処理装置。
  13. 前記フィルタ手段は、符号化する前記画像データのフォーマットが４：２：０の場合、前記画像データの色差成分の分解数を、前記画像データの輝度成分の分解数より１つ少なくする
    請求項１、３、または６に記載の情報処理装置。
  14. 前記フィルタ手段は、前記サブバンドを生成する処理をリフティングにより行う
    請求項１、３、または６に記載の情報処理装置。
  15. 前記フィルタ手段は、ウェーブレット変換により前記画像データを周波数帯域毎に分解する
    請求項１、３、または６に記載の情報処理装置。
  16. 前記フィルタ手段、前記並び替え手段、および前記符号化手段は、適宜、並列的に各処理を行う
    請求項１、３、または６に記載の情報処理装置。
  17. 情報処理装置の情報処理方法において、
    前記情報処理装置は、
    選択手段と、
    フィルタ手段と、
    並び替え手段と、
    符号化手段と、
    送信手段と
    を備え、
    前記選択手段が、伝送路の伝送許容ビットレートが伝送する画像データのビットレートより大きいか否かによって、前記画像データを符号化するか否かを選択し、
    前記フィルタ手段が、前記画像データを符号化するように選択された場合、前記画像データを周波数帯域毎に分解し、前記周波数帯域毎の係数データからなるサブバンドを生成する処理を、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の前記画像データを含むラインブロック毎に行い、
    前記並び替え手段が、高域成分から低域成分の順に生成された前記係数データを低域成分から高域成分の順に並び替え、
    前記符号化手段が、並び替えられた前記係数データを符号化し、
    前記送信手段が、前記係数データが符号化されることにより生成される符号化データを、伝送路を介して受信側の情報処理装置に送信する
    情報処理方法。
JP2008289346A 2008-02-04 2008-11-12 情報処理装置および方法 Expired - Fee Related JP4821836B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008289346A JP4821836B2 (ja) 2008-02-04 2008-11-12 情報処理装置および方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2008024401 2008-02-04
JP2008024401 2008-02-04
PCT/JP2008/059003 WO2008143158A1 (ja) 2007-05-17 2008-05-16 情報処理装置および方法
JPPCT/JP2008/059003 2008-05-16
JP2008289346A JP4821836B2 (ja) 2008-02-04 2008-11-12 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JP2009213116A JP2009213116A (ja) 2009-09-17
JP4821836B2 true JP4821836B2 (ja) 2011-11-24

Family

ID=41185776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008289346A Expired - Fee Related JP4821836B2 (ja) 2008-02-04 2008-11-12 情報処理装置および方法

Country Status (1)

Country Link
JP (1) JP4821836B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5694412B2 (ja) * 2011-10-20 2015-04-01 株式会社東芝 送信装置、受信装置、送信方法及び受信方法
JP5232319B2 (ja) * 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
US20140192863A1 (en) * 2011-12-21 2014-07-10 Sreenath Kurupati Perceptual lossless compression of image data for transmission on uncompressed video interconnects
JP5390667B2 (ja) 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
JP6098226B2 (ja) * 2013-02-27 2017-03-22 三菱電機株式会社 画像符号化装置および画像復号装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575969A (ja) * 1991-09-13 1993-03-26 Toshiba Corp 映像信号記録装置
JP2001275112A (ja) * 2000-01-19 2001-10-05 Oki Electric Ind Co Ltd データ圧縮装置
JP4219532B2 (ja) * 2000-06-09 2009-02-04 三菱電機株式会社 画像符号化装置
JP4267848B2 (ja) * 2001-09-25 2009-05-27 株式会社リコー 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法
JP2003116133A (ja) * 2001-10-09 2003-04-18 Kddi Corp 動画像圧縮符号化伝送品質制御方式および方法
JP2003274185A (ja) * 2002-03-19 2003-09-26 Sanyo Electric Co Ltd 画像処理方法とその方法を利用可能な画像符号化装置
JP2005303854A (ja) * 2004-04-15 2005-10-27 Nec Engineering Ltd 画像データ転送システムおよびその転送方法

Also Published As

Publication number Publication date
JP2009213116A (ja) 2009-09-17

Similar Documents

Publication Publication Date Title
KR101442273B1 (ko) 정보 처리 장치 및 방법
CN101543038B (zh) 信息处理装置和方法
JP4844230B2 (ja) 通信システム、送信装置及び受信装置、通信方法、並びにプログラム
EP1858260B1 (en) Communication system, communication method, video output apparatus and video input apparatus
US8869209B2 (en) Display device and transmitting device
JP5593596B2 (ja) 映像信号送信装置および映像信号送信方法
US9313437B2 (en) Transmission apparatus, reception apparatus, communication system, transmission method, reception method, and programs thereof
US8670645B2 (en) Electronic apparatus, content reproducing method, and content decoding method
JP4831081B2 (ja) 送信装置及びフレームレート変換システム
US20100269137A1 (en) Transmission device, video signal transmission method for transmission device, reception device, and video signal reception method for reception device
JPWO2007058294A1 (ja) 符号化装置および方法、復号装置および方法、並びに、伝送システム
JP4821836B2 (ja) 情報処理装置および方法
JP2009100412A (ja) 映像伝送装置、映像送信装置および映像受信装置
JP4957083B2 (ja) 通信システム、送信装置及び受信装置、通信方法、並びにプログラム
US8363167B2 (en) Image processing apparatus, image processing method, and communication system
JP2005295432A (ja) 記録再生装置およびデータ伝送システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees