<コーデックの第1の構成例>
図1は、符号化で失われるテクスチャを復元するコーデックの第1の構成例を示すブロック図である。
図1において、コーデックは、符号化装置10及び復号装置20を有する。
符号化装置10は、テクスチャ成分抽出部11、除去部12、及び、符号化部13を有する。
テクスチャ成分抽出部11には、符号化装置10に入力される入力画像としての、元画像(動画、静止画)が供給される。
テクスチャ成分抽出部11は、入力画像から、その入力画像のテクスチャ成分を抽出し、除去部12に供給するとともに、復号装置20に伝送する。
除去部12には、テクスチャ成分抽出部11から入力画像のテクスチャ成分が供給される他、入力画像が供給される。
除去部12は、入力画像と、テクスチャ成分抽出部11からの、入力画像のテクスチャ成分との差分を演算することで、入力画像から、その入力画像のテクスチャ成分を除去し、テクスチャ成分が除去された入力画像を、符号化部13での符号化の対象の符号化対象画像として、符号化部13に供給する。
ここで、除去部12で得られる符号化対象画像は、入力画像から、テクスチャ成分、すなわち、高域成分を除去した画像であるので、入力画像の低域成分ある、ということができる。
符号化部13は、例えば、予測符号化と直交交換とを組み合せたハイブリッド方式としてのMPEG(Moving Picture Experts Group)や、AVC,HEVC(High Efficiency Video Coding)、その他の非(不)可逆符号化方式で、除去部12からの符号化対象画像を符号化し、その結果得られる符号化データを、復号装置20に伝送する。
ここで、符号化部13での非可逆符号化方式の符号化では、AVC等のように、画像が周波数領域の信号に変換され、その周波数領域の信号が量子化されることで、画像に含まれる、レベルが低い周波数成分、すなわち、例えば、テクスチャ成分等の高域成分が失われる。
復号装置20は、復号部21、テクスチャ成分復元部22、及び、合成部23を有する。
復号部21は、符号化装置10(の符号化部13)から伝送されてくる符号化データを受信することにより受け取り、符号化部13の符号化方式に対応する方式で復号する。復号部21は、符号化データの復号により得られる復号画像を、合成部23に供給する。
ここで、復号部21で得られる復号画像は、符号化対象画像、すなわち、入力画像の低域成分に相当する。
テクスチャ成分復元部22は、符号化装置10(のテクスチャ成分抽出部11)から伝送されてくるテクスチャ成分を受信し、必要な処理を行って、入力画像のテクスチャ成分を復元して、合成部23に供給する。
合成部23は、復号部21からの復号画像としての入力画像の低域成分と、テクスチャ成分復元部22からの入力画像のテクスチャ成分とを合成することにより、入力画像(元画像)を復元した復元画像を生成し、復号装置20から出力される出力画像として出力する。
図1のコーデックでは、符号化装置10から復号装置20に、入力画像のテクスチャ成分を伝送するので、復号装置20では、入力画像のテクスチャを復元した出力画像を得ること、すなわち、出力画像の画質を向上させることができる。
但し、図1のコーデックでは、符号化装置10から復号装置20に、入力画像のテクスチャ成分を伝送するので、伝送効率が劣化する。
符号化装置10から復号装置20に伝送するテクスチャ成分の数(パターン数)を少なくすることにより、伝送効率を改善することができるが、符号化装置10から復号装置20に伝送するテクスチャ成分の数を少なくすると、出力画像の画質が劣化する。
<コーデックの第2の構成例>
図2は、符号化で失われるテクスチャを復元するコーデックの第2の構成例を示すブロック図である。
図2において、コーデックは、符号化装置30及び復号装置40を有する。
符号化装置30は、テクスチャDB(database)31、テクスチャ成分取得部32、除去部33、符号化部34、及び、伝送部35を有する。
テクスチャDB31には、様々なパターンのテクスチャ成分、すなわち、複数(種類のテクスチャ)のテクスチャ成分が登録されている。
テクスチャ成分取得部32には、入力画像としての元画像が供給される。
テクスチャ成分取得部32は、入力画像の所定のブロックごとに、そのブロックに最もマッチするテクスチャ成分であるマッチ成分を、テクスチャDB31に登録されているテクスチャ成分から取得し、除去部33に供給する。すなわち、テクスチャ成分取得部32はテクスチャDB31に登録されているテクスチャ成分から、例えば、入力画像の所定のブロックとの画素値の自乗誤差の総和を最小にするテクスチャ成分を、マッチ成分として取得し、除去部33に供給する。
さらに、テクスチャ成分取得部32は、マッチ成分を識別する識別情報を、伝送部35に供給する。
ここで、テクスチャDB31には、テクスチャ成分が、そのテクスチャ成分を識別するユニークな識別情報とともに登録されている。
除去部33には、テクスチャ成分取得部32からマッチ成分が供給される他、入力画像が供給される。
除去部33は、入力画像と、テクスチャ成分取得部32からの、入力画像のマッチ成分との差分を演算することで、入力画像から、その入力画像のマッチ成分としてのテクスチャ成分を除去し、テクスチャ成分が除去された入力画像を、符号化部34での符号化の対象の符号化対象画像として、符号化部34に供給する。
ここで、除去部33で得られる符号化対象画像は、入力画像から、テクスチャ成分、すなわち、高域成分を除去した画像であるので、入力画像の低域成分ある、ということができる。
符号化部34は、例えば、MPEGや、AVC,HEVC、その他の非可逆符号化方式で、除去部33からの符号化対象画像を符号化し、その結果得られる符号化データを、伝送部35に供給する。
図2では、符号化部34の符号化対象画像は、テクスチャ成分が除去された入力画像であり、入力画像そのものが符号化対象画像である場合に比較して、効率的な符号化を行うこと、すなわち、符号化データのデータ量を少なくすることができる。
ここで、符号化部34での非可逆符号化方式の符号化では、図1の符号化部13と同様に、画像が周波数領域の信号に変換され、その周波数領域の信号が量子化されることで、テクスチャ成分等の高域成分が失われる。
伝送部35は、テクスチャ成分取得部32からの識別情報と、符号化部34からの符号化データとを伝送する。伝送部35が伝送する識別情報及び符号化データは、図示せぬ伝送媒体を介して、復号装置40に供給されるか、又は、図示せぬ記録媒体に記録され、さらに、その記録媒体から読み出されて、復号装置40に供給される。
なお、伝送部35は、識別情報と、符号化データとを、別個に伝送することもできるし、一体的に伝送すること、すなわち、例えば、識別情報と符号化データとを多重化等して伝送することもできる。
また、テクスチャ成分取得部32は、入力画像の所定のブロックごとに、そのブロックに最もマッチするテクスチャ成分であるマッチ成分を取得するので、マッチ成分、ひいては、識別情報は、ブロックごとに得ることができる。
伝送部35は、識別情報を、ブロックごとに伝送することもできるし、ブロックよりも大きいセグメンテーション単位、すなわち、例えば、フレーム単位等でまとめて伝送することもできる。
復号装置40は、受け取り部41、復号部42、テクスチャDB43、テクスチャ成分取得部44、及び、合成部45を有する。
受け取り部41は、伝送部35から伝送されてくる符号化データ及び識別情報を受信すること等により受け取り、符号化データを、復号部42に供給するとともに、識別情報を、テクスチャ成分取得部44に供給する。
復号部42は、受け取り部41からの符号化データを、符号化部34の符号化方式に対応する方式で復号し、その結果得られる復号画像を、合成部45に供給する。
ここで、復号部42で得られる復号画像は、符号化対象画像、すなわち、ここでは、入力画像の低域成分に相当する。
テクスチャDB43には、様々なパターンのテクスチャ成分、すなわち、複数のテクスチャ成分が登録されている。例えば、テクスチャDB43には、符号化装置30のテクスチャDB31に登録されているのと同一の複数のテクスチャ成分が、少なくとも登録されている。
テクスチャ成分取得部44は、受け取り部41からの識別情報により識別されるマッチ成分としてのテクスチャ成分を、テクスチャDB43に登録されているテクスチャ成分から取得し、合成部45に供給する。
合成部45は、復号部42からの復号画像としての入力画像の低域成分と、テクスチャ成分取得部44からのマッチ成分としてのテクスチャ成分とを合成することにより、入力画像(元画像)を復元した復元画像を生成し、出力画像として出力する。
図2のコーデックでは、符号化装置30及び復号装置40において、複数のテクスチャ成分が、テクスチャDB31及び43にあらかじめ登録(保持)されており、その複数のテクスチャ成分のうちの、入力画像にマッチするマッチ成分としてのテクスチャ成分を識別する識別情報が、符号化装置30から復号装置40に伝送される。
したがって、復号装置40では、識別情報により識別されるマッチ成分としてのテクスチャ成分を用いて、入力画像のテクスチャを復元した出力画像を得ること、すなわち、出力画像の画質を向上させることができる。
さらに、図2のコーデックでは、符号化装置30及び復号装置40において、複数のテクスチャ成分が、テクスチャDB31及び43にあらかじめ登録されており、符号化装置30から復号装置40に、入力画像にマッチするマッチ成分としてのテクスチャ成分そのものではなく、そのテクスチャ成分を識別する識別情報が伝送されるので、テクスチャ成分そのものが伝送される図1のコーデックに比較して、伝送効率(圧縮効率)を向上させることができる。また、図2のコーデックでは、入力画像からテクスチャ成分が除去された画像を、符号化対象画像として、その符号化対象画像が、符号化部34で符号化されるので、入力画像そのものを、符号化部34で符号化する場合に比較して、圧縮効率を向上させることができ、その結果、伝送効率を向上させることができる。
以上のように、図2のコーデックによれば、出力画像の画質を向上させるとともに、伝送効率を向上させることができる。
なお、テクスチャDB31及び43にあらかじめ登録しておくテクスチャ成分の数を多くすることにより、伝送効率を低下させることなく、出力画像の画質をより向上させることができる。
図3は、図2の符号化装置30の符号化処理の例を説明するフローチャートである。
符号化装置30は、符号化装置30に供給される入力画像のフレームを、順次、注目フレームとして、図3のフローチャートに従った符号化処理を行う。
すなわち、テクスチャ成分取得部32は、入力画像の注目フレームを、テクスチャDB31のテクスチャ成分とマッチするマッチ成分を検出するためのブロックに分割(区分け)する。そして、ステップS11において、テクスチャ成分取得部32は、入力画像の注目フレームのブロックから、まだ注目ブロックに選択していない1つのブロックを注目ブロックに選択し、処理は、ステップS12に進む。
ステップS12では、テクスチャ成分取得部32は、入力画像の注目ブロックに最もマッチするテクスチャ成分であるマッチ成分を、テクスチャDB31に登録されているテクスチャ成分から取得する。
ここで、テクスチャ成分取得部32は、例えば、テクスチャDB31に登録されているテクスチャ成分の中で、注目ブロックのテクスチャに最も類似するテクスチャ成分を、マッチ成分として取得する。
テクスチャ成分取得部32は、注目ブロックについて取得したマッチ成分を、除去部33に供給して、処理は、ステップS13に進む。
ステップS13では、テクスチャ成分取得部32は、マッチ成分を識別する識別情報を、テクスチャDB31から取得し、伝送部35に供給して、処理は、ステップS14に進む。
ステップS14では、テクスチャ成分取得部32は、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したかどうかを判定する。
ステップS14において、まだ、入力画像の注目フレームの全ブロックを、注目ブロックとして選択していないと判定された場合、処理は、ステップS11に戻り、以下、同様の処理が繰り返される。
また、ステップS14において、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したと判定された場合、処理は、ステップS15に進む。
ステップS15では、伝送部35は、入力画像の注目フレームの各ブロックと、そのブロックについて取得されたマッチ成分の識別情報(テクスチャ成分取得部32からの識別情報)とを対応付けた識別情報マップを生成し、処理は、ステップS16に進む。
ステップS16では、除去部33は、入力画像の注目フレームの各ブロックから、テクスチャ成分取得部32からの各ブロックのマッチ成分を除去することで得られる入力画像の(注目フレームの)低域成分、すなわち、入力画像とマッチ成分としてのテクスチャ成分との差分を、符号化対象画像として生成し、符号化部34に供給して、処理は、ステップS17に進む。
ステップS17では、符号化部34は、非可逆符号化方式で、除去部33からの符号化対象画像を符号化し、その結果得られる符号化データを、伝送部35に供給して、処理は、ステップS18に進む。
ステップS18では、伝送部35は、識別情報マップと、符号化部34からの符号化データとを伝送し、符号化装置30は、入力画像の注目フレームに対する処理を終了する。
図4は、図2の復号装置40の復号処理の例を説明するフローチャートである。
ステップS21において、受け取り部41は、符号化装置30から伝送されてくる1フレーム分の符号化データ及び識別情報マップを受信する(受け取る)。さらに、受け取り部41は、符号化データを、復号部42に供給するとともに、識別情報マップを、テクスチャ成分取得部44に供給し、処理は、ステップS21からステップS22に進む。
ステップS22では、復号部42は、受け取り部41からの符号化データを復号し、その結果得られる復号画像(のフレーム)を、合成部45に供給して、処理は、ステップS23に進む。
ステップS23では、テクスチャ成分取得部44は、受け取り部41からの識別情報マップのブロックの中で、まだ、注目ブロックに選択していないブロックの1つを、注目ブロックに選択し、処理は、ステップS24に進む。
ステップS24では、テクスチャ成分取得部44は、テクスチャDB43のテクスチャ成分から、注目ブロックの識別情報により識別される(識別情報が表す)テクスチャ成分を、注目ブロックのマッチ成分として取得する。そして、テクスチャ成分取得部44は、注目ブロックのマッチ成分を、合成部45に供給して、処理は、ステップS24からステップS25に進む。
ステップS25では、テクスチャ成分取得部44は、識別情報マップの全ブロックを、注目ブロックに選択したかどうかを判定する。
ステップS25において、まだ、識別情報マップの全ブロックを、注目ブロックに選択していないと判定された場合、処理は、ステップS23に戻り、以下、同様の処理が繰り返される。
また、ステップS25において、識別情報マップの全ブロックを、注目ブロックに選択したと判定された場合、処理は、ステップS26に進む。
ステップS26では、合成部45は、テクスチャ成分取得部44からのブロックごとのマッチ成分としてのテクスチャ成分を、復号部42からの復号画像(のフレーム)の、対応するブロックの位置に合成することにより、入力画像(元画像)を復元した復元画像(のフレーム)を生成し、出力画像として出力して、1フレーム分の符号化データ及び識別情報マップに対する処理を終了する。
<コーデックの第3の構成例>
図5は、符号化で失われるテクスチャを復元するコーデックの第3の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図5において、コーデックは、符号化装置30及び復号装置40を有する点で、図2の場合と共通する。
さらに、図5において、符号化装置30は、テクスチャDB31、テクスチャ成分取得部32、符号化部34、及び、伝送部35を有する点で、図2の場合と共通し、復号装置40は、受け取り部41、復号部42、テクスチャDB43、テクスチャ成分取得部44、及び、合成部45を有する点で、図2の場合と共通する。
但し、図5において、符号化装置30は、除去部33を有しない点で、図2の場合と相違する。
図5において、符号化装置30は、除去部33を有しないため、符号化部34には、テクスチャ成分が除去された入力画像、すなわち、入力画像の低域成分ではなく、入力画像そのものが符号化対象画像として供給される。
したがって、図5において、符号化部34は、符号化対象画像としての入力画像そのものを符号化する。
符号化部34では、符号化対象画像が、図2で説明したように、例えば、MPEGや、AVC,HEVC、その他の非可逆符号化方式で符号化される。
符号化部34の非可逆符号化方式での符号化によれば、符号化対象画像としての入力画像の高域成分、すなわち、例えば、テクスチャ成分の少なくとも一部が失われる。
但し、復号装置40では、合成部45は、復号部42からの復号画像、すなわち、(少なくとも一部の)テクスチャ成分が失われた入力画像と、テクスチャ成分取得部44からのマッチ成分としてのテクスチャ成分とを合成する。
これにより、合成部45では、符号化部34の符号化で失われたテクスチャ成分を復元した復元画像が、出力画像として生成される。
以上のように、図5のコーデックでは、符号化装置30の符号化部34において、入力画像の低域成分ではなく、入力画像そのものを符号化対象画像として、非可逆符号化方式での符号化が行われる点を除き、図2のコーデックと同様の処理が行われる。
したがって、図5のコーデックによれば、図2の場合と同様に、出力画像の画質を向上させるとともに、伝送効率を向上させることができる。
<コーデックの第4の構成例>
図6は、符号化で失われるテクスチャを復元するコーデックの第4の構成例を示すブロック図である。
図6において、コーデックは、符号化装置50及び復号装置60を有する。
符号化装置50は、テクスチャDB51、分離部52、基底合成部53、マッチ成分決定部54、除去部55、符号化部56、及び、伝送部57を有する。
テクスチャDB51には、様々な種類のテクスチャ成分、すなわち、複数のテクスチャ成分が登録されている。
但し、テクスチャDB51には、テクスチャ成分が基底化(基底学習)され、基底の形で登録されている。テクスチャ成分の基底は、有限個の線形結合により、テクスチャを表現することができる画像成分である。
分離部52には、入力画像としての元画像が供給される。分離部52は、入力画像をフィルタリングすることによって、入力画像から、入力画像の低域成分を分離し、基底合成部53に供給する。
基底合成部53は、テクスチャDB51に基底が登録されている複数のテクスチャ成分それぞれについて、分離部52からの入力画像の低域成分と、テクスチャDB51に登録されている基底とを用いた基底合成を行う。
基底合成部53は、基底合成により、テクスチャDB51に基底が登録されている複数のテクスチャ成分それぞれについて、入力画像のテクスチャ成分を復元した復元成分としてのテクスチャ成分を生成し、マッチ成分決定部54に供給する。
マッチ成分決定部54には、基底合成部53から、テクスチャDB51に基底が登録されている複数のテクスチャ成分それぞれについての復元成分が供給される他、入力画像が供給される。
マッチ成分決定部54は、入力画像の所定のブロックごとに、そのブロックに最もマッチする復元成分としてのテクスチャ成分であるマッチ成分を、基底合成部53からの復元成分の中から決定し、除去部55に供給する。
すなわち、マッチ成分決定部54は、入力画像(のフレーム)を、マッチ成分を決定するブロックに分割する。マッチ成分を決定するブロックとしては、例えば、横×縦が16×16画素のブロック等の任意のサイズのブロックを採用することができる。
さらに、マッチ成分決定部54は、入力画像のブロックごとに、基底合成部53からの復元成分の中で、ブロックに対する誤差が最小の復元成分を、マッチ成分に決定する。
復元成分の、ブロックに対する誤差としては、例えば、S/N、すなわち、復元成分とブロックとの画素値どうしの差分の自乗の総和(自乗誤差の総和)や、復元成分とブロックとのアクティビティ等の所定の特徴量どうしの差分等を採用することができる。
さらに、マッチ成分決定部54は、マッチ成分を識別する識別情報を、伝送部57に供給する。
すなわち、テクスチャDB51には、図2のテクスチャDB31と同様に、テクスチャ成分の基底が、そのテクスチャ成分を識別するユニークな識別情報とともに登録されている。
マッチ成分決定部54は、入力画像の各ブロックについてマッチ成分に決定したテクスチャ成分(の基底)の識別情報を、テクスチャDB51から取得し、伝送部57に供給する。
識別情報としては、例えば、6ビット等の、テクスチャ成分よりもサイズ(データ量)が十分小さいビット列を採用することができる。6ビットによれば、最大で、64=26種類のテクスチャ成分の基底を識別することができる。
除去部55には、マッチ成分決定部54からマッチ成分が供給される他、入力画像が供給される。
除去部55は、入力画像と、マッチ成分決定部54からの、入力画像の(ブロックごとの)マッチ成分との差分を演算することで、入力画像から、その入力画像のマッチ成分としてのテクスチャ成分を除去し、テクスチャ成分が除去された入力画像を、符号化部56での符号化の対象の符号化対象画像として、符号化部56に供給する。
ここで、除去部55で得られる符号化対象画像は、入力画像から、テクスチャ成分、すなわち、高域成分を除去した画像であるので、入力画像の低域成分である、ということができる。
符号化部56は、例えば、予測符号化と直交交換とを組み合せたハイブリッド方式としてのMPEGや、AVC,HEVC、その他の非可逆符号化方式で、除去部55からの符号化対象画像を符号化し、その結果得られる符号化データを、伝送部57に供給する。
ここで、符号化部56での非可逆符号化方式の符号化では、図1の符号化部13と同様に、画像が周波数領域の信号に変換され、その周波数領域の信号が量子化されることで、テクスチャ成分等の高域成分が失われる。
伝送部57は、マッチ成分決定部54からの識別情報と、符号化部56からの符号化データとを伝送する。伝送部57が伝送する識別情報及び符号化データは、図示せぬ伝送媒体を介して、復号装置60に供給されるか、又は、図示せぬ記録媒体に記録され、さらに、その記録媒体から読み出されて、復号装置60に供給される。
なお、伝送部57は、図2の伝送部35と同様に、識別情報と、符号化データとを、別個に伝送することもできるし、一体的に伝送することもできる。
また、伝送部57は、識別情報を、ブロックごとに伝送することもできるし、ブロックよりも大きいセグメンテーション単位、すなわち、例えば、フレーム単位等でまとめて伝送することもできる。
復号装置60は、受け取り部61、復号部62、テクスチャDB63、基底合成部64、分離部65、及び、合成部66を有する。
受け取り部61は、伝送部57から伝送されてくる符号化データ及び識別情報を受信し(受け取り)、符号化データを、復号部62に供給するとともに、識別情報を、基底合成部64に供給する。
復号部62は、受け取り部61からの符号化データを、符号化部56の符号化方式に対応する方式で復号し、その結果得られる復号画像を、分離部65及び合成部66に供給する。
ここで、復号部62で得られる復号画像は、符号化対象画像、すなわち、ここでは、入力画像の低域成分に相当する。
テクスチャDB63には、様々な種類のテクスチャ成分、すなわち、複数のテクスチャ成分が登録されている。例えば、テクスチャDB63には、符号化装置50のテクスチャDB51に登録されているのと同一の複数のテクスチャ成分が、少なくとも登録されている。
なお、テクスチャDB63では、テクスチャDB51と同様に、テクスチャ成分が基底化され、基底の形で登録されている。
基底合成部64には、受け取り部61から識別情報が供給される他、分離部65から復号画像の低域成分が供給される。
基底合成部64は、入力画像のブロックに対応する復号画像のブロックごとに、受け取り部61からの識別情報により識別されるマッチ成分としてのテクスチャ成分の基底を、テクスチャDB63に登録されているテクスチャ成分の基底から取得する。
さらに、基底合成部64は、復号画像のブロックごとに、分離部65から供給される復号画像の低域成分と、テクスチャDB63から取得した基底とを用いた基底合成を、基底合成部53と同様に行う。基底合成部64は、基底合成により、復号画像のブロックごとに、入力画像のテクスチャ成分としてのマッチ成分を復元した復元成分としてのテクスチャ成分を生成し、合成部66に供給する。
分離部65は、復号部62からの復号画像をフィルタリングすることによって、復号画像から、復号画像の低域成分を分離し、基底合成部64に供給する。
ここで、分離部52及び65で行われるフィルタリングの通過帯域は、例えば、同一になっている。
そして、図6では、復号画像は、入力画像の低域成分(に相当する画像)であるため、分離部65では、復号画像に生じている歪みが除去される程度で、復号画像の低域成分として、その復号画像とほぼ同様の画像が得られる。
したがって、図6において、分離部65は、必須ではなく、復号装置60は、分離部65なしで構成することができる。
合成部66は、復号部62からの復号画像としての入力画像の低域成分と、基底合成部64からのマッチ成分としてのテクスチャ成分とを合成することにより、入力画像(元画像)を復元した復元画像を生成し、出力画像として出力する。
図6のコーデックでは、符号化装置50及び復号装置60において、複数のテクスチャ成分が、テクスチャDB51及び63にあらかじめ登録(保持)されており、その複数のテクスチャ成分のうちの、入力画像にマッチするマッチ成分としてのテクスチャ成分を識別する識別情報が、符号化装置50から復号装置60に伝送される。
したがって、復号装置60では、識別情報により識別されるマッチ成分としてのテクスチャ成分を用いて、入力画像のテクスチャを復元した出力画像を得ること、すなわち、出力画像の画質を向上させることができる。
さらに、図6のコーデックでは、符号化装置50及び復号装置60において、複数のテクスチャ成分が、テクスチャDB51及び63にあらかじめ登録されており、符号化装置50から復号装置60に、入力画像にマッチするマッチ成分としてのテクスチャ成分そのものではなく、そのテクスチャ成分を識別する識別情報が伝送されるので、テクスチャ成分そのものが伝送される図1のコーデックに比較して、伝送効率(圧縮効率)を向上させることができる。また、図6のコーデックでは、入力画像からテクスチャ成分が除去された画像を、符号化対象画像として、その符号化対象画像が、符号化部56で符号化されるので、入力画像そのものを、符号化部56で符号化する場合に比較して、圧縮効率を向上させることができ、その結果、伝送効率を向上させることができる。
以上のように、図6のコーデックによれば、図2のコーデックと同様に、出力画像の画質を向上させるとともに、伝送効率を向上させることができる。
さらに、図6のコーデックでは、テクスチャDB51及び63において、テクスチャ成分が、基底の形で登録されている。したがって、テクスチャ成分を、そのまま画像の形で登録する場合に比較して、テクスチャDB51及び63に必要な容量を削減することができる。
また、テクスチャ成分を、基底の形で登録することにより、各種類のテクスチャについて、様々なパターンのテクスチャ成分を生成することができる。
すなわち、テクスチャは、例えば、森や、岩、水(面)、布等のテクスチャを有する物体(対象)によって種類分けすることができる。
また、森等の各種類のテクスチャには、様々なパターンのテクスチャが存在する。
各種類のテクスチャとして、様々なパターンのテクスチャ成分を用意し、そのまま(画像)の形で、テクスチャDB51及び63に登録する場合には、テクスチャDB51及び63に必要な容量が大になる。
これに対して、各種類のテクスチャ成分を、基底の形で、テクスチャDB51及び63に登録することにより、テクスチャDB51及び63に必要な容量を大きく削減することができる。
さらに、テクスチャ成分の基底を用いて、基底合成を行うことにより、各種類のテクスチャとして、様々なパターンのテクスチャ成分を生成することができる。
<基底学習及び基底合成>
図7は、テクスチャ成分を基底化する基底学習の概要を説明する図である。
基底学習では、森や、岩、水、布等のテクスチャの種類ごとに、テクスチャ成分としての画像が、学習用の学習画像として用意され、その学習画像を用いて、各種類のテクスチャ成分の基底が求められる。
すなわち、まず、学習画像を、高解像度の高解像度画像として、その高解像度画像のフィルタリング(例えば、図6の分離部52や65と同様のフィルタリング)を行うことにより、高解像度画像の低域成分である、低解像度の低解像度画像が求められる。
さらに、学習画像としての高解像度画像と、その高解像度画像から求められた低解像度画像とをペアにして、基底学習が行われ、高解像度の高解像度基底と、低解像度の低解像度基底とのペアが求められる。高解像度基底としての各基底と、低解像度基底としての各基底とは、対応している。すなわち、高解像度基底の中には、低解像度基底としての各基底に対応する(ペアになっている)基底が存在する。
基底学習の方法としては、例えば、K-SVD方式や、K-means法等を採用することができる。
図8は、基底を用いてテクスチャ成分を生成する基底合成の概要を説明する図である。
基底合成は、例えば、Matching Pursuitsの方法により行うことができる。
いま、ある画像を注目画像とするとともに、注目画像からテクスチャ成分の一部又は全部を除去した、注目画像の低域成分を、テクスチャを復元する対象の復元対象画像とすることとする。
基底合成では、テクスチャを復元するブロックが、例えば、ラスタスキャン順で、順次、注目ブロックとして、復元対象画像から選択される。
さらに、ある種類のテクスチャの低解像度基底としての基底から、複数の基底が、選択基底として選択され、その選択基底の線形結合により、注目ブロック(の画像)を予測した予測ブロックが生成される。
基底合成では、低解像度基底から選択しうる組み合わせの基底が、選択基底として順次選択され、その選択基底の線形結合により求められる予測ブロックが、注目ブロックになるべく一致するように、すなわち、例えば、予測ブロックと注目ブロックとの誤差が統計的に最小になるように、選択基底の線形結合に用いられる係数w0,w1,...が決定される。
なお、係数wiの個数は、選択基底の個数に一致する。また、低解像度基底から選択しうる、選択基底の組み合わせのすべてについて、係数wiを決定する場合には、係数wiの決定に要する演算コストが膨大になることがあるため、選択基底に選択する基底の最大数を、所定値に制限して、その制限の範囲の選択基底の組み合わせについてだけ、係数wiを決定することができる。
低解像度基底から選択した選択基底の各組み合わせについて係数wiが決定された後は、その各組み合わせについての係数wiの中で、例えば、予測ブロックの、注目ブロックに対する誤差が最小の係数wiが、テクスチャ成分生成用の生成係数wiに決定される。
さらに、誤差が最小の予測ブロックが得られるときの選択基底としての低解像度基底とペアの高解像度基底が、テクスチャ成分生成用の生成基底に決定される。
そして、生成基底と生成係数wiとの線形結合、すなわち、生成基底と生成係数wiとの積和演算により、テクスチャを復元したテクスチャ復元画像の注目ブロック(正確には、復元対象画像の注目ブロックと同一位置のテクスチャ復元画像のブロック)のテクスチャ成分が求められる。
なお、基底合成は、Matching Pursuitsの方法の他、例えば、Iterative Reweighted Least Square等により行うことができる。また、基底学習及び基底合成については、例えば、Jianchao YangJ., Huang T.S., Yi MaWright. (2010). Image Super-Resolution via Sparse Representation. Image Processing, IEEE Transaction, Vol.19, Issue 11, pp.2861-2873.に記載されている。
図9は、図6の符号化装置50の符号化処理の例を説明するフローチャートである。
符号化装置50は、符号化装置50に供給される入力画像のフレームを、順次、注目フレームとして、図9のフローチャートに従った符号化処理を行う。
すなわち、ステップS41において、分離部52は、入力画像の注目フレームから、低域成分を分離し、基底合成部53に供給する。
基底合成部53は、入力画像の注目フレームを、マッチ成分を決定するブロックに分割する。そして、処理は、ステップS41からステップS42に進み、基底合成部53は、入力画像の注目フレームのブロックから、まだ注目ブロックに選択していない1つのブロックを注目ブロックに選択し、処理は、ステップS43に進む。
ステップS43では、基底合成部53は、テクスチャDB51に基底が登録(記憶)されている複数(種類)のテクスチャ成分から、まだ、注目成分に選択していない1つのテクスチャ成分を、注目成分に選択し、処理は、ステップS44に進む。
ステップS44では、基底合成部53は、分離部52からの入力画像の低域成分のうちの、注目ブロックの低域成分と、注目成分の基底とを用いて基底合成を行うことで、注目ブロックのテクスチャ成分を復元した復元成分を求める。
基底合成部53は、注目ブロックの復元成分を、マッチ成分決定部54に供給して、処理は、ステップS44からステップS45に進む。
ステップS45では、マッチ成分決定部54は、注目ブロックの復元成分の、入力画像の注目ブロックに対する誤差を算出し、処理は、ステップS46に進む。
ステップS46では、マッチ成分決定部54は、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいかどうかを判定する。
ここで、注目ブロックについての最小誤差とは、テクスチャDB51に基底が登録されているテクスチャ成分の中で、いままでに注目成分に選択されたテクスチャ成分に対して求められた注目ブロックの復元成分の誤差の中の最小値であり、注目ブロックについての最小誤差の初期値としては、所定の大きな値が採用される。
ステップS46において、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さくないと判定された場合、処理は、ステップS47をスキップして、ステップS48に進む。
また、ステップS46において、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいと判定された場合、処理は、ステップS47に進む。
ステップS47では、マッチ成分決定部54は、注目ブロックについての最小誤差を、注目ブロックの復元成分の誤差、すなわち、最新の誤差に更新し、処理は、ステップS48に進む。
ステップS48では、マッチ成分決定部54は、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、注目ブロックの復元成分の誤差を取得したかどうかを判定する。
ステップS48において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、まだ、注目ブロックの復元成分の誤差を取得していないと判定された場合、処理は、ステップS43に戻る。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分の中に、まだ、注目成分に選択されていないテクスチャ成分が存在する場合、処理は、ステップS48からステップS43に戻り、以下、上述した処理が繰り返される。
また、ステップS48において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、注目ブロックの復元成分の誤差を取得したと判定された場合、処理は、ステップS49に進む。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分のすべてに対して、注目ブロックの復元成分の誤差が求められ、その誤差の中で、最小の誤差が、注目ブロックについての最小誤差として求められた場合、処理は、ステップS48からステップS49に進む。
ステップS49では、マッチ成分決定部54が、テクスチャDB51に基底が登録されているテクスチャ成分の中で、注目ブロックについての最小誤差が得られたテクスチャ成分をマッチ成分に決定する。さらに、マッチ成分決定部54は、マッチ成分の識別情報を取得し、伝送部57に供給して、処理は、ステップS49からステップS50に進む。
ステップS50では、基底合成部53は、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したかどうかを判定する。
ステップS50において、まだ、入力画像の注目フレームの全ブロックを、注目ブロックとして選択していないと判定された場合、処理は、ステップS42に戻り、以下、同様の処理が繰り返される。
また、ステップS50において、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したと判定された場合、処理は、ステップS51に進む。
ステップS51では、伝送部57は、入力画像の注目フレームの各ブロックと、そのブロックのマッチ成分の識別情報(マッチ成分決定部54からの識別情報)とを対応付けた識別情報マップを生成し、処理は、ステップS52に進む。
ステップS52では、除去部55は、入力画像の注目フレームの各ブロックから、基底合成部53からの各ブロックのマッチ成分を除去することで得られる入力画像の(注目フレームの)低域成分、すなわち、入力画像とマッチ成分としてのテクスチャ成分との差分を、符号化対象画像として生成し、符号化部56に供給して、処理は、ステップS53に進む。
ステップS53では、符号化部56は、非可逆符号化方式で、除去部55からの符号化対象画像を符号化し、その結果得られる符号化データを、伝送部57に供給して、処理は、ステップS54に進む。
ステップS54では、伝送部57は、識別情報マップと、符号化部56からの符号化データとを伝送し、符号化装置50は、入力画像の注目フレームに対する処理を終了する。
図10は、図6の復号装置60の復号処理の例を説明するフローチャートである。
ステップS61において、受け取り部61は、符号化装置50から伝送されてくる1フレーム分の符号化データ及び識別情報マップを受信する(受け取る)。さらに、受け取り部61は、符号化データを、復号部62に供給するとともに、識別情報マップを、基底合成部64に供給し、処理は、ステップS61からステップS62に進む。
ステップS62では、復号部62は、受け取り部61からの符号化データを復号し、その結果得られる復号画像(のフレーム)を、分離部65及び合成部66に供給して、処理は、ステップS63に進む。
ステップS63では、分離部65は、復号部62からの復号画像から、その復号画像の低域成分を分離し、基底合成部64に供給して、処理は、ステップS64に進む。
ステップS64では、基底合成部64は、受け取り部61からの識別情報マップのブロックの中で、まだ、注目ブロックに選択していないブロックの1つを、注目ブロックに選択し、処理は、ステップS65に進む。
ステップS65では、基底合成部64は、テクスチャDB63のテクスチャ成分の基底から、注目ブロックの識別情報により識別される(識別情報が表す)テクスチャ成分の基底を、注目成分の基底として取得し、処理は、ステップS66に進む。
ステップS66では、基底合成部64は、分離部65からの復号画像の低域成分のうちの、注目ブロックの低域成分と、注目成分の基底とを用いて、基底合成部53と同様の基底合成を行うことで、注目ブロックのマッチ成分としてのテクスチャ成分を復元する。
そして、基底合成部64は、注目ブロックのマッチ成分を、合成部66に供給して、処理は、ステップS66からステップS67に進む。
ステップS67では、基底合成部64は、識別情報マップの全ブロックを、注目ブロックに選択したかどうかを判定する。
ステップS67において、まだ、識別情報マップの全ブロックを、注目ブロックに選択していないと判定された場合、処理は、ステップS64に戻り、以下、同様の処理が繰り返される。
また、ステップS67において、識別情報マップの全ブロックを、注目ブロックに選択したと判定された場合、処理は、ステップS68に進む。
ステップS68では、合成部66は、基底合成部64からのブロックごとのマッチ成分としてのテクスチャ成分を、復号部62からの復号画像(のフレーム)の、対応するブロックの位置に合成することにより、入力画像(元画像)を復元した復元画像(のフレーム)を生成し、出力画像として出力して、1フレーム分の符号化データ及び識別情報マップに対する処理を終了する。
<コーデックの第5の構成例>
図11は、符号化で失われるテクスチャを復元するコーデックの第5の構成例を示すブロック図である。
なお、図中、図6の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図11において、コーデックは、符号化装置50及び復号装置60を有する点で、図6の場合と共通する。
さらに、図11において、符号化装置50は、テクスチャDB51ないしマッチ成分決定部54、符号化部56、及び、伝送部57を有する点で、図6の場合と共通し、復号装置60は、受け取り部61ないし合成部66を有する点で、図6の場合と共通する。
但し、図11において、符号化装置50は、除去部55を有しない点で、図6の場合と相違する。
図11において、符号化装置50は、除去部55を有しないため、符号化部56には、テクスチャ成分が除去された入力画像、すなわち、入力画像の低域成分ではなく、入力画像そのものが符号化対象画像として供給される。
したがって、図11において、符号化部56は、符号化対象画像としての入力画像そのものを符号化する。
符号化部56では、符号化対象画像が、図6で説明したように、例えば、MPEGや、AVC,HEVC、その他の非可逆符号化方式で符号化される。
符号化部56の非可逆符号化方式での符号化によれば、符号化対象画像としての入力画像そのもののテクスチャ成分の少なくとも一部が失われる。
但し、復号装置60では、合成部66は、復号部62からの復号画像、すなわち、(少なくとも一部の)テクスチャ成分が失われた入力画像と、基底合成部64からのマッチ成分としてのテクスチャ成分とが合成される。
これにより、合成部66では、符号化部56の符号化で失われたテクスチャ成分を復元した復元画像が、出力画像として生成される。
以上のように、図11のコーデックでは、符号化装置50の符号化部56において、入力画像の低域成分ではなく、入力画像そのものを符号化対象画像として、非可逆符号化方式での符号化が行われる点を除き、図6のコーデックと同様の処理が行われる。
したがって、図11のコーデックによれば、図6の場合と同様に、出力画像の画質を向上させるとともに、伝送効率を向上させることができる。
ここで、図11のコーデックでは、復号装置60において、復号画像と、マッチ成分としてのテクスチャ成分とが合成されることにより、符号化部56の符号化で失われたテクスチャを復元した復元画像が、出力画像として生成される。すなわち、符号化部56において、多くのテクスチャ成分が除去されてしまうような高圧縮の符号化を行っても、復号装置60では、その除去されたテクスチャ成分を復元することができる。
<コーデックの第6の構成例>
図12は、符号化で失われるテクスチャを復元するコーデックの第6の構成例を示すブロック図である。
なお、図中、図6の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図12において、コーデックは、符号化装置50及び復号装置60を有する点で、図6の場合と共通する。
さらに、図12において、符号化装置50は、テクスチャDB51、基底合成部53、マッチ成分決定部54、符号化部56、及び、伝送部57を有する点で、図6の場合と共通し、復号装置60は、受け取り部61ないし基底合成部64、及び、合成部66を有する点で、図6の場合と共通する。
但し、図12において、符号化装置50は、分離部52及び除去部55を有しない点で、図6の場合と相違する。さらに、図12において、符号化装置50は、復号部81を新たに有する点で、図6の場合と相違する。
また、図12において、復号装置60は、分離部65を有しない点で、図6の場合と相違する。
以上のように、図12において、符号化装置50は、除去部55を有しないため、符号化装置50では、図11の場合と同様に、符号化部56において、テクスチャ成分が除去された入力画像、すなわち、入力画像の低域成分ではなく、入力画像そのものが符号化対象画像として符号化される。
また、図12の符号化装置50では、復号部81には、符号化部56で符号化対象画像としての入力画像そのものを符号化した符号化データが供給される。
復号部81は、符号化部56からの符号化データを、復号部62と同様に復号し、その結果得られる復号画像を、基底合成部53に供給する。
ここで、図11で説明したように、符号化部56の非可逆符号化方式での符号化によれば、符号化対象画像としての入力画像そのもののテクスチャ成分の少なくとも一部が失われる。
したがって、復号部81で得られる復号画像は、入力画像のテクスチャ成分が失われた画像、すなわち、入力画像の低域成分に相当する画像となる。
図12では、基底合成部53は、入力画像の低域成分そのものに代えて、入力画像の低域成分に相当する復号画像を用いて基底合成を行う。
以上のように、図12では、符号化装置50において、基底合成部53が、入力画像の低域成分に相当する復号画像を用いて基底合成を行うのに応じて、復号装置60でも、基底合成部64が、復号部62で得られる復号画像を用いて基底合成を行う。
そのため、図12では、復号装置60が、図6(及び図11)の分離部65を有しない構成になっている。
図13は、図12の符号化装置50の符号化処理の例を説明するフローチャートである。
符号化装置50は、符号化装置50に供給される入力画像のフレームを、順次、注目フレームとして、図13のフローチャートに従った符号化処理を行う。
すなわち、ステップS71において、符号化部56は、非可逆符号化方式で、符号化対象画像としての入力画像の注目フレームを符号化し、その結果得られる符号化データを、伝送部57及び復号部81に供給して、処理は、ステップS72に進む。
ステップS72では、復号部81は、注目フレームの符号化データを復号し、その結果得られる、入力画像の注目フレームの低域成分に相当する復号画像を、基底合成部53に供給する。
基底合成部53は、注目フレームの復号画像を、マッチ成分を決定するブロックに分割する。そして、処理は、ステップS72からステップS73に進み、基底合成部53は、注目フレームの復号画像のブロックから、まだ注目ブロックに選択していない1つのブロックを注目ブロックに選択し、処理は、ステップS74に進む。
ステップS74では、基底合成部53は、テクスチャDB51に基底が登録されている複数(種類)のテクスチャ成分から、まだ、注目成分に選択していない1つのテクスチャ成分を、注目成分に選択し、処理は、ステップS75に進む。
ステップS75では、基底合成部53は、復号部81からの復号画像のうちの、注目ブロックと、注目成分の基底とを用いて基底合成を行うことで、入力画像の注目ブロック(正確には、復号画像の注目ブロックと同一位置の入力画像のブロック)のテクスチャ成分を復元した復元成分を求める。
基底合成部53は、入力画像の注目ブロックの復元成分を、マッチ成分決定部54に供給して、処理は、ステップS75からステップS76に進む。
ステップS76では、マッチ成分決定部54は、入力画像の注目ブロックの復元成分の、入力画像の注目ブロックに対する誤差を算出し、処理は、ステップS77に進む。
ステップS77では、マッチ成分決定部54は、入力画像の注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいかどうかを判定する。
ここで、注目ブロックについての最小誤差とは、図9で説明した場合と同様に、テクスチャDB51に基底が登録されているテクスチャ成分の中で、いままでに注目成分に選択されたテクスチャ成分に対して求められた入力画像の注目ブロックの復元成分の誤差の中の最小値であり、注目ブロックについての最小誤差の初期値としては、所定の大きな値が採用される。
ステップS77において、入力画像の注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さくないと判定された場合、処理は、ステップS78をスキップして、ステップS79に進む。
また、ステップS77において、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいと判定された場合、処理は、ステップS78に進む。
ステップS78では、マッチ成分決定部54は、注目ブロックについての最小誤差を、入力画像の注目ブロックの復元成分の誤差、すなわち、最新の誤差に更新し、処理は、ステップS79に進む。
ステップS79では、マッチ成分決定部54は、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、入力画像の注目ブロックの復元成分の誤差を取得したかどうかを判定する。
ステップS79において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、まだ、入力画像の注目ブロックの復元成分の誤差を取得していないと判定された場合、処理は、ステップS74に戻る。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分の中に、まだ、注目成分に選択されていないテクスチャ成分が存在する場合、処理は、ステップS79からステップS74に戻り、以下、上述した処理が繰り返される。
また、ステップS79において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、入力画像の注目ブロックの復元成分の誤差を取得したと判定された場合、処理は、ステップS80に進む。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分のすべてに対して、入力画像の注目ブロックの復元成分の誤差が求められ、その誤差の中で、最小の誤差が、注目ブロックについての最小誤差として求められた場合、処理は、ステップS79からステップS80に進む。
ステップS80では、マッチ成分決定部54が、入力画像の注目ブロックの復元成分としてのテクスチャ成分の中で、注目ブロックについての最小誤差が得られたテクスチャ成分をマッチ成分に決定する。さらに、マッチ成分決定部54は、マッチ成分の識別情報を取得し、伝送部57に供給して、処理は、ステップS80からステップS81に進む。
ステップS81では、基底合成部53は、注目フレームの復号画像の全ブロックを、注目ブロックとして選択したかどうかを判定する。
ステップS81において、まだ、注目フレームの復号画像の全ブロックを、注目ブロックとして選択していないと判定された場合、処理は、ステップS73に戻り、以下、同様の処理が繰り返される。
また、ステップS81において、注目フレームの復号画像の全ブロックを、注目ブロックとして選択したと判定された場合、処理は、ステップS82に進む。
ステップS82では、伝送部57は、入力画像の注目フレームの各ブロックと、そのブロックのマッチ成分の識別情報(伝送部57からの識別情報)とを対応付けた識別情報マップを生成し、処理は、ステップS83に進む。
ステップS83では、伝送部57は、識別情報マップと、符号化部56からの符号化データとを伝送し、符号化装置50は、入力画像の注目フレームに対する処理を終了する。
図14は、図12の復号装置60の復号処理の例を説明するフローチャートである。
ステップS91において、受け取り部61は、符号化装置50から伝送されてくる1フレーム分の符号化データ及び識別情報マップを受信する(受け取る)。さらに、受け取り部61は、符号化データを、復号部62に供給するとともに、識別情報マップを、基底合成部64に供給し、処理は、ステップS91からステップS92に進む。
ステップS92では、復号部62は、受け取り部61からの符号化データを復号し、その結果得られる復号画像(のフレーム)を、基底合成部64及び合成部66に供給して、処理は、ステップS93に進む。
ステップS93では、基底合成部64は、受け取り部61からの識別情報マップのブロックの中で、まだ、注目ブロックに選択していないブロックの1つを、注目ブロックに選択し、処理は、ステップS94に進む。
ステップS94では、基底合成部64は、テクスチャDB63のテクスチャ成分の基底から、注目ブロックの識別情報により識別される(識別情報が表す)テクスチャ成分の基底を、注目成分の基底として取得し、処理は、ステップS95に進む。
ステップS95では、基底合成部64は、分離部65からの復号画像のうちの注目ブロック(正確には、識別情報マップのブロックのうちの、注目ブロックと同一位置の復号画像のブロック)と、注目成分の基底とを用いて、基底合成部53と同様の基底合成を行うことで、注目ブロックのマッチ成分としてのテクスチャ成分を復元する。
そして、基底合成部64は、注目ブロックのマッチ成分を、合成部66に供給して、処理は、ステップS95からステップS96に進む。
ステップS96では、基底合成部64は、識別情報マップの全ブロックを、注目ブロックに選択したかどうかを判定する。
ステップS96において、まだ、識別情報マップの全ブロックを、注目ブロックに選択していないと判定された場合、処理は、ステップS93に戻り、以下、同様の処理が繰り返される。
また、ステップS96において、識別情報マップの全ブロックを、注目ブロックに選択したと判定された場合、処理は、ステップS97に進む。
ステップS97では、合成部66は、基底合成部64からのブロックごとのマッチ成分としてのテクスチャ成分を、復号部62からの復号画像(のフレーム)の、対応するブロックの位置に合成することにより、入力画像(元画像)を復元した復元画像(のフレーム)を生成し、出力画像として出力して、1フレーム分の符号化データ及び識別情報マップに対する処理を終了する。
<コーデックの第7の構成例>
図15は、符号化で失われるテクスチャを復元するコーデックの第7の構成例を示すブロック図である。
ここで、コーデックにおいて、テクスチャDB51や63のテクスチャ成分(の基底)は、必要に応じて、更新することができる。
以下、テクスチャDB51や63のテクスチャ成分を更新することが可能なコーデックの構成例について、図6の第4の構成例のコーデックに、テクスチャ成分の更新の機能を追加する場合を例に説明する。
なお、テクスチャ成分の更新の機能は、図6の第4の構成例の以外の構成例(例えば、図2の第2の構成例や、図5の第3の構成例、図11の第5の構成例、図12の第6の構成例等)のコーデックに追加することができる。
図15は、テクスチャDB63のテクスチャ成分の基底の更新が可能なコーデックの構成例を示している。
なお、図中、図6の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図15において、コーデックは、符号化装置50及び復号装置60を有する点で、図6の場合と共通する。
さらに、図15において、符号化装置50は、テクスチャDB51ないし伝送部57を有する点で、図6の場合と共通し、復号装置60は、受け取り部61ないし合成部66を有する点で、図6の場合と共通する。
但し、図15において、符号化装置50は、データ伝送部101を新たに有する点で、図6の場合と相違する。さらに、図15において、復号装置60は、更新部111を新たに有する点で、図6の場合と相違する。
データ伝送部101は、復号装置60の更新部111からの要求に応じて、テクスチャDB51に登録されたDBデータとしてのテクスチャ成分の基底(及び識別情報)を、更新部111に伝送する。
更新部111は、符号化装置50のデータ伝送部101を介して、テクスチャDB51に登録されたDBデータとしてのテクスチャ成分の基底を参照し、テクスチャDB51に登録されているテクスチャ成分の基底の中で、復号装置60のテクスチャDB63に登録されていないテクスチャ成分(以下、未登録成分ともいう)の基底が存在するかどうかを確認する。
そして、未登録成分の基底が存在する場合、更新部111は、その未登録成分の基底を、符号化装置50のデータ伝送部101に要求して取得し、未登録成分の基底を、テクスチャDB63に登録することで、テクスチャDB63の登録内容としてのDBデータを更新する。
なお、未登録成分の基底には、種類が異なるテクスチャ成分の基底は勿論、種類が同一のテクスチャ成分の基底であっても、新たな基底学習により得られる新たな基底(いわば、新しいバージョンの基底)も含まれる。
図16は、テクスチャDB63のDBデータを更新するのに、符号化装置50及び復号装置60が行う処理の例を説明するフローチャートである。
符号化装置50では、ステップS111において、データ伝送部101が、復号装置60の更新部111から、DBデータの要求があったかどうかを判定する。
ステップS111において、DBデータの要求がなかったと判定された場合、処理は、処理は、ステップS111に戻る。
また、ステップS111において、DBデータの要求があったと判定された場合、処理は、処理は、ステップS112に進む。ステップS112では、データ伝送部101は、テクスチャDB51から、更新部111から要求があったDBデータとしてのテクスチャ成分の基底(及び識別情報)を取得し、更新部111に伝送する。そして、処理は、ステップS112からステップS111に戻り、以下、同様の処理が繰り返される。
一方、復号装置60では、ステップS121において、更新部111が、テクスチャDB63の更新タイミングであるかどうかを判定する。
ここで、テクスチャDB63の更新タイミングとしては、例えば、復号部62において、あるコンテンツの復号を開始する直前のタイミングや、復号を開始した後の、ブロックの処理を開始する直前のタイミングや、フレームの処理を開始する直前のタイミング、定期的又は不定期なタイミング、その他の任意のタイミングを採用することができる。
ステップS121において、テクスチャDB63の更新タイミングでないと判定された場合、処理は、ステップS121に戻る。
また、ステップS121において、テクスチャDB63の更新タイミングであると判定された場合、処理は、ステップS122に進む。
ステップS122では、更新部111は、未登録のDBデータ、すなわち、テクスチャDB51に登録されているテクスチャ成分の基底の中で、テクスチャDB63に登録されていない未登録成分の基底があるかどうかを判定する。
ステップS122において、未登録成分の基底がないと判定された場合、処理は、ステップS121に戻る。
また、ステップS122において、未登録成分の基底があると判定された場合、処理は、ステップS123に進む。
ステップS123では、更新部111は、未登録のDBデータ、すなわち、未登録成分の基底を、符号化装置50のデータ伝送部101に要求して、処理は、ステップS124に進む。
ステップS124では、更新部111は、データ伝送部101から、未登録成分の基底が伝送されてくるのを待って受信する。さらに、更新部111は、データ伝送部101からの未登録成分の基底を、テクスチャDB63に登録することで、テクスチャDB63のDBデータを更新し、処理は、ステップS124からステップS121に戻る。
以上のように、復号装置60では、符号化装置50のテクスチャDB51に登録されているが、復号装置60のテクスチャDB63に登録されていない未登録成分の基底がある場合には、その未登録成分の基底を、符号化装置50から取得して、テクスチャDB63に登録し、復号装置60のテクスチャDB63のDBデータに、符号化装置50のテクスチャDB51のDBデータが含まれるようにすることができる。
<コーデックの第8の構成例>
図17は、符号化で失われるテクスチャを復元するコーデックの第8の構成例を示すブロック図である。
すなわち、図17は、テクスチャDB51及び63のテクスチャ成分の基底の更新が可能なコーデックの構成例を示している。
なお、図中、図6の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図17において、コーデックは、符号化装置50及び復号装置60を有する点で、図6の場合と共通する。
さらに、図17において、符号化装置50は、テクスチャDB51ないし伝送部57を有する点で、図6の場合と共通し、復号装置60は、受け取り部61ないし合成部66を有する点で、図6の場合と共通する。
但し、図17において、符号化装置50は、更新部121を新たに有する点で、図6の場合と相違する。さらに、図17において、復号装置60は、更新部131を新たに有する点で、図6の場合と相違する。
更新部121は、必要に応じて、インターネット上のサーバ等の外部のサーバ141にアクセスし、そのサーバ141から、テクスチャ成分の基底(及び識別情報)を取得する。
すなわち、サーバ141には、様々な種類のテクスチャ成分の基底が適宜アップロードされており、更新部121は、必要に応じて、サーバ141から、所定のテクスチャ成分の基底をダウンロードすることにより取得する。
さらに、更新部121は、サーバ141から取得したテクスチャ成分の基底を、テクスチャDB51に登録することで、テクスチャDB51のDBデータを更新する。
ここで、更新部121において、サーバ141から取得するテクスチャの基底は、必要に応じて決定することができる。
すなわち、更新部121では、符号化装置50で符号化する入力画像としての元画像の品質、具体的には、例えば、画像のS/Nや、解像度(SD(Standard Definition)画像であるか、又は、HD(High Definition)画像であるか等)、周波数帯域等に応じて、その品質を維持することが可能な(品質を維持するのに適切な)テクスチャ成分の基底を取得することができる。
また、更新部121では、例えば、既存の種類のテクスチャの基底であるが、バージョンが新しい基底(例えば、より表現効果の高いテクスチャ成分の基底)や、新たな種類のテクスチャ成分の基底等の、新たなテクスチャ成分の基底が、サーバ141にアップロードされた場合に、その新たなテクスチャ成分の基底を取得することができる。
なお、更新部121は、サーバ141から、テクスチャ成分の基底をダウンロード(取得)する他、必要に応じて、テクスチャDB51に登録されているテクスチャ成分の基底を、サーバ141にアップロードすることができる。
更新部131は、符号化装置50の更新部121を介して、テクスチャDB51に登録されたDBデータとしてのテクスチャ成分の基底を参照し、テクスチャDB51に登録されているテクスチャ成分の基底の中で、復号装置60のテクスチャDB63に登録されていない未登録成分の基底があるかどうかを確認する。
未登録成分の基底がある場合、更新部131は、インターネット上のサーバ等の外部のサーバ142にアクセスする。そして、更新部131は、未登録成分の基底を、サーバ142に要求して取得し、未登録成分の基底を、テクスチャDB63に登録することで、テクスチャDB63のDBデータに、テクスチャDB51のDBデータが含まれるように更新する。
ここで、サーバ141及び142は同期しており、したがって、同一のテクスチャ成分の基底を有する。
また、図17では、更新部121が、サーバ141にアクセスし、更新部131が、サーバ142にアクセスするようにしたが、更新部121は、サーバ141及び142のうちのいずれにアクセスすることもできる。更新部131も同様である。
また、図17では、更新部121がアクセスするサーバ141と、更新部131がアクセスするサーバ142とが、別個に用意されているが、更新部121がアクセスするサーバ141、及び、更新部131がアクセスするサーバ142としては、例えば、クラウド上のサーバ等の同一のサーバを採用することができる。
なお、符号化装置50の更新部121によるテクスチャDB51のDBデータの更新は、必須ではない。但し、テクスチャDB51のDBデータの更新を行う場合には、例えば、入力画像としての元画像のストリームごとに、テクスチャDB51に登録するテクスチャ成分の基底を切り替える更新を行うことで、テクスチャDB51の容量がある程度制限されている場合であっても、入力画像に適したテクスチャ成分の基底を使用して、入力画像を処理することができる。
また、符号化装置50の更新部121によるテクスチャDB51のDBデータの更新や、復号装置60の更新部131によるテクスチャDb63のDBデータの更新は、例えば、図15の更新部111の場合と同様に、任意のタイミングで行うことができる。
<コーデックの第9の構成例>
図18は、符号化で失われるテクスチャを復元するコーデックの第9の構成例を示すブロック図である。
すなわち、図18は、テクスチャDB51及び63のテクスチャ成分の基底の更新が可能なコーデックの構成例を示している。
なお、図中、図15の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図18において、コーデックは、符号化装置50及び復号装置60を有する点で、図15の場合と共通する。
さらに、図18において、符号化装置50は、テクスチャDB51ないし伝送部57、及び、データ伝送部101を有する点で、図15の場合と共通し、復号装置60は、受け取り部61ないし合成部66、及び、更新部111を有する点で、図15の場合と共通する。
但し、図18において、符号化装置50は、登録部151を新たに有する点で、図15の場合と相違する。
登録部151は、入力画像を符号化するにあたって適切なテクスチャ成分の基底を、テクスチャDB51に登録する。なお、登録部151には、他のブロックから必要な情報が供給されるが、登録部151に情報を供給する接続線については、図が煩雑になることを防止するため、図示を省略してある。
<コーデックの第10の構成例>
図19は、符号化で失われるテクスチャを復元するコーデックの第10の構成例を示すブロック図である。
すなわち、図19は、テクスチャDB51及び63のテクスチャ成分の基底の更新が可能なコーデックの構成例を示している。
なお、図中、図17又は図18の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図19において、コーデックは、符号化装置50及び復号装置60を有する点で、図17の場合と共通する。
さらに、図19において、符号化装置50は、テクスチャDB51ないし伝送部57、及び、更新部121を有する点で、図17の場合と共通し、復号装置60は、受け取り部61ないし合成部66、及び、更新部131を有する点で、図17の場合と共通する。
但し、図19において、符号化装置50は、図18の登録部151を新たに有する点で、図17の場合と相違する。
<登録部151の構成例>
図20は、図18及び図19の登録部151の構成例を示すブロック図である。
図20において、登録部151は、基底学習部161及び登録判定部162を有する。
基底学習部161には、入力画像が供給されるとともに、分離部52から入力画像の低域成分が供給される。
基底学習部161は、例えば、入力画像及び入力画像の低域成分を、図7で説明した高解像度画像及び低解像度画像のペアとして用いて、基底学習を行い、入力画像に含まれるテクスチャについて、テクスチャ成分の基底(例えば、図7で説明した高解像度基底及び低解像度基底のペア)を生成する。
そして、基底学習部161は、基底学習により生成したテクスチャ成分の基底を、新テクスチャ成分の基底として、その新テクスチャ成分を識別する識別情報とともに、テクスチャDB51に仮登録する。
なお、基底学習部161での基底学習、及び、その基底学習により得られる新テクスチャ成分の基底(及び識別情報)のテクスチャDB51への仮登録は、任意のタイミングで行うことができる。
すなわち、基底学習部161での基底学習、及び、新テクスチャ成分の基底の仮登録は、例えば、入力画像のフレームが符号化装置50に供給されるごとに、各フレームを対象に行うことができる。
また、基底学習部161での基底学習、及び、新テクスチャ成分の基底の仮登録は、例えば、新テクスチャ成分の基底がテクスチャDB51に登録されていない場合のマッチ成分の、入力画像に対する誤差が、閾値以上であるときに行うことができる。
マッチ成分の、入力画像に対する誤差は、例えば、フレーム単位で計算することができる。さらに、マッチ成分の、入力画像に対する誤差としては、マッチ成分と入力画像との画素値どうしの差分や、マッチ成分と入力画像とのアクティビティ等の所定の特徴量どうしの差分等を採用することができる。
登録判定部162には、マッチ成分決定部54から、テクスチャDB51に基底が登録されている各テクスチャ成分について、テクスチャ成分の基底から生成された入力画像の(注目ブロックの)テクスチャを復元した復元成分の、入力画像に対する誤差が供給される。
登録判定部162は、マッチ成分決定部54からの復元成分の誤差等を用いて、新テクスチャ成分の基底を本登録するかどうかの登録判定を行う。
そして、登録判定部162は、新テクスチャ成分の基底を本登録すると判定した場合、テクスチャDB51に仮登録されている新テクスチャ成分の基底を、テクスチャDB51に本登録する。
すなわち、登録判定部162は、マッチ成分決定部54からの復元成分の誤差を用いて、新テクスチャ成分の基底から生成された復元成分の誤差が、テクスチャDB51に登録されているテクスチャ成分の基底から生成された復元成分の誤差の中で、最小の誤差であるかどうかを認識する。
そして、新テクスチャ成分の基底から生成された復元成分の誤差が、最小の誤差である場合、すなわち、新テクスチャ成分がマッチ成分である場合には、登録判定部162は、本登録に行うのにあらかじめ決められた所定の条件としての本登録条件が満たされるかどうかを判定する。そして、本登録条件が満たされる場合、登録判定部162は、新テクスチャ成分の基底を本登録すると判定し、新テクスチャ成分の基底を本登録する。
本登録条件としては、例えば、新テクスチャ成分の基底がテクスチャDB51に登録されている場合のマッチ成分(新テクスチャ成分)の、入力画像に対するS/Nが、新テクスチャ成分の基底がテクスチャDB51に登録されていない場合のマッチ成分の、入力画像に対するS/Nよりも一定値以上優れていること等を採用することができる。
また、本登録条件としては、例えば、新テクスチャ成分の基底がテクスチャDB51に登録されている場合のRD(Rate-Distotion)曲線が、新テクスチャ成分の基底がテクスチャDB51に登録されていない場合のRD曲線よりも一定値以上優れていること等を採用することができる。
なお、登録判定部162では、例えば、本登録条件に関わらず、新テクスチャ成分の基底から生成された復元成分の誤差が、テクスチャDB51に登録されているテクスチャ成分の基底から生成された復元成分の誤差の中で、最小の誤差である場合には、新テクスチャ成分の基底を本登録することができる。
さらに、登録判定部162では、本登録条件が満たされる場合には、新テクスチャ成分の基底から生成された復元成分の誤差が、テクスチャDB51に登録されているテクスチャ成分の基底から生成された復元成分の誤差の中で、最小の誤差でなくても、新テクスチャ成分の基底を本登録することができる。
ここで、新テクスチャ成分の基底の本登録の方法としては、例えば、新テクスチャ成分の基底を、テクスチャDB51に追加する方法と上書き(変更)する方法とがある。
新テクスチャ成分の基底の追加では、テクスチャDB51に登録されているテクスチャ成分の基底に追加する形で、新テクスチャ成分の基底が登録される。
新テクスチャ成分の基底の上書きでは、テクスチャDB51に登録されている一部のテクスチャ成分の基底に上書きする形で、新テクスチャ成分の基底が登録される。新テクスチャ成分の基底の上書きにおいて、新テクスチャ成分の基底は、例えば、テクスチャDB51に登録されているテクスチャ成分の基底のうちの、マッチ成分に決定されたことがないテクスチャ成分の基底や、マッチ成分に決定された時期が最も過去のテクスチャ成分の基底等に上書きすることができる。
新テクスチャ成分の基底の上書きによれば、テクスチャDB51の容量を節約することができる。
なお、新テクスチャ成分の基底を追加する場合と上書きする場合とでは、テクスチャDB51に登録されるテクスチャ成分の基底のデータ量が異なる。また、データ量が異なると、RD曲線は異なる。そこで、本登録条件として、新テクスチャ成分の基底がテクスチャDB51に登録されている場合のRD曲線が、新テクスチャ成分の基底がテクスチャDB51に登録されていない場合のRD曲線よりも一定値以上優れていることを採用する場合には、新テクスチャ成分の基底を追加するケースと上書きするケースとのそれぞれのケースのRD曲線を求め、新テクスチャ成分の基底を追加するか、又は、上書きするかを、RD曲線に応じて決定することができる。
図21は、図18及び図19の符号化装置50の符号化処理の例を説明するフローチャートである。
なお、図21では、基底学習部161での基底学習、及び、新テクスチャ成分の基底の仮登録は、入力画像のフレームが符号化装置50に供給されるごとに、各フレームを対象に行われることとする。
符号化装置50は、符号化装置50に供給される入力画像のフレームを、順次、注目フレームとして、図21のフローチャートに従った符号化処理を行う。
すなわち、ステップS151において、分離部52は、入力画像の注目フレームから、低域成分を分離し、基底合成部53及び登録部151に供給する。
登録部151(図20)の基底学習部161は、入力画像の注目フレームを、基底学習を行う単位としての学習ブロックに分割し、処理は、ステップS151からステップS152に進む。
ステップS152では、基底学習部161は、入力画像の注目フレームの学習ブロックから、まだ、注目学習ブロックに選択していない1つの学習ブロックを、注目学習ブロックに選択し、処理は、ステップS153に進む。
ステップS153では、基底学習部161は、注目学習ブロックのテクスチャを基底化する基底学習を行い、処理は、ステップS154に進む。
すなわち、基底学習部161は、注目学習ブロックと、分離部52からの入力画像の低域成分のうちの、注目学習ブロックと同一位置のブロックとのペアを、図7で説明した高解像度画像及び低解像度画像のペアとして用いて、基底学習を行い、注目学習ブロックのテクスチャ成分の基底(例えば、図7で説明した高解像度基底及び低解像度基底のペア)を生成する。
ステップS154では、基底学習部161は、基底学習により得られた注目学習ブロックのテクスチャ成分の基底を、新テクスチャ成分の基底として、その新テクスチャ成分の基底(及び識別情報)を、テクスチャDB51に仮登録する。
その後、基底合成部53は、入力画像の注目フレームを、マッチ成分を決定するブロックに分割する。そして、処理は、ステップS154からステップS155に進み、基底合成部53は、入力画像の注目フレームのブロックから、まだ注目ブロックに選択していない1つのブロックを注目ブロックに選択し、処理は、ステップS156に進む。
ステップS156では、基底合成部53は、テクスチャDB51に基底が登録(仮登録を含む)されている複数(種類)のテクスチャ成分から、まだ、注目成分に選択していない1つのテクスチャ成分を、注目成分に選択し、処理は、ステップS157に進む。
ステップS157では、基底合成部53は、分離部52からの入力画像の低域成分のうちの、注目ブロックの低域成分と、注目成分の基底とを用いて、例えば、図8で説明した基底合成を行うことで、注目ブロックのテクスチャ成分を復元した復元成分を求める。
基底合成部53は、注目ブロックの復元成分を、マッチ成分決定部54に供給して、処理は、ステップS157からステップS158に進む。
ステップS158では、マッチ成分決定部54は、注目ブロックの復元成分の、入力画像の注目ブロックに対する誤差を算出し、処理は、ステップS159に進む。
ステップS159では、マッチ成分決定部54は、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいかどうかを判定する。
ここで、注目ブロックについての最小誤差とは、図9で説明した場合と同様に、テクスチャDB51に基底が登録されているテクスチャ成分の中で、いままでに注目成分に選択されたテクスチャ成分に対して求められた注目ブロックの復元成分の誤差の中の最小値であり、注目ブロックについての最小誤差の初期値としては、所定の大きな値が採用される。
ステップS159において、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さくないと判定された場合、処理は、ステップS160をスキップして、ステップS161に進む。
また、ステップS159において、注目ブロックの復元成分の誤差が、注目ブロックについての最小誤差よりも小さいと判定された場合、処理は、ステップS160に進む。
ステップS160では、マッチ成分決定部54は、注目ブロックについての最小誤差を、注目ブロックの復元成分の誤差、すなわち、最新の誤差に更新し、処理は、ステップS161に進む。
ステップS161では、マッチ成分決定部54は、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、注目ブロックの復元成分の誤差を取得したかどうかを判定する。
ステップS161において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、まだ、注目ブロックの復元成分の誤差を取得していないと判定された場合、処理は、ステップS156に戻る。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分の中に、まだ、注目成分に選択されていないテクスチャ成分が存在する場合、処理は、ステップS161からステップS156に戻り、以下、上述した処理が繰り返される。
また、ステップS161において、テクスチャDB51に基底が登録されているすべてのテクスチャ成分について、注目ブロックの復元成分の誤差を取得したと判定された場合、処理は、ステップS162に進む。
すなわち、テクスチャDB51に基底が登録されているテクスチャ成分のすべてに対して、注目ブロックの復元成分の誤差が求められた場合、処理は、ステップS161からステップS162に進む。
ステップS162では、登録部151(図20)の登録判定部162は、新テクスチャ成分の基底を本登録するかどうかの登録判定を行う。
ステップS162において、新テクスチャ成分の基底を本登録しないと判定された場合、処理は、ステップS163をスキップして、ステップS164に進む。
すなわち、例えば、テクスチャDB51に基底が登録されている各テクスチャ成分について、マッチ成分決定部54で得られた注目ブロックの復元成分の誤差の中で、新テクスチャ成分の基底から得られた復元成分の誤差が、最小の誤差でないか、又は、最小の誤差であっても、本登録条件が満たされない場合、新テクスチャ成分の基底を本登録しないと判定され、新テクスチャ成分の基底の本登録は行われない。
一方、ステップS162において、新テクスチャ成分の基底を本登録すると判定された場合、処理は、ステップS163に進む。ステップS163では、登録判定部162は、テクスチャDB51に仮登録されている新テクスチャ成分の基底を、テクスチャDB51に本登録して、処理は、ステップS164に進む。
すなわち、テクスチャDB51に基底が登録されている各テクスチャ成分について、マッチ成分決定部54で得られた注目ブロックの復元成分の誤差の中で、新テクスチャ成分の基底から得られた復元成分の誤差が、最小の誤差であり、かつ、本登録条件が満たされる場合、新テクスチャ成分の基底を本登録すると判定され、新テクスチャ成分の基底の本登録が行われる。
ステップS164では、基底合成部53は、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したかどうかを判定する。
ステップS164において、まだ、入力画像の注目フレームの全ブロックを、注目ブロックとして選択していないと判定された場合、処理は、ステップS155に戻り、以下、同様の処理が繰り返される。
また、ステップS164において、入力画像の注目フレームの全ブロックを、注目ブロックとして選択したと判定された場合、処理は、ステップS165に進む。
ステップS165では、登録部151(図20)の基底学習部161は、入力画像の注目フレームの全学習ブロックを、注目学習ブロックとして選択したかどうかを判定する。
ステップS165において、まだ、入力画像の注目フレームの全ブロックを、注目学習ブロックとして選択していないと判定された場合、処理は、ステップS152に戻り、以下、同様の処理が繰り返される。
また、ステップS165において、入力画像の注目フレームの全ブロックを、注目学習ブロックとして選択したと判定された場合、処理は、ステップS166に進む。
ステップS166では、マッチ成分決定部54が、入力画像の注目フレームの各ブロックについて、ブロックの復元成分としてのテクスチャ成分の中で、最小誤差が得られたテクスチャ成分をマッチ成分に決定する。さらに、マッチ成分決定部54は、入力画像の注目フレームの各ブロックについて、マッチ成分の識別情報を取得して、処理は、ステップS66からステップS167に進む。
ステップS167では、伝送部57は、入力画像の注目フレームの各ブロックと、そのブロックのマッチ成分の識別情報(マッチ成分決定部54からの識別情報)とを対応付けた識別情報マップを生成し、処理は、ステップS168に進む。
なお、登録部151(図20)の登録判定部162は、例えば、この時点で、テクスチャDB51に本登録されておらず、仮登録されているテクスチャ成分の基底(及び識別情報)を、テクスチャDB51から削除する。
ステップS168では、除去部55は、入力画像の注目フレームの各ブロックから、基底合成部53からの各ブロックのマッチ成分を除去することで得られる入力画像の(注目フレームの)低域成分、すなわち、入力画像とマッチ成分としてのテクスチャ成分との差分を、符号化対象画像として生成し、符号化部56に供給して、処理は、ステップS169に進む。
ステップS169では、符号化部56は、非可逆符号化方式で、除去部55からの符号化対象画像を符号化し、その結果得られる符号化データを、伝送部57に供給して、処理は、ステップS170に進む。
ステップS170では、伝送部57は、識別情報マップと、符号化部56からの符号化データとを伝送し、符号化装置50は、入力画像の注目フレームに対する処理を終了する。
なお、図18及び図19の復号装置60の復号処理は、図10で説明した復号処理と同様であるため、説明を省略する。
以上説明したコーデックにおいて、符号化装置50(又は30)から、復号装置60(又は40)に伝送する識別情報の情報量は、固定の値に制御することもできるし、可変の値に制御することもできる。識別情報の情報量を、固定の値に制御する場合であっても、可変の値に制御する場合であっても、識別情報の情報量が大であるほど、その情報量が大の分だけ、伝送効率は低下するが、復号画像(出力画像)の画質を向上させることができる。
ここで、入力画像において、マッチ成分を決定する対象のブロックや、復号画像において、マッチ成分を合成する対象のブロックを、対象ブロックともいう。また、基底合成により生成されるテクスチャ成分のブロック(領域)を、テクスチャブロックともいう。
また、識別情報の情報量として、例えば、1フレーム(ピクチャ)の入力画像に対して伝送される識別情報のデータ量を採用することとする。この場合、識別情報の情報量は、1個の識別情報のビット数×1フレームの入力画像を構成する対象ブロックの数で表される。
なお、1フレームの入力画像を構成する対象ブロックは、すべてが同一サイズである必要はないが、ここでは、説明を簡単にするため、1フレームの入力画像を構成する対象ブロックのすべては、同一サイズであることとする。
例えば、入力画像の1フレームが1920×1080画素のHD(High Definition)画像であり、その横及び縦方向を、それぞれ10分割して得られる、192×108画素のブロックが、対象ブロックである場合、1フレームは、100個の対象ブロックで構成される。この場合、1フレームの識別情報の数は、対象ブロックの数と同一の100個になる。また、例えば、1フレームは、1000個の対象ブロックで構成される場合、1フレームの識別情報の数は、対象ブロックの数と同一の1000個になる。
なお、1フレームを構成する対象ブロックの数が多くなるほど、対象ブロックのサイズは、小さくなる。本実施の形態では、明示していないが、対象ブロックと、基底合成により生成されるテクスチャブロックとのサイズが同一であることを前提としているが、対象ブロックとテクスチャブロックとのサイズは、同一でなくても良い。すなわち、対象ブロックとしては、テクスチャブロックのサイズ以下のブロックを採用することができる。対象ブロックが、テクスチャブロックより小さい場合には、例えば、テクスチャブロックの中心部分等の一部分のテクスチャを、対象ブロックのテクスチャとして採用することができる。
対象ブロックが小さいほど、復号画像とマッチ成分としてのテクスチャ成分とを合成して得られる復元画像(出力画像)の画質は、概ね向上する。
なお、対象ブロックは、テクスチャブロックのサイズ以下のサイズに制限される。したがって、入力画像は、テクスチャブロックを超えるサイズの対象ブロックに分割することはできず、入力画像を対象ブロックに分割するときの、対象ブロックの数は、テクスチャブロックのサイズにより制限される。
コーデックにおいて、識別情報の情報量を、固定の値に制御する場合には、1個の識別情報のビット数、及び、1フレームの対象ブロックの数それぞれが、固定の値に制御される。又は、識別情報の情報量=1個の識別情報のビット数×1フレームの対象ブロックの数が固定の値になるように、1個の識別情報のビット数、及び、1フレームの対象ブロックの数のそれぞれが、可変の値に制御される。
なお、テクスチャDB51に(テクスチャDB31,43,63についても同様)、2N個のテクスチャ成分(の基底)が記憶されている場合には、その2N個のテクスチャ成分は、Nビットの識別情報により識別することができる。この場合、例えば、Nビットで表される2N個の識別情報に、テクスチャDB51に記憶されている2N個のテクスチャ成分を対応付けるとともに、Nビットより小の、例えば、N-1で表される2N-1個の識別情報に、テクスチャDB51に記憶されている2N個のテクスチャ成分のうちの、2N-1個のテクスチャ成分を対応付けておくことで、識別情報のビット数を、Nビット又はN-1ビットに制御することができる。
また、1フレームの対象ブロックの数は、対象ブロックがテクスチャブロックのサイズ以下のブロックになる範囲内で制御することができる。
コーデックにおいて、識別情報の情報量を、可変の値に制御する場合には、1個の識別情報のビット数、及び、1フレームの対象ブロックの数のうちの一方又は両方が、適応的に可変の値に制御される。
ここで、識別情報の情報量を、可変の値に制御する場合には、入力画像の画質(ビットレート)や、1フレームのサイズ(画素数)、ジャンル(例えば、スポーツ、アニメ、映画等)等に応じて、識別情報の情報量を、適応的に制御することができる。
また、コーデックでは、識別情報の他、復号画像の画質の向上に寄与するテクスチャ成分の生成に使用することが可能な付加情報を、符号化装置50(又は30)で生成し、復号装置60(又は40)に伝送することができる。
付加情報(の種類)としては、例えば、マッチ成分としてのテクスチャ成分の振幅を決定するゲイン情報、テクスチャ成分の生成に使用することが可能なパラメータ、入力画像の画像特徴量等がある。
付加情報としてのゲイン情報は、基底合成により得られるテクスチャ成分のゲインの制御に用いられる。すなわち、基底合成では、必要に応じて、テクスチャ成分の振幅を正規化したテクスチャ成分が求められる。ゲイン情報は、振幅が正規化されたテクスチャ成分の振幅の決定に用いることができる。
付加情報としてのパラメータとしては、例えば、入力画像のテクスチャの帯域情報(入力画像のテクスチャのFFT(Fast Fourier Transform)の結果等)等がある。
例えば、テクスチャDB51(及びテクスチャDB31,43,63)に記憶されているテクスチャ成分の中で、入力画像(の対象ブロック)に最もマッチするマッチ成分としてのテクスチャ成分が入力画像にマッチする程度が閾値以下である場合には、符号化装置50(又は30)は、付加情報としての帯域情報を、復号装置60(又は40)に伝送することができる。
この場合、復号装置60では、付加情報としての帯域情報が表す帯域に類似する帯域となるように、マッチ成分としてのテクスチャ成分をフィルタリングし、そのフィルタリング後のテクスチャ成分を、復号画像に合成することで、復号画像の画質を向上させることができる。
また、付加情報としての画像特徴量としては、入力画像の1フレームや対象ブロック等の所定の領域の画素値のDR(ダイナミックレンジ)や、DRの分散、入力画像の隣接画素差分、入力画像の輝度情報等がある。
例えば、テクスチャDB51に記憶されているテクスチャ成分の中で、入力画像に最もマッチするマッチ成分としてのテクスチャ成分が入力画像にマッチする程度が閾値以下である場合には、符号化装置50は、付加情報としての画像特徴量を、復号装置60に伝送することができる。
この場合、復号装置60では、付加情報としての画像特徴量に類似する画像特徴量のテクスチャ成分となるように、マッチ成分としてのテクスチャ成分を処理し、その処理後のテクスチャ成分を、復号画像に合成することで、復号画像の画質を向上させることができる。
コーデックにおいて、符号化装置50から復号装置60に伝送する付加情報の数は、例えば、コーデック(又はコーデックが搭載される搭載機器)の処理性能や、動作コスト(消費電力や発熱等)等の条件によって、増減することができる。
例えば、コーデックの処理性能が高い場合、すなわち、例えば、1画素あたりの処理に必要な演算回数が多いことが許容される(単位時間当たりの演算回数が多い)場合や、電力対演算コストが優れている場合等においては、識別情報の他に、付加情報としてのパラメータや画像特徴量を追加で伝送し、復号画像の画質を向上させることができる。
また、例えば、コーデックの処理性能が低い場合には、付加情報としてのゲイン情報を、1画素単位で、符号化装置50から復号装置60に伝送することができる。この場合、復号装置60では、その1画素単位のゲイン情報を、そのまま、テクスチャ成分の振幅の制御に用いることができる。
さらに、コーデックの処理性能が高い場合には、付加情報としてのゲイン情報を、複数の画素の単位で、符号化装置50から復号装置60に伝送することで、付加情報の伝送量を少なくすることができる。この場合、復号装置60では、複数の画素の単位のゲイン情報を、1画素単位のゲイン情報となるように補間を行って、テクスチャ成分の振幅の制御に用いることができる。
なお、HEVC等の従来の非可逆符号化方式では、画像のテクスチャは、DCT(Discrete Cosine Transform)され、さらに量子化されて伝送される。この場合、テクスチャの画質を向上させるには、伝送レートを大にして、細かい量子化ステップで量子化を行う必要がある。
一方、符号化装置50(又は30)では、テクスチャが、識別情報によって伝送される。このように、符号化装置50では、テクスチャが、識別情報によって伝送される点で、符号化装置50は、従来の非可逆符号化方式とは異なる。
ここで、本件出願人は、クラス分類適応処理を先に提案している。
クラス分類適応処理では、例えば、第1の画像が第2の画像に変換される。かかるクラス分類適応処理では、第1の画像の注目している注目画素に対応する第2の画像の対応画素の画素値を求める予測演算に用いられる予測タップとなる画素が、第1の画像から選択されるとともに、注目画素が、一定の規則にしたがって、複数のクラスのうちのいずれかのクラスにクラス分類される。そして、クラス分類適応処理では、第1の画像に相当する生徒画像を用いた予測演算の結果と、第2の画像に相当する教師画像との統計的な誤差としての自乗誤差の総和を最小にする学習により求められた複数のクラスそれぞれごとの、予測演算に用いられるタップ係数から、注目画素のクラスのタップ係数が取得され、その注目画素のクラスのタップ係数と、注目画素の予測タップとを用いた予測演算を行うことにより、対応画素の画素値が求められる。
クラス分類適応処理では、タップ係数の学習において、第1の画像に相当する生徒画像を用いた予測演算の結果と、第2の画像に相当する教師画像との自乗誤差の総和が最小になることを、タップ係数を決定する規範として、タップ係数が求められる。
符号化装置50(又は30)でも、テクスチャDB51(又は31)に記憶されたテクスチャ成分から、入力画像にマッチするマッチ成分を決定するマッチ成分決定規範として、クラス分類適応処理と同様に、入力画像とテクスチャ成分との自乗誤差の総和が最小になること(以下、自乗誤差最小規範ともいう)を採用することができる。
さらに、符号化装置50では、マッチ成分決定規範として、自乗誤差最小規範以外の規範を採用し、復号画像の(主としてテクスチャの)画質や主観性能を制御することができる。
自乗誤差最小規範以外のマッチ成分決定規範としては、例えば、定性に近い指標のSSIM(Structural Similarity)等を用いることができる。
以上のように、マッチ成分決定規範として、自乗誤差最小規範以外の規範を採用し、復号画像の画質や主観性能を制御することができる点で、本技術は、自乗誤差最小規範を採用するクラス分類適応処理とは異なる。
ここで、主観性能とは、例えば、精細感、尖鋭感、解像度感、コントラスト感等の画像特性が、画質を評価する評価者の定性的な画質の認知、印象に作用する性能を意味する。
ある特定の主観性能や画質の入力画像に対して、所望の主観性能や画質の復号画像(例えば、より精細感や、尖鋭感が感じられる復号画像等)が得られるマッチ成分決定規範は、特定の主観性能や画質の入力画像に対して、コーデックの調整者や使用者等が定性評価実験を繰り返すことで作成(設計)することができる。
以上のような、所望の主観性能や画質の復号画像が得られるマッチ成分決定規範の作成にあたっては、その作成に用いる入力画像(の主観性能や画質)が既知である必要がある。
<多視点画像符号化・復号システムへの適用>
図22は、多視点画像符号化方式の一例を示す図である。
図22に示されるように、多視点画像は、複数の視点(ビュー(view))の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。
図22の例のような多視点画像を符号化・復号する場合、多視点画像は、視点毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各視点の符号化データは、それぞれ(すなわち視点毎に)復号される。このような各視点の符号化・復号に対して、以上の実施の形態において説明した方法を適用してもよい。このようにすることにより、伝送効率及び画質を向上させることができる。つまり、多視点画像の場合も同様に、伝送効率及び画質を向上させることができる。
<多視点画像符号化・復号システム>
図23は、上述した多視点画像符号化・復号を行う多視点画像符号化・復号システムの、多視点画像符号化装置を示す図である。
図23に示されるように、多視点画像符号化装置1000は、符号化部1001、符号化部1002、及び多重化部1003を有する。
符号化部1001は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部1002は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部1003は、符号化部1001において生成されたベースビュー画像符号化ストリームと、符号化部1002において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
図24は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。
図24に示されるように、多視点画像復号装置1010は、逆多重化部1011、復号部1012、及び復号部1013を有する。
逆多重化部1011は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部1012は、逆多重化部1011により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部1013は、逆多重化部1011により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
例えば、このような多視点画像符号化・復号システムにおいて、多視点画像符号化装置1000の符号化部1001及び符号化部1002として、以上の実施の形態において説明した符号化装置10を適用してもよい。このようにすることにより、多視点画像の符号化においても、以上の実施の形態において説明した方法を適用することができる。すなわち、伝送効率及び画質を向上させることができる。また例えば、多視点画像復号装置1010の復号部1012及び復号部1013として、以上の実施の形態において説明した復号装置20を適用してもよい。このようにすることにより、多視点画像の符号化データの復号においても、以上の実施の形態において説明した方法を適用することができる。すなわち、伝送効率及び画質を向上させることができる。
<階層画像符号化・復号システムへの適用>
また、上述した一連の処理は、階層画像符号化(スケーラブル符号化)・復号システムに適用することができる。
図25は、階層画像符号化方式の一例を示す図である。
階層画像符号化(スケーラブル符号化)は、画像データを、所定のパラメータについてスケーラビリティ(scalability)機能を有するように、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化するものである。階層画像復号(スケーラブル復号)は、その階層画像符号化に対応する復号である。
図25に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として1の画像が複数の画像(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(エンハンスメントレイヤとも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ(base layer)のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ(base layer)に加えて、エンハンスメントレイヤ(enhancement layer)の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
図25の例のような階層画像を符号化・復号する場合、階層画像は、レイヤ毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各レイヤの符号化データは、それぞれ(すなわちレイヤ毎に)復号される。このような各レイヤの符号化・復号に対して、以上の実施の形態において説明した方法を適用してもよい。このようにすることにより、伝送効率及び画質を向上させることができる。つまり、階層画像の場合も同様に、伝送効率及び画質を向上させることができる。
<スケーラブルなパラメータ>
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラビリティ(scalability)機能を有するパラメータは、任意である。例えば、空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、時間解像度を適用しても良い(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。
さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比(SNR(Signal to Noise ratio))を適用しても良い(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるビット深度スケーラビリティ(bit-depth scalability)がある。
また、ベースレイヤ(base layer)が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ(chroma scalability)がある。
<階層画像符号化・復号システム>
図26は、上述した階層画像符号化・復号を行う階層画像符号化・復号システムの、階層画像符号化装置を示す図である。
図26に示されるように、階層画像符号化装置1020は、符号化部1021、符号化部1022、及び多重化部1023を有する。
符号化部1021は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部1022は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部1023は、符号化部1021において生成されたベースレイヤ画像符号化ストリームと、符号化部1022において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
図27は、上述した階層画像復号を行う階層画像復号装置を示す図である。
図27に示されるように、階層画像復号装置1030は、逆多重化部1031、復号部1032、及び復号部1033を有する。
逆多重化部1031は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部1032は、逆多重化部1031により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部1033は、逆多重化部1031により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
例えば、このような階層画像符号化・復号システムにおいて、階層画像符号化装置1020の符号化部1021及び符号化部1022として、以上の実施の形態において説明した符号化装置10を適用してもよい。このようにすることにより、階層画像の符号化においても、以上の実施の形態において説明した方法を適用することができる。すなわち、伝送効率及び画質を向上させることができる。また例えば、階層画像復号装置1030の復号部1032及び復号部1033として、以上の実施の形態において説明した復号装置20を適用してもよい。このようにすることにより、階層画像の符号化データの復号においても、以上の実施の形態において説明した方法を適用することができる。すなわち、伝送効率及び画質を向上させることができる。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図28に示されるコンピュータ1100において、CPU(Central Processing Unit)1101、ROM(Read Only Memory)1102、RAM(Random Access Memory)1103は、バス1104を介して相互に接続されている。
バス1104にはまた、入出力インタフェース1110も接続されている。入出力インタフェース1110には、入力部1111、出力部1112、記憶部1113、通信部1114、及びドライブ1115が接続されている。
入力部1111は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等よりなる。出力部1112は、例えば、ディスプレイ、スピーカ、出力端子等よりなる。記憶部1113は、例えば、ハードディスク、RAMディスク、不揮発性のメモリ等よりなる。通信部1114は、例えば、ネットワークインタフェースよりなる。ドライブ1115は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア821を駆動する。
以上のように構成されるコンピュータでは、CPU1101が、例えば、記憶部1113に記憶されているプログラムを、入出力インタフェース1110及びバス1104を介して、RAM1103にロードして実行することにより、上述した一連の処理が行われる。RAM1103にはまた、CPU1101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
コンピュータ(CPU1101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア821に記録して適用することができる。その場合、プログラムは、リムーバブルメディア821をドライブ1115に装着することにより、入出力インタフェース1110を介して、記憶部1113にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部1114で受信し、記憶部1113にインストールすることができる。
その他、このプログラムは、ROM1102や記憶部1113に、あらかじめインストールしておくこともできる。
<本技術の応用>
上述した実施の形態に係る符号化装置10や復号装置20は、例えば、衛星放送、ケーブルTV等の有線放送、インターネット上での配信、及びセルラー通信による端末への配信等における送信機や受信機、又は、光ディスク、磁気ディスク及びフラッシュメモリ等の媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置等の、様々な電子機器に応用され得る。以下、4つの応用例について説明する。
<第1の応用例:テレビジョン受像機>
図29は、上述した実施の形態を適用したテレビジョン装置の概略的な構成の一例を示す図である。
テレビジョン装置1200は、アンテナ1201、チューナ1202、デマルチプレクサ1203、デコーダ1204、映像信号処理部1205、表示部1206、音声信号処理部1207、スピーカ1208、外部インタフェース(I/F)部1209、制御部1210、ユーザインタフェース(I/F)部1211、及びバス1212を備える。
チューナ1202は、アンテナ1201を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ1202は、復調により得られた符号化ビットストリームをデマルチプレクサ1203へ出力する。すなわち、チューナ1202は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置1200における伝送部としての役割を有する。
デマルチプレクサ1203は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ1204へ出力する。また、デマルチプレクサ1203は、符号化ビットストリームからEPG(Electronic Program Guide)等の補助的なデータを抽出し、抽出したデータを制御部1210に供給する。なお、デマルチプレクサ1203は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ1204は、デマルチプレクサ1203から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ1204は、復号処理により生成される映像データを映像信号処理部1205へ出力する。また、デコーダ1204は、復号処理により生成される音声データを音声信号処理部1207へ出力する。
映像信号処理部1205は、デコーダ1204から入力される映像データを再生し、表示部1206に映像を表示させる。また、映像信号処理部1205は、ネットワークを介して供給されるアプリケーション画面を表示部1206に表示させてもよい。また、映像信号処理部1205は、映像データについて、設定に応じて、例えばノイズ除去等の追加的な処理を行ってもよい。さらに、映像信号処理部1205は、例えばメニュー、ボタン又はカーソル等のGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部1206は、映像信号処理部1205から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD(Organic ElectroLuminescence Display)(有機ELディスプレイ)等)の映像面上に映像又は画像を表示する。
音声信号処理部1207は、デコーダ1204から入力される音声データについてD/A変換及び増幅等の再生処理を行い、スピーカ1208から音声を出力させる。また、音声信号処理部1207は、音声データについてノイズ除去等の追加的な処理を行ってもよい。
外部インタフェース部1209は、テレビジョン装置1200と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部1209を介して受信される映像ストリーム又は音声ストリームが、デコーダ1204により復号されてもよい。すなわち、外部インタフェース部1209もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置1200における伝送部としての役割を有する。
制御部1210は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置1200の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部1211から入力される操作信号に応じて、テレビジョン装置1200の動作を制御する。
ユーザインタフェース部1211は、制御部1210と接続される。ユーザインタフェース部1211は、例えば、ユーザがテレビジョン装置1200を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部1211は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1210へ出力する。
バス1212は、チューナ1202、デマルチプレクサ1203、デコーダ1204、映像信号処理部1205、音声信号処理部1207、外部インタフェース部1209及び制御部1210を相互に接続する。
このように構成されたテレビジョン装置1200において、デコーダ1204が、上述した復号装置20の機能を有するようにしてもよい。つまり、デコーダ1204が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置1200は、伝送効率及び画質を向上させることができる。
また、このように構成されたテレビジョン装置1200において、映像信号処理部1205が、例えば、デコーダ1204から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部1209を介してテレビジョン装置1200の外部に出力させることができるようにしてもよい。そして、その映像信号処理部1205が、上述した符号化装置10の機能を有するようにしてもよい。つまり、映像信号処理部1205が、デコーダ1204から供給される画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置1200は、伝送効率及び画質を向上させることができる。
<第2の応用例:携帯電話機>
図30は、上述した実施の形態を適用した携帯電話機の概略的な構成の一例を示す図である。
携帯電話機1220は、アンテナ1221、通信部1222、音声コーデック1223、スピーカ1224、マイクロホン1225、カメラ部1226、画像処理部1227、多重分離部1228、記録再生部1229、表示部1230、制御部1231、操作部1232、及びバス1233を備える。
アンテナ1221は、通信部1222に接続される。スピーカ1224及びマイクロホン1225は、音声コーデック1223に接続される。操作部1232は、制御部1231に接続される。バス1233は、通信部1222、音声コーデック1223、カメラ部1226、画像処理部1227、多重分離部1228、記録再生部1229、表示部1230、及び制御部1231を相互に接続する。
携帯電話機1220は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録等の動作を行う。
音声通話モードにおいて、マイクロホン1225により生成されるアナログ音声信号は、音声コーデック1223に供給される。音声コーデック1223は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック1223は、圧縮後の音声データを通信部1222へ出力する。通信部1222は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部1222は、生成した送信信号を、アンテナ1221を介して基地局(図示せず)へ送信する。また、通信部1222は、アンテナ1221を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部1222は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック1223へ出力する。音声コーデック1223は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック1223は、生成した音声信号をスピーカ1224に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部1231は、操作部1232を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部1231は、文字を表示部1230に表示させる。また、制御部1231は、操作部1232を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部1222へ出力する。通信部1222は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部1222は、生成した送信信号を、アンテナ1221を介して基地局(図示せず)へ送信する。また、通信部1222は、アンテナ1221を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部1222は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部1231へ出力する。制御部1231は、表示部1230に電子メールの内容を表示させると共に、電子メールデータを記録再生部1229に供給し、その記憶媒体に書き込ませる。
記録再生部1229は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリ等の内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB(Universal Serial Bus)メモリ、又はメモリカード等の外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部1226は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部1227へ出力する。画像処理部1227は、カメラ部1226から入力される画像データを符号化し、符号化ストリームを記録再生部1229に供給し、その記憶媒体に書き込ませる。
さらに、画像表示モードにおいて、記録再生部1229は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部1227へ出力する。画像処理部1227は、記録再生部1229から入力される符号化ストリームを復号し、画像データを表示部1230に供給し、その画像を表示させる。
また、テレビ電話モードにおいて、例えば、多重分離部1228は、画像処理部1227により符号化された映像ストリームと、音声コーデック1223から入力される音声ストリームとを多重化し、多重化したストリームを通信部1222へ出力する。通信部1222は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部1222は、生成した送信信号を、アンテナ1221を介して基地局(図示せず)へ送信する。また、通信部1222は、アンテナ1221を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部1222は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部1228へ出力する。多重分離部1228は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部1227、音声ストリームを音声コーデック1223へ出力する。画像処理部1227は、映像ストリームを復号し、映像データを生成する。映像データは、表示部1230に供給され、表示部1230により一連の画像が表示される。音声コーデック1223は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック1223は、生成した音声信号をスピーカ1224に供給して音声を出力させる。
このように構成された携帯電話機1220において、例えば画像処理部1227が、上述した符号化装置10の機能を有するようにしてもよい。つまり、画像処理部1227が、画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機1220は、伝送効率及び画質を向上させることができる。
また、このように構成された携帯電話機1220において、例えば画像処理部1227が、上述した復号装置20の機能を有するようにしてもよい。つまり、画像処理部1227が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機1220は、伝送効率及び画質を向上させることができる。
<第3の応用例:記録再生装置>
図31は、上述した実施の形態を適用した記録再生装置の概略的な構成の一例を示す図である。
記録再生装置1240は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置1240は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置1240は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置1240は、音声データ及び映像データを復号する。
記録再生装置1240は、チューナ1241、外部インタフェース(I/F)部1242、エンコーダ1243、HDD(Hard Disk Drive)部1244、ディスクドライブ1245、セレクタ1246、デコーダ1247、OSD(On-Screen Display)部1248、制御部1249、及びユーザインタフェース(I/F)部1250を備える。
チューナ1241は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ1241は、復調により得られた符号化ビットストリームをセレクタ1246へ出力する。すなわち、チューナ1241は、記録再生装置1240における伝送部としての役割を有する。
外部インタフェース部1242は、記録再生装置1240と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部1242は、例えば、IEEE(Institute of Electrical and Electronic Engineers)1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェース等であってよい。例えば、外部インタフェース部1242を介して受信される映像データ及び音声データは、エンコーダ1243へ入力される。すなわち、外部インタフェース部1242は、記録再生装置1240における伝送部としての役割を有する。
エンコーダ1243は、外部インタフェース部1242から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ1243は、符号化ビットストリームをセレクタ1246へ出力する。
HDD部1244は、映像及び音声等のコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD部1244は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ1245は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ1245に装着される記録媒体は、例えばDVD(Digital Versatile Disc)ディスク(DVD-Video、DVD-RAM(DVD - Random Access Memory)、DVD-R(DVD - Recordable)、DVD-RW(DVD - Rewritable)、DVD+R(DVD + Recordable)、DVD+RW(DVD + Rewritable)等)又はBlu-ray(登録商標)ディスク等であってよい。
セレクタ1246は、映像及び音声の記録時には、チューナ1241又はエンコーダ1243から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD1244又はディスクドライブ1245へ出力する。また、セレクタ1246は、映像及び音声の再生時には、HDD1244又はディスクドライブ1245から入力される符号化ビットストリームをデコーダ1247へ出力する。
デコーダ1247は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ1247は、生成した映像データをOSD部1248へ出力する。また、デコーダ1247は、生成した音声データを外部のスピーカへ出力する。
OSD部1248は、デコーダ1247から入力される映像データを再生し、映像を表示する。また、OSD部1248は、表示する映像に、例えばメニュー、ボタン又はカーソル等のGUIの画像を重畳してもよい。
制御部1249は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置1240の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部1250から入力される操作信号に応じて、記録再生装置1240の動作を制御する。
ユーザインタフェース部1250は、制御部1249と接続される。ユーザインタフェース部1250は、例えば、ユーザが記録再生装置1240を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部等を有する。ユーザインタフェース部1250は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1249へ出力する。
このように構成された記録再生装置1240において、例えばエンコーダ1243が、上述した符号化装置10の機能を有するようにしてもよい。つまり、エンコーダ1243が、画像データを、以上の実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置1240は、伝送効率及び画質を向上させることができる。
また、このように構成された記録再生装置1240において、例えばデコーダ1247が、上述した復号装置20の機能を有するようにしてもよい。つまり、デコーダ1247が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置1240は、伝送効率及び画質を向上させることができる。
<第4の応用例:撮像装置>
図32は、上述した実施の形態を適用した撮像装置の概略的な構成の一例を示す図である。
撮像装置1260は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置1260は、光学ブロック1261、撮像部1262、信号処理部1263、画像処理部1264、表示部1265、外部インタフェース(I/F)部1266、メモリ部1267、メディアドライブ1268、OSD部1269、制御部1270、ユーザインタフェース(I/F)部1271、及びバス1272を備える。
光学ブロック1261は、撮像部1262に接続される。撮像部1262は、信号処理部1263に接続される。表示部1265は、画像処理部1264に接続される。ユーザインタフェース部1271は、制御部1270に接続される。バス1272は、画像処理部1264、外部インタフェース部1266、メモリ部1267、メディアドライブ1268、OSD部1269、及び制御部1270を相互に接続する。
光学ブロック1261は、フォーカスレンズ及び絞り機構等を有する。光学ブロック1261は、被写体の光学像を撮像部1262の撮像面に結像させる。撮像部1262は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部1262は、画像信号を信号処理部1263へ出力する。
信号処理部1263は、撮像部1262から入力される画像信号に対してニー補正、ガンマ補正、色補正等の種々のカメラ信号処理を行う。信号処理部1263は、カメラ信号処理後の画像データを画像処理部1264へ出力する。
画像処理部1264は、信号処理部1263から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部1264は、生成した符号化データを外部インタフェース部1266又はメディアドライブ1268へ出力する。また、画像処理部1264は、外部インタフェース部1266又はメディアドライブ1268から入力される符号化データを復号し、画像データを生成する。そして、画像処理部1264は、生成した画像データを表示部1265へ出力する。また、画像処理部1264は、信号処理部1263から入力される画像データを表示部1265へ出力して画像を表示させてもよい。また、画像処理部1264は、OSD部1269から取得される表示用データを、表示部1265へ出力する画像に重畳してもよい。
OSD部1269は、例えばメニュー、ボタン又はカーソル等のGUIの画像を生成して、生成した画像を画像処理部1264へ出力する。
外部インタフェース部1266は、例えばUSB入出力端子として構成される。外部インタフェース部1266は、例えば、画像の印刷時に、撮像装置1260とプリンタとを接続する。また、外部インタフェース部1266には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスク等のリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置1260にインストールされ得る。さらに、外部インタフェース部1266は、LAN又はインターネット等のネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部1266は、撮像装置1260における伝送部としての役割を有する。
メディアドライブ1268に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリ等の、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ1268に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
制御部1270は、CPU等のプロセッサ、並びにRAM及びROM等のメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータ等を記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置1260の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部1271から入力される操作信号に応じて、撮像装置1260の動作を制御する。
ユーザインタフェース部1271は、制御部1270と接続される。ユーザインタフェース部1271は、例えば、ユーザが撮像装置1260を操作するためのボタン及びスイッチ等を有する。ユーザインタフェース部1271は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1270へ出力する。
このように構成された撮像装置1260において、例えば画像処理部1264が、上述した符号化装置10の機能を有するようにしてもよい。つまり、画像処理部1264が、画像データを、以上の実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置1260は、伝送効率及び画質を向上させることができる。
また、このように構成された撮像装置1260において、例えば画像処理部1264が、上述した復号装置20の機能を有するようにしてもよい。つまり、画像処理部1264が、符号化データを、以上の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置1260は、伝送効率及び画質を向上させることができる。
<その他の応用例>
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
また、以上においては、本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置又はシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
<ビデオセット>
本技術をセットとして実施する場合の例について、図33を参照して説明する。
図33は、本技術を適用したビデオセットの概略的な構成の一例を示す図である。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、1機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する1セットとして実施を行う場合も多く見られるようになってきた。
図33に示されるビデオセット1300は、このような多機能化された構成であり、画像の符号化や復号(いずれか一方でもよいし、両方でも良い)に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図33に示されるように、ビデオセット1300は、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、及びフロントエンドモジュール1314等のモジュール群と、コネクティビティ1321、カメラ1322、及びセンサ1323等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図33の例の場合、ビデオモジュール1311は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ1331、ビデオプロセッサ1332、ブロードバンドモデム1333、及びRFモジュール1334を有する。
プロセッサは、所定の機能を有する構成をSoC(System On a Chip)により半導体チップに集積したものであり、例えばシステムLSI(Large Scale Integration)等と称されるものもある。この所定の機能を有する構成は、論理回路(ハードウエア構成)であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム(ソフトウエア構成)であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路(ハードウエア構成)により実現し、その他の機能をCPUにおいて実行されるプログラム(ソフトウエア構成)により実現するようにしてもよい。
図33のアプリケーションプロセッサ1331は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ1331において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ1332等、ビデオモジュール1311内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ1332は、画像の符号化・復号(その一方若しくは両方)に関する機能を有するプロセッサである。
ブロードバンドモデム1333は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線(又はその両方)の広帯域通信により送信するデータ(デジタル信号)をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ(デジタル信号)に変換したりする。ブロードバンドモデム1333は、例えば、ビデオプロセッサ1332が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール1334は、アンテナを介して送受信されるRF(Radio Frequency)信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール1334は、ブロードバンドモデム1333により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール1334は、フロントエンドモジュール1314を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図33において点線1341に示されるように、アプリケーションプロセッサ1331とビデオプロセッサ1332を、一体化し、1つのプロセッサとして構成されるようにしてもよい。
外部メモリ1312は、ビデオモジュール1311の外部に設けられた、ビデオモジュール1311により利用される記憶デバイスを有するモジュールである。この外部メモリ1312の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM(Dynamic Random Access Memory)のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール1313は、ビデオモジュール1311(ビデオモジュール1311内の各構成)への電力供給を管理し、制御する。
フロントエンドモジュール1314は、RFモジュール1334に対してフロントエンド機能(アンテナ側の送受信端の回路)を提供するモジュールである。図33に示されるように、フロントエンドモジュール1314は、例えば、アンテナ部1351、フィルタ1352、及び増幅部1353を有する。
アンテナ部1351は、無線信号を送受信するアンテナ及びその周辺の構成を有する。アンテナ部1351は、増幅部1353から供給される信号を無線信号として送信し、受信した無線信号を電気信号(RF信号)としてフィルタ1352に供給する。フィルタ1352は、アンテナ部1351を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール1334に供給する。増幅部1353は、RFモジュール1334から供給されるRF信号を増幅し、アンテナ部1351に供給する。
コネクティビティ1321は、外部との接続に関する機能を有するモジュールである。コネクティビティ1321の物理構成は、任意である。例えば、コネクティビティ1321は、ブロードバンドモデム1333が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ1321が、Bluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ1321が、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ1321が、アナログ入出力端子等のその他のデータ(信号)伝送機能等を有するようにしてもよい。
なお、コネクティビティ1321が、データ(信号)の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ1321が、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ(リムーバブルメディアのドライブだけでなく、ハードディスク、SSD(Solid State Drive)、NAS(Network Attached Storage)等も含む)を有するようにしてもよい。また、コネクティビティ1321が、画像や音声の出力デバイス(モニタやスピーカ等)を有するようにしてもよい。
カメラ1322は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ1322の撮像により得られた画像データは、例えば、ビデオプロセッサ1332に供給されて符号化される。
センサ1323は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ1323により検出されたデータは、例えば、アプリケーションプロセッサ1331に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット1300において、後述するようにビデオプロセッサ1332に本技術を適用することができる。したがって、ビデオセット1300は、本技術を適用したセットとして実施することができる。
<ビデオプロセッサの構成例>
図34は、本技術を適用したビデオプロセッサ1332(図33)の概略的な構成の一例を示す図である。
図34の例の場合、ビデオプロセッサ1332は、ビデオ信号及びオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータ及びオーディオデータを復号し、ビデオ信号及びオーディオ信号を再生出力する機能とを有する。
図34に示されるように、ビデオプロセッサ1332は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、フレームメモリ1405、及びメモリ制御部1406を有する。また、ビデオプロセッサ1332は、エンコード・デコードエンジン1407、ビデオES(Elementary Stream)バッファ1408A及び1408B、並びに、オーディオESバッファ1409A及び1409Bを有する。さらに、ビデオプロセッサ1332は、オーディオエンコーダ1410、オーディオデコーダ1411、多重化部(MUX(Multiplexer))1412、逆多重化部(DMUX(Demultiplexer))1413、及びストリームバッファ1414を有する。
ビデオ入力処理部1401は、例えばコネクティビティ1321(図33)等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第1画像拡大縮小部1402は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第2画像拡大縮小部1403は、画像データに対して、ビデオ出力処理部1404を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第1画像拡大縮小部1402と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部1404は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ1321等に出力する。
フレームメモリ1405は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、及びエンコード・デコードエンジン1407によって共用される画像データ用のメモリである。フレームメモリ1405は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部1406は、エンコード・デコードエンジン1407からの同期信号を受けて、アクセス管理テーブル1406Aに書き込まれたフレームメモリ1405へのアクセススケジュールに従ってフレームメモリ1405に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル1406Aは、エンコード・デコードエンジン1407、第1画像拡大縮小部1402、第2画像拡大縮小部1403等で実行される処理に応じて、メモリ制御部1406により更新される。
エンコード・デコードエンジン1407は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン1407は、フレームメモリ1405から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ1408Aに順次書き込む。また、例えば、ビデオESバッファ1408Bからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ1405に順次書き込む。エンコード・デコードエンジン1407は、これらの符号化や復号において、フレームメモリ1405を作業領域として使用する。また、エンコード・デコードエンジン1407は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部1406に対して同期信号を出力する。
ビデオESバッファ1408Aは、エンコード・デコードエンジン1407によって生成されたビデオストリームをバッファリングして、多重化部(MUX)1412に供給する。ビデオESバッファ1408Bは、逆多重化部(DMUX)1413から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン1407に供給する。
オーディオESバッファ1409Aは、オーディオエンコーダ1410によって生成されたオーディオストリームをバッファリングして、多重化部(MUX)1412に供給する。オーディオESバッファ1409Bは、逆多重化部(DMUX)1413から供給されたオーディオストリームをバッファリングして、オーディオデコーダ1411に供給する。
オーディオエンコーダ1410は、例えばコネクティビティ1321等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3(AudioCode number 3)方式等の所定の方式で符号化する。オーディオエンコーダ1410は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ1409Aに順次書き込む。オーディオデコーダ1411は、オーディオESバッファ1409Bから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ1321等に供給する。
多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法(すなわち、多重化により生成されるビットストリームのフォーマット)は任意である。また、この多重化の際に、多重化部(MUX)1412は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部(MUX)1412は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ(ファイルデータ)に変換する。
逆多重化部(DMUX)1413は、多重化部(MUX)1412による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部(DMUX)1413は、ストリームバッファ1414から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する(ビデオストリームとオーディオストリームとを分離する)。つまり、逆多重化部(DMUX)1413は、逆多重化によりストリームのフォーマットを変換(多重化部(MUX)1412による変換の逆変換)することができる。例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321やブロードバンドモデム1333等から供給されたトランスポートストリームを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321により各種記録媒体から読み出されたファイルデータを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ1414は、ビットストリームをバッファリングする。例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321やブロードバンドモデム1333等に供給する。
また、例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ1414は、例えばコネクティビティ1321やブロードバンドモデム1333等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
また、ストリームバッファ1414は、例えばコネクティビティ1321等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
次に、このような構成のビデオプロセッサ1332の動作の例について説明する。例えば、コネクティビティ1321等からビデオプロセッサ1332に入力されたビデオ信号は、ビデオ入力処理部1401において4:2:2Y/Cb/Cr方式等の所定の方式のデジタル画像データに変換され、フレームメモリ1405に順次書き込まれる。このデジタル画像データは、第1画像拡大縮小部1402又は第2画像拡大縮小部1403に読み出されて、4:2:0Y/Cb/Cr方式等の所定の方式へのフォーマット変換及び拡大縮小処理が行われ、再びフレームメモリ1405に書き込まれる。この画像データは、エンコード・デコードエンジン1407によって符号化され、ビデオストリームとしてビデオESバッファ1408Aに書き込まれる。
また、コネクティビティ1321等からビデオプロセッサ1332に入力されたオーディオ信号は、オーディオエンコーダ1410によって符号化され、オーディオストリームとして、オーディオESバッファ1409Aに書き込まれる。
ビデオESバッファ1408Aのビデオストリームと、オーディオESバッファ1409Aのオーディオストリームは、多重化部(MUX)1412に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部(MUX)1412により生成されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークに出力される。また、多重化部(MUX)1412により生成されたファイルデータは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークからビデオプロセッサ1332に入力されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。また、例えばコネクティビティ1321等において各種記録媒体から読み出され、ビデオプロセッサ1332に入力されたファイルデータは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。つまり、ビデオプロセッサ1332に入力されたトランスポートストリーム又はファイルデータは、逆多重化部(DMUX)1413によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ1409Bを介してオーディオデコーダ1411に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ1408Bに書き込まれた後、エンコード・デコードエンジン1407により順次読み出されて復号されてフレームメモリ1405に書き込まれる。復号された画像データは、第2画像拡大縮小部1403によって拡大縮小処理されて、フレームメモリ1405に書き込まれる。そして、復号された画像データは、ビデオ出力処理部1404に読み出されて、4:2:2Y/Cb/Cr方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、エンコード・デコードエンジン1407に、上述した実施の形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン1407が、上述した符号化装置10の機能若しくは復号装置20の機能又はその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ1332は、上述した実施の形態の符号化装置10や復号装置20と同様の効果を得ることができる。
なお、エンコード・デコードエンジン1407において、本技術(すなわち、符号化装置10の機能若しくは復号装置20の機能又はその両方)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
<ビデオプロセッサの他の構成例>
図35は、本技術を適用したビデオプロセッサ1332の概略的な構成の他の例を示す図である。
図35の例の場合、ビデオプロセッサ1332は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図35に示されるように、ビデオプロセッサ1332は、制御部1511、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、及び内部メモリ1515を有する。また、ビデオプロセッサ1332は、コーデックエンジン1516、メモリインタフェース1517、多重化・逆多重化部(MUX DMUX)1518、ネットワークインタフェース1519、及びビデオインタフェース1520を有する。
制御部1511は、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、及びコーデックエンジン1516等、ビデオプロセッサ1332内の各処理部の動作を制御する。
図35に示されるように、制御部1511は、例えば、メインCPU1531、サブCPU1532、及びシステムコントローラ1533を有する。メインCPU1531は、ビデオプロセッサ1332内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU1531は、そのプログラム等に従って制御信号を生成し、各処理部に供給する(つまり、各処理部の動作を制御する)。サブCPU1532は、メインCPU1531の補助的な役割を果たす。例えば、サブCPU1532は、メインCPU1531が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ1533は、メインCPU1531及びサブCPU1532が実行するプログラムを指定する等、メインCPU1531及びサブCPU1532の動作を制御する。
ディスプレイインタフェース1512は、制御部1511の制御の下、画像データを例えばコネクティビティ1321等に出力する。例えば、ディスプレイインタフェース1512は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、又はデジタルデータの画像データのまま、コネクティビティ1321のモニタ装置等に出力する。
ディスプレイエンジン1513は、制御部1511の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン1514は、制御部1511の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、及びコーデックエンジン1516により共用される、ビデオプロセッサ1332の内部に設けられたメモリである。内部メモリ1515は、例えば、ディスプレイエンジン1513、画像処理エンジン1514、及びコーデックエンジン1516の間で行われるデータの授受に利用される。例えば、内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、又はコーデックエンジン1516から供給されるデータを格納し、必要に応じて(例えば、要求に応じて)、そのデータを、ディスプレイエンジン1513、画像処理エンジン1514、又はコーデックエンジン1516に供給する。この内部メモリ1515は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM(Static Random Access Memory)のような比較的(例えば外部メモリ1312と比較して)小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン1516は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン1516が対応する符号化・復号の方式は任意であり、その数は1つであってもよいし、複数であってもよい。例えば、コーデックエンジン1516は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化又は符号化データの復号を行うようにしてもよい。
図35に示される例において、コーデックエンジン1516は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、及びMPEG-DASH1551を有する。
MPEG-2 Video1541は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.2641542は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.2651543は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)1544は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)1545は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH1551は、画像データをMPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式で送受信する機能ブロックである。MPEG-DASHは、HTTP(HyperText Transfer Protocol)を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の1つとする。MPEG-DASH1551は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video1541乃至HEVC/H.265(Multi-view)1545を利用する。
メモリインタフェース1517は、外部メモリ1312用のインタフェースである。画像処理エンジン1514やコーデックエンジン1516から供給されるデータは、メモリインタフェース1517を介して外部メモリ1312に供給される。また、外部メモリ1312から読み出されたデータは、メモリインタフェース1517を介してビデオプロセッサ1332(画像処理エンジン1514若しくはコーデックエンジン1516)に供給される。
多重化・逆多重化部(MUX DMUX)1518は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、複数のデータを1つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、1つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部(MUX DMUX)1518は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部(MUX DMUX)1518は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ(ファイルデータ)に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース1519は、例えばブロードバンドモデム1333やコネクティビティ1321等向けのインタフェースである。ビデオインタフェース1520は、例えばコネクティビティ1321やカメラ1322等向けのインタフェースである。
次に、このようなビデオプロセッサ1332の動作の例について説明する。例えば、コネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース1519を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、例えば、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてファイルデータに変換され、ビデオインタフェース1520を介して例えばコネクティビティ1321等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ1321等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース1520を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてトランスポートストリームに変換され、ネットワークインタフェース1519を介して例えばコネクティビティ1321やブロードバンドモデム1333等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ1332内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ1515や外部メモリ1312を利用して行われる。また、パワーマネージメントモジュール1313は、例えば制御部1511への電力供給を制御する。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、コーデックエンジン1516に、上述した実施の形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン1516が、上述した符号化装置10の機能若しくは復号装置20の機能又はその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ1332は、上述した符号化装置10や復号装置20と同様の効果を得ることができる。
なお、コーデックエンジン1516において、本技術(すなわち、符号化装置10や復号装置20の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ1332の構成を2例示したが、ビデオプロセッサ1332の構成は任意であり、上述した2例以外のものであってもよい。また、このビデオプロセッサ1332は、1つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する3次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
<装置への適用例>
ビデオセット1300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット1300は、テレビジョン装置1200(図29)、携帯電話機1220(図30)、記録再生装置1240(図31)、撮像装置1260(図32)等に組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、上述した符号化装置10や復号装置20と同様の効果を得ることができる。
なお、上述したビデオセット1300の各構成の一部であっても、ビデオプロセッサ1332を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ1332のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線1341により示されるプロセッサやビデオモジュール1311等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、及びフロントエンドモジュール1314を組み合わせ、本技術を適用したビデオユニット1361として実施することもできる。いずれの構成の場合であっても、上述した符号化装置10や復号装置20と同様の効果を得ることができる。
つまり、ビデオプロセッサ1332を含むものであればどのような構成であっても、ビデオセット1300の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ1332、点線1341により示されるプロセッサ、ビデオモジュール1311、又は、ビデオユニット1361を、テレビジョン装置1200(図29)、携帯電話機1220(図30)、記録再生装置1240(図31)、撮像装置1260(図32)等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット1300の場合と同様に、上述した符号化装置10や復号装置20と同様の効果を得ることができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(又は処理部)として説明した構成を分割し、複数の装置(又は処理部)として構成するようにしてもよい。逆に、以上において複数の装置(又は処理部)として説明した構成をまとめて1つの装置(又は処理部)として構成されるようにしてもよい。また、各装置(又は各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(又は処理部)の構成の一部を他の装置(又は他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
<1>
入力画像を非可逆符号化方式で符号化する符号化部と、
複数のテクスチャ成分が登録されているデータベースと、
前記データベースに登録されている前記複数のテクスチャ成分のうちの、前記入力画像にマッチする前記テクスチャ成分であるマッチ成分を識別する識別情報と、前記入力画像を符号化した符号化データとを伝送する伝送部と
を備える符号化装置。
<2>
前記データベースには、前記テクスチャ成分を基底化して得られる、前記テクスチャ成分の基底が登録されている
<1>に記載の符号化装置。
<3>
前記入力画像から、前記入力画像の低域成分を分離する分離部と、
前記データベースに登録されている前記複数のテクスチャ成分それぞれについて、前記入力画像の低域成分と、前記テクスチャ成分の基底とを用いた基底合成により、前記入力画像のテクスチャ成分を復元した復元成分を生成する基底合成部と、
前記データベースに登録されている前記複数のテクスチャ成分それぞれについて生成された前記復元成分の中で、前記入力画像に対する誤差が最小の前記復元成分を、前記マッチ成分に決定するマッチ成分決定部と
をさらに備える<2>に記載の符号化装置。
<4>
前記符号化データを復号画像に復号する復号部と、
前記データベースに登録されている前記複数のテクスチャ成分それぞれについて、前記復号画像と、前記テクスチャ成分の基底とを用いた基底合成により、前記入力画像のテクスチャ成分を復元した復元成分を生成する基底合成部と、
前記データベースに登録されている前記複数のテクスチャ成分それぞれについて生成された前記復元成分の中で、前記入力画像に対する誤差が最小の前記復元成分を、前記マッチ成分に決定するマッチ成分決定部と
をさらに備える<2>に記載の符号化装置。
<5>
前記符号化データを復号する復号装置からの要求に応じて、前記データベースのデータを伝送するデータ伝送部をさらに備える
<2>ないし<4>のいずれかに記載の符号化装置。
<6>
サーバからデータを取得し、前記データベースを更新する更新部をさらに備える
<2>ないし<4>のいずれかに記載の符号化装置。
<7>
前記データベースに前記テクスチャ成分の基底を登録する登録部をさらに備える
<2>ないし<6>のいずれかに記載の符号化装置。
<8>
前記登録部は、
前記入力画像のテクスチャ成分の基底を、新テクスチャ成分の基底として、前記データベースに仮登録し、
所定の条件が満たされる場合に、前記新テクスチャ成分の基底を、前記データベースに本登録する
<7>に記載の符号化装置。
<9>
前記登録部は、
前記新テクスチャ成分の基底が前記データベースに登録されている場合の前記マッチ成分の、前記入力画像に対するS/N(Signal to Noise ratio)が、前記新テクスチャ成分の基底が前記データベースに登録されていない場合の前記マッチ成分の、前記入力画像に対するS/Nよりも一定値以上優れていること、
又は、前記新テクスチャ成分の基底が前記データベースに登録されている場合のRD(Rate-Distotion)曲線が、前記新テクスチャ成分の基底が前記データベースに登録されていない場合のRD曲線よりも一定値以上優れていること
を、前記所定の条件として、前記新テクスチャ成分の基底を、前記データベースに本登録する
<8>に記載の符号化装置。
<10>
前記登録部は、新テクスチャ成分の基底が前記データベースに登録されていない場合の前記マッチ成分の、前記入力画像に対する誤差が、閾値以上である場合に、前記入力画像のテクスチャ成分の基底を、前記新テクスチャ成分の基底として、前記データベースに仮登録する
<8>又は<9>に記載の符号化装置。
<11>
前記符号化部は、前記入力画像と前記マッチ成分との差分を符号化する
<1>ないし<10>のいずれかに記載の符号化装置。
<12>
入力画像を非可逆符号化方式で符号化することと、
複数のテクスチャ成分が登録されているデータベースに登録されている前記複数のテクスチャ成分のうちの、前記入力画像にマッチする前記テクスチャ成分であるマッチ成分を識別する識別情報と、前記入力画像を符号化した符号化データとを伝送することと
を含む符号化方法。
<13>
入力画像を非可逆符号化方式で符号化した符号化データと、前記入力画像にマッチするテクスチャ成分であるマッチ成分を識別する識別情報とを受け取る受け取り部と、
前記符号化データを、復号画像に復号する復号部と、
複数のテクスチャ成分が登録されているデータベースと、
前記データベースに登録されている前記複数のテクスチャ成分のうちの、前記識別情報により識別される前記マッチ成分としての前記テクスチャ成分と、前記復号画像とを合成する合成部と
を備える復号装置。
<14>
前記データベースには、前記テクスチャ成分を基底化して得られる、前記テクスチャ成分の基底が登録されている
<13>に記載の復号装置。
<15>
前記復号画像、又は、前記復号画像の低域成分と、前記マッチ成分の基底とを用いた基底合成により、前記マッチ成分を復元した復元成分を生成する基底合成部をさらに備え、
前記合成部は、前記復元成分と、前記復号画像とを合成する
<14>に記載の復号装置。
<16>
前記入力画像を符号化する符号化装置に、前記データベースに登録するデータを要求することにより取得し、前記データベースを更新する更新部をさらに備える
<14>又は<15>に記載の復号装置。
<17>
サーバからデータを取得し、前記データベースを更新する更新部をさらに備える
<14>又は<15>に記載の復号装置。
<18>
入力画像を非可逆符号化方式で符号化した符号化データと、前記入力画像にマッチするテクスチャ成分であるマッチ成分を識別する識別情報とを受け取ることと、
前記符号化データを、復号画像に復号することと、
複数のテクスチャ成分が登録されているデータベースに登録されている前記複数のテクスチャ成分のうちの、前記識別情報により識別される前記マッチ成分としての前記テクスチャ成分と、前記復号画像とを合成することと
を含む復号方法。