JP4332061B2 - 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 - Google Patents
画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 Download PDFInfo
- Publication number
- JP4332061B2 JP4332061B2 JP2004118648A JP2004118648A JP4332061B2 JP 4332061 B2 JP4332061 B2 JP 4332061B2 JP 2004118648 A JP2004118648 A JP 2004118648A JP 2004118648 A JP2004118648 A JP 2004118648A JP 4332061 B2 JP4332061 B2 JP 4332061B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- dimensional
- decoding
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は，画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体に関し，特に，視点位置や視線方向を変更することを可能とする映像通信と映像配信と映像蓄積に関する技術である。
複数のカメラ入力映像を予め持っていれば，入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが，さらに撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば，下記の非特許文献１では，複数のカメラ入力画像から光線空間を生成して，その光線空間から画像情報を取り出すことにより，撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。
ここで，任意視点の映像を生成するための画像情報の符号化方法としては，カメラ入力映像を符号化対象とする手法と，光線空間を符号化対象とする手法に分類できる。カメラ入力映像を符号化対象とする手法としては，単純にカメラ入力映像を個別に符号化する手法が考えられる。カメラ入力映像を符号化対象とする場合には，復号側にてカメラ入力画像を光線空間に写像する必要があり，光線空間を符号化対象とする場合には，符号化側にてカメラ入力画像を光線空間に写像する必要がある。
光線空間を符号化対象とする手法としては，例えば下記の非特許文献２が挙げられる。この手法では，多次元の光線空間を多次元サブバンド分割して複数のレイヤ構造にして，各レイヤを符号化する。
ここで複数のカメラ入力画像から光線空間を作成する手法を示す。図１のようにｃ１〜ｃ３の３台のカメラが水平方向に並んでいるとする。図中，１０，１１は被写体である。このとき実空間上での面をＰとし，Ｐの水平方向をＸ軸，Ｐの垂直方向をＹ軸，Ｐからカメラ方向をＺ軸とする。面Ｐを通過する光線の位置を（ｘ，ｙ）として，光線の方向を（θ，φ）とする。Ｐを通る光線の強度は４次元量（ｘ，ｙ，θ，φ）で定義される。すなわち，ここでの光線空間は４次元である。以後は，説明を簡略にするため，カメラを通過するＹ軸に垂直な面上で定義を説明する。
このとき図２に示すように，面Ｐとカメラとの実空間での距離をＤとし，視野角をαとすると，カメラは実空間で幅Ｗの画像情報を撮影することになる。実空間でのカメラ間隔をＡとする。ＤとＷの間には式（１）の関係がある。
Ｗ＝２・Ｄ・ｔａｎ（α） （１）
ここで得られる画像情報を光線空間に写像する。写像した例を図３に示す。ここでは，横軸がｘであり，縦軸がｕ＝ｔａｎ（θ）の空間である。４次元の光線空間のうちｙ＝０，φ＝０の面での断面を見ていることに相当する。各カメラの画像情報は，図３のように写像される。ここで隣り合う画像情報の，ｘ軸との交点間をａとし，画像情報の幅をｗとする。光線空間でのａとｗと，実空間のＡとＷとの間には比例関係があり，光線空間でのｗは次の式（２）で示される。
ここで得られる画像情報を光線空間に写像する。写像した例を図３に示す。ここでは，横軸がｘであり，縦軸がｕ＝ｔａｎ（θ）の空間である。４次元の光線空間のうちｙ＝０，φ＝０の面での断面を見ていることに相当する。各カメラの画像情報は，図３のように写像される。ここで隣り合う画像情報の，ｘ軸との交点間をａとし，画像情報の幅をｗとする。光線空間でのａとｗと，実空間のＡとＷとの間には比例関係があり，光線空間でのｗは次の式（２）で示される。
ｗ＝Ｗ・ａ／Ａ （２）
ここで，光線空間のｗは式（２）で計算されるため，撮影された画像情報の画素数とは無関係に計算される。従って，撮影された画像情報を実数精度で光線空間へ写像することになる。
ここで，光線空間のｗは式（２）で計算されるため，撮影された画像情報の画素数とは無関係に計算される。従って，撮影された画像情報を実数精度で光線空間へ写像することになる。
光線空間より任意視点の画像情報を作成する手法を示す。例えば図３の光線空間があるときに，図４に示すカメラ位置（Ｑ点）の画像情報を生成する場合を示す。図４に示すカメラ位置（Ｑ点）は光線空間を構築する面Ｐよりも遠い位置にあるため，面Ｐを通る光線の角度は小さくなり，図５に示すような位置に対応する画像情報が存在することになる。この位置の画像情報を光線空間から取り出すことにより，図４に示すカメラ位置（Ｑ点）での画像情報を生成する。
画像情報を取り出すにあたり，画像情報の存在しない光線空間位置では，情報の存在する光線位置の情報を使って補間により作成する。補間方法としては，例えば下記の非特許文献３のように，隣接する画像情報を使って補間する手法が提案されている。
以上のような視点位置や視線方向を変更した映像を得るためには，撮影に使用したカメラの位置情報が必要である。世界座標系におけるカメラの位置情報を示す方法に，米国のテレビ標準規格“SMPTE 315M-1999 SMPTE STANDARD for Television--Camera Positioning Information Conveyed by Ancillary Data Packets”がある。
この方法によればカメラで映像を撮影したときに，それを撮影した位置情報を表現することができ，撮影された画像情報と合わせて位置情報を記録蓄積することができる。この規格では，さらにカメラパラメータを規定している。これらの位置情報やカメラパラメータは，上記の撮影されていない視点位置や視線方向の映像を生成する技術において必要な情報である。
藤井，木本，谷本："光線群表現における３次元空間情報の圧縮"，３次元画像コンファレンス'96, pp.1-6(1996.7). M.Tanimoto,S.Sakaguchi,T.Kobayashi,T.Fujii,T.Kimoto,"The Hierarchical Ray Space for 3-D Imaging",EVA2000 Florence(2000.3). 小林，藤井，木本，谷本："適応フィルタを用いた光線空間データ補間"，３次元画像コンファレンス'99, pp.25-30(1999.7).
藤井，木本，谷本："光線群表現における３次元空間情報の圧縮"，３次元画像コンファレンス'96, pp.1-6(1996.7). M.Tanimoto,S.Sakaguchi,T.Kobayashi,T.Fujii,T.Kimoto,"The Hierarchical Ray Space for 3-D Imaging",EVA2000 Florence(2000.3). 小林，藤井，木本，谷本："適応フィルタを用いた光線空間データ補間"，３次元画像コンファレンス'99, pp.25-30(1999.7).
撮影されていない視点位置や視線方向の映像を生成する技術では，カメラ入力画像情報を光線空間へ写像する。このとき，カメラ入力画像情報の画素位置は，光線空間では実数精度位置である。従って，光線空間の整数画素位置の画像情報を，周囲の実数精度位置の画像情報から作成する。この変換によって，一般的にカメラ入力映像情報の高周波情報が失われる。このため光線空間から生成される映像には，高周波情報が無くボケた映像となる問題がある。
逆に，光線空間上で実数精度で画像情報を持つとすると，その位置情報を実数精度で記録しておく必要があるため膨大なメモリ量を必要とし，さらに実数精度の位置情報を扱うため演算処理が膨大になる問題がある。
本発明は，上記従来技術の問題点を解決し，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができ，かつ品質の良い画像情報を作成することができるようにすることを目的とする。
本発明の関連技術は，２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報（予測画像）を作成する画像作成方法であって，Ｎ次元光線空間における前記２次元画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元画像情報のうち，前記指定位置の画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択ステップと，参照画素位置の画像情報を使って，指定位置の予測画像を作成する予測画像作成ステップと，を実行する。
第１の本発明は，上記課題を解決するため，２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報（予測画像）を作成する画像作成方法であって，複数の２次元画像情報から２次元参照画像情報を選択する２次元参照画像選択ステップと，Ｎ次元光線空間における前記２次元参照画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元参照画像情報のうち，前記指定位置の画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択ステップと，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成ステップと，を実行することを特徴とし，さらに，複数の２次元画像情報に対して予測画像作成ステップまたは平均予測画像作成ステップを実行して複数の予測画像を求め，複数の予測画像を重み付け平均してさらに予測画像を作成する再帰的平均予測画像作成ステップを実行することを特徴とする。
第２の本発明は，第１の本発明の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，前記画像作成方法を使って予測画像を作成して，フレーム間予測符号化を行うフレーム間予測符号化ステップを実行することを特徴とする。
第３の本発明は，第２の本発明の画像符号化方法であって，Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置情報の相対位置情報を符号化する参照画素位置符号化ステップを実行することを特徴とする。
第４の本発明は，第２の本発明の画像符号化方法であって，平均予測画像作成ステップまたは再帰的平均予測画像作成ステップで適用する重み付け係数情報を符号化する重み付け情報符号化ステップを実行することを特徴とする。
第５の本発明は，第４の本発明の画像符号化方法であって，平均予測画像作成ステップまたは再帰的平均予測画像作成ステップで適用する重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする。
また，他の本発明は，第２ないし第５の本発明の画像符号化方法によって符号化されたデータを復号する画像復号方法であり，第１の本発明による画像作成方法を使って作成した予測画像をもとに，フレーム間予測復号ステップを実行し復号することを特徴とする。
前述した本発明の関連技術によれば，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができる。ここで，２次元画像情報の画素位置は，光線空間の画素位置に配置する。配置方法の例として，図３に示した方法に対応した方法を図６に示す。図６に示すように，２次元画像情報の画素位置が必ず光線空間上の画素位置になるように，２次元画像情報の画素を配置する。図６中の破線で示したｕ軸はｘ軸に垂直な光線空間を構成した場合の軸である。このｕ軸に対応した２次元画像情報の光線空間上での位置を破線ｐ１で示している。
２次元画像情報の画素位置が光線空間上の画素位置になるように２次元画像情報の画素を配置するため，図６に実線で示すｕ軸のように，この空間におけるｕ軸は必ずしもｘ軸に垂直にはならない。このような光線空間を２次元画像情報毎に構成する。この発明により，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。ここで作成される画像情報を表示しても良いし，画像符号化処理などの他の画像処理に使用しても良い。
第１の本発明によれば，複数の２次元画像情報がある場合に，画像を作成することに使用する２次元画像情報を選択することができる。Ｎ次元光線空間は時間軸を含むため，過去の２次元画像情報を選択することも可能である。これにより，より多くの画素位置から，画像を作成する際に参照する画像情報を選択することができ，品質の良い画像情報を作成することができる。
この第１の発明では，作成される画像情報を重み付け平均することにより，より多くの画素位置から，画像を作成する際に選択することができ，品質の良い画像情報を作成することができる。このとき各２次元画像情報について，図６のように２次元画像情報が光線空間の整数画素位置に配置されるように光線空間は構成される。
第２の本発明によれば，第１の本発明において作成される画像情報を，フレーム間予測符号化時の予測画像に使用することができる。Ｎ次元の光線空間から予測画像を作成できるため，従来の２次元の画像情報から予測画像を作成するフレーム間予測符号化よりも予測効率を向上することができ，結果的に符号化効率を向上させることができる。
ここで，複数の２次元画像情報から参照する２次元画像情報を選択する場合には，その２次元画像情報を指定する情報を合わせて符号化しても良い。このとき，２次元画像情報を指定する情報は，符号化対象画像を分割したブロック単位に指定しても良い。また，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成しても良い。また作成された予測画像情報をさらに重み付け平均して予測画像を作成しても良い。
第３の本発明によれば，第２の本発明において，２次元画像情報のうち参照する画素位置を指定する情報を符号化することができる。このとき，参照画素位置を指定する情報は，符号化対象画像を分割したブロック単位に指定しても良い。
第４の本発明によれば，第２の本発明において，予測画像を作成する際に使用する重み付け平均を示す情報を符号化することができる。この重み付け平均の係数を符号化しても良いし，予め複数の重み付け平均の係数を設定しておき，そのインデックスを符号化しても良い。予め複数の重み付け平均の係数を設定する場合には，その係数を符号化方法と復号方法との間で予め設定しておいても良いし，例えばスライス単位に符号化して更新しても良い。このとき，重み付け平均の係数は符号化対象画像を分割したブロック単位に指定しても良い。
第５の本発明によれば，第４の本発明において，予測画像を作成する際に使用する重み付け平均の係数を既に符号化された画素位置の係数から予測することができる。これにより，重み付け平均の係数を符号化するために必要な符号量を削減することができる。
本発明によれば，２次元画像情報から光線空間を介して画像情報を作成するにあたり，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
本発明の実施の形態を図面を参照して説明する。本発明の第１の実施の形態は，２次元画像情報を入力し，フレーム間予測符号化を適用して画像情報を符号化する画像符号化装置の例である。
２次元画像情報は，縦横８画素で構成される複数のブロックに分割してブロック毎に符号化される。予測画像を過去に符号化した画像情報から作成する例を示す。過去に符号化した画像情報とその光線空間での位置情報を画像蓄積メモリに蓄積しておき，画像作成位置指定部は，符号化対象画像情報の光線空間の位置情報を指定する。
光線空間は５次元であり，位置情報（ｘ，ｙ）と視線方向（θ，φ）と時間ｔを軸とする。２次元画像情報は，実空間で水平面の上で撮影された画像情報とする。なお，光線空間は時間ｔを省いた４次元でも，例えば他の軸を加えた６次元でも良い。ここでは，５次元の光線空間を例に説明する。
画像符号化装置の構成の一例を図７に示す。画像符号化装置１は，２次元画像情報を入力する画像入力部１０１と，画像情報と位置情報を蓄積する画像蓄積メモリ１０４と，画像入力部１０１で入力される画像情報の符号化対象ブロックの位置情報を指定する画像作成位置指定部１０７と，符号化対象ブロックの位置情報を符号化する画像作成位置符号化部１１９と，２次元参照画像を選択する２次元参照画像選択部１０５と，２次元参照画像を指定する情報を符号化する２次元参照画像符号化部１０６と，２次元参照画像情報の中から参照画素を選択する参照画素選択部１０８と，参照画素の位置を指定する情報を符号化する参照画素位置符号化部１０９と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部１１０と，重み付け情報を蓄積する重み付け情報メモリ１１１と，重み付け情報を予測する重み付け情報予測部１１２と，複数の参照画素から予測画像を作成する平均予測画像作成部１１３と，平均予測画像を蓄積する平均予測画像メモリ１１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部１１５と，重み付け情報を符号化する重み付け情報符号化部１１６と，符号化対象ブロックの符号化モードを決定する符号化モード決定部１１７と，符号化対象ブロックの符号化モードを符号化する符号化モード符号化部１１８と，予測画像と原画像との予測残差を符号化する予測残差符号化部１０２と，予測残差符号化データを復号して復号画像を作成する予測残差復号部１０３とから構成される。
参照画素選択部１０８では，符号化対象ブロックの位置情報を使って，２次元参照画像情報の中から参照画素を選択する。ブロック内には，縦横８画素の合計６４画素が存在する。各画素に対して参照画素を指定するが，符号化対象画素と参照画素との相対位置関係はブロック内で同一にする。各画素に対して３つの参照画素を選択するものとする。
図８は，光線空間における参照画素の選択方法の例を示す図である。参照画素の選択方法と光線空間の距離の計算は，図８に従う。すなわち，符号化対象画素の光線空間位置（図中×印）を通る，ｕ軸に平行な直線が２次元画像情報と交差する点をＫとする。点Ｋに最も近い３つの画素位置を参照画素に選択する。また，符号化対象画素と光線空間の画素との距離は，光線空間の画素位置によって構成される多次元空間上のユークリッド距離を用いる。
重み付け情報指定部１１０では，複数の重み付け係数の組み合わせを用意しておき，それらのうちから選択するものとする。この第１の実施の形態では，２種類の組み合わせを用意しておき，ブロック毎に選択する。再帰的平均予測画像作成部１１５では，符号化対象画素と参照画素との間の光線空間上での距離に対応して平均予測画像を重み付け平均する。Ｍ個の２次元画像情報から予測画像を作成する場合を示す。２次元画像情報ｉに対する第一の参照画素Ｒi と符号化対象画素との距離Ｄi を使用する。
ここで第一の参照画素とは，参照画素選択部１０８で選択される３つの参照画素のうち，重み付け係数の値が最も大きい画素を指す。ここで得られるＤi の大きさに対応して，平均予測画像を重み付け平均する。第一の参照画素Ｒi に対する平均予測画像をＡi とすると，再帰的平均予測画像作成部１１５で作成される予測画像Ｐは，次の式（３）により計算する。
Ｄi ＝Ｃi ・Ｓi （４）
画像蓄積メモリ１０４には，既に過去の２次元画像情報の復号画像と位置情報が蓄積されているものとする。
画像蓄積メモリ１０４には，既に過去の２次元画像情報の復号画像と位置情報が蓄積されているものとする。
画像蓄積メモリ１０４の構成例を図９に示す。５次元の光線空間内の位置情報を蓄積するために，次元毎に値を蓄積するメモリを用意する。各画素でこの位置情報を設定するため，次元毎に２次元のマトリックスを構成する。これは２次元の画像とみなすことができる。したがって，各２次元画像情報について合計６フレーム分の画像メモリを備える。すなわち，２次元画像情報の画像情報を記憶する画像情報メモリＭ１の他，位置情報ｘメモリＭ２，位置情報ｙメモリＭ３，位置情報θメモリＭ４，位置情報φメモリＭ５，位置情報ｔメモリＭ６の６フレーム分のメモリを備える。各メモリＭ１〜Ｍ６内に四角で示したものが２次元画像情報に相当する。
画像蓄積メモリ１０４は，これを複数フレーム分備えておき，２次元画像情報の画像情報と位置情報とを逐次蓄積する。図９の例では，フレームＦ１〜Ｆ５の５フレーム分蓄積するメモリが用意されている。あらかじめ用意したフレーム数を超えて，新たに２次元画像情報を蓄積する場合には，最も過去に蓄積したフレームの２次元画像情報の画像情報と位置情報とを廃棄して，新しい情報を蓄積する。
画像蓄積メモリ１０４に蓄積された２次元画像情報の例を，図１０に示す。図中，ＥおよびＦは，それぞれ過去の２次元画像情報の復号画像であり，これらは２次元参照画像として用いられる（ここでは説明を簡単にするために２フレーム分の例を示している）。
重み付け情報メモリ１１１には，過去に符号化されたブロックについて，使用された２次元画像情報と，その重み付け係数が蓄積される。重み付け情報予測部１１２では，符号化対象ブロックの左と上と左上と右上の既に符号化されたブロックで，使用された各２次元画像情報について，使用された重み付け情報のうちから最も使用頻度の高いものを，その２次元画像情報についての予測重み付け情報とする。
符号化モード決定部１１７で決定する符号化モードは，平均予測画像作成部１１３で使用する重み付け係数について，重み付け情報予測部１１２で予測される係数を使うのかどうかを示し，再帰的平均予測画像作成部１１５で加算する平均予測画像の数を示す。ここで符号化対象ブロックの符号量が最も少なくなるように符号化モードを決定する。
以上の前提のもとで，２次元画像情報が入力された時の符号化手順を示す。画像入力部１０１は，２次元画像情報を入力してブロックに分割する。以下では，ブロック毎に符号化処理が進められる。
２次元参照画像選択部１０５は，２次元参照画像Ｅを選択する。画像作成位置指定部１０７は，この２次元参照画像で構成される光線空間上での入力画像の位置情報を指定する。画像作成位置符号化部１１９は，この位置情報を符号化する。参照画素選択部１０８は，入力画像の位置情報から参照画素を選択する。
重み付け情報予測部１１２は，重み付け情報メモリ１１１に蓄積された重み付け係数から，予測重み付け情報を決定する。ここで，予測重み付け情報は，重み付け情報指定部１１０が指定するうちの第１の重み付け情報であったとする。
平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの予測重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
重み付け情報符号化部１１６は，予測重み付け情報である第１の重み付け情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報と重み付け情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの第１の重み付け情報での符号量として記録しておく。
重み付け情報指定部１１０は，第２の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｅの第２の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
続いて２次元参照画像選択部１０５は，２次元参照画像Ｆを選択する。画像作成位置指定部１０７は，この２次元参照画像で構成される光線空間上での入力画像の位置情報を指定する。画像作成位置符号化部１１９は，この位置情報を符号化する。参照画素選択部１０８は，入力画像の位置情報から参照画素を選択する。
重み付け情報予測部１１２は，重み付け情報メモリ１１１に蓄積された重み付け係数から，予測重み付け情報を決定する。ここで，重み付け情報メモリ１１１には，２次元参照画像Ｆに対する重み付け情報が蓄積されていないとする。この場合には，重み付け情報を決定できない。符号化モード決定部１１７は，この予測重み付け情報を使った場合の符号量として，想定される範囲の最大値を記録する。
重み付け情報指定部１１０は，第１の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。
２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｆの第１の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
重み付け情報指定部１１０は，第２の重み付け情報を指定する。平均予測画像作成部１１３は，この重み付け情報を使って参照画素の重み付け平均を計算し，平均予測画像を作成する。再帰的平均予測画像作成部１１５は，この平均予測画像から予測画像を作成する。
予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化する。２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化する。参照画素位置符号化部１０９は，参照画素の位置情報を符号化する。符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報についての符号量の合計を計算して，この値を２次元参照画像Ｆの第２の重み付け情報での符号量として記録しておく。平均予測画像メモリ１１４には，この時の平均予測画像を蓄積しておく。
続いて，平均予測画像メモリ１１４に蓄積された，２次元参照画像Ｅの第１の重み付け情報での平均予測画像と，２次元参照画像Ｅの第２の重み付け情報での平均予測画像と，２次元参照画像Ｆの第１の重み付け情報での平均予測画像と，２次元参照画像Ｆの第２の重み付け情報での平均予測画像の，各組み合わせについて，再帰的平均予測画像作成部１１５は，予測画像を作成し，予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化し，２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化し，参照画素位置符号化部１０９は，参照画素の位置情報を符号化し，重み付け情報符号化部１１６は，重み付け情報を符号化し，符号化モード決定部１１７は，この時の予測残差と参照画像を指定する情報と参照画素の位置情報と符号化対象ブロックの位置情報と重み付け情報についての符号量の合計を計算して，この値をその組み合わせの符号量として記録しておく。合計４組の組み合わせについてこの符号量を求めて記録しておく。
そして符号化モード決定部１１７は，最も符号量の少ない場合を，そのブロックの符号化モードに決定する。符号化モード符号化部１１８は，符号化モードを符号化する。そして決定された符号化モードに対応する平均予測画像を使って，再帰的平均予測画像作成部１１５は，予測画像を作成し，予測残差符号化部１０２は，予測画像と原画像との間の予測残差を，フレーム間予測符号化を適用して符号化し，２次元参照画像符号化部１０６は，参照画像を指定する情報を符号化し，参照画素位置符号化部１０９は，参照画素の相対位置情報を符号化し，画像作成位置符号化部１１９は，符号化対象ブロックの位置情報を符号化し，重み付け情報符号化部１１６は，重み付け情報を符号化する。重み付け情報を重み付け情報メモリ１１１に蓄積する。予測残差復号部１０３は，符号化データを復号して画像蓄積メモリ１０４に蓄積する。以上により符号化対象ブロックを符号化することができる。
次に，画像復号装置の動作手順を示す。画像復号装置の構成の一例を，図１１に示す。画像復号装置２は，画像情報と位置情報を蓄積する画像蓄積メモリ２０３と，復号対象ブロックの位置情報を復号する画像作成位置復号部２１７と，復号対象ブロックの位置情報を指定する画像作成位置指定部２１６と，２次元参照画像を選択する２次元参照画像選択部２０５と，２次元参照画像を指定する情報を復号する２次元参照画像復号部２０４と，２次元参照画像情報の中から参照画素を選択する参照画素選択部２０７と，参照画素の位置を指定する情報を復号する参照画素位置復号部２０６と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部２０８と，重み付け情報を蓄積する重み付け情報メモリ２０９と，重み付け情報を予測する重み付け情報予測部２１０と，複数の参照画素から予測画像を作成する平均予測画像作成部２１３と，平均予測画像を蓄積する平均予測画像メモリ２１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部２１５と，重み付け情報を復号する重み付け情報復号部２１１と，復号対象ブロックの符号化モードを復号する符号化モード復号部２１２と，予測残差を復号する予測残差復号部２０１と，復号画像を作成する復号画像作成部２０２とで構成される。
以上の前提のもとで，符号化データが入力された時の復号手順を示す。以下では，ブロック毎に復号処理が進められる。符号化モード復号部２１２は，符号化モードを復号し，平均予測画像作成部２１３で使用する重み付け係数について，重み付け情報予測部２１０で予測される係数を使うのかどうかを求め，再帰的平均予測画像作成部２１５で加算する平均予測画像の数を求める。平均予測画像の数によって予測画像を作成する手順が異なる。
（１）平均予測画像の数が１の場合
２次元参照画像復号部２０４は，２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。
２次元参照画像復号部２０４は，２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。
参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成する。再帰的平均予測画像作成部２１５は，予測画像を作成する。
（２）平均予測画像の数が２の場合
２次元参照画像復号部２０４は，第１の２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。
２次元参照画像復号部２０４は，第１の２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。
参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成して平均予測画像メモリ２１４に蓄積する。
２次元参照画像復号部２０４は，第２の２次元参照画像を指定する情報を復号する。２次元参照画像選択部２０５は，この情報に基づき，２次元参照画像ＥまたはＦを選択する。参照画素位置復号部２０６は，参照画素の相対位置情報を復号する。画像作成位置指定部２１６は，画像を作成する位置情報を指定する。
参照画素選択部２０７は，この位置情報と参照画素の相対位置情報を使って参照画素を選択する。重み付け情報予測部２１０で予測される係数を使う場合には，重み付け情報復号部２１１で重み付け情報を復号しない。そして重み付け情報予測部２１０は，重み付け情報メモリ２０９に蓄積された重み付け情報から予測重み付け情報を算出して重み付け情報として指定する。
重み付け情報予測部２１０で予測される係数を使わない場合には，重み付け情報復号部２１１で重み付け情報を復号し，重み付け情報指定部２０８は，この重み付け情報を指定する。平均予測画像作成部２１３は，平均予測画像を作成する。再帰的平均予測画像作成部２１５は，この平均予測画像と，平均予測画像メモリ２１４に蓄積された平均予測画像から予測画像を作成する。
予測残差復号部２０１は，予測残差符号化データを復号して予測残差を求める。復号画像作成部２０２は，予測残差と予測画像から復号画像を作成して出力し，画像蓄積メモリ２０３に蓄積する。以上により復号対象ブロックを復号することができる。
本実施の形態での光線空間の位置情報は，時間情報も含まれており，同じ撮像装置からの画像情報であっても，異なる時間の画像情報であれば，実施の形態に示す手順で符号化しても良い。
本実施の形態では，画像作成位置指定部１０７での位置情報は，光線空間での位置情報を使用したが，実空間上での撮像装置の位置情報を使っても良い。
２次元画像情報をロスレス符号化する場合には，予測残差復号部１０３は，必要ではなく，画像入力部１０１で得られる画像情報を画像蓄積メモリ１０４に蓄積しておけば良い。また，画像蓄積メモリ１０４には，画像入力部１０１からの画像情報を蓄積するのではなく，予め蓄積しておいても良い。
参照画素選択部１０８では，符号化対象ブロック内の各画素において，符号化対象画素と参照画素との相対位置関係はブロック内で同一にしたが，異なっていても良い。この場合，各画素について参照画素の位置情報を指定しても良いし，ブロックを４等分したサブブロック単位に指定しても良い。同様に，重み付け情報指定部１１０では，重み付け係数をブロック毎に選択したが，各画素やサブブロック単位に指定しても良い。
本実施の形態では，参照画素位置をブロック毎に選択して，その情報を符号化したが，これを実空間上での撮像装置の位置情報を使って計算しても良い。この場合には，予め設定した条件に従って撮像装置の位置情報から計算する。このため，画像符号化装置１には参照画素位置符号化部１０９を備えず，画像復号装置２には参照画素位置復号部２０６を備えない。例えば，符号化対象画素について，撮像装置の位置情報から光線空間上での位置情報を決定し，その光線空間上で既に画像蓄積メモリに蓄積されている画像情報のうち，最も距離の近い画素を参照画素として選択するようにしても良い。なお，撮像装置の位置情報を符号化または復号する構成にしても良く，この場合には，画像符号化装置１で使った撮像装置の位置情報を符号化し，画像復号装置２で復号して得られる位置情報を使って参照画素位置を計算する。
２次元参照画像選択部１０５では，２次元参照画像をブロック毎に選択したが，各画素やサブブロック単位に指定しても良い。また参照画素位置を符号化しているため，図８に従って決定される３つの参照画素位置ではなく，他の参照画素位置を使用しても良い。
本実施の形態では，２次元画像情報を参照画像として選択して，その情報を符号化したが，これを予め設定した条件に従って選択しても良い。この場合には，画像符号化装置１には２次元参照画像符号化部１０６を備えず，画像復号装置２には２次元参照画像復号部２０４を備えない。例えば，実空間上での撮像装置の位置情報を使って計算しても良い。符号化対象画素について，撮像装置の位置情報から光線空間上での位置情報を決定し，その光線空間上で既に画像蓄積メモリに蓄積されている２次元画像情報のうち，最も距離の近い画素を持つ２次元画像情報を選択するようにしても良い。なお，撮像装置の位置情報を符号化または復号する構成にしても良く，この場合には画像符号化装置１で使った撮像装置の位置情報を符号化し，画像復号装置２で復号して得られる撮像装置の位置情報を使って参照画素位置を計算する。
本実施の形態における再帰的平均予測画像作成部１１５では，参照画素と符号化対象画素との距離を式（４）により計算したが，画像蓄積メモリ１０４に蓄積される，全ての２次元画像情報についてスケール値Ｓi が同じ値であるならば，式（４）の代わりに式（５）を用いても良い。
Ｄi ＝Ｃi （５）
本実施の形態によれば，Ｎ次元の光線空間から予測画像を作成できるため，従来の２次元の画像情報から予測画像を作成するフレーム間予測符号化よりも予測効率を向上させることができ，結果的に符号化効率を向上させることができる。また，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
本実施の形態によれば，Ｎ次元の光線空間から予測画像を作成できるため，従来の２次元の画像情報から予測画像を作成するフレーム間予測符号化よりも予測効率を向上させることができ，結果的に符号化効率を向上させることができる。また，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
本実施の形態では，画像蓄積メモリ１０４において，あらかじめ用意したフレーム数を超えて，新たに２次元画像情報を蓄積する場合には，最も過去に蓄積したフレームの２次元画像情報の画像情報と位置情報とを廃棄して，新しい情報を蓄積したが，新しく画像情報を蓄積する際に，どの画像情報を廃棄するのかを指定しても良い。
また，本実施の形態では，画像蓄積メモリ１０４において，２次元画像情報を６フレーム分の画像情報として蓄積したが，この他の方法を用いても良い。例えば，画素毎に画像情報と５次元の位置情報をメモリ上に配置すれば，６種類の情報をメモリ上に連続して蓄積することができる。これを２次元画像情報のすべての画素について，ラスタスキャン順序でメモリ上に蓄積するようにしても良い。
実空間上での撮像装置の位置情報を使って，参照画素位置や２次元参照画像を選択する場合には，画像蓄積メモリには，このような光線位置情報を蓄積しておくのではなく，撮像装置の位置情報のみを蓄積しておいても良い。この場合には，予測画像を生成する際に，撮像装置の位置情報から２次元参照画像の，図６のような光線空間の位置情報を作成する。
本発明の第２の実施の形態は，画像蓄積メモリに蓄積された２次元画像情報から画像情報を生成する画像作成装置に係る実施の形態である。画像作成位置指定部は，符号化対象画像情報の光線空間の位置情報を指定する。光線空間は５次元であり，位置情報（ｘ，ｙ）と視線方向（θ，φ）と時間ｔを軸とする。２次元画像情報は，実空間で水平面の上で撮影された画像情報とする。
画像作成装置の構成の一例を，図１２に示す。画像作成装置３は，画像情報と位置情報を蓄積する画像蓄積メモリ３０３と，画像を生成する位置情報を指定する画像作成位置指定部３１６と，２次元参照画像を選択する２次元参照画像選択部３０５と，２次元参照画像情報の中から参照画素を選択する参照画素選択部３０７と，複数の参照画素から予測画像を作成する際の重み付け係数を指定する重み付け情報指定部３０８と，複数の参照画素から予測画像を作成する平均予測画像作成部３１３と，平均予測画像を蓄積する平均予測画像メモリ３１４と，複数の平均予測画像情報から予測画像を作成する再帰的平均予測画像作成部３１５とで構成される。
参照画素選択部３０７では，生成する画素の位置情報を使って，２次元画像情報の中から参照画素を選択する。重み付け情報指定部３０８では，１組の重み付け係数の組み合わせを用意しておき，それを指定するものとする。再帰的平均予測画像作成部３１５では，生成対象画素と参照画素との間の光線空間上での距離に対応して平均する。計算式は，式（３）を用いる。画像蓄積メモリ３０３には，予め他の２次元画像情報の復号画像と位置情報が蓄積されているものとする。画像蓄積メモリ３０３に蓄積された２次元画像情報は第１の実施の形態と同じく図１０のようになっている。
以上の前提のもとで，画像情報を生成する手順を示す。２次元参照画像選択部３０５は，２次元参照画像Ｅを選択する。画像作成位置指定部３１６は，画像を作成する位置情報を指定する。参照画素選択部３０７は，この位置情報に基づいて参照画素を選択する。重み付け情報指定部３０８は，重み付け情報を指定する。平均予測画像作成部３１３は，平均予測画像を作成して平均予測画像メモリ３１４に蓄積する。
２次元参照画像選択部３０５は，２次元参照画像Ｆを選択する。画像作成位置指定部３１６は，画像を作成する位置情報を指定する。参照画素選択部３０７は，この位置情報に基づいて参照画素を選択する。重み付け情報指定部３０８は，重み付け情報を指定する。平均予測画像作成部３１３は，平均予測画像を作成する。再帰的平均予測画像作成部３１５は，この平均予測画像と，平均予測画像メモリ３１４に蓄積された平均予測画像から画像情報を作成し出力する。以上により画像情報を生成することができる。
本実施の形態では，重み付け情報は１つのみ指定したが，これを複数のうちから選択するようにしても良い。
本実施の形態によれば，２次元画像情報の画素位置にある画像情報から，画像作成位置の画像情報を直接作成することができるため，元々２次元画像情報が有する高周波の情報も使用することができ，品質の良い画像情報を作成することができる。
以上の第１および第２の実施の形態では，平均予測画像作成部で平均予測画像を作成して，さらに再帰的平均予測画像作成部にて，参照画素と符号化対象画素との距離情報を使って予測画像を作成したが，画像生成技術を適用して，参照画素から符号化対象画素の画像情報を作成して，これを予測画像を作成しても良い。
画像生成技術としては，例えば，文献（小林，藤井，木本，谷本：“適応フィルタを用いた光線空間データ補間”，３次元画像コンファレンス'99,pp.25-30(1999.7). ）のように，隣接する参照画素の画像情報から作成する方法や，文献（Mehrdad Panahpour Tehrani, Toshiaki Fujii, Masayuki Tanimoto, "Offset-Block Matching of Multi-view Images for Ray-Space Interpolation", 映像情報メディア学会誌 vol.58, no.4, pp.540-548, 2004. ）のように，光線空間から小領域のルックアップテーブルデータを作成し，適切な小領域を探索して，探索された小領域から画像情報を生成しても良い。また，このルックアップテーブルは，予め画像符号化装置と画像復号装置に備えておいても良い。また，このルックアップテーブルの内容は，ＬＢＧアルゴリズム等の学習アルゴリズムに従って更新しても良い。
また，再帰的平均予測画像作成部では，最大２つの平均予測画像から予測画像を作成したが，より多くの平均予測画像から予測画像を作成しても良い。例えば３フレーム分以上の２次元画像情報から，各フレームで平均予測画像を作成して，それらの平均予測画像を重み付け平均して予測画像を作成しても良い。
また，上記第１および第２の実施の形態では，それぞれ１フレーム分の２次元画像情報を符号化する例および生成する例を示したが，複数フレーム分の２次元画像情報をまとめて符号化しても，または生成しても良い。複数の２次元画像情報をまとめて処理することにより，重み付け情報を共通に使用することができ，重み付け情報の符号量を削減することができる。
また，複数フレーム分をまとめて符号化する場合には，文献（Shih-Ta Hsiang and John W. Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank", Signal Processing: Image Communication, vol.16, pp.705-724,2001. ）にあるように，複数の２次元画像情報をサブバンド符号化により符号化しても良い。
また，第１および第２の実施の形態で使用した過去の重み付け情報を使って，２次元画像情報を生成しても良い。例えば，図３におけるｃ１とｃ３の２次元画像情報からｃ２の２次元画像情報を作成する際に使用された重み付け情報を使って，ｃ１とｃ２の間にある視点位置の２次元画像情報を生成しても良い。
以上の画像符号化，復号および画像生成に関する処理は，ハードウェアやファームウェア等を用いて実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
１ 画像符号化装置
２ 画像復号装置
３ 画像作成装置
１０，１１ 被写体
１０１ 画像入力部
１０２ 予測残差符号化部
１０３，２０１ 予測残差復号部
１０４，２０３，３０３ 画像蓄積メモリ
１０５，２０５，３０５ ２次元参照画像選択部
１０６ ２次元参照画像符号化部
１０７，２１６，３１６ 画像作成位置指定部
１０８，２０７，３０７ 参照画素選択部
１０９ 参照画素位置符号化部
１１０，２０８，３０８ 重み付け情報指定部
１１１，２０９ 重み付け情報メモリ
１１２，２１０ 重み付け情報予測部
１１３，２１３，３１３ 平均予測画像作成部
１１４，２１４，３１４ 平均予測画像メモリ
１１５，２１５，３１５ 再帰的平均予測画像作成部
１１６ 重み付け情報符号化部
１１７ 符号化モード決定部
１１８ 符号化モード符号化部
１１９ 画像作成位置符号化部
２０２ 復号画像作成部
２０４ ２次元参照画像復号部
２０６ 参照画素位置復号部
２１１ 重み付け情報復号部
２１２ 符号化モード復号部
２１７ 画像作成位置復号部
ｃ１，ｃ２，ｃ３ カメラ
２ 画像復号装置
３ 画像作成装置
１０，１１ 被写体
１０１ 画像入力部
１０２ 予測残差符号化部
１０３，２０１ 予測残差復号部
１０４，２０３，３０３ 画像蓄積メモリ
１０５，２０５，３０５ ２次元参照画像選択部
１０６ ２次元参照画像符号化部
１０７，２１６，３１６ 画像作成位置指定部
１０８，２０７，３０７ 参照画素選択部
１０９ 参照画素位置符号化部
１１０，２０８，３０８ 重み付け情報指定部
１１１，２０９ 重み付け情報メモリ
１１２，２１０ 重み付け情報予測部
１１３，２１３，３１３ 平均予測画像作成部
１１４，２１４，３１４ 平均予測画像メモリ
１１５，２１５，３１５ 再帰的平均予測画像作成部
１１６ 重み付け情報符号化部
１１７ 符号化モード決定部
１１８ 符号化モード符号化部
１１９ 画像作成位置符号化部
２０２ 復号画像作成部
２０４ ２次元参照画像復号部
２０６ 参照画素位置復号部
２１１ 重み付け情報復号部
２１２ 符号化モード復号部
２１７ 画像作成位置復号部
ｃ１，ｃ２，ｃ３ カメラ
Claims (20)
- 画像蓄積メモリに格納されたＮ次元光線空間における位置情報を含む２次元画像情報を参照して，Ｎ次元光線空間における指定位置の画像情報を作成する画像作成方法であって，
前記画像蓄積メモリに格納された複数の２次元画像情報から２次元参照画像情報を選択する２次元参照画像選択ステップと，
Ｎ次元光線空間における前記２次元参照画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元参照画像情報のうち，前記指定位置の画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択ステップと，
複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成ステップと，
を複数回実行することにより複数の予測画像を作成し，
更に，作成した複数の予測画像を重み付け平均して予測画像を作成する再帰的平均予測画像作成ステップを実行する
ことを特徴とする画像作成方法。 - 請求項１に記載の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
前記予測画像作成ステップで作成した予測画像を用いてフレーム間予測符号化を行うフレーム間予測符号化ステップと，
を実行することを特徴とする画像符号化方法。 - 請求項２に記載の画像符号化方法であって，
Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置情報の相対位置情報を符号化する参照画素位置符号化ステップを実行することを特徴とする画像符号化方法。 - 請求項１に記載の画像作成方法を使って，複数の２次元画像を符号化する画像符号化方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
前記予測画像作成ステップで作成した予測画像を用いてフレーム間予測符号化を行うフレーム間予測符号化ステップと，
前記予測画像の作成における重み付け平均に用いた重み付け係数情報を符号化する重み付け情報符号化ステップと，
を実行することを特徴とする画像符号化方法。 - 請求項４に記載の画像符号化方法であって，
前記重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする画像符号化方法。 - 請求項１に記載の画像作成方法を使って，複数の２次元画像を復号する画像復号方法であって，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
前記予測画像作成ステップで作成した予測画像を用いてフレーム間予測復号を行うフレーム間予測復号ステップと，
を実行することを特徴とする画像復号方法。 - 請求項６に記載の画像復号方法であって，
Ｎ次元光線空間における画像作成対象位置に対する，前記参照画素選択ステップで選択する参照画素位置の相対位置情報を復号する参照画素位置復号ステップを実行することを特徴とする画像復号方法。 - 請求項１に記載の画像作成方法を使って，複数の２次元画像を復号する画像復号方法であって，
前記画像作成方法による予測画像の作成の重み付け平均に用いる重み付け係数情報を復号する重み付け情報復号ステップと，
前記画像作成方法を使って予測画像を作成する予測画像作成ステップと，
前記予測画像作成ステップで作成した予測画像を用いてフレーム間予測復号を行うフレーム間予測復号ステップと，
を実行することを特徴とする画像復号方法。 - 請求項８に記載の画像復号方法であって，
前記重み付け係数情報を，既に復号された画素位置で選択された重み付け係数情報から予測する重み付け情報予測ステップを実行することを特徴とする画像復号方法。 - ２次元画像情報を使ってＮ次元光線空間における指定位置の画像情報を作成する画像作成装置であって，
Ｎ次元光線空間における位置情報を含む複数の２次元画像情報を格納する画像蓄積メモリと，
前記画像蓄積メモリに格納された複数の２次元画像情報から複数の２次元参照画像情報を選択する２次元参照画像選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，Ｎ次元光線空間における前記２次元参照画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元参照画像情報のうち，前記指定位置の画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成部と，
前記平均予測画像作成部によって作成した複数の予測画像を重み付け平均して予測画像を作成する再帰的平均予測画像作成部と，
を備えることを特徴とする画像作成装置。 - 複数の２次元画像を符号化する画像符号化装置であって，
Ｎ次元光線空間における位置情報を含む複数の２次元画像情報を格納する画像蓄積メモリと，
前記画像蓄積メモリに格納された複数の２次元画像情報から複数の２次元参照画像情報を選択する２次元参照画像選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，Ｎ次元光線空間における前記２次元参照画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元参照画像情報のうち，予測画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成部と，
前記平均予測画像作成部によって作成した複数の予測画像を重み付け平均して更に予測画像を作成する再帰的平均予測画像作成部と，
作成した予測画像と原画像との間の予測残差を符号化する予測残差符号化部と，
を備えることを特徴とする画像符号化装置。 - 請求項１１に記載の画像符号化装置であって，
前記予測画像の作成における重み付け平均に用いた重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測部を備えることを特徴とする画像符号化装置。 - 複数の２次元画像を復号する画像復号装置であって，
既に復号されたＮ次元光線空間における位置情報を含む２次元画像情報を格納する画像蓄積メモリと，
複数の２次元参照画像を指定する情報を復号する２次元参照画像復号部と，
前記２次元参照画像復号部による復号結果から前記画像蓄積メモリに格納された複数の２次元画像情報から複数の２次元参照画像情報を選択する２次元参照画像選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，Ｎ次元光線空間における前記２次元参照画像情報の画素位置が光線空間上の整数画素位置になるように光線空間を構成する座標軸を設定し，前記２次元参照画像情報のうち，予測画像作成対象位置近傍に位置する画像情報を参照画素として選択する参照画素選択部と，
前記選択された複数の２次元参照画像情報のそれぞれに対して，複数の参照画素位置の画像情報を重み付け平均して予測画像を作成する平均予測画像作成部と，
前記平均予測画像作成部によって作成した複数の予測画像を重み付け平均して更に予測画像を作成する再帰的平均予測画像作成部と，
予測残差を復号する予測残差復号部と，
作成した予測画像と予測残差とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。 - 請求項１３に記載の画像復号装置であって，
前記予測画像の作成における重み付け平均に用いた重み付け係数情報を，既に符号化された画素位置で選択された重み付け係数情報から予測する重み付け情報予測部を備えることを特徴とする画像復号装置。 - 請求項１に記載の画像作成方法を，コンピュータに実行させるための画像作成プログラム。
- 請求項２，請求項３，請求項４または請求項５に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
- 請求項６，請求項７，請求項８または請求項９に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
- 請求項１に記載の画像作成方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像作成プログラム記録媒体。
- 請求項２，請求項３，請求項４または請求項５に記載の画像符号化方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像符号化プログラム記録媒体。
- 請求項６，請求項７，請求項８または請求項９に記載の画像復号方法を，コンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録したことを特徴とする画像復号プログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004118648A JP4332061B2 (ja) | 2004-04-14 | 2004-04-14 | 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004118648A JP4332061B2 (ja) | 2004-04-14 | 2004-04-14 | 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005301781A JP2005301781A (ja) | 2005-10-27 |
| JP4332061B2 true JP4332061B2 (ja) | 2009-09-16 |
Family
ID=35333219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004118648A Expired - Fee Related JP4332061B2 (ja) | 2004-04-14 | 2004-04-14 | 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4332061B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4808067B2 (ja) * | 2006-04-24 | 2011-11-02 | 富士通株式会社 | 画像圧縮装置、画像圧縮プログラム、画像圧縮方法 |
| WO2013001813A1 (ja) * | 2011-06-29 | 2013-01-03 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
-
2004
- 2004-04-14 JP JP2004118648A patent/JP4332061B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005301781A (ja) | 2005-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10798416B2 (en) | Apparatus and method for motion estimation of three dimension video | |
| JP4999860B2 (ja) | 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| JP5234586B2 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| EP3465622A1 (en) | Motion-compensated compression of dynamic voxelized point clouds | |
| JP6232076B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
| JP5947977B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
| JP5883153B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
| JP5833757B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
| JP6027143B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム | |
| JP6154643B2 (ja) | 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム | |
| JP5926451B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム | |
| JP6232075B2 (ja) | 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム | |
| CN105612748B (zh) | 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序 | |
| JP4332061B2 (ja) | 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体 | |
| JP5706291B2 (ja) | 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム | |
| JP5759357B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
| Santos et al. | Disparity compensation of light fields for improved efficiency in 4D transform-based encoders | |
| CN106464899A (zh) | 活动图像编码装置及方法和活动图像解码装置及方法 | |
| Leong et al. | Exploiting Orientational Redundancy in Multiview Video Compression | |
| JP2014099716A (ja) | 画像符号化装置及びその制御方法 | |
| JP2013098740A (ja) | 画像処理装置及びその制御方法 | |
| Lee et al. | Compression scheme by use of motion-compensated residual image transformed from elemental image array in three-dimensional integral imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4332061 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |