JPWO2007013194A1 - 画像情報圧縮方法及び自由視点テレビシステム - Google Patents

Abstract

複数台のカメラによって取得された画像情報の符号化において圧縮効率を向上させることができる画像情報圧縮方法及びこの方法を適用したＦＴＶシステムであって、画像情報圧縮方法は、奇数番目のカメラ＃１，＃３によって取得された動画像のフレームＦＲ（＃１，ｎ−１）〜ＦＲ（＃１，ｎ＋１），ＦＲ（＃３，ｎ−１）〜ＦＲ（＃３，ｎ＋１）を符号化処理するステップと、偶数番目のカメラ＃２によって取得された動画像のフレームに対応する視点補間画像ＦＲｉｎｔ（＃２，ｎ）を生成するステップと、カメラ＃２によって取得された画像の符号化処理に際し、異なる時刻のフレームＦＲ（＃２，ｎ−１），ＦＲ（＃２，ｎ＋１）を参照して符号化処理する場合と、視点補間画像ＦＲｉｎｔ（＃２，ｎ）を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップとを有する。

Description

本発明は、複数台のカメラによって取得された画像情報の符号化において符号化圧縮効率を向上させることができる画像情報圧縮方法及びこの方法を適用した自由視点テレビシステムに関するものである。

本出願の発明者は、見る者があたかもその場にいるかのように、自由に視点を変えて３次元シーンを見ることのできる自由視点テレビ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ＴＶ：ＦＴＶ）を提案しており（例えば、非特許文献１〜４参照）、さらに、１５台のカメラで取得した実写画像をもとにして水平面内で自由に視点を移動させてシーンを見ることができるＦＴＶの実験装置を完成させている（例えば、非特許文献１参照）。

谷本正幸、「自由視点テレビ」、日本工業出版、画像ラボ、２００５年２月号、２３〜２８頁 岡慎也、ナ バンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレビのための光線空間情報圧縮」、信学技報、ＣＳ２００３−１４１、７〜１２頁、２００３年１２月 谷本正幸、「５．自由視点テレビＦＴＶ、〜多視点画像処理を使って〜」、映像メディア情報学会誌、Ｖｏｌ．５８、Ｎｏ．７、ｐｐ．８９８−９０１、２００４年 岡慎也、ナ バンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレビのための動的光線空間の情報圧縮」、３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、１３９〜１４２頁、２００４年

なお、非特許文献２の９頁左欄には、「光線空間は時間軸にも空間軸にも画像同士が非常に類似しているため、動き（視差）予測を両軸に適応することによって高い圧縮率を得ることが可能であると考えられる。」との記載がある。また、非特許文献３の８９９頁左欄には「光線空間を補間すること」の記載があり、９００頁左欄には「補間は光線空間全体にではなく必要な部分のみに行えばよい。」との記載がある。また、非特許文献４の１４０頁左欄には「動的光線空間は時間、空間領域に大きな相関を持っていることが予想できる。」との記載があり、１４０頁右欄から１４１頁左欄には参照画像の例が示されている。

図１は、ＦＴＶシステムの基本的な構成を概念的に示す図である。図１に示されるＦＴＶシステムは、カメラによる撮影（ステップＳＴ１）、画像の補間処理（ステップＳＴ２又はＳＴ２ａ）、画像情報の圧縮処理（ステップＳＴ３）、及び入力された視点から見た画像の表示（ステップＳＴ４及びＳＴ５）を行う。ＦＴＶシステムでは、３次元実空間に存在する被写体１０１の画像情報を複数台のカメラ（図１には、符号１０２_１〜１０２_５の５台を示すが、実際にはより多くのカメラが用いられる。）によって取得し（ステップＳＴ１）、複数台のカメラによって取得した画像（図１には、符号１０３_１〜１０３_５の５つ画像を示すが、実際にはより多くの画像が用いられる。）を光線空間１０３に互いに配列し、ＦＴＶ信号とする。なお、図１において、ｘは、水平視野方向、ｙは、垂直視野方向、ｕ（＝ｔａｎθ）は、視域方向を示す。複数台のカメラ１０２の配置の仕方には、図２（ａ）に示されるように、直線上に互いに平行な方向を向けて並ぶ直線配置、図２（ｂ）に示されるように、円周上に円周の内側を向けて並ぶ円周配置（又は円弧配置）、図２（ｃ）に示されるように、平面上に互いに平行な方向を向けて並ぶ平面配置、図２（ｄ）に示されるように、球面上に球面の内側を向けて並ぶ球面配置（又は半球面配置）、図２（ｅ）に示されるように、円筒上に円筒の内側を向けて並ぶ円筒配置等がある。複数台のカメラ１０２の配置は、水平方向の自由視点のみを実現する場合には、図２（ａ）に示される直線配置又は図２（ｂ）に示される円周配置とし、水平方向と垂直方向の両方の自由視点を実現する場合には、図２（ｃ）に示される平面配置、図２（ｄ）に示される円筒配置、又は図２（ｅ）に示される球面配置とする。

また、光線空間法では、３次元実空間の１本の光線を、それを表すパラメータを座標とする多次元空間の１点で表す。この仮想的な多次元空間を光線空間という。光線空間全体は、３次元空間のすべての光線を過不足なく表現する。光線空間は、多くの視点から撮影された画像を集めることによって作られる。光線空間の点の値は、画像の画素値と同じであるから、画像から光線空間への変換は、単なる座標変換である。図３（ａ）に示されるように、実空間中の基準面１０６を通過する光線１０７は通過位置（ｘ，ｙ）と通過方向（θ，φ）の４つのパラメータによって一意に表現することができる。図３（ａ）において、Ｘは、３次元実空間における水平方向の座標軸であり、Ｙは、垂直方向の座標軸であり、Ｚは、奥行き方向の座標軸である。また、θは、基準面１０６の法線に対する水平方向の角度、すなわち、基準面１０６に対する水平方向の出射角であり、φは、基準面１０６の法線に対する垂直方向の角度、すなわち、基準面１０６に対する垂直方向の出射角である。これにより、この３次元実空間内の光線情報を輝度ｆ（ｘ，ｙ，θ，φ）と表すことができる。ここでは、説明を分かりやすくするために、垂直方向の視差（角度φ）を無視する。図３（ａ）に示されるように、基準面１０６に向けて、且つ、水平に配置された多数のカメラで撮影された画像は、図３（ｂ）に示されるように、ｘ，ｙ，ｕ（＝ｔａｎθ）の軸を持つ３次元空間において、点線で描かれる断面１０３_１〜１０３_５に位置していることになる。図３（ｂ）に示される光線空間１０３から任意の面を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成することが可能となる。例えば、図４（ａ）に示される光線空間１０３から断面１０３ａを切り出すと、図４（ｂ）に示されるような画像がディスプレイ１０５に表示され、図４（ａ）に示される光線空間１０３から断面１０３ｂを切り出すと、図４（ｃ）に示されるような画像がディスプレイ１０５に表示される。

また、光線空間１０３に配列された画像（断面１０３_１〜１０３_５）の間にはデータがないため、これを補間によって作る（図１のステップＳＴ２又はＳＴ２ａ）。なお、補間は、光線空間の全体についてではなく、必要な部分についてのみ行えばよい。また、補間を行う場所は、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍｅｎｄ）のような用途では画像情報の送信側（ステップＳＴ２）となり、放送のような用途では画像情報の受信側（ステップＳＴ２ａ）となる。

画像情報の圧縮（図１のステップＳＴ３）は、ＦＴＶシステムの各構成が同じ場所にある場合には、必須の処理ではないが、カメラとユーザーとが別の場所に存在し、インターネット等を利用して画像情報を配信する場合には必須の処理となる。従来の画像情報圧縮方法としては、例えば、Ｈ．２６４／ＡＶＣ規格に準拠したものがある（例えば、特許文献１参照）。
特開２００３−３４８５９５号公報（図１及び図２）

しかしながら、ＦＴＶシステムにおいて配信される画像情報は、従来のＴＶシステムにおける画像情報に比べて、カメラの台数分だけ情報量が多くなる。このため、従来の画像情報圧縮方法を用いるのみでは、圧縮効率が不十分であり、画像情報の伝送を伴うＦＴＶシステムを実用化するためには、さらに効率的な圧縮を行うことができる画像情報圧縮方法が必要不可欠である。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、複数台のカメラによって取得された画像情報の符号化において符号化圧縮効率を向上させることができる画像情報圧縮方法及びこの方法を適用したＦＴＶシステムを提供することである。

本発明の画像情報圧縮方法は、
３台以上のカメラの中から選択された２台以上のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理するステップと、
前記選択されたカメラによって取得された画像情報に基づいて、前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームに対応する第１の視点補間画像を生成するステップと、
前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理するステップとを有し、
前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理する前記ステップが、前記選択されたカメラ以外のカメラによって取得された画像情報であって符号化対象のフレームと異なる時刻のフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記第１の視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
ことを特徴とするものである。

また、本発明の他の画像情報圧縮方法は、
複数台のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化によって符号化処理するステップと、
前記複数台のカメラによって取得された動画像のフレームであって、前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記時間的相関を利用したフレーム間予測符号化と同じアルゴリズムによる同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理するステップとを有する
ことを特徴とするものである。

さらに、本発明のＦＴＶシステムは、
上記画像情報圧縮方法を実行する画像情報符号化装置と、
前記画像情報符号化装置に映像信号を供給する複数台のカメラと、
前記画像情報符号化装置から出力された符号化情報を復号する画像情報復号装置と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数台のカメラによって撮影された同時刻の画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
を有することを特徴とするものである。

本発明の画像情報圧縮方法及びＦＴＶシステムによれば、複数台のカメラによって取得された動画像のフレームを、同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理するので、符号化圧縮効率を向上させることができるという効果を得ることができる。

また、本発明の他の画像情報圧縮方法及びＦＴＶシステムによれば、選択された２台以上のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理し、選択されたカメラ以外のカメラによって取得された動画像のフレームに対応する第１の視点補間画像を生成し、選択されたカメラ以外のカメラによって取得された画像情報であって符号化対象のフレームと異なる時刻のフレームの画像情報を参照して符号化処理する場合と、第１の視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するので、出力される画像情報の符号化圧縮効率を向上させることができるという効果を得ることができる。

ＦＴＶシステムの基本的な構成を概念的に示す図である。 （ａ）〜（ｅ）は複数台のカメラの配置例を示す図であり、（ａ）は直線配置、（ｂ）は円周配置、（ｃ）は平面配置、（ｄ）は円筒配置、（ｅ）は球面配置を示す。 （ａ）は実空間上における物体、直線配置されたカメラ、基準面、及び光線を示す図であり、（ｂ）は光線空間を示す図である。 （ａ）は光線空間を示す図であり、（ｂ）は光線空間から切り出された画像を示す図であり、（ｃ）は光線空間から切り出された他の画像を示す図である。 本発明の画像情報圧縮方法を実施することができる画像情報符号化装置の構成を概略的に示すブロック図である。 複数台のカメラによって撮影された動画像のフレームが時間軸方向に並び、且つ、同時刻のフレームがカメラの配列順に並ぶことを概念的に示す図である。 図５に示される画像情報符号化装置の動作を示すフローチャートである。 図７に示される補間画像生成・補償ステップの動作の一例を示すフローチャートである。 図７に示される選択ステップの動作の一例を示すフローチャートである。 本発明の画像情報圧縮方法によって符号化された画像情報を復号することができる画像情報復号装置の構成を概略的に示すブロック図である。 図１０に示される画像情報復号装置の動作を示すフローチャートである。 図１０に示される補間画像生成・補償ステップの動作の一例を示すフローチャートである。 本発明の第１の実施形態の画像情報圧縮方法の説明図（その１）である。 本発明の第１の実施形態の画像情報圧縮方法の説明図（その２）である。 本発明の第２の実施形態の画像情報圧縮方法の説明図（その１）である。 本発明の第２の実施形態の画像情報圧縮方法の説明図（その２）である。 本発明の第２の実施形態の画像情報圧縮方法の説明図（その３）である。 本発明の第２の実施形態の画像情報圧縮方法の説明図（その４）である。 本発明の第３の実施形態の画像情報圧縮方法の説明図である。 本発明の第４の実施形態の画像情報圧縮方法の説明図である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その１）である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その２）である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その３）である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その４）である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その５）である。 本発明の第５の実施形態の画像情報圧縮方法の説明図（その６）である。 本発明の第６の実施形態の画像情報圧縮方法において光線空間の水平断面の一例を示す図である。 本発明の第６の実施形態の画像情報圧縮方法における動きベクトルの予測方法の説明図である。 本発明の第６の実施形態の比較例としてのＨ．２６４／ＡＶＣにおける動きベクトルの予測方法の説明図である。 （ａ）及び（ｂ）は、実空間上の点と光線空間の水平断面における直線の関係を示す説明図である。ＦＴＶシステムの基本的な構成を概念的に示す図である。 本発明の第７の実施形態のＦＴＶシステムの基本的な構成を概念的に示す図である。

符号の説明

１０１ 被写体（物体）
１０２，１０２_１〜１０２_５ カメラ
１０３ 光線空間
１０３_１〜１０３_５ 実写画像
１０３ａ，１０３ｂ 光線空間の垂直断面
１０４ ユーザーインターフェース
１０５ ディスプレイ
１０６ 基準面
１０７ 光線
２００ 画像情報符号化装置
２０１_１〜２０１_Ｎ 入力端子
２０２_１〜２０２_Ｎ Ａ／Ｄ変換部
２０３ 画面並べ替えバッファ
２０４ 加算器
２０５ 直交変換部
２０６ 量子化部
２０７ 可変符号化部
２０８ 蓄積バッファ
２０９ 出力端子
２１０ レート制御部
２１１ 逆量子化部
２１２ 逆直交変換部
２１３ マルチカメラフレームメモリ
２１４ 符号化処理部
２１５ 動き予測・補償部
２１６ 補間画像生成・補償部
２１７ 選択部
２５０ ＦＴＶシステムの送信側の装置
３００ 画像情報復号装置
３０１ 入力端子
３０２ 蓄積バッファ
３０３ 可変復号部
３０４ 逆量子化部
３０５ 逆直交変換部
３０６ 加算器
３０７ 画面並べ替えバッファ
３０８_１〜３０８_Ｎ Ｄ／Ａ変換部
３０９_１〜３０９_Ｎ 出力端子
３１０ マルチカメラフレームメモリ
３１１ 復号処理部
３１２ 動き予測・補償部
３１３ 補間画像生成・補償部
３１４ 選択部
３５０ ＦＴＶシステムの受信側の装置
３５１ 画像情報抽出部
＃１，＃２，＃３，…，＃ｎ，＃ｎ＋１，… カメラ番号
ＦＲ フレーム（画像）
ＦＲ（＃１，ｎ−１） カメラ＃１によって取得されたｔ＝ｎ−１時のフレーム
ＦＲ（＃１，ｎ） カメラ＃１によって取得されたｔ＝ｎ時のフレーム
ＦＲ（＃１，ｎ＋１） カメラ＃１によって取得されたｔ＝ｎ＋１時のフレーム
ＦＲ（＃２，ｎ−１） カメラ＃２によって取得されたｔ＝ｎ−１時のフレーム
ＦＲ（＃２，ｎ） カメラ＃２によって取得されたｔ＝ｎ時のフレーム
ＦＲ（＃２，ｎ＋１） カメラ＃２によって取得されたｔ＝ｎ＋１時のフレーム
ＦＲ（＃３，ｎ−１） カメラ＃３によって取得されたｔ＝ｎ−１時のフレーム
ＦＲ（＃３，ｎ） カメラ＃３によって取得されたｔ＝ｎ時のフレーム
ＦＲ（＃３，ｎ＋１） カメラ＃３によって取得されたｔ＝ｎ＋１時のフレーム
ＦＲ_ｉｎｔ（＃２，ｎ） フレームＦＲ（＃２，ｎ）に対応する視点補間画像
ＦＲ_ｉｎｔ１（＃２，ｎ） フレームＦＲ（＃２，ｎ）に対応する視点補間画像
ＦＲ_ｉｎｔ２（＃２，ｎ） フレームＦＲ（＃２，ｎ）に対応する視点補間画像
ｔ 時間軸
Ｓ 空間軸
ＧＯＰ グループ・オブ・ピクチャ（所定数のフレームからなる時間軸ｔ方向の画像グループ）
Ｇ_Ｓ 複数の同時刻のフレームからなる空間軸Ｓ方向の画像グループ
Ｉ フレーム内符号化フレーム（Ｉピクチャ）
Ｐ フレーム間予測符号化フレーム（Ｐピクチャ）
Ｂ フレーム間双方向予測符号化フレーム（Ｂピクチャ）

＜本発明の画像情報圧縮方法を実施する装置の説明＞
図５は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置２００の構成を概略的に示すブロック図である。

図５に示されるように、画像情報符号化装置２００は、Ｎ個（Ｎは２以上の整数）の入力端子２０１_１〜２０１_Ｎと、Ｎ個のＡ／Ｄ変換部２０２_１〜２０２_Ｎと、画面並べ替えバッファ２０３と、加算器２０４と、直交変換部２０５と、量子化部２０６と、可変符号化部２０７と、蓄積バッファ２０８と、出力端子２０９と、レート制御部２１０とを備えている。また、画像情報符号化装置２００は、逆量子化部２１１と、逆直交変換部２１２と、マルチカメラフレーム２１３と、動き予測・補償部２１５と、補間画像生成・補償部２１６と、動き予測・補償部２１５及び補間画像生成・補償部２１６の出力信号のいずれかを選択的に出力する選択部２１７とを備えている。動き予測・補償部２１５、補間画像生成・補償部２１６、及び選択部２１７は、本発明の画像情報圧縮方法を実施する符号化処理部２１４を構成している。図５に示される画像情報符号化装置２００は、複数台のカメラからの画像情報を受信できる点、及び、本発明の画像情報圧縮方法を実施できる符号化処理部２１４を備えている点が、上記特許文献１に開示されている従来の画像情報符号化装置と相違する。

画像情報符号化装置２００の入力端子２０１_１〜２０１_Ｎのそれぞれには、配置位置及び撮影方向が既知であるＮ台のカメラによって取得されたアナログ映像信号が入力される。Ｎ台のカメラは、通常は解像度等の性能が同一のものであり、例えば、図２（ａ）〜（ｅ）に示されるように規則的に配置されている。ただし、実際のＦＴＶシステムにおいては、通常、カメラの台数は、数十台、百数十台、又はそれ以上の台数になる。また、カメラの配置は、図２（ａ）〜（ｅ）に示されるものに限定されない。入力端子２０１_１〜２０１_Ｎに入力されたアナログ映像信号はそれぞれ、Ａ／Ｄ変換部２０２_１〜２０２_Ｎでデジタル映像信号に変換され、画面並べ替えバッファ２０３に保持される。なお、変形例として、入力端子２０１_１〜２０１_Ｎにデジタル映像信号が入力される場合は、Ａ／Ｄ変換部２０２_１〜２０２_Ｎは不要である。

図６は、複数台のカメラ＃１〜＃５によって撮影された動画像のフレーム（「画像（ピクチャ）」とも言う。）ＦＲが時間軸ｔ方向に並び、且つ、カメラ＃１〜＃５によって取得された同時刻のフレームがカメラの配列順に空間軸Ｓ方向に並ぶことを概念的に示す図である。図６に示されるように、各カメラ＃１〜＃５によって撮影された動画像のフレームＦＲは、時間軸ｔ方向に時系列的に並んで所定数のフレームからなる画像グループであるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）を構成する。また、図６に示されるように、各カメラ＃１〜＃５によって撮影された動画像の同時刻に撮影されたフレーム、すなわち、同時刻のフレームは、カメラの配列順である空間軸Ｓ方向（図６においては水平方向）に並ぶ所定数の同時刻のフレームの画像グループＧ_Ｓを構成する。

画像情報符号化装置２００の画面並べ替えバッファ２０３は、Ａ／Ｄ変換部２０２_１〜２０２_Ｎから供給された画像情報のＧＯＰ構造に応じて、フレームの並べ替えを行う。画面並べ替えバッファ２０３は、フレーム内符号化（イントラ符号化）が行われる画像に対しては、フレーム全体の画像情報を直交変換部２０５に供給する。直交変換部２０５は、画像情報に対して離散コサイン変換等の直交変換を施し、変換係数を量子化部２０６に供給する。量子化部２０６は、直交変換部２０５から供給された変換係数に対して量子化処理を施す。

可変符号化部２０７は、量子化部２０６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可変符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可変符号化部２０７は、符号化された符号化モードを蓄積バッファ２０８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子２０９から出力される。また、可変符号化部２０７は、量子化された変換係数に対して可変長符号化又は算術符号化等の可変符号化を施し、符号化された変換係数を蓄積バッファ２０８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子２０９より出力される。

量子化部２０６の挙動は、蓄積バッファ２０８に蓄積された変換係数のデータ量に基づいて、レート制御部２１０によって制御される。また、量子化部２０６は、量子化後の変換係数を逆量子化部２１１に供給し、逆量子化部２１１は、その量子化後の変換係数を逆量子化する。逆直交変換部２１２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をマルチカメラフレームメモリ２１３に供給して蓄積させる。

また、画面並べ替えバッファ２０３は、フレーム間予測符号化（インター符号化）が行われる画像に関しては、画像情報を符号化処理部２１４に供給する。符号化処理部２１４は、後述する本発明の第１〜第６の実施形態の画像情報圧縮方法を用いて画像情報に符号化処理を施す。符号化処理部２１４は、生成した参照画像情報を加算器２０４に供給し、加算器２０４は、参照画像情報を対応する画像情報との差分信号に変換する。また、符号化処理部２１４は、同時に動きベクトル情報を可変符号化部２０７に供給する。

可変符号化部２０７は、量子化部２０６からの量子化された変換係数及び量子化スケール、並びに符号化処理部２１４から供給された動きベクトル情報等に基づいて符号化モードを決定し、その決定した符号化モードに対して可変長符号化又は算術符号化等の可変符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可変符号化部２０７は、符号化された符号化モードを蓄積バッファ２０８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。

また、可変符号化部２０７は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可変符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。また、イントラ符号化と異なり、インター符号化の場合、直交変換部２０５に入力される画像情報は、加算器２０４より得られた差分信号である。なお、その他の処理については、イントラ符号化による画像圧縮の場合と同様である。

図７は、図５に示される画像情報符号化装置２００の符号化処理を示すフローチャートである。図７に示されるように、画像情報符号化装置２００は、Ａ／Ｄ変換部２０２_１〜２０２_Ｎによって、入力されたアナログ映像信号のＡ／Ｄ変換を行い（ステップＳＴ１１）、画面並べ替えバッファ２０３によって画面の並べ替えを行い（ステップＳＴ１２）、その後、動き予測・補償部２１５による動き予測・補償（ステップＳＴ２１）、補間画像生成・補償部２１６による補間画像の生成・補償（ステップＳＴ２２）、選択部２１７による補間画像を参照する符号化又は動き予測・補償による符号化のいずれを選択するかの決定（ステップＳＴ２３）を行う。ただし、従来の画像情報の圧縮符号化処理（例えば、Ｈ．２６４／ＡＶＣ規格に準拠した処理）を行う場合、後述する第１の実施形態の場合には、補間画像生成・補償部２１６による補間画像の生成・補償を行う必要はない。

その後、直交変換部２０５によって生成された画像情報を直交変換し（ステップＳＴ２３）、量子化部２０６及びレート制御部２１０によって量子化及び量子化レート制御を行い（ステップＳＴ２５，２６）、可変符号化部２０７により可変符号化を行い（ステップＳＴ２７）、逆量子化部２１１により逆量子化を行い（ステップＳＴ２８）、逆直交変換部２１２により逆直交変換（ステップＳＴ２９）を行う。ステップＳＴ２１〜ＳＴ２９の処理を、フレーム内の所定画素数からなるブロックのすべてに対して行い、ステップＳＴ１１及びＳＴ１２と全ブロックについてのステップＳＴ２１〜ＳＴ２９の処理を、全フレームに対して行う。

図８は、図７に示される補間画像生成・補償ステップＳＴ２２の動作の一例を示すフローチャートである。補間画像生成・補償に際しては、ブロック内の各画素で奥行き推定をして補間画素（例えば、画素値０〜２５５）を生成し、生成された補間画素の画素値に基づく評価値Ｅを算出し、ブロックの奥行き範囲における評価値Ｅの最小値Ｅ_ｍｉｎを求める（ステップＳＴ２２１〜ＳＴ２２３）。ここで、生成された補間画素の画素値をＩ_ｉｎｔ（ｉ，ｊ）、奥行きをＤ_ｉｎｔ（ｉ，ｊ）と定義し、（ｉ，ｊ）は画像上の位置を示し、符号化される画像の画素値をＩ_ｅｎ（ｉ，ｊ）と定義したときに、評価値Ｅは、例えば、
ａｂｓ（Ｉ_ｉｎｔ（ｉ，ｊ）−Ｉ_ｅｎ（ｉ，ｊ））
とすることができる。ここで、ａｂｓ（・）は、括弧内の絶対値を示す。ただし、評価値Ｅの定義は、
ａｂｓ（Ｉ_ｉｎｔ（ｉ，ｊ）−Ｉ_ｅｎ（ｉ，ｊ））
−ａｂｓ（Ｄ_ｉｎｔ（ｉ，ｊ）−Ｄ_ｉｎｔ（ｉ−１，ｊ））
としてもよい。なお、本発明において、評価値Ｅは、上記定義に限定されず、他の定義を採用することもできる。

次に、最小値Ｅ_ｍｉｎとなる奥行きを用いて補間画素を生成する（ステップＳＴ２２４）。ステップＳＴ２２１〜ＳＴ２２４の処理を、ブロック内画素の全体に対して行い、補間画素によって生成された推定ブロックが実際のブロックとどの程度似ているかを示す指標である評価値Ｊ_ｉｎｔを算出する（ステップＳＴ２２５）。ここで、評価値Ｊ_ｉは、ブロック内の推定画素の集合Ｓ_ｅｓｔをＩ_ｉｎｔ（ｉ，ｊ）、ａ＜ｉ＜ｂ、ｃ＜ｊ＜ｄとし、符号化する画像の画素の集合Ｔ_ｅｎをＩ_ｅｎ（ｉ，ｊ）、ａ＜ｉ＜ｂ、ｃ＜ｊ＜ｄとすると、評価値Ｊ_ｉｎｔは、例えば、
Σ｛ａｂｓ（Ｉ_ｉｎｔ（ｉ，ｊ）−Ｉ_ｅｎ（ｉ，ｊ））｝、ａ＜ｉ＜ｂ、ｃ＜ｊ＜ｄ
と定義できる。または、評価値Ｊ_ｉｎｔは、例えば、
Σ｛ａｂｓ（Ｉ_ｉｎｔ（ｉ，ｊ）−Ｉ_ｅｎ（ｉ，ｊ））＊ａｂｓ（Ｉ_ｉｎｔ（ｉ，ｊ）−Ｉ_ｅｎ（ｉ，ｊ））｝、ａ＜ｉ＜ｂ、ｃ＜ｊ＜ｄ
と定義することができる。ここで、ａ、ｂ、ｃ、ｄは、ブロックの範囲を示す値である。なお、以上に説明した補間方法は、一例に過ぎず、本発明における補間方法としては、何を用いてもよく、装置の製造者又は使用者が、既知のフレーム補間方法の中から自由に選択できるように構成してもよい。

図９は、図７に示される補間画像又は動き予測補償のいずれかの選択ステップの動作の一例を示すフローチャートである。図９に示されるように、補間画像又は動き予測補償のいずれかの選択ステップにおいては、評価値Ｊ_ｉｎｔを算出するが、評価値Ｊ_ｉｎｔが動き予測補償を採用した場合の評価値Ｊ_ｍｏｔより大きい場合には、動き予測補償を採用し、評価値Ｊ_ｉｎｔが動き予測補償を採用した場合の評価値Ｊ_ｍｏｔ以下の場合には、補間画像を選択する（ステップＳＴ２３１〜ＳＴ２３３）。ただし、従来の画像情報の圧縮符号化処理（例えば、Ｈ．２６４／ＡＶＣ規格に準拠した処理）を行う場合、又は、後述する第１の実施形態の画像情報圧縮方法を行う場合には、動き予測補償により符号化された画像情報を選択する。

図１０は、画像情報符号化装置２００に対応する画像情報復号装置３００の構成を概略的に示すブロック図である。

図１０に示されるように、画像情報復号装置３００は、入力端子３０１と、蓄積バッファ３０２と、可変復号部２０３と、逆量子化部３０４と、逆直交変換部３０５と、加算器３０６と、画面並べ替えバッファ３０７と、Ｎ個のＤ／Ａ変換部３０８_１〜３０８_Ｎと、Ｎ個の出力端子３０９_１〜３０９_Ｎとを備えている。また、画像情報復号装置３００は、マルチカメラフレームメモリ３１０と、動き予測・補償部３１２と、補間画像生成・補償部３１３と、動き予測・補償部３１２及び補間画像生成・補償部３１３の出力の内のいずれかを選択的に出力する選択部３１４とを備えている。動き予測・補償部３１２、補間画像生成・補償部３１３、及び選択部３１４は、画像情報復号を実施する復号処理部３１１を構成している。図１０に示される画像情報復号装置３００は、本発明の画像情報圧縮方法によって符号化された画像情報を復号できる復号処理部３１１を備えている点、及び、複数のカメラからの画像情報に相当する複数のアナログ映像信号を出力できる点が、上記特許文献１に開示されている画像情報復号装置と相違する。なお、変形例として、Ｎ個の出力端子３０９_１〜３０９_Ｎからデジタル映像信号を出力する場合は、Ｎ個のＤ／Ａ変換部３０８_１〜３０８_Ｎは不要となる。

図１０に示した画像情報復号装置３００において、入力端子３０１から入力された画像圧縮情報は、蓄積バッファ３０２において一時的に格納された後、可変復号部３０３に転送される。可変復号部３０３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部３０４等に供給する。また同様に、可変復号部３０３は、量子化された変換係数を取得し逆量子化部３０４に供給する。さらに、可変復号部３０３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を復号処理部３１１に供給する。

逆量子化部３０４は、可変復号部３０３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部３０５に供給する。逆直交変換部３０５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換等の逆直交変換を施す。ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ３０７に格納され、Ｄ／Ａ変換部３０８_１〜３０８_ＮにおけるＤ／Ａ変換処理の後に、出力端子３０９_１〜３０９_Ｎから出力される。

また、対象となるフレームがインター符号化されたものである場合、復号処理部３１１は、可変復号処理が施された動きベクトル情報とマルチカメラフレームメモリ３１０に格納された画像情報とに基づいて参照画像を生成し、加算器３０６に供給する。加算器３０６は、この参照画像と逆直交変換部３０５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様である。

図１１は、図１０に示される画像情報復号装置３００の符号化処理を示すフローチャートである。図１１に示されるように、画像情報復号装置３００は、入力信号の可変復号（ステップＳＴ３１）、逆量子化（ステップＳＴ３２）、逆直交変換（ステップＳＴ３３）後、画像情報が動き予測補償されたものであれば、動き予測補償を用いて復号し（ステップＳＴ３４，ＳＴ３５）、補間画像を用いて補償したものであれば補間画像を用いた復号をする（ステップＳＴ３６，ＳＴ３７）。ステップＳＴ３１〜ＳＴ３７の処理を、全ブロックについて行い、さらに、ステップＳＴ３１〜ＳＴ３７の処理を全ブロックについて行う処理を、全フレームについて行う。その後、得られた復号データに基づいて、画面の並べ替え（ステップＳＴ４１）、Ｄ／Ａ変換（ステップＳＴ４２）を行う。

図１２は、図１０に示される補間画像生成・補償ステップＳＴ３７の動作の一例を示すフローチャートである。図１２のステップＳＴ３７１〜ＳＴ３７４の処理は、図８のステップＳＴ２２１〜ＳＴ２２４の処理と同様である。補間画像生成・補償に際しては、ブロック内の各画素で奥行き推定をして補間画素（例えば、画素値０〜２５５）を生成し、生成された補間画素の画素値に基づく評価値Ｅを算出し、ブロックの奥行き範囲における評価値Ｅの最小値Ｅ_ｍｉｎを求める（ステップＳＴ３７１〜ＳＴ３７３）。その後、最小値Ｅ_ｍｉｎとなる奥行きを用いて補間画素を生成する（ステップＳＴ３７４）。ステップＳＴ２２１〜ＳＴ２２４の処理を、ブロック内画素の全体に対して行う。

以上は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置２００と、本発明の画像情報圧縮方法によって符号化された画像情報を復号することができる画像情報復号装置３００を例示して説明したが、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置２００及び画像情報復号装置３００は、上記構成のものに限定されず、他の構成の装置にも本発明の画像情報圧縮方法を適用できる。次に、本発明の画像情報圧縮方法の実施形態及び本発明の画像情報圧縮方法を適用したＦＴＶシステムを説明する。

＜第１の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第１の実施形態の画像情報圧縮方法を説明する。第１の実施形態の画像情報圧縮方法は、後述する視点間予測符号化を適用したものであり、例えば、図５に示されるマルチカメラフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５によって実行される。

図１３及び図１４は、本発明の第１の実施形態の画像情報圧縮方法の説明図（その１及び２）である。図１３及び図１４において、ｔは、時間軸を示し、Ｓは、カメラの配列順又はカメラの配列方向の空間軸を示す。また、図１３及び図１４において、＃１〜＃７はカメラの配列順に付されたカメラ番号を示す。ただし、第１の実施形態においては、カメラの台数は、２台以上であれば、図示された台数以外の台数であってもよい。また、カメラの配置は、図２（ａ）〜（ｅ）の中のいずれかの配置、又は、それ以外の配置であってもよい。また、図１３及び図１４において、Ｉは、フレーム内符号化フレーム（Ｉピクチャ）、Ｐは、フレーム間予測符号化フレーム（Ｐピクチャ）、Ｂは、フレーム間双方向予測符号化フレーム（Ｂピクチャ）を示す。図１３及び図１４において、空間軸Ｓ方向に並ぶフレームは、同時刻のフレームである。また、図１３及び図１４において、時間軸ｔ方向に並ぶ所定数のフレームは、所定数のフレームから構成される画像グループであるＧＯＰを構成している。例えば、カメラ＃１については、時間軸ｔ方向に並ぶＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…の所定数のピクチャによってＧＯＰが構成されている。

第１の実施形態の画像情報圧縮方法においては、先ず、図１３に示されるように、複数台のカメラによって取得された動画像の時間軸ｔ方向に並ぶフレームの画像情報を、フレーム内符号化（イントラ符号化）及びフレーム間の時間的相関を利用したフレーム間予測符号化（インター符号化）によって符号化処理する。時間的相関を利用したフレーム間予測符号化は、例えば、Ｈ．２６４／ＡＶＣ規格に準拠した符号化方式である。ただし、時間的相関を利用したフレーム間予測符号化は、上記方式に限定されず、他の符号化方式を採用してもよい。符号化処理の結果、例えば、図１３に示されるような、動画像のフレーム、すなわち、符号化された画像が得られる。時間軸ｔ方向に並ぶ所定数のフレームによって構成されるＧＯＰ内の時間的に最初のフレームの符号化処理は、フレーム内符号化によって行われており、最初のフレームはＩピクチャである。また、同じＧＯＰ内の最初のフレーム以外のフレームの符号化処理は、時間的相関を利用したフレーム間予測符号化によって行われており、符号化された画像は、Ｐピクチャ又はＢピクチャである。

次に、複数台のカメラによって取得された動画像のフレームであって、カメラの配列順に空間軸Ｓ方向に並ぶ同時刻のフレームの画像情報を、時間的相関を利用したフレーム間予測符号化と同じアルゴリズムによる同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する。この同時刻のフレーム間の相関を利用したフレーム間予測符号化は、空間軸Ｓ方向に並ぶ同時刻の所定数のフレームによって構成される画像グループ（図６に示されるＧ_Ｓ）単位で実行される。このように、同時刻のフレーム間の相関を利用したフレーム間予測符号化は、各視点（例えば、隣接する各カメラ位置）で取得したフレーム間の相関を利用したフレーム間予測符号化であることから、「視点間予測符号化」と称する。第１の実施形態においては、同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理されるフレームは、ＧＯＰ内のフレームの最初のフレーム、すなわち、Ｉピクチャである。この視点間予測符号化の処理により、図１４に示されるように、ＧＯＰ内の最初のフレームがカメラの配列方向の空間軸Ｓ方向に、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…ピクチャに符号化される。

以上に説明した視点間予測符号化を、複数台のカメラによって取得された各ＧＯＰの最初のフレームについて、実行する。このように、第１の実施形態の画像情報圧縮方法は、互いの位置関係が既知である複数台のカメラによって同時刻に撮影された画像間には、Ｈ．２６４／ＡＶＣ規格等において用いられている時間的相関に類似した空間的相関が存在することに着目し、特に情報量の大きい、ＧＯＰの最初のフレーム（Ｉピクチャ）に、視点間予測符号化処理を施すことを提案するものである。このように、第１の実施形態の画像情報圧縮方法を用いれば、空間軸Ｓ方向に並ぶ、ＧＯＰ内の最初のフレームに対して、時間軸ｔ方向に並ぶフレームに対するフレーム間予測符号化と同じアルゴリズムに基づくフレーム間予測符号化、すなわち、視点間予測符号化を施すので、符号化圧縮効率を向上させることができる。

また、視点間予測符号化処理は、時間軸ｔ方向に並ぶフレームに対するフレーム間予測符号化と同じアルゴリズムに基づく処理であるので、視点間予測符号化処理には既存の動き予測・補償部２１５を転用することも可能である。このため、第１の実施形態の画像情報圧縮方法を実施するために、大幅な構成（回路又はソフトウエア）の追加は必要なく、１の実施形態の画像情報圧縮方法はコスト面でも有利である。

＜第２の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第２の実施形態の画像情報圧縮方法を説明する。第２の実施形態の画像情報圧縮方法は、後述する視点補間を利用するものであり、図５に示されるマルチフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５、補間画像生成・補償部２１６、及び選択部２１７によって実行される。

図１５から図１８までは、本発明の第２の実施形態の画像情報圧縮方法の説明図（その１〜４）である。図１５から図１８までにおいて、ｔは、時間軸を示し、Ｓは、カメラの配列順又はカメラの配列方向の空間軸である。また、図には、カメラ＃１〜＃５によって取得されたフレームのみを示すが、カメラの台数はフレーム補間を行うことが可能な台数、すなわち、３台（符号化対象のフレームを撮影するカメラが１台と、符号化対象のフレームに対応する補間画像を生成するために参照するフレームを撮影するカメラが２台の、合計３台）以上であれば、何台であってもよい。また、図において、Ｉ、Ｐ、Ｂはそれぞれ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャである。また、図１５から図１７までにおいて、空間軸Ｓ方向に並ぶフレームは同時刻のフレームである。

第２の実施形態の画像情報圧縮方法においては、先ず、図１５に示されるように、奇数番目のカメラ＃１，＃３，＃５，…を選択し、選択されたカメラ＃１，＃３，＃５，…によって取得された動画像の時間軸ｔ方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理する。

次に、図１６に示されるように、選択された奇数番目のカメラ＃１，＃３，＃５，…によって取得された画像情報に基づいて、選択されたカメラ以外のカメラである偶数番目のカメラ＃２，＃４，…によって取得された動画像の時間軸ｔ方向に並ぶフレームに対応する補間画像を生成する。すなわち、隣接するカメラの撮影画像に基づくフレーム補間を実行する。このように、隣接するカメラによって（すなわち、隣接する視点から）撮影された同時刻のフレームに基づいて、補間画像を生成する処理を「視点補間」と称し、視点補間によって生成された画像を「視点補間画像」と称する。なお、視点補間に用いる補間方法は、どのような補間方法であってもよく、本発明の画像情報圧縮方法を実施する装置に要求される性能又は装置使用者の要望などの各種要因に基づいて、既知のフレーム補間方法の中から選択すればよい。また、撮影対象の動きに特定の法則性があることがわかっている場合には、撮影対象の動きに適した補間方法を選択すればよい。また、図１６に示される視点補間画像を生成する前又は後に、ＧＯＰ内の最初のフレームに対して、上記第１の実施形態において説明した視点間予測符号化を実行して、最初のフレームの情報量を圧縮してもよい。

次に、図１７に示されるように、選択されたカメラ以外の偶数番目のカメラ＃２，＃４，…によって取得された動画像の時間軸ｔ方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理する。

この際、画像情報符号化装置２００の選択部２１７は、選択されたカメラ以外の偶数番目のカメラ＃２，＃４，…によって取得された画像であって符号化対象のフレームと異なる時刻のフレームの画像を参照して符号化処理する場合と、符号化対象のフレームに対応する視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力する。この処理の説明図を図１８に示す。図１８において、ＦＲ（＃１，ｎ−１）は、カメラ＃１によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃１，ｎ）は、カメラ＃１によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃１，ｎ＋１）は、カメラ＃１によって取得されたｔ＝ｎ＋１時のフレームである。また、ＦＲ（＃２，ｎ−１）は、カメラ＃２によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃２，ｎ）は、カメラ＃２によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃２，ｎ＋１）は、カメラ＃２によって取得されたｔ＝ｎ＋１時のフレームである。さらに、ＦＲ（＃３，ｎ−１）は、カメラ＃３によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃３，ｎ）は、カメラ＃３によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃３，ｎ＋１）は、カメラ＃３によって取得されたｔ＝ｎ＋１時のフレームである。また、ＦＲ_ｉｎｔ（＃２，ｎ）は、フレームＦＲ（＃２，ｎ）の隣接フレームＦＲ（＃１，ｎ）とＦＲ（＃３，ｎ）に基づいて生成された、フレームＦＲ（＃２，ｎ）に対応する視点補間画像である。

なお、図１８においては、符号化対象のフレームＦＲ（＃２，ｎ）が、異なる時刻のフレームとして、フレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）を参照（太い実線で描かれている。）しているが、参照するフレームはフレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）に限らない。符号化対象のフレームＦＲ（＃２，ｎ）が、フレームＦＲ（＃２，ｎ−１）若しくはＦＲ（＃２，ｎ＋１）の一方を参照する場合、又は、図示されたフレーム以外の異なる時間のフレームを参照する場合もある。そして、図５に示される選択部２１７は、異なる時間のフレームを参照してフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理する場合（例えば、Ｈ．２６４／ＡＶＣによる処理を実行する場合）と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）を参照してフレームＦＲ（＃２，ｎ）の符号化処理をする場合（例えば、視点補間画像をフレームＦＲ（＃２，ｎ）の符号化された画像情報とする場合）の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択して出力する。

このような処理を行う理由は、符号化対象のフレームＦＲ（＃２，ｎ）がどの画像に似ているかという問題を考えた場合に、同じカメラ＃２で撮影した異なる時間のフレームが、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）よりも似ている場合と、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）が同じカメラ＃２で撮影した異なる時間のフレームよりも似ている場合とがあり、いずれの場合であるかは、撮影対象の瞬間の動きによって異なるからである。第２の実施形態の画像情報圧縮方法は、このように、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）が、同じカメラ＃２で撮影した異なる時間のフレームよりも符号化対象のフレームＦＲ（＃２，ｎ）に似ている場合があるという点に着目し、視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）をも参照の対象と、複数の圧縮方法の中の最も符号化圧縮効率の高い方法を選ぶことによって、符号化圧縮効率を向上させるものである。

以上に説明したように、第２の実施形態の画像情報圧縮方法によれば、選択されたカメラ以外のカメラ＃２，＃４，…によって取得された画像情報であって符号化対象のフレームＦＲ（＃２，ｎ）と異なる時刻のフレームの画像情報を参照して符号化処理する場合と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するので、出力される画像情報の符号化圧縮効率を向上させることができる。

なお、上記説明においては、選択されたカメラが奇数番目（＃１、＃３、＃５、＃７、…）のカメラであり、選択されたカメラ以外のカメラが偶数番目（＃２、＃４、＃６、…）のカメラである場合を説明したが、選択されたカメラが偶数番目のカメラであり、選択されたカメラ以外のカメラが奇数番目のカメラであってもよい。また、図１８には、白抜きの矢印で示されるように内挿補間によって視点補間画像を生成する場合を示しているが、外挿補間によって視点補間画像を生成してもよい。

また、選択されたカメラは、偶数番目又は奇数番目に限定されず、例えば、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラ（具体的には、＃１、＃４、＃７、…）とし、残りのカメラを選択されたカメラ以外のカメラ（具体的には、＃２、＃３、＃５、＃６、…）とする等の、他の方法を採用してもよい。例えば、選択されたカメラの一部のグループは、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）とし、残りのグループの部分では、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとすることもできる。また、更に他の変形例としては、選択されたカメラの一部のグループは、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとし、残りのグループの部分では、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）としてもよい。すなわち、偶数番目又は奇数番目のカメラを選択されたカメラとする方法と、所定台数毎の１台を選択されたカメラとする方法とを組み合わせた方法を採用することもできる。

＜第３の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第３の実施形態の画像情報圧縮方法を説明する。第３の実施形態の画像情報圧縮方法は、視点補間を利用するものであり、図５に示されるマルチフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５、補間画像生成・補償部２１６、及び選択部２１７によって実行される。第３の実施形態の画像情報圧縮方法は、上記第２の実施形態の画像情報圧縮方法の改良型であり、複数の視点補間画像を参照する点が上記第２の実施形態の画像情報圧縮方法と相違する。

図１９は、本発明の第３の実施形態の画像情報圧縮方法の説明図である。図１９において、ＦＲ（＃１，ｎ−１）は、カメラ＃１によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃１，ｎ）は、カメラ＃１によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃１，ｎ＋１）は、カメラ＃１によって取得されたｔ＝ｎ＋１時のフレームである。また、ＦＲ（＃２，ｎ−１）は、カメラ＃２によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃２，ｎ）は、カメラ＃２によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃２，ｎ＋１）は、カメラ＃２によって取得されたｔ＝ｎ＋１時のフレームである。さらに、ＦＲ（＃３，ｎ−１）は、カメラ＃３によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃３，ｎ）は、カメラ＃３によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃３，ｎ＋１）は、カメラ＃３によって取得されたｔ＝ｎ＋１時のフレームである。また、図１９において、ＦＲ_ｉｎｔ１（＃２，ｎ）は、第１の補間方法を用いて生成された、フレームＦＲ（＃２，ｎ）に対応する視点補間画像（図では、補間画像１とする。）であり、ＦＲ_ｉｎｔ２（＃２，ｎ）は、第１の補間方法と異なる第２の補間方法を用いて生成された、フレームＦＲ（＃２，ｎ）に対応する視点補間画像（図では、補間画像２とする。）である。図１９には、２種類の視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）とＦＲ_ｉｎｔ２（＃２，ｎ）を示しているが、３種類以上の補間方法を用いることによって３種類以上の補間画像を生成してもよい。なお、第１の補間方法、第２の補間方法は、特定の方法に限定されるものはなく、装置に要求される性能、装置使用者が要求する性能などの各種要因に基づいて決定すればよく、既知のフレーム補間方法の中から自由に選択すればよい。また、撮影対象の動きに特定の法則性があることがわかっている場合には、撮影対象の動きに適した補間方法を選択すればよい。

なお、図１９においては、符号化対象のフレームＦＲ（＃２，ｎ）が、異なる時刻のフレームとして、フレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）を参照（太い実線で描かれている。）する場合を示しているが、参照するフレームはフレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）に限らない。符号化対象のフレームＦＲ（＃２，ｎ）が、フレームＦＲ（＃２，ｎ−１）若しくはＦＲ（＃２，ｎ＋１）の一方を参照する場合、又は、図示されたフレーム以外の異なる時間のフレームを参照する場合もある。そして、図５に示される選択部２１７は、異なる時間のフレームを参照してフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理する場合（例えば、Ｈ．２６４／ＡＶＣによる処理を実行する場合）と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）を参照してフレームＦＲ（＃２，ｎ）の符号化処理をする場合（例えば、視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）をフレームＦＲ（＃２，ｎ）の符号化された画像情報とする場合）と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ２（＃２，ｎ）を参照してフレームＦＲ（＃２，ｎ）の符号化処理をする場合（例えば、視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）をフレームＦＲ（＃２，ｎ）の符号化された画像情報とする場合）の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択して出力する。

このような処理を行う理由は、符号化対象のフレームＦＲ（＃２，ｎ）がどの画像に似ているかという問題を考えた場合に、同じカメラ＃２で撮影した異なる時間のフレームが、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）及びＦＲ_ｉｎｔ２（＃２，ｎ）よりも似ている場合と、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）が同じカメラ＃２で撮影した異なる時間のフレーム及び視点補間画像ＦＲ_ｉｎｔ２（＃２，ｎ）よりも似ている場合と、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ２（＃２，ｎ）が同じカメラ＃２で撮影した異なる時間のフレーム及び視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）よりも似ている場合とがあり、いずれの場合であるかは、撮影対象の瞬間の動きによって異なるからである。第２の実施形態の画像情報圧縮方法は、このように、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）又はＦＲ_ｉｎｔ２（＃２，ｎ）が、同じカメラ＃２で撮影した異なる時間のフレームよりも符号化対象のフレームＦＲ（＃２，ｎ）に似ている場合があるという点に着目し、視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）及びＦＲ_ｉｎｔ２（＃２，ｎ）をも参照の対象とすることによって、符号化圧縮効率を向上させるものである。

以上説明したように、第３の実施形態の画像情報圧縮方法によれば、選択されたカメラ以外のカメラ＃２，＃４，…によって取得された画像情報であって符号化対象のフレームＦＲ（＃２，ｎ）と異なる時刻のフレームの画像情報を参照して符号化処理する場合と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ１（＃２，ｎ）を参照して符号化処理する場合と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ２（＃２，ｎ）を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するので、出力される画像情報の符号化圧縮効率を向上させることができる。

なお、上記説明においては、選択されたカメラが奇数番目のカメラであり、それ以外のカメラが偶数番目のカメラである場合を説明したが、選択されたカメラが偶数番目のカメラであり、それ以外のカメラが奇数番目のカメラとしてもよい。また、図１９には、白抜きの矢印で示されるように内挿補間によって視点補間画像を生成する場合を示しているが、外挿補間によって視点補間画像を生成してもよい。

また、選択されたカメラは、偶数番目又は奇数番目に限定されず、例えば、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとする等の、他の方法を採用してもよい。例えば、選択されたカメラの一部のグループは、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）とし、残りのグループの部分では、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとすることもできる。また、更に他の変形例としては、選択されたカメラの一部のグループは、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとし、残りのグループの部分では、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）としてもよい。

なお、第３の実施形態において、上記以外の点は、上記第２の実施形態の場合と同じである。

＜第４の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第４の実施形態の画像情報圧縮方法を説明する。第４の実施形態の画像情報圧縮方法は、視点補間を利用するものであり、図５に示されるマルチフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５、補間画像生成・補償部２１６、及び選択部２１７によって実行される。第４の実施形態の画像情報圧縮方法は、上記第２の実施形態の画像情報圧縮方法の改良型であり、視点補間画像に加えて同時刻の隣接画像をも参照する点が上記第２の実施形態の画像情報圧縮方法と相違する。

図２０は、本発明の第４の実施形態の画像情報圧縮方法の説明図である。図２０において、ＦＲ（＃１，ｎ−１）は、カメラ＃１によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃１，ｎ）は、カメラ＃１によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃１，ｎ＋１）は、カメラ＃１によって取得されたｔ＝ｎ＋１時のフレームである。また、ＦＲ（＃２，ｎ−１）は、カメラ＃２によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃２，ｎ）は、カメラ＃２によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃２，ｎ＋１）は、カメラ＃２によって取得されたｔ＝ｎ＋１時のフレームである。さらに、ＦＲ（＃３，ｎ−１）は、カメラ＃３によって取得されたｔ＝ｎ−１時のフレームであり、ＦＲ（＃３，ｎ）は、カメラ＃３によって取得されたｔ＝ｎ時のフレームであり、ＦＲ（＃３，ｎ＋１）は、カメラ＃３によって取得されたｔ＝ｎ＋１時のフレームである。図２０において、ＦＲ_ｉｎｔ（＃２，ｎ）は、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像である。

なお、図２０においては、符号化対象のフレームＦＲ（＃２，ｎ）が、異なる時刻のフレームとして、フレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）を参照（図２０において、太い実線で描かれている。）しているが、参照するフレームはフレームＦＲ（＃２，ｎ−１）とＦＲ（＃２，ｎ＋１）に限らない。符号化対象のフレームＦＲ（＃２，ｎ）が、フレームＦＲ（＃２，ｎ−１）又はＦＲ（＃２，ｎ＋１）の一方を参照する場合、又は、図示されたフレーム以外の異なる時間のフレームを参照する場合もある。

そして、図５に示される選択部２１７は、異なる時間のフレームを参照してフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理する場合（例えば、Ｈ．２６４／ＡＶＣによる処理を実行する場合）と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）を参照してフレームＦＲ（＃２，ｎ）の符号化処理をする場合と、符号化対象のフレームＦＲ（＃２，ｎ）に隣接するフレームＦＲ（＃１，ｎ）又はＦＲ（＃３，ｎ）を参照してフレームＦＲ（＃２，ｎ）の符号化処理をする場合（例えば、Ｈ．２６４／ＡＶＣによる処理と同じアルゴリズムを空間軸Ｓ方向に適用する場合）の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択して出力する。

このような処理を行う理由は、符号化対象のフレームがどの画像に似ているかという問題を考えた場合に、同じカメラ＃２で撮影した異なる時間のフレームが最もよく似ている場合と、隣接カメラ＃１、＃３で撮影した同時刻フレームに基づく視点補間画像が最もよく似ている場合と、隣接カメラ＃１、＃３で撮影した同時刻フレームが最もよく似ている場合とがあり、いずれの場合であるかは、撮影対象の瞬間の動きによって異なるからである。第４の実施形態の画像情報圧縮方法は、この点に着目して、同じカメラで撮影した異なる時間のフレーム、隣接カメラで撮影した同時刻フレームに基づく視点補間画像、隣接カメラで撮影した同時刻フレームのうちの、最も似ている画像を用いて、符号化対象フレームの符号化を行っている。

以上説明したように、第４の実施形態の画像情報圧縮方法によれば、選択されたカメラ以外のカメラ＃２，＃４，…によって取得された画像情報であって符号化対象のフレームＦＲ（＃２，ｎ）と異なる時刻のフレームの画像情報を参照して符号化処理する場合と、符号化対象のフレームＦＲ（＃２，ｎ）に対応する視点補間画像ＦＲ_ｉｎｔ（＃２，ｎ）を参照して符号化処理する場合と、符号化対象のフレームＦＲ（＃２，ｎ）に隣接するフレームＦＲ（＃１，ｎ）及びＦＲ（＃３，ｎ）を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するので、出力される画像情報の符号化圧縮効率を向上させることができる。

なお、上記説明においては、選択されたカメラが奇数番目のカメラであり、それ以外のカメラが偶数番目のカメラである場合を説明したが、選択されたカメラが偶数番目のカメラであり、それ以外のカメラが奇数番目のカメラとしてもよい。また、図２０には、白抜きの矢印で示されるように内挿補間によって視点補間画像を生成する場合を示しているが、外挿補間によって視点補間画像を生成してもよい。

また、選択されたカメラは、偶数番目又は奇数番目に限定されず、例えば、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとする等の、他の方法を採用してもよい。例えば、選択されたカメラの一部のグループは、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）とし、残りのグループの部分では、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとすることもできる。また、更に他の変形例としては、選択されたカメラの一部のグループは、カメラ番号が＃３ｎ−２で示される３台に１台のカメラを選択されたカメラとし、残りのカメラを選択されたカメラ以外のカメラとし、残りのグループの部分では、偶数番目（＃２、＃４、＃６、…）又は奇数番目（＃１、＃３、＃５、…）としてもよい。

さらに、第４の実施形態に、第３の実施形態を組み合わせて、視点補間画像を複数種類生成してもよい。

なお、第４の実施形態において、上記以外の点は、上記第２の実施形態の場合と同じである。

＜第５の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第５の実施形態の画像情報圧縮方法を説明する。第５の実施形態の画像情報圧縮方法は、第１の実施形態の画像情報圧縮方法に改良を加えたものである。第５の実施形態の画像情報圧縮方法は、ＧＯＰ内の時間的に最初のフレームに対して行う視点間予測符号化に際して、補間画像をも参照する点が、第１の実施形態の画像情報圧縮方法と相違する。第５の実施形態の画像情報圧縮方法は、図５に示されるマルチフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５、補間画像生成・補償部２１６、及び選択部２１７によって実行される。

図２１から図２６までは、本発明の第５の実施形態の画像情報圧縮方法の説明図である。図２１から図２６までにおいて、ｔは、時間軸方向を示し、Ｓは、カメラの配列順又はカメラの配列方向に対応する空間軸である。また、図には、カメラ＃１〜＃９について示すが、カメラの数は９台に限定されない。また、図において、Ｉは、Ｉピクチャ、Ｐは、Ｐピクチャ、Ｂは、Ｂピクチャを示す。また、Ｐ_ｉは、補間画像をも参照したＰピクチャ）、Ｂ_ｉは、補間画像をも参照したＢピクチャを示す。

第５の実施形態の画像情報圧縮方法においては、先ず、図２１に示されるように、複数台のカメラによって取得された動画像の時間軸ｔ方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化によって符号化処理（例えば、Ｈ．２６４／ＡＶＣによる処理）する。その結果、例えば、図２１に示されるように、動画像のフレームの画像情報が得られる。時間軸ｔ方向に並ぶ所定数のフレームによって構成されるＧＯＰ内の時間的に最初のフレームの符号化処理は、フレーム内符号化によって行われており、最初のフレームはＩピクチャである。また、同じＧＯＰ内の最初のフレーム以外のフレームの符号化処理は、時間的相関を利用したフレーム間予測符号化によって行われる。

次に、図２２に示されるように、ＧＯＰ内の最初のフレームについて、空間軸Ｓ方向に第１の実施形態の画像情報圧縮方法で説明した視点間予測符号化処理、すなわち、カメラの配列順に並ぶ同時刻のフレームの画像情報を、同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する。図２１及び図２２の処理は、上記第１の実施形態の場合と同じである。

次に、図２３に示されるように、ＧＯＰ内の最初のフレームから、ＩピクチャであるフレームＦＲ（＃１，１）を第１の基準フレームとして選択し、ＰピクチャであるフレームＦＲ（＃３，１）を第２の基準フレームとして選択する。フレームＦＲ（＃１，１）とフレームＦＲ（＃３，１）に基づく補間（外挿）によって、視点補間画像ＦＲ_ｉｎｔを生成する。次に、カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理（第１の実施形態の視点間予測符号化）する場合と、符号化対象のフレームに対応する視点補間画像ＦＲ_ｉｎｔを参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を、符号化対象のフレーム（例えば、ＦＲ（＃５，１））の符号化された画像情報、例えば、Ｐｉピクチャとする。次に、フレームＦＲ（＃３，１）の画像と、生成されたＰｉピクチャに基づく外挿補間によって、視点補間画像ＦＲ_ｉｎｔを順次生成し、同様の処理を繰り返す。ここで、視点補間画像は、図２４に示されるように、異なる補間方法によってフレームＦＲ_ｉｎｔ１（＃ｎ＋４，１）及びＦＲ_ｉｎｔ２（＃ｎ＋４，１）のように複数種類作成してもよい。さらに、図２４に示されるように、ＧＯＰ内の最初のフレームにおいて、Ｉピクチャ、Ｐピクチャ、Ｐｉピクチャが生成された後に、補間フレームＦＲ_ｉｎｔ１（＃ｎ＋１，１）及びＦＲ_ｉｎｔ２（＃ｎ＋１，１）、又は、補間フレームＦＲ_ｉｎｔ１（＃ｎ＋３，１）及びＦＲ_ｉｎｔ２（＃ｎ＋３，１）を作成する。次に、カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理（第１の実施形態の視点間予測符号化）する場合と、符号化対象のフレームに対応する視点補間画像ＦＲ_ｉｎｔ１（＃ｎ＋１，１）若しくはＦＲ_ｉｎｔ２（＃ｎ＋１，１）、又は、補間フレームＦＲ_ｉｎｔ１（＃ｎ＋３，１）若しくはＦＲ_ｉｎｔ２（＃ｎ＋３，１）ＦＲ_ｉｎｔを参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を、符号化対象のフレーム（例えば、ＦＲ（＃４，１））の符号化された画像情報、例えば、Ｂｉピクチャとする。

次に、カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理する場合と、符号化対象のフレームに対応する視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力する。その結果、図２５に示されるように、ｔ＝１時の最初のフレームが、符号化効率の最も高い方法で符号化される。

次に、図６に示されるように、次のＧＯＰに対して同様の処理を繰り返す。

このような処理を行う理由は、ＧＯＰ内の最初のフレームおいて、符号化対象のフレームがどの画像に似ているかという問題を考えた場合に、隣接カメラで撮影した同時刻フレームに基づいて第１の実施形態の視点間予測符号化を実施することによって符号化された画像が最もよく似ている場合と、隣接カメラで撮影した基準フレームに基づいて作成された補間画像が最もよく似ている場合とがあり、いずれの場合であるかは、撮影対象の瞬間の動きによって異なるからである。第５の実施形態の画像情報圧縮方法は、この点に着目して、隣接カメラで撮影した同時刻フレームに基づいて第１の実施形態の視点間予測符号化を実施することによって符号化された画像が最もよく似ている場合と、隣接カメラで撮影した基準フレームに基づいて作成された補間画像が最もよく似ている場合のうちの、最も似ている画像を用いて、符号化対象フレームの符号化を行っている。

以上説明したように、第５の実施形態の画像情報圧縮方法によれば、第１の実施形態の視点間予測符号化を実施することによって符号化された画像が最もよく似ている場合と、隣接カメラで撮影した基準フレームに基づいて作成された補間画像が最もよく似ている場合のうちの、最も似ている画像を用いて、符号化対象フレームの符号化を行っているので、出力される画像情報の符号化圧縮効率を向上させることができる。

なお、第５の実施形態において、上記以外の点は、上記第１の実施形態の場合と同じである。

＜第６の実施形態の画像情報圧縮方法の説明＞
以下に、本発明の第６の実施形態の画像情報圧縮方法を説明する。図２７は、本発明の第６の実施形態の画像情報圧縮方法において参照する光線空間の水平断面の一例を示す図である。また、図２８は、本発明の第６の実施形態の画像情報圧縮方法における動きベクトルの予測方法の説明図である。また、図２９は、本発明の第６の実施形態の比較例としてのＨ．２６４／ＡＶＣにおける動きベクトルの予測方法の説明図である。

第６の実施形態の画像情報圧縮方法は、第１の実施形態の画像情報圧縮方法に改良を加えたものである。第６の実施形態の画像情報圧縮方法は、複数台のカメラが互いに平行に１列に直線配置されていることを前提とする。第６の実施形態の画像情報圧縮方法は、カメラの配列順に並ぶ同時刻のフレームの画像情報を、同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理するステップ（第１の実施形態における視点間予測符号化のステップ）における動き補償予測符号化において用いられる動きベクトルを、光線空間を水平方向に切断したときの水平断面画像（ＥＰＩ：Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ）に現れる直線に基づいて求めることを特徴としている。第６の実施形態の画像情報圧縮方法は、図５に示されるマルチフレームメモリ２１３と、符号化処理部２１４の動き予測・補償部２１５によって実行される。

Ｈ．２６４／ＡＶＣによる画像の符号化では、図２９に示されるように、カメラによって取得された動画像のフレームＦＲ内の該当ブロックＢＬ_ｅｎに隣接する符号化済の隣接ブロックＢＬ_ｎｅｉ１，ＢＬ_ｎｅｉ２，ＢＬ_ｎｅｉ３から動きベクトルを予測している。この方法は、該当ブロックＢＬ_ｅｎと参照ブロックＢＬ_ｎｅｉ１，ＢＬ_ｎｅｉ２，ＢＬ_ｎｅｉ３とが大きく異なる場合に、多くのビットを発生させてしまう欠点がある。

そこで、第６の実施形態の画像情報圧縮方法においては、複数台のカメラが互いに平行に１列に直線配置されており、複数台のカメラによって取得された動画像の同時刻のフレームを、複数台のカメラの配列順に互いに平行に立てて並べることによって光線空間を構成した場合には、光線空間における水平断面構造が直線構造の集まりで表現される性質を利用する。この性質は、フレームの動きが、連続して起こる、且つ、動きが重複する領域（図２７において直線が交差する領域）では、直線の傾きの大きい直線で表現されている点を優先する。傾きの大きい直線は、３次元空間中の手前の点に相当する。

ここで、複数台のカメラの配列順に互いに平行に立てて並べることによって光線空間を構成した場合には、光線空間における水平断面構造が直線構造の集まりで表現される性質を、図３（ａ）及び（ｂ）と図３０（ａ）及び（ｂ）を参考にしながら説明する。縦方向の視差（φ）を無視して、ｙが一定である断面を考えて、図３０（ａ）に示されるように、（Ｘ，Ｚ）を実空間における一点Ｐの座標とし、ｘ，ｚ，θを光線が基準面１０６を通過する位置及び角度とする。このとき、Ｘ＝ｘ＋Ｚ・ｔａｎθの関係が成り立つ。すなわち、実空間で一点を通る光線群は光線空間の水平断面（ｙ＝一定の断面）上では直線に並ぶという特徴を持っている。図３０（ｂ）は、実空間上の点ｘを光線空間の水平断面上に示している。

このように、第６の実施形態の画像情報圧縮方法においては、図２９に示されるように、隣接ブロックの動きベクトルと用いないので、適切な動きベクトルを予測できる。第６の実施形態によれば、適切な動きベクトルを予測できるので、画像圧縮効率を向上させることができる。

なお、以上の説明においては、第６の実施形態の画像情報圧縮方法を第１の実施形態に適用した場合を説明したが、第６の実施形態の画像情報圧縮方法を、第２〜第５の実施形態に適用することもできる。

＜第７の実施形態のＦＴＶシステムの説明＞
図３０は、本発明の第７の実施形態のＦＴＶシステムの基本的な構成を概念的に示す図である。図３０において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。

第７の実施形態のＦＴＶシステムは、送信側の装置２５０と、受信側の装置３５０とが離れた場所にあり、送信側の装置２５０から受信側の装置３５０まで、例えば、インターネットなどを用いて、ＦＴＶ信号を伝送するシステムである。

図３０に示されるように、送信側の装置２５０は、複数台のカメラ（図３０には、符号１０２_１〜１０２_５の５台を示すが、実際にはより多くのカメラが用いられる。）と、複数台のカメラによって取得された映像情報を圧縮符号化する、上記実施の形態１〜６において説明された構成及び機能を有する画像情報符号化装置２００とを備えている。画像情報符号化装置２００で圧縮符号化された画像情報は、図示しない通信装置によって受信側の装置３５０に送られる。

また、受信側の装置３５０は、図示しない受信装置と、上記実施の形態１において説明された画像情報復号装置３００と、画像情報復号装置３００からの出力信号に基づいて光線空間１０３を形成し、ユーザーインターフェース１０４から入力された視点位置に応じて光線空間１０３から断面を抽出して表示する。

図３（ａ），（ｂ）及び図４（ａ）〜（ｃ）に示されるように、例えば、光線空間法を用いることにより、光線空間１０３から任意の面を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成することが可能である。例えば、図４（ａ）に示される光線空間１０３から断面１０３ａを切り出すと、図４（ｂ）に示されるような画像が生成され、図４（ａ）に示される光線空間１０３から断面１０３ｂを切り出すと、図４（ｃ）に示されるような画像が生成される。

以上説明したように、第７の実施形態のＦＴＶシステムにおいては、上記第１〜第６の実施形態で説明された画像情報圧縮方法を用いているので、ＦＴＶシステムにおけるＦＴＶ信号の符号化圧縮効率を向上させることができる。

Claims (20)

1. ３台以上のカメラの中から選択された２台以上のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化を用いて符号化処理するステップと、
   前記選択されたカメラによって取得された画像情報に基づいて、前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームに対応する第１の視点補間画像を生成するステップと、
   前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理するステップと
   を有し、
   前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理する前記ステップが、前記選択されたカメラ以外のカメラによって取得された画像情報であって符号化対象のフレームと異なる時刻のフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記第１の視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
   ことを特徴とする画像情報圧縮方法。
2. 前記第１の視点補間画像を生成する前記ステップにおいて、前記第１の視点補間画像が、１つのフレームに対して異なる補間方法を用いて複数種類生成され、
   前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理する前記ステップが、前記選択されたカメラ以外のカメラによって取得された画像情報であって符号化対象のフレームと異なる時刻のフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する複数種類の前記第１の視点補間画像のいずれかを参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
   ことを特徴とする請求項１に記載の画像情報圧縮方法。
3. 前記選択されたカメラ以外のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を符号化処理する前記ステップが、前記選択されたカメラ以外のカメラによって取得された画像情報であって符号化対象のフレームと異なる時刻のフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記第１の視点補間画像を参照して符号化処理する場合と、前記選択されたカメラによって取得された画像情報であって符号化対象のフレームと同時刻のフレームの画像情報を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
   ことを特徴とする請求項１に記載の画像情報圧縮方法。
4. 前記カメラによって取得された動画像のフレームであって、前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記時間的相関を利用したフレーム間予測符号化と同じアルゴリズムによる同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理するステップをさらに有する
   ことを特徴とする請求項１に記載の画像情報圧縮方法。
5. 前記時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化によって符号化処理する前記ステップにおいて、
   前記時間軸方向に並ぶ所定数のフレームによって構成される画像グループ内の時間的に最初のフレームの前記符号化処理が、フレーム内符号化によって行われ、
   前記画像グループ内の前記最初のフレーム以外のフレームの前記符号化処理が、時間的相関を利用したフレーム間予測符号化によって行われる
   ことを特徴とする請求項４に記載の画像情報圧縮方法。
6. 前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップにおいて、
   前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化されるフレームが、前記カメラの配列順に並ぶ複数の前記最初のフレームである
   ことを特徴とする請求項４に記載の画像情報圧縮方法。
7. 前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップが、
   前記カメラの配列順に並ぶ前記同時刻のフレームの中から２つ以上の基準フレームを選択するステップと、
   前記基準フレーム又は前記基準フレームに基づいて生成されたフレームに基づいて、前記カメラの配列順に並ぶ同時刻のフレームの中のいずれかに対応する第２の視点補間画像を生成するステップと、
   前記カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記第２の視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップとを含む
   ことを特徴とする請求項６に記載の画像情報圧縮方法。
8. 前記第２の視点補間画像を生成する前記ステップにおいて、前記第２の視点補間画像が、１つのフレームに対して異なる補間方法を用いて複数種類生成され、
   前記カメラの配列順に並ぶ同時刻のフレームの中の前記基準フレーム以外のフレームの画像情報を符号化処理する前記ステップが、前記カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記複数種類の第２の視点補間画像のいずれかを参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
   ことを特徴とする請求項７に記載の画像情報圧縮方法。
9. 前記複数台のカメラが互いに平行に１列に直線配置されており、
   前記複数台のカメラによって取得された動画像の同時刻のフレームを、前記複数台のカメラの配列順に互いに平行に立てて並べることによって光線空間を構成し、
   前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップが、前記フレームの一部によって構成されるブロックの動きベクトルを用いる動き補償予測符号化によって実行され、
   前記動きベクトルを、前記光線空間を水平方向に切断したときの水平断面画像に現れる直線に基づいて求める
   ことを特徴とする請求項４に記載の画像情報圧縮方法。
10. 複数台のカメラによって取得された動画像の時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化によって符号化処理するステップと、
    前記複数台のカメラによって取得された動画像のフレームであって、前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記時間的相関を利用したフレーム間予測符号化と同じアルゴリズムによる同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理するステップと
    を有することを特徴とする画像情報圧縮方法。
11. 前記時間軸方向に並ぶフレームの画像情報を、フレーム内符号化及びフレーム間の時間的相関を利用したフレーム間予測符号化によって符号化処理する前記ステップにおいて、
    時間軸方向に並ぶ所定数のフレームによって構成される画像グループ内の時間的に最初のフレームの前記符号化処理が、フレーム内符号化によって行われ、
    前記画像グループ内の前記最初のフレーム以外のフレームの前記符号化処理が、時間的相関を利用したフレーム間予測符号化によって行われる
    ことを特徴とする請求項１０に記載の画像情報圧縮方法。
12. 前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップにおいて、
    前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理されるフレームが、前記カメラの配列順に並ぶ複数の前記最初のフレームである
    ことを特徴とする請求項１０に記載の画像情報圧縮方法。
13. 前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップが、
    前記カメラの配列順に並ぶ前記同時刻のフレームの中から２つ以上の基準フレームを選択するステップと、
    前記基準フレーム又は前記基準フレームに基づいて生成されたフレームに基づいて、前記カメラの配列順に並ぶ同時刻のフレームの中のいずれかに対応する視点補間画像を生成するステップと、
    前記カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記視点補間画像を参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップとを含む
    ことを特徴とする請求項１２に記載の画像情報圧縮方法。
14. 前記視点補間画像を生成する前記ステップにおいて、前記視点補間画像が、１つのフレームに対して異なる補間方法を用いて複数種類生成され、
    前記カメラの配列順に並ぶ同時刻のフレームの中の前記基準フレーム以外のフレームの画像情報を符号化処理する前記ステップが、前記カメラの配列順に並ぶ同時刻のフレームの中の符号化対象のフレームと異なるフレームの画像情報を参照して符号化処理する場合と、前記符号化対象のフレームに対応する前記複数種類の視点補間画像のいずれかを参照して符号化処理する場合の中で、最も符号化圧縮効率が高くなる場合の符号化処理結果を選択的に出力するステップを含む
    ことを特徴とする請求項１３に記載の画像情報圧縮方法。
15. 前記複数台のカメラが互いに平行に１列に直線配置されており、
    前記複数台のカメラによって取得された動画像の同時刻のフレームを、前記複数台のカメラの配列順に互いに平行に立てて並べることによって光線空間を構成し、
    前記カメラの配列順に並ぶ同時刻のフレームの画像情報を、前記同時刻のフレーム間の相関を利用したフレーム間予測符号化によって符号化処理する前記ステップが、前記フレームの一部によって構成されるブロックの動きベクトルを用いる動き補償予測符号化によって実行され、
    前記動きベクトルを、前記光線空間を水平方向に切断したときの水平断面画像に現れる直線に基づいて求める
    ことを特徴とする請求項１０に記載の画像情報圧縮方法。
16. 請求項１に記載の画像情報圧縮方法を実行する画像情報符号化装置と、
    前記画像情報符号化装置に映像信号を供給する複数台のカメラと、
    前記画像情報符号化装置から出力された符号化情報を復号する画像情報復号装置と、
    見る者の視点位置を入力するユーザーインターフェースと、
    前記複数台のカメラによって撮影された同時刻の画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
    を有することを特徴とする自由視点テレビシステム。
17. 前記画像情報抽出部が、前記カメラによって撮影された同時刻の画像であって、前記画像情報復号装置によって復号された画像情報に基づく画像を、前記カメラの配列順に立てて互いに平行に並べて構成された光線空間を、前記ユーザーインターフェースによって入力された視点位置に基づいた面で切断することによって前記視点位置から見た画像情報を抽出することを特徴とする請求項１６に記載の自由視点テレビシステム。
18. 前記カメラが、直線上に互いに平行な方向を向けて並ぶ直線配置、円周上に円周の内側を向けて並ぶ円周配置、平面上に互いに平行な方向を向けて並ぶ平面配置、球面上に球面の内側を向けて並ぶ球面配置、及び円筒上に円筒の内側を向けて並ぶ円筒配置のいずれかの配置で設置されていることを特徴とする請求項１６に記載の自由視点テレビシステム。
19. 前記カメラが、直線上に互いに平行な方向を向けて並ぶ直線配置で設置されており、
    前記光線空間を切断する前記面が、前記光線空間内の垂直平面である
    ことを特徴とする請求項１７に記載の自由視点テレビシステム。
20. 前記カメラが、円周上に円周の内側を向けて並ぶ円周配置で設置されており、
    前記光線空間を切断する前記面が、前記光線空間内の水平平面で正弦波曲線となる面である
    ことを特徴とする請求項１７に記載の自由視点テレビシステム。
    

Images