JP4825984B2 - 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム - Google Patents

Description

本発明は、被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像の符号化において符号化圧縮効率を向上させることができる画像情報圧縮方法、画像情報圧縮装置、及びこの画像情報圧縮装置を用いた自由視点テレビシステムに関するものである。

本出願の発明者は、見る者があたかもその場にいるかのように、自由に視点を変えて３次元シーンを見ることのできる自由視点テレビ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ＴＶ：ＦＴＶ）を提案しており（例えば、非特許文献１〜４参照）、さらに、１５台のカメラで取得した実写画像をもとにして水平面内で自由に視点を移動させてシーンを見ることができるＦＴＶの実験装置を完成させている（例えば、非特許文献１参照）。

谷本正幸、「自由視点テレビ」、日本工業出版、画像ラボ、２００５年２月号、２３〜２８頁 岡慎也、ナ バンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレビのための光線空間情報圧縮」、信学技報、ＣＳ２００３−１４１、７〜１２頁、２００３年１２月 谷本正幸、「５．自由視点テレビＦＴＶ、〜多視点画像処理を使って〜」、映像メディア情報学会誌、Ｖｏｌ．５８、Ｎｏ．７、ｐｐ．８９８−９０１、２００４年 岡慎也、ナ バンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレビのための動的光線空間の情報圧縮」、３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、１３９〜１４２頁、２００４年

なお、非特許文献２の９頁左欄には、「光線空間は時間軸にも空間軸にも画像同士が非常に類似しているため、動き（視差）予測を両軸に適応することによって高い圧縮率を得ることが可能であると考えられる。」との記載がある。また、非特許文献３の８９９頁左欄には「光線空間を補間すること」の記載があり、９００頁左欄には「補間は光線空間全体にではなく必要な部分のみに行えばよい。」との記載がある。また、非特許文献４の１４０頁左欄には「動的光線空間は時間、空間領域に大きな相関を持っていることが予想できる。」との記載があり、１４０頁右欄から１４１頁左欄には参照画像の例が示されている。

図１は、ＦＴＶシステムの基本的な構成を概念的に示す図である。図１に示されるＦＴＶシステムは、カメラによる撮影（ステップＳＴ１）、画像の補間処理（ステップＳＴ２又はＳＴ２ａ）、画像情報の圧縮処理（ステップＳＴ３）、及び入力された視点から見た画像の表示（ステップＳＴ４及びＳＴ５）を行う。ＦＴＶシステムでは、３次元実空間に存在する被写体１０１の画像情報を複数台のカメラ（図１には、符号１０２_１〜１０２_５の５台を示すが、実際にはより多くのカメラが用いられる。）によって取得し（ステップＳＴ１）、複数台のカメラによって取得した画像（図１には、符号１０３_１〜１０３_５の５つ画像を示すが、実際にはより多くの画像が用いられる。）を光線空間１０３に互いに配列し、ＦＴＶ信号とする。なお、図１において、ｘは、水平視野方向、ｙは、垂直視野方向、ｕ（＝ｔａｎθ）は、視域方向を示す。複数台のカメラ１０２の配置の仕方には、図２（ａ）に示されるように、直線上に互いに平行な方向を向けて並ぶ直線配置、図２（ｂ）に示されるように、円周上に円周の内側を向けて並ぶ円周配置（又は円弧配置）、図２（ｃ）に示されるように、平面上に互いに平行な方向を向けて並ぶ平面配置、図２（ｄ）に示されるように、球面上に球面の内側を向けて並ぶ球面配置（又は半球面配置）、図２（ｅ）に示されるように、円筒上に円筒の内側を向けて並ぶ円筒配置等がある。複数台のカメラ１０２の配置は、水平方向の自由視点のみを実現する場合には、図２（ａ）に示される直線配置又は図２（ｂ）に示される円周配置とし、水平方向と垂直方向の両方の自由視点を実現する場合には、図２（ｃ）に示される平面配置、図２（ｄ）に示される円筒配置、又は図２（ｅ）に示される球面配置とする。

また、光線空間法では、３次元実空間の１本の光線を、それを表すパラメータを座標とする多次元空間の１点で表す。この仮想的な多次元空間を光線空間という。光線空間全体は、３次元空間のすべての光線を過不足なく表現する。光線空間は、多くの視点から撮影された画像を集めることによって作られる。光線空間の点の値は、画像の画素値と同じであるから、画像から光線空間への変換は、単なる座標変換である。図３（ａ）に示されるように、実空間中の基準面１０６を通過する光線１０７は通過位置（ｘ，ｙ）と通過方向（θ，φ）の４つのパラメータによって一意に表現することができる。図３（ａ）において、Ｘは、３次元実空間における水平方向の座標軸であり、Ｙは、垂直方向の座標軸であり、Ｚは、奥行き方向の座標軸である。また、θは、基準面１０６の法線に対する水平方向の角度、すなわち、基準面１０６に対する水平方向の出射角であり、φは、基準面１０６の法線に対する垂直方向の角度、すなわち、基準面１０６に対する垂直方向の出射角である。これにより、この３次元実空間内の光線情報を輝度ｆ（ｘ，ｙ，θ，φ）と表すことができる。ここでは、説明を分かりやすくするために、垂直方向の視差（角度φ）を無視する。図３（ａ）に示されるように、基準面１０６に向けて、且つ、水平に配置された多数のカメラで撮影された画像は、図３（ｂ）に示されるように、ｘ，ｙ，ｕ（＝ｔａｎθ）の軸を持つ３次元空間において、点線で描かれる断面１０３_１〜１０３_５に位置していることになる。図３（ｂ）に示される光線空間１０３から任意の面を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成することが可能となる。例えば、図４（ａ）に示される光線空間１０３から断面１０３ａを切り出すと、図４（ｂ）に示されるような画像がディスプレイ１０５に表示され、図４（ａ）に示される光線空間１０３から断面１０３ｂを切り出すと、図４（ｃ）に示されるような画像がディスプレイ１０５に表示される。

また、光線空間１０３に配列された画像（断面１０３_１〜１０３_５）の間にはデータがないため、これを補間によって作る（図１のステップＳＴ２又はＳＴ２ａ）。なお、補間は、光線空間の全体についてではなく、必要な部分についてのみ行えばよい。また、補間を行う場所は、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍｅｎｄ）のような用途では画像情報の送信側（ステップＳＴ２）となり、放送のような用途では画像情報の受信側（ステップＳＴ２ａ）となる。

画像情報の圧縮（図１のステップＳＴ３）は、ＦＴＶシステムの各構成が同じ場所にある場合には、必須の処理ではないが、カメラとユーザーとが別の場所に存在し、インターネット等を利用して画像情報を配信する場合には必須の処理となる。従来の画像情報圧縮方法としては、例えば、Ｈ．２６４／ＡＶＣ規格に準拠したものがある（例えば、特許文献１参照）。
特開２００３−３４８５９５号公報（図１及び図２）

近年、例えば、歴史的又は芸術的な文化遺産の記録保存のために、被写体を中心に置いて、被写体を中心とする円周上の複数位置から、又は、直線上の複数位置から被写体を撮影し、撮影によって得られた複数の静止画像から自由視点の画像を作る技術が注目されている。しかしながら、上記文献には、同一水平ライン又は同一垂直ラインに並ぶ複数のカメラの画像をフレームとして扱う方法が開示されているが、被写体を中心とする円周上の複数位置からカメラによって取得された複数の静止画像の符号化における画像情報の効率的な圧縮方法は開示されていない。また、直線上の複数位置からカメラによって取得された複数の静止画像の符号化における画像情報の効率的な圧縮方法の開発が求められている。

そこで、本発明の目的は、被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像の符号化において符号化圧縮効率を向上させることができる画像情報圧縮方法、画像情報圧縮装置、及びこの画像情報圧縮装置を用いた自由視点テレビシステムを提供することである。

本発明の画像情報圧縮方法は、
被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって複数の静止画像を取得するステップと、
前記複数の静止画像を、ｘ軸、ｙ軸、ｚ軸から成る直交座標系のｚ軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するステップと、
前記マルチカメラ静止画像をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面で切り出すことによって複数の垂直断面画像を生成するステップと、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理するステップと
を有することを特徴とするものである。

また、前記画像情報圧縮方法において、前記複数の垂直断面画像の符号化処理には、Ｈ．２６４／ＡＶＣ規格に準拠した処理又はＭＰＥＧ２規格に準拠した処理が含まれる。

また、前記画像情報圧縮方法において、前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記垂直断面画像を生成するステップ及び前記複数の垂直断面画像を符号化処理するステップに代えて、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理するステップを有するものとしてもよい。

また、本発明の画像情報圧縮装置は、
被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像を、ｘ軸、ｙ軸、ｚ軸から成る直交座標系のｚ軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
前記マルチカメラ静止画像をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面で切り出すことによって複数の垂直断面画像を生成する垂直断面画像生成手段と、
前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理する符号化手段と
を有することを特徴とするものである。

また、前記画像情報圧縮装置において、前記複数の垂直断面画像の符号化処理には、Ｈ．２６４／ＡＶＣ規格に準拠した処理又はＭＰＥＧ２規格に準拠した処理が含まれる。

また、前記画像情報圧縮装置において、前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記符号化手段は、前記垂直断面画像の生成及び前記複数の垂直断面画像の符号化処理に代えて、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理するものとすることができる。

また、本発明の自由視点テレビシステムは、
被写体を中心とする円周上の複数位置又は直線上の複数位置から複数の静止画像を取得する静止画像取得手段と、
前記複数の静止画像に符号化処理を施す上記画像情報圧縮装置と、
前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
を有することを特徴とするものである。

本発明の画像情報圧縮方法、画像情報圧縮装置、及びＦＴＶシステムによれば、マルチカメラ静止画像の複数の垂直断面画像に動画像の符号化処理と同様の符号化処理を施すことによって、符号化圧縮効率を向上させるという効果を得ることができる。

ＦＴＶシステムの基本的な構成を概念的に示す図である。 （ａ）〜（ｅ）は複数台のカメラの配置例を示す図であり、（ａ）は直線配置、（ｂ）は円周配置、（ｃ）は平面配置、（ｄ）は円筒配置、（ｅ）は球面配置を示す。 （ａ）は実空間上における物体、直線配置されたカメラ、基準面、及び光線を示す図であり、（ｂ）は光線空間を示す図である。 （ａ）は光線空間を示す図であり、（ｂ）は光線空間から切り出された画像を示す図であり、（ｃ）は光線空間から切り出された他の画像を示す図である。 本発明の画像情報圧縮方法のマルチカメラ静止画像の生成までの処理を概念的に示す説明図である。 マルチカメラ静止画像から垂直断面画像を切り出す処理を示す説明図である。 垂直断面画像の符号化処理を概念的に示す説明図である。 （ａ）〜（ｃ）は、マルチカメラ静止画像から断面画像を切り出す処理を示す説明図である。 （ａ）〜（ｃ）は、図８（ａ）〜（ｃ）の断面画像の一例を示す図である。 （ａ）〜（ｃ）は、図８（ａ）〜（ｃ）の断面画像の符号化処理を概念的に示す説明図である。 （ａ）〜（ｃ）は、ｆｌｏｗｅｒを、それぞれカメラ画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した結果を示すグラフである。 （ａ）及び（ｂ）は、被写体に向かって直線上の複数位置からカメラによって複数の静止画像を取得した画像を用いてマルチカメラ静止画像を生成し、それぞれカメラ画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した実験結果を示すグラフである。 本発明の画像情報圧縮方法を実施することができる画像情報符号化装置の構成を概略的に示すブロック図である。 図１３に示される画像情報符号化装置の動作を示すフローチャートである。 本発明の画像情報圧縮方法によって符号化された画像情報を復号することができる画像情報復号装置の構成を概略的に示すブロック図である。 図１５に示される画像情報復号装置の動作を示すフローチャートである。 本発明のＦＴＶシステムの基本的な構成を概念的に示す図である。

符号の説明

２０１ 被写体
２０２_１，２０２_２，２０２_３，２０２_４，… カメラ
２０３ カメラ画像
２０３_１，２０３_２，２０３_３，２０３_４，… カメラ画像列
２０４ マルチカメラ静止画像
２０５ 垂直断面画像
２０５_１，２０５_２，２０５_３，… 垂直断面画像列
２０６ 水平断面画像（ＥＰＩ）
３００ 画像情報符号化装置
３０１_１〜３０１_Ｎ 入力端子
３０２_１〜３０２_Ｎ Ａ／Ｄ変換部
３０３ 画素並べ替えバッファ
３０４ 加算器
３０５ 直交変換部
３０６ 量子化部
３０７ 可変符号化部
３０８ 蓄積バッファ
３０９ 出力端子
３１０ レート制御部
３１１ 逆量子化部
３１２ 逆直交変換部
３１３ フレームメモリ
３１５ 動き予測・補償部
３５０ ＦＴＶシステムの送信側の装置
４００ 画像情報復号装置
４０１ 入力端子
４０２ 蓄積バッファ
４０３ 可変復号部
４０４ 逆量子化部
４０５ 逆直交変換部
４０６ 加算器
４０７ 画素並べ替えバッファ
４０８_１〜４０８_Ｎ Ｄ／Ａ変換部
４０９_１〜４０９_Ｎ 出力端子
４１０ フレームメモリ
４１２ 動き予測・補償部
４５０ ＦＴＶシステムの受信側の装置
４５１ 画像情報抽出部

＜本発明の画像情報圧縮方法の説明＞
図５は、本発明の画像情報圧縮方法のマルチカメラ静止画像の生成までの処理を概念的に示す説明図である。また、図６は、マルチカメラ静止画像から垂直断面画像を切り出す処理を示す説明図であり、図７は、垂直断面画像の符号化処理を概念的に示す説明図である。

本発明の画像情報圧縮方法においては、図５に示されるように、被写体２０１を中心とする円周上の複数位置から、複数のカメラによって、複数の静止画像２０３_１，２０３_２，２０３_３，２０３_４，…を取得する。複数の静止画像の取得には、被写体２０１を中心とする円周上に内向きに（すなわち、被写体２０１向きに）配置された複数のカメラ（＃１，＃２，＃３，＃４，…）２０２_１，２０２_２，２０２_３，２０２_４，…を用いる。複数のカメラ２０２_１，２０２_２，２０２_３，２０２_４，…は、被写体２０１を中心とする円周上を所定角度（例えば、０．２５°、１°、又は、３°等）毎に配置する。ただし、被写体２０１が静止している場合には、被写体２０１を向く１台のカメラを、被写体２０１を中心とする円周上を所定角度ずつ（例えば、０．２５°ずつ、１°ずつ、又は、３°ずつ等）移動させる移動機構を用いて、カメラを移動させてカメラ撮影し、複数の静止画像を取得してもよい。なお、図５には、被写体２０１を中心とする円周上の複数位置から、被写体を撮影する場合を説明したが、被写体に対向する直線上に同じ方向を向けて配置された複数位置からカメラ撮影（例えば、図２（ａ）又は図３（ａ）のようにカメラを配置）して、複数の静止画像２０３_１，２０３_２，２０３_３，２０３_４，…を取得する場合にも、本発明は適用できる。この場合のカメラ撮影の複数位置の間隔は、例えば、１ｍｍ間隔、１０ｍｍ間隔、又は１００ｍｍ間隔であるが、カメラ間隔は、被写体の大きさ及び被写体からカメラまでの距離等の各種条件に基づいて自由に決定すればよい。

次に、図５に示されるように、複数の静止画像２０３_１，２０３_２，２０３_３，２０３_４，…を、ｘ軸、ｙ軸、ｚ軸から成る直交座標系のｚ軸方向に、隣接する静止画像同士が対向するようにカメラ撮影した複数の位置の順に並べることによって、マルチカメラ静止画像２０４を生成する。この処理は、後述する図１３の画素並べ替えバッファ３０３によって行われる。

次に、図５及び図６に示されるように、マルチカメラ静止画像２０４をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面（ｘ軸に直交する面、すなわち、ｙｚ平面に平行な面）で切り出すことによって複数の垂直断面画像２０５を生成する。

次に、図７に示されるように、複数の垂直断面画像２０５（図７においては、符号２０５_１，２０５_２，２０５_３，…で示す。）のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて複数の垂直断面画像２０５を符号化処理する。この符号化処理としては、例えば、Ｈ．２６４／ＡＶＣ規格に準拠した処理を用いることができる。

Ｈ．２６４／ＡＶＣは、ハイブリッド符号化の一種であり、動き補償フレーム間予測でフレーム間冗長性を削減し、かつ、ＤＣＴ変換で画像内冗長性を削減する圧縮法である。そのため、これらにより冗長性が削減されやすい動画像ほど効果的な圧縮が期待できる。マルチカメラ静止画像には、通常の時間軸方向に並ぶ複数フレームからなる動画像にはない特徴があり、このような特徴を利用することによって高い圧縮率を得ることができる。なお、本発明に適用可能な符号化方式は、Ｈ．２６４／ＡＶＣに限らず、ＭＰＥＧ２規格に準拠した符号化方式等の他のハイブリッド符号化方式を採用してもよい。以下に、マルチカメラ静止画像を利用した符号化圧縮方法についての実験結果を説明する。

＜マルチカメラ静止画像の符号化圧縮方法の比較＞
図８（ａ）〜（ｃ）は、マルチカメラ静止画像２０４から断面画像を切り出す処理を示す説明図である。図８（ａ）〜（ｃ）に示されるように、マルチカメラ静止画像２０４から断面画像を切り出す典型的な方法としては、３種類の方法がある。第１の方法は、図８（ａ）に示される方法であり、ｚ軸に直交する面（すなわち、ｘｙ平面に平行な面）で断面画像を切り出す方法である。図８（ａ）に示される断面画像２０３を、「カメラ画像」と言う。第２の方法は、図８（ｂ）に示される方法であり、ｙ軸に直交する面（すなわち、ｘｚ平面に平行な面）で断面画像を切り出す方法である。図８（ｂ）に示される断面画像２０６を、「水平断面画像」又は「Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ（ＥＰＩ）」と言う。第３の方法は、図８（ｃ）に示される方法であり、ｘ軸に直交する面（すなわち、ｙｚ平面に平行な面）で断面画像を切り出す方法である。図８（ｃ）に示される断面画像２０５を、「垂直断面画像」と言う。

図９（ａ）〜（ｃ）は、図８（ａ）〜（ｃ）の断面画像の一例を示す図である。鉢植えの花（以下「ｆｌｏｗｅｒ」という。）を撮影して、マルチカメラ静止画像を生成し、図８（ａ）の断面画像であるカメラ画像を切り出した場合には、例えば、図９（ａ）のようになる。また、図８（ｂ）の断面画像である水平断面画像を切り出した場合には、例えば、図９（ｂ）のようになり、図８（ｃ）の断面画像である水平断面画像を切り出した場合には、例えば、図９（ｃ）のようになる。

図１０（ａ）〜（ｃ）は、図８（ａ）〜（ｃ）の断面画像の符号化処理を概念的に示す説明図である。通常に考えられるマルチカメラ静止画像の圧縮方法は、図１０（ａ）に示されるように、カメラ画像を順に並べたカメラ画像列を動画像として扱い、Ｈ．２６４／ＡＶＣを適用する方法である。図１０（ａ）に示される圧縮方法と、図１０（ｂ）に示されるように、水平断面画像を順に並べた水平断面画像列にＨ．２６４／ＡＶＣを適用した圧縮方法と、図１０（ｃ）に示されるように、垂直断面画像を順に並べた垂直断面画像列にＨ．２６４／ＡＶＣを適用した圧縮方法とを比較検討した結果を以下に示す。なお、図１０（ｂ）及び（ｃ）の符号化方法は、断面を変えて並べるのみでリサンプリングしないため、これらの符号化方法の適用によっては画質劣化しないという利点がある。

図１１（ａ）〜（ｃ）は、ｆｌｏｗｅｒを、それぞれカメラ画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した結果を示すグラフである。図１１（ａ）〜（ｃ）において、横軸は、ビットレート（ｂｐｐ（ｂｉｔ／ｐｅｌ））を示し、縦軸は、ＰＳＮＲ（ｐｅａｋ−ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）（ｄＢ）を示す。カメラ間隔の影響も測るために、図１１（ａ）に示されるｆｌｏｗｅｒに対して０．２５°間隔で撮影した場合、図１１（ｂ）に示されるｆｌｏｗｅｒに対して１°間隔で撮影した場合、図１１（ｃ）に示されるｆｌｏｗｅｒに対して３°間隔で撮影した場合の実験を行った。圧縮符号化に用いたソフトウェアとしては、Ｈ．２６４／ＡＶＣ符号化ソフトウェアであるＪＭ７．３を用いた。

図１１（ａ）及び（ｂ）に示されるように、ＰＳＮＲが３０〜４０ｄＢの実用域において、カメラ間隔が１°程度以下ならば垂直断面画像列（黒三角で示される）に対する圧縮符号化処理が効果的であり、図１１（ｃ）に示されるように、カメラ間隔が３°程度以上になるとカメラ画像列に対する圧縮符号化処理が効果的である。なお、この結果は、カメラ画像の解像度を横４００ピクセル、縦２８８ピクセルとして行った実験結果である。さらに解像度が低い場合（例えば、横２００ピクセル、縦１４４ピクセル）には、カメラ間隔が広くなっても垂直断面画像列に対する圧縮符号化処理が効果的である。

図１２（ａ）及び（ｂ）は、被写体に向かって直線上の複数位置からカメラによって複数の静止画像を取得した画像を用いてマルチカメラ静止画像を生成し、それぞれカメラ画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した実験結果を示すグラフである。図１２（ａ）は、カメラ画像の解像度が横３２０ピクセル、縦９６ピクセル、カメラ間隔が４ｍｍで取得した画像を用いた場合の実験結果である。図１２（ｂ）は、カメラ画像の解像度が横１２８ピクセル、縦９６ピクセル、カメラ間隔が４ｍｍで取得した画像を用いた場合の実験結果である。図１２（ａ）及び（ｂ）において、横軸は、ビットレート（ｂｐｐ）を示し、縦軸は、ＰＳＮＲｙ（ｄＢ）を示す。図１２（ａ）に示されるように、解像度が高い場合には、カメラ画像列を圧縮符号化処理する方式が効果的であるが、図１２（ｂ）に示されるように、解像度が低い場合には、カメラ画像列を圧縮符号化処理する方式と垂直断面画像列を圧縮符号化処理する方式のいずれもが効果的になる。

このように、カメラ画像が高解像度かつカメラ間隔が疎の場合には、カメラ画像列が効果的であるが、カメラ画像が低解像度かつカメラ間隔が密になるにつれて垂直断面画像列が効果的になる。さらに、図１２（ｂ）に示される解像度よりも、その解像度を低減化させた実験を行った場合に、グラフとしては明示しないが、カメラ画像列を圧縮符号化処理する方式よりも、垂直画像列を圧縮符号化処理する方式が、より効果的であることを示す実験結果が得られた。なお、図１２（ａ）及び（ｂ）に示されるグラフは、縦（ｙ軸方向）のピクセル（縦９６ピクセル）を固定した状態で、横（ｘ軸方向）の解像度を減少させる（３２０ピクセルを１２８ピクセル）場合の実験結果を示しているが、横（ｘ軸方向）のピクセルを固定した状態で、縦（ｙ軸方向）の解像度を減少させた場合も、同様な実験結果を示すことがわかった。

図５〜図７に示されるように、本発明の圧縮符号化方法は、垂直断面画像列で圧縮符号化処理を実行するが、カメラ画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した結果を比較して、最も圧縮符号化効率の高い圧縮符号化方法を実行するように構成してもよい。したがって、マルチカメラ画像の情報圧縮の効率を考慮して、マルチカメラ画像の解像度の高低及びカメラ同士の間隔の疎密に応じて（すなわち、所定の基準解像度との比較結果及び所定の基準間隔との比較結果に基づいて）、カメラ画像列を用いて圧縮符号化処理する方式（図１２（ａ）参照）を選択する処理を行ってもよい。同様に、マルチカメラ画像の解像度の高低及びカメラ及びカメラ同士の間隔の疎密に応じて（すなわち、所定の基準解像度との比較結果及び所定の基準間隔との比較結果に基づいて）、カメラ画像列を用いて圧縮符号化処理する方式（図１２（ａ）参照）、又は、垂直断面画像列を用いて圧縮符号化する方式のいずれか（図１２（ｂ）参照）を選択する処理を行ってもよい。さらに、マルチカメラ画像の情報圧縮の効率を考慮して、マルチカメラ画像の解像度の高低及びカメラ同士の間隔の疎密に応じて、垂直断面画像列を用いて圧縮符号化処理する方式を選択する処理を行ってもよい。なお、「所定の基準解像度」及び「所定の基準間隔」とは、静止画像に対応して決められる解像度及び間隔をいい、ｆｌｏｗｅｒの場合、解像度の例示として横４００ピクセル、縦２８８ピクセル、間隔の例示として１度を挙げることができる。

＜本発明の画像情報圧縮方法を実施する画像情報圧縮装置の説明＞
図１３は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置３００の構成を概略的に示すブロック図である。

図１３に示されるように、画像情報符号化装置３００は、Ｎ個（Ｎは２以上の整数）の入力端子３０１_１〜３０１_Ｎと、Ｎ個のＡ／Ｄ変換部３０２_１〜３０２_Ｎと、画素並べ替えバッファ３０３と、加算器３０４と、直交変換部３０５と、量子化部３０６と、可変符号化部３０７と、蓄積バッファ３０８と、出力端子３０９と、レート制御部３１０とを備えている。また、画像情報符号化装置３００は、逆量子化部３１１と、逆直交変換部３１２と、マルチカメラフレーム３１３と、動き予測・補償部３１５とを備えている。図５に示される画像情報符号化装置３００は、複数台のカメラからの画像情報を受信できるように、入力端子３０１_１〜３０１_ＮとＡ／Ｄ変換部３０２_１〜３０２_Ｎが複数備えられているが、１台のカメラを被写体を中心とする円周上又は被写体に対向する直線上を移動させて、被写体を撮影する場合には、入力端子とＡ／Ｄ変換部は各１台でよい。

画像情報符号化装置３００の入力端子３０１_１〜３０１_Ｎのそれぞれには、複数の撮影位置からでカメラによって取得されたアナログ映像信号が入力される。カメラの配置は、例えば、図２（ｂ）、（ｄ）、（ｅ）に示されるものである。入力端子３０１_１〜３０１_Ｎ入力されたアナログ映像信号はそれぞれ、Ａ／Ｄ変換部３０２_１〜３０２_Ｎでデジタル映像信号に変換され、画素並べ替えバッファ３０３に保持される。なお、入力端子３０１_１〜３０１_Ｎにデジタル映像信号が入力される場合は、Ａ／Ｄ変換部３０２_１〜３０２_Ｎは不要である。

画像情報符号化装置３００の画素並べ替えバッファ３０３は、Ａ／Ｄ変換部３０２_１〜３０２_Ｎから供給された画像情報から、マルチカメラ静止画像を生成し、マルチカメラ静止画像から垂直断面画像を抽出する。画素並べ替えバッファ３０３は、フレーム内符号化（イントラ符号化）が行われる画像に対しては、フレーム全体の画像情報を直交変換部３０５に供給する。直交変換部３０５は、画像情報に対して離散コサイン変換等の直交変換を施し、変換係数を量子化部３０６に供給する。量子化部３０６は、直交変換部３０５から供給された変換係数に対して量子化処理を施す。

可変符号化部３０７は、量子化部３０６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可変符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可変符号化部３０７は、符号化された符号化モードを蓄積バッファ３０８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子３０９から出力される。また、可変符号化部３０７は、量子化された変換係数に対して可変長符号化又は算術符号化等の可変符号化を施し、符号化された変換係数を蓄積バッファ３０８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子３０９より出力される。

量子化部３０６の挙動は、蓄積バッファ３０８に蓄積された変換係数のデータ量に基づいて、レート制御部３１０によって制御される。また、量子化部３０６は、量子化後の変換係数を逆量子化部３１１に供給し、逆量子化部３１１は、その量子化後の変換係数を逆量子化する。逆直交変換部３１２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ３１３に供給して蓄積させる。

また、画素並べ替えバッファ３０３は、フレーム間予測符号化（インター符号化）が行われる画像に関しては、画像情報を動き予測・補償部３１５に供給する。動き予測・補償部３１５は、画像情報に符号化処理を施し、生成した参照画像情報を加算器３０４に供給し、加算器３０４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部３１５は、同時に動きベクトル情報を可変符号化部３０７に供給する。

可変符号化部３０７は、量子化部３０６からの量子化された変換係数及び量子化スケール、並びに動き予測・補償部３１５から供給された動きベクトル情報等に基づいて符号化モードを決定し、その決定した符号化モードに対して可変長符号化又は算術符号化等の可変符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可変符号化部３０７は、符号化された符号化モードを蓄積バッファ３０８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。

また、可変符号化部３０７は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可変符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。また、イントラ符号化と異なり、インター符号化の場合、直交変換部３０５に入力される画像情報は、加算器３０４より得られた差分信号である。なお、その他の処理については、イントラ符号化による画像圧縮の場合と同様である。

図１４は、図１３に示される画像情報符号化装置３００の符号化処理を示すフローチャートである。図１４に示されるように、画像情報符号化装置３００は、Ａ／Ｄ変換部３０２_１〜３０２_Ｎによって、入力されたアナログ映像信号のＡ／Ｄ変換を全フレームについて行い（ステップＳＴ１１）、画素並べ替えバッファ３０３によって画素の並べ替えを行い（ステップＳＴ１２）、その後、動き予測・補償部３１５による動き予測・補償（ステップＳＴ１３）を行う。その後、直交変換部３０５によって生成された画像情報を直交変換し（ステップＳＴ１４）、量子化部３０６及びレート制御部３１０によって量子化及び量子化レート制御を行い（ステップＳＴ１５，ＳＴ１６）、可変符号化部３０７により可変符号化を行い（ステップＳＴ１７）、逆量子化部３１１により逆量子化を行い（ステップＳＴ１８）、逆直交変換部３１２により逆直交変換（ステップＳＴ１９）を行う。ステップＳＴ１３〜ＳＴ１９の処理を、フレーム内の所定画素数からなるブロックのすべてに対して行う。

図１５は、画像情報符号化装置３００に対応する画像情報復号装置４００の構成を概略的に示すブロック図である。

図１５に示されるように、画像情報復号装置４００は、入力端子４０１と、蓄積バッファ４０２と、可変復号部３０３と、逆量子化部４０４と、逆直交変換部４０５と、加算器４０６と、画素並べ替えバッファ４０７と、Ｎ個のＤ／Ａ変換部４０８_１〜４０８_Ｎと、Ｎ個の出力端子４０９_１〜４０９_Ｎとを備えている。また、画像情報復号装置４００は、フレームメモリ４１０と、動き予測・補償部４１２とを備えている。図１５に示される画像情報復号装置４００は、出力端子４０１_１〜４０１_ＮとＡ／Ｄ変換部４０２_１〜４０２_Ｎが複数備えられているが、入力端子とＡ／Ｄ変換部は各１つであってもよい。また、Ｎ個の出力端子４０９_１〜４０９_Ｎからデジタル映像信号を出力する場合は、Ｎ個のＤ／Ａ変換部４０８_１〜４０８_Ｎは不要となる。

図１５に示した画像情報復号装置４００において、入力端子４０１から入力された画像圧縮情報は、蓄積バッファ４０２において一時的に格納された後、可変復号部４０３に転送される。可変復号部４０３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４０４等に供給する。また同様に、可変復号部４０３は、量子化された変換係数を取得し逆量子化部４０４に供給する。さらに、可変復号部４０３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部４１２に供給する。

逆量子化部４０４は、可変復号部４０３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４０５に供給する。逆直交変換部４０５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換等の逆直交変換を施す。ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画素並べ替えバッファ４０７に格納され、Ｄ／Ａ変換部４０８_１〜４０８_ＮにおけるＤ／Ａ変換処理の後に、出力端子４０９_１〜４０９_Ｎから出力される。

また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部４１２は、可変復号処理が施された動きベクトル情報とフレームメモリ４１０に格納された画像情報とに基づいて参照画像を生成し、加算器４０６に供給する。加算器４０６は、この参照画像と逆直交変換部４０５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様である。

図１６は、図１５に示される画像情報復号装置４００の符号化処理を示すフローチャートである。図１６に示されるように、画像情報復号装置４００は、入力信号の可変復号（ステップＳＴ２１）、逆量子化（ステップＳＴ２２）、逆直交変換（ステップＳＴ２３）後、画像情報が動き予測補償されたものであれば、動き予測補償を用いて復号し（ステップＳＴ２４）この処理を、全ブロックについて行う。その後、画素の並べ替え（ステップＳＴ２５）、Ｄ／Ａ変換（ステップＳＴ２６）を行う。

以上は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置３００と、本発明の画像情報圧縮方法によって符号化された画像情報を復号することができる画像情報復号装置４００を例示して説明したが、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置３００及び画像情報復号装置４００は、上記構成のものに限定されず、他の構成の装置にも本発明の画像情報圧縮方法を適用できる。次に、本発明の画像情報圧縮方法の実施形態及び本発明の画像情報圧縮方法を適用したＦＴＶシステムを説明する。

＜ＦＴＶシステムの説明＞
図１７は、本発明のＦＴＶシステムの基本的な構成を概念的に示す図である。図１７において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。

このＦＴＶシステムは、送信側の装置３５０と、受信側の装置４５０とが離れた場所にあり、送信側の装置３５０から受信側の装置４５０まで、例えば、インターネットなどを用いて、ＦＴＶ信号を伝送するシステムである。

図１７に示されるように、送信側の装置３５０は、複数台のカメラ（図１７には、符号１０２_１〜１０２_４の４台を示すが、実際にはより多くのカメラが用いられる。）と、複数台のカメラによって取得された映像情報を圧縮符号化する、上記実施の形態において説明された構成及び機能を有する画像情報符号化装置３００とを備えている。画像情報符号化装置３００で圧縮符号化された画像情報は、図示しない通信装置によって受信側の装置４５０に送られる。

また、受信側の装置４５０は、図示しない受信装置と、上記実施の形態１において説明された画像情報復号装置４００と、画像情報復号装置４００からの出力信号に基づいて光線空間１０３を形成し、ユーザーインターフェース１０４から入力された視点位置に応じて光線空間１０３から断面を抽出して表示する。

図３（ａ），（ｂ）及び図４（ａ）〜（ｃ）に示されるように、例えば、光線空間法を用いることにより、光線空間１０３から任意の面を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成することが可能である。例えば、図４（ａ）に示される光線空間１０３から断面１０３ａを切り出すと、図４（ｂ）に示されるような画像が生成され、図４（ａ）に示される光線空間１０３から断面１０３ｂを切り出すと、図４（ｃ）に示されるような画像が生成される。

以上説明したように、このＦＴＶシステムにおいては、上記実施形態で説明された画像情報圧縮方法を用いているので、ＦＴＶシステムにおけるＦＴＶ信号の符号化圧縮効率を向上させることができる。

Claims (5)

1. 被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって複数の静止画像を取得するステップと、
   前記複数の静止画像を、ｘ軸、ｙ軸、ｚ軸から成る直交座標系のｚ軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するステップとを有し、
   前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも低いか又は前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも密である場合には、前記マルチカメラ静止画像をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面で切り出すことによって複数の垂直断面画像を生成し、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理するステップを有し、
   前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理するステップを有する
   ことを特徴とする画像情報圧縮方法。
2. 前記複数の垂直断面画像の符号化処理には、Ｈ．２６４／ＡＶＣ規格に準拠した処理又はＭＰＥＧ２規格に準拠した処理が含まれることを特徴とする請求項１に記載の画像情報圧縮方法。
3. 被写体を中心とする円周上の複数位置又は直線上の複数位置からカメラによって取得された複数の静止画像を、ｘ軸、ｙ軸、ｚ軸から成る直交座標系のｚ軸方向に、隣接する静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
   前記マルチカメラ静止画像をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面で切り出すことによって複数の垂直断面画像を生成する垂直断面画像生成手段と、
   符号化手段とを有し、
   前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも低いか又は前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも密である場合には、前記垂直断面画像生成手段が、前記マルチカメラ静止画像をｘ軸及びｚ軸を含むｘｚ平面に垂直であって、かつ、ｘ軸及びｙ軸を含むｘｙ平面に垂直な面で切り出すことによって複数の垂直断面画像を生成し、前記符号化手段が、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理し、
   前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高く、前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合には、前記符号化手段は、前記カメラによって取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間の相関を利用したフレーム間予測符号化を用いて前記複数のカメラ画像を符号化処理する
   ことを特徴とする画像情報圧縮装置。
4. 前記複数の垂直断面画像の符号化処理には、Ｈ．２６４／ＡＶＣ規格に準拠した処理又はＭＰＥＧ２規格に準拠した処理が含まれることを特徴とする請求項３に記載の画像情報圧縮装置。
5. 被写体を中心とする円周上の複数位置又は直線上の複数位置から複数の静止画像を取得する静止画像取得手段と、
   前記複数の静止画像に符号化処理を施す、請求項３に記載の画像情報圧縮装置と、
   前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置と、
   見る者の視点位置を入力するユーザーインターフェースと、
   前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点から見た画像を抽出する画像情報抽出部と
   を有することを特徴とする自由視点テレビシステム。

Images