JP4780046B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は画像処理方法、画像処理装置及び画像処理プログラムに係り、特にビデオカメラによる撮像または計算機上の処理により得られた多くの視点の画像を再生可能とする画像処理方法、画像処理装置及び画像処理プログラムに関する。

より多くの視点（角度）から画像を撮像し、映像コンテンツを作成する方法が利用されている。この様にして撮像される多視点画像は３Ｄ映像システム等で利用される。各画像をそれに応じた視点から見られるように表示することで、多くの視点に応じた立体画像表示が可能になる。この場合、再生画像を見る際に、視点を変えると、それに応じて実際に見える画像も変化するので、非常に自然な立体画像表示となる。また、観察者が自由に任意の視点位置を指定し観察することのできる自由視点映像システムも検討されている（例えば、非特許文献１参照）。

多視点画像では通常の２次元の画像に比べて視点の数分だけ情報量が増加するために、情報量が膨大である。そのため、多視点画像の情報量を効率良く圧縮する符号化方法も検討されているが、必要な視点の画像を全て符号化し、伝送／蓄積するには限界がある。そこで、撮像する画像を間引き、表示するために必要な画像は得られた画像からコンピュータ等を用いた画像処理により生成する方法が検討されている。

この場合、図９に示すように立体画像の対象物に対して所望する視点ｖ’とは異なる視点（ｖ’−１）、（ｖ’＋１）から撮像された視点画像Ｍ（ｖ’−１）の画像Ｐ（ｖ’−１，ｔ’）、視点画像Ｍ（ｖ’＋１）の画像Ｐ（ｖ’＋１，ｔ’）から、電子的処理により所望する視点画像Ｍ（ｖ’）の補間画像Ｐ（ｖ’，ｔ’）を得る補間処理手法が知られている（例えば、特許文献１、特許文献２、特許文献３参照）。

一方、フレーム周波数が異なる映像コンテンツの再生を可能とするための、フレーム周波数の変換技術が知られている（例えば特許文献４参照）。このフレーム周波数の変換を行う際には、図１０に示すように元の画像信号Ｐ（ｔ’−１）、Ｐ（ｔ’＋１）の２フレームの間に新たな画像信号Ｐ（ｔ’）を生成する必要がある。

谷本，藤井、「自由視点映像技術」、映像情報メディア学会誌、Vol.６０，No.１，ｐｐ.２９−３４（２００６年１月） 特開平７−２１０６８６号公報 特開平９−２７９６９号公報 特開平１０−１３８６０号公報 特開昭６１−２６３８２号公報

しかしながら、従来の多視点画像の補間処理手法では、図９に示したように所望の視点画像Ｍ（ｖ’）の画像Ｐ（ｖ’，ｔ’）を生成する際に、所望する視点ｖ’とは異なる視点（ｖ’−１）、（ｖ’＋１）から撮像された視点画像Ｍ（ｖ’−１）の画像Ｐ（ｖ’−１，ｔ’）、視点画像Ｍ（ｖ’＋１）の画像Ｐ（ｖ’＋１，ｔ’）から補間処理を行うので、異なる視点では隠蔽されている部分が適切に補間できない。特に、視差の間隔が大きい場合、対象物の視差による変形や視点間の輝度値の差により適切に補間できないことが課題である。

一方、従来のフレームレート変換方式では、図１０に示すように所望の画像Ｐ（ｔ’）を生成する際に、異なる時刻の画像Ｐ（ｔ’−１）、Ｐ（ｔ’＋１）から補間処理を行うので、対象物が静止している場合や、比較的緩やかに動いている場合では比較的良好に補間できるが、対象物の動きが大きい場合では、異なる時刻の画像において隠蔽されている部分や時間差による変形が大きい部分が適切に補間できないことが課題である。

本発明は上記の点に鑑みなされたもので、異なる視点から撮像された画像からの補間処理と、異なる時刻の画像からの補間処理の双方を用いて、より良好な補間を行い得る画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮像して得られた画像信号、又は一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、多視点画像信号中の一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理方法であって、
補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の画像信号から、補間対象画像信号に対応する第一の補間画像信号を生成する第１のステップと、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から、補間対象画像信号に対応する第二の補間画像信号を生成する第２のステップと、第一の補間画像信号の各画素と、第二の補間画像信号における第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような２つの画素の混合比率を２つの画素毎にそれぞれ算出する第３のステップと、第一の補間画像信号と第二の補間画像信号とを、２つの画素毎に混合比率に応じてそれぞれ混合して補間対象画像信号を生成する第４のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮像して得られた画像信号、又は一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、多視点画像信号中の一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理装置であって、
補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の画像信号から、補間対象画像信号に対応する第一の補間画像信号を生成する第１の信号生成手段と、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から、補間対象画像信号に対応する第二の補間画像信号を生成する第２の信号生成手段と、第一の補間画像信号の各画素と、第二の補間画像信号における第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような２つの画素の混合比率を２つの画素毎にそれぞれ算出する混合比率算出手段と、第一の補間画像信号と第二の補間画像信号とを、２つの画素毎に混合比率に応じてそれぞれ混合して補間対象画像信号を生成する補間対象画像信号生成手段とを有することを特徴とする。

更に、上記の目的を達成するため、第３の発明は、設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、一の視点から実際に撮像して得られた画像信号、又は一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、コンピュータにより多視点画像信号中の一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理プログラムであって、上記コンピュータに、
補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の画像信号から、補間対象画像信号に対応する第一の補間画像信号を生成する第１のステップと、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から、補間対象画像信号に対応する第二の補間画像信号を生成する第２のステップと、第一の補間画像信号の各画素と、第二の補間画像信号における第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような２つの画素の混合比率を２つの画素毎にそれぞれ算出する第３のステップと、第一の補間画像信号と第二の補間画像信号とを、２つの画素毎に混合比率に応じてそれぞれ混合して補間対象画像信号を生成する第４のステップとを実行させることを特徴とする。

本発明によれば、多視点画像信号中の存在しない所望の画像信号を補間対象画像信号とし、その補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の画像信号から生成した第一の補間画像信号と、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から生成した第二の補間画像信号とを混合して最終的な補間画像信号を生成する。第一の補間画像信号と第二の補間画像信号を混合する際に、第一の補間画像信号の各画素と、第二の補間画像信号における第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、第二の補間画像信号に比べて第一の補間画像信号の方の信頼性が高いと推定される画素では、第一の補間画像信号の方の混合比率を高くし、第二の補間画像信号に比べて第一の補間画像信号の方の信頼性が高いと推定される画素では、第二の補間画像信号の方の混合比率を高くするように混合比率を２つの画素毎にそれぞれ決定し、その混合比率に応じて適応的に混合する。従って、視差による変形、隠蔽等の影響により、異なる視点の画像信号から良好な補間画像信号が得にくい部分では比較的信頼性が高いと推定される第二の補間信号の重み付けが大きくなり、時間差による変形、隠蔽等の影響により、異なる時間の画像信号から良好な補間画像信号が得にくい部分では比較的信頼性が高いと推定される第一の補間画像信号の重み付けが大きくなるので、変形、隠蔽等の影響が軽減され、より良好な補間画像信号を得ることができる。

次に本発明を実施するための最良の形態について図面を参照して説明する。図１は本発明になる画像処理装置の一実施例のブロック図を示す。図１に示すように、画像処理装置はフレームバッファ１０１、１０２、１０３、視差ベクトル検出部１０４、視差補償予測部１０５、１０６、動きベクトル検出部１０７、動き補償予測部１０８、１０９、加算部１１０、１１１、１１２、乗算部１１３、１１４、１１５、１１６、１１７、１１８、減算部１１９、１２０、１２１、絶対値化部１２２、１２３、空間ＬＰＦ(low pass filter)１２４、非線形変換部１２５を備えている。

本実施例においては、図３に示すように、多視点画像信号中の存在しない所望の画像信号を補間対象画像信号とし、これから生成する補間対象画像信号とは別の視点の画像、及び、同じ視点の異なる時刻の画像から補間画像を生成する。各視点画像を構成する視点ｖの視点画像をＭ（ｖ）とし、ｖは視点方向に割り振られた視点番号を示す変数である。さらに、視点ｖの視点画像Ｍ（ｖ）を構成する画像をＰ（ｖ，ｔ）とし、ｖは視点方向に割り振られた視点番号、ｔは時間方向に割り振られたフレーム番号を示す変数である。

さらに、これから生成する補間対象画像を画像Ｐ（ｖ’，ｔ’）とし、隣接する視点を視点（ｖ’−１）、視点（ｖ’＋１）、それらの視点画像をそれぞれＭ（ｖ’−１）、Ｍ（ｖ’＋１）とする。さらに、画像Ｐ（ｖ’，ｔ’）と隣接する視点の同一時刻の画像をＰ（ｖ’−１，ｔ’）、Ｐ（ｖ’＋１，ｔ’）とする。さらに、視点（ｖ’−１）と視点（ｖ’＋１）の直線上の間に生成する補間対象画像の視点ｖ’が存在するものとする。さらに、画像Ｐ（ｖ’，ｔ’）と同じ視点で異なる時刻の画像をＰ（ｖ’，ｔ’−１）、Ｐ（ｖ’，ｔ’＋１）とする。

上記の視点（ｖ’−１）、ｖ’、（ｖ’＋１）は設定された視点であり、その各視点における視点画像Ｍ（ｖ’−１）、Ｍ（ｖ’）、Ｍ（ｖ’＋１）はその視点から実際にビデオカメラで撮像して得られた画像信号、又はその視点から仮想的に撮影したものとしてコンピュータ等により生成された画像信号である。

図１において、視点（ｖ’−１）の視点画像Ｍ（ｖ’−１）はフレームバッファ１０１に順次蓄積される。同様に、視点（ｖ’）の視点画像Ｍ（ｖ’）はフレームバッファ１０２に順次蓄積され、視点（ｖ’＋１）の視点画像Ｍ（ｖ’＋１）はフレームバッファ１０３に順次蓄積される。

本実施例では、補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の画像信号から第一の補間画像信号を生成し、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から第二の補間画像信号を生成し、第一の補間画像信号と第二の補間画像信号との混合比率をこれらの相対的な信頼性の大小に応じて決定し、その混合比率に応じて第一の補間画像信号と第二の補間画像信号とを混合し、最終的な補間画像信号とする。まず、補間対象の視点と異なる視点の画像信号から第一の補間画像信号を生成する手法について説明する。

視差ベクトル検出部１０４は、フレームバッファ１０１、１０３から、これから生成する補間画像Ｐ（ｖ’，ｔ’）と隣接する視点の同じ時刻の画像Ｐ（ｖ’−１，ｔ’）、Ｐ（ｖ’＋１，ｔ’）が供給され、これらの画像を参照画像として水平方向４画素、垂直方向４画素（すなわち、４×４画素）ないし８×８画素程度の画素ブロック毎に視差ベクトルを算出する。

ここでは、ブロックマッチングにより、参照画像Ｐ（ｖ’−１，ｔ’）とＰ（ｖ’＋１，ｔ’）とから視差ベクトルを算出する手法の一例について図４を用いて説明する。図４（Ａ）に示す参照画像Ｐ（ｖ’−１，ｔ’）と、同図（Ｃ）に示す参照画像Ｐ（ｖ’＋１，ｔ’）の画素ブロックを予め定めた検出範囲で移動させながら、同図（Ｂ）に示す符号化画像Ｐ（ｖ’，ｔ’）との間でブロックマッチングを行う。

参照画像となる視点（ｖ’−１）と視点（ｖ’＋１）の直線上の間に生成する中間画像の視点ｖ’が存在し、視点ｖ’と視点（ｖ’−１）の距離がａ、視点ｖ’と視点（ｖ’＋１）の距離がｂである場合、参照画像Ｐ（ｖ’−１，ｔ’）の画素ブロックの位置を、符号化画像Ｐ（ｖ’,t'）の視点補間する画素ブロックの位置１１と同じ参照画像Ｐ（ｖ’−１，ｔ’）上の画素ブロックの位置１２から水平方向に＋ｎ画素、垂直方向に＋ｍ画素移動させた場合、参照画像Ｐ（ｖ’＋１，ｔ’）の画素ブロックの位置を、上記画素ブロックの位置１１と同じ参照画像Ｐ（ｖ’＋１，ｔ’）上の画素ブロックの位置１３から水平方向に−ｎ×ｂ／ａ画素、垂直方向に−ｍ×ｂ／ａ画素移動させる。

画素ブロックの移動ベクトル（移動量）は整数精度でもよいが、精度を高めるために整数画素以下の画素精度を用いることもできる。その場合、実際に参照画像に存在する整数画素の値から１／２画素精度、１／４画素精度等、整数画素以下の画素精度の信号を補間によって生成する。例えば、水平方向を１／２画素精度とする場合、水平方向の整数画素の中間位置にある１／２画素精度の信号は水平方向の平均値フィルタや４タップ、６タップ等のＦＩＲ(Finite Impulse Response)フィルタを用いたフィルタリングによって１／２画素精度の信号を生成する。ここで、ＦＩＲフィルタとは、隣接する画素の値にそれぞれ係数を乗じた後に総和をとり、除算した値を出力するフィルタである。

水平方向の隣接画素に対してフィルタリングを施し、水平方向に１／２画素精度の信号を生成する。垂直方向を１／２画素精度とする場合も同様に、垂直方向の隣接画素に対してフィルタリングを施し、垂直方向に１／２画素精度の信号を生成する。また、４つの整数画素精度の信号の中間位置にある１／２画素精度の信号は、水平と垂直の両方向にフィルタリングを行うことにより生成する。また、１／４画素精度の信号を生成する場合は、１／２画素精度の信号の値を算出した後に更にフィルタリングにより１／４画素精度の信号を生成する。

そして、視差ベクトル検出部１０４は、整数画素精度あるいは整数画素以下の画素精度で移動ベクトルを移動させる毎に、その移動画素ベクトルに相当する参照画像Ｐ（ｖ’−１，ｔ’）と参照画像Ｐ（ｖ’＋１，ｔ’）の画素ブロック間の画素値の差分絶対値和、または差分二乗和を算出して評価値とした後、予め定めた検出範囲内で評価値の最も小さい移動ベクトルを視差ベクトルとする。

ここで、視点ｖ’と視点（ｖ’−１）との距離ａと、視点ｖ’と視点（ｖ’＋１）との距離ｂが等しい場合、図４に示す参照画像Ｐ（ｖ’−１，ｔ’）における視差ベクトルＶ１と参照画像Ｐ（ｖ’＋１，ｔ’）における視差ベクトルＶ２の大きさが等しく、正負符号が逆になる。

視差補償予測部１０５では、参照画像Ｐ（ｖ’−１，ｔ’）に対して画素ブロック毎に視差補償予測を行う。すなわち、視差補償予測部１０５は、フレームバッファ１０１に蓄積された参照画像Ｐ（ｖ’−１，ｔ’）から、視差ベクトル検出部１０４から供給される視差ベクトルに応じて移動した画素ブロックを取得し、視差補償予測信号とする。ここで、視差ベクトルが整数精度以下の画素精度の場合、前記の方法でフィルタリングにより生成し、視差補償予測信号とする。

視差補償予測部１０６では、参照画像Ｐ（ｖ’＋１，ｔ’）に対して画素ブロック毎に視差補償予測を行う。すなわち、視差補償予測部１０６は、フレームバッファ１０３に蓄積された参照画像Ｐ（ｖ’＋１，ｔ’）から、視差ベクトル検出部１０４から供給される視差ベクトルの水平成分に対して−ｎ×ｂ／ａ、垂直成分に対して−ｍ×ｂ／ａの計算をしたものを実際の視差ベクトルとし、計算された視差ベクトルに応じて移動した画素ブロックを取得し、視差補償予測信号とする。ここで、計算された視差ベクトルが整数精度以下の画素精度の場合の処理も視差補償予測部１０５と同様である。

乗算部１１３、１１４及び加算部１１０は、視差補償予測部１０５及び視差補償予測部１０６でそれぞれ得られる各視差補償予測信号を各画素毎に重み付けして混合し、視差補償予測による第一の補間画像信号を生成する。ここでは、補間する画像の視点に近い方の予測信号の割合を多く重み付けする。視点ｖ’と視点（ｖ’−１）の距離をａ、視点ｖ’と視点（ｖ’＋１）の距離をｂとした場合、乗算部１１３では視差補償予測部１０５から供給される視差補償予測信号の各画素の値に対してｂ／（ａ＋ｂ）を乗じ、乗算部１１４では視差補償予測部１０６から供給される視差補償予測信号の各画素の値に対してａ／（ａ＋ｂ）を乗じる。また、これらを簡略化して共に１／２に近似してもよい。乗算部１１３及び１１４で重み付けされた信号は各画素毎に加算部１１０で加算され、別視点の画像から生成された第一の補間画像信号とする。

次に、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から第二の補間画像信号を生成する手法について説明する。

動きベクトル検出部１０７は、フレームバッファ１０２から、これから生成する中間画像Ｐ（ｖ’，ｔ’）と同じ視点の前の時刻の画像Ｐ（ｖ’，ｔ’−１）と、後の時刻の画像Ｐ（ｖ’，ｔ’＋１）とが供給され、これらの画像を参照画像として４×４画素ないし８×８画素程度の画素ブロック毎に動きベクトルを算出する。ここで行われる動きベクトルの検出処理手法は視差ベクトル検出部１０４で用いられる視差ベクトル検出手法と類似しており、用いる参照画像が異なる。

すなわち、動きベクトル検出部１０７では、参照画像Ｐ（ｖ’，ｔ’−１）と中間画像Ｐ（ｖ’，ｔ’）との時間間隔がｃ、参照画像Ｐ（ｖ’，ｔ’＋１）と中間画像Ｐ（ｖ’，ｔ’）との時間間隔がｄである場合、参照画像Ｐ（ｖ’，ｔ’−１）の画素ブロックの位置を水平方向に＋ｎ画素、垂直方向に＋ｍ画素移動させた場合、参照画像Ｐ（ｖ’，ｔ’＋１）の画素ブロックの位置を水平方向に−ｎ×ｄ／ｃ画素、垂直方向に−ｍ×ｄ／ｃ画素移動させる。ここで、前記視差ベクトル検出と同様に、動きベクトルは整数画素以下の画素精度を用いることもできる。

そして、動きベクトル検出部１０７では、画素ブロックの位置を移動させる毎に参照画像Ｐ（ｖ’，ｔ’−１）と参照画像Ｐ（ｖ’，ｔ’＋１）の画素ブロック間の画素値の差分絶対値和、または差分二乗和を算出して評価値とした後、予め定めた検出範囲内で評価値の最も小さい移動ベクトルを動きベクトルとする。ここで、時間間隔ｃとｄが等しい場合、それぞれの動きベクトルの各成分の大きさが等しく、正負符号が逆になる。

動き補償予測部１０８では、参照画像Ｐ（ｖ’，ｔ’−１）に対して画素ブロック毎に動き補償予測を行う。すなわち、動き補償予測部１０８は、フレームバッファ１０２に蓄積された参照画像Ｐ（ｖ’，ｔ’−１）から、動きベクトル検出部１０７から供給される動きベクトルに応じて移動した画素ブロックを取得し、動き補償予測信号とする。ここで、動きベクトルが整数精度以下の画素精度の場合、視差補償予測と同様に、フィルタリングにより生成し、動き補償予測信号とする。

動き補償予測部１０９では、参照画像Ｐ（ｖ’，ｔ’＋１）に対して画素ブロック毎に動き補償予測を行う。すなわち、動き補償予測部１０９は、フレームバッファ１０２に蓄積された参照画像Ｐ（ｖ’，ｔ’＋１）から、動きベクトル検出部１０７から供給される動きベクトルの水平成分に対して−ｎ×ｄ／ｃ、垂直成分に対して−ｍ×ｄ／ｃの計算をしたものを実際の動きベクトルとし、計算された動きベクトルに応じて移動した画素ブロックを取得し、動き補償予測信号とする。ここで、計算された動きベクトルが整数精度以下の画素精度の場合の処理も動き補償予測部１０８と同様である。

乗算部１１５、１１６及び加算部１１１により、動き補償予測部１０８及び動き補償予測部１０９でそれぞれ得られる各動き補償予測信号を各画素毎に重み付けして混合し、動き補償予測による第二の補間画像信号を生成する。ここでは、補間する画像に近い方の予測信号の割合を多く重み付けする。画像Ｐ（ｖ’，ｔ’）と画像Ｐ（ｖ’，ｔ’−１）との時間間隔をｃ、画像Ｐ（ｖ’，ｔ’）と画像Ｐ（ｖ’，ｔ’＋１）との時間間隔をｄとした場合、乗算部１１５では動き補償予測部１０８から供給される動き補償予測信号の各画素の値に対してｄ／（ｃ＋ｄ）を乗じ、乗算部１１６では動き補償予測部１０９から供給される動き補償予測信号の各画素の値に対してｃ／（ｃ＋ｄ）を乗じる。また、これらを簡略化して共に１／２に近似してもよい。乗算部１１５及び１１６で重み付けされた信号は各画素毎に加算部１１１で加算され、同一視点で異なる時間の画像から生成された第二の補間画像信号とする。

次に、第一の補間画像信号と第二の補間画像信号との混合比率をこれらの相対的な信頼性の大小に応じて決定する手法について説明する。

まず、減算部１１９では、視差補償予測部１０５で得られた参照画像Ｐ（ｖ’−１，ｔ’）からの視差補償予測信号と視差補償予測部１０６で得られた参照画像Ｐ（ｖ’＋１，ｔ’）からの視差補償予測信号との差分信号を各画素毎に算出する。この減算部１１９から出力された差分信号は絶対値化部１２２で各画素毎に絶対値化される。これら絶対値化された値は、別視点の画像から生成された第一の補間画像信号の評価値となる。この評価値の値が小さければ小さいほど、第一の補間画像信号の信頼性は高いと推定される。

同様に、減算部１２０では、動き補償予測部１０８で得られた参照画像Ｐ（ｖ’，ｔ’−１）からの動き補償予測信号と動き補償予測部１０９で得られた参照画像Ｐ（ｖ’，ｔ’＋１）からの動き補償予測信号との差分信号を各画素毎に算出する。この減算部１２０から出力された差分信号は、絶対値化部１２３で各画素毎に絶対値化される。これら絶対値化された値は、同一視点で異なる時間の画像から生成された第二の補間画像信号の評価値となる。この評価値の値が小さければ小さいほど、第二の補間画像信号の信頼性は高いと推定される。

更に、減算部１２１は、絶対値化部１２２で得られた絶対値化された差分信号から絶対値化部１２３で得られた絶対値化された差分信号を各画素毎に減算する。これらの絶対値化された差分信号同士の減算値は、別視点の画像から生成された第一の補間画像信号と同一視点で異なる時間の画像から生成された第二の補間画像信号との相対的な評価値を示す。この評価値が負の場合、同一視点で異なる時間の画像から生成された第二の補間画像信号よりも別視点の画像から生成された第一の補間画像信号の方が信頼性は高いと推定される。一方、上記の評価値が正の場合、別視点の画像から生成された第一の補間画像信号よりも同一視点で異なる時間の画像から生成された第二の補間画像信号の方が信頼性は高いと推定される。

減算部１２１から出力された減算値は、空間ＬＰＦ１２４のフィルタリングにより空間的な変化がスムージングされた後、非線形変換部１２５に供給される。非線形変換部１２５では、空間ＬＰＦ１２４からの出力信号を、各画素毎に２種類の補間画像信号の混合比率を示す値に非線形変換する。

図５は非線形変換部１２５の非線形変換特性の一例を示す。この非線形変換特性は、図５に示すように入力信号（空間ＬＰＦ１２４の出力信号）の値が負の閾値Ｔａ以下の場合、明らかに同一視点で異なる時間の画像から生成された第二の補間画像信号よりも別視点の画像から生成された第一の補間画像信号が適合するレベルとみなして出力信号の値を”０”とする。また、入力信号（空間ＬＰＦ１２４の出力信号）の値が正の閾値Ｔｂ以上の場合、明らかに別視点の画像から生成された第一の補間画像信号よりも同一視点で異なる時間の画像から生成された第二の補間画像信号が適合するレベルとみなして出力信号の値を”１”とする。

更に、非線形変換部１２５は入力信号（空間ＬＰＦ１２４の出力信号）の値が閾値ＴａからＴｂの間の値であるときには、その入力信号の値に応じた値の出力信号を出力する線形変換をする。なお、画像の画素の深さが例えば２５６ビットの場合、閾値Ｔａを−１２〜−４程度、閾値Ｔｂを４〜１２程度に設定する。この様にして非線形変換部１２５から各画素毎に得られた出力信号は、各画素毎に得られた混合比率を示す値ｋ（ｋは０以上、１以下の正の実数）として、乗算部１１７と乗算部１１８とにそれぞれ供給される。非線形変換部１２５による非線形変換により、第二の補間画像信号に比べて第一の補間画像信号の方の信頼性が高いと推定される画素ではｋが小なる値となり、第一の補間信号の方の混合比率が高くなる。第一の補間画像信号に比べて第二の補間画像信号の方の信頼性が高いと推定される画素ではｋが大なる値となり、第二の補間画像信号の方の混合比率が高くなる。

次に、混合比率に応じて第一の補間画像信号と第二の補間画像信号とを混合し、最終的な補間画像信号を生成する手法について説明する。

乗算部１１７、１１８、加算部１１２により第一の補間画像信号と第二の補間画像信号を（１−ｋ）：ｋの比率で混合する。まず、乗算部１１７は、各画素毎に決定された混合比率を示す値ｋが与えられ、別視点の画像から生成された第一の補間画像信号に係数（１−ｋ）を乗算する。一方、乗算部１１８は、各画素毎に決定された混合比率を示す値ｋが与えられ、同一視点で異なる時間の画像から生成された第二の補間画像信号に係数ｋを乗算する。乗算部１１７と乗算部１１８の各乗算結果は加算部１１２に供給される。加算部１１２は、各画素毎に決定された混合比率に応じて乗算部１１７と乗算部１１８でそれぞれ重み付けされた第一の補間画像信号と第二の補間画像信号とを加算し、最終的な補間画像Ｐ（ｖ’，ｔ’）の補間画像信号を生成して出力する。

このように、第一の補間画像信号と第二の補間画像信号を混合する際に、第一の補間画像信号と第二の補間画像信号の相対的な信頼性を評価し、第二の補間画像信号に比べて第一の補間画像信号の方の信頼性が高いと推定される画素では、第一の補間画像信号の方の混合比率を高くし、第二の補間画像信号に比べて第一の補間画像信号の方の信頼性が高いと推定される画素では、第二の補間画像信号の方の混合比率を高くするように混合比率を決定し、その混合比率に応じて適応的に混合するので、視差による変形、隠蔽等の影響により、異なる視点の画像信号から良好な補間画像信号が得にくい部分では比較的信頼性が高いと推定される第二の補間信号の重み付けが大きくなり、時間差による変形、隠蔽等の影響により、異なる時間の画像信号から良好な補間画像信号が得にくい部分では比較的信頼性が高いと推定される第一の補間画像信号の重み付けが大きくなるので、変形、隠蔽等の影響が軽減され、より良好な補間画像信号を得ることができる。

また、非線形変換部１２５において、閾値Ｔａ、及び、閾値Ｔｂを共に０に設定することで、た混合比率を示す値ｋは０又は１の値をとり、乗算部１１７、１１８及び加算部１１２により第一の補間画像信号と第二の補間画像信号を適応的に切り替えることができる。

また、本実施例では第一の補間画像信号と第二の補間画像信号を各画素毎の信頼性に応じて（１−ｋ）：ｋの比率で混合するものとして説明したが、ｋ：（１−ｋ）の比率で混合することもできる。その場合は、減算部１２１で減算する際に絶対値化部１２３で得られた絶対値化された差分信号から絶対値化部１２２で得られた絶対値化された差分信号を各画素毎に減算するか、あるいは非線形変換部１２５での非線形変換特性を図１１に示すようにすることで、実現できる。

また、本実施例では第一の補間信号と第二の補間画像信号の混合比率ｋを０以上１以下の実数として説明したが、ｋを整数とすることもできる。例えば、非線形変換部１２５の出力である混合比率ｋを０以上６４以下の正の整数とした場合、非線形変換部１２５では０から６４までの範囲で非線形変換し、第一の補間画像信号と第二の補間画像信号を（６４−ｋ）：ｋの比率で混合する。乗算部１１７では第一の補間画像信号に（６４−ｋ）を乗じ、乗算部１１８では第二の補間画像信号にｋを乗じる。さらに加算部１１２でこれらの乗算結果を加算した後、その加算結果を３２で除算するか、６ビット左にシフトして最終的な補間画像信号とする。

次に、本発明の画像処理手順の一実施例について、図２のフローチャートを参照して説明する。図２の各ステップの処理動作については図１のブロック図を用いて説明したものと同じであるので、ここでは図１と対応付けることで、処理手順のみを説明する。

まず、ステップＳ１０１では、各視点の画像信号をフレームバッファに格納する。このステップＳ１０１の処理は、図１の画像処理装置ではフレームバッファ１０１、１０２、１０３での蓄積動作に相当する。

続くステップＳ１０２〜Ｓ１０４は補間対象の視点と異なる視点の画像信号から第一の補間画像信号を生成する手順である。

まず、ステップＳ１０２では、視差ベクトルを検出する。このステップＳ１０２の処理は図１の画像処理装置では視差ベクトル検出部１０４による動作に相当する。続いて、ステップＳ１０３では、視差補償予測を行う。このステップＳ１０３の処理は、図１の画像処理装置では視差補償予測部１０５、１０６による動作に相当する。

続いて、ステップＳ１０４では、２つの視差補償予測信号を混合し、混合された信号を別視点の画像から生成された第一の補間画像信号とする。このステップＳ１０４の処理は、図１の画像処理装置では乗算部１１３、１１４、及び加算部１１０による動作に相当する。

続くステップＳ１０５〜Ｓ１０７は、補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号から第二の補間画像信号を生成する手順である。

まず、ステップＳ１０５では、動きベクトルを検出する。このステップＳ１０５の処理は、図１の画像処理装置では動きベクトル検出部１０７による動作に相当する。続いて、ステップＳ１０６では、動き補償予測を行う。このステップＳ１０６の処理は、図１の画像処理装置では動き補償予測部１０８、１０９による動作に相当する。次のステップＳ１０７では、２つの視差補償予測信号を混合し、混合された信号を同一視点で異なる時間の画像から生成された第二の補間画像信号とする。このステップＳ１０７の処理は、図１の画像処理装置では乗算部１１５、１１６、及び加算部１１１による動作に相当する。

続くステップＳ１０８〜Ｓ１１２は第一の補間画像信号と第二の補間画像信号との混合比率をこれらの相対的な信頼性の大小に応じて決定する手順である。

まず、ステップＳ１０８では、互いの視差補償予測信号の差分を算出し、絶対値化する。このステップＳ１０８の処理は、図１の画像処理装置では減算部１１９、及び絶対値化部１２２による動作に相当する。続いて、ステップＳ１０９では、互いの動き補償予測信号の差分を算出し、絶対値化する。このステップＳ１０９の処理は、図１の画像処理装置では減算部１２０、及び絶対値化部１２３による動作に相当する。

続いて、ステップＳ１１０では、視差補償予測による絶対値化された差分信号から動き補償予測による絶対値化された差分信号を減算する。このステップＳ１１０の処理は、図１の画像処理装置では減算部１２１による動作に相当する。続いて、ステップＳ１１１では、ステップＳ１１０で減算した結果得られた値に空間ＬＰＦを施し、スムージングする。このステップＳ１１１の処理は、図１の画像処理装置では空間ＬＰＦ１２４による動作に相当する。

続くステップＳ１１２では、ステップＳ１１１で空間ＬＰＦを施して得られた値を非線形変換し、混合比率を示す値ｋとする。このステップＳ１１２の処理は、図１の画像処理装置では非線形変換部１２５による動作に相当する。

続くステップＳ１１３では、ステップＳ１０８〜Ｓ１１２の手順により決定された混合比率に応じて、ステップＳ１０２〜Ｓ１０４の手順により生成された第一の補間画像信号と、ステップＳ１０５〜Ｓ１０７の手順により生成された第二の補間画像信号とを混合し、最終的な補間画像信号を生成する。このステップＳ１１３の処理は、図１の画像処理装置では乗算部１１７、１１８、及び加算部１１２による動作に相当する。

なお、本発明は以上の処理手順に限定されるものではなく、必要に応じて並列処理で実現することができる。例えば、図２では別視点の画像からの補間処理（視差補償予測）を行ってから同一視点で異なる時間の画像からの補間処理（動き補償予測）を行った場合について説明したが、逆でもよく、更にはこれらは互いに独立した処理であるので、それぞれ並列に処理することもできる。

図６は並列処理による処理手順の一例のフローチャートを示す。同図中、各ステップの処理動作については図２と同じであるので、同じ処理を行うステップには同じ番号を付し、その説明を省略する。

なお、本発明による補間処理によれば、視点毎に異なるフレームレートの多視点画像に適用して、フレームレートを上げることができる。例えば、図７に示すような多視点画像において、視点画像Ｍ（１）の画像Ｐ（１，１）を補間する際には、隣接する視点Ｍ（０）の画像Ｐ（０，１）及び視点Ｍ（２）の画像Ｐ（２，１）を用いると共に、同じ視点で異なる時間の画像Ｐ（１，０）及びＰ（１，２）を用いて本発明による補間処理により補間画像Ｐ（１，１）を生成する。

また、本発明による補間処理によれば、視点毎に時間軸上での位相の異なる多視点画像に適用して、フレームレートを上げることができる。例えば、図８に示すような多視点画像において、視点画像Ｍ（１）の画像Ｐ（１，１）を補間する際には、隣接する視点Ｍ（０）の画像Ｐ（０，１）及び視点Ｍ（２）の画像Ｐ（２，１）を用いると共に、同じ視点で異なる時間の画像Ｐ（１，０）及びＰ（１，２）を用いて本発明による補間処理により補間画像Ｐ（１，１）を生成する。

さらには、上記実施例では第一の補間画像信号を、補間対象の視点を中間の視点とする互いに異なる複数の視点の画像信号から生成するようにしたが、補間対象の視点を中間の視点しない互いに異なる複数の視点の画像信号をも用いて生成するようにしてもよい。また、上記実施例では第二の補間画像信号を、補間対象の視点の画像信号における補間対象画像信号と時間方向に異なる複数の画像信号から生成するようにしたが、補間対象の視点以外の視点の補間対象画像信号に対応する時刻とは異なる複数の時刻の画像信号をも用いて生成するようにしてもよい。

なお、以上の処理は、ハードウェアによる画像処理装置として実現することができるのは勿論のこと、リード・オンリ・メモリ（ＲＯＭ）やフラッシュメモリ等に記憶されているファームウェアプログラムや、コンピュータ等のソフトウェアプログラムによっても実現することができるものであり、本発明はこのようなプログラムも包含するものである。また、これらのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

本発明の画像処理装置の一実施例のブロック図である。 本発明の画像処理手順の一実施例を示すフローチャートである。 本発明の実施例に係る補間画像を生成するための参照画像の関係を説明する図である。 本発明の実施例に係わる視差ベクトルの参照位置関係を説明する図である。 図１中の非線形変換部の非線形特性の一例を示す図である。 本発明の画像処理手順の他の実施例を示すフローチャートである。 本発明により視点毎に異なるフレームレートの多視点画像に適用して、フレームレートを上げる場合の補間処理を説明する図である。 本発明により視点毎に時間軸上での位相の異なる多視点画像に適用して、フレームレートを上げる場合の補間処理を説明する図である。 従来例に係わる多視点画像の補間画像を生成するための参照画像の関係を説明する図である。 従来例に係わるフレーム周波数変換での補間画像を生成するための参照画像の関係を説明する図である。 図１中の非線形変換部の非線形特性の第２の例を示す図である。

符号の説明

１０１、１０２、１０３ フレームバッファ
１０４ 視差ベクトル検出部
１０５、１０６ 視差補償予測部
１０７ 動きベクトル検出部
１０８、１０９ 動き補償予測部
１１０、１１１、１１２ 加算部
１１３、１１４、１１５、１１６、１１７、１１８ 乗算部
１１９、１２０、１２１ 減算部
１２２、１２３ 絶対値化部
１２４ 空間ＬＰＦ
１２５ 非線形変換部

Claims (3)

1. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮像して得られた画像信号、又は前記一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、前記多視点画像信号中の前記一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理方法であって、
   前記補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の前記画像信号から、前記補間対象画像信号に対応する第一の補間画像信号を生成する第１のステップと、
   前記補間対象画像信号に対応する時刻とは異なる複数の時刻の前記画像信号から、前記補間対象画像信号に対応する第二の補間画像信号を生成する第２のステップと、
   前記第一の補間画像信号の各画素と、前記第二の補間画像信号における前記第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような前記２つの画素の混合比率を前記２つの画素毎にそれぞれ算出する第３のステップと、
   前記第一の補間画像信号と前記第二の補間画像信号とを、前記２つの画素毎に前記混合比率に応じてそれぞれ混合して前記補間対象画像信号を生成する第４のステップと
   を含むことを特徴とする画像処理方法。
2. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮像して得られた画像信号、又は前記一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、前記多視点画像信号中の前記一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理装置であって、
   前記補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の前記画像信号から、前記補間対象画像信号に対応する第一の補間画像信号を生成する第１の信号生成手段と、
   前記補間対象画像信号に対応する時刻とは異なる複数の時刻の前記画像信号から、前記補間対象画像信号に対応する第二の補間画像信号を生成する第２の信号生成手段と、
   前記第一の補間画像信号の各画素と、前記第二の補間画像信号における前記第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような前記２つの画素の混合比率を前記２つの画素毎にそれぞれ算出する混合比率算出手段と、
   前記第一の補間画像信号と前記第二の補間画像信号とを、前記２つの画素毎に前記混合比率に応じてそれぞれ混合して前記補間対象画像信号を生成する補間対象画像信号生成手段と
   を有することを特徴とする画像処理装置。
3. 設定された複数の視点でそれぞれ得られる各視点の画像信号を含む多視点画像信号であり、一の視点の画像信号は、前記一の視点から実際に撮像して得られた画像信号、又は前記一の視点から仮想的に撮像したものとして生成した画像信号である多視点画像信号を入力として受け、コンピュータにより前記多視点画像信号中の前記一の視点の画像信号における補間すべき画像信号を補間対象画像信号として補間する画像処理プログラムであって、
   前記コンピュータに、
   前記補間対象画像信号に対応する視点を補間対象の視点として、その補間対象の視点と異なる複数の視点の前記画像信号から、前記補間対象画像信号に対応する第一の補間画像信号を生成する第１のステップと、
   前記補間対象画像信号に対応する時刻とは異なる複数の時刻の前記画像信号から、前記補間対象画像信号に対応する第二の補間画像信号を生成する第２のステップと、
   前記第一の補間画像信号の各画素と、前記第二の補間画像信号における前記第一の補間画像信号の各画素に対応する各画素との２つの画素間の相対的な信頼性を評価し、その評価に応じて信頼性が高い方の画素の混合比率がその信頼性が高いほど高くなるような前記２つの画素の混合比率を前記２つの画素毎にそれぞれ算出する第３のステップと、
   前記第一の補間画像信号と前記第二の補間画像信号とを、前記２つの画素毎に前記混合比率に応じてそれぞれ混合して前記補間対象画像信号を生成する第４のステップと
   を実行させることを特徴とする画像処理プログラム。

Images