WO2011129164A1 - 多視点画像符号化装置 - Google Patents

Abstract

　多視点画像および対応する奥行き情報を符号化する際に、動きベクトル探索による処理負荷を低減する多視点画像符号化装置を提供する。多視点画像および対応する奥行き情報を符号化する多視点画像符号化装置において、奥行き情報と視点画像情報に応じて、符号化モードの切り替えを行う符号化モード選択部１０１を備えることにより、インター符号化における動きベクトル探索のＯＮ／ＯＦＦを切り替え、符号化における処理負荷の低減を行う。

Description

多視点画像符号化装置

　本発明は、多視点画像の処理技術に関するもので、特に視点画像の符号化処理における処理負荷の低減に関するものである。

　複数の視点に対応する画像を利用することにより、従来の単一視点画像だけでは得られない、より臨場感の高い映像表現が可能になる。複数視点画像の代表的な利用例として、立体画像表示技術と任意視点画像表示技術がある。立体画像表示技術は、表示する画像自体は平面画像すなわち二次元情報でありながら、図５のように、観察者の左眼と右眼に対して視差のある画像５０１，５０２を観察させるように与えることにより、脳内で知覚される映像５０３が擬似的に実際の三次元物体・三次元空間の観察時と同様の立体感を与えるものである。

　また、任意視点画像表示技術は、図６のように、複数の視点から撮影された画像データ６０１ｖ～６０３ｖと、カメラと被写体間の距離情報６０１ｄ～６０３ｄなどを利用し、撮影していない視点からの画像６０４ｖ，６０５ｖ等を生成することによって、観察者の好みの位置すなわち任意の視点からの画像を観察可能にするものである。

　このように、任意視点画像の生成・表示技術は、撮影していない視点を含め、観察者の好みの位置からの画像を観察可能にするものである。任意視点画像生成のためには、映像内の各被写体の位置情報（奥行き情報）が必要となる。例えば、奥行き情報を用いない場合、ある視点からは見える領域Ａが、別の視点から見ると物体Ｂの後ろに隠れて見えなくなるが、そのような関係を任意の視点すべてにおいて再現するためには、無限の数の視点画像を用意する必要がある。しかし、奥行き情報があれば、少ない視点画像で、任意視点の画像を再現することが可能となる。

　例えば、非特許文献記載には、任意視点画像の生成技術の基本となる３ＤＷａｒｐｉｎｇに関し、その基本手法をベースにしつつ、さらに高品質な任意視点画像の生成を行うための方法が開示されている。この方法は、視点画像に関する奥行き画像を利用するもので、概略次のような手順で、入力される２視点の画像および対応する各奥行き画像を利用して、観察したい視点である仮想視点からの画像を生成する。すなわち、
（１）仮想カメラを設置し、仮想視点に対して奥行き画像を投影する。
（２）投影した奥行き画像を平滑化する。
（３）平滑化された奥行き画像に対して、実画像の画素値をマッピングする。
（４）残った位置の画素を周囲の画素を利用して修復する。
　このように、２視点の画像とその奥行き画像を利用することで、それら視点の近傍にある任意視点からの画像を生成することが可能である。

　このような任意視点画像の生成技術は、前述の立体画像表示に対しても臨場感の向上や改善に応用することが出来る。例えば、図７のように２つのカメラ７０１，７０２で被写体７０４，７０５を撮影した立体表示用の画像データ７０１ｖ，７０２ｖがあったとする。しかし、カメラの間隔７０６が人の左右眼の距離（６５ｍｍ前後と言われている）より離れすぎているため、立体画像として観察した場合に不自然な画像になるか、あるいは全く立体画像として知覚できない画像になってしまう。

　このようなケースに、前述の任意視点画像生成技術を適用して、カメラ位置７０１から人の左右眼の距離７０７に相当する仮想視点位置７０３における画像７０３ｖを生成することにより、画像７０１ｖと７０３ｖを用いて、適正な立体画像として観察することが可能になる。

　逆に、２つのカメラ７０１，７０２の間隔が狭すぎる場合には、撮影された画像７０１ｖ，７０２ｖはほとんど立体感の得られない立体画像になってしまうが、このようなケースも同様に、いずれかの視点から左右眼の距離に相当する仮想視点を設定し、その仮想視点における画像を生成することにより、充分な立体感が得られる立体画像として観察することが可能になる。さらに、以上の原理を応用して、任意視点からの立体画像を観察することや、任意視点における立体画像観察時に立体感を調整することが可能である。

　上述のように、複数の視点画像および対応する奥行き画像を利用することにより、画像表示システムの表現機能を向上させることができる。しかし一方で、奥行き画像データを必要とするため、その分、記録・伝送時の符号量が増えるという問題が生じる。この問題を解決するため、多視点画像の符号化復号装置においては、各種の工夫がなされている。

　例えば、特許文献１では、多視点画像符号化を行う際に、画像の視点からの距離である遠近情報に応じて動きベクトル探索の範囲を制御する技術が開示されている。画像の遠近情報は、右眼画像と左眼画像から取得する。この情報を用い、視点から遠い領域においては動きベクトルの探索範囲を狭くし、視点に近い領域においては動きベクトルの探索範囲を広くすることで、所望のデータ量において視点に近い領域の画質を劣化させることなく符号化を行うことを可能にしている。

特開２００１－２８５８９５号公報

森、他：奥行き画像を用いた３Ｄ　ｗａｒｐｉｎｇによる自由視点画像生成，電子情報通信学会総合大会　情報・システム講演論文集２，Ｄ－１１－７，２００８年

　しかし、特許文献１の方法に従う場合、画像全体において、視点に近い領域の面積の占める割合が、視点から遠い領域の面積に対して大きい場合、動きベクトル探索範囲の大きい領域の割合が多くなり、画面全体の動きベクトル探索量が増大してしまう。この処理負荷の増大により、リアルタイム処理が必要な場合（例えば、テレビ中継など）において符号化処理が間に合わないなどの問題が生じる可能性がある。特に画像の画素数や入力フレームレートが大きくなると、処理負荷増大がより顕著になり、リアルタイム処理に支障を来たす可能性がある。さらには、立体映像に用いる視点画像の視点数が増加すると、より負荷が増大することになる。
　本発明は、上記の課題に対し、多視点画像の符号化処理における処理負荷の低減を行うことを目的とするものである。

　上記課題を解決するため、本発明による多視点画像符号化装置は下記の各手段を備える。
（１）奥行き情報と視点画像情報によって符号化モードの選択を行う符号化モード選択手段と、視点画像の符号化を行う視点画像符号化手段と、奥行き情報の符号化を行う奥行き画像符号化手段とを備え、前記符号化モード選択手段は、視点画像内の小領域ごとに符号化モード選択情報を出力する。

（２）前記符号化モード選択手段は、奥行き情報に対する所定の閾値と奥行き情報との比較結果に応じて、符号化モードを選択する。
（３）前記符号化モード選択手段は、視点画像の画素数または画素数とフレームレート、または画素数とフレームレートと視点数、によって、奥行き情報に対する閾値の決定を行う。
（４）前記符号化モード選択手段は、前記閾値より視点に近い小領域に対し、動きベクトル探索を行わないようにするための情報を出力する。

（５）前記符号化モード選択手段は、前記閾値より視点から遠い小領域に対し、動きベクトル探索を行うようにするための情報を出力する。
（６）前記視点画像符号化手段は、前記符号化モード選択情報に従い、視点画像の符号化を行う。
（７）前記奥行き情報符号化手段は、前記符号化モード選択情報に従い、奥行き情報の符号化を行う。

　上記構成を備えることにより、本発明の多視点画像符号化装置は、次の効果を奏する。すなわち、多視点画像を圧縮符号化する際に、奥行き情報の大小に応じて符号化モードを選択することにより、符号化処理の処理負荷を低減することができる。その際、符号化モードの選択は、数値の比較処理のみのため、容易に実装が可能である。

本発明の第一の実施形態である多視点画像符号化装置の内部構成を示すブロック図である。 視点画像および対応する奥行き画像、奥行き画像を符号化モードによって２値化した画像を示す図である。 符号化モード選択部における処理フローを示す図である。 本発明の第二の実施形態である多視点画像符号化装置の内部構成を示すブロック図である。 背景技術である立体画像表示の概念説明図である。 背景技術である任意視点画像生成の概念説明図である。 任意視点画像生成技術を利用した立体画像表示の補正処理を説明する図である。 符号化モード選択部における処理フローを示す図である。

　以下、図面を参照して、本発明の各実施形態について説明する。本発明の第一の実施形態である多視点画像符号化装置について説明する。図１に、本実施例の多視点画像符号化装置の内部ブロック図を示す。図１の多視点画像符号化装置１００は、複数の視点画像および対応する奥行き情報を入力として、符号化処理を施して情報量を削減するための装置である。以下、図中各機能ブロックの動作を説明する。

　符号化モード選択部１０１は奥行き情報と視点画像の画素数の情報に基づき、符号化モード選択情報を出力する。ここで符号化モードとは、動画像符号化を行う際に、画像フレームを小領域に切り分けた小領域毎に行う符号化の方法であり、フレーム内（イントラ）予測、フレーム間（インター）予測などのモードがある。インター予測においては、２つの画像フレーム間の動きベクトル探索により動き補償を行う。

　視点画像符号化部１０２は、視点画像の圧縮符号化を行う。その際、符号化モード選択部１０１からの符号化モード選択情報により、動きベクトル探索のＯＮ／ＯＦＦの選択を行う。奥行き情報符号化部１０３は視点画像符号化部１０２と同様に圧縮符号化を行う。多重化部１０４は、符号化済みの視点画像と奥行き情報を多重化し、符号化データとして装置外部に出力する。

　ここで、符号化モード選択部１０１の処理について詳細に説明する。図３に符号化モード選択部１０１の処理のフローチャートを示す。符号化モード選択部１０１は、まず、図２（Ｂ）に示すような奥行き情報を小領域ｂｘ（ｘ＝１，・・・，ｎ）に分割し（ステップＳ１）、この小領域ｂｘ毎に奥行き値の平均値としてＺｘ（ｘ＝１，・・・，ｎ）を算出する（ステップＳ２）。

　奥行き情報は、例えば図２（Ａ）のような視点画像に対して、各画素に対応する被写体の視点からの距離に応じた数値が与えられ、図２（Ｂ）のような輝度画像として表される。この時、奥行き値Ｚｘは視点に近い程大きく、視点から離れるほど小さいものとし、図２（Ｂ）の輝度画像は視点に近いほど輝度が大きいとする。

　一般に、奥行き情報は、カメラ位置から視点画像上の物体がどのくらい離れているか（実際には近い程大きい値になるよう変換してある）を示しており、各カメラによって、各画素に対する奥行き値、最大奥行き値（最も近い）、最小奥行き値（最も遠い）が定義されている。
　奥行き情報の生成方法としては、例えば、赤外線を使った距離計測装置による方法や、ソフトウエアによる方法がある。赤外線を使った方法では、出射した光線が戻ってくるまでの時間を用いて距離を計測する。また、ソフトウエアによる方法には、左右の視点画像の各画素をマッチングした際の画素ずれから距離を算出する方法などがある。本発明は、奥行き情報の生成方法を限定するものではなく、従来公知の方法に基づく奥行き情報の生成方法を適宜適用することができる。

　一方、視点画像については、視点画像から画素数ｐを取得し、この画素数ｐに従い、閾値θｚを決定する（ステップＳ３）。閾値θｚは画素数ｐが増加するほど小さくなるような関数ｆ（ｐ）を用いて決定する。最後に、奥行き値Ｚｘと閾値θｚを用いて動きベクトル探索のＯＮ／ＯＦＦを決定する（ステップＳ４）。具体的には、Ｚｘがθｚ以上となるとき、小領域ｂｘにおける動きベクトル探索をＯＦＦ（０）とし、Ｚｘがθｚより小さい場合は動きベクトル探索をＯＮ（１）とする。以上の結果、図２（Ｃ）のような２値画像が符号化モード選択情報として出力される。

　視点画像符号化部１０２においては、視点画像と前記符号化モード選択情報を用いて符号化モードの制御を行う。具体的には、小領域ｂｘの前記符号化モード選択情報が１の場合には動きベクトル探索を行い、符号化モード選択情報が０の場合には動きベクトル探索は行なわず、その他の符号化処理（例えば、イントラ予測）を用いて符号化を行うことで処理負荷を低減する。

　なお、符号化モード選択部１０１の処理において、奥行き情報における小領域毎の奥行き平均値Ｚｘを閾値と比較する方法を上記に示したが、Ｚｘは小領域毎の奥行き値の最大値や最小値としても良い。最大値とする場合は、平均値を利用する場合と比較して、動きベクトル探索ＯＦＦと決定する小領域が増えるため処理負荷をより低減することができ、一方最小値とする場合は、動きベクトル探索ＯＮと決定する小領域が増えるため、処理負荷低減よりも符号化効率向上を重視するケースで有用である。

　次に、本発明の第二の実施形態である多視点画像符号化装置について説明する。図４に、本実施例の多視点画像符号化装置の内部ブロック図を示す。符号化モード選択部１０１、視点画像符号化部１０２、多重化部１０４においての処理は、第一の実施形態と同様であるため説明は省略する。本実施形態は、さらに奥行き情報符号化部１０３においても、符号化モード選択情報に応じて符号化を行う。すなわち、奥行き情報に関しても、視点に近い小領域に対しては動きベクトル探索を行わないよう制御することで、処理負荷を低減させることが可能である。

　なお、符号化モード選択部の処理は、図８に示すフローチャートのような構成でもよい。すなわち、符号化モード選択の際に、奥行き情報および視点画像の画素数だけでなく、符号化フレームレートを考慮する。具体的には、画素数ｐとフレームレートｒの２つの値に応じて閾値θｚを決定する（ステップＳ３´）。その他の処理（ステップＳ１，Ｓ２，Ｓ４）は第１の実施形態と同様であるので説明は省略する。

　また、符号化モード選択の際には、上記に加えて符号化する視点画像の視点数をさらに考慮しても良い。視点画像の視点数が異なる例として、例えば、３つ以上の視点画像を用いる立体視テレビの技術が挙げられる。これは主に裸眼立体視テレビのための技術であるが、裸眼立体視テレビでは、２つの視点のみである場合、画像が立体に見える領域が非常に狭く、少しでも横に顔を移動させると立体に見えないため、複数の視点の画像を用いて、立体視可能な領域を広げる手法が用いられている。この視点画像は、視点画像合成技術によって生成することも可能であるが、より高精細な画像を求める場合、実際のカメラで撮影した画像を複数伝送する方式も必要になると考えられる。また、他の例として、任意視点画像への対応がある。任意視点画像技術は、様々な位置や角度から撮影した画像群を用いて、任意の視点の画像を合成することのできる技術であり、これには、当然かなりの視点数の画像が必要となると考えられる。

　このような多視点画像を適用する場合、符号化する視点数が増加するとその分符号化処理の負荷が増大することになるため、符号化モード選択部の処理を以下に述べるような構成にすることによって、処理負荷の増大を抑えることができる。
　例えば、視点数ｖが所定の閾値を超えた場合に、奥行きに対する閾値θｚを更に低く再設定する。または、画素数・フレームレート・視点数の３つを総合的に考慮し、閾値θｚを決定する。その他、視点数ｖによって、符号化モード選択処理自体のＯＮ／ＯＦＦを決定してもよい。つまり符号化選択モード選択部では、視点画像の画素数、または画素数とフレームレート、または画素数とフレームレートと視点数、によって、奥行き情報に対する閾値の決定を行うようにすることができる。ここでは、いずれの方法をとる場合であっても、符号化における処理負荷を更に低減することが可能である。

　また、上述した実施形態における多視点画像符号化装置の一部、または全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。多視点画像符号化装置の各機能ブロックは個別にチップ化してもよいし、一部または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

１００…多視点画像符号化装置、１０１…符号化モード選択部、１０２…視点画像符号化部、１０３…奥行き情報符号化部、１０４…多重化部。

Claims (7)

1. 　複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、
   　前記奥行き情報と前記視点画像によって符号化モードの選択を行う符号化モード選択手段と、
   　前記視点画像の符号化を行う視点画像符号化手段と、
   　前記奥行き情報の符号化を行う奥行き画像符号化手段とを備え、
   　前記符号化モード選択手段は、前記視点画像内の小領域ごとに符号化モード選択情報を出力することを特徴とする、多視点画像符号化装置。
2. 　前記符号化モード選択手段は、前記奥行き情報に対する所定の閾値と前記奥行き情報との比較結果に応じて、符号化モードを選択することを特徴とする、請求項１記載の多視点画像符号化装置。
3. 　前記符号化モード選択手段は、前記視点画像の画素数、または画素数とフレームレート、または画素数とフレームレートと視点数、によって、前記奥行き情報に対する閾値の決定を行うことを特徴とする、請求項２記載の多視点画像符号化装置。
4. 　前記符号化モード選択手段は、前記閾値より視点に近い小領域に対し、動きベクトル探索を行わないようにするための情報を出力することを特徴とする、請求項２または３記載の多視点画像符号化装置。
5. 　前記符号化モード選択手段は、前記閾値より視点から遠い小領域に対し、動きベクトル探索を行うようにするための情報を出力することを特徴とする、請求項２～４のいずれか１記載の多視点画像符号化装置。
6. 　前記視点画像符号化手段は、前記符号化モード選択情報に従い、視点画像の符号化を行うことを特徴とする請求項１～５のいずれか１記載の多視点画像符号化装置。
7. 　前記奥行き情報符号化手段は、前記符号化モード選択情報に従い、奥行き情報の符号化を行うことを特徴とする請求項１～６のいずれか１記載の多視点画像符号化装置。

Images