JP5906165B2

JP5906165B2 - 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム

Info

Publication number: JP5906165B2
Application number: JP2012220253A
Authority: JP
Inventors: 広太竹内; 能登　肇; 肇能登; 木全　英明; 英明木全; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-10-02
Filing date: 2012-10-02
Publication date: 2016-04-20
Anticipated expiration: 2032-10-02
Also published as: JP2014071870A

Description

本発明は、多視点画像から所望の視点画像を合成する仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラムに関する。

従来の映像メディアは、与えられた映像を楽しむという受動的なメディアであった。近年は、ビデオオンデマンドサービスや、多チャネル放送など、視聴者が自身の好みのコンテンツを能動的に選んで視聴するサービスが受け入れられてきている。しかし、それぞれの映像自体は受動的なメディアであることは変わっていない。そこで、視聴者が視点を操作して映像を楽しむことが可能な、より高臨場な映像メディアの実現が求められてきている。視点を操作する事が可能な映像は自由視点映像と言われ、長年研究が進められている。自由視点映像は、多視点で撮影された映像から、実際に撮影された視点の間に存在する実際には存在していない仮想の視点などの撮像装置の置かれていない視点における映像を合成するものである。

従来から１画素ずつすべての画素に対して奥行きを推定して割り当てることで、仮想視点への画素の投影を可能にしていた。非特許文献１では各画素の奥行きを確率分布として扱うことで、奥行き推定の誤りによる映像品質の劣化を防いでいる。しかし、複数の奥行きに画素が分布してしまうことになるため、映像がぼけたようになってしまうという問題がある。一方、非特許文献２では、被写体の３次元モデルを精細に推定することで、自由視点映像を合成している。被写体の推定された３次元モデルを合成すべき視点画像へ投影していくため、合成映像の品質は、その推定モデルの精度に起因する。従ってカメラの設置数が限られてしまうようなシーンにおいては、合成映像の品質が極端に下がってしまうという問題がある。

國田豊他，"多層信頼度マップを用いた３次元映像の実時間生成システム"，映像情報メディア学会誌，Ｖｏｌ．６０，Ｎｏ．７，２００６，ｐｐ１１０２〜１１１０． T.Matsuyama,X.Wu,T.Takai,S.Nobuhara,"Real-Time 3D Shape Reconstruction,Dynamic 3D Mesh Deformation,and High Fidelity Visualization for 3D Video",Computer Vision and Image Understanding,17 March 2004,Special Issue"Model-based and Image-based 3D Scene Representation",p.393-434.

撮像装置の置かれていない位置の視点映像を合成するためには、撮像された映像どうしの１画素ずつすべての画素に対しての対応関係を求めることで３次元的な画素の奥行きを推定し、投影することにより所望の視点映像を合成する必要があるが、奥行き推定の誤りにより合成映像に不自然な領域や画素が発生してしまうという問題がある。特に、１画素単位での処理に起因し画素間の自然な連結が失われることにより、自然さが失われた合成映像になってしまう。

本発明は、このような事情に鑑みてなされたもので、任意に設定した仮想視点の映像を自然で高品質に合成することができる仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラムを提供することを目的とする。

本発明は、多視点画像を入力する画像入力手段と、前記多視点画像間において複数の対応点を検出する対応点検出手段と、検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出手段と、所望の視点を設定する視点位置設定手段と、前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影手段と、前記合成視点画像において、前記画素投影手段により投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索手段と、前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影手段と、前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合手段とを備えることを特徴とする。

本発明は、前記多視点画像中において、オブジェクトごとの領域分割を行う領域分割手段をさらに備え、前記パッチ結合手段は、前記パッチ領域内の画素が別領域であれば、前記パッチ領域の中央画素と同じ領域の画素を選択して前記パッチ領域の結合を行うことを特徴とする。

本発明は、多視点画像を入力する画像入力ステップと、前記多視点画像間において複数の対応点を検出する対応点検出ステップと、検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出ステップと、所望の視点を設定する視点位置設定ステップと、前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影ステップと、前記合成視点画像において、前記画素投影ステップにより投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索ステップと、前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影ステップと、前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合ステップとを有することを特徴とする。

本発明は、コンピュータを、前記仮想視点画像合成装置として機能させるための仮想視点画像合成プログラムである。

本発明によれば、任意に設定した仮想視点の画像を自然で高品質に合成することができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。図１に示す装置の動作を示すフローチャートである。本発明の第２実施形態の構成を示すブロック図である。図３に示す装置の動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による仮想視点画像合成装置を説明する。図１は第１実施形態の構成を示すブロック図である。この図において、符号１は、多視点画像を記憶する多視点画像記憶部である。符号２は、多視点画像記憶部１に記憶された多視点画像を撮像した際のカメラパラメータを記憶するカメラパラメータ記憶部である。符号３は、事前処理を行う事前処理装置であり、コンピュータ装置によって構成する。符号３１は、多視点画像記憶部１に記憶されている多視点画像と、カメラパラメータ記憶部２に記憶されたカメラパラメータとを読み出して、複数の映像間の対応点を検出する対応点検出部である。符号３２は、対応点検出部３１が検出した対応点の選出を行う対応点選出部である。

符号４は、所望の視点画像を合成する処理装置である。符号４１は、合成視点位置の設定を行う合成視点位置位置設定部である。符号４２は、設定した合成視点に対応点を投影する画素投影部である。符号４３は、未投影画素のためのパッチの探索を行うパッチ探索部である。符号４４は、未投影画素へパッチの投影を行うパッチ投影部である。符号４５は、投影処理の終了を判断する投影処理終了判断部である。符号４６は、パッチの結合を行うパッチ結合部である。符号５は、出力画像を記憶する出力画像記憶部である。

なお、本明細書中において、画像とは動画像の１つのフレームのことであり、複数のフレームが集まったもの（動画像）を映像と称する。

次に、図２を参照して、図１に示す装置の動作を説明する。図２は、図１に示す装置の動作を示すフローチャートである。まず、対応点検出部３１は、撮像されて多視点画像記憶部１に記憶されている各画像中の複数画素の対応関係を求める（ステップＳ１）。対応点検出には、疎な特徴点を求める事が出来る特徴点ベースの対応点検出手法と、すべての画素に対して対応点を推定する手法とがあり、どちらを用いても良いが、今回は特徴点ベースの対応点検出手法を用いる。特徴点検出手法にも様々な手法があり、どれを用いても良いが、ここではＳＵＲＦ（Speeded Up Robust Feature）特徴量を用いる。

次に、対応点選出部３２は、カメラパラメータ記憶部２に記憶されている入力要素であるカメラ間のカメラパラメータより算出することが可能であるカメラ間の各画素のＥＰＩ線を算出し、対応点検出部３１により検出された特徴点のうち、ＥＰＩ（Epipolar Plane Image）線上から大きくはずれた特徴点は誤検出として省いていくことで、対応点の選出を行う（ステップＳ２）。

次に、合成視点位置設定部４１は、合成したい所望の視点の３次元位置と視線方向を設定する（ステップＳ３）。以降、設定された視点のことを仮想視点と呼ぶ。続いて、画素投影部４２は、対応点選出部３２により選出された対応の画素（対応点）を、入力カメラパラメータと画素どうしの対応関係により算出される透視投影変換行列を用いて投影を行い仮想視点画像上での対応点座標を得る（ステップＳ４）。この透視投影変換行列は、公知のものを適用可能であるので、詳細な説明を省略する。

次に、パッチ探索部４３は、ステップＳ４の処理だけでは画素が投影されておらず何も埋まっていない画素が存在するため、これらの画素を埋めるためのパッチ探索を行う（ステップＳ５）。パッチ探索は次のように行う。まず、仮想視点画像中から、埋めるべきパッチの位置を決定する。パッチの形状は任意であるが、ここでは矩形パッチを用いる。矩形領域の中央画素が未投影画素であり、かつ矩形領域内部に投影済みの画素が出来るだけ多く含まれる矩形領域を仮想視点画像中から探索する。続いて、探索された矩形領域をＥＰＩ幾何に基づいて各撮影映像へと投影し、投影矩形領域内に含まれる画素の評価を（１）式によって１画素ずつ行い、（１）式による評価値Ｅの低い画素を矩形領域内から除外し、残された画素を対応するパッチとする。ここで、ＳＳＤはＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅである。ＳＳＤの算出方法は公知の方法であるのでここでは詳細な説明を省略する。

次に、パッチ投影部４４は、対応するパッチを撮影映像から仮想視点画像へと投影し、他パッチとの重畳関係をマスクとして保存しておく（ステップＳ６）。続いて、投影処理終了判断部４５は、仮想視点上に未投影画素があるか否かを判定し（ステップＳ７）、未投影画素があるならばステップＳ５、Ｓ６の処理を再度行い、仮想視点画像中のすべての画素が埋まるまで繰り返す。

次に、全ての画素値が投影済みの後に、パッチ結合部４６は、重畳マスクを用いて仮想視点画像上で複数のパッチのブレンド（結合）を行う（ステップＳ８）。ブレンドの手法は様々なものがあり、何を用いてもよいが今回はパッチどうしを自然につなげていくために、単純なαブレンドを行う。

このように、従来からの１画素単位での奥行き推定を用いた映像合成手法による合成画像中よりも、画素を自然で高品質に合成することが可能になる。

＜第２実施形態＞
次に、本発明の第２実施形態による仮想視点画像合成装置を説明する。図３は第２実施形態の構成を示すブロック図である。図３において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す装置が図１に示す装置と異なる点は、事前処理装置３内に領域分割部３３を新たに設けた点である。領域分割部３３は、入力多視点映像中において、オブジェクトごとの領域分割と各領域ごとのラベリングを行う。領域分割には様々な手法が存在するが、ここはグラフカットによる領域分割を行う。

次に、図４を参照して、図３に示す装置の動作を説明する。図４は、図３に示す装置の動作を示すフローチャートである。図４において、図２に示す動作と同一の動作には同一の符号を付し、その説明を簡単に行う。まず、対応点検出部３１は、撮像されて多視点画像記憶部１に記憶されている各画像中の複数画素の対応関係を求める（ステップＳ１）。

次に、対応点選出部３２は、カメラパラメータ記憶部２に記憶されている入力要素であるカメラ間のカメラパラメータより算出することが可能であるカメラ間の各画素のＥＰＩ線を算出し、対応点検出部３１により検出された特徴点のうち、ＥＰＩ（Epipolar Plane Image）線上から大きくはずれた特徴点は誤検出として省いていくことで、対応点の選出を行う（ステップＳ２）。続いて、領域分割部３３は、入力多視点映像中において、オブジェクトごとの領域分割と各領域ごとのラベリングを行うことにより領域分割処理を行う（ステップＳ９）。

次に、合成視点位置設定部４１は、合成したい所望の視点の３次元位置と視線方向を設定する（ステップＳ３）。続いて、画素投影部４２は、対応点選出部３２により選出された対応の画素（対応点）を、入力カメラパラメータと画素どうしの対応関係により算出される透視投影変換行列を用いて投影を行い仮想視点画像上での対応点座標を得る（ステップＳ４）。

次に、パッチ探索部４３は、ステップＳ４の処理だけでは画素が投影されておらず何も埋まっていない画素が存在するため、これらの画素を埋めるためのパッチ探索を行う（ステップＳ５）。続いて、パッチ投影部４４は、対応するパッチを撮影映像から仮想視点画像へと投影し、他パッチとの重畳関係をマスクとして保存しておく（ステップＳ６）。そして、投影処理終了判断部４５は、仮想視点上に未投影画素があるか否かを判定し（ステップＳ７）、未投影画素があるならばステップＳ５、Ｓ６の処理を再度行い、仮想視点画像中のすべての画素が埋まるまで繰り返す。

次に、全ての画素値が投影済みの後に、パッチ結合部４６は、重畳マスクを用いて仮想視点画像上で複数のパッチのブレンド（結合）を行う（ステップＳ１０）。このとき、パッチ結合部４６は、すべての画素がラベリングされているため結合するパッチ内部の画素が別ラベルであるならば、画素を混合するのではなく、矩形領域の中央画素と同じラベルの画素を選択する。

このように、領域分割とラベリングを行っておくことで、仮想視点画像合成処理において被写体どうしの画素の混合を防ぎ、仮想視点画像の不自然な領域をさらに減少させることが可能となる。

以上説明したように、仮想視点の映像を合成する際に、多視点画像間で対応する点を検出した後、検出した対応が信頼できるもののみを選出し、信頼できる対応に含まれる点を合成画像へ投影した点を含むパッチを用いてその他の点を補間していくことにより、従来技術が信頼できない対応を用いていたことに起因して合成画像が不自然になっていたという問題を解決することができる。

なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより仮想視点画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

多視点映像から所望の視点映像を合成することが不可欠な用途に適用できる。

１・・・多視点画像記憶部、２・・・カメラパラメータ記憶部、３・・・事前処理装置、３１・・・対応点検出部、３２・・・対応点選出部、３３・・・領域分割部、４・・・処理装置、４１・・・合成視点位置設定部、４２・・・画素投影部、４３・・・パッチ探索部、４４・・・パッチ投影部、４５・・・投影処理終了判定部、４６・・・パッチ結合部、５・・・出力画像記憶部

Claims

多視点画像を入力する画像入力手段と、
前記多視点画像間において複数の対応点を検出する対応点検出手段と、
検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出手段と、
所望の視点を設定する視点位置設定手段と、
前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影手段と、
前記合成視点画像において、前記画素投影手段により投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索手段と、
前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影手段と、
前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合手段と
を備えることを特徴とする仮想視点画像合成装置。
前記多視点画像中において、オブジェクトごとの領域分割を行う領域分割手段をさらに備え、
前記パッチ結合手段は、前記パッチ領域内の画素が別領域であれば、前記パッチ領域の中央画素と同じ領域の画素を選択して前記パッチ領域の結合を行うことを特徴とする請求項１に記載の仮想視点画像合成装置。
多視点画像を入力する画像入力ステップと、
前記多視点画像間において複数の対応点を検出する対応点検出ステップと、
検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出ステップと、
所望の視点を設定する視点位置設定ステップと、
前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影ステップと、
前記合成視点画像において、前記画素投影ステップにより投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索ステップと、
前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影ステップと、
前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合ステップと
を有することを特徴とする仮想視点画像合成方法。
コンピュータを、請求項１または２に記載の仮想視点画像合成装置として機能させるための仮想視点画像合成プログラム。