JP5249114B2 - 画像生成装置、方法及びプログラム - Google Patents

Description

本発明は、自由視点画像生成技術に関する。

複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数カメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。

特開２００８−１５７５６号公報

Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、"Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ"、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月 Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、"Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ"、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年

例えば、パーソナル・コンピュータといった利用者端末にて、視点、すなわち、位置及び方向が指定されると、その視点から見た動画像を生成して利用者端末に表示する自由視点画像システムを構築するためには、これら補間処理による動画像生成に必要な時間をできるだけ短くすることが必要である。ほぼ総ての視点位置から見た画像を、あらかじめ補間処理により画像生成装置に蓄積しておくことで、動画像生成に必要な時間は短縮できるが、膨大な量の記憶装置が必要となるため現実的ではない。

したがって、本発明は、上記問題を解決する画像生成装置、方法及び前記画像生成装置としてコンピュータを機能させるプログラムを提供することを目的とする。

本発明による画像生成装置は、
所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を保存する保存手段と、前記画像及び奥行き情報に基づき指定された第１の視点での画像である第１の画像を生成する画像生成手段とを備えていることを特徴とする。

本発明による画像生成装置の他の形態によれば、
画像生成手段は、第１の画像の第１の画素の画素値を決定するため、前記複数の線から第１の線を選択し、選択した第１の線上において、第１の画素と光線空間において同一位置の第２の画素を含む第２の画像の視点である第２の視点を判定する視点判定手段と、前記第１の線上にある第３の視点での第３の画像の奥行き情報から、第２の画素の奥行き情報を求める変換手段と、前記第２の画素の奥行き情報、第３の画像及び第３の画像の奥行き情報に基づき、第２の画素に対応する第３の画像の第３の画素を判定し、判定した第３の画素の画素値に基づき第１の画素の画素値を決定する画素値決定手段とを備えていることも好ましい。

また、本発明による画像生成装置の他の形態によれば、
決定手段は、前記第２の画素の奥行き情報と、前記第１の線上において第２の視点に対して第３の視点と反対側にある第４の視点での第４の画像の奥行き情報に基づき、第２の画素に対応する第４の画像の第４の画素を判定し、第４の画素の画素値を、第１の画素の画素値の決定に使用することも好ましい。

さらに、本発明による画像生成装置の他の形態によれば、
画像生成手段は、第３の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第１の線以外の線上にある画像を使用して、第１の線上の画像と同じ処理により第２の画素の画素値を決定することも好ましい。

さらに、本発明による画像生成装置の他の形態によれば、
画像生成手段は、第３の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第４の画像の奥行き情報から第２の画素の奥行き情報を取得し、第４の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第１の線以外の線上にある画像を使用して、第１の線上の画像と同じ処理により第２の画素の画素値を決定することも好ましい。

さらに、本発明による画像生成装置の他の形態によれば、
前記第１の線は、前記第１の視点に最も近い線であることも好ましい。

さらに、本発明による画像生成装置の他の形態によれば、
画像生成手段は、第１の画像の第１の画素の画素値を決定するため、各線上において、第１の画素と光線空間において同一位置の第２の画素を含む第２の画像の視点である第２の視点を判定する視点判定手段と、各線上の第２の視点の隣の視点における第３の画像の奥行き情報から、第２の画素の奥行き情報を、それぞれ、求める変換手段と、第３の画像それぞれについて、第３の画像の奥行き情報から求めた第２の画素の奥行き情報に基づき、第２の画素に対応する該第３の画像の第３の画素を判定し、該３の画素の画素値に基づき第１の画素の画素値を求め、第３の画像それぞれについて求めた第１の画素の画素値の平均を、第１の画素の画素値に決定する画素値決定手段とを備えていることも好ましい。

本発明におけるプログラムによれば、
上記画像生成装置としてコンピュータを機能させることを特徴とする。

複数の直線又は曲線上に複数の視点を設定し、これら視点における画像と、各画像の奥行き情報をあらかじめ生成しておく。これにより、保存手段に保存しておくデータ量を抑えつつ、任意の位置の画像を素早く生成することが可能になる。

本発明による画像生成装置の機能ブロック図である。 画像生成部のブロック図である。 事前画像の視点位置を示す図である。 事前画像の視点位置の他の形態を示す図である。 補間画像生成の説明図である。 補間画像生成の他の説明図である。 指定された視点での画像生成の説明図である。 指定された視点での画像生成の説明図である。

本発明を実施するための形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において“視点”とは、位置及び方向できまる値であり、“視点の画像”又は“視点における画像”とは、視点が示す位置において、視点が示す方向を中心とした所定範囲（視野）内の画像を意味するものとする。また、カメラにおけるカメラパラメータは、視点及び視野と等価であるため、カメラが撮影した画像であっても視点の画像との表現を用いる。

図１は、本発明による画像生成装置の機能ブロック図である。図１によると、画像生成装置は、保存部１と、補間画像生成部２と、奥行き情報生成部３と、画像生成部５とを備えている。

補間画像生成部２は、複数のカメラが撮影した動画像を構成する各画像（以後、撮影画像と呼ぶ。）と、これらカメラのカメラパラメータに基づき、所定の視点における画像（以後、補間画像と呼ぶ。）を生成し、補間画像及び撮影画像を保存部１に保存する。なお、以後の説明において撮影画像及び補間画像を区別しない場合には、まとめて事前画像と呼ぶ。

図３及び図４は、撮影画像及び補間画像の視点位置の形態を示す図である。図３及び図４において符号１０は被写体を、実線の矢印は撮影画像の視点を、点線の矢印は補間画像の視点を表している。なお、矢印の方向が視点の方向である。図３は、複数のカメラを、被写体を取り囲む様に配置して撮影画像は取得するものであり、この場合、補間画像生成部２は、例えば、カメラを配置している円周上のカメラ間の位置と、カメラを配置している円と同心で、カメラを配置している円より小さい複数の円周上の任意の位置において、それぞれ、円の中心を向く視点の補間画像を生成する。また、図４は、複数のカメラを、直線上で同一方向に配置して撮影画像を取得するものであり、この場合、補間画像生成部２は、カメラ間の位置と、カメラを配置している直線から被写体側に設定する複数の直線上の任意の位置において、それぞれ、カメラと同一方向を向く視点の補間画像を生成する。なお、生成する補間画像の数及び位置は、保存可能なデータ量との関係で決めれば良く任意である。

この様に、本発明においては空間内に複数の直線又は曲線を設定し、この直線又は曲線上の所定の位置を視点位置とする複数の事前画像をあらかじめ生成する。以後、この複数の直線又は曲線のそれぞれを層と呼ぶ。

なお、カメラと同一線上にある補間画像については、例えば、その視点に近い位置にある撮影画像、例えば、両隣にある撮影画像から、その距離に応じた重み付けを用いて生成する。また、カメラと異なる線上にある補間画像については、例えば、生成する補間画像の画素と同一光線上にある画素を、他の線上にある事前画像から見つけることにより行う。具体的には、例えば、図５の視点２３での画像内にある、被写体１０の点１４に対応する画素の画素値は、点１４から視点２３に向かう光線３７により決まるが、層５４又は層５５と光線３７との交点位置での事前画像２６又は２９は光線３７に対応する画素を有しており、事前画像２６又は２９から光線３７に対応する画素を見つけることにより視点２３での事前画像の点１４に対応する画素の画素値を決定する。なお、事前画像２６又は２９が存在しない場合には、例えば、両側を視点位置とする事前画像２４及び２５や、事前画像２７及び２８から光線３７により決まる画素の画素値を決定する。

ただし、図６の視点２０での補間画像の生成のためには、被写体１１の点１３の画素値を決定する必要があるが、他の被写体１２により、点１３から視点２０に向かう光線は遮断されており、たとえ、点１３から視点２０に向かう光線と層との交点に事前画像があったとしても、この事前画像は当該光線による画素を有していない。さらに、点１３から視点２０に向かう光線と層との交点を含む所定範囲の事前画像は、点１３に対応する画素も有していない。よって、視点２０での画像内の点１３に対応する画素の画素値について、補間画像生成部２は、点１３の色等の情報を有している事前画像を判定して決定を行う。このため、補間画像生成部２は、奥行き情報生成部３が生成した事前画像２１及び２２の奥行き情報に基づき、点１３の色等の情報を保持している事前画像２２を判定し、対応する画素から画素値を決定することにより視点１２での補間画像を生成する。

奥行き情報生成部３は、上記の通り、各事前画像について、事前画像の各画素が表している実空間位置の、視点位置からの距離を示す奥行き情報を生成する。奥行き情報の生成には、ステレオマッチング法等、公知の種々の方法を使用することができる。

続いて、画像生成部５による任意の視点位置での画像の生成について説明する。図２に示す様に、画像生成部５は、視点判定部６１と、射影変換部６２と、画素値決定部６３とを備えている。図７は、自由視点画像生成の基本的処理を説明する図である。図７（ａ）において、符号３０は指定された視点での画像であり、符号３１及び符号３２は、画像３０の視点位置に最も近い層上にある事前画像であり、符号３３は、事前画像３１及び３２と同じ層上にあり、事前画像３１及び３２の間を視点とする画像である。なお、図７（ｂ）に示す様に、符号３０から３３における画像の表現において、面９０が画像の画面を、点９１が視点の位置を、点９１から面９０に引いた法線の方向が視点の方向を表すものとする。この場合、例えば、面９０にある画素９２の画素値は、画素９２を通過し、視点９１に到達する光線９３により決定されることになる。

例えば、図７（ａ）において指定された視点の画像３０を生成するためには、光線３４から光線３５の間にある光線により生じる画素の画素値を決定すればよいことになる。視点判定部６１は、光線３６による画像３０の画素の画素値を決定するために、指定された視点に最も近い層上において、光線３６と光線空間において同一位置の画素を含む画像の視点位置を判定する。つまり、図７（ａ）においては、画像３３の視点を判定する。続いて、射影変換部６２は、事前画像３１の奥行き情報を、画像３３の視点位置に射影することで画像３３の奥行き情報を生成する。より具体的には、画像３３の奥行き情報を、事前画像３１の視点、視野及び奥行き情報、並びに、画像３３の視点及び視野に基づき生成する。

続いて、画素値決定部６３は、画像３１、３２及び３３の奥行き情報に基づき、画像３３の光線３６による画素に対応する画像３１及び画像３２の画素、つまり、同じ位置にある画素を求めて、これら対応する画素から光線３６により生じる画素の画素値を決定する。なお、画素値の決定には、画像３１と画像３３の距離及び画像３２と画像３３の距離を考慮する。具体的には、画像３１の対応画素の画素値をＸ、画像３２の対応画素の画素値をＹ、画像３１と画像３２の距離に対する画像３１と画像３３の距離をａとすると、
光線３６により生じる画素の画素値＝ａ×Ｘ＋（１−ａ）×Ｙ
により求める。

なお、画像３１の奥行き情報から求めた画像３３での奥行き情報と、画像３１の奥行き情報及び画素値のみを使用する形態であっても、画像３２の奥行き情報から求めた画像３３での奥行き情報と、画像３２の奥行き情報及び画素値のみを使用する形態であっても良い。

この様に、画像３０の各画素の画素値を決定するために一番近い層の事前画像及び奥行き情報を使用する。しかしながら、画像３３においては遮蔽されていないが、画像３１や画像３２の位置においては遮蔽されている光線が存在する。この様な光線が存在する場合において、画像３１の奥行き情報から画像３３の奥行き情報を求めたとしても、画像３３の画素の総ての奥行き情報を得ることができず、奥行きの値が不定となる画素が生じる。例えば、画像３１の奥行き情報から求めた、光線３６により画像３３に生じる画素の奥行き情報が不定である場合、画像３１には対応する画素が存在しないことになり、画像３１の画素値から光線３６による画素値を決定することはできない。

より具体的には、画素値の決定に画像３１及び画像３２の両方を使用する場合、光線３６による画像３３の画素の奥行き情報を、画像３１及び画像３２の両方の奥行き情報からそれぞれ求めることができなければならない。また、画素値の決定に画像３１及び画像３２の一方のみを使用する場合、光線３６による画像３３の画素の奥行き情報を、画素値の決定に使用する画像３１又は画像３２の奥行き情報から求めることができなければならない。求めることができない場合、画像生成部５は他の層の事前画像を使用して残りの画素値の決定を行う。なお、画素値の決定に画像３１及び画像３２の一方のみを使用する場合において、使用している画像では決定できない場合、他方の画像を使用して決定し、両方の画像により決定できない場合にのみ他の層を使用する形態であっても良い。

図８は、最も近い層の事前画像により画素値を決定できない場合の処理を説明する図である。図８に示す様に、画像生成部５は画像８０を生成するために、事前画像８１及び／又は８２に基づき上述した方法にて画素値を決定し、層５２の事前画像により決定できない画素値については、２番目に近い層５１の事前画像８３及び／又は８４を使用して決定する。さらに、層５１の事前画像により決定できない画素値については、３番目に近い層５３の事前画像８５から８７を使用し、以後、総ての画素値が決定できるまで、事前に設定した層上の事前画像を用いて繰り返し処理を行う。総ての層を使用しても画素値を決定することができない画素が存在する場合、周囲の画素の画素値から補間処理により画素値を決定する。

また、他の実施形態として、画像生成部５は、各事前画像の奥行き情報を使用して、指定された視点位置での画像を複数生成して、これらを平均化する形態であってもよい。具体的には、図８の事前画像８１から８７のそれぞれの画素値及び奥行き情報を用いて生成した７つの画像の同一位置の画素の画素値の平均値を、生成する画像８０の画素値とする。このとき、各奥行き情報では決定できない画素の画素値は平均処理に含めない。なお、層５３において、事前画像８５により決定する画素は、事前画像８６から事前画像８５側にある光線による画素のみであり、事前画像８７により決定する画素は、事前画像８６から事前画像８７側にある光線による画素のみであり、それ以外の画素についても平均処理には含めない。

自由視点画像を実現するために、まず、空間を被写体が存在する第２の空間と、被写体が存在しない第１の空間に分割し、第１の空間内において、被写体の方を向けて複数のカメラを設置して撮影を行うことになるが、使用できるカメラの数には、通常、制限があるため、カメラが設置されていない位置を視点とする画像については、補間処理により作成することになる。しかしながら、補間処理により、要求される視点位置の解像度に対応する総ての画像をあらかじめ作成し、保存部１に保存しておくこと、つまり、光線空間における総ての光線をあらかじめ作成して保存しておくことは、その記憶容量や処理負荷の点で現実的ではない。このため、各事前画像に対して奥行き情報を生成しておき、あらかじめ用意していない光線に対応する画素については、これら奥行き情報に基づき対応する画素を判定して生成を行う。これにより、あらかじめ用意しておく画像数を削減することができる。

ただし、第１の空間に設定した線上に配置したカメラで撮影した撮影画像と、これら撮影画像から生成した、カメラと同じ線上を視点位置とする補間画像からは、対象物により遮蔽された位置の画素値を素早く計算することはできない。例えば、図６で説明した様に、点１３に対応する画素の画素値を決定するためには、点１３の画素値の情報を有する画像を探索して生成することが必要となる。これら処理には時間がかかるため、本発明においては、あらかじめ、第２の空間内にも複数の直線又は曲線を設定して、これら線上の位置においても事前画像及び奥行き情報を生成しておく。この様に、複数の異なる層の事前画像と、その位置における奥行き情報をあらかじめ用意しておくことで、保存部１に保存しておくデータ量を抑えつつ、任意の位置の画像を素早く生成することが可能になる。

本発明による画像処理装置は、コンピュータを上述した画像処理装置として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックのうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。

１ 保存部
２ 補間画像生成部
３ 奥行き情報生成部
５ 画像生成部
１０、１１、１２ 被写体
１３、１４ 被写体上の一点
２０、２３ 視点
３０、８０ 指定された視点での画像
２１、２２、２４、２５、２７、２８、３１、３２、８１〜８７ 事前画像
３３ 事前画像間の画像
３４、３５、３６、３７、４３、７０、７１ 光線
５１、５２、５３、５４、５５ 層
６１ 視点判定部
６２ 射影変換部
６３ 画素値決定部
９０ 画面
９１ 視点
９２ 画素

Claims (8)

1. カメラを配置している線とカメラを配置していない複数の線とを含む所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を保存する保存手段と、
   前記画像及び奥行き情報に基づき指定された第１の視点での画像である第１の画像を生成する画像生成手段と、
   を備えている画像生成装置。
2. 画像生成手段は、
   第１の画像の第１の画素の画素値を決定するため、前記複数の線から第１の線を選択し、選択した第１の線上において、第１の画素と光線空間において同一位置の第２の画素を含む第２の画像の視点である第２の視点を判定する視点判定手段と、
   前記第１の線上にある第３の視点での第３の画像の奥行き情報から、第２の画素の奥行き情報を求める変換手段と、
   前記第２の画素の奥行き情報、第３の画像及び第３の画像の奥行き情報に基づき、第２の画素に対応する第３の画像の第３の画素を判定し、判定した第３の画素の画素値に基づき第１の画素の画素値を決定する画素値決定手段と、
   を備えている請求項１に記載の画像生成装置。
3. 決定手段は、前記第２の画素の奥行き情報と、前記第１の線上において第２の視点に対して第３の視点と反対側にある第４の視点での第４の画像の奥行き情報に基づき、第２の画素に対応する第４の画像の第４の画素を判定し、第４の画素の画素値を、第１の画素の画素値の決定に使用する、
   請求項２に記載の画像生成装置。
4. 画像生成手段は、第３の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第１の線以外の線上にある画像を使用して、第１の線上の画像と同じ処理により第２の画素の画素値を決定する、
   請求項２又は３に記載の画像生成装置。
5. 画像生成手段は、第３の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第４の画像の奥行き情報から第２の画素の奥行き情報を取得し、第４の画像の奥行き情報から第２の画素の奥行き情報が得られない場合、第１の線以外の線上にある画像を使用して、第１の線上の画像と同じ処理により第２の画素の画素値を決定する、
   請求項３に記載の画像生成装置。
6. 前記第１の線は、前記第１の視点に最も近い線である請求項２から５のいずれか１項に記載の画像生成装置。
7. 画像生成手段は、
   第１の画像の第１の画素の画素値を決定するため、各線上において、第１の画素と光線空間において同一位置の第２の画素を含む第２の画像の視点である第２の視点を判定する視点判定手段と、
   各線上の第２の視点の隣の視点における第３の画像の奥行き情報から、第２の画素の奥行き情報を、それぞれ、求める変換手段と、
   第３の画像それぞれについて、第３の画像の奥行き情報から求めた第２の画素の奥行き情報に基づき、第２の画素に対応する該第３の画像の第３の画素を判定し、該３の画素の画素値に基づき第１の画素の画素値を求め、第３の画像それぞれについて求めた第１の画素の画素値の平均を、第１の画素の画素値に決定する画素値決定手段と、
   を備えている請求項２に記載の画像生成装置。
8. 請求項１から７のいずれか１項に記載の画像生成装置としてコンピュータを機能させるプログラム。

Images