JP5131848B2 - 画像表示装置、視点誘導方法及びプログラム - Google Patents

Description

本発明は、自由視点画像の表示技術に関し、より詳しくは、利用者が指定した視点を、装置が生成するより好ましい視点に誘導する技術に関する。

複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成及び表示技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。なお、座標空間の総ての座標に対して画素値のデータをあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ画素値のデータを用意しておく。

特開２００８−１５７５６号公報 Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、"Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ"、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月 Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、"Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ"、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年

自由視点画像表示装置は、利用者が指定した任意の視点から見た画像を、あらかじめ用意した画像データに基づき生成して表示するものである。しかしながら、画像データは、一般的には、複数のカメラで撮影した画像から補間処理により生成したものであり、このカメラの数や位置の影響により、指定された視点での画像の品質は、視点毎に異なることになる。つまり、例えば、利用者が指定した第１の視点での画像と、第１の視点の直ぐ近くにある第２の視点での画像を比較すると、画像に表示されているものはさほど違いが無いが、第２の視点での画像の品質が第１の視点での画像の品質より優れていることが生じ得る。この場合、第２の視点に表示を誘導することが望ましい場合がある。

また、例えば、スポーツの試合等を撮影した動画像に基づく自由視点画像表示システムにおいて、有名な選手や監督等の視点を好ましい視点とし、この好ましい視点に誘導したい場合もある。

したがって、本発明は、利用者が指定した任意の視点から見た画像を表示する一方、より好ましい視点位置に誘導する画像表示装置、誘導方法及びプログラムを提供することを目的とする。

本発明における画像表示装置によれば、
指定された視点を保持する入力視点保持手段と、指定された視点の優先が通知されている場合には、入力視点保持手段が保持する視点を調整後視点保持手段に出力し、指定された視点の非優先が通知されている場合には、調整データに基づき決定した視点を調整後視点保持手段に出力する視点調整手段と、調整後視点保持手段が保持する視点と画像データに基づき、調整後視点保持手段が保持する視点での画像を生成する描画手段と、描画手段が生成した画像を表示する画像表示手段とを備えていることを特徴とする。

本発明の画像表示装置における他の実施形態によれば、
視点調整手段は、指定された視点が非優先に変更されたとき、入力視点保持手段が保持する視点と調整データに基づき好ましい視点を判定し、零を含む所定の時間後に、あるいは、所定の速度で好ましい視点の位置に到達し、好ましい視点の位置に到達したときに好ましい視点と一致する様に、調整後視点保持手段に出力する視点を変化させることも好ましい。なお、好ましい視点の判定には、複数の指標を使用することが望ましい。

また、本発明の画像表示装置における他の実施形態によれば、
調整データは、基準時刻からの経過時間と視点の対応関係を示す視点移動データであり、好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点から、零を含む所定の時間後に、あるいは、所定の速度で到達できる、視点移動データが示す視点であることも好ましい。

さらに、本発明の画像表示装置における他の実施形態によれば、
調整データは、画像データの生成に使用したカメラの光軸の方向及び該光軸が通る実空間の位置を示すデータであり、好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点に最も近い光軸上の点において該光軸の方向を向く視点であることも好ましい。

さらに、本発明の画像表示装置における他の実施形態によれば、
調整データは、空間を分割した領域と、この領域の最良視点を示すデータであり、好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点が属する領域の最良視点であり、各領域の最良視点は、各領域内においてあらかじめ決めた視点である代表視点のうち、代表視点での画像を生成するために使用する撮影画像数又は撮影画像数の全画素に渡る平均値が一番多い代表視点であり、撮影画像は、画像データを生成するために使用したカメラが撮影した画像であることも好ましい。

さらに、本発明の画像表示装置における他の実施形態によれば、
視点を入力するための操作機構及び該操作機構を駆動する、あるいは、振動させる駆動部を備えている視点入力手段と、視点入力手段により入力された視点を保持する入力視点保持手段と、入力視点保持手段が保持する視点と画像データに基づき、入力視点保持手段が保持する視点での画像を生成する描画手段と、描画手段が生成した画像を表示する画像表示手段と、調整データと入力視点保持手段が保持する視点に基づき前記駆動部を駆動する、あるいは、振動させる制御信号を生成する駆動量計算手段とを備えていることを特徴とする。

さらに、本発明の画像表示装置における他の実施形態によれば、
駆動量計算手段は、入力視点保持手段が保持する視点と調整データに基づき好ましい視点を判定し、好ましい視点と入力視点保持手段が保持する視点との距離に応じた強さで、好ましい視点に向かい、かつ、好ましい視点と入力視点保持手段が保持する視点の方向の角度差に応じた強さで視点の方向を一致させる力を操作機構に与える様に制御信号を生成することも好ましい。なお、好ましい視点の判定には、複数の指標を使用することが望ましい。

本発明におけるプログラムによれば、
上記画像表示装置としてコンピュータを機能させることを特徴とする。

本発明における視点誘導方法によれば、
指定された視点の優先が視点入力装置より通知されている状態において、描画部が、指定された視点と画像データに基づき、指定された視点での画像を生成するステップと、指定された視点が非優先に変わったとき、視点調整部が、指定された視点と調整データに基づき指定された視点を変更するステップと、描画部が、変更された視点と画像データに基づき、変更された視点での画像を生成するステップとを備えていることを特徴とする。

本発明の視点誘導方法における他の実施形態によれば、
操作機構及び該操作機構を駆動する、あるいは、振動させる駆動部を備えている視点入力装置により視点を入力するステップと、駆動量計算部が、調整データと入力された視点に基づき前記駆動部を駆動する、あるいは、振動させる制御信号を生成するステップとを備えていることを特徴とする。

調整データに基づき好ましい視点を決定し、この視点に向けて利用者が操作する操作機構にトルクを生じさせてこの好ましい視点に誘導し、あるいは、利用者が指定した視点を強制的に使用することを要求しない限り、指定した視点の近傍にある好ましい視点に誘導を行う。好ましい視点は、例えば、画像データの生成に使用したカメラの光軸や、画像データの生成に使用したカメラが撮影した画像の数から決定したものであり、利用者をより品質の良い画像が得られる視点に誘導することとなる。また、あらかじめ、模範となるものの視点の動かし方を、時系列のデータとして保存しておくことで、利用者をこの模範となる視点に誘導することができる。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による画像表示装置の第１実施形態の要点を示す機能ブロック図である。図１によると、画像表示装置は、駆動量計算部１と、視点入力装置２と、入力視点保持部３と、描画部４と、画像表示部５と、データベース部６とを備えている。

データベース部６は、自由視点画像を生成するための元になるデータである画像データと、調整データとを備えている。ここで、調整データは、好ましい視点を決定するためのデータであり、本実施形態においては、画像データを生成するために使用したカメラの光軸データ、つまり、光軸の方向と、この光軸が通る実空間の位置を示すデータである。

視点入力装置２は、利用者に表示したい視点を入力させるためのユーザインタフェースである。特に、本実施形態において、視点入力装置２は、力覚コントローラの様に、利用者が視点を指定するための操作機構と、この操作機構を駆動する駆動部とを備えているものを使用する。なお、以下の実施形態において、利用者は視点のみを指定し、画角、つまり視点位置から見た視野に含まれる３次元空間の範囲は固定であるものとして説明をするが、利用者が画角を指定する形態であっても良い。また、視点とは、位置と方向により特定される値である。

入力視点保持部３は、利用者が指定した視点を保持するものであり、描画部４は、入力視点保持部３が保持する視点と、データベース部６の画像データに基づき、入力視点保持部３が保持する視点から見た、所定の画角により決まる範囲の画像を生成して画像表示部５に出力し、画像表示部５は、描画部４が生成した画像を表示する。

駆動量計算部１は、データベース部６の調整データ、本実施形態においては光軸データと入力視点保持部３が保持する視点に基づき視点入力装置２の駆動部を制御するための制御信号を生成して視点入力装置２に出力し、視点入力装置２の駆動部は、この制御信号に従い操作機構を駆動する。ここで、本実施形態における駆動量計算部１での処理を、図３を用いて説明する。図３において黒丸は、画像データ生成のために使用したカメラであり、符号５０、５１及び５２は、それぞれ、各カメラの光軸を表している。また、符号５３は、入力視点保持部３が保持している視点を表している。駆動量計算部１は、まず、視点５３と、各光軸との最短距離を求め、この最短距離が一番小さい光軸を選択し、選択した光軸上の最短距離を与える点に向かう力を視点入力装置２の操作機構に与える様に制御信号を生成する。

例えば、図３において、視点５３と光軸５０との最短距離はｒ_０であり、視点５３と光軸５１との最短距離はｒ_１であり、視点５３と光軸５２との最短距離はｒ_２であり、ｒ_１が最小であるため、駆動量計算部１は、光軸５１を選択し、この最短距離ｒ_１を与える光軸５１上の点である点５４に向かう力を操作機構に与える様に制御信号を生成する。なお、与える力の大きさは、１／ｒ_１ ^２に比例する値の様に、最短距離が大きくなるほど小さくすることが好ましい。ただし、視点５３が光軸上にある場合には、与える力の大きさは０とする。さらに、駆動量計算部１は、光軸の方向と視点の方向との角度のずれに応じて、角度のずれを補正する力を操作機構に与えるための制御信号も発生させる。この力も角度のずれが大きくなるほど小さくすることが好ましい。なお、図３においては、簡単のため、ある２次元平面に光軸及び視点が存在している場合を示しているが、実際には、視点は３次元空間上の点であり、光軸も三次元空間における直線である。

また、視点入力装置２の駆動部が操作機構に対して、好ましい視点と一致させるための力を加える形態以外にも、駆動部が操作機構に振動を与える形態であっても良い。この場合、駆動量計算部１は、例えば、好ましい視点と、入力視点保持部３が保持している視点が一致していない場合、その差が大きい程大きく振動させるための制御信号を生成して駆動部に出力する。

続いて、本発明の第２実施形態について説明する。なお、以下の説明において、既に説明したものと同様の機能要素については、同じ参照符号を付与し、機能の相違点についてのみ説明する。図２は、第２実施形態の画像表示装置の要点を示す機能ブロック図である。図２によると、画像表示装置は、視点入力装置２と、入力視点保持部３と、描画部４と、画像表示部５と、データベース部６と、視点調整部７と、調整後視点保持部８とを備えている。なお、本実施形態においても調整データは、光軸データである。

一方、本実施形態においては、第１実施形態とは異なり、駆動部を備えた視点入力装置２を必要としない。つまり、視点入力装置２には、マウス等の単なるポインティングデバイスを使用可能である。さらに、本実施形態において、利用者は、視点入力装置２を使用して、視点を指定する以外に、指定した視点を優先するか否かも入力し、視点入力装置２は、指定された視点を入力視点保持部３に出力すると共に、指定された視点の“優先”又は“非優先”を視点調整部７に通知する。

視点調整部７は、指定された視点が“優先”である場合、入力視点保持３が保持している視点を、そのまま、調整後視点保持部８に出力する。一方、指定された視点が“非優先”である場合、入力視点保持３が保持している視点を、光軸データに基づき調整し、調整後の視点を調整後視点保持部８に出力する。描画部４は、調整後視点保持部８が保持している視点に基づき画像データから画像を生成して画像表示部５に出力する。

視点調整部７は、第１実施形態の駆動量計算部１と同じく、入力視点保持部３が保持している視点に、最も近い光軸を判定し、判定した光軸上の、入力視点保持部３が保持している視点との最短距離を与える点に向かう様に、順次、調整後視点保持部８に設定する視点を変更していく。なお、調整後視点保持部８に出力する視点の方向は、視点の位置が光軸上に達した時に、光軸と同一方向となる様に、順次、その角度の差を小さくする。入力視点保持部３が保持している視点から、判定した光軸上の点に移動するまでの時間や、移動の間の更新数は任意であり、例えば、“優先”から“非優先”に変わった瞬間に、最短距離を与える点を視点とする画像に切り替えても良い。また、利用者が、視点を“非優先”としつつ、指定する視点を動かした場合、視点調整部７は、利用者が指定している視点と、光軸データに基づき求めた、指定している視点に最も近い光軸上の点を調整後視点保持部８に出力することになる。

光軸上の画像は、カメラが直接撮影した画像であり、品質の上限を規定するものである。よって、第１及び第２実施形態においては、最も近い光軸上の点において、この光軸の方向を向く視点を好ましい視点とし、第１実施形態においては、利用者が操作する視点入力装置２にトルクを生じさせてこの好ましい視点に誘導し、第２実施形態においては、利用者が指定した視点を強制的に使用することを要求しない限り、指定した視点の近傍にある好ましい視点に誘導を行うこととしている。

続いて、本発明による第３実施形態及び第４実施形態について説明する。第３実施形態及び第４実施形態は、それぞれ、第１実施形態及び第２実施形態の光軸データの代わりに、生成する画像に用いる撮影画像数により生成したデータを用いるものであり、図１は、第３実施形態の、図２は第４実施形態のブロック図でもある。ここで、撮影画像とは、画像データを生成するために使用したカメラが撮影した画像である。本実施形態は、３次元空間を領域に分割し、各領域の中で最も好ましい視点である最良視点に誘導するものであり、以下に、本実施形態において調整データとして使用するデータについて説明する。

図４において、四角の枠は、自由視点画像において視点として指定できる全空間を分割した領域であり、各黒丸は、この領域内の代表視点を表し、各黒丸の下にある数字は、各代表視点からの画角内に見える画像を生成する場合に利用する撮影画像の数を表している。なお、空間の領域への分割と、各領域における代表視点の密度は、あらかじめ決めておく。一般的に、画像の生成に利用する撮影画像の数が多いほど、生成する画像の品質はよくなるため、この領域内の代表視点のうち、最も使用する撮影画像の数が多い視点を最良視点とし、第３実施形態及び第４実施形態においては、各領域を特定する情報と各領域の最良視点との対応関係を調整データとして使用する。つまり、図４の例においては、撮影画像数が１４である視点が最良視点となる。

したがって、第３実施形態において駆動量計算部１は、また、第４実施形態において視点調整部７は、図４に示す領域内のいずれの視点が指定されたとしても、最良視点である撮影画像数が１４の視点を好ましい視点とし、この視点への誘導を行う。なお、生成する画像のために使用する撮影画像の総数を利用する以外に、例えば、生成する画像について、画素値の生成に利用した撮影画像の数の全画素に渡る平均値を求め、この平均値を、撮影画像数としても良い。

続いて、本発明による第５実施形態について説明する。なお、第５実施形態のブロック図は、図２であり、本実施形態においては調整データとして、模範視点移動データを使用する。ここで、模範視点移動データとは、ある基準時刻からの経過時間と、各経過時間に対する好ましい視点を示すデータであり、例えば、スポーツの試合等を撮影した動画像に対して、その監督等の視点を取得することによりあらかじめ生成しておく。

図５は、視点調整部７が模範視点移動データを使用して行う処理を説明する図であり、符号６０で示す線が、模範視点移動データを表している。視点調整部７は、視点入力装置２による入力視点が優先である場合、入力視点保持部３が保持している視点を、そのまま、調整後視点保持部８に出力する。その後、非優先となったとき、入力視点保持部３が保持している視点を、模範視点移動データの方向に移動させる。例えば、図５において、模範視点移動データは、時刻０において位置７０を、時刻ｔ_１において位置７１を、時刻ｔ_２において位置７２をそれぞれ示している。また、利用者は、時刻０において視点８１を入力しており、その後、入力した視点を優先することを示す信号を発生させつつ、入力視点を線６１上で移動させ、時刻ｔ_１において、入力した視点を優先することを示す信号を止めている。これにより、視点調整部７は、時刻ｔ_１において、入力視点保持部３が保持する視点８２と、この時刻以降の模範視点移動データに基づき、視点を例えば所定の速度で線６０に向けて動かした場合において、線６０に達する時刻ｔ_２とその位置７２を求め、図５の矢印で示す視点７２に向かう線に沿って、調整後視点保持部８に出力する視点の位置を更新する。なおこのとき、視点の方向についても、時刻ｔ_２において視点７２の方向に一致する様に、視点８２の方向を徐々に変化させる。視点７２に到達後、利用者が、指定している視点の“非優先”を選択している限り、視点調整部７は、模範視点移動データ通りの視点を、調整後視点保持部８に出力する。

なお、所定の速度に基づき交点を求めるのではなく、所定の時間後に線６０に達するために必要な速度を求める形態であっても良い。さらに、時刻ｔ_１において、“非優先”となった段階で、直ちに、視点調整部７が、模範視点移動データによる視点を調整後視点保持部８に出力する形態、つまり、前記移動のための所定の時間は０であっても良い。また、上記模範視点移動データは、動画像のある時間を基準時刻として、時間の進行と共に変化する模範的な視点を示すものであったが、例えば、動画像のある時刻において、つまり、静止画像とした状態においての模範的な視点の移動を表すものであっても良い。この場合、図５の時刻０、時刻ｔ_１、時刻ｔ_２は、視点操作をして視聴しているときの経過時間であり、動画像として撮影されている対象、例えば、スポーツの試合の実際の経過時間とは無関係な値である。

また、上述した実施形態においては、好ましい視点の判定に使用する指標、つまり、調整データとしては、例えば、光軸データや、撮影画素数や、撮影画像数の平均値といったものを単独で使用していたが、２つ以上を使用する形態であってもよい。つまり、例えば、光軸データによる好ましい視点と、撮影画像数による好ましい視点をそれぞれ求め、例えば、指定されている視点に近い方を選択する様な形態であっても良い。このとき、単純に距離に近い方を選択するのではなく、例えば、各指標に１以下の数による重み設定し、距離と重みの積の小さい方を選択する形態とすることもできる。

なお、本発明による画像生成装置は、コンピュータを上記画像表示装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

本発明による画像表示装置のブロック図である。 本発明の他の実施形態による画像表示装置のブロック図である。 光軸データによる視点の誘導を説明する図である。 撮影画像数による視点の誘導を説明する図である。 模範視点移動データによる視点の誘導を説明する図である。

符号の説明

１ 駆動量計算部
２ 視点入力装置
３ 入力視点保持部
４ 描画部
５ 画像表示部
６ データベース部
７ 視点調整部
８ 調整後視点保持部
５０、５１、５２ カメラの光軸
５３、７０、７１、７２、８１、８２ 視点
５４ 点
６０ 模範視点
６１ 指定した視点

Claims (8)

1. 表示したい視点を利用者に指定させる、および指定した視点を優先するか否かを利用者に入力させるための視点入力手段と、
   指定された視点を保持する入力視点保持手段と、
   指定された視点の優先が通知されている場合には、入力視点保持手段が保持する視点を調整後視点保持手段に出力し、指定された視点の非優先が通知されている場合には、調整データに基づき決定した視点を調整後視点保持手段に出力する視点調整手段と、
   調整後視点保持手段が保持する視点と画像データに基づき、調整後視点保持手段が保持する視点での画像を生成する描画手段と、
   描画手段が生成した画像を表示する画像表示手段と、
   を備えている画像表示装置。
2. 視点調整手段は、指定された視点が非優先に変更されたとき、入力視点保持手段が保持する視点と調整データに基づき好ましい視点を判定し、零を含む所定の時間後に、あるいは、所定の速度で好ましい視点の位置に到達し、好ましい視点の位置に到達したときに好ましい視点と一致する様に、調整後視点保持手段に出力する視点を変化させる、
   請求項１に記載の画像表示装置。
3. 好ましい視点の判定には、複数の指標を使用する、
   請求項２に記載の画像表示装置。
4. 調整データは、基準時刻からの経過時間と視点の対応関係を示す視点移動データであり、
   好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点から、零を含む所定の時間後に、あるいは、所定の速度で到達できる、視点移動データが示す視点である、
   請求項２に記載の画像表示装置。
5. 調整データは、画像データの生成に使用したカメラの光軸の方向及び該光軸が通る実空間の位置を示すデータであり、
   好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点に最も近い光軸上の点において該光軸の方向を向く視点である、
   請求項２に記載の画像表示装置。
6. 調整データは、空間を分割した領域と、この領域の最良視点を示すデータであり、
   好ましい視点は、指定された視点が非優先に変更されたときの入力視点保持手段が保持する視点が属する領域の最良視点であり、
   各領域の最良視点は、各領域内においてあらかじめ決めた視点である代表視点のうち、代表視点での画像を生成するために使用する撮影画像数又は撮影画像数の全画素に渡る平均値が一番多い代表視点であり、
   撮影画像は、画像データを生成するために使用したカメラが撮影した画像である、
   請求項２に記載の画像表示装置。
7. 請求項１から６のいずれか１項に記載の画像表示装置としてコンピュータを機能させるプログラム。
8. 表示したい視点を利用者に指定させる、および指定した視点を優先するか否かを利用者に入力させるための視点入力ステップと、
   指定された視点の優先が視点入力ステップより通知されている状態において、描画部が、指定された視点と画像データに基づき、指定された視点での画像を生成するステップと、
   指定された視点が非優先に変わったとき、視点調整部が、指定された視点と調整データに基づき指定された視点を変更するステップと、
   描画部が、変更された視点と画像データに基づき、変更された視点での画像を生成するステップと、
   を備えている自由視点画像表示装置における視点誘導方法。

Images