JP7086522B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する技術に関するものである。

従来、異なる位置に設置された複数のカメラにより複数の方向から被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能になり、通常の撮影画像よりも視聴者に高臨場感を与えることが出来る。

特許文献１には、複数視点画像には含まれない仮想オブジェクトとしての広告を、複数視点画像に含まれる現実の対象物に貼り付けるように、仮想視点画像に挿入して表示させることが記載されている。

特開２０１２－４８６３９号公報

しかしながら、従来の技術では、仮想視点画像の生成に係る仮想視点が移動する場合に、仮想視点画像の適切な領域に仮想オブジェクトが表示されない場合が考えられる。例えば、仮想視点画像に含まれるべき仮想オブジェクトが仮想視点の移動に伴って仮想視点画像に含まれなくなってしまう虞がある。また例えば、仮想視点画像に含まれる重要度の高い被写体が、仮想視点の移動に伴って仮想オブジェクトにより遮蔽されてしまう虞がある。

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることを目的とする。

上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路及び前記移動経路上の仮想視点からの視線方向を示す視点情報を取得する取得手段と、前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置として、前記取得手段により取得された視点情報により特定される前記移動経路上の複数の仮想視点の視界のうち所定の数よりも多い数の仮想視点の視界に含まれる位置を決定手段と、を有する。

本発明によれば、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることができる。

画像処理システム１０の構成を説明するための図である。 画像処理装置２のハードウェア構成について説明するための図である。 仮想オブジェクトの配置及び仮想視点の移動経路について説明するための図である。 制御装置３による仮想視点画像の生成に係る処理について説明するためのフローチャートである。 画像処理装置２による仮想オブジェクトの挿入に係る処理について説明するためのフローチャートである。 画像処理装置２による仮想オブジェクトの位置決定に係る処理について説明するためのフローチャートである。 仮想オブジェクトの位置の決定方法について説明するための図である。 仮想オブジェクトの向き及び形状の決定方法について説明するための図である。 仮想視点画像における仮想オブジェクトの表示例について説明するための図である。 仮想オブジェクトを複数配置する場合における、仮想オブジェクトの位置の決定方法について説明するための図である。 画像処理装置２による仮想オブジェクトの調整に係る処理について説明するためのフローチャートである。 仮想オブジェクトの調整方法について説明するための図である。

［システム構成］
図１は、本実施形態に係る画像処理システム１０の全体構成の例を表す図である。画像処理システム１０は、複数視点画像保持部１（以降、保持部１）、画像処理装置２、制御装置３及び仮想視点画像保持部４（以降、保持部４）を有する。

なお、本実施形態における仮想視点画像は、仮想的な視点から被写体を撮影した場合に得られる画像である。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態において仮想視点画像は、画像処理システム１０において生成される動画の各フレームに対応する。すなわち画像処理システム１０は、時間的に連続する複数の仮想視点画像から構成される動画を生成する。また、本実施形態におけるユーザは、制御装置３を操作して仮想視点画像の生成を制御する操作者であり、画像処理システム１０から配信される仮想視点画像を見る視聴者とは区別されるものとする。ただし、操作者と視聴者が同一のユーザであってもよい。

保持部１は、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像（複数視点画像）を保持し、画像処理装置２に送信する。複数のカメラは、例えば競技場のフィールドやライブステージなどを取り囲むように設置され、同期して撮影を行う。ただし、複数のカメラはフィールドやステージなどの被写体を複数の方向から撮影できるように設置されていればよく、被写体の周囲全体にわたって設置されていなくてもよい。本実施形態では、複数のカメラそれぞれから保持部１に撮影画像が送信され、保持部１がそれらの撮影画像を画像処理装置２に送信するものとする。ただしこれに限らず、複数のカメラから画像処理装置２へ撮影画像が直接送信されてもよい。また、保持部１が保持する画像や画像処理装置２へ送信される画像が、撮影画像そのものではなく、例えば複数の撮影画像の差分に基づいて生成された画像などであってもよい。

画像処理装置２は、仮想視点画像生成部２０１（以降、画像生成部２０１）、仮想オブジェクト配置決定部２０２（以降、配置決定部２０２）及び仮想オブジェクトモデル化部２０３（以降、モデル化部２０３）を有する。

画像生成部２０１は、保持部１から取得した複数視点画像から、被写体の形状を表す３次元モデルを生成する。そして画像生成部２０１は、制御装置３の仮想カメラパス生成部３０２（以降、パス生成部３０２）から取得した仮想カメラパスに応じて、被写体の３次元モデルに色や質感を表すテクスチャをマッピングし、仮想視点画像を生成する。なお、画像処理装置２が仮想視点画像を生成する方法はこれに限らず、例えば、画像処理装置２は３次元モデルを生成せず撮影画像を変形したり合成したりすることで仮想視点画像を生成してもよい。
仮想カメラパスとは、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報であり、ユーザによる仮想視点の指定に応じて制御装置３により生成される。なお、本実施形態の仮想カメラパスには、視点の位置を特定するための情報と視線の方向を特定するための情報が含まれるものとする。ただしこれに限らず、仮想カメラパスには視線の方向に関する情報が含まれなくてもよい。この場合には例えば、仮想カメラパスから特定される視点の位置と、予め定められた注視点の位置とに基づいて、仮想視点に係る視線の方向が決定されてもよい。また仮想カメラパスには、画角などその他のパラメータが含まれていてもよい。

また、画像生成部２０１は、モデル化部２０３から取得した仮想オブジェクトのモデルを被写体の３次元モデルと合成し、仮想オブジェクトのテクスチャをモデルにマッピングすることで、仮想オブジェクトを含む仮想視点画像を生成する。そして画像生成部２０１は、生成した仮想視点画像を制御装置３の仮想視点画像編集部３０１（編集部３０１）に出力する。仮想オブジェクトとは、複数視点画像には含まれず仮想視点画像に含まれる仮想的なオブジェクトである。なお本実施形態では、仮想オブジェクトが、仮想視点画像に広告を表示させるための面状のオブジェクトである場合を中心に説明する。ただし、仮想オブジェクトの形状や使用目的はこれに限らない。例えば仮想オブジェクトには、試合の途中経過に関する情報が表示されてもよいし、人物などの被写体を説明する文字や画像が表示されてもよい。また、仮想オブジェクトは例えば直方体や球体など立体形状のオブジェクトであってもよい。

配置決定部２０２は、パス生成部３０２から取得した仮想カメラパスと制御装置３の仮想オブジェクト情報保持部３０３（以降、情報保持部３０３）から取得した配置候補情報から、仮想オブジェクトの配置情報を生成する。そして配置決定部２０２は、生成した配置情報をモデル化部２０３に出力する。ここで、配置候補情報とは、被写体が存在する３次元空間（例えばスタジアム内）における仮想オブジェクトを配置する候補となる領域を示す情報である。また、仮想オブジェクトの配置情報とは、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかに関する情報である。なお、仮想オブジェクトの位置、大きさ、形状及び向きのすべてが配置情報により特定されてもよいし、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかが配置情報に依らない既定の値として設定されていてもよい。配置決定部２０２が仮想オブジェクトの配置を決定する方法の詳細については後述する。

ここで図３を用いて、仮想オブジェクトの配置候補について説明する。図３に示す例では、サッカー用のフィールドの周囲に仮想オブジェクトの配置候補領域５が存在する。配置候補領域５は領域５ａから領域５ｅの複数の領域により構成されており、領域５ａはさらにサブ領域５１ａからサブ領域５１ｎの複数の領域に分割されている。配置候補領域５は、領域５ａや領域５ｂのようにフィールドの側面全体にわたって配置されていてもよいし、領域５ｃや領域５ｄで示したようにサッカーゴールなどの所定の被写体の近傍を避けて配置されていてもよい。なお、領域５ａから領域５ｄは３次元領域であり、領域５ｅはフィールド面に垂直な２次元領域である。なお、配置候補領域５は図３に示すものに限らず、例えばフィール内や上空であってもよい。

モデル化部２０３は、配置決定部２０２から取得した仮想オブジェクトの配置情報と情報保持部３０３から取得した仮想オブジェクト情報から、仮想オブジェクトの３次元モデルを生成する。仮想オブジェクト情報には、仮想オブジェクトの形状やテクスチャに関する情報などが含まれる。また仮想オブジェクト情報には、当該仮想オブジェクトにより表示される広告を識別するための識別子などが含まれてもよい。そしてモデル化部２０３は、生成した仮想オブジェクトのモデルと、そのモデルにマッピングするためのテクスチャとを、画像生成部２０１に出力する。

制御装置３は、編集部３０１、パス生成部３０２及び情報保持部３０３を有する。編集部３０１は、ユーザによる操作を受け付け、受け付けた操作に応じて画像処理装置２に対する指示を行う。例えば、編集部３０１はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの操作部を有し、当該操作部によりユーザの操作を受け付ける。また編集部３０１は表示部を有し、ユーザに対してＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や画像処理装置２により生成された仮想視点画像などを表示する。

編集部３０１は具体的には、仮想視点画像を生成する画像処理装置２に対して、どのシーン（撮影時点）の複数視点画像に基づく仮想視点画像を生成するかを指示したり、生成される動画の再生速度の調整や一時停止を指示したりする。また編集部３０１は、ユーザによる仮想視点の指定に基づいてパス生成部３０２に仮想カメラパスの生成を指示し、仮想視点画像への仮想オブジェクトの挿入を配置決定部２０２に指示する。また編集部３０１は、指示に基づいて画像生成部２０１が生成した仮想視点画像を取得し、ユーザに対してプレビューを行う。また、編集部３０１は、プレビューした仮想視点画像をユーザの指示に応じて破棄したり保持部４へ出力したりする。

パス生成部３０２は、編集部３０１から仮想カメラパス生成指示を受けると、指示に基づいて仮想視点の移動経路上における視点の位置や視線の向きを決定し、時間的に連続する複数の仮想カメラパラメータからなる仮想カメラパスを生成する。各仮想カメラパラメータは、仮想視点の位置や向きを表すパラメータであり、フレーム番号やタイムコードなど、どのシーンに対応するパラメータであるかを特定するための情報に関連づけられている。また、パス生成部３０２は、生成した仮想カメラパスを配置決定部２０２に渡す。なお、仮想カメラパスの情報の形式はこれに限らない。

ここで図３を用いて、仮想視点の移動経路の例を示す。図３に示す例では、ゴールに向かって軌跡８に沿って移動するボール等の注目オブジェクトを後方から追うように、仮想視点の移動経路７が設定されている。パス生成部３０２により生成される仮想カメラパスは、例えばこの移動経路７を特定する情報である。仮想カメラパスには、移動経路７上の仮想視点６ａから仮想視点６ｆまでのそれぞれに対応する仮想カメラパラメータが含まれる。すなわちこの例では、６フレーム分の仮想視点を特定する仮想カメラパスが生成される。ユーザが編集部３０１を介して移動経路７を指定する際には、移動経路７を示す線を指定してもよいし、移動経路上のいくつかの仮想視点（例えば仮想視点６ａ、仮想視点６ｄ及び仮想視点６ｆ）を点として指定してもよい。点が指定された場合には、パス生成部３０２は、例えばスプライン補間などの方法により残りの仮想視点（仮想視点６ｂ、仮想視点６ｃ及び仮想視点６ｅ）を算出してもよい。スプライン補間とは、指定された点またはその近傍を通る曲線を生成する方法である。

情報保持部３０３は、仮想オブジェクトの配置候補情報および仮想オブジェクト情報を保持する。そして情報保持部３０３は、配置決定部２０２からの要求に従い、保持している配置候補情報を配置決定部２０２に出力する。また情報保持部３０３は、モデル化部２０３からの要求に従い、保持している仮想オブジェクト情報をモデル化部２０３に出力する。

保持部４は、画像処理装置２により生成された仮想視点画像を、編集部３０１を介して取得し保持する。そして保持部４により保持された仮想視点画像は、視聴者が有する再生装置などに対して出力される。なお、保持部４により保持された仮想視点画像はさらなる編集処理が行われてから視聴者に配信されてもよい。また、画像処理システム１０により生成された仮想視点画像はリアルタイムに配信されてもよい。

なお、本実施形態では、仮想オブジェクトの配置を決定する配置決定部２０２と、配置決定部２０２による決定に応じて仮想視点画像を生成する画像生成部２０１とがいずれも画像処理装置２に含まれるものとする。ただしこれに限らず、例えば画像生成部２０１が画像処理装置２とは異なる画像生成装置の内部に存在してもよい。そしてこの場合、配置決定部２０２は仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかに関する情報をその画像生成装置へ出力することで、仮想視点画像における仮想オブジェクトを表示させる領域を制御してもよい。また、配置決定部２０２やモデル化部２０３などが制御装置３の内部に存在してもよい。

［ハードウェア構成］
続いて、画像処理装置２のハードウェア構成について、図２を用いて説明する。なお、制御装置３のハードウェア構成も画像処理装置２と同様である。画像処理装置２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信部２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて画像処理装置２の全体を制御する。なお、画像処理装置２がＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵが行ってもよい。ＲＯＭ２１２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信部２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。

表示部２１５は、例えば液晶ディスプレイ等で構成され、ユーザが画像処理装置２を操作するためのＧＵＩなどを表示する。操作部２１６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信部２１７は、保持部１や制御装置３などの外部の装置と通信を行う。例えば、画像処理装置２が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２１７に接続される。なお、画像処理装置２が外部の装置と無線通信する機能を有する場合、通信部２１７はアンテナを備える。バス２１８は、画像処理装置２の各部を繋いで情報を伝達する。

なお、本実施形態では表示部２１５と操作部２１６は画像処理装置２の内部に存在するが、画像処理装置２は表示部２１５及び操作部２１６の少なくとも一方を備えていなくてもよい。また、表示部２１５及び操作部２１６の少なくとも一方が画像処理装置２の外部に別の装置として存在していて、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。

［動作フロー］
次に図４を用いて、制御装置３による仮想視点画像の生成に係る処理について説明する。図４に示す処理は、仮想視点画像の生成を開始するためのユーザによる操作を編集部３０１が受け付けたタイミングで開始される。ユーザによる操作は、例えば、競技中に撮影された撮影画像からリプレイ画像としての仮想視点画像を生成する際に行われる。ユーザは制御装置３の表示部２１５を見ながら操作部２１６を介して操作を行う。ただし、図４に示す処理の開始タイミングは上記タイミングに限定されない。図４に示す処理は、制御装置３のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。

Ｓ１において、編集部３０１は、ユーザによるシーン決定操作に応じて、生成対象となる仮想視点画像の動画の開始フレームと終了フレームを決める。Ｓ２において、編集部３０１は、ユーザによる仮想視点の指定に基づいてパス生成部３０２を制御し、仮想カメラパスを生成して画像処理装置２へ出力する。なお編集部３０１は、動画の再生速度の指定をユーザから受け付け、再生速度に関する情報を仮想カメラパスに含めてもよい。

Ｓ３において、編集部３０１は、ユーザによる操作に基づいて、仮想視点画像に仮想オブジェクトを挿入するか否かを判断する。例えばユーザは、仮想オブジェクトとしての広告を仮想視点画像に挿入する場合、制御装置３により表示されるＧＵＩ上の広告挿入項目にチェックを入れてから仮想視点画像を生成するボタンをクリックする。一方、仮想視点画像に広告を挿入しない場合、ユーザは、広告挿入項目にチェックを入れずに仮想視点画像を生成するボタンをクリックする。

仮想オブジェクトを挿入すると判断された場合（Ｓ３のＹＥＳ）、編集部３０１はＳ４において、画像処理装置２に仮想オブジェクトの挿入を指示し、情報保持部３０３を制御して仮想オブジェクト情報と配置候補情報を画像処理装置２へ出力する。そして編集部３０１は、Ｓ５において、画像処理装置２により生成された仮想オブジェクトを含む仮想視点画像を取得する。画像処理装置２による仮想オブジェクトの挿入処理については、図５を用いて後述する。一方、仮想オブジェクトを挿入しないと判断された場合（Ｓ３のＮＯ）、編集部３０１はＳ５において、画像処理装置２により生成された仮想オブジェクトを含まない仮想視点画像を取得する。

Ｓ６において、編集部３０１は、画像処理装置２から取得した仮想視点画像を、ユーザが確認できるようにプレビューする。ユーザはプレビューを確認して、必要に応じて仮想カメラパスの修正などの調整を行うことができる。Ｓ７において、編集部３０１は、ユーザが所望する仮想視点画像の生成に成功したか否かを、ユーザによる操作に基づいて判断する。生成に成功したと判断された場合（Ｓ７のＹＥＳ）、編集部３０１はＳ１０において、生成された仮想視点画像の動画を保持部４に出力して記憶させ、処理を終了する。

一方、生成に失敗したと判断された場合（Ｓ７のＮＯ）、編集部３０１はＳ８において、仮想カメラパスの修正を行うか否かをユーザ操作に基づいて判断する。仮想カメラパスを修正すると判断された場合（Ｓ８のＹＥＳ）、Ｓ２に戻って新たな仮想カメラパスを生成し、仮想視点画像の生成指示をやり直す。また仮想カメラパスを修正しないと判断された場合（Ｓ８のＮＯ）、編集部３０１はＳ９において仮想視点画像を破棄し、処理を終了する。

次に図５を用いて、画像処理装置２による仮想オブジェクトの挿入に係る処理について説明する。図５に示す処理は、配置決定部２０２が制御装置３から仮想オブジェクトの挿入指示を受け付けたタイミングで開始される。ただし、図５に示す処理の開始タイミングは上記タイミングに限定されない。図５に示す処理は、画像処理装置２のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図５に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。

Ｓ４１において、モデル化部２０３は、情報保持部３０３から仮想オブジェクト情報を取得する。Ｓ４２において、配置決定部２０２は、情報保持部３０３から仮想オブジェクトの配置候補情報を取得する。なお、図４のＳ８における判断に基づいて仮想視点画像の生成がやり直されている場合などには、Ｓ４１およびＳ４２の処理が省略されてもよい。Ｓ４３において、画像生成部２０１および配置決定部２０２は、パス生成部３０２から仮想カメラパスを取得する。なお、Ｓ４１、Ｓ４２およびＳ４３の処理は実行される順番が図５に示すものと異なっていてもよいし、これらの処理が並行して行われてもよい。

Ｓ４４において、配置決定部２０２は、取得した配置候補情報及び仮想カメラパスに基づいて仮想オブジェクトの配置を決定し、決定結果に応じて配置情報を生成する。仮想オブジェクトの配置決定方法の詳細については、図６等を用いて後述する。配置決定部２０２により生成される配置情報は、モデル化部２０３に出力される。Ｓ４５において、モデル化部２０３は、取得した仮想オブジェクト情報および配置情報に基づいて、仮想視点画像に挿入する仮想オブジェクトの３次元モデルを生成し画像生成部２０１へ出力する。Ｓ４６において、モデル化部２０３は、取得した仮想オブジェクト情報に基づくテクスチャを画像生成部２０１に出力する。なお、Ｓ４５の処理とＳ４６の処理の順番は逆であってもよいし、これらの処理が並行して行われてもよい。Ｓ４７において、画像生成部２０１は、仮想オブジェクトのモデル及びテクスチャを用いて仮想視点画像を生成し、生成した仮想視点画像を制御装置３へ出力して処理を終了する。

以上のように、配置決定部２０２により生成される配置情報に基づいて仮想オブジェクトのモデルが生成され、画像生成部２０１において仮想視点画像に仮想オブジェクトが合成される。すなわち配置決定部２０２は、取得した仮想カメラパスに基づいて仮想オブジェクトの位置に関する配置情報を生成し出力することで、仮想視点画像における仮想オブジェクトを表示させる表示領域を、仮想視点の移動経路に応じて制御することができる。

［処理の詳細］
図６を用いて、画像処理装置２による仮想オブジェクトの位置決定に係る処理について説明する。図６（ａ）は、図５のＳ４４における処理の詳細を表している。Ｓ４４１において、配置決定部２０２は、配置候補情報が示す複数の候補領域のうち、仮想カメラパスに応じて移動する仮想視点の視界に長く映る領域（仮想視点画像の動画に長い期間表示される領域）を、仮想オブジェクトを配置する領域として特定する。

すなわち配置決定部２０２は、仮想カメラパスから特定される移動経路上の複数の仮想視点それぞれに対応する複数の仮想視点画像のうち所定数以上の仮想視点画像に仮想オブジェクトが含まれるように、配置を決定する。この所定数は、仮想カメラパスに含まれる仮想カメラパラメータの数などに基づいて決まる値であってもよいし、ユーザにより指定された値であってもよい。また所定値は、各候補領域が上記複数の仮想視点画像のうちいくつの仮想視点画像に含まれるかに基づいて決まる値であってもよい。本実施形態では、最も多くの仮想視点画像に含まれる候補領域が、仮想オブジェクトが配置される領域として特定される場合を中心に説明する。なお、上記複数の仮想視点画像のすべてに仮想オブジェクトが表示されるような候補領域が存在する場合には、その候補領域を仮想オブジェクトの配置領域として特定する。本実施形態において、このようにして決定される仮想オブジェクトの位置は、３次元空間における固定位置であり、仮想視点の移動に伴って変化しない。

Ｓ４４２において、配置決定部２０２は、特定された領域に配置される仮想オブジェクトの向きや形状などを、仮想視点の移動経路に基づいて決定する。なお、仮想オブジェクトの向きや形状は、仮想視点に依らず予め設定されていてもよい。また、図３の領域５ｅのように候補領域が２次元領域である場合などには、仮想オブジェクトの向きは一意に決まる。

次に、仮想オブジェクトを配置する領域を特定する処理について、図６（ｂ）および図７を用いて説明する。図６（ｂ）は、図６（ａ）のＳ４４１における処理の詳細を表している。Ｓ４４１１において、配置決定部２０２は、仮想カメラパスの先頭の仮想カメラパラメータを解析して、動画の開始フレームにおける仮想視点６ａの視界を特定する。Ｓ４４１２において、配置決定部２０２は、仮想オブジェクトの配置候補領域５に含まれるサブ領域５１のそれぞれが、仮想視点６ａの視界に含まれるか否かを判定する。

Ｓ４４１３において、配置決定部２０２は、サブ領域５１それぞれについて、当該サブ領域が仮想視点６の視界内となったフレーム数を示すカウンタの値を更新する。開始フレームにおける仮想視点６ａが図７（ａ）に示す視界６１ａを有する場合、領域５ａのうち太枠で囲まれた部分に含まれるサブ領域５１が仮想視点６ａの視界内となるので、これらのサブ領域５１のカウンタの値が０から１に更新される。Ｓ４４１４において、配置決定部２０２は、未処理の仮想カメラパラメータがあるか否かを判定する。未処理の仮想カメラパラメータがあると判定されると（Ｓ４４１４のＹＥＳ）、配置決定部２０２は次の仮想カメラパラメータを解析対象とし（Ｓ４４１５）、Ｓ４４１１に戻る。

仮想視点６が図７（ｂ）に示すように仮想視点６ｂに移動した場合、太枠で囲まれた部分に含まれるサブ領域５１が仮想視点６ｂの視界６１ｂ内となるので、これらのサブ領域５１のそれぞれについてカウンタの値が更新される。図７（ｂ）の例では、視界内から視界外に変化したサブ領域５１のカウンタの値は１のままであり、視界内のままのサブ領域５１のカウンタの値は１から２に更新される。同様に、図７（ｃ）、図７（ｄ）、図７（ｅ）及び図７（ｆ）に示すように仮想視点６が移動し、仮想視点６ｆが動画の終了フレームにおける仮想視点である場合、全仮想カメラパラメータを解析した時点でのカウンタは、図７（ｆ）に示すような値となる。Ｓ４４１４において未処理の仮想カメラパラメータがないと判定されると（Ｓ４４１４のＮＯ）、Ｓ４４１６へ進む。

Ｓ４４１６において、配置決定部２０２は、カウンタの値が最大となったサブ領域５１を特定する。図７（ｆ）の例では、カウンタの値が６となったサブ領域５１ｆ、サブ領域５１ｇ及びサブ領域５１ｈが特定される。Ｓ４４１７において、配置決定部２０２は、特定されたサブ領域５１のうち隣接するサブ領域５１の数から、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されているか否かを判定する。この判定は具体的には、特定された隣接するサブ領域５１の数が、仮想オブジェクトの既定の大きさに対応する閾値以上であるか否かの判定である。なおこれに限らず、例えば特定された隣接するサブ領域５１の数の、サブ領域５１の総数に対する割合が閾値と比べられてもよい。

特定されたサブ領域５１の数と比較される閾値を５とした場合、図７（ｆ）の例では、特定されたサブ領域５１の数が３となるので、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されていないと判定される（Ｓ４４１７のＹＥＳ）。この場合、Ｓ４４１８において、配置決定部２０２は、特定されたサブ領域５１に隣接するサブ領域５１のうちカウンタの値が大きいサブ領域５１を追加で特定する。図７（ｆ）の例では、サブ領域５１ｅおよび５１ｉが特定されたサブ領域５１に隣接しており、どちらもカウンタの値が５であるので、新たに特定されたサブ領域は５１ｅから５１ｉまでの５つとなる。

サブ領域５１が追加で特定されることにより、図７（ｆ）の例では特定されたサブ領域５１の数が５となるので、仮想オブジェクトを配置する領域として十分なサイズの領域が特定されていると判定される（Ｓ４４１７のＮＯ）。この場合、Ｓ４４１９において、配置決定部２０２は、特定されたサブ領域５１を仮想オブジェクトの配置領域５２として決定し、配置情報を生成する。仮想視点の移動経路７に基づいて決定された配置領域５２を図７（ｇ）に示す。配置決定部２０２が生成した配置情報には、競技場など被写体が存在する３次元空間における仮想オブジェクトの位置（配置領域５２）を特定するための情報が含まれる。例えば、配置領域５２を表す矩形の頂点や中央の座標、当該矩形の縦や横の長さなどが配置情報に含まれる。

次に、仮想オブジェクトの形状を決定する処理について、図６（ｃ）および図８を用いて説明する。図６（ｃ）は、図６（ａ）のＳ４４２における処理の詳細を表している。Ｓ４４２１において、配置決定部２０２は、仮想カメラパスの先頭の仮想カメラパラメータを解析し、仮想視点６と配置領域５２との位置関係に対応する仮想オブジェクトの形状５３を特定する。開始フレームにおける仮想視点６ａが図８（ａ）に示す位置および向きである場合、仮想視点６ａの視線に垂直となるような仮想オブジェクト形状５３ａが特定される。Ｓ４４２２において、配置決定部２０２は、未処理の仮想カメラパラメータがあるか否かを判定する。未処理の仮想カメラパラメータがあると判定されると（Ｓ４４２２のＹＥＳ）、配置決定部２０２は次の仮想カメラパラメータを解析対象とし（Ｓ４４２３）、Ｓ４４２１に戻る。

仮想視点６が図８（ｂ）に示すように仮想視点６ｂに移動した場合、仮想視点６ｂの視線に垂直な仮想オブジェクト形状５３ｂが特定される。同様に、仮想視点６が図８（ｃ）および図８（ｄ）に示す仮想視点６ｃおよび仮想視点６ｄに移動した場合、それぞれ、仮想視点６ｃの視線および仮想視点６ｄの視線に垂直な仮想オブジェクト形状５３ｃおよび仮想オブジェクト形状５３ｄが特定される。一方、仮想視点６が図８（ｅ）および図８（ｆ）に示す仮想視点６ｅおよび仮想視点６ｆに移動した場合、配置領域５２内に仮想オブジェクトが収まるようにすると、仮想視点６の視線に垂直な仮想オブジェクト形状５３はサイズが小さくなってしまう。そこで、仮想オブジェクトのサイズが小さくなり過ぎないように、仮想視点６ｅの視線および仮想視点６ｆの視線に垂直ではない仮想オブジェクト形状５３ｅおよび仮想オブジェクト形状５３ｆが特定される。Ｓ４４２２において未処理の仮想カメラパラメータがないと判定されると（Ｓ４４２２のＹＥＳ）、Ｓ４４２４へ進む。

Ｓ４４２４において、配置決定部２０２は、Ｓ４４２１において特定された仮想オブジェクト形状５３の変化に基づいて、実際に配置される仮想オブジェクトの形状５３を決定する。例えば、仮想オブジェクト形状５３ａから仮想オブジェクト形状５３ｆまでのように特定された仮想オブジェクト形状５３が大きく変化する場合に、実際に配置される形状５３を図８（ｇ）の仮想オブジェクト形状５３ｇのような円弧状に決定してもよい。また、形状５３ａから形状５３ｃまでのように特定された仮想オブジェクト形状５３が大きく変化しない場合に、実際に配置される形状５３を図８（ｂ）の仮想オブジェクト形状５３ｂのように中間となる形状５３に決定してもよい。あるいは、形状５３ｅおよび形状５３ｆのように複数の仮想カメラパラメータに対して同じ形状５３が特定された場合に、実際に配置される仮想オブジェクト形状５３を図８（ｈ）の仮想オブジェクト形状５３ｈのように決定してもよい。すなわち、最も多くの仮想カメラパラメータに対して特定された形状５３が実際に配置される形状５３として決定されてもよい。このように決定された実際のオブジェクト形状５３に基づいて仮想視点画像が生成され、３次元空間における仮想オブジェクトの形状は仮想視点の移動に伴って変化しない。 図９は、配置決定部２０２が決定した仮想オブジェクト形状５３が図８（ｇ）の仮想オブジェクト形状５３ｇであった場合における、仮想視点画像における仮想オブジェクトの表示例を表している。図９（ａ）、図９（ｂ）および図９（ｃ）はそれぞれ、仮想視点６ａ、仮想視点６ｃおよび仮想視点６ｆに対応する表示例である。

以上のように配置決定部２０２は、取得した仮想カメラパスに基づいて仮想オブジェクトの位置や向き、形状などを制御することで、仮想視点画像における仮想オブジェクトを表示させる表示領域を制御する。特に本実施形態では、仮想カメラパスから特定される移動経路上の第１時点の仮想視点に対応する仮想視点画像における仮想オブジェクトを表示させる表示領域が、第１時点の仮想視点と、当該移動経路上の第２時点の仮想視点とに基づいて決定される。

図７や図８の例では、３次元空間における第１時点（仮想視点６が仮想視点６ｆに位置する時点）の仮想オブジェクトの位置が、第１時点の仮想視点（仮想視点６ｆ）と第２時点の仮想視点（仮想視点６ａなど）とに基づいて決定される。そして、当該決定された位置に基づいて、仮想視点画像における仮想オブジェクトを表示させる領域が決定される。ここで、３次元空間における第１時点の仮想オブジェクトの位置と第２時点の仮想オブジェクトの位置とは同一である。このような配置決定処理により、第１時点の仮想視点に対応する仮想視点画像の適切な領域に仮想オブジェクトを表示させ、且つ、第２時点の仮想視点に対応する仮想視点画像の適切な領域に仮想オブジェクトを表示させることができる。

なお、仮想オブジェクトの位置や形状、向きの決定方法は上述したものに限らない。例えば、仮想オブジェクトの一方の面に広告が表示され、他方の面には広告が表示されない場合を考える。この場合、広告が表示される面が、仮想カメラパスに応じて移動する仮想視点の視界に長く映ることが望ましい。そのため、配置決定部２０２は、仮想カメラパスから特定される移動経路上の仮想視点に対応する仮想視点画像に、仮想オブジェクトの面のうち広告が表示される面が含まれるように、仮想オブジェクトの向きを決定してもよい。この所定数は、仮想カメラパスに含まれる仮想カメラパラメータの数などに基づいて決まる値であってもよいし、ユーザにより指定された値であってもよい。

また、本実施形態では、仮想視点の移動経路に応じて仮想オブジェクトの位置、形状及び向きが配置決定部２０２により決定される場合を中心に説明した。ただしこれに限らず、仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかが仮想視点の移動経路に応じて決定されればよい。また、仮想オブジェクトにより表示される広告の内容などが仮想視点の移動経路に応じて決定されてもよい。

［仮想オブジェクトの複数配置］
次に図１０を用いて、仮想オブジェクトを複数配置する場合における、仮想オブジェクトの位置の決定方法について説明する。仮想視点６が仮想視点６ａから仮想視点６ｆまで移動する場合の移動経路７に応じて仮想オブジェクトを２つ配置する場合、配置決定部２０２は、移動経路７の前半と後半のそれぞれに対応する２つの配置領域５２を特定する。図１０の例では、仮想視点６ａ、仮想視点６ｂ及び仮想視点６ｃが移動経路７の前半に対応し、仮想視点６ｄ、仮想視点６ｅ及び仮想視点６ｆが移動経路７の後半に対応する。

移動経路７の前半において、図１０（ａ）、図１０（ｂ）および図１０（ｃ）に示すように、サブ領域５１のそれぞれについてカウンタの値が決まる。また移動経路７の後半において、図１０（ｄ）、図１０（ｅ）および図１０（ｆ）に示すように、サブ領域５１のそれぞれについて、前半のカウンタとは独立してカウンタの値が決まる。その結果、移動経路７の前半のカウンタ値に対応する配置領域５２としては図９（ｇ）に示す配置領域５２ａが特定され、移動経路７の後半のカウンタ値に対応する配置領域５２としては図９（ｈ）に示す配置領域５２ｄが特定される。配置決定部２０２は、特定した２つの配置領域５２が重複するサブ領域５１については、２つの仮想オブジェクトそれぞれのサイズが均等に近づくよう割り振る。その結果、仮想オブジェクトの実際の配置としては、図９（ｉ）に示すように、配置領域５２ａ’に一方の仮想オブジェクトが配置され配置領域５２ｄ’に他方の仮想オブジェクトが配置されるように決定される。このように決定された仮想オブジェクトの実際の配置に基づいて仮想視点画像が生成され、３次元空間における複数の仮想オブジェクトの配置は仮想視点の移動に伴って変化しない。

［仮想オブジェクトの配置調整］
以上の説明では、仮想視点の移動経路に基づいて仮想オブジェクトの配置が自動で決定されるものとしたが、決定された仮想オブジェクトの配置をユーザがさらに調整できるようにしてもよい。以下ではこの場合の画像処理システム１０について説明する。

編集部３０１によりプレビューされた仮想視点画像に対して、仮想オブジェクトを調整するための操作がユーザにより行われると、編集部３０１は、配置決定部２０２に対して仮想オブジェクトの調整指示を行う。そして配置決定部２０２は、編集部３０１から仮想オブジェクトの調整指示を受け付けると、生成済みの配置情報と調整指示に基づいて、仮想オブジェクトの配置を調整して配置情報を更新する。ここで調整指示には、例えばサイズの調整や位置の調整といった調整種別を示す情報と、１．１倍の拡大や１メートルの移動といった調整量を示す情報が含まれる。更新された配置情報は画像生成部２０１に出力され、仮想オブジェクトの配置が調整された仮想視点画像が生成される。

次に、仮想オブジェクトの調整に係る処理フローについて説明する。仮想オブジェクトの調整を行う場合のフローは、上述した図４の処理フローを一部修正したフローになる。具体的には、図４のＳ７において編集部３０１は、ユーザの所望する仮想視点画像の生成に失敗したと判断すると、仮想オブジェクトの調整を行うか否かを選択するための画像を表示部に表示し、ユーザによる操作を受け付ける。調整のためのユーザ操作が行われたと判断された場合には、編集部３０１は画像処理装置２に対して、調整種別や調整量を指定するユーザ操作に応じた調整指示を行い、Ｓ５に戻る。一方、調整のためのユーザ操作が行われないと判断された場合には、Ｓ８に進み、上述した図４の処理フローを実行する。

編集部３０１により調整指示が行われた場合、画像処理装置２は、図１１に示す処理を実行して配置情報を更新したのち、図５のＳ４５からＳ４７の処理を行う。これにより、調整された仮想オブジェクトを含む仮想視点画像が出力される。ここで図１１及び図１２を用いて、画像処理装置２による仮想オブジェクトの調整処理について説明する。図１１に示す処理は、画像処理装置２が制御装置３からの調整指示を受け付けたタイミングで開始される。ただし、図１１に示す処理の開始タイミングは上記タイミングに限定されない。図１１に示す処理は、画像処理装置２のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図１１に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる専用のハードウェアにより実現してもよい。

Ｓ４０１において、配置決定部２０２は、編集部３０１から受け付けた調整指示の調整種別を特定する。Ｓ４０２において、配置決定部２０２は、特定された調整種別が仮想オブジェクトのサイズ調整であるか否かを判定する。調整種別がサイズ調整である場合（Ｓ４０２のＹＥＳ）、配置決定部２０２は、Ｓ４０３において調整量を特定し、Ｓ４０４において仮想オブジェクトのサイズを調整する。サイズの調整としては、例えば、仮想オブジェクトの幅及び高さを１０％増加させるような調整であってもよいし、仮想視点画像の仮想オブジェクトが占める領域の割合の最大値や最小値を指定するような調整であってもよい。

調整種別がサイズ調整でない場合（Ｓ４０２のＮＯ）、Ｓ４０５において配置決定部２０２は、調整種別が仮想オブジェクトの位置調整であるか否かを判定する。調整種別が位置調整であれば（Ｓ４０５のＹＥＳ）、配置決定部２０２は、Ｓ４０６において調整量を特定し、Ｓ４０７において仮想オブジェクトの位置を調整する。位置の調整としては、例えば、配置領域５２を仮想視点６から１メートル遠ざけるような調整であってもよいし、仮想視点画像の仮想オブジェクトが占める領域の割合が閾値以下となるように配置領域５２を仮想視点６から遠ざけるような調整であってもよい。Ｓ４０５において調整種別が位置調整でないと判定された場合（Ｓ４０５のＮＯ）又はＳ４０７の位置調整処理が終了した場合、配置決定部２０２は、Ｓ４０８において仮想オブジェクトの配置情報を更新し、図１１の処理を終了する。

ここで、例えば図１２（ａ）のように、仮想視点６ｇから仮想視点６ｈに移動するような移動経路７が指定され、それに応じて配置領域５２ｈおよび仮想オブジェクト形状５３ｈが決定されたとする。図１２（ｂ）はこの場合の仮想視点６ｈに対応する仮想視点画像を表している。このように仮想視点６と仮想オブジェクトとの距離が遠い場合、仮想視点画像における仮想オブジェクトが占める領域の割合が小さくなってしまう。そこで、例えば仮想オブジェクトにより広告が表示される場合には、視聴者が広告を視認しやすくなるように、仮想オブジェクトのサイズを調整することが有効である。

ユーザは、仮想視点画像のプレビューを確認して、仮想視点画像の仮想オブジェクトが占める領域の割合が小さすぎると判断した場合、制御装置３が表示するＧＵＩ等を介して、仮想オブジェクトのサイズを拡大する操作を行う。図１２（ａ）の例において、仮想オブジェクトの幅を仮想視点６から見て左側に２０％増やす操作が行われた場合、配置決定部２０２による調整により配置領域５２ｈが配置領域５２ｈ’のように変更される。これに伴い、仮想オブジェクト形状５３ｈは仮想オブジェクト形状５３ｈ’のように変更される。そして、仮想視点６ｈに対応する調整後の仮想視点画像は図１２（ｃ）のようになり、視聴者による仮想オブジェクトの視認性が向上する。

また別の例として、図１２（ｄ）のように、仮想視点６ｉから仮想視点６ｊに移動するような移動経路７が指定され、それに応じて配置領域５２ｊおよび仮想オブジェクト形状５３ｊが決定されたとする。図１２（ｅ）はこの場合の仮想視点６ｊに対応する仮想視点画像を表している。このように仮想視点６と仮想オブジェクトとの距離が近すぎる場合、仮想視点画像における仮想オブジェクトが占める領域の割合が大きくなりすぎてしまう。そこで、仮想オブジェクトが必要以上に目立ってしまい視聴者が現実の被写体に集中できなくなる虞を低減するために、仮想オブジェクトの位置を調整することが有効である。

ユーザは、仮想視点画像のプレビューを確認して、仮想視点画像の仮想オブジェクトが占める領域の割合が大きすぎると判断した場合、制御装置３が表示するＧＵＩ等を介して、仮想オブジェクトの位置を変更する操作を行う。図１２（ｄ）の例において、仮想オブジェクトの位置を仮想視点６から見て奥に１０メートル動かす操作が行われた場合、配置決定部２０２による調整により配置領域５２ｊが配置領域５２ｊ’のように変更される。そして、仮想視点６ｊに対応する調整後の仮想視点画像は図１２（ｆ）のようになり、仮想オブジェクトが必要以上に目立つことが抑制される。

以上のように、画像処理装置２は、仮想視点の移動経路に基づいて配置された仮想オブジェクトが仮想視点画像において小さすぎたり大きすぎたりした場合に、仮想オブジェクトのサイズや位置をユーザ操作に応じて調整する。これにより画像処理装置２は、視聴者に対して適切な視認性の仮想オブジェクトを含む仮想視点画像を提供することができる。

なお本実施形態では、配置決定部２０２が、被写体が存在する３次元空間における固定位置を仮想オブジェクトの位置として決定する場合について説明した。また仮想オブジェクトの３次元空間における形状や向きも、仮想視点の移動に伴って変化しないものとした。このように仮想オブジェクトを固定的に配置することにより、仮想視点画像に仮想オブジェクトが自然に溶け込むため、生成される仮想視点画像のユーザにとっての見やすさを向上することができる。ただしこれに限らず、仮想オブジェクトの３次元空間上における位置や大きさ、形状、向きなどが、時間の経過や仮想視点の移動に伴って変化してもよい。また、配置決定部２０２は、３次元空間における仮想オブジェクトの位置や大きさ、形状、向きなどを決定せず、２次元画像である仮想視点画像における仮想オブジェクトの位置や大きさ、形状、向きなどを、仮想視点の移動経路に応じて直接制御してもよい。

また本実施形態では、仮想視点画像の動画において仮想オブジェクトができるだけ長い時間表示されるように、仮想オブジェクトの配置が決定される場合を中心に説明した。このような配置決定方法によれば、例えば仮想オブジェクトが広告である場合には、視聴者に対する広告効果を高くすることができる。ただし、仮想オブジェクトの配置決定方法はこれに限らない。例えば、配置決定部２０２は、仮想カメラパスに対応する移動経路上の仮想視点に対応する仮想視点画像の仮想オブジェクト非表示領域に仮想オブジェクトが含まれないように、仮想オブジェクトの配置を決定してもよい。仮想オブジェクト非表示領域は例えば、仮想視点画像の中心部などユーザが指定できる領域であってもよいし、仮想視点画像における所定の被写体が表示されるべき領域であってもよい。これにより、仮想視点画像において視聴者にとって注目すべき被写体が見づらくなってしまう虞を低減することができる。

以上説明したように、本実施形態に係る画像処理システム１０は、複数のカメラによりそれぞれ異なる方向から被写体が撮影されることで得られる複数の撮影画像と、仮想視点の指定に応じた情報とに基づいて、仮想視点画像を生成する。そして、画像処理システム１０に含まれる画像処理装置２は、仮想視点画像の生成に係る仮想視点の移動経路を特定するための視点情報を取得する。また画像処理装置２は、該移動経路上の第１時点の仮想視点に対応する仮想視点画像における仮想オブジェクトを表示させる領域を、第１時点の仮想視点と、該移動経路上の仮想視点であって第１時点とは異なる第２時点の仮想視点に応じて異ならせる制御を行う。

このような構成によれば、例えば、仮想視点画像に含まれるべき仮想オブジェクトが仮想視点の移動に伴って仮想視点画像に含まれなくなってしまう虞が低減するように、仮想オブジェクトの配置を制御することができる。また例えば、仮想視点画像に含まれる重要度の高い被写体が、仮想視点の移動に伴って仮想オブジェクトにより遮蔽されてしまう虞が低減するように、仮想オブジェクトの配置を制御することもできる。すなわち、本実施形態に係る画像処理装置２によれば、仮想視点画像の生成に係る仮想視点が移動する場合において、仮想視点画像のより適切な領域に仮想オブジェクトを表示させることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

２ 画像処理装置
３ 制御装置
１０ 画像処理システム
２０１ 仮想視点画像生成部
２０２ 仮想オブジェクト配置決定部
３０２ 仮想カメラパス生成部

Claims (15)

1. 複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路及び前記移動経路上の仮想視点からの視線方向を示す視点情報を取得する取得手段と、
   前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置として、前記取得手段により取得された視点情報により特定される前記移動経路上の複数の仮想視点の視界のうち所定の数よりも多い数の仮想視点の視界に含まれる位置を決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、さらに、前記仮想オブジェクトの大きさ、形状及び向きの少なくとも何れかを、前記移動経路上の仮想視点の位置及び仮想視点からの視線方向に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元空間における前記仮想オブジェクトの位置は、前記仮想視点の移動に伴って変化しないことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記仮想視点画像内の前記仮想オブジェクトの表示位置は、前記３次元空間における前記仮想オブジェクトの位置と前記仮想視点の位置及び前記仮想視点からの視線方向とに応じて決まることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記決定手段は、前記移動経路上の複数の仮想視点それぞれの視界のすべてに前記仮想オブジェクトが含まれるように、前記３次元空間における前記仮想オブジェクトの位置を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記決定手段は、前記仮想オブジェクトの位置に関する複数の候補位置のうち、前記移動経路上の所定の数よりも多い数の仮想視点の視界に含まれる候補位置を、前記仮想オブジェクトの位置として決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記決定手段は、前記複数の候補位置のうち、前記移動経路上の最も多くの仮想視点の視界に含まれる候補位置を、前記仮想オブジェクトの位置として決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記仮想オブジェクトは、前記仮想視点画像に広告を表示させるためのオブジェクトであることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記決定手段は、前記移動経路上の複数の仮想視点に対応する複数の仮想視点画像に、前記仮想オブジェクトの面であって広告が含まれる面が表示されるように、前記３次元空間における前記仮想オブジェクトの向きを決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記複数の撮影画像と、前記取得手段により取得された視点情報と、前記決定手段により決定された前記仮想オブジェクトの位置とに基づいて、前記仮想オブジェクトを含む前記仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記決定手段により決定された前記仮想オブジェクトの位置を示す情報を、前記仮想視点画像を生成する画像生成装置へ出力する出力手段を有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
12. 複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路及び前記移動経路上の仮想視点からの視線方向を示す視点情報を取得する取得工程と、
    前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置として、前記取得工程において取得された視点情報により特定される前記移動経路上の複数の仮想視点の視界のうち所定の数よりも多い数の仮想視点の視界に含まれる位置を決定する決定工程と、を有することを特徴とする情報処理方法。
13. 前記３次元空間における前記仮想オブジェクトの位置は、前記仮想視点の移動に伴って変化しないことを特徴とする請求項１２に記載の情報処理方法。
14. 前記決定工程は、前記仮想オブジェクトの位置に関する複数の候補位置のうち、前記移動経路上の所定の数よりも多い数の仮想視点の視界に含まれる候補領域を、前記仮想オブジェクトの位置として決定することを特徴とする請求項１２又は１３に記載の情報処理方法。
15. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置として機能させるためのプログラム。

Images