JP7296735B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点で仮想視点画像を生成する技術が注目されている。

複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、仮想視点に基づくレンダリングなどの処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。

仮想視点画像を用いることで、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦できる。これにより従来の撮影画像と比較してユーザに高臨場感を与えることができる。

特許文献１には、異なる位置のカメラ撮影データに基づいて生成される仮想空間上に仮想広告枠を設けておき、仮想広告枠を含む仮想視点の映像データが表示される場合に、仮想広告枠に視聴環境に応じた広告情報を表示し、課金する技術が開示されている。

特開２０１４－４１２５９号公報

例えば仮想視点の位置など、仮想視点画像の生成に係るパラメータの設定に応じて、仮想視点画像に表示される仮想広告などの仮想オブジェクトの大きさは異なる。仮想視点画像に表示される仮想オブジェクトが小さい場合にその仮想オブジェクトに多くの情報を表示させると、仮想視点画像を見るユーザがその情報の内容を認識しづらくなる。

しかしながら、特許文献１に記載の技術では、仮想オブジェクトに表示される情報の認識のしやすさについて考慮されておらず、適切な表示内容の仮想オブジェクトが表示されないことがあるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、仮想オブジェクトの表示内容を適切に決定するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
複数の撮影装置により撮影された複数の撮影画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理装置であって、
前記仮想視点画像に表示される仮想オブジェクトの一部が前記仮想視点画像に表示されない場合に、前記仮想オブジェクトの３次元空間における位置と前記仮想視点の前記３次元空間における位置との距離、前記仮想視点に対応する焦点距離、及び前記仮想視点画像のサイズのうちの少なくとも１つに基づいて、前記仮想オブジェクトの内容を決定する決定手段と、
前記決定手段により決定された内容の仮想オブジェクトを含む仮想視点画像を生成する生成手段と、
を備えることを特徴とする。

本発明によれば、仮想オブジェクトの表示内容を適切に決定することができる。

（ａ）一実施形態に係る画像処理システムの全体構成を説明する図、（ｂ）一実施形態に係る画像処理装置のハードウェア構成の一例を説明する図。 一実施形態に係る画像処理装置の機能構成の一例を示す図。 第１実施形態に係る仮想広告の内容を決定する処理の手順を示すフローチャート。 （ａ）仮想広告の内容を決定する処理の流れを示す図、（ｂ）仮想広告に表示する画像の候補と対応する閾値を示す図。 （ａ）仮想空間を示す概念図、（ｂ）仮想広告を含む仮想視点画像の一例を示す図、（ｃ）仮想広告を含む仮想視点画像の一例を示す図、（ｄ）仮想広告を含む仮想視点画像の一例を示す図。 第２実施形態に係る仮想広告の内容を決定する処理の手順を示すフローチャート。 （ａ）仮想空間を示す概念図、（ｂ）仮想広告を含む仮想視点画像の一例を示す図、（ｃ）仮想広告を含む仮想視点画像の一例を示す図、（ｄ）仮想広告を含む仮想視点画像の一例を示す図。 （ａ）仮想空間を示す概念図、（ｂ）仮想広告を含む仮想視点画像の一例を示す図、（ｃ）仮想空間を示す概念図、（ｄ）仮想広告を含む仮想視点画像の一例を示す図、（ｅ）仮想広告を含む仮想視点画像の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
＜画像処理システムの構成＞
図１（ａ）は、本実施形態に係る画像処理システム１００を示す図である。

画像処理システム１００は、複数の撮影装置１０１と、画像処理装置１０２と、端末装置１０３とを有している。各撮影装置１０１と画像処理装置１０２とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。

撮影装置１０１は、例えば画像（静止画及び動画）を撮影可能な物理カメラである。各撮影装置１０１は、サッカー場等の競技場や特定の被写体を取り囲むように設置され、画像（映像）を撮影する。撮影された画像は、撮影装置１０１から画像処理装置１０２に送信される。本実施形態においては、複数の撮影装置１０１は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮影装置１０１が含まれる。

画像処理装置１０２は、複数の撮影装置１０１により撮影された複数の撮影画像に基づいて仮想視点に応じた仮想視点画像を生成する。画像処理装置１０２は、各撮影装置１０１により得られた撮影画像を蓄積しておき、端末装置１０３におけるユーザ操作により仮想視点情報が入力されると、撮影画像と仮想視点情報とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮影画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度とを示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。

画像処理装置１０２は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、撮影装置１０１を介して取得して保持しておく。また競技中の選手など被写体が存在するシーンでは、被写体となる特定のオブジェクト等の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成される。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１０３に伝送される。

端末装置１０３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット、スマートフォン等である。例えば、マウス、キーボード、６軸コントローラ、タッチパネル等のコントローラを用いてユーザは端末装置１０３を操作し、画面上に静止画像や動画像を表示する。端末装置１０３は、例えば、画像処理装置１０２から受信した仮想視点画像を表示する。端末装置１０３は、さらに、接続されたコントローラに対するユーザ操作に応じて、仮想視点の移動の指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた指示情報を示す伝送信号を画像処理装置１０２に送信する。

＜画像処理装置のハードウェア構成＞
図１（ｂ）は、画像処理装置１０２のハードウェア構成を示す図である。

画像処理装置１０２は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、通信部１１７とを有している。ＣＰＵ１１１は、ＲＯＭ１１２又はＨＤＤ１１４に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１１７は、ネットワークを介して撮影装置１０１等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部１１７は、無線により外部装置との通信を行ってもよい。

なお、後述する画像処理装置１０２の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、端末装置１０３のハードウェア構成は、画像処理装置１０２のハードウェア構成と同様である。

＜画像処理装置の機能構成＞
図２は、画像処理装置１０２の機能構成を示す図である。画像処理装置１０２は、撮影画像入力部２０１、前景背景分離部２０２、撮影画像データ保存部２０３、カメラパラメータ保持部２０４、被写体形状生成部２０５、広告画像保持部２０６、広告枠情報保持部２０７、仮想視点画像生成部２０８、画像出力部２０９、広告内容決定部２１０、及び仮想視点受信部２１１を備えている。

撮影画像入力部２０１は、撮影装置１０１からＬＡＮケーブル等を介して入力された伝送信号を撮影画像データに変換して、前景背景分離部２０２へ出力する。

前景背景分離部２０２は、撮影画像入力部２０１から入力された撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮影画像データ保存部２０３へ出力する。また、競技中に撮影された画像から選手などの被写体を抽出し、前景画像データとして撮影画像データ保存部２０３へ出力する。

撮影画像データ保存部２０３は、データベースであり、前景背景分離部２０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存する。また背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。また、撮影画像データ保存部２０３は、被写体形状生成部２０５へ前景画像データを出力する。また、仮想視点画像生成部２０８により指定された背景画像データと前景画像データとを、仮想視点画像生成部２０８へ出力する。

カメラパラメータ保持部２０４は、競技場を取り囲むような所定の複数の撮影カメラ位置情報と、撮影カメラの焦点距離やシャッタースピードなどカメラ設定情報などをカメラパラメータ情報として、あらかじめ保持しておく。撮影カメラの設置についてはあらかじめ決められた位置に設置することとする。また、カメラパラメータ保持部２０４は、カメラパラメータ情報を被写体形状生成部２０５と、仮想視点画像生成部２０８へ出力する。

被写体形状生成部２０５は、撮影画像データ保存部２０３から入力された前景画像データと、カメラパラメータ保持部２０４から入力されたカメラパラメータ情報とを用いて、被写体の形状を推定する。例えば、視体積交差法などの三次元形状復元手法を用いて被写体の被写体形状情報を生成する。また、被写体形状生成部２０５は、生成した被写体形状情報を仮想視点画像生成部２０８へ出力する。

広告画像保持部２０６は、仮想視点画像内に仮想広告として表示する画像を保持する。仮想広告は、撮影装置１０１により撮影される実空間に存在せず且つ三次元の仮想空間中に配置される仮想オブジェクトの一例である。広告画像保持部２０６は、広告として表示させたい企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などの広告画像を広告主から提供されており、あらかじめ保持しているものとする。広告画像保持部２０６は、広告画像を広告内容決定部２１０へ出力する。

広告枠情報保持部２０７は、広告画像を表示する仮想広告枠の三次元の仮想空間上での位置情報と領域情報とを含む仮想広告枠情報を保持する。例えば、競技場を撮影して得られた仮想空間の観客席壁面に仮想広告枠を設定することで、実際の競技場の壁面などには広告は存在しないが、実世界に基づく仮想空間を仮想視点から見ると仮想の広告が壁面に表示されることとなる。広告枠情報保持部２０７は、仮想広告枠情報を広告内容決定部２１０へ出力する。

仮想視点画像生成部２０８は、背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景を生成する。背景の生成には、撮影画像データ保存部２０３から入力された前景画像データ及び背景画像データと、カメラパラメータ保持部２０４から入力されたカメラパラメータ情報と、被写体形状生成部２０５から入力された被写体形状情報と、仮想視点受信部２１１から入力された仮想視点情報とを使用する。次に、仮想視点位置から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像の前景を生成する。例えば、仮想視点から被写体形状情報に基づく被写体が見えている状況で、被写体形状情報の位置から所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。仮想視点画像生成部２０８は、仮想視点画像の前景を、広告内容決定部２１０へ出力する。最後に、仮想視点画像生成部２０８は、仮想視点画像の背景、広告内容決定部２１０から入力する広告画像、仮想視点画像の前景を合成して、仮想広告を含む仮想視点画像を生成する。仮想視点画像生成部２０８は、生成した仮想視点画像を画像出力部２０９へ出力する。

画像出力部２０９は、仮想視点画像生成部２０８から入力された画像データを、端末装置１０３へ伝送可能な伝送信号に変換して、端末装置１０３へ出力する。

広告内容決定部２１０は、広告枠情報保持部２０７から入力された仮想広告枠情報と、仮想視点受信部２１１から受信した仮想視点情報とに基づいて、仮想広告枠に表示する広告画像を決定する。例えば、広告内容決定部２１０は、仮想視点と仮想広告枠との３次元仮想空間における距離、仮想視点の焦点距離、及び仮想視点画像の画像サイズの少なくとも一つに基づいて、広告画像保持部２０６から入力された複数の広告画像の中から仮想広告枠に表示する広告画像を選択して決定する。広告内容決定部２１０は、決定した広告画像を、仮想広告枠情報により指定される仮想空間上の位置に配置される広告画像として仮想視点画像生成部２０８へ出力する。

仮想視点受信部２１１は、端末装置１０３からＬＡＮケーブル等を介して入力された、仮想空間内の位置情報と方向情報とを含む仮想視点情報を取得する。また、取得した仮想視点情報を仮想視点画像生成部２０８及び広告内容決定部２１０へ出力する。

＜処理＞
続いて、図３は、本実施形態に係る画像処理装置が実施する処理の手順を示すフローチャートである。

Ｓ３０１において、仮想視点受信部２１１は、端末装置１０３で入力された仮想視点情報を端末装置１０３から受信した場合に、仮想視点情報を更新する。また、更新した仮想視点情報を、仮想視点画像生成部２０８及び広告内容決定部２１０へ出力する。

Ｓ３０２において、仮想視点画像生成部２０８は、仮想視点受信部２１１から取得した仮想視点情報に基づいて、前景画像データと背景画像データとを撮影画像データ保存部２０３から取得する。

Ｓ３０３において、仮想視点画像生成部２０８は、被写体形状生成部２０５により生成された被写体形状情報を被写体形状生成部２０５から取得する。ここで、被写体の被写体形状情報は、撮影画像データ保存部２０３から入力された前景画像データと、カメラパラメータ保持部２０４から入力されたカメラパラメータ情報とを用いて被写体形状生成部２０５が生成する情報である。

Ｓ３０４において、仮想視点画像生成部２０８は、カメラパラメータ保持部２０４からカメラパラメータ情報を取得する。

Ｓ３０５において、仮想視点画像生成部２０８は、仮想視点画像の背景及び前景を生成する。仮想視点画像生成部２０８は、背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景を生成する。本処理には、撮影画像データ保存部２０３から入力された前景画像データ及び背景画像データと、カメラパラメータ保持部２０４から入力されたカメラパラメータ情報と、被写体形状生成部２０５から入力された被写体形状情報と、仮想視点受信部２１１から入力された仮想視点情報とを用いる。

また、仮想視点画像生成部２０８は、仮想視点から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像の前景を生成する。例えば、仮想視点から被写体形状モデルが見えている状況で、被写体形状位置から所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを被写体形状の色として使用する。

Ｓ３０６において、仮想視点画像生成部２０８は、仮想視点から見える競技場の位置に、撮影された背景画像と仮想広告枠とを重畳し射影変換する。

Ｓ３０７において、広告内容決定部２１０は、仮想広告枠に表示する広告画像を決定する。本処理には、広告枠情報保持部２０７から入力した仮想広告枠情報と、仮想視点受信部２１１から受信した仮想視点情報とを用いる。本処理の詳細は図４を参照して後述する。

Ｓ３０８において、仮想視点画像生成部２０８は、広告内容決定部２１０により決定された広告画像（仮想広告の内容）を射影変換し、仮想広告枠に重畳する。

Ｓ３０９において、仮想視点画像生成部２０８は、Ｓ３０５で仮想視点画像生成部２０８により生成された仮想視点画像の前景と背景、Ｓ３０８で仮想視点画像生成部２０８により生成された射影変換後の広告画像を合成して、仮想視点画像を生成する。以上で図３の一連の処理が終了する。

＜Ｓ３０７の処理詳細＞
図４（ａ）は、図３のフローチャートのＳ３０７が示す、仮想広告枠に表示する広告内容を決定する処理の詳細を示すフローチャートである。広告内容決定部２１０は、それぞれの仮想広告枠に対して、本処理を実行する。

Ｓ４０１において、広告内容決定部２１０は、仮想視点から見た仮想広告の角度を取得する。

Ｓ４０２において、広告内容決定部２１０は、仮想視点から見た仮想広告の角度と閾値とを比較し、仮想広告の角度が閾値を超えているか否かを判定する。本実施形態では、角度の閾値を３０度に設定する。但し閾値は任意に変更可能であってもよい。角度が閾値を超えている場合（Ｓ４０２：Ｙｅｓ）、Ｓ４０５へ進む。一方、角度が閾値を超えていない場合、（Ｓ４０２：Ｎｏ）、Ｓ４０３へ進む。

Ｓ４０３において、広告内容決定部２１０は、仮想視点の仮想空間における位置と仮想広告の仮想空間における位置との距離を算出する。Ｓ４０４において、広告内容決定部２１０は、Ｓ４０３で算出された距離に基づいて、広告画像保持部２０６が保持する広告画像のうち１つを表示することを決定する。広告画像保持部２０６が保持する広告画像と距離との組み合わせの例については、図４（ｂ）を用いて後述する。

Ｓ４０５において、広告内容決定部２１０は、広告画像保持部２０６が保持している広告画像の候補から、一番情報量が少ない広告画像を表示することを決定する。なお、角度が閾値を超える場合、一番情報量が少ない広告画像を表示するのではなく、角度が閾値から離れる程、情報量を減らすように、すなわち、より情報量が少ない広告画像を表示するように決定してもよい。

Ｓ４０６において、広告内容決定部２１０は、Ｓ４０４またはＳ４０５で決定した広告画像を、仮想視点画像生成部２０８へ出力する。以上で図４（ａ）の一連の処理が終了する。

なお、広告内容決定部２１０は、仮想視点から見える仮想広告枠に対してのみ、図４（ａ）の処理を実行してもよい。これにより、広告内容の処理の実行数を削減できるため処理負荷を低減することができる。

続いて、図４（ｂ）は、広告画像保持部２０６が保持する画像と距離との関係の一例を示す。広告画像保持部２０６は１つの仮想広告枠に対して候補となる複数の広告画像を保持している。これらはロゴのみ、ロゴと製品イメージ画像、ロゴと製品イメージと製品名、などと、異なる情報量の広告画像である。広告内容決定部２１０は、この中から広告画像を仮想広告枠に表示するかどうかを、仮想視点と仮想広告との距離に基づいて決定する。

例えば、４１１は仮想広告枠Ａに表示する画像の候補を示している。４１０は、広告内容決定部２１０が仮想広告枠Ａに表示する広告内容Ａの画像を決定する際の、仮想視点と仮想広告との間の距離の条件を示している。距離条件４１４は距離が２０ｍ未満であることを示しており、この距離条件に対応する画像が広告画像４１５である。距離条件４１６は距離が２０ｍ～４０ｍであることを示しており、この距離条件に対応する画像が広告画像４１７である。距離条件４１８は距離が４０ｍ超であることを示しており、この距離条件に対応する画像が広告画像４１９である。

また、４１３は仮想広告枠Ｂに表示する画像の候補を示している。４１２は、広告内容決定部２１０が仮想広告枠Ｂに表示する広告内容Ｂの画像を決定する際の、仮想視点と仮想広告との間の距離の条件を示している。距離条件４２０は距離が３０ｍ未満であることを示しており、この条件に対応する画像が広告画像４２１である。距離条件４２２は距離が３０ｍ以上であることを示しており、この条件に対応する画像が広告画像４２３である。

また、４３１は仮想広告枠Ｃに表示する広告内容Ｃの画像の候補を示している。４３０は、広告内容決定部２１０が仮想広告枠Ｃに表示する画像を決定する際の、仮想視点と仮想広告との間の距離の条件を示している。距離条件４３２は距離が３５ｍ未満であることを示しており、この条件に対応する画像が広告画像４３３である。距離条件４３４は距離が３５ｍ以上であることを示しており、この条件に対応する画像が広告画像４３５である。

このように、仮想視点と仮想広告との距離が閾値以下である場合には、距離が閾値を超える場合よりも情報量が多くなるように仮想広告の内容を決定する。また、仮想視点と仮想広告との距離が近い程、仮想広告が含む情報量を増やしている。４１０及び４１１に示されるように、１つの仮想広告に対して複数の閾値を設け、それぞれ仮想広告が含む情報量を異ならせることで、より精細な表示制御が可能となる。

なお、図４（ｂ）に示すように、仮想広告枠に応じて、表示する画像の候補の数が異なってもよい。また、仮想広告枠に応じて、表示する画像を決定する条件を変更してもよい。例えば、仮想広告の内容を決定する基準となる距離の閾値を、仮想広告枠の３次元空間における大きさや位置などに基づいて変更してもよい。

次に、図５（ａ）は、本実施形態に係る仮想空間の概念図である。撮影装置１０１により撮影された撮影画像に基づいて生成された仮想空間上で、仮想視点５０１には撮影範囲５０２の範囲が設定され、被写体５０３を撮影している。また、仮想広告枠情報に基づく広告領域５０４から広告領域５０６までが撮影範囲５０２に含まれている。広告領域５０４は、図４（ｂ）が示す広告内容Ａの画像を表示する。広告領域５０５は、図４（ｂ）が示す広告内容Ｂの画像を表示する。広告領域５０６は、図４（ｂ）が示す広告内容Ｃの画像を表示する。具体的には、広告領域５０４と広告領域５０５は仮想視点５０１に正対しているものとする。仮想視点５０１と広告領域５０４、広告領域５０５との距離は１５ｍであるとする。広告領域５０６は、仮想視点５０１に対して４５度の角度があるものとする。

図５（ｂ）は、仮想視点５０１から撮影した仮想視点画像を示す。このとき、広告内容決定部２１０は、広告領域５０４、広告領域５０５、広告領域５０６に対して、図４（ａ）が示すフローチャートの処理を実行する。

まず、広告領域５０４に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が１５ｍであるという情報を取得し、Ｓ４０４で、距離１５ｍが距離条件４１４に対応するため、広告画像４１５を使用することを決定する。Ｓ４０６で、決定した広告画像４１５を仮想視点画像生成部２０８へ出力する。

次に、広告領域５０５に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が１５ｍであるという情報を取得し、Ｓ４０４で、距離１５ｍが距離条件４２０に対応するため、広告画像４２１を使用することを決定する。Ｓ４０６で、決定した広告画像４２１を仮想視点画像生成部２０８へ出力する。

最後に、広告領域５０６に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が４５度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていることから、Ｓ４０５へ進む。広告内容決定部２１０は、情報量が一番少ない広告画像４３５を表示することを決定する。Ｓ４０６で、決定した広告画像４３５を仮想視点画像生成部２０８へ出力する。

以上のようにして、仮想視点５０１から撮影した仮想視点画像において、広告領域５０４、広告領域５０５、及び広告領域５０６に表示する広告画像が決定され、図５（ｂ）のような仮想視点画像が表示される。

続いて、図５（ｃ）は、仮想視点５０７から撮影した仮想視点画像を示す。このとき、広告領域５０４及び広告領域５０５から仮想視点までの距離は２５ｍであるものとする。広告内容決定部２１０は、広告領域５０４、広告領域５０５、広告領域５０６に対して、図４（ａ）が示すフローチャートの処理を実行する。

まず、広告領域５０４に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が２５ｍであるという情報を取得し、Ｓ４０４で、距離２５ｍが距離条件４１６に対応するため、広告画像４１７を使用することを決定する。Ｓ４０６で、決定した広告画像４１７を仮想視点画像生成部２０８へ出力する。

次に、広告領域５０５に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が２５ｍであるという情報を取得し、Ｓ４０４で、距離２５ｍが距離条件４２０に対応するため、広告画像４２１を使用することを決定する。Ｓ４０６で、決定した広告画像４２１を仮想視点画像生成部２０８へ出力する。

最後に、広告領域５０６に対して処理を実行する。本処理は図５（ｂ）の場合と同様なので説明を省略する。

以上のようにして、仮想視点５０７から撮影した仮想視点画像において、広告領域５０４、広告領域５０５、及び広告領域５０６に表示する広告画像が決定され、図５（ｃ）のような仮想視点画像が生成されて表示される。

同様に、図５（ｄ）は、仮想視点５０８から撮影した仮想視点画像を示す。このとき、広告領域５０４及び広告領域５０５から仮想視点までの距離は４２ｍであるものとする。広告内容決定部２１０は、広告領域５０４、広告領域５０５、広告領域５０６に対して、図４（ａ）が示すフローチャートの処理を実行する。

まず、広告領域５０４に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が２５ｍであるという情報を取得し、Ｓ４０４で、距離４２ｍが距離条件４１８に対応するため、広告画像４１９を使用することを決定する。Ｓ４０６で、決定した広告画像４１９を仮想視点画像生成部２０８へ出力する。

次に、広告領域５０５に対して処理を実行する。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（例えば３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が４２ｍであるという情報を取得し、Ｓ４０４で、距離４２ｍが距離条件４２２に対応するため、広告画像４２３を使用することを決定する。Ｓ４０６で、決定した広告画像４２３を仮想視点画像生成部２０８へ出力する。

最後に、広告領域５０６に対して処理を実行する。本処理は図５（ｂ）の場合と同様なので説明を省略する。

以上のようにして、仮想視点５０８から撮影した仮想視点画像において、広告領域５０４、広告領域５０５、及び広告領域５０６に表示する広告画像が決定され、図５（ｄ）のような仮想視点画像が表示される。

以上説明したように、本実施形態では、仮想広告の位置と仮想視点との距離に基づいて、表示する広告内容を決定する。

これにより、仮想広告の表示内容を適切に決定することが可能となる。例えば、距離が近い場合には表示する情報量を多くすることで広告効果を高めることができるとともに、距離が遠い場合には表示する情報量を少なくすることで可読性を高めることができる。

なお、本実施形態では仮想視点画像に表示される仮想オブジェクトが仮想広告である場合について説明したが、仮想オブジェクトの内容はこれに限定されない。すなわち、仮想オブジェクトに表示される情報は広告に限らず、例えば撮影装置１０１による撮影対象に関する情報や仮想視点画像の視聴環境に関する情報などが仮想オブジェクトに表示されてもよい。このような場合も、本実施形態を適用することで、仮想オブジェクトの表示内容を適切に決定することができる。

（第２実施形態）
本実施形態における広告内容決定処理を説明する。画像処理システムの構成及び画像処理装置の構成等は第１実施形態と同様であるため、説明を省略する。

以下、図６を参照して、図３のフローチャートのＳ３０７が示す、仮想広告枠に表示する広告内容を決定する別の処理について説明する。

広告内容決定部２１０は、それぞれの仮想広告枠に対して、本処理を実行する。なお、本フローチャートのＳ４０１からＳ４０６の各処理は、図４（ａ）で説明した処理と同一であるため、詳細な説明は省略する。

Ｓ６０１において、広告内容決定部２１０は、仮想広告枠に表示されている広告内容が前回切り替わって以降、一定時間が経過したか否かを判定する。本実施形態で、一定時間が経過したか判定するための閾値は５秒であるとする。一定時間が経過した場合（Ｓ６０１：Ｙｅｓ）、Ｓ６０２へ進む。一方、一定時間が経過していない場合（Ｓ６０１：Ｎｏ）、Ｓ６０３へ進む。

Ｓ６０２において、広告内容決定部２１０は、仮想広告枠の面積のうち、どれだけの割合が仮想視点画像に表示されているかを算出する。この算出処理には、Ｓ３０６で生成された仮想広告枠の大きさ、及び、Ｓ３０５で生成された仮想視点画像の前景を使用する。仮想広告枠のうち、前景に隠れている部分は仮想視点画像に表示されていないとする。また仮想広告枠のうち、画面の外側に外れている部分は仮想視点画像に表示されていないとする。広告内容決定部２１０は、仮想視点画像に表示されている仮想広告枠の面積の割合が閾値以下であるか否かを判定する。本実施形態では、閾値は７０％であるとする。面積割合が閾値以下である場合（Ｓ６０２：Ｙｅｓ）、Ｓ４０１へ進み、図４（ａ）と同様の処理を行う。一方、面積割合が閾値未満である場合（Ｓ６０２：Ｎｏ）、Ｓ６０３へ進む。

Ｓ６０３において、広告内容決定部２１０は、直前に表示した広告内容を表示することを決定し、本処理を終了する。以上で図６の一連の処理が終了する。

次に、図７（ａ）は、本実施形態に係る仮想空間の概念図である。撮影装置１０１により撮影された撮影画像に基づいて生成された仮想空間上で、仮想視点７０１には撮影範囲７０２の範囲が設定され、被写体７０３を撮影している。また、仮想広告枠情報に基づく広告領域７０４から広告領域７０６までが撮影範囲７０２に含まれている。広告領域７０４、広告領域７０５、広告領域７０６には、図４（ｂ）が示す広告内容Ａの画像を表示する。広告領域７０４、広告領域７０５、広告領域７０６と仮想視点７０１との距離は２１ｍであるとする。広告領域７０４、広告領域７０５、広告領域７０６と仮想視点７０１とは正対している。被写体７０３は、広告領域７０４と仮想視点７０１との間に存在し、仮想視点７０１から見て広告領域７０４の一部を隠している。

図７（ｂ）は、仮想視点７０１から撮影した仮想視点画像を示す。このとき、広告内容決定部２１０は、広告領域７０４、広告領域７０５、広告領域７０６に対して、図６が示すフローチャートの処理を実行する。図７（ｂ）において、広告領域７０４、広告領域７０５、広告領域７０６は図４（ｂ）を参照して説明した広告画像４１７を表示している。また、前回、広告領域７０４、広告領域７０５、広告領域７０６の内容を更新してから５秒以上経過しているとする。

図７（ｃ）は、図７（ｂ）から２秒後に、仮想視点が仮想視点７０２の示す位置に移動し、その位置から撮影された仮想視点画像を示す。広告領域７０４、広告領域７０５、広告領域７０６と仮想視点７０１との距離は１９ｍであるとする。このとき、広告領域７０４は、被写体７０３に覆われて全体の６０％が見えているとする。また、広告領域７０６は、一部が撮影範囲７０２の外にあり、全体の３０％が見えているとする。

まず、広告領域７０４に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容の変更後、一定時間（５秒）が経過しているので、Ｓ６０２へ進む。広告内容決定部２１０は、広告領域７０４は全体の６０％しか見えていないため（すなわち割合が閾値（７０％）以下であるため）、Ｓ４０１へ進む。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が１９ｍであるという情報を取得し、Ｓ４０４で、距離１９ｍが距離条件４１４に対応するため、広告画像４１５を使用することを決定する。Ｓ４０６で、決定した広告画像４１５を仮想視点画像生成部２０８へ出力する。

次に、広告領域７０５に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容の変更後、一定時間（５秒）が経過しているので、Ｓ６０２へ進む。広告内容決定部２１０は、広告領域７０５は全体の１００％が見えているため（すなわち割合が閾値（７０％）超であるため）、Ｓ６０３へ進む。Ｓ６０３で、直前に表示した広告内容として、広告画像４１７を表示することを決定し、本処理を終了する。

最後に、広告領域７０６に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容の変更後、一定時間（５秒）が経過しているので、Ｓ６０２へ進む。広告内容決定部２１０は、広告領域７０４は全体の３０％しか見えていないため（すなわち割合が閾値（７０％）以下であるため）、Ｓ４０１へ進む。広告内容決定部２１０は、Ｓ４０１で広告の角度が０度であるという情報を取得する。Ｓ４０２で、角度が閾値（３０度）を超えていないことから、Ｓ４０３へ進む。広告内容決定部２１０は、Ｓ４０３で、広告と仮想視点との距離が１９ｍであることを取得し、Ｓ４０４で、距離１９ｍが距離条件４１４に対応するため、広告画像４１５を使用することを決定する。Ｓ４０６で、決定した広告画像４１５を仮想視点画像生成部２０８へ出力する。

続いて、図７（ｄ）は、図７（ｃ）から２秒後に、仮想視点が仮想視点７０１の示す位置に戻り、その位置から撮影した仮想視点画像を示す。

まず、広告領域７０４に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容を変更してから一定時間（閾値である５秒）が経過していないため、Ｓ６０３へ進み、直前に表示した広告内容として、広告画像４１５を表示することを決定し、本処理を終了する。

次に、広告領域７０５に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容変更してから一定時間（閾値である５秒）が経過しているので、Ｓ６０２へ進む。広告内容決定部２１０は、広告領域７０５は全体の１００％が見えているため、Ｓ６０３へ進み、直前に表示した広告内容として、広告画像４１７を表示することを決定し、本処理を終了する。

最後に、広告領域７０６に対して、図６が示すフローチャートの処理を実行する。広告内容決定部２１０は、Ｓ６０１で、広告内容を変更してから一定時間（閾値である５秒）が経過していないため、Ｓ６０３へ進み、直前に表示した広告内容として、広告画像４１５を表示することを決定し、本処理を終了する。

以上説明したように、前回の広告内容の変更から一定時間が経過していない場合に仮想広告の内容を切り替えないように制御する。これにより、仮想広告の内容が頻繁に切り替わり、視聴者の試合への集中を削ぐことを防ぐことができる。また、仮想視点画像に含まれる前景のオブジェクトに基づいて、仮想広告の内容を決定する。例えば、仮想広告の一部が前景のオブジェクトに隠れているときに仮想広告の内容を変更する。これにより、視聴者の試合への集中を削ぐことを防ぐことができる。

（第３実施形態）
本実施形態における広告内容決定処理を説明する。画像処理システムの構成及び画像処理装置の構成等は第１実施形態と同様であるため、説明を省略する。

図８は、仮想視点の焦点距離や仮想視点画像のサイズに応じて、仮想広告の内容を変更する例を示す図である。焦点距離が大きくなると画像は望遠になり、写る範囲が狭まる分、被写体は大きく写る。そのため同じ仮想広告枠も画像内における面積は大きくなる。広告内容決定部２１０は、焦点距離が大きい程、より情報量の多い広告画像を使用することを決定する。

また、画像サイズが大きくなると、同じ仮想広告枠も大きく見える。広告内容決定部２１０は、画像サイズが大きい程、より情報量の多い広告画像を使用することを決定する。

図８（ａ）において、仮想視点８０１には撮影範囲８０２の範囲が設定され、被写体８０３及び仮想広告８０４が撮影されている。図８（ｂ）は図８（ａ）における仮想視点画像を示す。広告内容決定部２１０は、広告画像４１７を仮想広告８０４に表示することを決定する。

図８（ｂ）において、仮想視点８０１には、撮影範囲８０２に比べて、より焦点距離が大きい撮影範囲８０６の範囲が設定され、被写体８０３及び仮想広告８０４が撮影されている。図８（ｄ）は図８（ａ）における仮想視点画像を示す。広告内容決定部２１０は、焦点距離が大きいため、広告画像４１７より情報量が多い広告画像４１９を仮想広告８０４に表示することを決定する。

図８（ｅ）は、仮想視点８０１に撮影範囲８０２の範囲が設定されたときの仮想視点画像だが、画像サイズは、図８（ａ）の仮想視点画像の２倍である。このとき、広告内容決定部２１０は、画像サイズが大きいため、広告画像４１７より情報量が多い広告画像４１９を仮想広告８０４に表示することを決定する。

なお、第１実施形態で仮想視点と仮想広告との距離について説明したのと同様に、仮想視点の焦点距離が閾値を超える場合に、焦点距離が閾値以下である場合よりも情報量が多くなるように仮想オブジェクトの内容を決定してもよい。また、仮想視点画像のサイズが閾値以上である場合に、仮想視点画像のサイズが閾値未満である場合よりも情報量が多くなるように仮想オブジェクトの内容を決定してもよい。

以上説明したように、本実施形態では、仮想視点の焦点距離、仮想視点画像の画像サイズに応じて、仮想広告の内容を変更する。これにより、仮想広告の表示内容を適切に決定することが可能となる。

[変形例]
なお、広告内容決定部２１０は、仮想視点と仮想広告との距離、仮想視点の焦点距離、仮想視点画像の画像サイズのうち、少なくとも何れか１つを用いて仮想広告の内容を決定してもよい。

なお、仮想広告の内容を切り替える際には、切り替え効果としてアニメーションを用いて切り替えてもよい。例えばフェードイン、フェードアウトの切り替えアニメーションを使用することで、仮想広告が切り替わったことを視聴者に気づかれにくくすることが可能である。これにより、試合中など、視聴者が試合への集中を逸らすことを防ぐことができる。

一方、ユーザの注意を促すような目立つ切り替えアニメーションを用いてもよい。これにより、仮想広告が切り替わったことを仮想視点画像の視聴者に気づかせることができる。例えば、プレーの中断中やハーフタイムなど試合が止まっているとき、視聴者に広告に気づいてもらえるという効果がある。複数種類の切り替えアニメーションのうちどのアニメーションを使用するかは、画像処理装置１０２のユーザ入力により指定できるように構成してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

１００：画像処理システム、１０１：撮影装置、１０２：画像処理装置、１０３：端末装置、１１１：ＣＰＵ、１１２：ＲＯＭ、１１３：ＲＡＭ、１１４：ＨＤＤ、１１５：表示部、１１６：入力部、１１７：通信部

Claims (36)

1. 複数の撮影装置により撮影された複数の撮影画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理装置であって、
   前記仮想視点画像に表示される仮想オブジェクトの一部が前記仮想視点画像に表示されない場合に、前記仮想オブジェクトの３次元空間における位置と前記仮想視点の前記３次元空間における位置との距離、前記仮想視点に対応する焦点距離、及び前記仮想視点画像のサイズのうちの少なくとも１つに基づいて、前記仮想オブジェクトの内容を決定する決定手段と、
   前記決定手段により決定された内容の仮想オブジェクトを含む仮想視点画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記距離が近い程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記焦点距離が大きい程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記仮想視点画像のサイズが大きい程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記決定手段は、前記距離が閾値以下である場合には、前記距離が閾値を超える場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記焦点距離が閾値を超える場合には、前記焦点距離が閾値以下である場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１又は５に記載の画像処理装置。
7. 前記決定手段は、前記仮想視点画像のサイズが閾値以上である場合には、前記仮想視点画像のサイズが閾値未満である場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１、５又は６の何れか１項に記載の画像処理装置。
8. 前記決定手段は、前記仮想視点と前記仮想オブジェクトとのなす角度に基づいて、前記仮想オブジェクトの内容を決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記決定手段は、前記角度が閾値を超える場合、前記仮想オブジェクトが含む情報量を減らすことを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記仮想オブジェクトの内容を変更してから一定時間の間は前記仮想オブジェクトの内容を変更しないように、前記仮想オブジェクトの内容を決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記決定手段は、前記仮想オブジェクトの一部が前記仮想視点画像に含まれるオブジェクトにより隠れる場合に、前記仮想オブジェクトの内容を変更することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記決定手段は、前記仮想オブジェクトの一部が前記仮想視点画像の外に出ている場合に、前記仮想オブジェクトの内容を変更することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記決定手段は、前記仮想オブジェクトの全領域のうち前記仮想視点画像において表示される面積の割合が閾値以下である場合、前記仮想オブジェクトの内容を変更することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記決定手段は、前記仮想オブジェクトの全領域のうち前記仮想視点画像に表示される領域の面積の割合が閾値を超える場合、前記仮想オブジェクトの内容を変更しないことを特徴とする請求項１１乃至１３の何れか１項に記載の画像処理装置。
15. 前記決定手段は、複数の仮想オブジェクトの中から仮想オブジェクトを選択することにより前記仮想オブジェクトの内容を決定することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記決定手段は、ユーザ入力に基づいて、複数種類の切り替えアニメーションの中から、前記仮想オブジェクトの内容を変更する際に使用する切り替えアニメーションを選択し、
    前記生成手段は、前記選択された切り替えアニメーションに従った仮想視点画像を生成することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 複数の撮影装置により撮影された複数の撮影画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理装置であって、
    前記仮想視点画像のサイズに基づいて、前記仮想視点画像に表示される仮想オブジェクトの内容を決定する決定手段と、
    前記決定手段により決定された内容の仮想オブジェクトを含む仮想視点画像を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
18. 前記決定手段は、前記仮想オブジェクトの３次元空間における位置と前記仮想視点の前記３次元空間における位置との距離にさらに基づいて前記仮想オブジェクトの内容を決定し、前記距離が近い程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１７に記載の画像処理装置。
19. 前記決定手段は、前記仮想視点に対応する焦点距離にさらに基づいて前記仮想オブジェクトの内容を決定し、前記焦点距離が大きい程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 前記決定手段は、前記仮想視点画像の前記サイズが大きい程、前記仮想オブジェクトが含む情報量を増やすことを特徴とする請求項１７乃至１９の何れか１項に記載の画像処理装置。
21. 前記決定手段は、前記距離が閾値以下である場合には、前記距離が閾値を超える場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１８に記載の画像処理装置。
22. 前記決定手段は、前記焦点距離が閾値を超える場合には、前記焦点距離が閾値以下である場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１９に記載の画像処理装置。
23. 前記決定手段は、前記仮想視点画像の前記サイズが閾値以上である場合には、前記仮想視点画像のサイズが閾値未満である場合よりも情報量が多くなるように前記仮想オブジェクトの内容を決定することを特徴とする請求項１７乃至２２の何れか１項に記載の画像処理装置。
24. 前記決定手段は、前記仮想視点と前記仮想オブジェクトとのなす角度に基づいて、前記仮想オブジェクトの内容を決定することを特徴とする請求項１７乃至２３の何れか１項に記載の画像処理装置。
25. 前記決定手段は、前記角度が閾値を超える場合、前記仮想オブジェクトが含む情報量を減らすことを特徴とする請求項２４に記載の画像処理装置。
26. 前記決定手段は、前記仮想オブジェクトの内容を変更してから一定時間の間は前記仮想オブジェクトの内容を変更しないように、前記仮想オブジェクトの内容を決定することを特徴とする請求項１７乃至２５の何れか１項に記載の画像処理装置。
27. 前記決定手段は、前記仮想視点画像に含まれるオブジェクトに基づいて、前記仮想オブジェクトの内容を決定することを特徴とする請求項１７乃至２６の何れか１項に記載の画像処理装置。
28. 前記決定手段は、前記仮想オブジェクトの一部が前記オブジェクトにより隠れる場合に、前記仮想オブジェクトの内容を変更することを特徴とする請求項２７に記載の画像処理装置。
29. 前記決定手段は、前記オブジェクトにより隠れていない前記仮想オブジェクトの面積の割合が閾値以下である場合、前記仮想オブジェクトの内容を変更することを特徴とする請求項２７又は２８に記載の画像処理装置。
30. 前記決定手段は、前記オブジェクトにより隠れていない前記仮想オブジェクトの面積割合が閾値を超える場合、前記仮想オブジェクトの内容を変更しないことを特徴とする請求項２７乃至２９の何れか１項に記載の画像処理装置。
31. 前記決定手段は、前記仮想オブジェクトの一部が前記仮想視点画像の外に出ている場合に、前記仮想オブジェクトの内容を変更することを特徴とする請求項１７乃至３０の何れか１項に記載の画像処理装置。
32. 前記決定手段は、複数の仮想オブジェクトの中から仮想オブジェクトを選択することにより前記仮想オブジェクトの内容を決定することを特徴とする請求項１７乃至３１の何れか１項に記載の画像処理装置。
33. 前記決定手段は、ユーザ入力に基づいて、複数種類の切り替えアニメーションの中から、前記仮想オブジェクトの内容を変更する際に使用する切り替えアニメーションを選択し、
    前記生成手段は、前記選択された切り替えアニメーションに従った仮想視点画像を生成することを特徴とする請求項１７乃至３０の何れか１項に記載の画像処理装置。
34. 複数の撮影装置により撮影された複数の撮影画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理方法であって、
    前記仮想視点画像に表示される仮想オブジェクトの一部が前記仮想視点画像に表示されない場合に、前記仮想オブジェクトの３次元空間における位置と前記仮想視点の前記３次元空間における位置との距離、前記仮想視点に対応する焦点距離、及び前記仮想視点画像のサイズのうちの少なくとも１つに基づいて、前記仮想オブジェクトの内容を決定する決定工程と、
    前記決定工程により決定された内容の仮想オブジェクトを含む仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
35. 複数の撮影装置により撮影された複数の撮影画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理方法であって、
    前記仮想視点画像のサイズに基づいて、前記仮想視点画像に表示される仮想オブジェクトの内容を決定する決定工程と、
    前記決定工程により決定された内容の仮想オブジェクトを含む仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
36. コンピュータを、請求項１乃至３３の何れか１項に記載の画像処理装置として機能させるためのプログラム。

Images