JP7406528B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示は、仮想視点画像の操作の高度化技術に関する。

プレゼンテーションを実行するアプリケーションにおいて、画像を表示中に、画像内における注目点を示す等のための丸や線等の形状のマーカの入力を受け付け、ページ画像とそのマーカとを合成して出力する機能が知られている。特許文献１には、このような機能を遠隔会議システムに適用した技術が記載されている。

特開２０１７－１５１４９１号公報

近年、複数の撮像装置を用いた撮像によって得られた複数の画像から、撮像されたシーンを任意の視点から見た画像（仮想視点画像）を生成する技術が注目されている。このような仮想視点画像においても、例えばシーンにおいて着目すべき対象へマーカを付すことが想定される。仮想視点画像にマーカが入力された場合、そのマーカが入力された際の視点から見るとマーカが適切な位置に表示されるが、別の視点に切り替えた場合などにそのマーカが意図しない位置に表示されうる。このように、仮想視点画像に対してマーカなどの付加情報を描画する際に、描画する付加情報が意図しない位置に表示される可能性がある。

本開示は、仮想視点画像に対して描画される付加情報が視点によらず適切な位置に表示されるようにするための技術を提供する。

本開示の一態様による画像処理装置は、仮想視点および三次元の仮想空間に基づく仮想視点画像が表示された画面において付加情報の入力を取得する取得手段と、取得された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、を有し、前記付加情報が入力された際の前記仮想視点画像に対応するタイムコードと、前記オブジェクトとが関連付けられ、前記表示制御手段は、前記オブジェクトが関連付けられたタイムコードに対応する前記仮想視点画像が表示される場合に、前記オブジェクトが配置された前記仮想空間に基づいて前記仮想視点画像を表示させる。

本開示によれば、仮想視点画像に対して描画される付加情報が視点によらず適切な位置に表示されるようにすることができる。

画像処理システムの構成例を示す図である。 画像処理装置の構成例を示す図である。 仮想視点を説明する図である。 操作画面の構成例を示す図である。 マーカオブジェクトおよび注目面を説明する図である。 画像処理装置によって実行される処理の流れの例を示す図である。 表示される画面の例を示す図である。 画像処理システムの構成例を示す図である。 マーカオブジェクトのデータ構成例を示す図である。 表示される画面の例を示す図である。 表示される画面の例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る開示を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（システム構成）
図１（Ａ）及び図１（Ｂ）を用いて、本実施形態に係る画像処理システム１００の構成例について説明する。画像処理システム１００は、複数のセンサシステム（図１（Ａ）の例ではｎ台のセンサシステム１０１－１～センサシステム１０１－ｎ）を含む。各センサシステムは、少なくとも１台の撮像装置（例えばカメラ）を含む。なお、以下では、特に区別する必要がない場合には、センサシステム１０１－１～センサシステム１０１－ｎを総称して「センサシステム１０１」と呼ぶ。この画像処理システム１００では、複数のセンサシステム１０１によって取得された画像データに基づいて、仮想視点画像データを生成してユーザに提供する。

図１（Ｂ）に、これらのセンサシステム１０１の設置例を示す。複数センサシステム１０１は、撮影の被写体である領域（以下では、被写体領域１２０と呼ぶ。）を囲むように設置され、それぞれ異なる方向から被写体領域１２０を撮影する。例えば、被写体領域１２０をサッカーやラグビーの試合が行わるスタジアムのフィールドとして定めた場合、そのフィールドを囲むようにｎ台の（例えば１００台などの多数の）センサシステム１０１が設置される。なお、設置されるセンサシステム１０１の数は特に限定されるものではないが、少なくとも複数である。なお、センサシステム１０１は、被写体領域１２０の全周に渡って設置されなくてもよく、例えば設置場所の制限等によって、被写体領域１２０の周囲の一部にのみ設置されてもよい。また、複数のセンサシステム１０１のそれぞれが有する撮像装置の中に、望遠カメラや広角カメラなど、機能が異なる撮像装置が含まれてもよい。

また、センサシステム１０１は、撮像装置（カメラ）に加えて収音装置（マイク）を有してもよい。複数のセンサシステム１０１のそれぞれにおける収音装置は、同期して音声を収音する。画像処理システム１００は、複数の収音装置によってそれぞれ収音された音声データに基づいて、仮想視点画像と共に再生される仮想聴点音響のデータを生成し、ユーザに提供する。なお、以下では、説明の簡略化のために音声に関する説明を省略するが、画像と音声とが共に処理されるものとする。

なお、被写体領域１２０は、スタジアムのフィールドに限られず、例えば、スタジアムの客席を含むように定められてもよい。また、被写体領域１２０は、屋内のスタジオや舞台等となるように定められてもよい。すなわち、仮想視点画像を生成する対象となる被写体の領域が被写体領域１２０として定められうる。なお、ここでの「被写体」は、被写体領域１２０によって定められる領域そのものであってもよいし、それに加えて又はそれに代えて、その領域内に存在する選手や審判等の人物及びボール等の全てのオブジェクトを含みうる。また、本実施形態を通して、仮想視点画像は、動画像であるものとするが、静止画像であってもよい。

図１（Ｂ）のように配置された複数のセンサシステム１０１は、同期して、それぞれのセンサシステム１０１が有する撮像装置によって共通の被写体領域１２０の撮像を行う。本実施形態では、このような共通の被写体領域１２０を複数の視点から同期撮像することによって得られる複数の画像群に含まれる画像を「多視点画像」と呼ぶ。なお、本実施形態における多視点画像は、撮像された画像そのものでありうるが、例えば、撮像画像に対して所定領域を抽出する処理などの画像処理が行われた後の画像等であってもよい。

また、画像処理システム１００は、さらに、画像記録装置１０２、データベース１０３、及び画像処理装置１０４を含む。画像記録装置１０２は、複数のセンサシステム１０１のそれぞれにおける撮像によって得られた多視点画像を収集し、その撮像に使用されたタイムコードと合わせて、その他視点画像をデータベース１０３へ記憶させる。ここで、タイムコードは、撮像が行われた時刻を一意に識別するための情報である。例えば、タイムコードは、日：時：分：秒．フレーム番号などのような形式で撮像時刻を指定する情報でありうる。

画像処理装置１０４は、データベース１０３から、共通のタイムコードに対応する複数の多視点画像を取得し、その取得した多視点画像から被写体の三次元モデルを生成する。三次元モデルは、例えば、被写体の形状を表現する点群や、被写体の形状を多角形の集合として表現した際の面や頂点などの形状情報と、形状の表面における色彩や質感を表現するテクスチャ情報とを含んで構成される。なお、これは一例であり、被写体を三次元で表現する任意の形式で三次元モデルが定義されうる。画像処理装置１０４は、例えばユーザによって指定された仮想視点に基づいて、被写体の三次元モデルを使用して、その仮想視点に対応する仮想視点画像を生成して出力する。例えば図１（Ｂ）に示すように、被写体領域１２０に関連付けられた仮想空間内での視点の位置及び視線の方向によって、仮想視点１１０が指定される。ユーザは、仮想空間内で仮想視点を移動させて視線の向きを変更することにより、例えば複数のセンサシステム１０１のいずれの撮像装置とも異なる視点から、仮想空間に存在する被写体の三次元モデルに基づいて生成された被写体を閲覧することができる。なお、仮想視点が三次元の仮想空間内を自由に移動できるため、仮想視点画像は「自由視点画像」とも呼ばれうる。

画像処理装置１０４は、仮想視点１１０から観測されるシーンを示す画像として、仮想視点画像を生成する。なお、ここで生成される画像は二次元画像である。画像処理装置１０４は、例えば、ユーザによって使用されるコンピュータであり、タッチパネルディスプレイや液晶ディスプレイ等の表示装置を含んで構成されうる。また、画像処理装置１０４は、外部の表示装置に画像を表示させるための表示制御機能を有してもよい。画像処理装置１０４は、例えば、それらの表示装置の画面に仮想視点画像を表示させる。すなわち、画像処理装置１０４は、仮想視点から見える範囲のシーンの画像を仮想視点画像として生成し、画面に表示させるための処理を実行する。

なお、画像処理システム１００は、図１（Ａ）に示す構成とは異なる構成を有してもよい。例えば、画像処理装置１０４とは別個に、タッチパネルディスプレイ等の操作・表示デバイスを含んだ構成が用いられてもよい。例えば、タッチパネルディスプレイを有するタブレット等において、仮想視点等の操作を行い、それに応じて、画像処理装置１０４において仮想視点画像を生成し、その画像をタブレットに表示させるような構成が用いられてもよい。なお、複数のタブレットがサーバ経由で画像処理装置１０４に接続され、画像処理装置１０４がその複数のタブレットのそれぞれへ仮想視点画像を出力するような構成が用いられてもよい。また、データベース１０３と画像処理装置１０４とが一体で構成されてもよい。また、画像記録装置１０２において、多視点画像から被写体の三次元モデルの生成までの処理が行われ、被写体の三次元モデルがデータベース１０３に格納されるような構成が用いられてもよい。その場合、画像処理装置１０４は、データベース１０３から三次元モデルを読み出して仮想視点画像を生成する。また、図１（Ａ）では、複数のセンサシステム１０１がデイジーチェーン接続される例を示しているが、例えばセンサシステム１０１がそれぞれ画像記録装置１０２に直接接続されてもよいし、他の接続形式で接続されてもよい。なお、センサシステム１０１が同期して撮像を行うことができるように、例えば画像記録装置１０２や他の時刻同期用の装置がセンサシステム１０１のそれぞれに対して基準時刻情報を通知するように構成されてもよい。

本実施形態では、画像処理装置１０４は、さらに、画面表示された仮想視点画像に対して、ユーザからの丸や線などのマーカの入力を受け付け、それを仮想視点画像へ重畳して画面に表示させる。このようなマーカが入力された場合、マーカが入力された仮想視点においては、そのマーカが適切に表示されるが、仮想視点の位置や向きを変更することにより、マーカが付されたオブジェクトとマーカとがずれるなど、意図しない表示が行われうる。このため、本実施形態では、画像処理装置１０４が、表示された二次元の画面に対して受け付けられたマーカを、仮想視点の移動によらずに適切な位置に表示するための処理を実行する。画像処理装置１０４は、二次元のマーカを、三次元のマーカオブジェクトへ変換する。そして、画像処理装置１０４は、被写体の三次元モデルと、三次元のマーカオブジェクトとを合わせて、仮想視点の移動に伴ってマーカの位置が適切に調整された仮想視点画像を生成する。以下では、このような処理を実行する画像処理装置１０４の構成や、処理の流れの例について説明する。

（画像処理装置の構成）
続いて、図２（Ａ）及び図２（Ｂ）を用いて、画像処理装置１０４の構成について説明する。図２（Ａ）は、画像処理装置１０４の機能構成例を示している。画像処理装置１０４は、その機能構成として、例えば、仮想視点制御部２０１、モデル生成部２０２、画像生成部２０３、マーカ制御部２０４、及び、マーカ管理部２０５を含む。なお、これらは一例であり、示されている機能の少なくとも一部が省略されてもよいし、別の機能が追加されてもよい。また、後述の機能を実行可能な限りにおいて、図２（Ａ）に示す機能の全てが別の機能ブロックによって置き換えられてもよい。また、図２（Ａ）に示す２つ以上の機能ブロックが１つの機能ブロックにまとめられてもよいし、１つの機能ブロックが複数の機能ブロックに分割されてもよい。

仮想視点制御部２０１は、仮想視点１１０またはタイムコードに関するユーザ操作を受け付け、仮想視点の動作を制御する。仮想視点のユーザ操作には、タッチパネルやジョイスティック等が用いられるが、これらに限定されず、任意のデバイスによってユーザ操作が受け付けられうる。モデル生成部２０２は、データベース１０３から、ユーザ操作等によって指定されたタイムコードに対応する多視点画像を取得し、被写体領域１２０に含まれる被写体の三次元形状を示す三次元モデルを生成する。モデル生成部２０２は、例えば、多視点画像から、人物やボールなどの被写体に対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像を取得する。そして、モデル生成部２０２は、複数の前景画像に基づいて、前景の三次元モデルを生成する。三次元モデルは、例えば、Ｖｉｓｕａｌ Ｈｕｌｌ等の形状推定方法によって生成された点群によって構成される。なお、オブジェクトの形状を表す三次元形状データの形式はこれに限定されず、メッシュや独自の形式の三次元データが用いられてもよい。なお、モデル生成部２０２は、同様にして背景の三次元モデルを生成しうるが、背景の三次元モデルについては、予め外部の装置によって生成されたものを取得するようにしてもよい。以下では、便宜上、前景の三次元モデルと背景の三次元モデルとを合わせて、「被写体の三次元モデル」又は、単に「三次元モデル」と呼ぶ。

画像生成部２０３は、被写体の三次元モデルと仮想視点とに基づいて、その仮想視点から見た場合のシーンを再現する仮想視点画像を生成する。例えば、画像生成部２０３は、三次元モデルを構成する点ごとに、多視点画像から適切な画素値を取得して色付け処理を行う。そして、画像生成部２０３は、三次元モデルを三次元の仮想空間に配置し、仮想視点へ画素値と合わせて投影してレンダリングすることにより、仮想視点画像を生成する。なお、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、他の方法が使用されてもよい。

マーカ制御部２０４は、ユーザから、仮想視点画像に対する丸や線等のマーカ入力を受け付ける。マーカ制御部２０４は、二次元の仮想視点画像に対して行われたマーカ入力を、仮想空間上の三次元データであるマーカオブジェクトへ変換する。マーカ制御部２０４は、仮想視点の位置・姿勢に応じて、被写体の三次元モデルとマーカオブジェクトとを合わせた仮想視点画像を生成するように、画像生成部２０３に指示を送信する。なお、マーカ制御部２０４は、例えば、マーカオブジェクトを画像生成部２０３に三次元モデルとして提供し、画像生成部２０３は、そのマーカオブジェクトを被写体と同様に扱うことによって、仮想視点画像を生成するようにしうる。また、画像生成部２０３は、マーカ制御部２０４から提供されたマーカオブジェクトに基づいて、仮想視点画像を生成する処理とは別個に、マーカオブジェクトを重畳させるための処理を実行させてもよい。また、マーカ制御部２０４が、画像生成部２０３によって提供された仮想視点画像にマーカオブジェクトに基づくマーカを重畳させる処理を実行するようにしてもよい。マーカ管理部２０５は、マーカ制御部２０４が変換した三次元モデルのマーカオブジェクトを、例えば後述の記憶部２１６等に記憶させるための記憶制御を行う。マーカ管理部２０５は、マーカオブジェクトが、例えば、タイムコードと関連付けられて、記憶されるように記憶制御を行う。なお、モデル生成部２０２が、前景の人物やボールなどのオブジェクトごとに、その座標を計算しておき、その座標をデータベース１０３へ蓄積し、そのオブジェクトごとの座標を、マーカオブジェクトの座標指定に使用してもよい。

図２（Ｂ）は、画像処理装置１０４のハードウェア構成例を示している。画像処理装置１０４は、そのハードウェア構成として、例えば、ＣＰＵ２１１、ＲＡＭ２１２、ＲＯＭ２１３、操作部２１４、表示部２１５、記憶部２１６、及び外部インタフェース２１７を含む。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語であり、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語であり、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略語である。

ＣＰＵ２１１は、例えばＲＡＭ２１２やＲＯＭ２１３に記憶されているプログラムやデータを用いて、画像処理装置１０４全体の制御や、後述の処理を実行する。ＣＰＵ２１１が、ＲＡＭ２１２やＲＯＭ２１３に記憶されているプログラムを実行することにより、図２（Ａ）の各機能ブロックが実現されうる。なお、画像処理装置１０４は、ＣＰＵ２１１以外の１つ以上のプロセッサ等の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部をそのハードウェアが実行させてもよい。専用のハードウェアは、例えば、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などでありうる。ＲＯＭ２１３は、仮想視点画像やマーカに対する処理を実行するためのプログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶し、また、ＣＰＵ２１１が各処理を実行する際に用いるために、ワークエリアを提供する。

操作部２１４は、例えばタッチパネルやボタンなどの、ユーザによる操作を受け付けるためのデバイスを含んで構成される。操作部２１４は、例えば、ユーザによる仮想視点やマーカに対する操作を示す情報を取得する。なお、操作部２１４は、外部コントローラと接続し、操作に関するユーザからの入力情報を受け付けてもよい。外部コントローラは、特に限定されないが、例えば、ジョイスティック等の三軸コントローラや、キーボード、マウス等である。表示部２１５は、ディスプレイ等の表示装置を含んで構成される。表示部２１５は、例えばＣＰＵ２１１等によって生成された仮想視点画像を表示する。また、表示部２１５は、音声出力のためのスピーカや振動出力のためのデバイス等の、情報をユーザに提示可能な各種出力デバイスを含んでもよい。なお、例えばタッチパネルディスプレイによって、操作部２１４と表示部２１５とが一体的に構成されてもよい。

記憶部２１６は、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の大容量記憶装置を含んで構成される。なお、これらは一例であり、記憶部２１６は、他の任意の記憶装置を含んで構成されてもよい。であり、プログラムが処理するデータを記録する。記憶部２１６は、例えば、操作部２１４を介して受け付けられたマーカ入力がＣＰＵ２１１によって変換された三次元のマーカオブジェクトを記憶する。記憶部２１６は、さらにほかの情報を記憶してもよい。外部インタフェース２１７は、例えば、ＬＡＮ（ローカルエリアネットワーク）等のネットワークに接続するインタフェース機器を含んで構成される。外部インタフェース２１７を介して、データベース１０３等の外部装置との間で情報の送受信が行われる。また、外部インタフェース２１７は、ＨＤＭＩ（登録商標）やＳＤＩ等の画像出力ポートを含んで構成されてもよい。なお、ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略語であり、ＳＤＩは、Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅの略語である。この場合、外部インタフェース２１７を介して、外部の表示装置や投影装置へ情報が送信されうる。また、外部インタフェース２１７を用いてネットワークに接続し、ネットワークを介して、仮想視点やマーカの操作情報の受信や、仮想視点画像の送信が行われるようにしてもよい。

（仮想視点および視線方向）
続いて、図３（Ａ）～図３（Ｄ）を用いて、仮想視点１１０について説明する。仮想視点１１０や、その動作は１つの座標系を用いて指定される。本実施形態では、座標系として、図３（Ａ）に示すような、Ｘ軸、Ｙ軸、及びＺ軸から構成される一般的な三次元空間の直交座標系が用いられるものとする。なお、これは一例であり、三次元空間の位置を示すことができる任意の座標系が用いられてもよい。この座標系を用いて、被写体の座標が設定されて使用される。被写体は、例えば、スタジアムのフィールドやスタジオ等、及びそのフィールドやスタジオ等の空間に存在する人物や、ボール等の物体を含む。例えば、図３（Ｂ）の例では、被写体として、スタジアムのフィールド全体３９１と、その上に存在するボール３９２や選手３９３等が含まれる。なお、フィールド周辺の客席等が被写体に含まれてもよい。図３（Ｂ）の例では、フィールド３９１の中心の座標を、原点（０、０、０）として設定し、Ｘ軸をフィールド３９１の長辺方向、Ｙ軸をフィールド３９１の短辺方向、Ｚ軸をフィールドに対する鉛直方向としている。このようにして、フィールド３９１の中心を基準として各被写体の座標を設定することによって、被写体から生成される三次元モデルを、三次元の仮想空間へ配置することができる。なお、座標の設定方法は、これらに限定されない。

次に、図３（Ｃ）及び図３（Ｄ）を用いて、仮想視点について説明する。仮想視点は、仮想視点画像を生成するための視点および視線方向を定める。図３（Ｃ）において、四角錘の頂点が仮想視点の位置３０１を示しており、頂点から伸びるベクトルが視線の方向３０２を示している。仮想視点の位置３０１は、三次元の仮想空間上の座標（ｘ，ｙ，ｚ）によって表現され、視線の方向３０２は、各軸の成分をスカラとする単位ベクトルによって表現され、仮想視点の光軸ベクトルとも呼ばれる。視線の方向３０２は、前方クリップ面３０３と後方クリップ面３０４のそれぞれの中心点を通るものとする。なお、クリップ面は、描画の対象となる領域を規定する平面である。前方クリップ面３０３と後方クリップ面３０４とに挟まれた空間３０５は、仮想視点の視錐台と呼ばれ、この範囲において仮想視点画像が生成される（又は、この範囲で仮想視点画像が投影されて表示される）。なお、焦点距離（不図示）は、任意の値を設定可能であり、一般的なカメラと同様に焦点距離が変更されることによって画角が変更される。すなわち、焦点距離を短くすることにより、画角を広くし、視錐台を広げることができる。一方で、焦点距離を長くすることにより、画角が狭くなり、視錐台を狭めて、被写体を大きく捉えることができる。なお、焦点距離は一例であり、視錐台の位置やサイズを設定可能な任意のパラメータが使用されうる。

仮想視点の位置および仮想視点からの視線方向は、三次元座標で表現された仮想空間内で移動および回転させることができる。図３（Ｄ）に示すように、仮想視点の移動３０６は、仮想視点の位置３０１の移動であり、各軸の成分（ｘ、ｙ、ｚ）で表現される。仮想視点の回転３０７は、図３（Ａ）に示すように、Ｚ軸回りの回転であるヨー（Ｙａｗ）、Ｘ軸回りの回転であるピッチ（Ｐｉｔｃｈ）、Ｙ軸回りの回転であるロール（Ｒｏｌｌ）によって表現される。これらにより、仮想視点の位置および仮想視点からの視線方向は、三次元の仮想空間を自由に移動及び回転でき、画像処理装置１０４は、被写体の任意の領域を任意の角度から観察したと仮定した場合の画像を仮想視点画像として再現することができる。なお、以下では、特に区別する必要がない場合には、仮想視点の位置および仮想視点からの視線方向を合わせて「仮想視点」と呼ぶ。

（仮想視点とマーカの操作方法）
図４（Ａ）及び図４（Ｂ）を用いて、仮想視点とマーカの操作方法について説明する。図４（Ａ）は、画像処理装置１０４によって表示される画面を説明するための図である。ここでは、タッチパネルディスプレイを有するタブレット型の端末４００を用いる場合について説明する。なお、端末４００は、タブレット型の端末である必要はなく、他の形式の任意の情報処理装置が端末４００として使用されうる。端末４００が画像処理装置１０４である場合、端末４００は、仮想視点画像を生成して表示すると共に、仮想視点やタイムコードの指定およびマーカ入力等の操作を受け付けるように構成される。一方、例えば端末４００が通信ネットワークを介して画像処理装置１０４に接続する装置である場合、端末４００は、仮想視点やタイムコードを指定する情報を画像処理装置１０４へ送信して仮想視点画像の提供を受ける。また、端末４００は、仮想視点画像に対するマーカ入力操作を受け付けて、その受け付けたマーカ入力を示す情報を画像処理装置１０４へ送信する。

図４（Ａ）において、端末４００における表示画面４０１は、大まかに、仮想視点操作領域４０２と、タイムコード操作領域４０３との２つの領域に分類される。

仮想視点操作領域４０２では、仮想視点に関するユーザ操作が受け付けられ、その領域の範囲内に仮想視点画像が表示される。すなわち、仮想視点操作領域４０２では、仮想視点を操作し、その操作後の仮想視点から観察したと仮定した場合のシーンを再現した仮想視点画像が表示される。また、仮想視点操作領域４０２では、仮想視点画像に対するマーカ入力を受け付ける。なお、マーカの操作と仮想視点の操作とが併せて実行されてもよいが、本実施形態では、マーカの操作が仮想視点の操作と独立して受け付けられるものとする。一例において、図４（Ｂ）の例のように、端末４００に対するユーザの指によるタップ・ドラッグ等のタッチ操作によって仮想視点を操作し、ペンシル４５０等の描画用デバイスによるタップ・ドラッグ等によってマーカ操作が行われうる。ユーザは、例えば、指によるドラッグ操作４３１によって、仮想視点の移動や回転を行う。また、ユーザは、ペンシル４５０によるドラッグ操作によって、マーカ４５１やマーカ４５２を仮想視点画像上に描画する。端末４００は、ペンシル４５０によるドラッグ操作の連続座標においてマーカを描画する。なお、指による操作がマーカ操作に割り当てられ、ペンシルによる操作が仮想視点の操作に割り当てられてもよい。また、仮想視点の操作とマーカ操作とを端末４００が区別可能である限りにおいて、他の任意の操作方法が用いられてもよい。このような構成によれば、ユーザが、仮想視点の操作とマーカ操作とを容易に使い分けることができる。

なお、仮想視点の操作とマーカの操作とを独立して実行する際に、必ずしもペンシル４５０の様な描画用デバイスが用いられなくてもよい。例えば、マーカ操作に対するＯＮ／ＯＦＦボタン（不図示）をタッチパネルに設け、マーカ操作を行うか否かをそのボタン操作によって切り替えてもよい。例えば、マーカ操作が行われる際にはそのボタンがＯＮとされ、ボタンがＯＮとされている間は、仮想視点操作が行われないようにしてもよい。また、仮想視点の操作が行われる際にはそのボタンがＯＦＦとされ、ボタンがＯＦＦとされている間は、マーカ操作が行われないようにしてもよい。

タイムコード操作領域４０３は、どのタイミングの仮想視点画像を視聴するかを指定するために使用される。タイムコード操作領域４０３は、例えば、メイン・スライダ４１２、サブ・スライダ４１３、速度指定スライダ４１４、及びキャンセルボタン４１５を含む。メイン・スライダ４１２は、つまみ４２２の位置のドラッグ操作等により、ユーザが選択した任意のタイムコードを受け付けるために使用される。メイン・スライダ４１２の範囲によって、仮想視点画像が再生可能な期間の全体が示される。サブ・スライダ４１３は、タイムコードの一部を拡大表示し、ユーザがフレーム単位などの詳細なタイムコードの操作を実行することを可能とする。サブ・スライダ４１３では、つまみ４２３の位置のドラッグ操作等により、任意の詳細なタイムコードのユーザ選択を受け付ける。

端末４００では、メイン・スライダ４１２でタイムコードの大まかな指定を受け付け、サブ・スライダ４１３によって、タイムコードの詳細な指定を受け付ける。例えば、メイン・スライダ４１２が試合全体の長さに相当する３時間の範囲に相当し、サブ・スライダ４１３はその一部である３０秒程度の時間範囲に相当するように、メイン・スライダ４１２およびサブ・スライダ４１３が設定されうる。例えば、メイン・スライダ４１２で指定されたタイムコードの前後１５秒やそのタイムコードから３０秒の区間が、サブ・スライダ４１３によって表現されうる。また、事前に３０秒単位で区間を区切っておき、それらの区間のうちメイン・スライダ４１２で指定されたタイムコードを含んだ区間が、サブ・スライダ４１３によって表現されてもよい。このように、メイン・スライダ４１２とサブ・スライダ４１３とでは時間のスケールが異なる。なお、上述の時間長は一例であり、別の時間長に対応するように構成されてもよい。なお、例えばサブ・スライダ４１３が対応する時間長の設定を変更できるようなユーザインタフェースが用意されてもよい。また、図４（Ａ）では、メイン・スライダ４１２とサブ・スライダ４１３とが画面上で同じ長さで表示される例を示しているが、これらの長さは相互に異なっていてもよい。すなわち、メイン・スライダ４１２の方が長くてもよいし、サブ・スライダ４１３の方が長くてもよい。また、サブ・スライダ４１３は常に表示されなくてもよい。例えば、表示指示が受け付けられた後にサブ・スライダ４１３が表示されるようにしてもよいし、一時停止などの特定の操作が指示された際にサブ・スライダ４１３が表示されるようにしてもよい。また、タイムコードの指定および表示は、メイン・スライダ４２１のつまみ４２２とサブ・スライダ４１３のつまみ４２３とを用いずに行われてもよい。例えば、日：時：分：秒．フレーム番号の形式の数値等、数値によってタイムコードが指定および表示されてもよい。

速度指定スライダ４１４は、等倍再生やスロー再生等の再生速度のユーザによる指定を受け付けるために用いられる。例えば、速度指定スライダ４１４のつまみ４２４を用いて選択された再生速度に応じて、タイムコードのカウントアップ間隔が制御される。キャンセルボタン４１５は、タイムコードに関する各操作をキャンセルするために使用されうる。また、キャンセルボタン４１５は、一時停止をクリアし、通常再生に戻るために使用しても良い。なお、タイムコードに関する操作を行うボタンであればキャンセルに限定されない。

ユーザは、以上のような画面構成を用いて、仮想視点とタイムコードとを操作して、任意のタイムコードにおける被写体の三次元モデルを、任意の位置・姿勢から見た場合の仮想視点画像を端末４００に表示させることができる。そして、ユーザは、その様な仮想視点画像に対して、仮想視点の操作と独立して、マーカ入力を行うことができる。

（マーカオブジェクトと注目面）
本実施形態では、二次元で表示されている仮想視点画像に対してユーザが入力した二次元のマーカを、三次元のマーカオブジェクトに変換する。三次元に変換されたマーカオブジェクトは、仮想視点と同じ三次元の仮想空間に配置される。まず、マーカオブジェクトの変換方法について、図５（Ａ）～図５（Ｅ）を用いて説明する。

図５（Ａ）は、仮想視点画像５００に対してペンシル４５０を用いて、マーカが入力されている状態を示している。ここで、マーカ上の一点を表すベクトルをマーカ入力ベクトル５０１と呼ぶ。図５（Ｂ）は、図５（Ａ）に表示されている仮想視点画像５００が生成される際に指定された仮想視点を概略的に示す図である。図５（Ａ）におけるマーカ入力ベクトル５０１を［Ｍ_c］とすると、このマーカ入力ベクトル５０１は、仮想視点の位置３０１を原点とするカメラ座標を用いて［Ｍ_c］＝（ａ，ｂ，ｆ）と表現されうる。ここで、「ｆ」は仮想視点の焦点距離であり、図５（Ｂ）において、仮想カメラの光軸と仮想視点の焦点面との交点は（０，０，ｆ）であり、マーカ入力ベクトル［Ｍ_c］＝（ａ，ｂ，ｆ）は、その交点からｘ方向にａ、ｙ方向にｂだけ移動した点を指す。マーカ入力ベクトルに関して、カメラ座標では［Ｍ_c］で表現し、世界座標では、［Ｍ_w］＝（ｍ_x，ｍ_y，ｍ_z）で表現する。世界座標は、仮想空間における座標である。世界座標におけるマーカ入力ベクトル５０２（［Ｍ_w］）は、仮想カメラの姿勢を示す回転行列から得られるクォータニオンＱｔを用いて、［Ｍ_w］＝Ｑｔ・［Ｍ_c］により算出される。なお、仮想カメラのクォータニオンは、一般的な技術用語であるため、ここでは詳細に説明しない。

本実施形態では、二次元の仮想視点画像に対するマーカ入力を、三次元データのマーカオブジェクトへ変換するために、図５（Ｃ）及び図５（Ｄ）に示すような注目面５１０を使用する。なお、図５（Ｃ）は、注目面５１０の全体を俯瞰する図であり、図５（Ｄ）は、注目面５１０に平行な方向から見た場合の図である。すなわち、図５（Ｃ）と図５（Ｄ）は、同じ被写体をそれぞれ異なる方向から見た状態を示している。注目面５１０は、例えば、フィールド３９１（Ｚ＝０）に平行な面であって、視聴者が注目しやすい高さにある（例えばＺ＝１．５ｍ等の）平面である。注目面５１０は、ｚ＝ｚ_fix等の式によって表現されうる。

マーカオブジェクトは、注目面５１０に接する三次元データとして生成される。例えば、マーカ入力ベクトル５０２と注目面５１０の交点５０３が、マーカ入力ベクトル５０２に対応するマーカ上の一点に対応するマーカオブジェクトとして生成される。すなわち、仮想視点とマーカ上の点とを通る直線と、注目面５１０として用意される所定の面との交点が、そのマーカ上の点に対応するマーカオブジェクト内の点となるように、マーカからマーカオブジェクトへの変換が行われる。なお、マーカ入力ベクトル５０２（［Ｍ_w］＝（ｍ_x，ｍ_y，ｍ_z））と、平面５１０（ｚ＝ｚ_fix）との交点は、一般的な数学的解法によって算出可能であるため、ここでの詳細な説明については省略する。ここでは、この交点が、交点座標Ａ_w＝（ａ_x，ａ_y，ａ_z））として取得されたものとする。このような交点座標が、マーカ入力として得られた連続する点のそれぞれについて算出され、それらが連ねられた三次元データがマーカオブジェクト５２０となる。すなわち、マーカが連続した直線や曲線で入力された場合、その連続した直線や曲線に対応する注目面５１０上の直線又は曲線として、マーカオブジェクト５２０が生成される。これによって、マーカオブジェクト５２０が、視聴者が注目しやすい注目面に接する三次元オブジェクトとして生成される。注目面は、視聴者が注目するオブジェクトの高さなどに基づいて、例えばボールが主として存在する高さや選手の中心部分の高さに基づいて、設定されうる。なお、上述のような、ベクトルと注目面との交点を算出することにより、マーカからマーカオブジェクト５２０への変換が行われてもよいし、所定の行列演算などによってマーカからマーカオブジェクトへの変換が行われてもよい。また、仮想視点とマーカが入力された位置とに対応するテーブルに基づいて、マーカオブジェクトが生成されてもよい。なお、いずれの方法が用いられる場合であっても、注目面上にマーカオブジェクトが生成されるように処理が行われうる。

一例において、図５（Ａ）に示したタブレットに二次元の円として入力されたマーカに対して上述の変換が行われることにより、図５（Ｅ）に示す三次元のドーナツ型のマーカオブジェクト５２０が生成される。マーカオブジェクトは連続点から作成されるが、図５（Ｅ）に示すように、所定の高さを付与した三次元データとして生成される。

なお、図５（Ａ）～図５（Ｅ）を用いて説明した例では、注目面５１０が、フィールドであるＸＹ平面に平行な面である場合について説明したが、これに限られない。例えば、被写体がボルダリングなど垂直方向に行われるスポーツの場合には、注目面が、ＸＺ平面やＹＺ平面に平行となる面として設定されてもよい。すなわち、注目面として、三次元空間上で定義可能な任意の平面を使用することができる。なお、注目面は、平面に限定されず、曲面であってもよい。すなわち、曲面であっても、マーカ入力ベクトルとその曲面との交点が一意に算出可能である限りにおいてその形状は特に限定されない。

（処理の流れ）
図６を用いて、画像処理装置１０４によって実行される処理の流れの例について説明する。本処理は、Ｓ６０２～Ｓ６１１の処理を繰り返すループ処理（Ｓ６０１、Ｓ６１２）によって構成され、このループは、所定のフレームレートで実行される。例えば、フレームレートが６０ＦＰＳの場合、約１６．６［ｍｓ］の間隔で、１ループ（１フレーム）の処理が実行される。この結果、後述のＳ６１１において、そのフレームレートで仮想視点画像を出力することになる。フレームレートは、画像処理装置１０４の画面表示における更新レートに同期するように設定されうるが、多視点画像を撮像した撮像装置のフレームレートや、データベース１０３に格納される三次元モデルのフレームレートに合わせて設定されてもよい。なお、以下の説明では、ループの処理が実行されるごとに、タイムコードが１フレーム分だけカウントアップされるものとするが、タイムコードのカウントアップの間隔はユーザ操作等に応じて変更されてもよい。例えば、１／２の再生速度が指定された場合、２回のループ処理に対して１回のタイムコードのフレームのカウントアップが行われうる。また、例えば、一時停止が指定された場合は、タイムコードのカウントアップが停止されうる。

ループ処理において、画像処理装置１０４は、処理対象のタイムコードを更新する（Ｓ６０２）。ここでのタイムコードは、上述のように、日：時：分：秒．フレームの形式で表現され、フレーム単位でカウントアップ等の更新が行われる。そして、画像処理装置１０４は、受け付けたユーザ操作が、仮想視点操作であるかマーカ入力操作であるかを判定する（Ｓ６０３）。なお、操作の種類はこれらに限定されない。例えば、画像処理装置１０４は、タイムコードに対する操作を受け付けた場合には処理をＳ６０２に戻し、タイムコードを更新しうる。また、画像処理装置１０４は、ユーザ操作を受け付けなかった場合には、直前の仮想視点画像の生成処理の際の仮想視点の指定操作があったものとして、処理を進めうる。また、画像処理装置１０４は、さらに他の操作が受け付けられたことを判定してもよい。

画像処理装置１０４は、Ｓ６０３で仮想視点操作を受け付けたと判定した場合、仮想視点に対する二次元の操作座標を取得する（Ｓ６０４）。ここでの二次元の操作座標は、例えば、タッチパネルに対するタップ操作が受け付けられた位置を示す座標等である。そして、画像処理装置１０４は、Ｓ６０４で取得した操作座標に基づいて、三次元の仮想空間上で仮想視点の移動と回転との少なくともいずれかを行う（Ｓ６０５）。仮想視点の移動・回転については、図３（Ｄ）に関して説明したため、ここでは繰り返さない。また、タッチパネルにおけるタッチ操作により得られる二次元座標から、仮想視点の三次元空間上の移動および回転の量を決定する処理は周知技術を用いて実行可能であるため、ここでは詳細に説明しない。Ｓ６０４およびＳ６０５の処理の後又はその処理と並行して、画像処理装置１０４は、移動・回転後の仮想視点により定まる視野の範囲内に、マーカオブジェクトが存在するか否かを判定する（Ｓ６０６）。そして、画像処理装置１０４は、移動・回転後の仮想視点により定まる視野の範囲内にマーカオブジェクトが存在する場合（Ｓ６０６でＹＥＳ）、そのマーカオブジェクトを読み出して、三次元の仮想空間へ配置する（Ｓ６０７）。画像処理装置１０４は、マーカオブジェクトを配置すると、そのマーカオブジェクトを含んだ仮想視点画像を生成して出力する（Ｓ６１１）。すなわち、画像処理装置１０４は、仮想視点に応じて、Ｓ６０２で更新したタイムコードに対応する被写体の三次元モデルと、仮想空間に配置されたマーカオブジェクトを用いて、仮想視点画像を生成する。なお、画像処理装置１０４は、移動・回転後の仮想視点により定まる視野の範囲内にマーカオブジェクトが存在しない場合（Ｓ６０６でＮＯ）、マーカオブジェクトの配置を行わずに仮想視点画像を生成して出力する（Ｓ６１１）。

画像処理装置１０４は、Ｓ６０３でマーカ入力操作を受け付けたと判定した場合、仮想視点画像におけるマーカ操作の二次元座標を取得する（Ｓ６０８）。すなわち、画像処理装置１０４は、図４（Ａ）に関して説明したように、仮想視点操作領域４０２に対するマーカ操作入力の二次元座標を取得する。そして、画像処理装置１０４は、Ｓ６０８で取得したマーカ入力の二次元座標を、仮想空間上の注目面における三次元データであるマーカオブジェクトへ変換する（Ｓ６０９）。マーカ入力からマーカオブジェクトへの変換方法は、図５（Ａ）～図５（Ｅ）で説明したため、ここでは説明を繰り返さない。画像処理装置１０４は、Ｓ６０９でマーカオブジェクトを取得すると、そのマーカオブジェクトをタイムコードと合わせて保持する（Ｓ６１０）。そして、画像処理装置１０４は、仮想視点に応じて、Ｓ６０２で更新したタイムコードに対応する被写体の三次元モデルと、仮想空間に配置されたマーカオブジェクトを用いて、仮想視点画像を生成する（Ｓ６１１）。

以上のような処理によれば、二次元の仮想視点画像に対して入力されたマーカを、仮想空間内の注目面を用いて三次元データへ変換することができ、被写体の三次元モデルとマーカオブジェクトとを、同じ仮想空間内に配置することができる。このため、仮想視点がいずれの位置・姿勢にあっても、被写体とマーカとの位置関係が維持された仮想視点画像を生成することが可能となる。

（画面表示の例）
図７（Ａ）～図７（Ｄ）を用いて、上述のような処理を実行した場合と実行しなかった場合の画面表示の例について説明する。図７（Ａ）は、マーカが入力される前の仮想視点画像を画像処理装置１０４が表示した状態を示している。この状態では、例えばタッチ操作７０１によって、ユーザは、仮想視点を任意に移動・回転させることができる。ここで、一例として、ユーザ操作によってタイムコードが一時停止され、その状態でマーカ入力が受け付けられうる。なお、マーカ入力は、一定期間の仮想視点画像に対応してもよく、例えば操作が受け付けられているフレームから所定フレーム数にわたってマーカ入力が維持されてもよい。また、例えばユーザからのマーカの消去の明示的な指示があるまで入力されたマーカが維持されてもよい。図７（Ｂ）は、ユーザによるマーカ操作の受け付け中の状態を示している。ここでは、ペンシルによって２つのマーカ入力（円７１１および曲線７１２）が受け付けられた例を示している。このようなマーカ入力が受け付けられると、画像処理装置１０４は、それらのマーカ入力を、注目面上の三次元モデルのマーカオブジェクトへ変換し、そのマーカオブジェクトを、仮想視点画像と合わせて描画する。なお、仮想視点に変更がない状態では、ユーザによるマーカ入力が行われた場合と同様の表示がなされ、ユーザからは単にマーカが入力された状態と認識されうる。なお、マーカオブジェクトへの変換処理を実行中の間は、受け付けられた二次元のマーカ入力がそのまま表示され、マーカオブジェクトへの変換処理が完了したことに応じて、三次元のマーカオブジェクトに基づく再描画が行われるようにしてもよい。

図７（Ｃ）は、入力されたマーカが三次元のマーカオブジェクトに変換されて描画された後に、ユーザのタッチ操作７２１によって、仮想視点の移動・回転を行った場合の例を示している。本実施形態の手法によれば、仮想空間内において、マーカが付された着目すべき被写体の三次元位置の付近に三次元のマーカオブジェクトが配置されるため、仮想視点の移動・回転を行った後にも、マーカが着目すべき被写体の付近に表示される。また、マーカが三次元のマーカオブジェクトに変換されて、仮想視点画像に描画されるため、仮想視点の移動・回転に応じて位置及び向きが変化して観測されることとなる。このように、本実施形態の手法によれば、仮想視点の移動・回転後も、マーカの入力内容と仮想視点画像の内容との整合性を確保し続けることができる。一方、本実施形態の手法が適用されない場合、仮想視点の移動・回転が行われた後に、マーカが入力された位置にそのまま表示され、仮想視点画像の内容のみが変化するため、マーカの入力内容と仮想視点画像の内容とが整合しなくなる。

このように、本実施形態によれば、仮想視点画像に対して入力されたマーカが、被写体の三次元モデルが配置される仮想空間において視聴者が注目しやすい面にマーカオブジェクトとして生成される。そして、このマーカオブジェクトを被写体の三次元モデルと共に仮想視点画像として描画する。これにより被写体とマーカとの位置関係を維持し、仮想視点を任意の位置・姿勢へ動作させた際にマーカが被写体からずれることによる違和感を解消または低減することができる。

（マーカオブジェクトの共有）
なお、上述の手法によって生成されたマーカオブジェクトは、他のデバイスとの間で共有することができる。図８に、そのような共有を行うシステムの構成例を示している。図８において、仮想視点画像生成システム１００は、図１（Ａ）に関して説明した機能の少なくとも一部を実行可能に構成され、被写体の撮影から、多視点画像や三次元モデルの生成を行う。管理サーバ８０１は、被写体の三次元モデルや、後述の共有されたマーカオブジェクトを、タイムコードごとに管理して記憶する記憶装置であり、また、マーカオブジェクトをタイムコードごとに配信する配信装置でもありうる。画像処理装置８１１～画像処理装置８１３は、それぞれ、例えば画像処理装置１０４と同様の機能を有し、管理サーバ８０１から三次元モデルを取得して仮想視点画像を生成して表示する。また、画像処理装置８１１～画像処理装置８１３のそれぞれは、ユーザからマーカの入力を受け付けてマーカオブジェクトを生成し、生成したマーカオブジェクトを管理サーバ８０１へアップロードして記憶させうる。第１の画像処理装置は、第２の画像処理装置によってアップロードされたマーカオブジェクトをダウンロードすることにより、第２の画像処理装置のユーザが入力したマーカと被写体の三次元モデルとを合わせた仮想視点画像を生成することができる。

（マーカオブジェクトのデータ構成）
画像処理装置１０４は、マーカ管理部２０５によって、一例において図９（Ａ）～図９（Ｃ）の構成でマーカオブジェクトを保持する。そして、画像処理装置１０４は、例えば、そのマーカオブジェクトのデータを同じデータ構成のまま管理サーバ８０１へアップロードしうる。また、画像処理装置１０４は、管理サーバ８０１から、同じデータ構成のマーカオブジェクトのデータをダウンロードする。なお、図９（Ａ）～図９（Ｃ）のデータ構成は一例であり、マーカオブジェクトの仮想空間内での位置及び形状を特定可能な任意の形式のデータが用いられうる。また、管理サーバ８０１と画像処理装置１０４との間で、異なるデータ形式が用いられ、所定のルールに従ってマーカオブジェクトのデータが必要に応じて再生されるようにしてもよい。

図９（Ａ）は、マーカオブジェクトのデータ９００の構成例を示す。データセットの先頭にあるヘッダ９０１には、オブジェクトの種類が保存される。ヘッダ９０１には、例えば、このデータセットが「マーカ」のデータセットであることを示す情報が格納される。なお、データセットの種類は、「前景」や「背景」等が指定されてもよい。また、マーカオブジェクトのデータ９００には、フレーム数９０２、１つ以上のフレーム（タイムコード）のそれぞれに対応する１つ以上のデータ９０３が含まれる。

フレーム（タイムコード）ごとのデータ９０３は、例えば、図９（Ｂ）に示すような構成を有する。データ９０３は、例えば、タイムコード９１１およびデータサイズ９１２を含む。なお、データサイズ９１２は、このフレーム（タイムコード）のデータと次のフレームのデータとの境界を特定可能とするものであり、複数のフレームのそれぞれに関するデータサイズがデータ９０３の外部に用意されてもよい。この場合、例えば、ヘッダ９０１とフレーム数９０２との間、フレーム数９０２とデータ９０３との間、データ９０３の後などに、データサイズの情報が格納されうる。データ９０３は、さらに、マーカオブジェクト数９１３を含む。マーカオブジェクト数９１３は、そのタイムコードに含まれるマーカの数を示す。例えば、図７（Ｂ）の例では、円７１１と曲線７１２の２つのマーカが入力されている。このため、この場合には、マーカオブジェクト数９１３により、２つのマーカオブジェクトが存在することが示される。そして、データ９０３は、そのマーカオブジェクト数９１３で示される個数のマーカオブジェクトのデータ９１４を含む。

マーカオブジェクトごとのデータ９１４は、例えば、図９（Ｃ）のような構成を有する。マーカオブジェクトごとのデータ９１４は、データサイズ９２１およびデータ種別９２２を含む。データサイズ９２１は、１つ以上のデータ９１４のそれぞれのデータのサイズを示し、マーカオブジェクトごとのデータの境界を特定可能とするために用いられる。データ種別９２２は、三次元モデルの形状の種類を示す。データ種別９２２は、例えば、「点群」や「メッシュ」などの情報を指定する。なお、三次元モデルの形状はこれらに限定されない。一例として、データ種別９２２に「点群」を示す情報が格納される場合、データ９１４は、その後に、点群の数９２２、及び、全点群の座標９２４とテクスチャ９３４との１つ以上の組み合わせを含む。なお、１つ以上のデータ９１４のそれぞれにおいて、マーカオブジェクトの三次元データの他に、全点群座標の中心座標や、三次元の各軸における最小・最大値などを格納してもよい（不図示）。また、１つ以上のデータ９１４のそれぞれにおいて、さらなる他のデータが格納されてもよい。なお、マーカオブジェクトのデータは、フレーム単位で用意されなくてもよく、例えば、シーングラフの様な形式でアニメーションとして構成されてもよい。

図９（Ａ）～図９（Ｃ）のようなデータを用いることによって、例えば、スポーツの一試合における異なるタイムコードにおける複数のマーカオブジェクトを管理することができる。また、１つのタイムコードに対して複数のマーカを管理することもできる。

続いて、管理サーバ８０１によるマーカオブジェクトの管理について説明する。図９（Ｄ）は、マーカオブジェクトを管理するテーブルの構成例を示している。テーブルの横軸にはタイムコードが並べられており、縦軸には、各タイムコードに対応するマーカオブジェクトを示す情報が格納される。例えば、「１ｓｔ ｏｂｊｅｃｔ」に対応する行のセルには、複数のタイムコード（フレーム）のデータ９０３のそれぞれにおいて示される「１ｓｔ ｏｂｊｅｃｔ」のデータが格納される。例えば、１つのセルには図９（Ｃ）に示されるデータが格納される。図９（Ｄ）のようなデータベースのテーブル構成を使用することにより、管理サーバ８０１は、マーカオブジェクトが指定された場合に、そのマーカオブジェクトに関する全タイムコードのデータを取得することができる。また、管理サーバ８０１は、タイムコードの範囲が指定された場合に、そのタイムコードに含まれる全マーカオブジェクトのデータを取得することができる。なお、これらは一例であり、マーカオブジェクトを管理及び共有することが可能な限りにおいて、上述のようなデータ構成や管理方法が用いられなくてもよい。

（マーカオブジェクトの共有および表示）
図１０（Ａ）～図１０（Ｃ）を用いて、マーカオブジェクトの共有、及び、表示の例について説明する。ここでは、図８に示した画像処理装置８１１～画像処理装置８１３の間でマーカオブジェクトが共有される場合について説明する。なお、ここでは、図１０（Ａ）が画像処理装置８１１に表示される操作画面を示し、図１０（Ｂ）が画像処理装置８１２に表示される操作画面を示し、図１０（Ｃ）が画像処理装置８１３に表示される操作画面を示すものとする。一例として、図１０（Ａ）に示すように、画像処理装置８１１において、あるタイムコードの仮想視点画像に対して円１００１の形状のマーカが受け付けられたものとする。画像処理装置８１１は、例えば、ユーザによるマーカの共有指示（不図示）を受け付けたことに基づいて、入力されたマーカから上述のようにして変換されたマーカオブジェクトのデータを、管理サーバ８０１へ送信する。また、図１０（Ｂ）に示すように、画像処理装置８１２において、図１０（Ａ）と同じタイムコードの仮想視点画像に対して曲線１００２の形状のマーカが受け付けられたものとする。画像処理装置８１２は、ユーザによるマーカの共有指示（不図示）を受け付けたことに基づいて、入力されたマーカから上述のようにして変換されたマーカオブジェクトを管理サーバ８０１へ送信する。なお、マーカオブジェクトはタイムコードと関連付けられて、管理サーバ８０１に記憶させるために送信される。画像処理装置８１１～画像処理装置８１３は、このために、タイムコードとマーカオブジェクトとを関連付けて管理サーバ８０１に記憶させるための記憶制御機能を有する。

この状態で、画像処理装置８１３において、マーカの更新指示（不図示）を受け付けたものとする。この場合、画像処理装置８１３は、管理サーバ８０１から、画像処理装置８１１および画像処理装置８１２が図１０（Ａ）及び図１０（Ｂ）のようにマーカを入力したタイムコードに関して、そのマーカに対応するマーカオブジェクトを取得する。そして、画像処理装置８１３は、図１０（Ｃ）に示すように、そのタイムコードの被写体の三次元モデルと取得したマーカオブジェクトとを用いて仮想視点画像を生成する。なお、ここで取得されるマーカオブジェクトは、上述のように被写体の三次元モデルと同じ仮想空間に配置される三次元データである。このため、共有先の画像処理装置８１３においても、共有元の画像処理装置８１１および画像処理装置８１２における入力時の位置関係と同じ位置関係で被写体の三次元モデルとマーカオブジェクトが配置される。このため、画像処理装置８１３において、仮想視点の位置及び視線の方向を任意に操作した場合であっても、それらの位置関係が維持されたまま仮想視点画像が生成される。

なお、例えば画像処理装置８１１がマーカの更新指示を受け付けた場合、画像処理装置８１１は、画像処理装置８１２において入力されたマーカ（曲線１００２）のマーカオブジェクトの情報を取得しうる。そして、画像処理装置８１１は、自装置で入力されたマーカ（円１００１）のマーカオブジェクトと被写体の三次元モデルに加え、取得したマーカオブジェクトを含めて仮想視点画像を描画しうる。

なお、例えば、画像処理装置８１３においてマーカの更新指示を受け付けた場合に、管理サーバ８０１において管理されているマーカオブジェクトをサムネイル等で一覧表示し、ダウンロードするマーカオブジェクトが選択されるようにしてもよい。この場合、管理サーバ８０１において管理されているマーカオブジェクトの数が多い場合には、更新指示を受け付けたタイムコード付近のマーカオブジェクトの優先度を上げて、サムネイル等で一覧表示してもよい。すなわち、画像処理装置８１３においてマーカの更新指示を受け付けた時点で、ユーザの興味はその時点に対応するタイムコードの付近で入力されたマーカの選択が容易になるように、優先的にそのマーカが表示されるようにしうる。また、ダウンロード指示が受け付けられた回数をマーカオブジェクトごとに管理しておき、その回数が多いマーカオブジェクトの優先度を上げてサムネイル等で一覧表示してもよい。なお、表示の優先度が高いほど、リストの先頭に近い位置でサムネイル等が表示されてもよいし、サムネイルの大きさが大きくなるような表示が行われてもよい。

以上のようにして、仮想視点画像に対して入力されたマーカを、被写体とマーカの位置関係を維持したまま、複数のデバイス間で共有することができる。このときに、上述のようにマーカが仮想空間上の三次元のオブジェクトの形式を有するため、共有元の装置と共有先の装置とで仮想視点の位置や視線の方向が異なっていても、被写体とマーカの位置関係を維持したまま仮想視点画像を生成することができる。

（タイムコードに応じたマーカ透過度の制御）
上述のようにして表示されたマーカオブジェクトは、時間が経過して被写体が移動した場合などには、被写体との位置関係がずれてしまう。このような場合に、マーカオブジェクトが表示されたままとすると、ユーザに違和感を与えてしまいうる。これに対して、マーカオブジェクトが入力されたタイムコードから時間が経過するにつれて、マーカオブジェクトの透過度を高くすることによって、元の注目ポイントからの変化の様子をユーザに伝え、かつ、違和感を軽減することができる。上述のように、マーカオブジェクトはタイムコードと関連付けられて保持されている。ここで、図１０（Ｃ）の例において、ユーザが、タイムコードに対する操作７５１を実行したものとする。この場合、画像処理装置８１３は、図１１（Ａ）に示すように、マーカオブジェクトが生成されたタイムコードから離れたタイムコードへ遷移するにつれ、マーカの透過度（α値）を変更しうる。これにより、実際にマーカが入力されたタイミングからずれるほど、マーカが薄く表示されるような描画が行われ、ユーザの違和感を軽減することが可能となる。なお、ユーザがタイムコードを戻した場合には、図１０（Ｃ）のように元の透明度へ戻すような制御が行われてもよい。なお、マーカオブジェクトが生成されたタイムコードより前のタイムコードに対応する仮想視点画像においてもマーカオブジェクトが描画されるようにしてもよい。この場合も、マーカオブジェクトが生成されたタイムコードと、描画する仮想視点画像のタイムコードとの差が大きいほど、透過度を高くするように（薄く表示されるように）制御が行われうる。また、マーカオブジェクトが生成されたタイムコードより前の場合の透過度が、マーカオブジェクトが生成されたタイムコードより後の場合の透過度より高くなるように（表示が薄くなるように）制御が行われてもよい。

なお、上述の例では、タイムコードが遷移するにつれ、透過度が変化する例について説明したが、これに限定されない。例えば、マーカオブジェクトの明度、彩度、及び色度の少なくともいずれかを変化させることにより、マーカがより薄く表示されるように制御してもよい。

（三次元モデルの座標に応じたマーカオブジェクト制御）
なお、上述の実施形態に加えて、又はこれに代えて、画像処理装置は、前景の三次元モデルに対してマーカを付する操作を受け付けてもよい。例えば、図１１（Ｂ）のように、前景（人物）の三次元モデルに対して、マーカ追加指示１１０１が受け付けられる。この場合、画像処理装置は、例えば、図１１（Ｃ）に示すように、その三次元モデルの注目面におけるＸＹ座標を中心とした所定サイズの半径を有する円形のマーカオブジェクト１１０２を生成する。これによれば、図５（Ａ）～図５（Ｅ）を用いて説明したマーカオブジェクトと同様のマーカオブジェクトを生成することができる。なお、前景の三次元モデルに対するマーカオブジェクトの追加指示（マーカ付与）を受け付けた場合に生成されるマーカオブジェクトの形状は円形に限定されない。この場合のマーカオブジェクトの形状は、例えば、矩形等であってもよいし、三次元モデルが注目を集めることができる他の形状であってもよい。

なお、前景の三次元モデルに対して付されたマーカは、その前景の人物やボール等の移動に伴って位置が変更されてもよい。なお、図５（Ａ）～図５（Ｅ）で説明したマーカオブジェクトにおいても、マーカが付された位置又はその周囲の前景の三次元モデルとそのマーカオブジェクトとを関連付け、その前景の三次元モデルの位置に応じて、マーカオブジェクトの位置を変更してもよい。すなわち、マーカを付す手法によらずに、タイムコードごとの前景の三次元モデルの座標が取得され、タイムコードごとにマーカオブジェクトの座標が変更されるようにしてもよい。これによって、タイムコードの経過に応じてその前景の人物等が移動した場合に、マーカオブジェクトをその三次元モデルに追随して移動させることができる。また、例えば、ユーザ操作によって、タイムコードの変化に応じてマーカオブジェクトの位置が変更されてもよい。この場合、ユーザ操作に応じて、タイムコードごとにマーカオブジェクトの位置を特定して、その位置が記憶・管理されうる。

なお、上述の実施形態は、複数の撮像装置によって撮像された多視点画像に基づく仮想視点画像に対してマーカが付された場合の処理について説明したが、これに限られない。すなわち、例えば全てが人工的にコンピュータ上で作成された三次元の仮想空間に基づいて生成された仮想視点画像に対してマーカが付された場合にも、そのマーカをその仮想空間内の三次元のオブジェクトに変換してもよい。また、上述の実施形態では、マーカが付された仮想視点画像に対応するタイムコードと関連付けられたマーカオブジェクトが生成および記憶される例を説明したが、タイムコードがマーカオブジェクトに関連付けられなくてもよい。例えば、仮想視点画像が静止画像である場合や、会議等において一時的にマーカを付すだけの用途で用いられる場合は、タイムコードとは関係なく、例えばユーザの操作によってマーカオブジェクトが表示され又は消去されるようにしてもよい。また、例えば会議システムなどにおいて用いられる画像処理装置の少なくとも一部は、仮想視点を指定する能力を有しなくてもよい。すなわち、仮想視点画像にマーカが付された後に、会議を進行する役割の人物などの特定のユーザにおいてのみ仮想視点が指定可能であればよく、他のユーザが有する画像処理装置は、仮想視点の操作を受け付けなくてもよい。この場合も、特定のユーザによって指定された仮想視点に応じて、マーカオブジェクトが描画されるため、マーカと仮想視点画像の被写体との関係が一致しなくなることを防ぐことができる。

［その他の実施形態］
上述の実施形態では、仮想視点画像に表示させる付加情報として、マーカオブジェクトを表示させる例について説明した。しかしながら、仮想視点画像に表示される付加情報はこれに限定されない。例えば、ユーザにより指定されたマーカ、アイコン、アバター、イラスト等のうち少なくともいずれかの付加情報が仮想視点画像に表示されるように構成されてもよい。また、事前にこれらの付加情報が複数用意され、ユーザにより任意のものが選択されて、仮想視点画像上に配置されるように構成されてもよい。また、ユーザがタッチパネルディスプレイにおいてアイコン等をドラッグして任意の位置に配置することを可能とするように構成されてもよい。配置されたアイコン等の付加情報は、上述の実施形態と同様の方法により３次元データに変換される。なお、この方法に限られず、あらかじめ２次元データの付加情報と３次元データの付加情報とが対応付けられ、２次元データの付加情報が配置されたタイミングで、対応する３次元データの付加情報に置換されるように構成されてもよい。このように、本実施形態は、種々の付加情報を仮想視点画像に表示させる場合に適用可能である。

また、上述した実施形態では、付加情報（マーカオブジェクト）が３次元データに変換されると説明したが、このときの３次元データは必ずしも３次元形状を表すデータでなくてもよい。すなわち、３次元データは少なくとも仮想空間における３次元位置を有するデータであり、付加情報の形状は平面、線、または点であってもよい。

また、上述した実施形態において説明した機能のすべてを有していなくてもよく、任意の機能を組み合わせて実施することが可能である。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本開示は上記実施形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１０４：画像処理装置、２０１：仮想視点制御部、２０２：モデル生成部、２０３：画像生成部、２０４：マーカ制御部、２０５：マーカ管理部

Claims (18)

1. 仮想視点および三次元の仮想空間に基づく仮想視点画像が表示された画面において付加情報の入力を取得する取得手段と、
   取得された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、
   前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、
   を有し、
   前記付加情報が入力された際の前記仮想視点画像に対応するタイムコードと、前記オブジェクトとが関連付けられ、
   前記表示制御手段は、前記オブジェクトが関連付けられたタイムコードに対応する前記仮想視点画像が表示される場合に、前記オブジェクトが配置された前記仮想空間に基づいて前記仮想視点画像を表示させる、ことを特徴とする画像処理装置。
2. 前記変換手段は、前記仮想空間における所定の面に前記オブジェクトが生成されるように前記変換を行う、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、前記付加情報が入力された際に前記画面に表示されていた前記仮想視点画像に対応する仮想視点と前記画面に対応する前記仮想空間内の面において当該付加情報が入力された点とを通る直線の前記所定の面に対する交点に、当該付加情報が入力された点に対応する前記オブジェクトの点が生成されるように、前記変換を行う、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記変換手段によって変換された前記オブジェクトが前記仮想視点に基づく視野の範囲内に存在しない場合は当該オブジェクトを含まない前記仮想視点画像を表示させ、前記変換手段によって変換された前記オブジェクトが前記範囲内に存在する場合は当該オブジェクトを含んだ前記仮想視点画像を表示させる、ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記タイムコードと前記オブジェクトとを関連付けて記憶手段に記憶させる記憶制御手段をさらに有する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記表示制御手段は、他の画像処理装置により入力された他の付加情報に基づく他のオブジェクトが三次元位置に配置された前記仮想空間に基づいて前記仮想視点画像を表示させる、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、ユーザにより指定された前記仮想視点を表す情報を取得する、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記仮想視点を表す情報は、仮想視点の位置及び仮想視点からの視線方向を表す情報を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、ユーザにより第１の操作が行われた場合、に当該第１の操作に対応する前記付加情報の入力を取得し、ユーザにより前記第１の操作と異なる第２の操作が行われた場合、当該第２の操作に応じて指定された前記仮想視点を表す情報を取得する、ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記第１の操作および前記第２の操作はタッチパネルへの操作であり、前記第１の操作は、前記タッチパネルへのユーザの指による操作であり、前記第２の操作は、描画用デバイスによる操作である、ことを特徴とする請求項９に記載の画像処理装置。
11. 前記表示制御手段は、前記付加情報が入力された前記仮想視点画像に対応するタイムコードと、表示される前記仮想視点画像のタイムコードとの差が大きいほど前記オブジェクトが薄く表示されるように制御する、ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記オブジェクトの透過度、明度、彩度、及び、色度の少なくともいずれかを変化させることにより、前記オブジェクトが薄く表示されるように制御することを特徴とする請求項１１に記載の画像処理装置。
13. 前記仮想視点画像において前記付加情報が付された位置に対応する特定のオブジェクトの三次元モデルを特定する特定手段をさらに有し、
    前記表示制御手段は、前記仮想空間における前記特定のオブジェクトの三次元モデルに対応する三次元位置に、前記付加情報に対応する前記オブジェクトが配置された前記仮想視点画像を表示させる、
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記付加情報は、マーカ、アイコン、アバター、及び、イラストのうち少なくともいずれかを含むことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記仮想視点画像は、複数の撮像装置が撮像することにより取得された多視点画像に基づいて生成される、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 仮想視点および三次元の仮想空間に基づく仮想視点画像が表示された画面において付加情報の入力を取得する取得手段と、
    取得された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換する変換手段と、
    前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させる表示制御手段と、
    を有し、
    前記付加情報が入力された際の前記仮想視点画像に対応するタイムコードと、前記オブジェクトとが関連付けられ、
    前記表示制御手段は、前記付加情報が入力された前記仮想視点画像に対応するタイムコードと、表示される前記仮想視点画像のタイムコードとの差が大きいほど前記オブジェクトが薄く表示されるように制御する、
    ことを特徴とする画像処理装置。
17. 画像処理装置によって実行される画像処理方法であって、
    仮想視点および三次元の仮想空間に基づく仮想視点画像が表示された画面において付加情報の入力を取得することと、
    取得された前記付加情報を前記仮想空間における三次元位置に配置されるオブジェクトに変換することと、
    前記オブジェクトが前記三次元位置に配置された前記仮想空間に基づく前記仮想視点画像を表示手段に表示させることと、
    を含み、
    前記付加情報が入力された際の前記仮想視点画像に対応するタイムコードと、前記オブジェクトとが関連付けられ、
    前記オブジェクトが関連付けられたタイムコードに対応する前記仮想視点画像が表示される場合に、前記オブジェクトが配置された前記仮想空間に基づいて前記仮想視点画像を前記表示手段に表示させる、ことを特徴とする画像処理方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images