JP7190849B2 - 画像生成装置、画像生成装置の制御方法及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成装置の制御方法及びプログラムに関し、特に、複数のカメラから取得した撮影画像を用いて仮想視点画像を生成する技術に関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該同期撮影により得られた多視点画像を用いて仮想視点画像を生成する技術が注目されている。多視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像生成装置に集約し、当該画像生成装置により、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に画像を送付することで実現できる。

画像生成装置で実施される三次元モデルの生成方法として、Ｖｉｓｕａｌ Ｈｕｌｌと呼ばれる形状推定方法が知られている。Ｖｉｓｕａｌ Ｈｕｌｌ等によって生成された三次元モデルは、モデルを形成する空間上の点やボクセルによって表現される。これらの点やボクセルに色情報を持たせるため、複数のカメラによる撮影画像を使用して、点やボクセル毎の色付け処理を行う。

特許文献１は、仮想視点情報と複数のカメラの視点情報との位置関係に基づいて、仮想視点画像を生成する際に使用するカメラを選択することを開示している。

ここで、三次元モデルの構成要素である点やボクセルに仮想視点の位置情報を利用して色付けを行う場合、カメラが離散的に配置されている関係上、仮想視点の位置に応じて、複数の撮影画像を選択した上で、それぞれの撮影画像の色を混合して着色する混色処理を行うことが考えられる。

特開２０１１－２２８８４５号公報

しかしながら、仮想視点画像の生成において複数の撮影画像を用いた混色処理を常に行うと、仮想視点の位置などによってはコントラストの低下や解像感の低下が生じ、高品質な仮想視点画像を生成できない場合がある。

本発明は、上記の課題に鑑みてなされたものであり、高品質な仮想視点画像を生成するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像生成装置は、
複数のカメラにより撮影された画像に基づいて生成されたオブジェクトの三次元モデルを用いて仮想視点に応じた仮想視点画像を生成する画像生成装置であって、
前記仮想視点の情報を取得する取得手段と、
前記取得手段により取得された前記仮想視点の情報に基づいて、前記三次元モデルの構成要素の色付け方式を決定する決定手段と、
前記決定手段により決定された色付け方式で前記構成要素への色付け処理を実施する処理手段と、
前記処理手段による色付け処理が行われた前記三次元モデルに基づいて前記仮想視点に応じた仮想視点画像を生成する生成手段と、
を備え、
前記仮想視点の情報は、前記仮想視点の位置情報及び速度情報を含み、
前記決定手段は、前記複数のカメラの画像による混色を行う領域を示す複数のマップ情報を取得し、前記仮想視点の速度情報に基づいて、前記複数のマップ情報の中からマップ情報を選択し、前記仮想視点の位置情報と、前記選択されたマップ情報とに基づいて、前記色付け方式を決定し、
前記複数のマップ情報は、前記混色を行う領域が相対的に広い第１のマップ情報と、前記混色を行う領域が相対的に狭い第２のマップ情報とを含み、
前記決定手段は、前記仮想視点の速度が閾値以上である場合、前記第１のマップ情報を選択し、前記仮想視点の速度が閾値未満である場合、前記第２のマップ情報を選択することを特徴とする。

本発明によれば、高品質な仮想視点画像を生成することができる。

実施形態１に係る画像生成システムの構成例を示す図。 （ａ）実施形態１に係る画像生成装置の機能構成例を示す図、（ｂ）実施形態１に係る画像生成装置のハードウェア構成例を示す図。 実施形態１に係る画像生成装置が実施する全体処理の手順を示すフローチャート。 実施形態１に係る色付け処理の内容を説明するための模式図。 実施形態１に係る色付け処理の内容を説明するための模式図。 実施形態１に係る色付け方式の決定処理の手順を示すフローチャート。 実施形態２に係る色付け処理の内容を説明するための模式図。 実施形態２に係る色付け方式の決定処理の手順を示すフローチャート。 実施形態３に係る画像生成装置の機能構成例を示す図。 実施形態３に係る色付け処理の内容を説明するための模式図。 実施形態３に係る色付け方式の決定処理の手順を示すフローチャート。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
＜画像生成システムの構成＞
図１を参照して、本実施形態に係る画像生成システムの構成例を説明する本実施形態に係る画像生成システムは、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し、撮影及び集音を行うシステムである。画像生成システム１００は、撮影装置１０１、スイッチングハブ１２１、画像生成装置１２２、コントローラ１２３、エンドユーザ端末１２６、及びタイムサーバ１２７を有する。撮影装置１０１は、センサシステム１１０ａ―センサシステム１１０ｚの複数のセンサシステムの集合である。

コントローラ１２３は、制御ステーション１２４と仮想カメラ操作ＵＩ１２５とを備えている。制御ステーション１２４は、画像生成システム１００を構成する各構成要素に対して、ネットワーク１８０ａ－１８０ｚ、及び１９０ａ－１９０ｃを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

まず、センサシステム１１０ａ－センサシステム１１０ｚの２６セットの画像及び音声を、それぞれのセンサシステムから画像生成装置１２２へ送信する動作を説明する。本実施形態の画像生成システム１００では、センサシステム１１０ａ－センサシステム１１０ｚが、それぞれスイッチングハブ１２１を介して画像生成装置１２２と接続される。

本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずにセンサシステム１１０と記載する。

各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。

なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像生成システム１００は、静止画及び動画の何れに対しても処理が可能である。また、本実施形態では、画像生成システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声とが含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

前述したように、センサシステム１１０ａ－センサシステム１１０ｚは、それぞれ１台ずつのカメラ１１２ａ－カメラ１１２ｚを有する。即ち、画像生成システム１００は、オブジェクトを複数の方向から撮影するための複数のカメラを有する。

本実施形態における接続形態としては、各センサシステム１１０ａ－１１０ｚがスイッチングハブ１２１に接続されて、スイッチングハブ１２１を経由してセンサシステム１１０間のデータ送受信を行う、スター型のネットワークを構成する。

本実施形態では、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａ又は１台のマイク１１１ａを有していれば良い。また、例えば、センサシステム１１０ａは、１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａとで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａとで構成されてもよい。即ち、画像生成システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０とはＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０aは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０とが一体となって構成されていてもよい。

本実施形態では、センサシステム１１０ｂ－１１０ｚについては、センサシステム１１０ａと同様の構成なので説明を省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、それぞれのセンサシステム１１０が異なる構成であってもよい。マイク１１１ａで集音された音声と、カメラ１１２ａで撮影された画像とは、カメラアダプタ１２０ａを介してスイッチングハブ１２１へ伝送される。

なお、本実施形態では、カメラ１１２と、カメラアダプタ１２０とが分離された構成にしているが、同一筺体で一体化されていてもよい。即ち、カメラアダプタ１２０がカメラ１１２の中に一体化されてもよい。その場合、マイク１１１は、一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

画像生成装置１２２は、センサシステム１１０から取得したデータに基づいて、仮想視点画像を生成する処理を行う。

タイムサーバ１２７は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１２１を介してセンサシステム１１０ａ－センサシステム１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ－カメラアダプタ１２０ｚは、カメラ１１２ａ－カメラ１１２ｚを時刻と同期信号とに基づいてＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ１２７は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像生成システム１００は、同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。

なお、本実施形態では、タイムサーバ１２７が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を、各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

画像生成装置１２２によって生成された仮想視点画像は、エンドユーザ端末１２６へ送信され、エンドユーザ端末１２６を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴を行うことができる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、画像生成装置１２２は、仮想視点画像を、Ｈ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１２６へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１２６へ送信されてもよい。圧縮符号化を行う前者はエンドユーザ端末１２６としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１２６の種別に応じて画像フォーマットが切り替え可能である。

また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

制御ステーション１２４は、仮想視点画像を生成する対象のスタジアム等の三次元モデルを画像生成装置１２２へ送信する。さらに、制御ステーション１２４は、カメラ設置時にキャリブレーションを実施する。具体的には、撮影対象のフィールド上にマーカを設置し、各カメラ１１２の撮影画像により、各カメラの世界座標における位置と向き、および焦点距離を算出する。該算出された各カメラの位置、向き、焦点距離の情報は、画像生成装置１２２へ送信される。送信された三次元モデルおよび各カメラの情報は、画像生成装置１２２が仮想視点画像を生成する際に使用される。

仮想カメラ操作ＵＩ１２５は、ユーザ操作に従って仮想視点の位置等を移動可能なユーザインタフェースであり、ユーザの操作内容（指定された仮想視点の情報）を、画像生成装置１２２へ送信する。画像生成装置１２２は、指定された仮想視点での仮想視点画像を生成し、エンドユーザ端末１２６へ送信する。

＜画像生成装置の機能構成＞
次に、図２（ａ）を参照して、本実施形態に係る画像生成装置１２２の機能構成を説明する。画像生成装置１２２は、撮影画像入力部２０１、通信制御部２０２、三次元モデル生成部２０３、色付け処理部２０４、仮想視点画像生成部２０５、画像出力部２０６、仮想視点受信部２０７、仮想視点情報取得部２０８、色付け方式決定部２０９、切替制御部２１０、及びカメラ情報取得部２１１を備えている。

撮影画像入力部２０１は、図１のスイッチングハブ１２１を介して、図１のセンサシステム１１０から送信される画像及び音声のデータを入力する入力処理部である。撮影画像入力部２０１により入力されたデータは、三次元モデル生成部２０３へ送信される。

通信制御部２０２は、図１の撮影装置１０１と、制御ステーション１２４との通信を制御する処理部である。通信制御部２０２は、制御ステーション１２４からスタジアムの三次元モデルデータ及び各カメラの設置に関する情報などを取得する。

三次元モデル生成部２０３は、撮影画像入力部２０１により入力される撮影画像に基づいて、三次元モデルを生成する。三次元モデルの生成は、例えばVisual Hullなどの形状推定方法により実行される。本発明においては、三次元モデルは複数の点の集合で構成されるものとして以降の説明を行う。ただし、三次元モデルの形式や生成方法はこれに限定されず、例えば三次元モデルが複数のメッシュの集合により構成されてもよい。

色付け処理部２０４は、三次元モデル生成部２０３により生成された三次元モデルに対して、撮影画像を使用して色付け処理を行う処理部である。色付け処理部２０４は、三次元モデルを構成する構成要素である点毎に撮影画像を選択し、撮影画像から適切な画素値を取得して色付けを行う。なお、三次元モデルがメッシュにより構成される場合、色づけ処理部２０４は、三次元モデルの構成要素であるメッシュごとに色づけを行ってもよい。

仮想視点画像生成部２０５は、三次元モデル生成部２０３により生成された三次元モデルの情報を利用して、仮想視点に基づいて仮想視点画像を生成する処理部である。仮想視点画像は、例えば、三次元空間に配置した三次元モデルの情報を、仮想視点へ投影することにより生成する。

画像出力部２０６は、仮想視点画像生成部２０５により生成された仮想視点画像を、映像としてエンドユーザ端末１２６へ出力する処理を行う。エンドユーザ端末１２６に応じた映像フォーマットの変換処理は、画像出力部２０６により実施される。仮想視点受信部２０７は、仮想カメラ操作ＵＩ１２５の操作内容（仮想視点の情報）を受信し、仮想視点情報取得部２０８へ送出する。

仮想視点情報取得部２０８は、仮想視点受信部２０７から取得した仮想視点の情報から、仮想視点の位置情報を取得する。また、仮想視点情報取得部２０８は、過去の仮想視点の情報を記録しており、仮想視点の遷移状態を示す仮想視点の動き情報を併せて取得する。

色付け方式決定部２０９は、仮想視点情報取得部２０８により取得された仮想視点の情報（位置情報、動き情報）と、カメラ情報取得部２１１から取得した、画像を撮影したカメラのカメラ情報とに基づいて、色付方式を決定する。

切替制御部２１０は、色付け方式決定部２０９により決定された色付け方式に基づいて、色付け処理部２０４が実施する色付け処理の色付け方式を切り替える制御を行う。

カメラ情報取得部２１１は、通信制御部２０２を介して、制御ステーション１２４から送出される、撮影に使用したカメラ情報を取得する。ここで、カメラ情報とは、撮影に使用したカメラの台数や配置情報である。

＜画像生成装置のハードウェア構成＞
続いて、図２（ｂ）を参照して、本実施形態に係る画像生成装置１２２のハードウェア構成の一例を説明する。画像生成装置１２２は、ＣＰＵ２００１、ＲＯＭ２００２、ＲＡＭ２００３、記憶装置２００４、バス２００５を備え、入力装置２００６と接続されている。

ＣＰＵ２００１は、本実施形態に係る画像生成装置１２２の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ２００２やＲＡＭ２００３上のプログラムによって指示される。また、ＣＰＵ２００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ２００２は、ＣＰＵ２００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ２００３は、ＣＰＵ２００１が処理するための制御プログラムを格納するとともに、ＣＰＵ２００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ２００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ２００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

記憶装置２００４は、さまざまなデータ等を記憶することができる。記憶装置２００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ２００３上に呼び出される。

バス２００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置２００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。本実施形態では、入力装置２００６は仮想カメラ操作ＵＩ１２５に対応している。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜処理＞
続いて、図３のフローチャートを参照して、実施形態１に係る色付け処理の手順を説明する。ステップＳ３０１において、仮想視点情報取得部２０８は、仮想視点情報を取得する。そして、カメラ情報取得部２１１は、カメラ情報を取得する。ステップＳ３０２において、色付け方式決定部２０９は、仮想視点情報取得部２０８で取得された仮想視点情報とカメラ情報取得部２１１で取得されたカメラ情報とに基づいて仮想視点画像を生成する際の三次元モデルの点への色付け処理の方式を決定する。色付け方式の決定処理の詳細については後述する。

ステップＳ３０３において、切替制御部２１０は、色付け方式決定部２０９により決定された色付け方式へ切り替える処理を行う。ステップＳ３０４において、色付け処理部２０４は、切替制御部２１０により決定された色付け方式に基づいて、点の色付け処理を行う。

ステップＳ３０５において、色付け処理部２０４は、仮想視点画像を生成するのに必要となる全ての三次元モデルの構成点に対して色付け処理が完了したか否かを判定する。全ての点に対して色付け処理が完了した場合、処理を終了する。一方、全ての点に対して色付け処理が完了していない場合、別の点を選択してステップＳ３０４に戻る。

＜色付け処理の内容＞
次に、図４及び図５を参照して、本実施形態に係る色付け方式の決定処理の内容について説明する。本実施形態において、色づけ方式決定部２０９は、単一のカメラにより撮影された画像を用いて三次元モデルの構成点への色づけ処理を行う方式と、複数のカメラにより撮影された複数の画像を用いて三次元モデルの構成点への色づけ処理を行う方式の、何れの色づけ方式を適用するかを決定する。ただし色づけ方式の内容はこれに限定されず、例えば、撮影画像を用いずに予め定められた色を用いて三次元モデルへの色づけを行う方式が含まれていてもよい。

図４は、本実施形態に係る仮想視点画像を生成するためのカメラ配置、オブジェクトの位置、仮想カメラの位置を示す模式図である。図４は、鉛直上方から俯瞰した図を示している。図４において、４０１から４０４は、画像を撮影したカメラであり、一定間隔で配置されている。カメラ４０１からカメラ４０４までの撮影画像を使用してオブジェクト４０５の三次元モデルが生成される。生成された三次元モデルは点で表現される。４０６は、三次元モデルを構成する構成点である。

４０７、４０８は、異なる位置に配置される仮想カメラである。また、４０９は網掛け領域である。網掛け領域４０９は、複数のカメラの画像を用いて色付け処理を行う領域であることを示す。例えば、仮想カメラ４０７の位置から仮想視点画像を生成する場合は、カメラ４０２及びカメラ４０３により撮影された画像を用いて色付け処理を行う。複数のカメラを用いて色付けを行う際には、例えば、それぞれの画像の色を仮想カメラの位置情報に基づいて混色する。

同様に、仮想カメラ４０８の位置から仮想視点画像を生成する場合、カメラ４０３及びカメラ４０４により撮影された画像を用いて色付け処理を行う。しかし、仮想カメラ４０８はカメラ４０４の位置に近いため、混色を行わずにカメラ４０４の画像のみを利用した方が、高品質な仮想視点画像を生成できる可能性がある。

これに対して、図５は、本実施形態に係る仮想視点画像を生成するためのカメラ配置、オブジェクトの位置、仮想カメラの位置を示す別の模式図である。図５は、図４とは異なり、混色を行う網掛け領域５０８の位置が異なっている。図５のマップ情報では、オブジェクトと各カメラとを結ぶ線から所定範囲内の領域が混色を行わない第１領域として規定され、第１領域以外の領域が混色を行う第２領域（網掛け領域５０８）として規定されている。

図５において、５０１から５０４は、画像を撮影したカメラである。５０５はオブジェクトであり、５０６はオブジェクト５０５の三次元モデルを構成する点である。また、５０７は仮想カメラである。５０８は、網掛け領域である。網掛け領域５０８は、混色して色付けを行う領域である。混色して色付け処理を行う領域と、単一のカメラの撮影画像を利用して色付け処理を行う領域とを事前に分けて設定を行っておき、マップ情報として保持しておく。そして、マップ情報を用いて、仮想カメラの位置に応じて色付け方式を切り替える。仮想カメラ５０７は、網掛け領域５０８外に存在するため、単一のカメラ５０４の画像を利用して色付け処理を行う。この処理により、混色による色の変化を避け、より忠実な、色の解像感の高い仮想視点画像を生成することが可能となる。

＜色付け方式の決定処理＞
続いて、図５の模式図及び図６のフローチャートを参照して、ステップＳ３０２の色付け方式の決定処理の詳細を説明する。ステップＳ６０１において、色付け方式決定部２０９は、混色を行う領域であるか否かを示すマップ情報を取得する。マップ情報は、網掛け領域５０８のような、三次元空間上で混色を行うか否かを示すフラグ情報である。

ステップＳ６０２において、色付け方式決定部２０９は、図３のステップＳ３０１で取得された仮想視点情報と、ステップＳ６０１で取得されたマップ情報とに基づいて、当該仮想視点の位置とマップ情報とを比較する。

ステップＳ６０３において、色付け方式決定部２０９は、ステップＳ６０２の比較結果に基づいて、仮想視点の位置が混色を行う領域内に存在するか否かを判定する。仮想視点が混色を行う領域内に存在する場合、ステップＳ６０４へ進む。一方、仮想視点が混色を行う領域内に存在しない場合、ステップＳ６０５へ進む。

ステップＳ６０４において、色付け方式決定部２０９は、色付け方式を、複数のカメラの画像を用いた混色処理で色付けを行う色付け方式として決定する。ステップＳ６０５において、色付け方式決定部２０９は、色付け方式を、単一のカメラの画像を用いて色付けを行う色付け方式として決定する。即ち、混色を利用しない色付け方式に決定する。

以上説明したように、本実施形態では、仮想視点の位置情報に基づいて、オブジェクトの三次元モデルの各点への色付け方式を切り替える。具体的には、混色を行う領域と、混色を行わない領域とを予め設定しておき、仮想視点の位置がどちらの領域に含まれるかに応じて、混色を行う色付け方式に決定したり、混色を行わない色付け方式に決定したりする。

本実施形態によれば、混色を行わない色付け処理を実施することができるため、不要な混色を低減でき、色の解像感が維持された高品質な仮想視点画像を生成することが可能となる。

なお、本実施形態では、混色を行う領域と、混色を行わない領域と含むマップ情報を予め設定しておき、マップ情報を利用して色付け方式を切り替える例を説明したが、これに限らない。例えば、仮想視点の位置に基づいて、複数のカメラの各々から仮想視点までの距離に応じた重み係数を用いて、混色に利用するカメラの画像の割合を変化させてもよい。この場合は、仮想視点とカメラとが一定以上離れている場合、重み係数を０と設定することにより、そのカメラの画像を利用しない色付け方式を選択することが可能となる。

（実施形態２）
実施形態１では、三次元モデルを構成する点に色付けを行う際、仮想視点情報（仮想視点の位置情報）に基づいて色付け方式を切り替える例を説明した。これに対して、実施形態２では、仮想視点の動き情報、すなわち仮想カメラの動き情報（例えば仮想カメラの速度）に基づいて、混色を行う領域の範囲を変化させる例を説明する。

本実施形態に係る画像生成システム及び画像生成装置の構成、及び全体の処理の流れは実施形態１で図１、図２（ａ）、図２（ｂ）、図３を参照して説明した内容と同様であるため、説明を省略する。

＜色付け方式の決定方法＞
まず図７を参照して、実施形態２に係る色付け方式の決定方法を説明する。図７は、仮想カメラ（仮想視点）の動きに応じて、混色を行う領域の広さを切り替える処理について説明する図である。

図７（ａ）は、仮想カメラの動きが一定以上である場合（例えば仮想カメラの速度が閾値以上である場合）の色付け処理について説明する図である。７０１は仮想カメラであり、７０２は網掛け領域である。網掛け領域７０２は複数のカメラの画像を用いた混色処理で色付けを行う領域を示している。

一方、図７（ｂ）は、仮想カメラの動きが一定未満である場合（例えば仮想カメラの速度が閾値未満である場合）の色付け処理について説明する図である。７０３は仮想カメラであり、７０４は網掛け領域である。網掛け領域７０４は複数のカメラの画像を用いた混色処理で色付けを行う領域を示している。図７（ａ）と比較して図７（ｂ）の方が、混色処理で色付けを行う領域が狭いこと、つまり、単一のカメラの画像を用いて色付け処理を行う領域が広いことを示している。換言すれば、図７（ａ）のマップ情報は混色を行う領域が相対的に広いマップ情報であり、図７（ｂ）のマップ情報は混色を行う領域が相対的に狭いマップ情報である。

仮想カメラの速度が閾値以上である場合、図７（ｂ）で示したように、単一のカメラの画像を用いて色付けを行う領域が多いと、動いた際の色の変化が大きくなる可能性があり、仮想視点画像の品質が劣化する可能性がある。そこで、仮想カメラの動きの大きさに基づいて適切なマップ情報を選択する。具体的には、仮想視点の速度が閾値以上である場合、図７（ａ）のようなマップ情報を選択し、仮想視点の速度が閾値未満である場合、図７（ｂ）のようなマップ情報を選択する。これにより、高画質の仮想視点画像を生成することが可能となる。

＜色付け方式の決定処理＞
続いて、図７の模式図及び図８のフローチャートを参照して、本実施形態に係る、ステップＳ３０２の色付け方式の決定処理の詳細を説明する。

ステップＳ８０１において、色付け方式決定部２０９は、混色を行う領域と、混色を行わない領域とが分けて設定された複数のマップ情報（混色を行う領域を示すマップ情報）を取得する。本実施形態では、図７（ａ）及び図７（ｂ）に示したような、二種類のマップ情報を取得する。

ステップＳ８０２において、色付け方式決定部２０９は、図３のステップＳ３０１で仮想視点情報取得部２０８により取得された仮想視点情報（位置情報、動き情報）から、仮想視点の速度情報を取得する。

ステップＳ８０３において、色付け方式決定部２０９は、仮想視点の速度情報に応じて使用するマップ情報を選択。図７（ａ）及び図７（ｂ）を参照して説明したように、仮想視点の速度が閾値以上である場合、図７（ａ）のマップ情報を選択する。一方、仮想視点の速度が閾値未満である場合、図７（ｂ）のマップ情報を選択する。

ステップＳ８０４において、色付け方式決定部２０９は、当該仮想視点の位置と、選択されたマップ情報とを比較する。ステップＳ８０５において、色付け方式決定部２０９は、ステップＳ８０４の比較結果に基づいて、仮想視点の位置が混色を行う領域内に存在するか否かを判定する。仮想視点が混色を行う領域内に存在する場合、ステップＳ８０６へ進む。一方、仮想視点が混色を行う領域内に存在しない場合、ステップＳ８０７へ進む。

ステップＳ８０６において、色付け方式決定部２０９は、色付け方式を、複数のカメラの画像を用いた混色処理で色付けを行う色付け方式として決定する。ステップＳ８０７において、色付け方式決定部２０９は、色付け方式を、単一のカメラの画像を用いて色付けを行う色付け方式として決定する。即ち、混色を利用しない色付け方式に決定する。

以上説明したように、本実施形態では、仮想視点の動き情報に基づいて、混色を行う領域の範囲を変化させる。これにより、高品質な仮想視点画像を生成することが可能となる。

（実施形態３）
実施形態１では、仮想視点情報（仮想視点の位置情報）に基づいて色付け方式を切り替える例を説明した。また、実施形態２では、仮想視点の動き情報（例えば仮想カメラの速度）に基づいて、混色を行う領域の範囲を変化させる例を説明した。

これに対して、実施形態３では、画像を撮影したカメラの精度情報に基づいて、混色を行う領域の範囲を変化させる例を説明する。ここで、カメラの精度とは、カメラのフォーカス精度や色精度のことである。本発明に係る画像生成システムは、複数のカメラが撮影を行うシステムであるため、カメラ間の器差が存在する。よって、カメラの精度情報に基づいて、適切な色付け方式による色付け処理を行うことにより、高品質な仮想視点画像を生成することが可能となる。

本実施形態に係る画像生成システムの構成及び全体の処理の流れは実施形態１で図１及び図３を参照して説明した内容と同様であるため、説明を省略する。また、本実施形態に係る画像生成装置のハードウェア構成は実施形態１で図２（ｂ）を参照して説明した内容と同様であるため、説明を省略する。

＜画像生成装置の機能構成＞
まず、図９を参照して、本実施形態に係る画像生成装置１２２の機能構成を説明する。本実施形態に係る画像生成装置１２２は、図２（ａ）で説明した構成要素に加えて、カメラ精度情報取得部９０１を備えている。図２（ａ）と同様の構成要素については同一の参照符号を付与しており、詳細な説明は省略する。

カメラ精度情報取得部９０１は、カメラ情報取得部２１１からカメラ情報を取得し、カメラ情報の一つである精度情報を取得する。取得したカメラ精度情報は、色付け方式決定部２０９へ送出され、色付け処理方式の決定に使用される。

＜色付け方式の決定方法＞
まず、図１０を参照して、実施形態３に係る色付け方式の決定方法を説明する。図１０は、カメラの精度情報に基づいて、混色を行う領域を変化させる処理について説明する図である。

図１０において、１００１から１００４は、撮影に使用したカメラであり、１００５は仮想カメラを示す。１００６は網掛け領域である。網掛け領域１００６は、色付け処理において混色を行う領域を示している。図１０の例は、カメラ１００１からカメラ１００４ついてカメラ精度情報を取得した際に、カメラ１００３の精度が他のカメラの精度と比較して低い場合である。ここで、カメラの精度とは、基準色からの色差であるものとし、カメラ１００３が最も基準色から離れていたとする。

カメラ１００３の精度が低い場合、そのカメラを単独で色付けに使用すると、そのカメラを利用した色付け結果だけが他の色付け結果と異なることとなり、仮想視点画像の品質が劣化する。そこで、図１０に示すように、精度が低いカメラ１００３の周辺領域では、隣接するカメラ（ここではカメラ１００２、カメラ１００４）との混色を行うように領域を設定する。すなわち、精度が閾値未満のカメラとオブジェクトとを結ぶ線から所定範囲内の領域が混色を行う領域となるようにマップ情報を更新する。これにより、極端な画質の劣化を排除した仮想視点画像の生成が可能となる。なお、色づけ方式の選択に用いられるカメラの精度は、色差で表されるものに限定されない。例えば、露出やフォーカスなどの設定が基準値から所定値以上ずれているカメラを精度の低いカメラとして扱ってもよいし、隣接するカメラとの間の色や露出やフォーカス値の差が所定値以上のカメラを精度の低いカメラとして扱ってもよい。

＜処理＞
続いて、図９の模式図及び図１０のフローチャートを参照して、本実施形態に係る、ステップＳ３０２の色付け方式の決定処理の詳細を説明する。ステップＳ１１０１において、色付け方式決定部２０９は、混色を行う領域と、混色を行わない領域とが分けて設定されたマップ情報（混色を行う領域を示すマップ情報）を取得する。ここで取得するマップ情報は、例えば図５に示したマップ情報であってもよい。

ステップＳ１１０２において、色付け方式決定部２０９は、カメラ精度情報取得部９０１により取得されたカメラの精度情報を取得する。ステップＳ１１０３において、色付け方式決定部２０９は、ステップＳ１１０２で取得されたカメラの精度情報に基づいて、ステップＳ１１０１で取得されたマップ情報を更新する。更新処理では、図１０で説明したように、精度が閾値未満であるカメラを利用する範囲（精度が閾値未満のカメラとオブジェクトとを結ぶ線から所定範囲内の領域）が、混色を行う領域となるようにマップ情報を更新する。例えば、図５に示したようなマップ情報を、図１０に示したようなマップ情報に更新する。

ステップＳ１１０４において、色付け方式決定部２０９は、当該仮想視点の位置と、更新されたマップ情報とを比較する。ステップＳ１１０５において、色付け方式決定部２０９は、ステップＳ１１０４の比較結果に基づいて、仮想視点の位置が混色を行う領域内に存在するか否かを判定する。仮想視点が混色を行う領域内に存在する場合、ステップＳ１１０６へ進む。一方、仮想視点が混色を行う領域内に存在しない場合、ステップＳ１１０７へ進む。

ステップＳ１１０６において、色付け方式決定部２０９は、色付け方式を、複数のカメラの画像を用いた混色処理で色付けを行う色付け方式として決定する。ステップＳ１１０７において、色付け方式決定部２０９は、色付け方式を、単一のカメラの画像を用いて色付けを行う色付け方式として決定する。即ち、混色を利用しない色付け方式に決定する。

以上説明したように、本実施形態では、画像を撮影したカメラの精度情報に基づいて、混色を行う領域の範囲を変化させる。本実施形態によれば、カメラの精度を考慮した高品質な仮想視点画像を生成することが可能となる。

なお、仮想視点画像に複数のオブジェクトが含まれる場合には、オブジェクトごとにモデルの色づけ方式を決定してもよい。例えば、画像生成装置１２２は、仮想視点から所定距離以内の範囲に位置するオブジェクトのモデルへの色付けには単一のカメラの撮影画像を使用し、仮想視点から所定距離以上離れたオブジェクトのモデルへの色付けには複数のカメラの撮影画像を使用してもよい。これにより、仮想視点画像の画質をより詳細に制御できる。また、オブジェクトの構成要素（点やメッシュ）ごとに色づけ方式を決定してもよい。なお、オブジェクトを構成する点ごとに色づけ方式を決定するよりも、オブジェクトごと又は仮想視点画像全体について色づけ方式を決定した方が、オブジェクトの色の連続性を向上させることができる。

また、上述の各実施形態では、撮影画像を用いてオブジェクトのモデルに色付けを行った後に、その色付けされたモデルを用いて仮想視点画像を生成するものとして説明を行った。ただし、仮想視点画像の生成方法はこれに限定されない。例えば、画像生成装置１２２は、仮想視点画像内のオブジェクト領域の各画素について、その画素がオブジェクトのモデルのどの点に対応するかを判定し、その点に対応する撮影画像の画素値を取得してもよい。そして、取得した撮影画像の画素値を用いて仮想視点画像の画素値を決定してもよい。このような場合においても、上述した色づけ方式の決定方法のように、仮想視点画像の画素値の決定に用いる撮影画像の数を制御することで、高画質の仮想視点画像を生成することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２２：画像生成装置、２０１：撮影画像入力部２０２：通信制御部、２０３：三次元モデル生成部、２０４：色付け処理部、２０５：仮想視点画像生成部、２０６：画像出力部、２０７：仮想視点受信部、２０８：仮想視点情報取得部、２０９：色付け方式決定部、２１０：切替制御部、２１１：カメラ情報取得部、９０１：カメラ精度情報取得部

Claims (10)

1. 複数のカメラにより撮影された画像に基づいて生成されたオブジェクトの三次元モデルを用いて仮想視点に応じた仮想視点画像を生成する画像生成装置であって、
   前記仮想視点の情報を取得する取得手段と、
   前記取得手段により取得された前記仮想視点の情報に基づいて、前記三次元モデルの構成要素の色付け方式を決定する決定手段と、
   前記決定手段により決定された色付け方式で前記構成要素への色付け処理を実施する処理手段と、
   前記処理手段による色付け処理が行われた前記三次元モデルに基づいて前記仮想視点に応じた仮想視点画像を生成する生成手段と、
   を備え、
   前記仮想視点の情報は、前記仮想視点の位置情報及び速度情報を含み、
   前記決定手段は、前記複数のカメラの画像による混色を行う領域を示す複数のマップ情報を取得し、前記仮想視点の速度情報に基づいて、前記複数のマップ情報の中からマップ情報を選択し、前記仮想視点の位置情報と、前記選択されたマップ情報とに基づいて、前記色付け方式を決定し、
   前記複数のマップ情報は、前記混色を行う領域が相対的に広い第１のマップ情報と、前記混色を行う領域が相対的に狭い第２のマップ情報とを含み、
   前記決定手段は、前記仮想視点の速度が閾値以上である場合、前記第１のマップ情報を選択し、前記仮想視点の速度が閾値未満である場合、前記第２のマップ情報を選択することを特徴とする画像生成装置。
2. 前記決定手段により決定される色づけ方式には、単一のカメラにより撮影された画像を用いて前記構成要素への色づけ処理を行う方式と、複数のカメラにより撮影された複数の画像を用いて前記構成要素への色づけ処理を行う方式とが含まれることを特徴とする請求項１に記載の画像生成装置。
3. 前記マップ情報では、前記オブジェクトとカメラとを結ぶ線から所定範囲内の領域が前記混色を行わない第１領域として規定されており、前記第１領域以外の領域が前記混色を行う第２領域として規定されていることを特徴とする請求項１又は２に記載の画像生成装置。
4. 複数のカメラにより撮影された画像に基づいて生成されたオブジェクトの三次元モデルを用いて仮想視点に応じた仮想視点画像を生成する画像生成装置であって、
   前記仮想視点の情報を取得する取得手段と、
   前記取得手段により取得された前記仮想視点の情報に基づいて、前記三次元モデルの構成要素の色付け方式を決定する決定手段と、
   前記決定手段により決定された色付け方式で前記構成要素への色付け処理を実施する処理手段と、
   前記処理手段による色付け処理が行われた前記三次元モデルに基づいて前記仮想視点に応じた仮想視点画像を生成する生成手段と、
   を備え、
   前記複数のカメラの各々の精度情報を取得する精度情報取得手段をさらに備え、
   前記仮想視点の情報は、前記仮想視点の位置情報を含み、
   前記決定手段は、前記複数のカメラの画像による混色を行う領域を示すマップ情報を取得し、前記精度情報に基づいて前記マップ情報を更新し、前記仮想視点の位置情報と、前記更新されたマップ情報とに基づいて、前記色付け方式を決定し、
   前記決定手段は、前記精度情報に基づいて、精度が閾値未満のカメラと前記オブジェクトとを結ぶ線から所定範囲内の領域が前記混色を行う領域となるように前記マップ情報を更新することを特徴とする画像生成装置。
5. 仮想視点を操作するためのユーザインタフェースの操作内容を受信する受信手段をさらに備え、
   前記取得手段は、前記操作内容に基づいて、前記仮想視点の情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
6. 前記生成手段により生成された前記仮想視点画像を出力する出力手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の画像生成装置。
7. 前記三次元モデルの構成要素は、前記三次元モデルが複数の点の集合により表される場合における点、又は、前記三次元モデルが複数のメッシュの集合により表される場合におけるメッシュであることを特徴とする請求項１乃至６の何れか１項に記載の画像生成装置。
8. 複数のカメラにより撮影された画像に基づいて生成されたオブジェクトの三次元モデルを用いて仮想視点に応じた仮想視点画像を生成する画像生成装置の制御方法であって、
   前記仮想視点の情報を取得する取得工程と、
   前記取得工程により取得された前記仮想視点の情報に基づいて、前記三次元モデルの構成要素の色付け方式を決定する決定工程と、
   前記決定工程により決定された色付け方式で前記構成要素への色付け処理を実施する処理工程と、
   前記処理工程による色付け処理が行われた前記三次元モデルに基づいて前記仮想視点に応じた仮想視点画像を生成する生成工程と、
   を有し、
   前記仮想視点の情報は、前記仮想視点の位置情報及び速度情報を含み、
   前記決定工程では、前記複数のカメラの画像による混色を行う領域を示す複数のマップ情報を取得し、前記仮想視点の速度情報に基づいて、前記複数のマップ情報の中からマップ情報を選択し、前記仮想視点の位置情報と、前記選択されたマップ情報とに基づいて、前記色付け方式を決定し、
   前記複数のマップ情報は、前記混色を行う領域が相対的に広い第１のマップ情報と、前記混色を行う領域が相対的に狭い第２のマップ情報とを含み、
   前記決定工程では、前記仮想視点の速度が閾値以上である場合、前記第１のマップ情報を選択し、前記仮想視点の速度が閾値未満である場合、前記第２のマップ情報を選択することを特徴とする画像生成装置の制御方法。
9. 複数のカメラにより撮影された画像に基づいて生成されたオブジェクトの三次元モデルを用いて仮想視点に応じた仮想視点画像を生成する画像生成装置の制御方法であって、
   前記仮想視点の情報を取得する取得工程と、
   前記取得工程により取得された前記仮想視点の情報に基づいて、前記三次元モデルの構成要素の色付け方式を決定する決定工程と、
   前記決定工程により決定された色付け方式で前記構成要素への色付け処理を実施する処理工程と、
   前記処理工程による色付け処理が行われた前記三次元モデルに基づいて前記仮想視点に応じた仮想視点画像を生成する生成工程と、
   を有し、
   前記複数のカメラの各々の精度情報を取得する精度情報取得工程をさらに有し、
   前記仮想視点の情報は、前記仮想視点の位置情報を含み、
   前記決定工程では、前記複数のカメラの画像による混色を行う領域を示すマップ情報を取得し、前記精度情報に基づいて前記マップ情報を更新し、前記仮想視点の位置情報と、前記更新されたマップ情報とに基づいて、前記色付け方式を決定し、
   前記決定工程では、前記精度情報に基づいて、精度が閾値未満のカメラと前記オブジェクトとを結ぶ線から所定範囲内の領域が前記混色を行う領域となるように前記マップ情報を更新することを特徴とする画像生成装置の制御方法。
10. コンピュータを、請求項１乃至７の何れか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

Images