JP7366563B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成するための技術に関する。

近年、複数のカメラを異なる位置に設置して複数視点で同期撮影し、その撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成は、複数のカメラで撮影した画像をサーバ等の画像処理部に集約し、前景背景分離、３次元形状データの生成、背景の生成、レンダリング等の処理を施すことで実現される。

ここで、仮想視点画像における背景の生成では、一般的に、予め用意したスタジアム等の背景の３次元形状データに色付けして、レンダリングすることが行われている。この色付け方法として、３次元形状データを構成するメッシュとカメラの撮影画像との間で求めた対応関係を用いてホモグラフィを計算し、撮影画像を射影変換によって変形して３次元形状データを構成するメッシュにテクスチャを対応付ける方法が知られている。特許文献１には、狭い画角で撮影された複数の画像に対応する３次元空間上の位置を、広角に撮影された画像を用いて特定することでパノラマ画像を作成し、射影変換により画像変換することで、３次元形状データにテクスチャを対応付ける技術が開示されている。

特開２０１７－１８２６９５号公報

但し、射影変換した画像に基づいて３次元形状データにテクスチャを対応付ける場合、３次元形状データを構成する要素の数に応じて各カメラ画像を射影変換する必要があるため、３次元形状データが複雑になれば要素の数が多くなり、処理負荷が大きくなる。即ち、計算リソースが増大する。

本発明は、この課題に鑑みてなされたものであって、その目的は、より少ない計算リソースで３次元形状データにテクスチャを対応付ける技術を提供することである。

本発明に係る画像処理装置は、前景とは異なる背景の3次元形状データを取得する第1の取得手段と、前記背景の3次元形状データを構成する要素が割り当てられた2次元マップ情報を取得する第2の取得手段と、複数の撮影装置による第1の撮影タイミングでの撮影に基づく複数の第1の撮影画像と、当該複数の撮影装置による第2の撮影タイミングでの撮影に基づく複数の第2の撮影画像と、を取得する第3の取得手段と、前記2次元マップ情報と複数の前記第1の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第1の色情報画像を生成し、当該第1の色情報画像の生成に用いた前記2次元マップ情報と複数の前記第2の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第2の色情報画像を生成する生成手段と、前記第1の色情報画像上の画素に対応する複数の前記第1の撮影画像上の注目画素及びその周囲画素に重み付けし、前記第2の色情報画像上の画素に対応する複数の前記第2の撮影画像上の注目画素及びその周囲画素に重み付けする重み付け手段と、を有し、前記生成手段は、複数の前記第1の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第1の色情報画像を生成し、複数の前記第2の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第2の色情報画像を生成する、ことを特徴とする。

本発明によれば、より少ない計算リソースで３次元形状データにテクスチャを対応付ける技術を提供することができる。

画像生成装置の構成を示す図である。 カメラを用いた撮影の様子とカメラにより撮影された画像を示す図である。 画像生成装置における仮想視点画像の生成処理の手順を示すフローチャートである。 テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する処理の手順を示すフローチャートである。 各種画像データを模式的に示した図である。 テクスチャ画像を示す図である。 レンダリング部により生成される仮想視点画像を示す図である。 複数台のカメラを用いて撮影する様子を示した図である。 テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する処理の手順を示すフローチャートである。 複数台のカメラの各々によって撮影された画像を示す図である。 画像の中心座標から画素までの距離を示す図である。 テクスチャ画像生成部により生成されたテクスチャ画像を模式的に示した図である。 画素の解像度を求める様子を示した図である。 画像生成装置の機能構成を示す図である。 画像生成装置における仮想視点画像の生成処理の手順を示すフローチャートである。 画像生成装置の機能構成を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図１は、本実施形態に係る画像生成装置１００の構成を示す図である。図１（ａ）は画像生成装置１００のハードウェア構成を示す図であり、図１（ｂ）は画像生成装置１００の機能構成を示す図である。以下、図１（ａ）、図１（ｂ）の順に説明する。

図１（ａ）において、画像生成装置１００は、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、外部インタフェース（Ｉ／Ｆ）１０４、ＧＰＵ１０５を備え、それらは、内部バス１０６を介して、相互に通信可能に接続されている。

ＣＰＵ１０１は、画像生成装置１００全体を制御する中央演算処理装置である。主記憶装置１０２は、ＣＰＵ１０１のワークエリアや種々のデータの一時的な記憶領域として機能する記憶装置である。主記憶装置１０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の記憶媒体を用いて実装される。

補助記憶装置１０３は、例えば、各種プログラム、各種設定情報、各種画像データ、カメラパラメータ、３次元形状データ、２次元マップ等の情報を記憶する記憶装置である。補助記憶装置１０３は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の不揮発性メモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、テープメディア等の記憶媒体を用いて実装される。

外部Ｉ／Ｆ１０４は、カメラ等の外部機器との通信に用いられる通信インタフェース、キーボード、マウス等のユーザによる各種操作を受け付ける入力インタフェース、外部ストレージとのファイルの入出力を行うための汎用的な入出力インタフェース等である。外部Ｉ／Ｆ１０４は、Ｅｔｈｅｒｎｅｔ、ＵＳＢ（Universal Serial Bus）等の物理的なケーブルの接続端子を有するインタフェース、又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線を用いたインタフェース等で実装される。

ＧＰＵ（Graphics Processing Unit）１０５は、画像処理演算を高速に実行するための演算装置である。ＧＰＵ１０５は、仮想視点からの画像をレンダリングする処理を実行し、テレビ等の外部画像表示装置に対して、画像信号を出力する。なお、画像信号を出力するＩ／Ｆは、ＤＶＩ、ＨＤＭＩ（登録商標）、Ｄｉｓｐｌａｙ Ｐｏｒｔ（登録商標）、ＳＤＩ等で実装される。また、ＧＰＵ１０５は、主記憶装置１０２とは異なる主記憶装置を備えてもよい。加えて、ＧＰＵ１０５は、ＣＰＵ１０１で実行される各種演算の一部又は全てを実行することもできる。

以上、画像生成装置１００のハードウェア構成について説明したが、図１（ａ）に示されるハードウェア構成とは別のハードウェア構成で実現することもできる。したがって、例えば、補助記憶装置１０３を、画像生成装置１００の外部に構成させ、外部Ｉ／Ｆ１０４により接続するようにしてもよい。また、主記憶装置１０２及び補助記憶装置１０３を一つのハードウェアで実現することもできる。加えて、ＧＰＵ１０５の代わりに、ＦＰＧＡ（Field-Programmable Gate Array）等の別のハードウェアを用いることもできる。その他、ＣＰＵ１０１が補助記憶装置１０３に記憶されたプログラムに従って処理を実行することで、後述の図３、図４、図９、図１５のフローチャートに示される画像処理が実現される。

次に、図１（ｂ）を用いて、画像生成装置１００の機能構成について説明する。画像生成装置１００は、その機能として、カメラで撮影された画像から、３次元形状データのテクスチャ画像を生成し、仮想視点画像を生成する。画像生成装置１００は、３次元形状データ取得部１１１、２次元マップ情報取得部１１２、カメラパラメータ取得部１１３、カメラ画像取得部１１４、画素対応付け部１１５、テクスチャ画像生成部１１６、レンダリング部１１７、操作部１１８を備える。なお、図１（ｂ）に示す機能構成の一部又は全てを、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェアにより実現することもできる。

テクスチャ画像とは、３次元形状データを構成する要素（例えば、メッシュ等）毎のテクスチャを示す画像である。また、テクスチャとは、色情報と輝度情報と彩度情報のうち少なくとも１つの情報を含むものである。

３次元形状データ取得部１１１は、テクスチャ画像の生成対象とする３次元形状データを取得し、その取得した３次元形状データを後述の画素対応付け部１１５及びレンダリング部１１７に送信する。ここで、３次元形状データとして、野球やサッカー等のスポーツのスタジアム、イベントホール、コンサートステージ等を想定することができる。なお、３次元形状データはこれらに限らず、カメラで撮影される被写体の形状データであれば、どのような３次元形状データでもよい。また、本実施形態では、３次元形状データとしてメッシュ化したメッシュモデルを用いるが、これに限らず、ＣＡＤデータや点群データ等、後述の２次元マップ情報と関連付けられた３次元形状データであれば、どのような形式の３次元形状データでもよい。

２次元マップ情報取得部１１２は、３次元形状データ取得部１１１で取得した３次元形状データに対応する２次元マップ情報を取得し、その取得した２次元マップ情報を後述の画素対応付け部１１５及びレンダリング部１１７に送信する。ここで、２次元マップ情報は、３次元形状データを２次元画像と対応付けるための情報である。例えば、２次元マップ情報は０～１の範囲に正規化されたＵＶ座標系で示され、また、２次元マップ情報としてメッシュモデルの各メッシュの頂点がＵＶ座標系において１対１で対応付けられたデータが用いられる。

なお、２次元マップ情報は必ずしもこれに限られず、対応する画像データの画素座標と対応付けられたもの等、３次元形状データと２次元画像の画素とが対応付けられるものであれば、どのような形式でもよい。また、３次元形状データと２次元マップ情報は１つのファイルであってもよく、その場合、３次元形状データ取得部１１１が２次元マップ情報取得部１１２に２次元マップ情報を渡すようにしてもよい。

カメラパラメータ取得部１１３は、後述のカメラ画像取得部１１４により取得される画像を撮影したカメラに関する、予めキャリブレーションされたカメラパラメータを取得し、その取得したカメラパラメータを後述の画素対応付け部１１５に送信する。ここで、カメラパラメータは、カメラの位置や姿勢等を示す外部パラメータ、画素ピッチや画像中心等を示す内部パラメータ、レンズによる画像の歪みを示す歪みパラメータ、その他の各種設定パラメータ等に関する情報を含む。

カメラ画像取得部１１４は、同期された少なくとも１台以上のカメラと接続され、カメラで撮影された上述の３次元形状データに対応する被写体を撮影した画像を取得する。また、カメラ画像取得部１１４は、前景と背景を分離する機能を有し、前景を除去した画像を取得する。例えば、カメラ画像取得部１１４は、スタジアムであればフィールド上でプレーしている選手やイベントホールやコンサートステージ等であればイベントの出演者等を前景として、その前景を除去した背景画像を生成する。

画素対応付け部１１５は、２次元マップ情報、３次元形状データ、及びカメラパラメータを用いて、生成するテクスチャ画像上の画素とカメラ画像上（撮影画像上）の画素とを対応付ける。テクスチャ画像生成部１１６は、画素対応付け部１１５により対応付けられたカメラ画像上の画素をテクスチャ画像上の画素にコピーし、テクスチャ画像を生成する。テクスチャ画像生成部１１６は、生成したテクスチャ画像をレンダリング部１１７に送信する。なお、テクスチャ画像上のある画素について、複数台のカメラにより撮影されたカメラ画像上の画素との対応付けがなされている場合、画素対応付け部１１５は、適切な画素の選択や合成等を行ってもよい。

レンダリング部１１７は、３次元形状データ、２次元マップ情報、及びテクスチャ画像を用いて、ユーザの操作により設定された仮想的なカメラからの画像（仮想視点画像）をレンダリングする。

操作部１１８は、ジョイスティック、マウス、キーボード等の入力装置を介して入力されたユーザの仮想視点の設定に関する操作を受け付ける。また、操作部１１８は、３次元形状データ取得部１１１、２次元マップ情報取得部１１２、カメラパラメータ取得部１１３の処理に関するファイルの入出力指示等、画像生成装置１００に対する各種操作をユーザから受け付ける。

図２は、カメラを用いた撮影の様子（図２（ａ））とカメラにより撮影された画像（図２（ｂ））を模式的に示した図である。図２（ａ）において、スタジアム２０１は、サッカーグラウンド等の競技用のフィールド２０２を備える。

本実施形態では、フィールド２０２としてサッカーグラウンド（即ち、サッカーの試合を行うためのグラウンド）を例に説明するが、必ずしもこれに限られず、その他のスポーツを行うためのグラウンドであってもよい。また、フィールド２０２上に存在する、サッカーゴール、ネット、コーナーフラッグ等の構造物をスタジアム２０１に含めてもよい。

その他、３次元形状データに関して、競技用のスタジアムではなく、舞台、コンサート、イベント等を行うホール、体育館等の建物、森林、草原、砂漠等の平面等、３次元形状データを用意することができる対象であれば、どのようなものであってもよい。また、本実施形態では、便宜上、滑らかな曲線を有する形状としてスタジアム２０１が定義されているものとするが、例えば、三角形や四角形等の面に細かく分割され、多角形や多面体として近似されていてもよい。

カメラ２０３は、スタジアム２０１の客席に設置されているカメラを示している。カメラ２０３は、フィールド２０２のゴール前２０４付近が撮影された画像の中心となるように撮影するものである。そして、このカメラ２０３で撮影された画像を模式的に示したものが、図２（ｂ）である。

なお、ここでは、カメラ２０３に関して、キャリブレーションにより位置や姿勢等のカメラパラメータが既に取得されているものとする。また、カメラ２０３は、Ｅｔｈｅｒｎｅｔ等の通信回線により、画像生成装置１００に接続されている。その他、補足として、本実施形態では、カメラの台数を１台として説明しているが、カメラの台数は必ずしもこれに限定されず、複数台のカメラを用いてもよい。また、カメラ２０３に関して、カメラ画像取得部１１４と同様に、前景と背景を分離する機能を有し、分離した画像を画像生成装置１００に送信するものとしてもよい。

次に、図３のフローチャートを用いて、本実施形態に係る画像生成装置１００における仮想視点画像の生成処理の手順について説明する。なお、図３において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。即ち、ここでは、フローチャートの各処理ステップＳ３０１～ステップＳ３０８をＳ３０１～Ｓ３０８と略記する。また、この点、以下のフローチャートの説明においても同様とする。

Ｓ３０１において、３次元形状データ取得部１１１は、例えば、ＣＡＤデータ等の所定のファイルからユーザの撮影対象とする３次元形状データを取得し、その取得した３次元形状データを画素対応付け部１１５及びレンダリング部１１７に送信する。

Ｓ３０２において、２次元マップ情報取得部１１２は、所定のファイルからユーザにより３次元形状データに対応付けられた２次元マップ情報を取得し、その取得した２次元マップ情報を画素対応付け部１１５及びレンダリング部１１７に送信する。Ｓ３０３において、カメラパラメータ取得部１１３は、所定のファイルからカメラパラメータを取得し、その取得したカメラパラメータを画素対応付け部１１５に送信する。

Ｓ３０４において、画素対応付け部１１５は、取得した３次元形状データ、２次元マップ情報、及びカメラパラメータを用いて、生成するテクスチャ画像上の画素とカメラ画像上の画素との対応付けを実行する（Ｓ３０４）。なお、テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する情報は、テクスチャ画像生成部１１６に送信される。

ここで、図４のフローチャートを用いて、Ｓ３０４の処理（即ち、テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する処理）の詳細について説明を補足する。Ｓ４０１において、画素対応付け部１１５は、ベースとなる無地のテクスチャ画像を用意する。このベースとなる無地のテクスチャ画像に関して、任意のサイズや色を用いることができるが、ユーザによって、予め任意の色が指定されても、またファイルにより入力されてもよい。

Ｓ４０２において、画素対応付け部１１５は、Ｓ４０１で用意されたベースとなる無地のテクスチャ画像上の画素の中から未処理の画素を選択する（Ｓ４０２）。ここで、未処理の画素とは、後述のＳ４０３～Ｓ４０７の処理が未だ実行されていない画素のことである。図５（ａ）は、ベースとなるテクスチャ画像を示す模式図である。図５（ａ）において、画素対応付け部１１５は、ベースとなるテクスチャ画像５０１上の画素から、未処理の画素である座標５０２ａの画素を選択する。

Ｓ４０３において、画素対応付け部１１５は、Ｓ４０２で選択された画素を２次元マップ情報取得部１１２から取得した２次元マップ情報上に投影する。図５（ｂ）は、３次元形状データであるスタジアム２０１及びフィールド２０２に関連付けられた２次元マップ情報を模式的に示した模式図である。画素対応付け部１１５は、Ｓ４０２で選択された画素５０２ａを２次元マップ５０３情報上に投影し、２次元マップ情報上の座標５０２ｂを取得する。

図５（ｂ）において、メッシュ５０４はスタジアム２０１の外壁部、メッシュ５０５はフィールド２０２、メッシュ５０６はスタジアム２０１の客席部を示すメッシュである。なお、図５（ｂ）では、説明の便宜上、各々のメッシュを１つのメッシュとして定義しているが、必ずしもこれに限られない。したがって、例えば、メッシュが多角形や多面体として定義されている場合、各々のメッシュは、三角形や四角形に分割されて定義される。

Ｓ４０４において、画素対応付け部１１５は、２次元マップ５０３情報上に投影された画素５０２ａ（即ち、２次元マップ５０３情報上の座標５０２ｂ）がいずれかのメッシュに含まれるか否かを判定する。図５（ｂ）において、座標５０２ｂはメッシュ５０５の内部の座標であることから、画素対応付け部１１５は、座標５０２ｂがメッシュ５０５に含まれると判定する。

画素対応付け部１１５は、２次元マップ５０３情報上に投影された画素５０２ａがいずれのメッシュにも含まれていないと判定すると（Ｓ４０４ Ｎｏ）、処理をＳ４０２に返す。また、２次元マップ５０３情報上に投影された画素５０２ａがいずれのメッシュにも含まれると判定すると（Ｓ４０４ Ｙｅｓ）、処理をＳ４０５に移行させる。

なお、本実施形態では、画素５０２ａを２次元マップ情報上に投影する例を示したが、必ずしもこれに限られない。しがって、例えば、逆に、２次元マップ情報上のメッシュ５０４、５０５、５０６をベースとなるテクスチャ画像５０１上に投影し、座標５０２ａが２次元マップ情報上のどのメッシュに含まれるかを判定してもよい。

Ｓ４０５において、画素対応付け部１１５は、３次元形状データから、２次元マップ５０３情報上に投影された画素５０２ａが含まれるメッシュに関連付けられた座標５０２ｂに対応する３次元座標情報を計算する。

この３次元座標情報の計算について、図５（ｃ）を用いて、説明を補足する。図５（ｃ）は、スタジアム２０１及びフィールド２０２の３次元形状データの様子を示す模式図である。メッシュ５０５は３次元形状モデルのフィールド２０２に対応し、画素対応付け部１１５は、メッシュ５０５上の座標５０２ｂが図５（ｃ）に示される３次元座標５０２ｃの位置であることを算出（導出）する。

Ｓ４０６において、画素対応付け部１１５は、カメラパラメータ取得部１１３から取得したカメラパラメータを用いて、算出した３次元座標をカメラ画像上の画素に変換する。ここで、図５（ｄ）はカメラ２０３で撮影される画像を模式的に示した図であり、カメラ２０３のカメラパラメータを用いて、カメラ２０３のカメラ画像上に算出した３次元座標を投影すると、３次元座標５０２ｃは、画素５０２ｄとして変換される。

Ｓ４０７において、画素対応付け部１１５は、Ｓ４０２で選択されたテクスチャ画像上の画素とＳ４０６で変換されたカメラ画像上の画素とを対応付ける。具体的には、ベースとなるテクスチャ画像上の画素５０２ａとＳ４０２からＳ４０６までの処理によって求められた画素５０２ｄを対応付ける。

Ｓ４０８において、画素対応付け部１１５は、ベースとなるテクスチャ画像５０１上の画素の全てに関して処理が終了していると判定すると（Ｓ４０８ Ｙｅｓ）、図４に示す処理を終了する。また、ベースとなるテクスチャ画像５０１上の画素の全てに関して処理が終了していないと判定すると（Ｓ４０８ Ｎｏ）、処理をＳ４０２に返す。このように、図４のフローチャートに示される処理を実行することで、テクスチャ画像上の画素とカメラ画像上の画素を対応付けることができる。

図３に戻り、Ｓ３０５において、カメラ画像取得部１１４は、カメラにより撮影された画像（カメラ画像）を取得し、その取得したカメラ画像をテクスチャ画像生成部１１６に送信する。Ｓ３０６において、テクスチャ画像生成部１１６は、テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する情報に基づいて、カメラ画像からテクスチャ画像を生成し、その生成したテクスチャ画像をレンダリング部１１７に送信する。

図６は、図３及び図４のフローチャートに示される処理を実行することにより生成されるテクスチャ画像を示す図である。より詳細には、図６は、図２（ｂ）に示されるカメラ画像から、図３及び図４のフローチャートに示される処理を実行することで、テクスチャ画像上の画素に対応付けられたカメラ画像上の画素を用いることにより生成されるテクスチャ画像６０１を示している。

図６において、図２（ｂ）に示されるカメラ画像上の各々の画素がテクスチャ画像に対応付けられ、フィールド２０２が符号６０２として、客席の一部が符号６０３及び符号６０４としてテクスチャ画像として生成されている。なお、テクスチャ画像６０１上の符号６０２、符号６０３、符号６０４以外の画素については、カメラ画像上の画素と対応していないため、何も処理されない。

Ｓ３０７において、レンダリング部１１７は、３次元形状データ、２次元マップ情報、テクスチャ画像、及びカメラパラメータを用いて、ユーザの操作により設定された仮想的なカメラからの画像（仮想視点画像）をレンダリングする。レンダリング部１１７は、そのレンダリングした画像を画像信号として外部画像表示装置に送信する。

図７は、レンダリング部１１７により生成される仮想視点画像を示す図である。
図７（ａ）は、２次元マップ情報、３次元形状データ、テクスチャ画像６０１を用いて生成されたスタジアムの３次元形状データ７０１と、仮想視点画像を撮影している仮想カメラ７０２の様子を模式的に示した図である。また、図７（ｂ）は、図７（ａ）に示される状態で、仮想カメラ７０２からの画像をレンダリングした結果である。図７（ｂ）を参照すると、カメラ２０３で撮影された画像が張り付けられた３次元形状データ７０１を、仮想カメラ７０２の視点からの画像がレンダリングされ、仮想視点画像が生成されている様子がわかる。Ｓ３０８において、画像生成装置１００は、ユーザによる仮想視点画像の閲覧終了に関する指示があると（Ｓ３０８ Ｙｅｓ）、図３に示される処理を終了する。また、ユーザによる仮想視点画像の閲覧終了に関する指示がないと（Ｓ３０８ Ｎｏ）、処理をＳ３０５に返す。

以上、説明したように、本実施形態に係る画像生成装置によれば、カメラによって撮影された画像を用いて３次元形状データに対応するテクスチャ画像を生成することで、より少ない計算リソースで３次元形状データにテクスチャを対応付けることができる。

なお、本実施形態において、カメラ画像は、動画像（映像）であってもよい。その場合、図４のフローチャートに示される処理が既定の間隔で実行され、これにより、例えば、天候の変化、雲による影、その他、フィールド上の芝の変化等が反映されるようになり、静止画像よりも臨場感のある動画像を生成することができる。補足として、この場合、テクスチャ画像の更新は、最大で、動画のフレームレートによって映像が更新される毎に実行される。

また、本実施形態では、カメラの台数を、フィールドを映すカメラの１台として説明したが、必ずしもこれに限定されない。したがって、例えば、客席を映すカメラが追加され、本実施形態と同様に、観客席のテクスチャ画像を動画として生成すると、選手の応援の様子等が追加することができ、さらに臨場感の映像を生成することができる。このように、カメラの台数を増やすことで、テクスチャ画像６０１上に生成されるテクスチャ画像の領域を増やすことができ、２次元マップ情報で３次元形状データと対応付けられた範囲の全てにカメラ画素との対応を作成することもできる。

その他、本実施形態では、Ｓ３０１～Ｓ３０４の処理に関して、一度、処理が実行されると、カメラ画像が更新されても処理が実行されないことになっているが、必ずしもこれに限定されない。したがって、ユーザによって、３次元形状データ、２次元マップ情報、カメラパラメータ等のデータの変更が加えられる場合には、予め設定された任意のタイミングで、再度、上述の図３のフローチャートに示されるＳ３０１～Ｓ３０４の処理を実行してもよい。

また、Ｓ３０１～Ｓ３０３の処理に関してＳ３０４の処理が実行されるまでに実行されていればよく、また、Ｓ３０５の処理をＳ３０１～Ｓ３０３の処理と並行して実行してもよい。

＜実施形態２＞
上述のように、実施形態１では、カメラの台数を１台として説明したが、本実施形態では、カメラの台数を複数台として説明する。図８は、複数台のカメラとして、４台のカメラを用いた撮影の様子を模式的に示した図である。なお、図８に示されるように、カメラ８０１、８０２、８０３、８０４の４台のカメラには、通信回線８０５を介して、画像生成装置１００が接続される。

カメラ８０１、８０２、８０３、８０４は、事前にキャリブレーションが実施され、撮影タイミングが同期されている。また、カメラ８０１、８０２、８０３、８０４は、通信回線８０５を用いて、撮影した画像を画像生成装置１００に送信する。通信回線８０５は、例えば、Ｅｔｈｅｒｎｅｔ等で構成され、画像生成装置１００とカメラ８０１、８０２、８０３、８０４との双方向の通信が可能な回線である。

画像生成装置１００は、上述の図３のフローチャートに従ってテクスチャ画像を生成するが、ここでは、図３（実施形態１）と異なる点（具体的には、Ｓ３０４の画素対応付け処理及びＳ３０６のテクスチャ画像の生成処理）に着目して説明する。

図９は、Ｓ３０４の処理（即ち、テクスチャ画像上の画素とカメラ画像上の画素との対応付けに関する処理）の手順を示すフローチャートである。Ｓ４０１からＳ４０５までの処理を実行して、メッシュに関連付けられた座標に対応する３次元座標を計算すると、Ｓ９０１において、画素対応付け部１１５は、未だ画素値との対応付けを行っていないカメラを選択する。例えば、画素対応付け部１１５は、カメラ８０１を選択する。

Ｓ４０６及びＳ４０７でカメラ８０１のカメラ画像上の座標への変換が行われ、テクスチャ画像上の画素とカメラ画像上の画素を対応付けると、Ｓ９０２において、画素対応付け部１１５は、テクスチャ画像の画素に対するカメラ画像の画素の重みを計算する。ここで、カメラ画像の画素の重みとは、テクスチャ画像を生成する際に使用されるカメラ画像の画素を複数合成する際に各々の画素の影響度を示す相対的な割合のことである。

以下、図１０、図１１及び図１２を用いて、画素対応付け部１１５で実行される重みの計算について説明する。図１０は、各々のカメラによって撮影された画像を示す図である。図１０（ａ）はカメラ８０１によって撮影された画像を示しており、同様に、図１０（ｂ）はカメラ８０２、図１０（ｃ）はカメラ８０３、図１０（ｄ）はカメラ８０４によって撮影された画像を示す。

テクスチャ画像上の画素について、各カメラによって撮影された画像上の画素に対応付けを行った結果が、図１０において示される画素１００１、画素１００２、画素１００３、画素１００４である。この場合において、画素１００１の重みの求め方に関して、図１１を用いて説明する。

図１１において、画素１００１は、カメラ８０１で撮影された画像の中心１１０１に対して、ｘ軸方向にｘ１、ｙ軸方向にｙ１ずれた位置にあることがわかる。即ち、カメラ８０１で撮影された画像の中心座標から画素１００１までの距離は、下式（１）で示される。

同様に、カメラ８０２で撮影された画像の中心座標から画素１００２までの距離、カメラ８０３で撮影された画像の中心座標から画素１００３までの距離、カメラ８０４で撮影された画像の中心座標から画素１００４までの距離を各々、算出する。ここで、重み付けに関して、画像の中心部に近付くにつれて重みが大きくなるようにするには、例えば、上式（１）の値の逆数を算出して、下式（２）の値を用いるようにする。

このようにして、画素１００２、画素１００３、画素１００４の各々についても同様に、カメラで撮影された画像の中心座標から画素までの距離の逆数を下式（３）、式（４）、式（５）として求める。

続いて、Ｓ３０６のテクスチャ画像を生成する処理について説明する。図１２は、テクスチャ画像生成部１１６により生成されたテクスチャ画像を模式的に示した図である。図１２において、画素１２０１は、上述の画素１００１から画素１００４までの画素が対応付けられたテクスチャ画像の画素を示している。この画素１２０１を生成するために、上述の式（２）～式（５）を用いる。先ず、全ての重みを加算し、下式（６）とする。

次に、各画素値に対して「画素値×重み／式（６）」を計算し、求めた各画素の値をすべて加算する。このように、カメラ８０１～８０４毎に撮影された画像の画素１００１～１００４の各々に対して対応する式（式（２）～（５））を適用し、さらに式（６）を計算し、「画素値×重み／式（６）」を求めることで、テクスチャ画像の画素１２０１を生成する。なお、上述の重み付けはあくまで一例であり、必ずしもこれに限定されない。したがって、例えば、下式（７）に示されるように、平方根を取らなくてもよい。

また、例えば、中心部を１、周辺部を０又は０に近い値に正規化したマップ等を用いてもよい。即ち、中心座標からの距離を用いて、中心から周辺部に向かうにつれて重みが変化するような方法であればよく、周辺部は中心に対して重みが小さくなればよい。

さらに、本実施形態では、重み付けとして、カメラで撮影された画像の中心からの距離に従って重み付けを計算したが、必ずしもこれに限定されない。例えば、テクスチャ画像に対応するカメラ画像上の画素について解像度を求め、その解像度に基づいて重み付けを設定してもよい。また、その解像度の逆数に基づいて重み付けを設定してもよく、この場合、解像度の高い画素の重みをより大きくすることができる。

なお、カメラ上の画素の解像度は、計算によって求めてもよく、また、別途、センサや計測機器を用いて、解像度を測定してもよい。以下、この点について、図面を用いて説明を補足する。図１３は、画素１００１の解像度を求める様子を示した図である。図１３において、先ず、カメラの光学中心１３０１から画素１００１を構成する頂点のうち、１つの頂点を通る直線１３０２を求め、この直線１３０２が被写体であるフィールド２０２と交わる交点１３０３を求める。さらに、画素１００１を構成する頂点のうち、残りの３頂点についても同様にフィールド２０２と交わる交点１３０３を算出することで、画素１００１の３次元上の対応する面１３０４を求める。

次に、その面１３０４の面積の逆数を、各画素の重みとして記憶する。このように、カメラ画像上の画素を実際の３次元に置き換えて、さらに、面積の逆数を重みとして設定することで、解像度の高い画素の重みをより大きくすることができる。

図９の説明に戻り、Ｓ９０３において、画素対応付け部１１５は、選択したテクスチャ画像上の画素について、対象となるカメラ全ての画素の対応付けと重み付けが終了したら、処理をＳ４０９に移行させ、終了していなければ、処理をＳ９０１に返す。なお、補足として、上述の解像度の例では、画素１００１と同様に、カメラ８０２の画素１００２、カメラ８０３の画素１００３、カメラ８０４の画素１００４について、３次元上の対応する面の面積の逆数を求めた後に、処理をＳ４０９に移行させる。

なお、重み付けの方法として、テクスチャ画像上の画素に対応する面の有する法線ベクトルと、カメラの向きを示すベクトルについて、共に正規化したベクトルの内積を求め、内積の小さな画素について重みを大きくしてもよい。また、内積が正の値になる場合は、面の裏面と判定し、テクスチャ画像上の画素に対応付けたカメラ画像上の画素を用いなくてもよい。さらに、算出した内積に「－１」を掛けた値を重みとする方法等も考えられる。

その他、カメラの画素について、被写体との距離を用いた重み付けであってもよく、被写体との距離の逆数によって重み付けされてもよい。なお、被写体との距離は、演算によって求めてもよく、また、センサ等の計測機器を用いて計測してもよい。

加えて、カメラ８０１、８０２、８０３、８０４毎に、予めユーザによって、固定の重みが設定されてもよい。或いは、カメラの種類に応じて、重みが設定されてもよい。例えば、カメラのセンサ画素数、ダイナミックレンジ、取り付けられているレンズの種類等の性能の高いカメラの重みを大きくするようにしてもよい。

また、重み付け方法及びその方法におけるパラメータの設定変更等により、複数の方法によってテクスチャ画像を生成し、仮想視点画像の生成時において、これらの複数の方法によって生成されたテクスチャ画像を切り替えてレンダリングしてもよい。

また、重み付けの順位を上述のような方法で決定し、重みパラメータそのものは別途、与えられてもよい。例えば、優先順位の最も高いものを１としたときに、以降のカメラを１／２、１／３、１／４、・・・１／ｎのように付与してもよいし、ユーザが任意に比率を決定してもよい。

さらに、本実施形態では、カメラ８０１～カメラ８０４の４台全てのカメラを用いていたが、必ずしもこれに限られない。即ち、テクスチャ画像の画素１２０１を生成する際に、画素１００１～画素１００４の画素の各々に重みを付けて合成しているが、必ずしもこれに限られない。例えば、テクスチャ画像を生成する際に使用を予定する画素１００１～画素１００４に関して、付された重みの大きさの順位を比較し、その重みの大きさに応じて優先度を判定し、さらに、上位のＮ台分の画素のみを用いるようにしてもよい。なお、この場合、Ｎは少なくとも１以上の値である。例えば、Ｎを３とした場合、画素１００４の重みが最も小さいとすると、画素１００４を除く画素１００１～画素１００３の画素を用いて式（６）を算出し、画素１００１～画素１００３の画素を合成してもよい。

また、本実施形態では、テクスチャ画像上の画素とカメラ画像上の画素を１対１で対応させているが、必ずしもこれに限られず、求めた座標の周囲の画素を含めた画素を対応させて、その間にさらに重み付けを行ってもよい。この場合、例えば、対応する画素を１として、その周囲の画素を１／Ｎとして重み付けしてもよい。また、例えば、求めた座標の小数点以下の値を用いて、周囲の画素の重みを計算して重み付けしたり、求めた画素のＸ座標の小数点が大きくなるにつれて、Ｘ座標の正の方向に隣接する画素の重みを重くして重み付けしたりしてもよい。

補足として、本実施形態では、例えば、コーナーフラッグ等をスタジアム２０１に含めることを踏まえ、撮影タイミングを同期させた複数台のカメラを用いてテクスチャ画像を生成する例について説明したが、必ずしもこれに限られない。したがって、例えば、背景をスタジアムのみとして（即ち、背景が動的に変化しないものとして）、１台のカメラを用いて複数の位置や姿勢で撮影し、その撮影された複数の画像に重み付けしてテクスチャ画像を生成してもよい。

＜実施形態３＞
次に、実施形態３について説明する。図１４は、本実施形態に係る画像生成装置１４００の機能構成を示す図である。画像生成装置１４００は、図１４に示されるように、画像生成装置１００の機能に加えて、さらに障害情報取得部１４０１を備える。障害情報取得部１４０１は、画像生成装置１００に接続されているカメラと通信したり、ユーザからの入力によってカメラの障害情報を取得したりするものである。なお、本実施形態では、図８に示された画像生成装置１００に代えて、画像生成装置１４００を用いるものとし、その他の構成については同様であるものとする。

次に、図１５のフローチャートを用いて、本実施形態に係る画像生成装置１４００における仮想視点画像の生成処理の手順について説明する。なお、図１５において、Ｓ３０１からＳ３０８までの各処理は、図３に示される処理と同様である。Ｓ１５０１において、障害情報取得部１４０１は、カメラから送信される障害情報やユーザにより入力される障害情報等によって、障害情報に変化が発生したか否かを判定する。即ち、障害情報取得部１４０１は、障害判定手段の一例としても機能する。

障害情報取得部１４０１は、例えば、カメラ８０１において障害が発生しているという情報を取得すると、画素対応付け部１１５にカメラ８０１に障害が起きているという情報を通知する。画素対応付け部１１５は、障害が発生していると通知されたカメラを除いて、画素の対応付けをやり直す。即ち、ここでは、カメラ８０１に障害が発生しているので、カメラ８０２～カメラ８０４を用いて画素の対応付けを行う。

なお、図１５のフローチャートにおいて、初回の実行時には、障害情報に変化がないものとしてもよい。また、障害情報取得部１４０１は、カメラの障害情報を画素対応付け部１１５に送信することとしているが、必ずしもこれに限られない。例えば、テクスチャ画像生成部１１６にカメラの障害情報を通知し、テクスチャ画像生成部１１６は、障害が発生していると判定されたカメラで撮影されたカメラ画像を除外したカメラ画像を用いた重み付けの計算とテクスチャ画像を生成するようにしてもよい。

＜実施形態４＞
次に、実施形態４について説明する。図１６は、本実施形態に係る画像生成装置１６００の機能構成を示す図である。画像生成装置１６００は、図１６に示されるように、画像生成装置１４００の機能に加えて、さらに画像読み込み部１６０１を備える。

画像読み込み部１６０１は、所定のファイルからテクスチャ画像等の画像データを読み込む。ここでは、例えば、フィールド上に敷き詰められた芝生を撮影した画像、その画像とは別の芝生画像、それらの芝生等の画像をタイル状に敷き詰めた画像の画像データ等が読み込まれる。又は、例えば、２次元マップ情報取得部１１２で読み込まれる２次元マップ情報ファイルに対して、予めユーザにより画像編集アプリケーションや画像作成アプリケーション等を使用して作成された画像を画像データとして読み込むようにしてもよい。若しくは、以前に３次元形状データと２次元マップ情報を用いて生成されたテクスチャ画像が存在する場合、それらを画像データとして読み込むようにしてもよい。

なお、画像読み込み部１６０１により読み込まれた画像データは、Ｓ３０６においてテクスチャ画像を生成する際に用いられる。より具体的には、テクスチャ画像生成部１１６は、画像読み込み部１６０１により読み込まれ、主記憶装置１０２に記憶された画像データに、生成された画素を上書きすることでテクスチャ画像を生成する。例えば、テクスチャ画像６０１の場合、符号６０２、符号６０３、符号６０４で示された領域を除いた部分は、画像読み込み部１６０１により読み込まれた画像データの画像と同一の画像となる。即ち、芝生の画像が読み込まれている場合において、フィールド２０２のカメラ２０３で撮影されていない領域には、符号６０２で示される領域を除いた領域について読み込まれたテクスチャ画像が用いられることになる。

本実施形態において、画像読み込み部１６０１により読み込まれた画像の画素のうち、カメラ画像と対応付けられる画素については、テクスチャ画像生成部１１６によりカメラ画像上の画素により上書きすることとしているが、必ずしもこれに限られない。したがって、例えば、画像読み込み部１６０１により読み込まれた画像の画素に関して、予めユーザによって重み付けがなされている場合、その重みを用いて、テクスチャ画像生成部１１６によりカメラ画像上の画素とともに合成してもよい。

また、画像読み込み部１６０１により読み込まれた画像データは、テクスチャ画像生成部１１６により生成されたテクスチャ画像に随時、或いは一定の間隔毎に置き換えられてもよい。この場合において、一部のカメラに障害が発生したとき、その障害が発生したカメラのみが撮影している領域については画像の更新は止まるが、テクスチャ画像の生成がなされなくなるという問題を回避することができる。また、上述のように、画像読み込み部１６０１により読み込まれた画像データの画像の画素に重み付けがなされた状態で合成される場合、障害が発生したカメラの影響を徐々に減らしながら、画像を更新することもできる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１ ３次元形状データ取得部
１１２ ２次元マップ情報取得部
１１３ カメラパラメータ取得部
１１４ カメラ画像取得部
１１５ 画素対応付け部
１１６ テクスチャ画像生成部
１１７ レンダリング部

Claims (10)

1. 前景とは異なる背景の3次元形状データを取得する第1の取得手段と、
   前記背景の3次元形状データを構成する要素が割り当てられた2次元マップ情報を取得する第2の取得手段と、
   複数の撮影装置による第1の撮影タイミングでの撮影に基づく複数の第1の撮影画像と、当該複数の撮影装置による第2の撮影タイミングでの撮影に基づく複数の第2の撮影画像と、を取得する第3の取得手段と、
   前記2次元マップ情報と複数の前記第1の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第1の色情報画像を生成し、当該第1の色情報画像の生成に用いた前記2次元マップ情報と複数の前記第2の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第2の色情報画像を生成する生成手段と、
   前記第1の色情報画像上の画素に対応する複数の前記第1の撮影画像上の注目画素及びその周囲画素に重み付けし、前記第2の色情報画像上の画素に対応する複数の前記第2の撮影画像上の注目画素及びその周囲画素に重み付けする重み付け手段と、
   を有し、
   前記生成手段は、
   複数の前記第1の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第1の色情報画像を生成し、
   複数の前記第2の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第2の色情報画像を生成する、
   ことを特徴とする画像処理装置。
2. 前記撮影装置のパラメータを取得する第3の取得手段をさらに有し、
   前記生成手段は、前記2次元マップ情報と複数の前記第1の撮影画像と複数の前記撮影装置のパラメータとに基づいて前記第1の色情報画像を生成し、当該第1の色情報画像の生成に用いた前記2次元マップ情報と複数の前記第2の撮影画像と複数の前記撮影装置のパラメータとに基づいて前記第2の色情報画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記重み付け手段により付される重みは、前記第1及び第2の撮影画像における画素の解像度に応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記重み付け手段により付される重みは、前記第1及び第2の撮影画像における中心からの距離に応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記重み付け手段により付される重みは、前記撮影装置の種類に応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
6. 前記重み付け手段により付される重みは、前記３次元形状データの面の法線ベクトルと、複数の前記撮影装置それぞれの向きを示すベクトルとに応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
7. 前記重み付け手段により付される重みは、複数の前記撮影装置それぞれと被写体との距離に応じて設定されることを特徴とする請求項１または２に記載の画像処理装置。
8. 複数の前記撮影装置のいずれかに障害が発生しているか否かを判定する判定手段をさらに備え、
   前記生成手段は、
   障害が発生していると判定された撮影装置による第1の撮影画像の画素を用いず、他の撮影装置の第1の撮影画像を用いて前記第1の色情報画像を生成し、
   障害が発生していると判定された撮影装置による第2の撮影画像の画素を用いず、他の撮影装置の第2の撮影画像を用いて前記第2の色情報画像を生成する、
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前景とは異なる背景の3次元形状データを取得する第1の取得ステップと、
   前記背景の3次元形状データを構成する要素が割り当てられた2次元マップ情報を取得する第2の取得ステップと、
   複数の撮影装置による第1の撮影タイミングでの撮影に基づく複数の第1の撮影画像と、当該複数の撮影装置による第2の撮影タイミングでの撮影に基づく複数の第2の撮影画像と、を取得する第3の取得ステップと、
   前記2次元マップ情報と複数の前記第1の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第1の色情報画像を生成する第1の生成ステップと、
   前記第1の色情報画像の生成に用いた前記2次元マップ情報と複数の前記第2の撮影画像とに基づいて前記背景の3次元形状データを構成する要素の色情報を示す第2の色情報画像を生成する第2の生成ステップと、
   前記第1の色情報画像上の画素に対応する複数の前記第1の撮影画像上の注目画素及びその周囲画素に重み付けし、前記第2の色情報画像上の画素に対応する複数の前記第2の撮影画像上の注目画素及びその周囲画素に重み付けする重み付けステップと、
   を含み、
   前記第1の生成ステップでは、複数の前記第1の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第1の色情報画像を生成し、
   前記第2の生成ステップでは、複数の前記第2の撮影画像上の注目画素及びその周囲画素それぞれの画素値と当該注目画素及びその周囲画素それぞれの画素に対し前記重み付け手段により付されたそれぞれの重みとの積によって得られた画素値を合成して、前記第2の色情報画像を生成する、
   ことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images