WO2019111817A1 - 生成装置、生成方法及びプログラム - Google Patents

生成装置、生成方法及びプログラム Download PDF

Info

Publication number
WO2019111817A1
WO2019111817A1 PCT/JP2018/044202 JP2018044202W WO2019111817A1 WO 2019111817 A1 WO2019111817 A1 WO 2019111817A1 JP 2018044202 W JP2018044202 W JP 2018044202W WO 2019111817 A1 WO2019111817 A1 WO 2019111817A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual viewpoint
acquired
image data
generation
Prior art date
Application number
PCT/JP2018/044202
Other languages
English (en)
French (fr)
Inventor
前田　充
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP18886601.6A priority Critical patent/EP3605470A4/en
Priority to KR1020197031243A priority patent/KR102125293B1/ko
Priority to CN201880028801.5A priority patent/CN110574076B/zh
Publication of WO2019111817A1 publication Critical patent/WO2019111817A1/ja
Priority to US16/667,659 priority patent/US11012679B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

複数の撮像手段を有する画像処理システムにて、高品質な仮想視点からの広域な画像を生成できるようにすることを目的とする。この目的を達成するため、当該画像処理システムにおいて、第１の注視点に向けられた複数の撮影装置で構成される第１の撮影装置群と、前記第１の注視点とは異なる第２の注視点に向けられた複数の撮影装置で構成される第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成装置であって、前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得手段と、前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得手段と、仮想視点の位置及び方向に関する情報を取得する第３の取得手段と、前記第１の取得手段により取得された前記第１の画像データと、前記第２の取得手段により取得された前記第２の画像データと、前記第３の取得手段により取得された仮想視点の位置及び方向に関する情報とに基づき、仮想視点画像を生成する生成手段と、を有することを特徴とする生成装置が提供される。

Description

生成装置、生成方法及びプログラム
　本発明は、生成装置、生成方法及びプログラムに関する。
　複数のカメラ（撮像装置）を異なる位置に設置して多視点で同期撮影し、撮影により得られた複数の視点画像を用いて仮想視点画像を生成する技術が注目されている。複数の視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
　特許文献１には、被写体を取り囲むように複数のカメラを配置して被写体を撮影し、撮影した画像を用いて任意の仮想視点画像を生成及び表示することが開示されている。特許文献１では、スタジアムの中央の点を原点として世界座標Ｘ、Ｙ、Ｚ軸を決定し、複数のカメラは、原点が画面の中央にくるようにして原点に向けて設置されている。
特開２０１４－２１５８２８号公報
　特許文献１に記載された技術では、スタジアムの中央を注視点として全体風景を生成する場合、カメラの注視点から離れた位置にいる選手を映しているカメラの台数は少なく、さらに注視点近辺に比べてピントが合っていない。その結果、例えば注視点から遠いサイドスタンドから他方のサイドスタンドを見るような全体風景を生成すると、距離が近くてくっきり見えるはずの手前の選手の解像度が低くなり輪郭がぼやけるため、３次元モデルの精度を下げてしまう。このため、手前の選手の画質が下がり、そこよりも遠い中央付近の選手の画質が高くなり、遠近感が損なわれ、臨場感が低下する。
　本発明は、このような事情に鑑みてなされたものであり、複数の撮像手段を有する画像処理システムにて、高品質な仮想視点からの広域な画像を生成できるようにすることを目的とする。
　本発明に係る生成装置は、第１の注視点に向けられた複数の撮影装置で構成される第１の撮影装置群と、前記第１の注視点とは異なる第２の注視点に向けられた複数の撮影装置で構成される第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成装置であって、前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得手段と、前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得手段と、仮想視点の位置及び方向に関する情報を取得する第３の取得手段と、前記第１の取得手段により取得された前記第１の画像データと、前記第２の取得手段により取得された前記第２の画像データと、前記第３の取得手段により取得された仮想視点の位置及び方向に関する情報とに基づき、仮想視点画像を生成する生成手段と、を有することを特徴とする。
　本発明によれば、複数の撮像手段を有する画像処理システムにて、高品質な仮想視点からの広域な画像を生成することが可能になる。
第１の実施形態における画像処理システムの構成例を示す図である。 第１の実施形態におけるオブジェクトの撮影状況の例を示す図である。 第１の実施形態における注視点の座標系を説明する図である。 第１の実施形態における３次元モデルデータの構成例を示す図である。 第１の実施形態におけるオブジェクトの撮影状況の例を示す図である。 第１の実施形態における仮想視点画像生成部の構成例を示す図である。 第１の実施形態における仮想視点画像の生成動作の例を示すフローチャートである。 第１の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。 背景画像の例を説明する図である。 オブジェクトの画像の例を説明する図である。 合成画像の例を説明する図である。 第１の実施形態における仮想視点画像生成部の他の構成例を示す図である。 第２の実施形態における画像処理システムの構成例を示す図である。 第２の実施形態におけるオブジェクトの撮影状況の例を示す図である。 第２の実施形態におけるオブジェクトの撮影状況の例を示す図である。 第２の実施形態における３次元モデルデータの構成例を示す図である。 第２の実施形態における３次元モデルデータの点群の例を示す図である。 第２の実施形態における３次元モデルデータの点群の例を示す図である。 第２の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。 第３の実施形態における画像処理システムの構成例を示す図である。 その他の実施形態における画像処理システムの構成例を示す図である。 その他の実施形態における３次元モデルデータの構成例を示す図である。 本実施形態における画像処理システムを実現可能なコンピュータ機能を示す図である。
　以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
　本発明の第１の実施形態について説明する。
　図１は、第１の実施形態における画像処理システム１００の構成例を示す図である。本実施形態における画像処理システム１００は、競技場（スタジアム）やコンサートホール等の施設に複数のカメラ（撮像装置）及びマイク（集音装置）を設置して撮影及び集音を行う画像処理システムである。
　画像処理システム１００は、注視点毎にセンサ群２００、２０１、２０２を有する。センサ群２００、２０１、２０２の各々は、複数のセンサシステムを有する。本実施形態では、センサ群２００は３０台のセンサシステム２Ｌ０１～２Ｌ３０を有し、センサ群２０１は３０台のセンサシステム２Ｃ０１～２Ｃ３０を有し、センサ群２０２は３０台のセンサシステム２Ｒ０１～２Ｒ３０を有する。また、各センサシステムは、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０をそれぞれ有する。つまり、センサ群２００、２０１、２０２の各々は、被写体を複数の方向から撮影するための複数のカメラをそれぞれ有する。
　図２に一例を示すように、センサ群２００のセンサシステム２Ｌ０１～２Ｌ３０は、注視点２０００を注視点として各カメラ１１２の設置がされている。同様に、センサ群２０１のセンサシステム２Ｃ０１～２Ｃ３０は、注視点２００１を注視点として各カメラ１１２の設置がされ、センサ群２０２のセンサシステム２Ｒ０１～２Ｒ３０は、注視点２００２を注視点として各カメラ１１２が設置されている。注視点２０００に対応するセンサシステム２Ｌ０１～２Ｌ３０のカメラ１１２は、領域２１００の範囲を撮影する。また、センサシステム２Ｃ０１～２Ｃ３０のカメラ１１２は、領域２１０１の範囲を撮影し、センサシステム２Ｒ０１～２Ｒ３０のカメラ１１２は、領域２１０２の範囲を撮影する。ここでは３０台のセンサシステムで１つのセンサ群を構成する例を示したが、数やその配置はこれに限定されない。
　センサ群２００について動作を説明する。
　画像処理システム１００は、ユーザからの指示等に応じた制御を行うために、制御ステーション３１０及び仮想カメラ操作ＵＩ（ユーザインターフェース）３３０を有する。制御ステーション３１０は、画像処理システム１００が有するそれぞれの機能部（ブロック）に対してネットワークを通じて動作状態の管理及びパラメータの設定・制御等を行う。３０台のセンサシステム２Ｌ０１～２Ｌ３０により得られる画像及び音声を、センサシステム２Ｌ３０からスイッチングハブ１８０を介して、サーバフロントエンド２３０へ送信する動作について説明する。ここで、センサシステム２Ｌ０１～２Ｌ３０は、ネットワーク１８０ａ、１７１、１８０ｂを介して、デイジーチェーンにより接続される。
　センサシステム２Ｌ０１～２Ｌ２９は、カメラ１１２により撮影した画像をカメラアダプタ１２０に入力し、撮影した画像にカメラを識別するためのカメラ識別子を付与してネットワーク１７１に送出する。センサシステム２Ｌ３０は、カメラ１１２により撮影した画像をカメラアダプタ１２０に入力し、撮影した画像にカメラを識別するためのカメラ識別子を付与する。そして、センサシステム２Ｌ３０は、センサ群２００の各カメラ１１２で撮影した画像をネットワーク１８０ｂに送出する。ネットワーク１８０ｂに送出された画像は、スイッチングハブ１８０及びネットワーク２１１ａを介してサーバフロントエンド２３０に入力される。
　なお、本実施形態において、特別な説明がない場合、センサシステム２Ｌ０１からセンサシステム２Ｌ３０までの３０セットのセンサシステムを区別せずにセンサシステム２Ｌと記載する。各センサシステム２Ｌ内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０と記載する。また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。
　また、複数のセンサシステム２Ｌ同士がデイジーチェーンとなるようカスケード接続されている例を示したが、これに限られるものではない。例えば、各センサシステム２Ｌ０１～２Ｌ３０がスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム２Ｌ間のデータ送受信を行うスター型のネットワーク構成としても良い。また、例えば、複数のセンサシステム２Ｌをいくつかのグループに分割して、分割したグループ単位でセンサシステム２Ｌ間をデイジーチェーン接続しても良い。また、グループ内のセンサシステム２Ｌが１つである場合、スター型の接続でももちろん構わない。
　また、センサシステム２Ｌは、前述した構成に限定されるものではなく、例えば、カメラ１１２とカメラアダプタ１２０とが一体となって構成されていても良い。また、この場合、マイク１１１は一体化されたカメラ１１２に内蔵されていてもよいし、カメラ１１２の外部に接続されていてもよい。また、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していても良い。センサシステム２Ｌ０１～２Ｌ３０は同じ構成に限定されるものではなく、異なる構成であっても良い。
　また、本実施形態では仮想視点画像の生成に３次元モデルを構築するＭｏｄｅｌ　Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ（以下、ＭＢＲと略す）の手法を用いて説明するが、これに限定されない。
　また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近い位置に設置されたセンサシステム２Ｌのマイク１１１により集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声はともに処理されるものとする。
　つまり、センサシステム２Ｌ０１のマイク１１１にて集音された音声と、カメラ１１２にて撮影された画像は、カメラアダプタ１２０において画像処理が施された後、ネットワーク１７１を介してセンサシステム２Ｌ０２のカメラアダプタ１２０に伝送される。同様に、センサシステム２Ｌ０２は、集音された音声と撮影された画像をセンサシステム２Ｌ０１から取得した画像及び音声のデータと合わせて、ネットワーク１７１を介してセンサシステム２Ｌ０３に伝送する。この動作を続けることにより、センサシステム２Ｌ０１～２Ｌ３０により取得した画像及び音声が、センサシステム２Ｌ３０からネットワーク１８０ｂ、２１１ａ及びスイッチングハブ１８０を介してサーバフロントエンド２３０へ伝送される。
　センサ群２０１、２０２についても同様である。センサシステム２Ｃ０１～２Ｃ３０は、ネットワーク１８０ｃ、１７２、１８０ｄを介してデイジーチェーンにより接続され、センサシステム２Ｒ０１～２Ｒ３０は、ネットワーク１８０ｅ、１７３、１８０ｆを介してデイジーチェーンにより接続される。センサシステム２Ｃ０１～２Ｃ３０により取得した画像及び音声は、センサシステム２Ｃ３０からネットワーク１８０ｄ、２１１ｂ及びスイッチングハブ１８０を介してサーバフロントエンド２３１へ伝送される。また、センサシステム２Ｒ０１～２Ｒ３０により取得した画像及び音声は、センサシステム２Ｒ３０からネットワーク１８０ｆ、２１１ｃ及びスイッチングハブ１８０を介してサーバフロントエンド２３２へ伝送される。
　図１においては、デイジーチェーンとなるようセンサ群２００、２０１、２０２内部のすべてがカスケード接続されている構成を示したが、これに限定するものではない。例えば、センサ群２００のセンサシステム２Ｌ３０とセンサ群２０１のセンサシステム２Ｃ０１とを接続し、センサ群２０１のセンサシステム２Ｃ３０とセンサ群２０２のセンサシステム２Ｒ０１とを接続してデイジーチェーンとしてもよい。
　タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム２Ｌ０１～２Ｌ３０、２Ｃ０１～２Ｃ３０、２Ｒ０１～２Ｒ３０のそれぞれに時刻及び同期信号を配信する。時刻及び同期信号を受信したセンサシステムのカメラアダプタ１２０は、カメラ１１２を時刻と同期信号をもとに外部同期（Ｇｅｎｌｏｃｋ）させ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。
　次に、センサ群２００のセンサシステム２Ｌ０１～２Ｌ３０により取得した画像及び音声が伝送されるサーバフロントエンド２３０の構成及び動作について説明する。サーバフロントエンド２３０は、センサシステム２Ｌ３０から取得した画像及び音声から、セグメント化された伝送パケットを再構成してフレームデータのデータ形式を変換する。さらに、サーバフロントエンド２３０は、再構成されたフレームデータから選手等の対象（以下、「オブジェクト」とも称する）を切り出し、切り出した結果を前景画像として、全カメラからの画像から、その３次元モデルを生成する。
　３次元モデルの生成については様々な手法があり、例えばＶｉｓｕａｌ　Ｈｕｌｌ（視体積交差法）といった方式を用いることができる。例えば、生成された３次元モデルは点群として表現される。例えば、３次元モデルにおいて存在する点の数を表し、各点について、注視点を原点とする座標系でのｘ座標、ｙ座標、ｚ座標で表すことができる。ただし、これに限定されず、注視点を原点として空間をボクセルで分割し、物体が存在するボクセルを“１”とし存在しないボクセルを“０”として２値化し、それをｘ軸、ｙ軸、ｚ軸方向にスキャンして２値データの１次元データとして符号化しても構わない。サーバフロントエンド２３０は、３次元モデルにそれを識別する識別子を付与して、３次元モデルの点群データとともに、フレーム番号に応じてデータベース２５０に書き込む。
　さらに、サーバフロントエンド２３０は、前景画像をカメラ識別子、注視点の識別子、関連する３次元モデルの識別子、フレーム番号に応じてデータベース２５０に書き込む。ここでは、時刻を表す情報として、フレーム番号を用いているが、これに限定されず、タイムコードであっても良い。データベース２５０には、カメラの識別子で識別される注視点、カメラの位置、方向、画角が、カメラの設定時のカメラ設定情報として格納されている。データベース２５０は、入力されたフレーム番号単位で３次元モデルの識別子毎にそのオブジェクトの位置情報を記載したオブジェクト位置情報リストを生成する。
　データベース２５０には、さらに図２に示した注視点２００１を競技場の座標の原点（０、０、０）とした場合の各注視点２０００、２００２の位置情報が格納されている。なお、注視点２０００、２００１、２００２ともにｘ軸、ｙ軸、ｚ軸があらわす方向は同じものとする。すなわち、本実施形態では注視点２０００、２００１、２００２は、同一線上にあり、これを結ぶ方向をｘ軸とする。ｘ軸は、注視点２００１から注視点２０００への方向を負とし、注視点２００１から注視点２００２への方向を正とする。ｙ軸は、ｘ軸と直交しており、注視点２００１から競技場正面のメインスタンド方向を負とし、バックスタンド方向を正とする。図２においては、下（例えば、センサシステム２Ｌ０８が設置されている側）がメインスタンド、上（例えば、センサシステム２Ｌ０１が設置されている側）がバックスタンドとする。ｚ軸は、ｘ軸及びｙ軸に直交しており、グラウンド面を原点とし、上方に向かって正とする。
　図３に、ｘ軸、ｙ軸、ｚ軸及び注視点２０００、２００１、２００２を示す。競技場の座標の原点２００１－０とする注視点２００１に対して、注視点２０００はｘ方向に（－ｄｘ０）だけ離れており、注視点２００２はｘ方向にｄｘ１だけ離れている。したがって、注視点２０００は注視点２００１に対して（－ｄｘ０、０、０）となり、注視点２００２は注視点２００１に対して（ｄｘ１、０、０）となる。前述したオブジェクト位置情報リストに記載されるオブジェクトの位置情報は、これらの注視点の位置のずれを補正した注視点２００１を原点とする世界座標で記述されている。なお、軸の方向、及び注視点の位置関係は、これに限定されない。また、競技場の座標の原点の位置も、これに限定されず、フィールドのいずれかのコーナーを原点にしたり、メインスタンドに原点を置いたりしてもよい。また、競技場の原点に必ずしも注視点が存在する必要はない。
　同様に、サーバフロントエンド２３１、２３２においても、各注視点を原点とする位置情報を有する３次元モデルのデータと位置情報とが前景画像とともにデータベース２５０に書き込まれる。
　図４に、第１の実施形態における３次元モデルのデータの構成例を示す。図４の（Ａ）に一例を示すように、３次元モデルのデータは、各時刻で管理されており、データの先頭にその時刻を表すタイムコードが付与されており、その後に注視点の数が整数で示されている。図２に示した例では、注視点が３つであるので注視点数は３である。それに続いて、第１注視点へのポインタが指定されている。ここでは、第１注視点は注視点２０００とする。このポインタは同じファイルであれば、そこから読み飛ばすデータサイズであったり、別なファイルポインタであったりしても構わない。
　第１注視点へのポインタにより指定されるデータには、図４の（Ｂ）に一例を示すように第１注視点の原点の位置が示されている。第１注視点の競技場の原点からのｘ座標、ｙ座標、ｚ座標、すなわち（－ｄｘ０）、０、０の値が順に記載されており、続いて、第１注視点に含まれるオブジェクトの数が記載されている。その後、各オブジェクトへのポインタが指定されており、そのポインタにより各オブジェクトの点群にアクセスが可能になっている。第１オブジェクトの点群データは、図４の（Ｃ）に一例を示すように、まず、第１オブジェクトを構成する点の数が記載されており、各点のｘ座標、ｙ座標、ｚ座標が順に入っている。第１注視点の他のオブジェクトについても同様にデータが生成されている。また、他の注視点についても同様にデータが生成されている。
　図１に戻り、バックエンドサーバ３００は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。仮想カメラ操作ＵＩ３３０は、情報設定手段及び抽出手段の一例である。バックエンドサーバ３００は、受け付けた仮想視点に基づいて、データベース２５０から対応する前景画像、３次元モデルデータ及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。ここで、バックエンドサーバ３００は、注視点毎に仮想視点画像を生成する。バックエンドサーバ３００において、仮想視点画像生成部２７０は、注視点２０００に対応する領域２１００の仮想視点画像を生成する。また、仮想視点画像生成部２７１は、注視点２００１に対応する領域２１０１の仮想視点画像を生成し、仮想視点画像生成部２７２は、注視点２００２に対応する領域２１０２の仮想視点画像を生成する。また、仮想視点背景画像生成部２７５は、仮想視点からの背景画像を生成する。仮想視点画像生成部２７０、２７１、２７２は、画像生成手段の一例である。
　仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を行う。以後、これらの仮想カメラの位置、方向、画角等の情報を仮想カメラ情報とも称する。仮想カメラ操作ＵＩ３３０で設定された仮想カメラ情報は、バックエンドサーバ３００に出力される。なお、以下では、画像についてのみ説明する。例えば、図５に示すように、センサシステム２Ｌ１９とセンサシステム２Ｌ２０との間に仮想カメラ２７００を設定したとする。図５において、図２に示した構成要素と同一の構成要素には同一の符号を付している。図５において、４２００は仮想カメラ２７００の画角を表す。
　バックエンドサーバ３００は、仮想カメラ２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ情報をデータベース２５０に入力する。データベース２５０は、入力された仮想カメラ情報に基づいて、各センサシステム２Ｌ０１～２Ｌ３０、２Ｃ０１～２Ｃ３０、２Ｒ０１～２Ｒ３０の撮影した前景画像を検索して選択する。また、データベース２５０は、入力された仮想カメラ情報に基づいて、サーバフロントエンド２３０、２３１、２３２で生成された３次元モデルから必要なデータを検索して選択する。
　また、仮想カメラ２７００の仮想カメラ情報から、画角４２００に含まれる実空間上の撮影範囲が決定される。なお、この仮想カメラの位置情報は、注視点２００１を世界座標の原点とする位置で表される。この撮影範囲に各注視点や各オブジェクトが含まれるかどうかは、その位置と撮影範囲との比較によって決定される。図５に示した例では、撮影範囲４０００、４００１、４００２を合わせた領域が撮影範囲であるとする。ここでは、撮影範囲４０００の仮想視点画像は、注視点２０００を含むので仮想視点画像生成部２７０が生成する。また、撮影範囲４００１の仮想視点画像は、注視点２００１を含むので仮想視点画像生成部２７１が生成し、撮影範囲４００２の仮想視点画像は、注視点２００２を含むので仮想視点画像生成部２７２が生成する。
　画角４２００の仮想視点画像を生成する画像は、仮想カメラ２７００により撮影される範囲を仮想カメラ情報に基づいて特定することで選択される。また、図５に示すように、画角４２００には領域２１０１、２１０２、２１０３が含まれ、領域２１０１と領域２１０２、領域２１０２と領域２１０３の間には重なる部分がある。これらの部分にオブジェクトが入っている場合、いずれの注視点からの３次元モデルデータを用いるか、その前景画像を用いるかを決定する。決定方法については、それぞれのオブジェクトの位置に近い注視点の３次元モデルデータ及び前景画像を用いるものとする。ただし、これに限定されるものではなく、例えば、仮想視点に近い注視点の３次元モデルデータ及び前景画像を用いても良い。すなわち、仮想カメラ２７００に係る仮想視点画像を生成する場合、領域２１００と領域２１０１の重なった部分のオブジェクトについては、注視点２０００の３次元モデルデータと前景画像を用いて仮想視点画像を生成する。または、仮想カメラ２７００から見た仮想視点画像を生成する場合、そのオブジェクトを撮影したカメラが多い方の注視点の３次元モデルデータ及び前景画像を採用してもよい。例えば、領域２１００と領域２１０１の重なった部分のオブジェクトを例にとって説明する。注視点２０００に関しては、センサシステムの位置、画角からセンサシステム２Ｌ１４～センサシステム２Ｌ２５の１２台がオブジェクトを撮影している。注視点２００１に関しては、センサシステムの位置、画角からセンサシステム２Ｃ１９～センサシステム２Ｌ２８の１０台がオブジェクトを撮影している。したがって、この場合は注視点２０００を撮影するセンサシステムの方が多いので、注視点２０００の３次元モデルデータと前景画像を用いて仮想視点画像を生成する。
　仮想視点画像生成部２７０における領域２１００に関する仮想視点画像の生成について説明する。図６は、仮想視点画像生成部２７０の構成例を示す図である。端子６０１には、仮想視点カメラ操作ＵＩ３３０から仮想カメラ情報と仮想視点映像を生成するフレーム番号の情報が入力される。端子６０２はデータベース２５０に接続されており、データベース２５０からオブジェクト位置情報リストを読み込み、さらに、画像生成に必要な前景画像や３次元モデルデータの要求を送出する。端子６０３にはデータベース２５０から読み出された前景画像データや３次元モデルデータが入力される。端子５０４は生成された仮想視点カメラ画像で選手等のオブジェクトの画像データを出力する。
　３次元モデル選択部６２０は、領域内のオブジェクトを生成するのに必要な３次元モデルデータの識別子を指定する。前景画像選択部６３０は、オブジェクトの画像を生成するのに必要な３次元モデルデータの識別子と仮想カメラの画角及びカメラ位置情報から、テクスチャマッピングに必要な前景画像のデータを決定する。画像バッファ６００は、データベース２５０から入力された前景画像を格納する。モデルバッファ６１０は、データベース２５０から入力された３次元モデルデータを格納する。レンダリング部５４０は、入力された３次元モデルデータ及び前景画像からオブジェクトの仮想視点画像を生成する。
　図７は、第１の実施形態における仮想視点画像の生成動作の例を示すフローチャートである。ステップＳ７００にて、不図示のユーザにより仮想カメラ操作ＵＩ３３０によって、仮想カメラ位置、方向、画角が決定される。ステップＳ７０１にて、仮想カメラ操作ＵＩ３３０は、仮想カメラ情報に基づいて、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。撮影範囲が示す空間と各注視点の位置を世界座標上で比較することにより、注視点が撮影範囲に含まれるか否かを判断する。ステップＳ７０２にて、バックエンドサーバ３００は、ステップＳ７０１において選択された注視点に対応する仮想視点画像生成部２７０～２７２を処理開始が可能な状態にする。
　以降の処理は、選択された仮想視点画像生成部内部の動作である。
　ステップＳ７０３にて、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、仮想カメラ操作ＵＩ３３０により決定された仮想カメラ情報と仮想視点画像を生成するフレームのフレーム番号とが端子６０１を介して入力される。ステップＳ７０４にて、３次元モデル選択部６２０は、入力されたフレーム番号のオブジェクト位置情報リストをデータベース２５０に端子６０２を介して要求し、これを受領する。ステップＳ７０５にて、３次元モデル選択部６２０は、ステップＳ７０４において取得したオブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する。
　ステップＳ７０６にて、３次元モデル選択部６２０は、ステップＳ７０５において決定した３次元モデル識別子、及びフレーム番号を、端子６０２を介してデータベース２５０に送信し、データを要求する。ステップＳ７０７にて、データベース２５０は、受信した３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを読み出す。ステップＳ７０８にて、ステップＳ７０７において読み出された３次元モデルデータとその３次元モデル識別子、及びフレーム番号が、端子６０３を介してモデルバッファ６１０に格納される。
　ステップＳ７０９にて、前景画像選択部６３０は、端子６０１から入力された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する。さらに、前景画像選択部６３０は、選択された前景画像を撮影したカメラ識別子を選択する。この際、仮想視点から見えない面を撮影したカメラは選択されない。
　ステップＳ７１０にて、前景画像選択部６３０は、３次元モデル識別子、選択されたカメラ識別子、及びフレーム番号を、端子６０２を介してデータベース２５０に送信し、データを要求する。ステップＳ７１１にて、データベース２５０は、受信した３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを読み出す。ステップＳ７１２にて、ステップＳ７１１において読み出された前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号が、端子６０３を介して画像バッファ６００に格納される。
　ステップＳ７１３にて、レンダリング部６４０は、３次元モデル識別子とフレーム番号に基づいて、３次元モデルデータをモデルバッファ６１０から読み出す。また、レンダリング部６４０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、画像バッファ６００から前景画像を読み出す。そして、レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。また、生成された画像の最終的な画像での画像位置情報を算出する。生成された仮想視点画像と画像位置情報は、端子６０４から出力される。
　図８は、第１の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。まず、仮想カメラ操作ＵＩ３３０は、不図示のユーザによる入力に従って仮想カメラ位置、方向、画角を決定する。仮想カメラ操作ＵＩ３３０は、仮想カメラ情報に基づき、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。仮想カメラ操作ＵＩ３３０が選択した注視点に対応する仮想視点画像生成部２７０～２７２を選択し、仮想カメラ操作ＵＩ３３０は選択された仮想視点画像生成部を処理開始が可能な状態にする。そして、仮想カメラ操作ＵＩ３３０は、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、決定した仮想カメラ情報と仮想視点映像を生成するフレームのフレーム番号を送信する（８０１）。
　３次元モデル選択部６２０は、入力されたフレーム番号の当該注視点のオブジェクト位置情報リストをデータベース２５０に要求する（８０２）。データベース２５０は、該当する注視点の該当するフレーム番号の位置情報リストを検索して読み出し（８０４）、３次元モデル選択部６２０に送信する（８０４）。
　３次元モデル選択部６２０は、オブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する（８０５）。その後、３次元モデル選択部６２０は、決定したオブジェクトの３次元モデル識別子、及びフレーム番号を、前景画像選択部６３０とデータベース２５０に送信する（８０６）。データベース２５０は、３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを検索して読み出す（８０７）。そして、データベース２５０は、読み出した３次元モデルデータとその３次元モデル識別子、及びフレーム番号を、モデルバッファ６１０を介してレンダリング部６４０に送信する（８０８）。
　また、前景画像選択部６３０は、仮想カメラ操作ＵＩ３３０から送信された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する（８０９）。前景画像選択部６３０は、選択した前景画像を撮影したカメラ識別子を選択する。前景画像選択部６３０は、オブジェクトの３次元モデル識別子、選択したカメラ識別子、及びフレーム番号を、データベース２５０に送信する（８１０）。データベース２５０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを検索して読み出す（８１１）。そして、データベース２５０は、読み出した前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号を、画像バッファ６００を介してレンダリング部６４０に送信する（８１２）。
　レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。このようにして、各仮想視点画像生成部２７０、２７１、２７２において、注視点毎に仮想視点からの画像を生成する。
　図１に戻り、仮想視点画像生成部２７０～２７２で生成された画像は合成部２８０に入力される。また、仮想視点背景画像生成部２７５は、データベース２５０に格納された背景画像データを用いて、仮想視点からの背景画像を生成し、合成部２８０に入力する。具体的には、仮想視点背景画像生成部２７５は、仮想カメラ操作ＵＩ３３０から入力される仮想カメラ位置、画角等に基づいて、実際に撮影した画像又はＣＧ等から背景画像を生成する。
　合成部２８０は、仮想視点背景画像生成部２７５で生成された背景画像と各仮想視点画像生成部２７０～２７２で生成された画像データをそれぞれの撮影範囲に合わせて合成する。以下、合成部２８０による画像の合成を図９～図１１を用いて説明する。
　図９は、仮想視点背景画像生成部２７５で生成された背景画像の一例を示す図である。図９において、９００は背景画像全体を示し、９５０は設定された画角を示す。９０１、９０２、９０３は注視点で担当する撮影範囲を示す。撮影範囲９０１は、注視点２０００を向いたカメラで構成される撮影範囲を示し、撮影範囲９０２は注視点２００１を向いたカメラで構成される撮影範囲を示し、撮影範囲９０３は注視点２００２を向いたカメラで構成される撮影範囲を示す。
　図１０は、各仮想視点画像生成部２７０～２７２で生成された画像の例を表す。撮影範囲９０３には、注視点２００２を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。撮影範囲９０２には、注視点２００１を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。撮影範囲９０１には、注視点２０００を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。
　合成部２８０は、画像の合成にあたって、遠方の注視点の画像から合成を行う。これにより、遠景のオブジェクトと近景のオブジェクトとが重なった場合、自然に遠景のオブジェクトは近景のオブジェクトに隠される。図１１に、背景画像と合成された画像を示す。前述のようにして合成された合成画像は、出力部２８５に送信され、外部に出力される。
　以上のように本実施形態によれば、仮想視点画像の生成に関連して、品質を低下させることなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、各オブジェクトを正確にモデル化し、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。例えば、注視点２００１を向いたカメラで撮影された画像のみから図１１のような画像を生成しようとした場合、撮影範囲９０２内の選手の画質は本発明と変わらない。しかしながら、撮影範囲９０１、９０３内の選手はピントがずれるため、ぼけた画像になり、正確な３次元モデル生成や、高品質な前景画像のテクスチャマッピングが行えない。それに対して、本実施形態では、このような品質の低下を防ぎ、仮想視点から近いにもかかわらず遠景よりもぼけた不正確な画像を提供することがない。
　また、本実施形態では、３次元モデルを生成して仮想視点画像を生成する方法についてＭＢＲを用いて説明した。特にその方法は限定されず、３次元モデルを構築しないＩｍａｇｅ　Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）や別な方法を用いても構わない。以下にその一例として、ＩＢＲを用いる例について説明する。
　図１において、サーバフロントエンド２３０、２３１、２３２は、再構成されたフレームデータから選手等の対象を切り出して前景画像のみを生成する。また、サーバフロントエンド２３０、２３１、２３２は、前景画像をカメラ識別子、注視点の識別子、フレーム番号に応じてデータベース２５０に書き込む。バックエンドサーバ３００は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。バックエンドサーバ３００は、受け付けた仮想視点に基づいて、データベース２５０から対応する前景画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。バックエンドサーバ３００は注視点毎に仮想視点映像を生成する。仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を行う。
　以下に、仮想視点画像生成部２７０を例にとって説明するが、仮想視点画像生成部２７１、２７２も同様である。仮想視点画像生成部２７０は、仮想カメラ２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ操作ＵＩ３３０から仮想カメラ情報が入力される。この仮想カメラ情報に基づいて、各センサシステム２Ｌ０１～２Ｌ３０、２Ｃ０１～２Ｃ３０、２Ｒ０１～２Ｒ３０の撮影した前景画像から必要なデータを検索して選択する。データベース２５０は、仮想カメラ２７００の仮想カメラ情報から、画角４２００に含まれる実空間上の撮影範囲を決定する。なお、仮想カメラの位置情報は注視点２００１を世界座標の原点とする位置で表される。
　前述した実施形態と同様に、仮想視点画像生成部２７０における領域２１００に関する仮想視点画像の生成について述べる。図１２は、仮想視点画像生成部２７０の他の構成例を示す図である。図１２において、図６に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。前景画像選択部１２３０は、仮想カメラの画角及びカメラ位置情報から、オブジェクトの画像を生成するのに必要なカメラを選択し、必要な前景画像のデータを決定する。画像バッファ１２００は、データベース２５０から入力された前景画像を格納する。レンダリング部１２４０は、入力された前景画像からオブジェクトの仮想視点画像を生成する。前景画像選択部１２３０は、それぞれの注視点を撮影しているカメラの位置情報を事前に蓄積している。なお、カメラの位置情報については外部からの読み込みを行っても良い。
　ＩＢＲの方法は特に限定せず、例えば非特許文献１に記載されているように、２台のカメラからの画像に基づいて画像を生成する。前景画像選択部１２３０は、仮想視点カメラの位置から最も近傍のカメラ２台を選択する。仮想視点画像生成部２７０においては、図５に示した仮想視点カメラ２７００に対して、センサシステム２Ｌ１９とセンサシステム２Ｌ２０とのカメラの前景映像が選択される。同様に、仮想視点画像生成部２７１の前景画像選択部１２３０においては、センサシステム２Ｃ２３とセンサシステム２Ｃ２４が選択される。さらに、仮想視点画像生成部２７２の前景画像選択部１２３０においては、センサシステム２Ｒ２７とセンサシステム２Ｒ２８が選択される。
　前景画像選択部１２３０は、該当するフレーム番号とそれぞれのセンサシステムのカメラの識別子を、端子６０２を介してデータベース２５０に送信し、データを要求する。データベース２５０は、受信したフレーム番号、及びカメラ識別子に基づいて、必要な前景画像のデータを読み出す。読み出された前景画像データとそのフレーム番号、及びカメラ識別子は、端子６０３を介して画像バッファ１２００に格納される。レンダリング部１２４０は、カメラ識別子、及びフレーム番号に基づいて、画像バッファ１２００から前景画像を読み出す。レンダリング部１２４０は、２つのカメラの前景画像からモーフィング等の手法を用いて仮想視点からの画像を生成する。また、生成された画像の最終的な画像での画像位置情報を算出する。生成された仮想視点画像と画像位置情報は端子６０４から出力される。
　以上のようにして、仮想視点映像の生成に関連して、３次元モデルを用いないＩＢＲによっても、品質を低下させることなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、本実施形態では、仮想視点カメラに対して、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。
　なお、前述した実施形態における画像処理システム１００は、以上説明した物理的な構成に限定されるわけではなく、論理的に構成されていても良い。また、センサ群２００、２０１、２０２をスイッチングハブ１８０に接続しているが、これに限定されず、これらのセンサ群に関してもカスケード接続を行ってももちろん構わない。また、複数の仮想視点画像生成部を用いる例を示したが、これに限定されず、１つの仮想視点画像生成部によって、時分割や複数のスレッドでの並列処理を行うことで実現しても良い。
　なお、前述した実施形態では、各注視点間の位置情報の差を用いて説明したが、これに限定されず、カメラ位置、注視点位置等を１つの原点に基づく世界座標で計算してももちろん構わない。すなわち、図４の（Ｃ）において、各点群の情報をそれぞれの注視点原点からの座標ではなく、それぞれの点の座標に注視点の競技場原点からの座標を加算したものを格納しても構わない。なお、本実施形態においては、注視点が固定であるため、注視点の位置情報をリストにしてデータベース２５０に保存したり、サーバフロントエンド２３０～２３２とバックエンドサーバ３００に固定値として格納したりすることも可能である。
　また、前述の実施形態において、仮想カメラから遠い注視点に含まれるオブジェクトの解像度を、仮想カメラから近い注視点に含まれるオブジェクトの解像度より低く抑えてレンダリングすることも可能である。すなわち、遠方のオブジェクトは合成時に小さくなるため、元の解像度を抑えることで、高速な処理が可能になる。これはＩＢＲにおいて、遠い注視点に含まれるオブジェクトの３次元モデルの解像度を下げることで、高速なモデル生成とレンダリングが可能になる。また、前述の実施形態ではサッカー等の競技場を例にとって説明したが、これに限定されない。例えば、野球やバスケットボール、スケート等の競技であっても構わないし、舞台や映画のセットであっても構わない。
（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。
　図１３は、第２の実施形態における画像処理システム１００の構成例を示す図である。図１３において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。サーバフロントエンド１３３０、１３３１、１３３２は、センサシステムから取得したデータの処理を行う。サーバフロントエンド１３３０～１３３２は、第１の実施形態におけるサーバフロントエンド２３０～２３２とは、制御ステーション１３１０から各注視点の位置情報を取得し、それぞれのデータに競技場原点からの位置情報を付与することが異なる。
　図１４に、第２の実施形態における競技場の注視点の例を示す。本実施形態では、スキーのエアリアル競技を例にとって説明する。本実施形態でも、注視点は３つとして説明するが、これに限定されない。注視点１２０００、１２００１、１２００２は、撮影開始時の注視点を表し、注視点１２００１を競技場の原点１２００１－０とする。センサシステム１２Ｌ０１～１２Ｌ０６は、注視点１２００２に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。センサシステム１２Ｃ０１～１２Ｃ０６は、注視点１２００１に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。センサシステム１２Ｒ０１～１２Ｒ０６は、注視点１２００２に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。ここでは各注視点に対して６台のセンサシステムを用いる例を示したが、これに限定されない。
　図１５に、それぞれの注視点の撮影範囲を示す。注視点１２０００に対応するセンサシステム１２Ｒ０１～１２Ｒ０６のカメラ１１２は、領域１２１００の範囲を撮影する。また、注視点１２００１に対応するセンサシステム１２Ｃ０１～１２Ｃ０６のカメラ１１２は、領域１２１０１の範囲を撮影し、注視点１２００２に対応するセンサシステム１２Ｌ０１～１２Ｌ０６のカメラ１１２は、領域１２１０２の範囲を撮影する。ここで、図１４に示すように、注視点１２００１は競技場の原点であり、座標は（０，０，０）となる。また、注視点１２０００は競技場の座標では（ｄｘ１、ｄｙ１、－ｄｚ１）となり、注視点１２００２は競技場の座標では（－ｄｘ０、－ｄｙ０、ｄｚ０）となる。
　センサシステム１２Ｌ０１のマイク１１１にて集音された音声と、カメラ１１２にて撮影された画像は、カメラアダプタ１２０において画像処理が施された後、ネットワーク１７１を介してセンサシステム１２Ｌ０２のカメラアダプタ１２０に伝送される。同様に、センサシステム１２Ｌ０２は、集音された音声と撮影された画像をセンサシステム１２Ｌ０１から取得した画像及び音声のデータと合わせて、ネットワーク１７１を介してセンサシステム１２Ｌ０３に伝送する。この動作を続けることにより、センサシステム１２Ｌ０１～１２Ｌ０６により取得した画像及び音声が、センサシステム１２Ｌ０６からネットワーク１８０ｂ、２１１ａ及びスイッチングハブ１８０を介してサーバフロントエンド１３３０へ伝送される。
　制御ステーション１３１０は、撮影ないし撮影の合間に雲台１１３を制御し、カメラ１１２の方向を動かすことで、注視点を移動させることができる。制御ステーション１３１０が雲台１１３を用いて新たな注視点を設定した場合について説明する。例えば、注視点１２００２を（ｓｘ１、ｓｙ１、ｓｚ１）だけ移動させる場合、制御ステーション１３１０は、センサシステム１２Ｌ０１～１２Ｌ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ａを通して、サーバフロントエンド１３３０に入力される。
　同様に、注視点１２００１を移動させる場合、制御ステーション１３１０は、センサシステム１２Ｃ０１～センサシステム１２Ｃ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ｂを通して、サーバフロントエンド１３３１に入力される。また、注視点１２０００を移動させる場合、制御ステーション１３１０は、制御ステーション１３１０は、センサシステム１２Ｒ０１～センサシステム１２Ｒ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ｃを通して、サーバフロントエンド１３３２に入力される。
　本実施形態において、サーバフロントエンド１３３０は、センサシステム１２Ｌ０６から取得した画像及び音声から、セグメント化された伝送パケットを再構成してフレームデータのデータ形式を変換する。さらに、サーバフロントエンド１３３０は、第１の実施形態におけるサーバフロントエンド２３０と同様に、再構成されたフレームデータから選手等の対象を切り出し、切り出した結果を前景画像として、全カメラからの画像から、その３次元モデルを生成する。ここでは、生成される３次元モデルは、第１の実施形態と同様に点群で表されるものとする。サーバフロントエンド１３３０は、３次元モデルにそれを識別する識別子が付与されて、３次元モデルの点群データとともに、フレーム番号に応じてデータベース２５０に書き込む。
　図１６に、第２の実施形態における３次元モデルのデータの構成例を示す。図１６の（Ａ）に一例を示すように、３次元モデルのデータは、各時刻で管理されており、データの先頭にその時刻を表すタイムコードが付与されており、その後に注視点の数が整数で示されている。図１４に示した例では、注視点が３つであるので注視点数は３である。それに続いて、第１注視点へのポインタが指定されている。ここでは、第１注視点は注視点１２００２とする。このポインタは同じファイルであれば、そこから読み飛ばすデータサイズであったり、別なファイルポインタであったりしても構わない。
　第１注視点へのポインタにより指定されるデータには、図１６の（Ｂ）に一例を示すように第１注視点の原点の位置が示されている。第１注視点の競技場の原点からのｘ座標、ｙ座標、ｚ座標、すなわち、（－ｄｘ０）、（－ｄｙ０）、ｄｚ０の値が順に記載されており、続いて、第１注視点に含まれるオブジェクトの数が記載されている。その後、各オブジェクトへのポインタが指定されており、そのポインタにより各オブジェクトの点群にアクセスが可能になっている。また、第１オブジェクトを構成する点の数が続いて記載されており、座標を表現するデータのデータ長と点の数から、第１オブジェクトの３次元データのデータ量を計算でき、一括してデータを取得することが可能である。
　第１オブジェクトの点群データは、図１６の（Ｃ）に一例を示すように、第１オブジェクトの外接立方体の原点のｘ座標、ｙ座標、ｚ座標が記載されている。続いて、第１オブジェクトの外接立方体の大きさを表す、ｘ軸方向のサイズ（ｘサイズ）、ｙ軸方向のサイズ（ｙサイズ）、ｚ軸方向のサイズ（ｚサイズ）が入っている。それに続いて、各点のｘ座標、ｙ座標、ｚ座標が順に入っている。第１注視点の他のオブジェクトについても同様にデータが生成されている。また、他の注視点についても同様にデータが生成されている。
　ここで、第１オブジェクトを含む外接立方体を仮定する。図１７Ａ、１７Ｂにその様子を示す。外接立方体の原点が注視点を原点とした場合の位置を第１オブジェクトの外接立方体原点座標として記述する。本実施形態では、図１７Ａに示すように、その注視点を原点とする座標位置をｘ０、ｙ０、ｚ０とする。また、図１７Ｂに示すように、外接立方体の大きさをｘｓ０、ｙｓ０、ｚｓ０とする。以下、第１オブジェクトを構成する各点のｘ座標、ｙ座標、ｚ座標が、外接立方体の原点からの相対位置で順に入っている。
　バックエンドサーバ３００は、第１の実施形態と同様に、データベース２５０から３次元モデルデータ、及び前景画像を読み出し、レンダリング処理を行って仮想視点画像を生成する。ここで、バックエンドサーバ３００は、注視点毎に仮想視点画像を生成する。
　仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想カメラ情報を生成する。バックエンドサーバ３００は、図１５に示す仮想カメラ１２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ情報をデータベース２５０に入力する。データベース２５０は、入力された仮想カメラ情報に基づいて、各センサシステム１２Ｌ０１～１２Ｌ０６、１２Ｃ０１～１２Ｃ０６、１２Ｒ０１～１２Ｒ０６の撮影した前景画像を検索して選択する。また、データベース２５０は、入力された仮想カメラ情報に基づいて、サーバフロントエンド１３３０、１３３１、１３３２で生成された３次元モデルから必要なデータを検索して選択する。
　また、仮想カメラ１２７００の仮想カメラ情報から、画角１４２００に含まれる実空間上の撮影範囲が決定される。なお、この仮想カメラの位置情報は、注視点１２００１を世界座標の原点とする位置で表される。本実施形態では注視点が移動するため、画角に注視点が含まれるか否かは、図１６の（Ｂ）に示した、各注視点の競技場原点からの座標及びその領域が画角に含まれるか否かを判定する。また、この撮影範囲に各注視点や各オブジェクトが含まれるかどうかは、その位置と撮影範囲との比較によって決定される。この場合、データベース２５０は、まず、外接立方体でオブジェクトを表すため、まずは外接立方体が仮想視点１２７００からの視野に含まれるか否かを判定する。これは、画角に外接立方体の角の点が含まれるか否かで判断できる。
　図１５に示した例では、仮想視点画像には注視点１２００２を含むので、仮想視点画像生成部１２７２が仮想視点画像を生成する。また、仮想視点映像には注視点１２００１を含むので、仮想視点画像生成部１２７１が仮想視点画像を生成する。なお、仮想視点映像には注視点１２０００を含まないので、仮想視点画像生成部１２７０は動作しない。
　仮想視点画像生成部１２７２における領域１２１０２に関する仮想視点画像の生成について説明する。仮想視点画像生成部１２７２の構成は、第１の実施形態における仮想視点画像生成部２７０の構成と同様であるので説明は省略する。また、第１の実施形態における仮想視点画像の生成動作も、図７にフローチャートを示した第１の実施形態と同様である。ただし、本実施形態では、注視点が移動するため、ステップＳ７０１にて、注視点位置の情報をデータベース２５０の３次元モデルデータから読み出して比較する必要がある。また、ステップＳ７０５にて、オブジェクトの位置情報として、外接立方体の各点を参照する。
　図１８は、第２の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。まず、仮想カメラ操作ＵＩ３３０は、不図示のユーザによる入力に従って仮想カメラ位置、方向、画角を決定する。仮想カメラ操作ＵＩ３３０は、データベース２５０に画像生成するフレームの時刻を送り、当該時刻の注視点位置情報を要求する（１８０１）。データベース２５０は、それぞれの注視点の位置情報を仮想カメラ操作ＵＩ３３０に送る（１８０２）。仮想カメラ操作ＵＩ３３０は、仮想カメラ情報と注視点位置情報に基づき、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。仮想カメラ操作ＵＩ３３０が選択した注視点に対応する仮想視点映像生成部１２７０～１２７２を選択し、仮想カメラ操作ＵＩ３３０は選択された仮想視点映像生成部を処理開始が可能な状態にする。そして、仮想カメラ操作ＵＩ３３０は、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、決定した仮想カメラ情報と仮想視点映像を生成するフレームのフレーム番号を送信する（１８０３）。
　３次元モデル選択部６２０は、入力されたフレーム番号の当該注視点のオブジェクト位置情報リストをデータベース２５０に要求する（１８０４）。データベース２５０は、該当する注視点の該当するフレーム番号の位置情報リストを検索して読み出し（１８０５）、３次元モデル選択部６２０に送信する（１８０６）。
　３次元モデル選択部６２０は、オブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する（１８０７）。その後、３次元モデル選択部６２０は、決定したオブジェクトの３次元モデル識別子、及びフレーム番号を、前景画像選択部６３０とデータベース２５０に送信する（１８０８）。データベース２５０は、３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを検索して読み出す（１８０９）。そして、データベース２５０は、読み出した３次元モデルデータとその３次元モデル識別子、及びフレーム番号を、モデルバッファ６１０を介してレンダリング部６４０に送信する（１８１０）。
　また、前景画像選択部６３０は、仮想カメラ操作ＵＩ３３０から送信された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する（１８１１）。前景画像選択部６３０は、選択した前景画像を撮影したカメラ識別子を選択する。前景画像選択部６３０は、オブジェクトの３次元モデル識別子、選択したカメラ識別子、及びフレーム番号を、データベース２５０に送信する（１８１２）。データベース２５０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを検索して読み出す（１８１３）。そして、データベース２５０は、読み出した前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号を、画像バッファ６００を介してレンダリング部６４０に送信する（１８１４）。
　レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。このようにして、仮想視点画像生成部１２７０、１２７１、１２７２のうちの仮想視点画像の生成を行う仮想視点画像生成部において、注視点毎に仮想視点からの画像を生成する。
　合成部２８０は、第１の実施形態と同様に、仮想視点背景画像生成部２７５で生成された背景画像と各仮想視点映像生成部１２７０～１２７２で生成された画像データをそれぞれの撮影範囲に合わせて合成する。
　以上のようにして本実施形態によれば、仮想視点画像の生成に関連して、品質の低下を防ぎ、仮想視点から近いにもかかわらず遠景よりもぼけた不正確な画像を提供することなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、各オブジェクトを正確にモデル化し、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。また、移動するオブジェクトを追尾して、常にオブジェクトを注視点とすることが可能になる。これによりオブジェクトを常に最良のピントで撮影することができ、正確なオブジェクトの生成が可能になるとともに、遠距離からの仮想視点画像生成でも高品質を得ることが可能になる。
　なお、本実施形態では、注視点の位置情報は３次元モデルデータに含んで記録したが、これに限定されず、データベース２５０内にフレーム番号に対応付けして注視点の位置情報を別途リスト化しても構わない。また、前述した実施形態では、各注視点間の位置情報の差を用いて説明したが、これに限定されず、カメラ位置、注視点位置等を１つの原点に基づく世界座標で計算してももちろん構わない。すなわち、図１４において、各点群の情報をそれぞれの外接立方体原点からの座標ではなく、それぞれの点の座標に注視点原点からの座標を加算したものを格納しても構わない。さらには図１４において、各点群の情報をそれぞれの外接立方体原点からの座標ではなく、それぞれの点の座標に注視点原点と競技場原点からの座標を加算したものを格納しても構わない。
　なお、本実施形態では、遠景のオブジェクトを近景のオブジェクトで上書きすることで合成を行ったが、これに限定されない。例えば、各オブジェクトの位置や大きさは、例えば、外接立方体の大きさや位置を競技場原点、注視点座標、外接立方体の座標及びその大きさからその前後関係が導き出せる。これにより、近景のオブジェクトで隠れてしまう遠景のオブジェクトの生成を省略することができ、高速かつ低コストで画像生成が可能になる。
　なお、第１の実施形態と同様に仮想視点映像生成の方法はこれに限定されない。
（第３の実施形態）
　次に、本発明の第３の実施形態について説明する。
　図１９は、第３の実施形態における画像処理システム１００の構成例を示す図である。図１９において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。センサ３５０、３５１、３５２は、競技場の気象条件を感知する。気象条件の例としては、湿度、温度、天候等がある。バックエンドサーバ３０１は、仮想視点画像生成部２７０、２７１、２７２に加え、仮想視点画像補正部２７６、２７７、２７８を有する。競技場に関しては、第１の実施形態と同様として説明する。
　センサ３５０、３５１、３５２は、競技場の各所に配置されており、撮影時の環境条件として湿度と温度を測定する。これらを気象情報と呼ぶことにする。この気象情報は、データベース２５０に時刻毎に記録される。例えば、湿度が高ければ、大気中に水分子が多く存在し、遠距離の画像がかすんで見える。例えば、図５に示した例において、仮想カメラ２７００から撮影範囲４００２のオブジェクトは、気象条件によってはかすんで見えることになる。かすみに関してはすでにミー散乱としてモデル化されている。また、同様に、雨が降っていれば遠方の映像はかすんで見える。
　本実施形態において、各撮影範囲での仮想視点画像の生成に関しては第１の実施形態と同様である。仮想視点画像補正部２７６、２７７、２７８は、これらの気象情報、及び仮想カメラと注視点との距離に基づいて、かすみや光の減衰を計算して、生成した仮想視点画像にかすみ処理を施す。これにより、第１の実施形態と同様に、仮想視点画像の生成に関連して、品質を低下させることなく、仮想視点からの広域な画像を生成することができ、仮想視点画像の品質を向上させることができる。さらに、撮影時の気象条件に基づいて生成した仮想視点画像に補正処理を施すことで、競技場の空気感を再現でき、より現実に近い仮想視点画像の生成が可能になる。
　なお、注視点の距離に応じてかすみ処理を施す例を説明したが、これに限定されず、オブジェクトと仮想カメラとの距離に応じてかすみ処理を施すことも可能である。例えば、第２の実施形態における外接立方体の位置は競技場原点からの注視点の座標、及び注視点からの外接立方体の座標を参照することで容易に計算することが可能である。
（第４の実施形態）
　次に、本発明の第４の実施形態について説明する。
　第２の実施形態では、各オブジェクトの位置や点群の点座標を競技場の原点からの注視点座標、外接立方体の注視点からの座標で表したが、これに限定されない。図２０は、第４の実施形態における画像処理システム１００の構成例を示す図である。図２０において、図１及び図１３に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
　座標変換部１９００は、注視点２０００に関して、各外接立体原点、点群の各座標を注視点の原点からの相対座標ではなく、競技場原点に対する座標に変換する。同様に、座標変換部１９０１、１９０２は、それぞれ注視点２００１、２００２に関して、各外接立体原点、点群の各座標を注視点の原点からの相対座標ではなく、競技場原点に対する座標に変換する。このようにして変換された３次元モデルのデータは、図２１に一例を示すように格納される。ただし、この形式に限定されず、第１注視点の競技場原点からの座標を省略することができる。これにより、すべての点が競技場原点に対する座標で表され、事前に計算しておくことで、レンダリング処理等で座標の差分からそれぞれの位置を計算する必要がなくなり、画像生成の高速化を図ることができる。
　なお、カメラの設置状態によっては、複数の注視点エリアが重なる領域が存在しうる。その際に、例えばオブジェクトの３次元モデルデータは、同じオブジェクトのデータが注視点エリア毎に存在するケースがある。この場合、すべてのデータを格納しておくこともできるが、３次元モデルの生成精度が異なる場合、最終的に生成される仮想視点画像の品質に影響をおよぼすこともある。そこで、例えば第１の実施形態で説明したように、オブジェクトの位置と注視点エリアの情報に基づいて、データを取捨選択するようにしても良い。例えば、ある３次元モデルデータについて、座標が最も近い注視点のデータのみを残し、他の注視点で重複するものは削除するといった処理が考えられる。
（本発明のその他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　例えば、第１～第４の実施形態に示した画像処理システムは、図２２に示すようなコンピュータ機能２２００を有し、そのＣＰＵ２２０１により第１～第４の実施形態での動作が実施される。
　コンピュータ機能２２００は、図２２に示すように、ＣＰＵ２２０１と、ＲＯＭ２２０２と、ＲＡＭ２２０３とを備える。また、操作部（ＣＯＮＳ）２２０９のコントローラ（ＣＯＮＳＣ）２２０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）２２１０のディスプレイコントローラ（ＤＩＳＰＣ）２２０６とを備える。さらに、ハードディスク（ＨＤ）２２１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）２２１２のコントローラ（ＤＣＯＮＴ）２２０７と、ネットワークインタフェースカード（ＮＩＣ）２２０８とを備える。それら機能部２２０１、２２０２、２２０３、２２０５、２２０６、２２０７、２２０８は、システムバス２２０４を介して互いに通信可能に接続された構成としている。
　ＣＰＵ２２０１は、ＲＯＭ２２０２又はＨＤ２２１１に記憶されたソフトウェア、又はＳＴＤ２２１２より供給されるソフトウェアを実行することで、システムバス２２０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ２２０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ２２０２、ＨＤ２２１１、又はＳＴＤ２２１２から読み出して実行することで、第１～第４の実施形態での動作を実現するための制御を行う。ＲＡＭ２２０３は、ＣＰＵ２２０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ２２０５は、ＣＯＮＳ２２０９からの指示入力を制御する。ＤＩＳＰＣ２２０６は、ＤＩＳＰ２２１０の表示を制御する。ＤＣＯＮＴ２２０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１～第４の実施形態における前記処理プログラム等を記憶するＨＤ２２１１及びＳＴＤ２２１２とのアクセスを制御する。ＮＩＣ２２０８はネットワーク２２１３上の他の装置と双方向にデータをやりとりする。
　なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本願は、２０１７年１２月４日提出の日本国特許出願特願２０１７－２３２４８０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１００：画像処理システム　１１２：カメラ　２０１～２０３：センサ群　２３０～２３２、１３３０～１３３２：サーバフロントエンド　２５０：データベース　２７０～２７２、１２７０～１２７２：仮想視点画像生成部　２７５：仮想視点背景画像生成部　２７６～２７８：仮想視点画像補正部　２８０：合成部　２８５：出力部　３００：バックエンドサーバ　３１０、１３１０：制御ステーション　３３０：仮想カメラ操作ＵＩ　３５０～３５２：センサ　６００、１２００：画像バッファ　６１０：モデルバッファ　６２０：３次元モデル選択部　６３０、１２３０：前景画像選択部　６４０、１２４０：レンダリング部　１９００～１９０２：座標変換部
 

 

Claims (28)

  1. 　第１の注視点に向けられた複数の撮影装置で構成される第１の撮影装置群と、前記第１の注視点とは異なる第２の注視点に向けられた複数の撮影装置で構成される第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成装置であって、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得手段と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得手段と、
    　仮想視点の位置及び方向に関する情報を取得する第３の取得手段と、
    　前記第１の取得手段により取得された前記第１の画像データと、前記第２の取得手段により取得された前記第２の画像データと、前記第３の取得手段により取得された仮想視点の位置及び方向に関する情報とに基づき、仮想視点画像を生成する生成手段と、
    　を有することを特徴とする生成装置。
  2. 　前記生成手段は、さらに、前記第１の注視点の位置と前記第２の注視点の位置とに基づいて前記仮想視点画像を生成することを特徴とする請求項１に記載の生成装置。
  3. 　前記生成手段は、前記第３の取得手段により取得された情報により特定される仮想視点の位置と前記第１の注視点の位置との位置関係と、前記特定される仮想視点の位置と前記第２の注視点の位置との位置関係に基づいて、前記仮想視点画像を生成することを特徴とする請求項２に記載の生成装置。
  4. 　前記生成手段は、前記第３の取得手段により取得された情報により特定される仮想視点の位置から前記第１の注視点の位置までの距離と、前記特定される仮想視点の位置から前記第２の注視点の位置までの距離に基づいて、前記仮想視点画像を生成することを特徴とする請求項２又は３に記載の生成装置。
  5. 　前記第１の画像データと前記第２の画像データと前記仮想視点の位置及び方向に関する情報は、前記生成装置が有する通信手段を介して取得されることを特徴とする請求項１乃至４の何れか１項に記載の生成装置。
  6. 　前記仮想視点画像は、第１の画像領域と、前記第１の画像領域とは異なる第２の画像領域とを含む複数の画像領域を有し、
    　前記生成手段は、
    　　前記第１の画像領域に含まれるオブジェクトを表す画像を、前記第１の取得手段により取得された前記第１の画像データに基づいて生成し、
    　　前記第２の画像領域に含まれるオブジェクトを表す画像を、前記第２の取得手段により取得された前記第２の画像データに基づいて生成する
    　ことを特徴とする請求項１乃至５の何れか１項に記載の生成装置。
  7. 　少なくともオブジェクトとは異なる背景に関する背景画像データを取得する第４の取得手段をさらに有し、
    　前記生成手段は、
    　　前記第４の取得手段により取得された前記背景画像データに基づき、前記第３の取得手段により取得された情報により特定される仮想視点から見た場合の背景に対応する背景画像を生成し、
    　　前記第１の画像領域に含まれるオブジェクトを表す画像と、前記第２の画像領域に含まれるオブジェクトを表す画像と、前記背景画像とを合成することにより、前記仮想視点画像を生成する
    　ことを特徴とする請求項６に記載の生成装置。
  8. 　前記生成手段は、前記仮想視点の位置から前記第１の注視点の位置までの距離が、前記仮想視点の位置から前記第２の注視点の位置までの距離よりも遠い場合、前記第１の画像領域において、前記第１の画像データに基づいて生成されたオブジェクトを表す画像と前記背景画像とを合成した後、前記第２の画像領域において、前記第２の画像データに基づいて生成されたオブジェクトを表す画像と前記背景画像とを合成することにより、前記仮想視点画像を生成することを特徴とする請求項７に記載の生成装置。
  9. 　前記第１の画像データと前記第２の画像データと前記仮想視点の位置及び方向に関する情報と前記背景画像データは、前記生成装置が有する通信手段を介して取得されることを特徴とする請求項７又は８に記載の生成装置。
  10. 　第１の位置を撮影するように設置された第１の撮影装置群と、前記第１の位置とは異なる第２の位置を撮影するように設置された第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成装置であって、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得手段と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得手段と、
    　仮想視点の位置及び方向に関する情報を取得する第３の取得手段と、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成される、前記第１の位置を含む第１の撮影範囲内のオブジェクトに対応する第１の３次元形状データを取得する第４の取得手段と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成される、前記第２の位置を含む第２の撮影範囲内のオブジェクトに対応する第２の３次元形状データを取得する第５の取得手段と、
    　前記第１の取得手段により取得された前記第１の画像データと、前記第２の取得手段により取得された前記第２の画像データと、前記第３の取得手段により取得された前記仮想視点の位置及び方向に関する情報と、前記第４の取得手段により取得された前記第１の３次元形状データと、前記第５の取得手段により取得された前記第２の３次元形状データとに基づき、仮想視点画像を生成する生成手段と、
    　を有することを特徴とする生成装置。
  11. 　前記生成手段は、さらに、前記第１の位置と前記第２の位置に基づいて前記仮想視点画像を生成することを特徴とする請求項１０に記載の生成装置。
  12. 　前記生成手段は、前記第３の取得手段により取得された情報により特定される仮想視点の位置と前記第１の位置との位置関係と、前記特定される仮想視点の位置と前記第２の位置との位置関係に基づいて、前記仮想視点画像を生成することを特徴とする請求項１１に記載の生成装置。
  13. 　前記生成手段は、前記第３の取得手段により取得された情報により特定される仮想視点の位置から前記第１の位置までの距離と、前記特定される仮想視点の位置から前記第２の位置までの距離に基づいて、前記仮想視点画像を生成することを特徴とする請求項１１又は１２に記載の生成装置。
  14. 　前記仮想視点画像は、第１の画像領域と、前記第１の画像領域とは異なる第２の画像領域とを含む複数の画像領域を有し、
    　前記生成手段は、
    　　前記第１の画像領域に含まれるオブジェクトを表す画像を、前記第１の取得手段により取得された前記第１の画像データと前記第４の取得手段により取得された前記第１の３次元形状データとに基づいて生成し、
    　　前記第２の画像領域に含まれるオブジェクトを表す画像を、前記第２の取得手段により取得された前記第２の画像データと前記第５の取得手段により取得された前記第２の３次元形状データとに基づいて生成する
    　ことを特徴とする請求項１０乃至１３の何れか１項に記載の生成装置。
  15. 　前記第１の画像データと前記第２の画像データと前記仮想視点の位置及び方向に関する情報と前記第１の３次元形状データと前記第２の３次元形状データは、前記生成装置が有する通信手段を介して取得されることを特徴とする請求項１０乃至１４の何れか１項に記載の生成装置。
  16. 　前記第１の画像データは、前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成されるオブジェクトの画像データであり、
    　前記第２の画像データは、前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成されるオブジェクトの画像データである
    　ことを特徴とする請求項１乃至１５の何れか１項に記載の生成装置。
  17. 　前記第１の画像データは、前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成されるオブジェクトのテクスチャを表すデータであり、
    　前記第２の画像データは、前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成されるオブジェクトのテクスチャを表すデータである
    　ことを特徴とする請求項１乃至１５の何れか１項に記載の生成装置。
  18. 　前記生成手段は、
    　　前記第１の取得手段により取得された前記第１の画像データと、前記第３の取得手段により取得された情報とに基づき、第１の仮想視点画像を生成し、
    　　前記第２の取得手段により取得された前記第２の画像データと、前記第３の取得手段により取得された情報とに基づき、第２の仮想視点画像を生成し、
    　　前記第１の仮想視点画像と前記第２の仮想視点画像とを合成して、前記仮想視点画像を生成する
    　ことを特徴とする請求項１乃至１７の何れか１項に記載の生成装置。
  19. 　前記生成手段は、さらに、撮影時の環境条件に基づいて、前記仮想視点画像を生成することを特徴とする請求項１乃至１８の何れか１項に記載の生成装置。
  20. 　前記環境条件には、湿度と温度と天候のうち少なくとも１つが含まれることを特徴とする請求項１９に記載の生成装置。
  21. 　前記オブジェクトは、動体であることを特徴とする請求項６乃至１７の何れか１項に記載の生成装置。
  22. 　人物は、前記オブジェクトであることを特徴とする請求項６乃至１７の何れか１項に記載の生成装置。
  23. 　第１の注視点に向けられた複数の撮影装置で構成される第１の撮影装置群と、前記第１の注視点とは異なる第２の注視点に向けられた複数の撮影装置で構成される第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成方法であって、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得工程と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得工程と、
    　仮想視点の位置及び方向に関する情報を取得する第３の取得工程と、
    　前記第１の取得工程により取得された前記第１の画像データと、前記第２の取得工程により取得された前記第２の画像データと、前記第３の取得工程により取得された前記仮想視点の位置及び方向に関する情報とに基づき、仮想視点画像を生成する生成工程と、
    　を有することを特徴とする生成方法。
  24. 　前記生成工程は、さらに、前記第１の注視点の位置と前記第２の注視点の位置とに基づいて前記仮想視点画像を生成することを特徴とする請求項２３に記載の生成方法。
  25. 　前記生成工程は、前記第３の取得工程により取得された情報により特定される仮想視点の位置と前記第１の注視点の位置との位置関係と、前記特定される仮想視点の位置と前記第２の注視点の位置との位置関係に基づいて、前記仮想視点画像を生成することを特徴とする請求項２４に記載の生成方法。
  26. 　前記生成工程は、前記第３の取得工程により取得された情報により特定される仮想視点の位置から前記第１の注視点の位置までの距離と、前記特定される仮想視点の位置から前記第２の注視点の位置までの距離に基づいて、前記仮想視点画像を生成することを特徴とする請求項２４又は２５に記載の生成方法。
  27. 　第１の位置を撮影するように設置された第１の撮影装置群と、前記第１の位置とは異なる第２の位置を撮影するように設置された第２の撮影装置群とを含む複数の撮影装置群に分類される複数の撮影装置により取得された複数の撮影画像に基づいて仮想視点画像を生成する生成方法であって、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づく第１の画像データを取得する第１の取得工程と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づく第２の画像データを取得する第２の取得工程と、
    　仮想視点の位置及び方向に関する情報を取得する第３の取得工程と、
    　前記第１の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成される、前記第１の位置を含む第１の撮影範囲内のオブジェクトに対応する第１の３次元形状データを取得する第４の取得工程と、
    　前記第２の撮影装置群に属する撮影装置により取得された撮影画像に基づいて生成される、前記第２の位置を含む第２の撮影範囲内のオブジェクトに対応する第２の３次元形状データを取得する第５の取得工程と、
    　前記第１の取得工程により取得された前記第１の画像データと、前記第２の取得工程により取得された前記第２の画像データと、前記第３の取得工程により取得された前記仮想視点の位置及び方向に関する情報と、前記第４の取得工程により取得された前記第１の３次元形状データと、前記第５の取得工程により取得された前記第２の３次元形状データとに基づき、仮想視点画像を生成する工程と、
    　を有することを特徴とする生成方法。
  28. 　コンピュータを、請求項１乃至２２の何れか１項に記載の生成装置の各手段として機能させるためのプログラム。
     

     
PCT/JP2018/044202 2017-12-04 2018-11-30 生成装置、生成方法及びプログラム WO2019111817A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18886601.6A EP3605470A4 (en) 2017-12-04 2018-11-30 GENERATION DEVICE, GENERATION METHOD AND PROGRAM
KR1020197031243A KR102125293B1 (ko) 2017-12-04 2018-11-30 생성 장치, 생성 방법, 및 기억 매체
CN201880028801.5A CN110574076B (zh) 2017-12-04 2018-11-30 图像生成设备、图像生成方法和计算可读存储介质
US16/667,659 US11012679B2 (en) 2017-12-04 2019-10-29 Generating apparatus, generating method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-232480 2017-12-04
JP2017232480A JP6415675B1 (ja) 2017-12-04 2017-12-04 生成装置、生成方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/667,659 Continuation US11012679B2 (en) 2017-12-04 2019-10-29 Generating apparatus, generating method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019111817A1 true WO2019111817A1 (ja) 2019-06-13

Family

ID=64017199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044202 WO2019111817A1 (ja) 2017-12-04 2018-11-30 生成装置、生成方法及びプログラム

Country Status (6)

Country Link
US (1) US11012679B2 (ja)
EP (1) EP3605470A4 (ja)
JP (1) JP6415675B1 (ja)
KR (1) KR102125293B1 (ja)
CN (1) CN110574076B (ja)
WO (1) WO2019111817A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220103762A1 (en) * 2020-09-30 2022-03-31 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and imaging method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
CN111669603B (zh) * 2019-03-07 2023-03-21 阿里巴巴集团控股有限公司 多角度自由视角数据处理方法及装置、介质、终端、设备
WO2020181088A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
US11295309B2 (en) * 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
US11010962B1 (en) * 2019-10-24 2021-05-18 Morson R. Livingston Systems and methods for facilitating generation of 3D digital objects from 2D images
JP7423251B2 (ja) 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2021149509A1 (ja) * 2020-01-23 2021-07-29
KR102368825B1 (ko) * 2020-06-10 2022-02-28 주식회사 엘지유플러스 부가 오브젝트를 포함하는 영상 출력 방법 및 장치
EP4016464A1 (en) * 2020-11-26 2022-06-22 Ricoh Company, Ltd. Apparatus, system, method, and carrier means
JP2022158487A (ja) * 2021-04-02 2022-10-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017212593A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610421B (zh) * 2008-06-17 2011-12-21 华为终端有限公司 视频通讯方法、装置及系统
WO2011052064A1 (ja) * 2009-10-30 2011-05-05 キヤノン株式会社 情報処理装置および方法
JP5614211B2 (ja) * 2010-09-30 2014-10-29 株式会社セガ 画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP2013038602A (ja) * 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6672075B2 (ja) * 2016-05-25 2020-03-25 キヤノン株式会社 制御装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017212593A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220103762A1 (en) * 2020-09-30 2022-03-31 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and imaging method

Also Published As

Publication number Publication date
KR102125293B1 (ko) 2020-06-23
CN110574076A (zh) 2019-12-13
JP2019101795A (ja) 2019-06-24
EP3605470A1 (en) 2020-02-05
CN110574076B (zh) 2020-11-06
US11012679B2 (en) 2021-05-18
US20200068188A1 (en) 2020-02-27
KR20190126919A (ko) 2019-11-12
JP6415675B1 (ja) 2018-10-31
EP3605470A4 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
WO2019111817A1 (ja) 生成装置、生成方法及びプログラム
EP3596542B1 (en) Technique for recording augmented reality data
US11790482B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN110419061B (zh) 混合现实系统及使用该系统生成虚拟内容的方法
JP4804256B2 (ja) 情報処理方法
JP6513169B1 (ja) 仮想視点画像を生成するシステム、方法及びプログラム
US20190213975A1 (en) Image processing system, image processing method, and computer program
US20070252833A1 (en) Information processing method and information processing apparatus
JP2019083402A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
JP2019128641A (ja) 画像処理装置、画像処理方法及びプログラム
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
WO2022142908A1 (zh) 三维模型生成方法、xr设备及存储介质
CN108985275A (zh) 增强现实设备及电子设备的显示追踪方法和装置
JP6759375B2 (ja) 仮想視点画像を生成するシステム、方法及びプログラム
JP7261121B2 (ja) 情報端末装置及びプログラム
WO2022176719A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20230291883A1 (en) Image processing system, image processing method, and storage medium
JP2011048545A (ja) 画像合成装置及びプログラム
JP2023026244A (ja) 画像生成装置および画像生成方法、プログラム
JP2021018570A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2023111640A (ja) 情報処理装置、情報処理方法、データ構造及びプログラム
JP2021052232A (ja) 形状推定装置、形状推定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886601

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197031243

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018886601

Country of ref document: EP

Effective date: 20191031

NENP Non-entry into the national phase

Ref country code: DE