JP6857032B2 - 制御装置、システム、制御装置の制御方法 - Google Patents

Description

本発明は、被写体を複数の方向から撮像する撮像装置の制御技術に関するものである。

昨今、複数のカメラをそれぞれ異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点の画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして多視点の画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

一方、多視点の画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。

上記のような複数のカメラのうち、あるカメラの画像が仮想視点コンテンツを生成するのに不向きな画像（以後、破綻画像と呼ぶ）である場合、仮想視点コンテンツの生成にも影響を及ぼすことになる。なお、ここで述べる破綻画像には、カメラレンズに付着した異物が映り込んだ画像、カメラ前の観客が立ち上がった際に映り込んだ画像、カメラ前の応援団が振る旗が映り込んだ画像などが含まれる。

従来技術として、複数のカメラで撮影された各画像に対して輝度統計量の平均値を算出し、算出した統計量が所定値以上の場合、または他画像の統計量との差分が所定値以上の場合に破綻画像と判定し、対象画像を排除する技術が提案されている（特許文献１）。

また他の従来技術として、入力画像に含まれるエッジの不連続性を検出した場合、入力画像が破綻していると判断し、高画質処理をＯＦＦ設定に変更したり高フレームレート化処理の補間フレーム生成処理を変更したりする技術が提案されている（特許文献２）。

特開２０１４−１９１４７５号公報 特開２０１２−０１５６６９号公報

例えばグランドの一部にスタジアムの影が差しこむ状況下でプレーする選手を撮影する場合、カメラごとに影が映り込む範囲が異なるため、各カメラで撮影された画像の輝度統計量に乖離が発生し易くなる。このようなケースの場合、特許文献１に記載の技術では、破綻画像か否かの判定を誤る恐れがある。また、破綻画像と判定した場合、基準カメラに対する制御や隣接カメラへの通知機能がないため、仮想視点コンテンツの生成に影響を及ぼす。

特許文献２に記載の技術では、例えばカメラレンズに小さい異物が付着した状況で撮影する場合、異物のエッジの連続性を検出してしまうため、破綻画像か否かの判定を誤る恐れがある。また、破綻画像と判定した場合、基準カメラの制御について明記されているが隣接カメラへの通知機能がないため、仮想視点コンテンツの生成に影響を及ぼす。

本発明はこのような問題に鑑みてなされたものであり、仮想視点コンテンツの生成に悪影響を及ぼす原因を抑制ないし排除するための技術を提供する。

本発明の一様態は、着目撮像装置による撮像画像と、該着目撮像装置の上流側の撮像装置の制御装置から伝送された第１の情報と、に基づいて、該撮像画像中のオブジェクトの三次元モデルを生成するための第２の情報を生成し、前記第１の情報と前記第２の情報とを含む伝送情報を、下流側の撮像装置の制御装置に伝送する、該着目撮像装置の制御装置であって、前記着目撮像装置による撮像画像に、予め登録された情報に該当するオブジェクトではない無効オブジェクトが含まれている場合には、該撮像画像におけるオブジェクトのサイズ、若しくは前記撮像画像におけるオブジェクトのサイズ及び位置に応じて、前記伝送情報の生成及び伝送を制御する制御手段を備えることを特徴とする。

本発明の構成によれば、仮想視点コンテンツの生成に悪影響を及ぼす原因を抑制ないし排除することができる。

画像処理システムの機能構成例を示すブロック図。 カメラアダプタ１２０の機能構成例を示すブロック図。 破綻画像判定部１２３の機能構成例を示すブロック図。 オブジェクト抽出部４０１の動作を説明する図。 オブジェクト判定部４０３が行う処理のフローチャート。 最終判定部４０４が行う処理のフローチャート。 自カメラ画像に応じたカメラアダプタ１２０の動作を説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置して撮影及び集音を行う画像処理システムについて、該画像処理システムの機能構成例を示す図１のブロック図を用いて説明する。図１の画像処理システム１００は、センサシステム１１０ａ（一端：最も上流）−センサシステム１１０ｚ（他端：最も下流）、サーバ２００、コントローラ３００、スイッチハブ１８０、及びエンドユーザ端末１９０を有する。

先ず、コントローラ３００について説明する。コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）３３０と、を有する。制御ステーション３１０は、画像処理システム１００を構成する様々な機能部について、ネットワーク３１０ａ―３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ―１７０ｙを介して動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

最初に、センサシステム１１０ａ―センサシステム１１０ｚにより得られる２６セットの画像及び音声をセンサシステム１１０ｚからサーバ２００へ送信する動作について説明する。本実施形態の画像処理システム１００は、センサシステム１１０ａ―センサシステム１１０ｚがデイジーチェーンにより接続される。

本実施形態において、特別な説明がない限りは、センサシステム１１０ａ−センサシステム１１０ｚの２６セットのシステムを区別せずセンサシステム１１０と表記する。また、各センサシステム１１０内の機能部についても同様に、特別な説明がない限りは区別せずに、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０と表記する。なお、センサシステムの台数として２６セットとしているが、この台数はあくまでも一例であり、台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の両方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声の両方が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

センサシステム１１０ａ―センサシステム１１０ｚはそれぞれ、１台のカメラ１１２ａ―カメラ１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。

なお、これに限らず、接続形態として、各センサシステム１１０ａ−１１０ｚがスイッチハブ１８０に接続されて、スイッチハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。

また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ−１１０ｚの全てがカスケード接続されている構成を示したが、これに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるセンサシステム１１０のカメラアダプタ１２０がスイッチハブ１８０に接続されてサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎にサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーン接続されてサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、サーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。サーバ２００への画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、サーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。しかし、サーバ２００への画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、サーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。

本実施形態では、センサシステム１１０はマイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０を有するものとして説明するが、センサシステム１１０の構成はこのような構成に限らない。すなわちセンサシステム１１０は、少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２を有していれば良い。また例えば、センサシステム１１０は１台のカメラアダプタ１２０と、複数のカメラ１１２で構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１２０で構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０とが一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。なお、センサシステム１１０ａ−１１０ｚの全てが同じ構成を有することに限らず、センサシステム１１０ごとに異なる構成を有していても良い。

マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、ネットワーク１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、マイク１１１ｂにて集音された音声とカメラ１１２ｂにて撮影された画像を、センサシステム１１０ａから取得した画像及び音声と共にセンサシステム１１０ｃに伝送する。このような動作をセンサシステム１１０ａ―１１０ｚの各々が行うことにより、センサシステム１１０ａ―１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂ及びスイッチハブ１８０を介してサーバ２００へ伝送される。

なお、本実施形態では、カメラ１１２ａ−１１２ｚとカメラアダプタ１２０ａ−１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１は一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。

カメラ１１２は雲台１１３に設置され、雲台１１３は、ユーザが仮想カメラ操作ＵＩ３３０を操作したことに応じて入力された制御指示に応じて、この載置されたカメラ１１２の姿勢（撮影する方向）を変更する。なお、雲台１１３の制御は仮想カメラ操作ＵＩ３３０からの制御指示以外に、他の装置からの指示に応じて行うようにしても良い。

次に、サーバ２００の構成及び動作について説明する。本実施形態のサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。サーバ２００は、フロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する）、バックエンドサーバ２７０、タイムサーバ２９０を有する。

タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチハブ１８０を介してセンサシステム１１０ａ―１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ―１２０ｚのそれぞれは、カメラ１１２ａ―１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせて画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式のデータに変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。仮想カメラ操作ＵＩ３３０は、ユーザが視点の指定を操作可能なユーザインターフェースであり、例えば、キーボードやマウス、タッチパネル画面で構成される。しかし、ユーザが視点の指定操作を行うために操作可能なものであれば、如何なるＵＩを仮想カメラ操作ＵＩ３３０に適用しても良い。

なお、サーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、サーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、サーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。

バックエンドサーバ２７０によりレンダリング処理された画像は、エンドユーザ端末１９０に対して送信され、エンドユーザ端末１９０を操作するユーザは、指定した視点に応じた画像閲覧及び音声視聴が出来る。本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ−１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。しかし、本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ−１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ−１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ−１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ−１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減できる。

また、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。

このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

次に、カメラアダプタ１２０の機能構成例について、図２のブロック図を用いて説明する。

映像入力部１２１は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等の規格に対応した入力インタフェースである。映像入力部１２１は、カメラ１１２（該映像入力部１２１と同じセンサシステム１１０内のカメラ１１２）が撮像した画像を自カメラ画像（着目撮像装置による撮像画像）として取得して記憶部１２６に書き込む。また映像入力部１２１は、ＳＤＩに重畳される補助データ（Ａｎｃｉｌｌａｒｙ Ｄａｔａ）を捕捉する。補助データには、カメラ１１２のズーム率、露出、色温度などといったカメラパラメータやタイムコードなどが含まれる。補助データは、カメラアダプタ１２０に含まれる各機能部（図３）で使用される。

データ受信部１２２は、上流側のカメラアダプタ１２０と接続されている。例えばセンサシステム１１０ｂのカメラアダプタ１２０ｂ内のデータ受信部１２２は、センサシステム１１０ａのカメラアダプタ１２０ａと接続されている。データ受信部１２２は、上流側のカメラアダプタ１２０で生成された前景画像（上流前景画像）、背景画像（上流背景画像）、三次元モデル情報（上流三次元モデル情報）、オブジェクト抽出画像（上流オブジェクト抽出画像）等を該上流側のカメラアダプタ１２０から受信する。そしてデータ受信部１２２は、上流側のカメラアダプタ１２０から受信したこれらのデータを記憶部１２６へ書き込む。

破綻画像判定部１２３は、自カメラ画像が仮想視点コンテンツを生成するのに不向きな画像であるか否かを判断する。破綻画像判定部１２３による判断結果は、カメラアダプタ１２０に含まれる各機能部に通知されるものとする。また破綻画像判定部１２３は、自カメラ画像で破綻していると判断された領域内の画像を、背景画像において対応する領域内の画像で置き換えたマスク処理済画像を生成する機能も有する。破綻画像判定部１２３の詳細については後述する。

前景背景分離部１２４は、映像入力部１２１によって入力された自カメラ画像若しくは破綻画像判定部１２３が生成したマスク処理済画像を前景画像と背景画像とに分離する。前景画像は、例えば、画像（自カメラ画像、マスク処理済画像）に対するオブジェクト（被写体）検出の結果により得られる前景画像であり、背景画像は、画像（自カメラ画像、マスク処理済画像）において前景画像を除く画像である。

なお、オブジェクトとは、例えば人物である。但し、オブジェクトは特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど画像パターンが予め定められている物体であっても良い。また、オブジェクトとして動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域とを分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を各カメラアダプタ１２０で行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。

生成部１２５は、前景背景分離部１２４で分離された前景画像と、記憶部１２６に格納されている上流前景画像と、を用いて、例えばステレオカメラの原理を用いて、被写体の三次元モデルに関わる画像情報（以後、三次元モデル情報と呼ぶ）を生成する。

記憶部１２６は、ハードディスクなどの磁気ディスク、不揮発性メモリや揮発性メモリなどの記憶装置である。記憶部１２６は、データ受信部１２２が受信したデータ群や、破綻画像判定部１２３、前景背景分離部１２４、生成部１２５による処理中／処理結果のデータ等を格納するためのメモリとして機能する。また、記憶部１２６には、既知の情報として本実施形態以降で説明するものも格納されている。

データ送信部１２７は、下流側のカメラアダプタ１２０と接続されている。例えばセンサシステム１１０ｂのカメラアダプタ１２０ｂ内のデータ送信部１２７は、センサシステム１１０ｃのカメラアダプタ１２０ｃと接続されている。データ送信部１２７は、前景画像、背景画像、三次元モデル情報、オブジェクト抽出画像、上流側のカメラアダプタ１２０から受信した画像群などを、下流側のカメラアダプタ１２０に対して送信する。

次に、破綻画像判定部１２３の機能構成例について、図３のブロック図を用いて説明する。

オブジェクト抽出部４０１は、自カメラ画像からオブジェクトを抽出する機能を有する。オブジェクト抽出部４０１は、前景背景分離部１２４が１フレーム以上前の画像（自カメラ画像若しくはマスク処理済画像）から分離した背景画像と、現フレームの自カメラ画像と、の差分からオブジェクトが写っている領域をオブジェクト領域として抽出する。なお、オブジェクトとは、選手、監督、審判、観客などの人物や、ボール、ゴール、旗などの物体などである。また、背景画像は、前景背景分離部１２４が生成した背景画像に限定せず、カメラ設置時に撮影した画像や試合前に撮影した画像などでもよい。

オブジェクト抽出部４０１の動作について、図４の例を用いて説明する。図４（Ａ）に示した画像５００は、前景背景分離部１２４が１フレーム以上前の画像（自カメラ画像若しくはマスク処理済画像）から分離した背景画像である。図４（Ｂ）に示した画像５１０は、映像入力部１２１が取得した現フレームの自カメラ画像である。画像５１０にはオブジェクトとして、旗５１１、選手５１２、選手５１３、選手５１４、ボール５１５が含まれている。オブジェクト抽出部４０１は、画像５００と画像５１０とで対応する画素位置の画素値を比較し、画素値に規定値以上の差がある画素の集合をオブジェクト領域とする。画像５００及び画像５１０の場合、画像５１０中の旗５１１、選手５１２〜５１４、ボール５１５の各オブジェクトの領域内の画素の画素値が、画像５００内において対応する画素位置の画素の画素値と異なるので、これらのオブジェクトの領域が抽出される。そしてオブジェクト抽出部４０１は、画像５１０においてこれらのオブジェクトの領域以外の領域５１６（図４（Ｃ））の画素値を規定値（例えばＲ＝Ｇ＝Ｂ＝０：黒）とした（マスクした）画像をオブジェクト抽出画像５２０（図４（Ｃ））として生成する。

図３に戻って、ヒストグラム抽出部４０２は、オブジェクト抽出画像に含まれるオブジェクトの領域ごとに、該領域を構成する画素の画素値（赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の各成分の輝度値）の分布を生成する。そしてヒストグラム抽出部４０２は、オブジェクト抽出画像に含まれるオブジェクトごとに、該オブジェクトを特定するための識別情報と、該オブジェクトについて生成した分布と、を関連づけたヒストグラム用テーブルデータを生成する。

オブジェクト判定部４０３は、オブジェクト抽出画像に含まれるオブジェクトごとに、該オブジェクトが撮影対象として有効なオブジェクト（有効オブジェクト）であるか否かを判断する。ここで云う撮影対象とは、例えばサッカーの試合を撮影しているならば、人物（選手、監督、審判）、ボール、ゴールなどといったフィールド上の物体のことである。

オブジェクト判定部４０３がオブジェクト抽出画像に含まれるオブジェクトごとに、該オブジェクトが有効オブジェクトであるのか否かを判断するために行う処理について、図５のフローチャートを用いて説明する。図５のフローチャートは、１つのオブジェクト（着目オブジェクト）についての判断処理のフローチャートである。然るに実際には、オブジェクト判定部４０３は、オブジェクト抽出画像に含まれているそれぞれのオブジェクトについて、図５のフローチャートに従った処理を行うことになる。

ステップＳ６０１では、オブジェクト判定部４０３は、予め作成されて記憶部１２６に格納されているサイズテーブルから、オブジェクト抽出画像における着目オブジェクトのサイズと類似するサイズを検索する。サイズテーブルには、撮影対象として有効なオブジェクトごとに該オブジェクトの画像上のサイズが登録されている。ここで、オブジェクトのサイズは、該オブジェクトを包含する矩形の縦横画素数とする。

サイズテーブルは、少なくとも１つ以上のサイズパラメータで構成され、例えばサッカーの試合を撮影するのであれば、人物（選手、監督、審判）、ボール、ゴールなどといったフィールド上の物体のサイズが登録されている。なお、サイズテーブルに登録されているサイズは、映像入力部１２１が捕捉したＳＤＩ補助データに含まれているズーム率に基づいて動的に変更しても良い。その場合、変更後のサイズのうち、オブジェクト抽出画像における着目オブジェクトのサイズと類似するサイズを検索する。また、「サイズが類似する」とは、縦サイズの差及び横サイズの差が規定値以内であることを示すが、「サイズが類似する」ことの定義については特定の定義に限らない。

ステップＳ６０２においてオブジェクト判定部４０３が、サイズテーブルに、オブジェクト抽出画像における着目オブジェクトのサイズと類似するサイズが登録されていると判断した場合（検索が成功した場合）には、処理はステップＳ６０３に進む。一方、オブジェクト判定部４０３が、サイズテーブルに、オブジェクト抽出画像における着目オブジェクトのサイズと類似するサイズが登録されていないと判断した場合（検索が失敗した場合）には、処理はステップＳ６１０に進む。

ステップＳ６０３では、オブジェクト判定部４０３は、予め作成されて記憶部１２６に格納されている形状テーブルから、オブジェクト抽出画像における着目オブジェクトの形状と類似する形状を表す形状情報を検索する。形状テーブルには、撮影対象として有効なオブジェクトごとに該オブジェクトの画像上の形状を示す形状情報が登録されている。ここで、「形状が類似する」とは、形状間の類似度が規定値以上であることを示すが、「形状が類似する」ことの定義については特定の定義に限らない。

この検索処理では、オブジェクト抽出画像における着目オブジェクトを変倍（拡大／縮小）し、形状テーブルから、変倍後の着目オブジェクトの形状との類似度が規定値以上の形状を示す形状情報を検索する。形状テーブルは、少なくとも１つ以上のパラメータで構成され、例えばサッカーの試合を撮影するのであれば、人物（選手、監督、審判）、ボール、ゴールなどといったフィールド上の物体の形状を示す形状情報が登録されている。形状情報には、物体ごとに複数の視点から見た形状を示す形状情報が含まれていてもよい。

ステップＳ６０４においてオブジェクト判定部４０３が、形状テーブルに、オブジェクト抽出画像における着目オブジェクトの形状と類似する形状を示す形状情報が登録されていると判断した場合（検索が成功した場合）には、処理はステップＳ６０５に進む。一方、オブジェクト判定部４０３が、形状テーブルに、オブジェクト抽出画像における着目オブジェクトの形状と類似する形状を示す形状情報が登録されていないと判断した場合（検索が失敗した場合）には、処理はステップＳ６１０に進む。

ステップＳ６０５では、オブジェクト判定部４０３は、予め作成されて記憶部１２６に格納されている色相テーブルから、オブジェクト抽出画像における着目オブジェクトの色相と類似する色相を表す色相情報を検索する。色相テーブルには、撮影対象として有効なオブジェクトごとに該オブジェクトの色相を示す色相情報が登録されている。ここで、オブジェクトの色相とは、ヒストグラム抽出部４０２で該オブジェクトについて抽出したＲＧＢ各色成分の輝度分布である。色相テーブルは、少なくとも１つ以上のパラメータで構成され、例えばサッカーの試合を撮影するのであれば、人物（選手、監督、審判）、ボール、ゴールなどといったフィールド上の物体の色相のヒストグラムである。色相のヒストグラムは、物体ごとに試合前にＲＧＢ各色成分の輝度分布を抽出したデータである。また、「色相が類似する」とは、色相間の類似度が規定値以上であることを示すが、「色相が類似する」ことの定義については、特定の定義に限らない。

ステップＳ６０６においてオブジェクト判定部４０３が、色相テーブルに、オブジェクト抽出画像における着目オブジェクトの色相と類似する色相を示す色相情報が登録されていると判断した場合（検索が成功した場合）には、処理はステップＳ６０７に進む。一方、オブジェクト判定部４０３が、色相テーブルに、オブジェクト抽出画像における着目オブジェクトの色相と類似する色相を示す色相情報が登録されていないと判断した場合（検索が失敗した場合）には、処理はステップＳ６１０に進む。

ステップＳ６０７でオブジェクト判定部４０３は、上流オブジェクト抽出画像におけるそれぞれのオブジェクトの位置若しくは該位置から予測した予測位置のうち、オブジェクト抽出画像中の着目オブジェクトの位置と類似する位置を検索する。この検索処理では、上流オブジェクト抽出画像におけるそれぞれのオブジェクトについて、該オブジェクトの位置若しくは該位置から予測した予測位置を中心とする検索領域を設定する。そして、それぞれの設定領域のうち、オブジェクト抽出画像中の着目オブジェクトの位置を含む設定領域を検索する。オブジェクト抽出画像中の着目オブジェクトの位置を含む設定領域が検索できた場合、該検索領域に対応するオブジェクトと着目オブジェクトとで位置に関して類似していると判断する。

ここで、上流オブジェクト抽出画像におけるオブジェクトの位置から予測した予測位置については、例えば、次のような方法でもって求めることができる。例えば、センサシステム１１０ｂのオブジェクト判定部４０３は、カメラ１１２ａによる撮像画像上の画素位置とカメラ１１２ｂによる撮像画像上の画素位置との対応関係を、カメラ１１２ａの設置位置姿勢に対するカメラ１１２ｂの設置位置姿勢に応じて求める。この対応関係はカメラの設置時に予め求めておいても良い。そしてセンサシステム１１０ｂのオブジェクト判定部４０３は、この対応関係を用いて、カメラ１１２ａによる撮像画像に対応するオブジェクト抽出画像上のオブジェクトの位置に対応する、カメラ１１２ｂによる撮像画像に対応するオブジェクト抽出画像上の位置を該オブジェクトの予測位置として求める。なお、予測位置の求め方については特定の求め方に限らない。

上流オブジェクト抽出画像は、データ受信部１２２を経由して受け取った上流のカメラアダプタ１２０で生成されたオブジェクト抽出画像であり、射影変換および位置合わせ処理を施してオブジェクト抽出画像に適合させる必要がある。なお、上流オブジェクト抽出画像をオブジェクト抽出画像に適合させる処理は、これに限定されるものではなく別の処理を用いてもよい。

ステップＳ６０８では、オブジェクト判定部４０３が、ステップＳ６０７における検索処理により、オブジェクト抽出画像中の着目オブジェクトの位置を含む設定領域が見つかったと判断した場合には、処理はステップＳ６０９に進む。一方、オブジェクト判定部４０３が、ステップＳ６０７における検索処理により、オブジェクト抽出画像中の着目オブジェクトの位置を含む設定領域が見つからなかったと判断した場合には、処理はステップＳ６１０に進む。

ステップＳ６０９では、オブジェクト判定部４０３は、着目オブジェクトは、撮影対象として有効なオブジェクトである有効オブジェクトとして決定する。一方、ステップＳ６１０では、オブジェクト判定部４０３は、着目オブジェクトは、撮影対象として有効なオブジェクトではない（撮影対象として無効なオブジェクトである）無効オブジェクトとして決定する。

本実施形態では、以上説明した図５のフローチャートに従った処理を行うことで、着目オブジェクトが有効オブジェクトであるのか、それとも無効オブジェクトであるのかを決定した。しかし、図５のフローチャートに従った処理に限らず、他の処理により、着目オブジェクトが有効オブジェクトであるのか、それとも無効オブジェクトであるのかを決定するための処理を実現させても構わない。例えば、着目オブジェクトが有効オブジェクト／無効オブジェクトであるのか否かを決定するための条件を、図５のフローチャートよりも増減させても良いし、変更しても良い。すなわち、オブジェクト判定部４０３は、着目オブジェクトのサイズ、形状、色相、及び検出位置のうちの少なくとも１つと、予め登録された登録情報との比較結果に基づいて、当該着目オブジェクトが有効オブジェクトか無効オブジェクトかを判定できる。

図３に戻って最終判定部４０４は、自カメラ画像が仮想視点コンテンツを生成するのに不向きな画像であるか否かを判定し、該判定の結果に応じて、カメラアダプタ１２０が下流側のカメラアダプタ１２０に向けてデータ（伝送情報）を伝送する為の動作モードを切り替える。最終判定部４０４の動作について、図６のフローチャートを用いて説明する。

ステップＳ７０１では、最終判定部４０４は、自カメラ画像（オブジェクト抽出画像）内に１以上の無効オブジェクトが存在するか否かを判断する。この判断の結果、自カメラ画像（オブジェクト抽出画像）内に１以上の無効オブジェクトが存在する場合には、処理はステップＳ７０２を介してステップＳ７０３に進み、存在しない場合には、処理はステップＳ７０２を介してステップＳ７０９に進む。

ステップＳ７０３では、最終判定部４０４は、自カメラ画像（オブジェクト抽出画像）における全ての無効オブジェクトが占める割合（占有率）を求める。つまり、占有率＝（全ての無効オブジェクトを構成する画素の数／（自カメラ画像（オブジェクト抽出画像）の画素数）を計算する。

ステップＳ７０４では、最終判定部４０４は、ステップＳ７０３で求めた占有率が規定値未満（閾値未満）であるか否かを判断する。この判断の結果、ステップＳ７０３で求めた占有率が規定値未満であれば、処理はステップＳ７０５に進み、ステップＳ７０３で求めた占有率が規定値以上であれば、処理はステップＳ７１０に進む。

ステップＳ７０５では、最終判定部４０４は、自カメラ画像（オブジェクト抽出画像）における無効オブジェクトのうち、規定サイズ以上のサイズを有する無効オブジェクトを検索する。無効オブジェクトのサイズは、上記のステップＳ６０１において該無効オブジェクトについて求めたサイズを利用すればよい。ステップＳ７０５において用いる規定サイズとしては、例えばサッカーの試合を撮影するのであれば、選手、監督、審判など人物の最大サイズが設定されているものとする。また、規定サイズは、映像入力部１２１が捕捉したＳＤＩ補助データのズーム率に基づいて動的に変動させてもよい。

ステップＳ７０５における検索の結果、自カメラ画像（オブジェクト抽出画像）における無効オブジェクトのうち、規定サイズ以上のサイズを有する無効オブジェクトが１つでも存在した場合には、処理はステップＳ７０６を介してステップＳ７０７に進む。一方、ステップＳ７０５における検索の結果、自カメラ画像（オブジェクト抽出画像）における無効オブジェクトのうち、規定サイズ以上のサイズを有する無効オブジェクトが１つも存在しない場合には、処理はステップＳ７０６を介してステップＳ７１１に進む。

ステップＳ７０７では、最終判定部４０４は、自カメラ画像（オブジェクト抽出画像）の中央領域に、規定サイズ以上のサイズを有する無効オブジェクトが１つでも位置しているか否かを判断する。自カメラ画像（オブジェクト抽出画像）の中央領域とは、例えば、自カメラ画像（オブジェクト抽出画像）において四隅の近傍領域を除く領域である。

規定サイズ以上のサイズを有する無効オブジェクトは、該無効オブジェクトの裏に人物等の別の物体を覆い隠している可能性が考えられる。そのため、ステップＳ７０７では、仮想視点コンテンツを生成する際に与える影響度を、規定サイズ以上のサイズを有する無効オブジェクトの位置を用いて調査する。また、この調査方法に限定せず、１フレーム前の前景画像と比較し、規定サイズ以上のサイズを有する無効オブジェクトの裏に別の物体が隠れていないことを調査してもよい。

ステップＳ７０７における判断（調査）の結果、自カメラ画像（オブジェクト抽出画像）の中央領域に、規定サイズ以上のサイズを有する無効オブジェクトが１つでも位置している場合には、処理はステップＳ７０８を介してステップＳ７１０に進む。一方、ステップＳ７０７における判断（調査）の結果、自カメラ画像（オブジェクト抽出画像）の中央領域に、規定サイズ以上のサイズを有する無効オブジェクトが１つも位置していない場合には、処理はステップＳ７０８を介してステップＳ７１１に進む。

ステップＳ７０９では、最終判定部４０４は、カメラアダプタ１２０の動作モード（下流側への情報の伝送処理モード）として通常モードを設定する。ステップＳ７１０では、最終判定部４０４は、カメラアダプタ１２０の動作モードとしてバイパスモードを設定する。ステップＳ７１１では、最終判定部４０４は、カメラアダプタ１２０の動作モードとしてマスクモードを設定する。

図３に戻って、マスク画像生成部４０５は、最終判定部４０４が設定した動作モードがマスクモードである場合に限って動作する。マスク画像生成部４０５は、オブジェクト抽出画像における無効オブジェクトの領域とそれ以外の領域とで異なる画素値を割り当てたマスク画像を生成する。マスク画像はオブジェクト抽出画像（自カメラ画像）と同じ解像度を有する。マスク画像生成部４０５は、オブジェクト抽出画像における画素位置（ｘ、ｙ）が無効オブジェクトの領域に含まれている場合には、マスク画像上の画素位置（ｘ、ｙ）における画素値として第１の値（例えば１）を割り当てる。一方、マスク画像生成部４０５は、オブジェクト抽出画像における画素位置（ｘ、ｙ）が無効オブジェクトの領域外に含まれている場合には、マスク画像上の画素位置（ｘ、ｙ）における画素値として第２の値（≠第１の値であり、例えば０）を割り当てる。

マスク処理部４０６は、最終判定部４０４が設定した動作モードがマスクモードである場合、次のような処理を行ってマスク処理済画像を生成して出力する。即ちマスク画像において第１の値が割り当てられている画素で構成される領域に対応する自カメラ画像上の領域内の画像を、上流背景画像において該領域に対応する領域内の画像に置き換えたマスク処理済画像を生成し、該マスク処理済画像を出力する処理である。なお、この置き換えに使用する背景画像は上流背景画像に限らない。またマスク処理部４０６は、最終判定部４０４が設定した動作モードがマスクモード以外のモード（通常モード若しくはバイパスモード）であれば、自カメラ画像をそのまま出力する。

前景背景分離部１２４は、通常モードが設定されていれば、自カメラ画像を前景画像と背景画像とに分離するが、マスクモードが設定されていれば、マスク処理部４０６によるマスク処理済画像を前景画像と背景画像とに分離する。バイパスモードが設定されている場合、前景背景分離部１２４及び生成部１２５は動作しない。

そして、カメラアダプタ１２０の動作モードとして通常モードが設定された場合、データ送信部１２７は、以下に列挙するデータを、下流側のカメラアダプタ１２０に送信する。

・ データ受信部１２２が上流側から受信して記憶部１２６に格納したデータ（上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像）
・ 前景背景分離部１２４が自カメラ画像から分離した前景画像及び背景画像
・ 生成部１２５が生成した三次元モデル情報
・ 破綻画像判定部１２３（オブジェクト抽出部４０１）が生成したオブジェクト抽出画像
また、カメラアダプタ１２０の動作モードとしてバイパスモードが設定された場合、データ送信部１２７は、以下に列挙するデータを、下流側のカメラアダプタ１２０に送信する。

・ データ受信部１２２が上流側から受信して記憶部１２６に格納したデータ（上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像）
・ 破綻画像判定部１２３（オブジェクト抽出部４０１）が生成したオブジェクト抽出画像
また、カメラアダプタ１２０の動作モードとしてマスクモードが設定された場合、データ送信部１２７は、以下に列挙するデータを、下流側のカメラアダプタ１２０に送信する。

・ データ受信部１２２が上流側から受信して記憶部１２６に格納したデータ（上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像）
・ 前景背景分離部１２４がマスク処理済画像から分離した前景画像及び背景画像
・ 生成部１２５が生成した三次元モデル情報
・ 破綻画像判定部１２３（オブジェクト抽出部４０１）が生成したオブジェクト抽出画像
自カメラ画像に応じたカメラアダプタ１２０の動作について、図７を用いて説明する。図７（Ａ）、（Ｂ）、（Ｃ）の何れも、サッカーの試合を撮影中にカメラアダプタ１２０に取り込まれた自カメラ画像であり、それぞれ任意の時間に取り込まれた自カメラ画像である。

図７（Ａ）に示す自カメラ画像８００は、フィールドでプレーをする選手８０１、選手８０２、選手８０３、およびボール８０４が撮影された自カメラ画像である。破綻画像判定部１２３は、このような自カメラ画像８００を対象として上記の処理を行うことで、カメラアダプタ１２０の動作モードとして通常モードを設定する。通常モードに設定されたカメラアダプタ１２０では、前景背景分離部１２４は、マスク処理部４０６によるマスク処理を適用していない自カメラ画像８００を前景画像と背景画像とに分離する。また、生成部１２５は、前景背景分離部１２４が分離した前景画像とデータ受信部１２２が受信した上流前景画像とを用いて三次元モデル情報を生成する。また、破綻画像判定部１２３では、自カメラ画像８００からオブジェクト抽出画像を生成する。そして、データ送信部１２７は、前景画像、背景画像、三次元モデル情報、オブジェクト抽出画像、上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像、を隣接する下流のカメラアダプタ１２０へ送信する。

図７（Ｂ）に示す自カメラ画像８１０は、カメラレンズに付着したゴミ８１１とゴミ８１２が映り込んだ自カメラ画像である。破綻画像判定部１２３は、このような自カメラ画像８１０を対象として上記の処理を行うことで、カメラアダプタ１２０の動作モードとしてマスクモードを設定する。マスクモードに設定されたカメラアダプタ１２０では、破綻画像判定部１２３によりオブジェクト抽出画像及びマスク処理済画像が生成される。マスク処理済画像は、自カメラ画像８１０においてゴミ８１１及びゴミ８１２の領域内の画像を、背景画像において対応する領域の画像に置き換えた画像である。前景背景分離部１２４は、マスク処理部４０６によるマスク処理を適用したマスク処理済画像を前景画像と背景画像とに分離する。また、生成部１２５は、前景背景分離部１２４が分離した前景画像とデータ受信部１２２が受信した上流前景画像とを用いて三次元モデル情報を生成する。そして、データ送信部１２７は、前景画像、背景画像、三次元モデル情報、オブジェクト抽出画像、上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像、を隣接する下流のカメラアダプタ１２０へ送信する。

通常モードとマスクモードとの差分は、自カメラ画像に対してマスク処理を適用するか否かである。マスクモードでも（マスク処理を適用しても）、通常モードと等価な処理を行うことができる。

図７（Ｃ）に示す自カメラ画像８２０は、カメラ前の観客８２１が突如立ち上がったことで映り込んだ自カメラ画像である。破綻画像判定部１２３は、このような自カメラ画像８２０を対象として上記の処理を行うことで、カメラアダプタ１２０の動作モードとしてバイパスモードを設定する。バイパスモードに設定されたカメラアダプタ１２０では、破綻画像判定部１２３によりオブジェクト抽出画像が生成される。そしてバイパスモードが設定されている場合には、前景背景分離部１２４及び生成部１２５は動作しない。そして、データ送信部１２７は、オブジェクト抽出画像、上流前景画像、上流背景画像、上流三次元モデル情報、上流オブジェクト抽出画像、を隣接する下流のカメラアダプタ１２０へ送信する。

また、データ送信部１２７は、仮想視点コンテンツを生成するのに不向きな画像（自カメラ画像８２０）を検出したことを示すエラー情報についても、隣接する下流のカメラアダプタ１２０に対して送信する。

バイパスモード時、カメラアダプタ１２０は、上流のカメラアダプタから受信した情報群をそのまま下流のカメラアダプタへ転送するだけでなく、エラー情報についても送信するようにしても良い。この場合、エラー情報を受信した下流のカメラアダプタは、例えば、カメラアダプタ１２０の代替処理を可能な範囲で実施する。例えば、カメラアダプタ１２０ｂからエラー情報がカメラアダプタ１２０ｃに対して出力されたとする。このような場合、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａによる前景画像とカメラアダプタ１２０ｃによる前景画像とを用いて、前景画像、背景画像、三次元モデル情報、オブジェクト抽出画像を生成する。

以上説明したように、本実施形態によれば、カメラが撮影した画像が仮想視点コンテンツを生成するのに不向きな画像であるか否かを判定し、その判定結果に基づいてカメラアダプタを制御できるようになる。

［第２の実施形態］
図２，３に示した各機能部は全てハードウェアで実装しても良いし、一部若しくは全部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、例えば、記憶部１２６をメモリで実装し、それ以外の機能部をコンピュータプログラムで実装しても良く、その場合、このコンピュータプログラムは、カメラアダプタ１２０内の不図示のプロセッサなどで実行されることになる。

なお、上述の実施形態では、複数のカメラアダプタ１２０がデイジーチェーン接続される場合の例を中心に説明したが、この例に限らない。例えば、複数のカメラアダプタ１２０がスター型のトポロジでサーバ２００と接続されても良い。スター型のトポロジを採用した場合の処理の一例について以下に説明する。すなわち、カメラアダプタ１２０は、図５の処理において無効オブジェクトが存在すると判定した場合、当該無効オブジェクトの領域をマスクしたマスク処理済画像をサーバ２００へ出力する。一方、カメラアダプタ１２０は、撮像画像中に無効オブジェクトが存在しないと判定した場合、撮像画像をサーバ２００へ出力する。そして、サーバ２００は、各カメラアダプタ１２０から受信したマスク処理済画像や撮像画像に基づいて仮想視点コンテンツの生成を行う。このような実施形態によっても、仮想視点コンテンツの生成に悪影響を及ぼす原因を抑制ないし排除できる。

また、上述の実施形態では、カメラ１１２とカメラアダプタ１２０が別々の装置である場合の例を中心に説明したが、この例に限らない。すなわち、カメラアダプタ１２０の機能がカメラ１１２によって実現されるようにしても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１２ａ：カメラ １２０ａ：カメラアダプタ

Claims (11)

1. 着目撮像装置による撮像画像と、該着目撮像装置の上流側の撮像装置の制御装置から伝送された第１の情報と、に基づいて、該撮像画像中のオブジェクトの三次元モデルを生成するための第２の情報を生成し、前記第１の情報と前記第２の情報とを含む伝送情報を、下流側の撮像装置の制御装置に伝送する、該着目撮像装置の制御装置であって、
   前記着目撮像装置による撮像画像に、予め登録された情報に該当するオブジェクトではない無効オブジェクトが含まれている場合には、該撮像画像におけるオブジェクトのサイズ、若しくは前記撮像画像におけるオブジェクトのサイズ及び位置に応じて、前記伝送情報の生成及び伝送を制御する制御手段を備えることを特徴とする前記着目撮像装置の制御装置。
2. 前記制御手段は、前記撮像画像に前記無効オブジェクトが含まれていない場合には、前記撮像画像の前景画像及び背景画像、該撮像画像においてオブジェクトの領域以外をマスクした画像、前記第１の情報と該前景画像とに基づく該オブジェクトの三次元モデルの生成に要するモデル情報、を前記第２の情報として生成し、該生成した第２の情報と前記第１の情報とを含む前記伝送情報を、前記下流側の撮像装置の制御装置に伝送することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記撮像画像における前記無効オブジェクトの占有率が規定値以上であれば、前記撮像画像においてオブジェクトの領域以外をマスクした画像を前記第２の情報として生成し、該生成した第２の情報と前記第１の情報とを含む前記伝送情報を、前記下流側の撮像装置の制御装置に伝送することを特徴とする請求項１又は２に記載の制御装置。
4. 前記制御手段は、前記撮像画像における前記無効オブジェクトの占有率が規定値未満で、前記撮像画像に規定サイズ以上のサイズを有するオブジェクトが含まれていない場合には、前記撮像画像において前記無効オブジェクトの領域を背景画像を用いてマスクしたマスク処理済画像を生成し、該マスク処理済画像の前景画像及び背景画像、該撮像画像においてオブジェクトの領域以外をマスクした画像、前記第１の情報と該前景画像とに基づく該オブジェクトの三次元モデルの生成に要するモデル情報、を前記第２の情報として生成し、該生成した第２の情報と前記第１の情報とを含む前記伝送情報を、前記下流側の撮像装置の制御装置に伝送することを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
5. 前記制御手段は、前記撮像画像における前記無効オブジェクトの占有率が規定値未満で、前記撮像画像に規定サイズ以上のサイズを有するオブジェクトが該撮像画像の中央領域に位置していない場合には、前記撮像画像において前記無効オブジェクトの領域を背景画像を用いてマスクしたマスク処理済画像を生成し、該マスク処理済画像の前景画像及び背景画像、該撮像画像においてオブジェクトの領域以外をマスクした画像、前記第１の情報と該前景画像とに基づく該オブジェクトの三次元モデルの生成に要するモデル情報、を前記第２の情報として生成し、該生成した第２の情報と前記第１の情報とを含む前記伝送情報を、前記下流側の撮像装置の制御装置に伝送することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
6. 前記制御手段は、前記撮像画像における前記無効オブジェクトの占有率が規定値未満で、前記撮像画像に規定サイズ以上のサイズを有するオブジェクトが該撮像画像の中央領域に位置している場合には、前記撮像画像においてオブジェクトの領域以外をマスクした画像を前記第２の情報として生成し、該生成した第２の情報と前記第１の情報とを含む前記伝送情報を、前記下流側の撮像装置の制御装置に伝送することを特徴とする請求項１乃至５の何れか１項に記載の制御装置。
7. 前記着目撮像装置の制御装置は、該着目撮像装置に内蔵され、他の撮像装置と接続されているアダプタであることを特徴とする請求項１乃至６の何れか１項に記載の制御装置。
8. 前記着目撮像装置の制御装置は、複数の撮像装置を制御する複数の制御装置のうちの１つであり、該複数の制御装置はデイジーチェーン接続されており、該複数の制御装置の一端の制御装置が最も上流の制御装置、他端の制御装置が最も下流の制御装置であることを特徴とする請求項１乃至７の何れか１項に記載の制御装置。
9. 複数の撮像装置のそれぞれを制御する複数の制御装置と、
   前記制御装置から伝送された伝送情報に基づいて、指定された視点からの画像を生成する装置と
   を有するシステムであって、
   着目撮像装置による撮像画像と、該着目撮像装置の上流側の撮像装置の制御装置から伝送された第１の情報と、に基づいて、該撮像画像中のオブジェクトの三次元モデルを生成するための第２の情報を生成し、前記第１の情報と前記第２の情報とを含む伝送情報を、下流側の撮像装置の制御装置に伝送する、該着目撮像装置の制御装置は、
   前記着目撮像装置による撮像画像に、予め登録された情報に該当するオブジェクトではない無効オブジェクトが含まれている場合には、該撮像画像におけるオブジェクトのサイズ、若しくは前記撮像画像におけるオブジェクトのサイズ及び位置に応じて、前記伝送情報の生成及び伝送を制御する制御手段を備えることを特徴とするシステム。
10. 着目撮像装置による撮像画像と、該着目撮像装置の上流側の撮像装置の制御装置から伝送された第１の情報と、に基づいて、該撮像画像中のオブジェクトの三次元モデルを生成するための第２の情報を生成し、前記第１の情報と前記第２の情報とを含む伝送情報を、下流側の撮像装置の制御装置に伝送する、該着目撮像装置の制御装置の制御方法であって、
    前記着目撮像装置による撮像画像に、予め登録された情報に該当するオブジェクトではない無効オブジェクトが含まれている場合には、該撮像画像におけるオブジェクトのサイズ、若しくは前記撮像画像におけるオブジェクトのサイズ及び位置に応じて、前記伝送情報の生成及び伝送を制御することを特徴とする前記着目撮像装置の制御装置の制御方法。
11. 着目撮像装置の制御装置のコンピュータに、請求項１乃至８の何れか１項に記載の着目撮像装置の制御装置の制御手段として機能させるためのコンピュータプログラム。

Images