JP6821398B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術により、ユーザは、例えば、サッカー等のハイライトシーンを様々な角度から視聴することができる。特許文献１には、複数のカメラで同一の範囲を取り囲むように配置して、その同一の範囲を撮影した画像を用いて、任意の仮想視点画像を生成、表示することが記載されている。

特開２０１４−２１５８２８号公報

しかしながら、複数の視点の撮像画像をサーバなどの画像処理装置に集約して仮想視点画像の生成を行なうと、撮像画像の伝送データ量が多くなるという問題がある。例えば、サーバと複数のカメラとをデイジーチェーン接続した場合においても、各カメラによる撮像画像のすべてをサーバが受信する構成とすれば、撮像画像の伝送データ量が多くなる。伝送データ量の増大により、通信路にも負荷がかかるし、サーバの受信処理に係る負荷も増大する。なお、上記の課題では複数のカメラからの撮像画像を用いて仮想視点画像を生成する場合の課題について述べたが、複数のマイクからの収音データを用いて仮想視点音声を含む仮想視点コンテンツを生成する場合にも同様の課題が発生し得る。

本発明はこのような問題点に鑑みなされたもので、複数の視点の撮像画像を用いて仮想視点コンテンツの生成を行うシステムにおいて、装置間の伝送データ量を削減することを目的とする。

そこで、本発明は、撮像装置に対応して設けられた画像処理装置であって、前記撮像装置により撮像された第１の撮像画像を取得する取得手段と、前記画像処理装置に接続された第１の画像処理装置に対応して設けられた撮像装置により撮像された第２の撮像画像を前記第１の画像処理装置から受信し、さらに前記第１の画像処理装置に接続された第２の画像処理装置に対応した撮像装置により撮像された第３の撮像画像と前記第２の撮像画像とに基づいて生成された画像であり、前記第２の撮像画像の前景画像の生成に用いられる画像であり、かつ前記第３の撮像画像に比べてデータ量の少ない画像である、第１の処理画像を前記第１の画像処理装置から受信する受信手段と、前記第２の撮像画像と、前記第１の撮像画像と、前記第１の処理画像と、に基づいて、前記第２の撮像画像の前記前景画像を生成する第１の生成手段とを有することを特徴とする。

本発明によれば、複数の視点の撮像画像を用いて仮想視点画像の生成を行うシステムにおいて、装置間の伝送データ量を削減することができる。

画像処理システムの全体図である。 アダプタの構成図である。 装置間のデータフローの説明図である。 前景分離処理の説明図である。 アダプタによる処理を示したフローチャートである。 アダプタ間のデータフローを示した図である。 アダプタ間のデータの授受を示す図である。 アダプタによる処理を示したフローチャートである。 アダプタ間のデータフローを示した図である。 アダプタ間のデータの授受を示す図である。 アダプタのハードウェア構成の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、画像処理システム１００の全体図である。画像処理システム１００は、撮像対象１７０を取り囲むように配置された複数のカメラ１１０ａ〜１１０ｐと、各カメラ１１０ａ〜１１０ｐに接続したアダプタ１２０ａ〜１２０ｐと、サーバ装置１５０とを有している。ここで、カメラ１１０ａ〜１１０ｐは、撮像装置の一例である。また、アダプタ１２０ａ〜１２０ｐは、それぞれカメラ１１０ａ〜１１０ｐに対応して設けられた画像処理装置の一例である。各カメラ１１０ａ〜１１０ｐとそれぞれに対応するアダプタ１２０ａ〜１２０ｐの間は、それぞれ伝送ケーブル１３０ａ〜１３０ｐで接続されている。伝送ケーブル１３０ａ〜１３０ｐは、例えばＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルにより実現する。アダプタ１２０ａ〜１２０ｐは、伝送ケーブル１６０を介してデイジーチェーン接続している。さらに、サーバ装置１５０は、伝送ケーブル１６０を介して、アダプタ１２０ａ、１２０ｐと接続している。なお、伝送ケーブル１６０は、例えばＥｔｈｅｒｎｅｔケーブルで実現する。

カメラ１１０ａ、アダプタ１２０ａ及び伝送ケーブル１３０ａで構成した単位をまとめてセンサシステム１４０ａと称する。同様に、カメラ１１０ｂ〜１１０ｐ、アダプタ１２０ａ〜１２０ｐ及び伝送ケーブル１３０ｂ〜１３０ｐで構成された単位をセンサシステム１４０ｂ〜１４０ｐと称する。画像処理システム１００は、撮像対象１７０の周囲に配置された複数のセンサシステム１４０ａ〜１４０ｐにより撮像対象１７０を全方位から撮像し、撮像した画像群に画像処理を施すことで、任意の視点からの映像を再構成してユーザに提供するシステムである。この映像の再構成処理は、アダプタ１２０ａ〜１２０ｐとサーバ装置１５０により行う。なお、画像処理システム１００は、センサシステムを複数有していればよく、その数は、実施形態に限定されるものではない。また、以下、複数のカメラ１１０ａ〜１１０ｐはいずれも同一の装置であり、これらを区別する必要がない場合には、適宜、単にカメラ１１０と称する。同様に、アダプタ１２０ａ〜１２０ｐは、同一の装置であり、これらを区別する必要がない場合には、適宜、単にアダプタ１２０と称する。

映像の再構成のための処理ステップは、種々の方法があるが、本実施形態では、次の通りとする。アダプタ１２０においては、当該アダプタ１２０と対になるカメラ１１０の撮像画像及びその両隣に配置されたカメラ１１０の撮像画像を用いて、撮像対象１７０における前景画像を分離し、サーバ装置１５０への伝送処理を行う。サーバ装置１５０では、各アダプタ１２０から伝送された各カメラ１１０の撮像位置における前景画像群より、任意の視点からの映像の再構成処理を行う。

これらの処理を行うために、画像処理システム１００は、撮像対象１７０の周囲に配置したセンサシステム１４０のアダプタ１２０を伝送ケーブル１６０によりデイジーチェーン接続した構成とする。そして、アダプタ１２０は、各カメラ１１０の撮像画像から前景画像を分離する処理に必要なデータと、各カメラ１１０の撮像画像から抽出した前景画像を伝送する。

図２は、センサシステム１４０内のアダプタ１２０の構成図である。アダプタ１２０は、撮像のための同期信号２０５をカメラ１１０に対して出力し、カメラ１１０は入力された同期信号２０５に合わせて撮像し、撮像画像２０６をアダプタ１２０に対して出力する。そして、アダプタ１２０は、伝送ケーブル１６０ａ、１６０ｂを介して、両隣のアダプタ１２０との間でデータの送受信を行う。

信号生成部２０１は、カメラ１１０に対して出力する同期信号２０５を生成する。同期信号２０５は、撮像タイミング及びタイムスタンプからなる。撮像タイミングは、画像処理システム１００を構成する全てのカメラ１１０で同期して撮像するために生成されるものである。信号生成部２０１は、例えば全てのアダプタ１２０をＰＴＰにより同期させ、同一時刻に撮像タイミングを生成する。ここで、ＰＴＰとは、Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌの略称である。各アダプタ１２０において同一時刻に生成した撮像タイミングに対して同一のタイムスタンプを付与する。これにより、複数のカメラ１１０が同一タイミングで撮像された撮像画像には、同一のタイムスタンプが付与される。なお、タイムスタンプの付与には、タイムコードが用いられる。タイムコードとしては、例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）１２Ｍで規定されるＬＴＣ（Ｌｉｎｅａｒ ＴｉｍｅＣｏｄｅ）等が挙げられる。

カメラ１１０は、同期信号２０５を用いて撮像処理を行い、撮像画像２０６をアダプタ１２０に対して出力する。入力部２０２は、カメラ１１０の撮像画像２０６を受信し、撮像画像２０７として、分離部２０３及び送受信部２０４に対して出力する。分離部２０３は、撮像画像２０７と、他のセンサシステム１４０から伝送される伝送データ２０８を用いて、前景分離処理を行う。そして、分離部２０３は、処理結果を伝送データ２０９として、送受信部２０４に対して出力する。分離部２０３が授受するデータ及び分離部２０３が行う前景分離処理については後述する。

送受信部２０４は、入力部２０２及び分離部２０３から受信したデータを他のセンサシステム１４０に対して送信する処理、及び他のセンサシステムから受信したデータを分離部２０３に受け渡す処理を行う。データの送信及び受信は、その送信先、受信先に対して接続された伝送ケーブル１６０ａもしくは伝送ケーブル１６０ｂを介して行う。送受信部２０４が授受するデータについても、上述の前景分離処理の説明と合わせて後述する。

なお、本実施形態においては、図２に示すアダプタ１２０の各部はハードウェアにより構成されるものとするが、他の例としては、図２に示す各部は、ソフトウェアにより実現されてもよい。この場合、アダプタ１２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、ＣＰＵがＲＯＭ格納されているプログラムを読み出し、このプログラムを実行することにより、図２に示す各部が実現される。アダプタ１２０が本実施形態の処理をＣＰＵなどのハードウェアを用いて実行する場合のアダプタ１２０のハードウェア構成を図１１に示す。図１１に示すように、アダプタ１２０は、ＣＰＵ１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、外部メモリ１１０４、及び、通信インタフェース１１０５が通信バス１１０７に接続されたハードウェア構成を採用しうる。この場合、ＣＰＵ１１０１が、所定のプログラムをＲＯＭ１１０２から読み出して実行することにより、図２に示した信号生成部２０１、入力部２０２、分離部２０３、及び送受信部２０４の処理が実現される。また、アダプタ１２０とカメラ１１０との通信、及び、アダプタ１２０と他のアダプタ１２０との間の通信は、ＣＰＵ１１０１が通信インタフェース１１０５を動作させることで実現される。

図３は、センサシステム１４０間のデータフローと、センサシステム１４０とサーバ装置１５０の間のデータフローの説明図である。図３を参照し、複数のセンサシステム１４０ｎ、１４０ｏ、１４０ｐとサーバ装置１５０の間のデータフローについて説明する。画像処理システム１００においては、サーバ装置１５０からより遠くに存在するアダプタ１２０から、サーバ装置１５０により近いアダプタ１２０に対して順番に、前景分離処理に必要なデータが伝送される。

図３の例では、アダプタ１２０ｎは、伝送ケーブル１６０を介して伝送データ３００ｎをアダプタ１２０ｏに送信する。アダプタ１２０ｏは、伝送ケーブル１６０を介して伝送データ３００ｏをアダプタ１２０ｐに送信する。アダプタ１２０ｐは、伝送ケーブル１６０を介して伝送データ３００ｐをサーバ装置１５０に送信する。伝送データは、各カメラ１１０の撮像画像から前景部を分離した結果である前景画像と、前景画像を抽出するための前景分離処理に必要なデータとを含んでいる。前景分離処理に必要なデータについては、上述の前景分離処理の説明と合わせて後述する。

図４は、分離部２０３による前景分離処理の説明図である。ここでは、３つのカメラ４０１〜４０３で撮像した画像を用いて前景画像を分離する場合を例に説明する。図４（ａ）は、被写体４００とカメラ４０１〜４０３の配置例を示す図である。カメラ４０１〜４０３は、被写体４００を別々の方向から撮像する。また、この配置で撮像する際には、カメラ４０１の撮像画像に対して前景分離処理を行う。すなわち、前景分離処理においては、前景分離対象となる撮像画像を撮像するカメラ（カメラ４０１）の撮像画像と、その両隣に配置したカメラ（カメラ４０２とカメラ４０３）の撮像画像を用いる。

図４（ｂ）は、３つのカメラ４０１〜４０３の撮像画像から、前景分離対象とした撮像画像の前景マスクを生成する処理を示す図である。処理には、カメラ４０１の撮像画像４０４、カメラ４０２の撮像画像４０５及びカメラ４０３の撮像画像４０６が用いられる。分離部２０３は、まずカメラ４０２の撮像画像４０５及びカメラ４０３の撮像画像４０６を、その撮像画像内の基準平面がカメラ４０１の撮像画像４０４と重なり合うように射影変換する。ここでいう基準平面とは、撮像対象物が位置する平面であり、例えば撮像対象がサッカーの試合であれば、撮像対象物はプレイヤー、平面はサッカーフィールドとなる。ただし、撮像対象はサッカーの試合に限定されるものではなく、撮像対象及び基準平面は撮像対象に応じて定められるものとする。

次に、分離部２０３は、カメラ４０１の撮像画像４０４とカメラ４０２の射影変換後の撮像画像４０７の差分画像４０９を生成する。差分画像とは、２つの画像を画素毎に比較し、差分のある画素に１ビットのフラグを立てた、２値画像である。この差分画像のデータサイズは、撮像画像に対して、画素数が同じで各画素のビット深度が「１／（撮像画像の１画素のビット深度）」となる。したがって、差分画像のデータサイズは、撮像画像のデータサイズに対して「１／（撮像画像の１画素のビット深度）」のデータサイズとなる。例えば、元画像が１画素あたりＲＧＢ各８ビットのデータを持つ画像であった場合、差分画像は元画像に対して１／２４のサイズとなる。同様に、分離部２０３は、カメラ４０１の撮像画像４０４とカメラ４０３の射影変換後の撮像画像４０８の差分画像４１０を生成する。この差分画像は、カメラ４０１の撮像画像４０４における前景候補領域を示すものとなる。

次に、分離部２０３は、差分画像４０９、４１０よりマスク画像４１１を生成する。この処理では、分離部２０３は、２つの差分画像を画素毎に比較し、両方ともにフラグが立っている画素に対して１ビットのフラグを立てる。これらの処理によりマスク画像４１１は、カメラ４０１の撮像画像４０４における、基準平面そのもの以外の撮像内容の画素を示したマスク画像となる。このマスク画像が示す領域が、カメラ４０１の撮像画像４０４における前景領域となる。

図４（ｃ）は、カメラ４０１の撮像画像４０４とマスク画像４１１より、カメラ４０１の前景画像４１２を生成する処理を示す図である。分離部２０３は、撮像画像４０４のうち、マスク画像４１１内でフラグが立っている画素を抜き出すことにより、カメラ４０１の前景画像４１２を生成する。

次に、まず、図５〜図７を参照しつつ、図４を参照しつつ説明した前景分離処理のすべてを１つのアダプタ１２０で行う場合のアダプタ１２０の処理について説明する。次に、図８〜図１０を参照しつつ前景分離処理を、複数のアダプタ１２０で行う場合のアダプタ１２０の処理について説明する。なお、前者の処理については、後者の処理との比較のために説明する。

図５は、アダプタ１２０における１フレーム分の処理を示したフローチャートである。また、図６は、３つのアダプタ１２０（アダプタＡ〜Ｃ）の間のデータフローを示した図である。以下、図５及び図６を用いて、アダプタ１２０が行う１フレーム分の前景分離処理について説明する。

Ｓ５０１において、入力部２０２は、伝送ケーブル１３０により接続されたカメラ１１０、すなわち自装置に対応するカメラ１１０により得られた撮像画像を、対応するカメラ１１０から取得（受信）する。次に、Ｓ５０２において、送受信部２０４は、対応するカメラ１１０により得られた撮像画像を、伝送ケーブル１６０を介して、隣接するアダプタ１２０に送信する。なお、本実施形態においては、デイジーチェーン構成上の１つ先のアダプタ１２０に送信する。図６の例では、本処理により、図６（ａ）に示すように、アダプタＡは、対応するカメラにより撮像された撮像画像Ａを１つ先のアダプタＢに送信する。同様に、アダプタＢは、対応するカメラにより撮像された撮像画像ＢをアダプタＣに送信する。

次に、Ｓ５０３において、送受信部２０４は、１つ手前のアダプタ１２０から送信された、１つ手前のアダプタ１２０に対応するカメラ１１０の撮像画像を受信する。本処理により、図６（ａ）に示すように、アダプタＢは、１つ手前のアダプタＡから撮像画像Ａを受信する。同様に、アダプタＣは、アダプタＢから撮像画像Ｂを受信する。次に、Ｓ５０４において、送受信部２０４は、１つ手前のアダプタ１２０から受信した、１つ手前のアダプタ１２０に対応する撮像画像を、１つ先のアダプタ１２０に送信する。図６（ｂ）の例では、アダプタＢは、１つ手前のアダプタＡに対応する撮像画像Ａを、１つ先のアダプタＣに送信する。

次に、Ｓ５０５において、送受信部２０４は、１つ手前のアダプタ１２０から送信された、２つ手前のアダプタ１２０に対応するカメラ１１０の撮像画像を受信する。なお、この時点において、１つ手前のアダプタ１２０は、２つ手前のアダプタ１２０に対応する撮像画像を２つ手前のアダプタ１２０から受信している。図６（ｃ）は、Ｓ５０５の処理の完了後にアダプタＡ〜Ｃが保持する撮像画像を示している。アダプタＣは、撮像画像Ｃの他、撮像画像Ｂ、Ａを保持している。

次に、Ｓ５０６において、分離部２０３は、前景分離処理を行う。図６の例では、アダプタＣは、撮像画像Ｃと撮像画像Ｂの差分画像を生成し、さらに撮像画像Ａと撮像画像Ｂの差分画像を生成する。さらに、分離部２０３は、２つの差分画像に基づいて、撮像画像Ｂに対する前景画像を生成する。次に、Ｓ５０７において、送受信部２０４は、前景分離処理により得られた前景画像を、伝送ケーブル１６０を介してサーバ装置１５０に伝送する。以上で、１フレーム分の前景画像を抽出する処理が終了する。

図７は、図５の処理に対応した、アダプタ１２０間での撮像画像の授受を示す図である。アダプタＡからアダプタＢには、アダプタＡに対応する撮像画像Ａと、アダプタＡの１つ上流（１つ手前）に位置するアダプタに対応する撮像画像Ｚの２つが送信される。同様に、アダプタＢからアダプタＣには、アダプタＢに対応するカメラにより得られた撮像画像Ｂと、アダプタＡに対応する撮像画像Ａが送信される。このように、図４に示す処理を行う場合には、前景分離処理を行うためのデータとして各アダプタ間で２つの撮像画像が伝送される。

次に、図８〜図１０を参照しつつ、前景分離処理を複数のアダプタ１２０で行う場合のアダプタ１２０の処理について説明する。図８は、アダプタ１２０における１フレーム分の処理を示したフローチャートである。また、図９は、３つのアダプタ１２０（アダプタＡ〜Ｃ）間のデータフローを示した図である。以下、図８及び図９を用いて、アダプタ１２０が行う１フレーム分の前景分離処理について説明する。

Ｓ８０１において、入力部２０２は、自装置に対応するカメラ１１０により得られた撮像画像を、対応するカメラ１１０から取得（受信）する。次に、Ｓ８０２において、送受信部２０４は、自装置に対応する撮像画像を、伝送ケーブル１６０を介して、１つ先のアダプタ１２０に送信する。図９の例では、図９（ａ）に示すように、アダプタＡは、対応するカメラにより撮像された撮像画像Ａを１つ先のアダプタＢに送信する。同様に、アダプタＢは、対応するカメラにより撮像された撮像画像ＢをアダプタＣに送信する。

次に、Ｓ８０３において、送受信部２０４は、１つ手前のアダプタ１２０から送信された、１つ手前のアダプタ１２０に対応するカメラ１１０の撮像画像を受信する。本処理により、図９（ａ）に示すように、アダプタＢは、１つ手前のアダプタＡから撮像画像Ａを受信する。同様に、アダプタＣは、アダプタＢから撮像画像Ｂを受信する。なお、Ｓ８０１〜Ｓ８０３の処理は、図５を参照しつつ説明したＳ５０１〜Ｓ５０３の処理と同様である。

次に、Ｓ８０４において、分離部２０３は、自装置に対応する撮像画像と、１つ手前のアダプタ１２０に対応する撮像画像の差分画像を生成する。ここで、差分画像は、１つ手前のアダプタ１２０に対応する撮像画像の前景画像の生成に用いられる処理画像の一例である。以下、Ｓ８０４において生成された差分画像を第１の差分画像と称する。次に、Ｓ８０５において、分離部２０３は、第１の差分画像を１つ先のアダプタ１２０に送信する。図９の例では、図９（ｂ）に示すように、アダプタＢは、撮像画像Ａと撮像画像Ｂから第１の差分画像として差分画像ＡＢを生成する。そして、アダプタＢは、差分画像ＡＢをアダプタＣに送信する。なお、図９（ｂ）に示すように、アダプタＣは、撮像画像Ｂと撮像画像Ｃから第１の差分画像として差分画像ＢＣを生成する。そして、アダプタＣは、差分画像ＢＣをアダプタＤ（不図示）に送信する。なお、アダプタＣの次にアダプタＤではなくサーバ装置１５０が接続される場合は、アダプタＣは差分画像ＢＣをサーバ装置１５０に送信する。

次に、Ｓ８０６において、送受信部２０４は、１つ手前のアダプタ１２０から送信された、１つ手前のアダプタ１２０により生成された差分画像を受信する。ここで、受信した差分画像は、１つ手前のアダプタに対応する撮像画像の前景画像の生成に用いられる処理画像の一例である。以下、Ｓ８０６において受信する差分画像を第２の差分画像と称する。図９の例では、図９（ｂ）に示すように、アダプタＣは、撮像画像Ａと撮像画像Ｂから生成された差分画像ＡＢをアダプタＢから受信する。図９（ｃ）は、Ｓ８０６の処理の完了後にアダプタＡ〜Ｃが保持する撮像画像及び差分画像を示している。アダプタＣは、自装置に対応するカメラ１１０により撮像された撮像画像Ｃと、アダプタＢに対応する撮像画像Ｂと、を保持している。アダプタＣはさらに、Ｓ８０５にて撮像画像Ｂと撮像画像Ｃから第１の差分画像として生成した差分画像ＢＣと、Ｓ８０６にてアダプタＢから第２の差分画像として受信した差分画像ＡＢと、を保持している。

次に、Ｓ８０７において、分離部２０３は、第１の差分画像と第２の差分画像に基づいて、１つ手前のアダプタに対応する撮像画像の前景画像を生成する。図９の例では、図９（ｃ）に示すように、アダプタＣは、第１の差分画像（差分画像ＢＣ）と、第２の差分画像（差分画像ＡＢ）とに基づいて、アダプタＢに対応する撮像画像（撮像画像Ｂ）の前景画像を生成する。次に、Ｓ８０８において、送受信部２０４は、生成された前景画像を、伝送ケーブル１６０を介してサーバ装置１５０に送信する。なお、本実施形態において、アダプタ１２０とサーバ装置１５０との間に他のアダプタ１２０が接続されている場合、前景画像は、当該他のアダプタ１２０を介してサーバ装置１５０へ送信される。以上で、１フレーム分の前景画像を抽出する処理の説明を終了する。

図１０は、図８に対応した、アダプタ１２０間での撮像画像と差分画像の授受を示す図である。アダプタＡからアダプタＢには、アダプタＡに対応する撮像画像Ａと、アダプタＡとその１つ上流に位置するアダプタに対応する撮像画像Ｚとの差分画像である差分画像ＡＺの２つが送信される。同様に、アダプタＢからアダプタＣには、アダプタＢに対応する撮像画像Ｂと、アダプタＢに対応する撮像画像ＢとアダプタＡに対応する撮像画像Ａとの差分画像ＡＢの２つが送信される。

すなわち、図７の例においては、アダプタ１２０間で送受信されるデータは、２つの撮像画像であるのに対し、図１０の例では、アダプタ１２０間で送受信されるデータは、１つの撮像画像と、１つの差分画像である。前述の通り、差分画像のデータサイズは、撮像画像のデータサイズの「１／（撮像画像の１画素のビット深度）」となる。すなわち、本実施形態に係る画像処理システム１００においては、各アダプタ１２０が図７に示す処理を行うことにより、アダプタ１２０間の伝送データのデータ量を減少させることができる。すなわち、複数の視点の撮像画像を用いた処理を行うシステムにおいて、アダプタ間（装置間）の伝送データ量を削減する。

なお、本実施形態においては、処理画像は、撮像画像に比べてデータ量が少ない画像で、かつ前景画像の生成に用いられる画像であればよく、実施形態において例示した２値の差分画像に限定されるものではない。他の例としては、撮像画像に比べて階調の低い多値の差分画像であってもよい。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、本実施形態ではカメラ１１０とアダプタ１２０が別の装置である場合の例を中心に説明したが、カメラ１１０とアダプタ１２０が一体となっていても良い。例えば、カメラ１１０が有するＣＰＵが、図２にて示す信号生成部２０１や分離部２０３に係る処理を実行するようにしても良い。

さらに、本実施形態では、カメラ１１０とアダプタ１２０が１対１で接続される場合の例を中心に説明したが、この形態に限らない。例えば、２台のカメラごとに１台のアダプタ１２０が接続されるようにしても良い。このように、本実施形態の構成については、種々の変形を行うことが可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理システム
１１０ カメラ
１２０ アダプタ
１５０ サーバ装置

Claims (12)

1. 撮像装置に対応して設けられた画像処理装置であって、
   前記撮像装置により撮像された第１の撮像画像を取得する取得手段と、
   前記画像処理装置に接続された第１の画像処理装置に対応して設けられた撮像装置により撮像された第２の撮像画像を前記第１の画像処理装置から受信し、さらに前記第１の画像処理装置に接続された第２の画像処理装置に対応した撮像装置により撮像された第３の撮像画像と前記第２の撮像画像とに基づいて生成された画像であり、前記第２の撮像画像の前景画像の生成に用いられる画像であり、かつ前記第３の撮像画像に比べてデータ量の少ない画像である、第１の処理画像を前記第１の画像処理装置から受信する受信手段と、
   前記第２の撮像画像と、前記第１の撮像画像と、前記第１の処理画像と、に基づいて、前記第２の撮像画像の前記前景画像を生成する第１の生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の処理画像は、前記第３の撮像画像と前記第２の撮像画像の差分の２値画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第２の撮像画像と前記第１の撮像画像とに基づいて、前記第２の撮像画像の前記前景画像の生成に用いられる画像であり、前記第２の撮像画像に比べてデータ量の少ない画像である第２の処理画像を生成し、前記第１の処理画像と、前記第２の処理画像と、に基づいて、前記第２の撮像画像の前記前景画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の処理画像は、前記第１の撮像画像と前記第２の撮像画像の差分の２値画像であることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の撮像画像と、前記第２の処理画像と、を前記画像処理装置に接続された第４の画像処理装置に送信する送信手段をさらに有することを特徴とする請求項３又は４に記載の画像処理装置。
6. 請求項１乃至５の何れか１項に記載の前記画像処理装置と、前記画像処理装置に対応した撮像装置と、を複数有する画像処理システム。
7. 前記前景画像を受信するサーバ装置をさらに有することを特徴とする請求項６に記載の画像処理システム。
8. 撮像装置に対応した画像処理装置であって、
   前記画像処理装置に接続された第１の画像処理装置に対応した撮像装置により撮像された第１の撮像画像を受信する受信手段と、
   前記画像処理装置に対応した撮像装置により撮像された第２の撮像画像を取得する取得手段と、
   前記第２の撮像画像と、前記第１の撮像画像と、に基づいて、前記第２の撮像画像の前景画像の生成に用いられる画像であり、前記第１の撮像画像に比べてデータ量の少ない画像である処理画像を生成する生成手段と、
   前記第２の撮像画像と、前記処理画像と、を前記画像処理装置に接続された第２の画像処理装置に送信する送信手段と
   を有することを特徴とする画像処理装置。
9. 撮像装置に対応して設けられた画像処理装置が実行する画像処理方法であって、
   前記撮像装置により撮像された第１の撮像画像を取得する取得ステップと、
   前記画像処理装置に接続された第１の画像処理装置に対応して設けられた撮像装置により撮像された第２の撮像画像を前記第１の画像処理装置から受信し、さらに前記第１の画像処理装置に接続された第２の画像処理装置に対応した撮像装置により撮像された第３の撮像画像と前記第２の撮像画像とに基づいて生成された画像であり、前記第２の撮像画像の前景画像の生成に用いられる画像であり、かつ前記第３の撮像画像に比べてデータ量の少ない画像である、第１の処理画像を前記第１の画像処理装置から受信する受信ステップと、
   前記第２の撮像画像と、前記第１の撮像画像と、前記第１の処理画像と、に基づいて、前記第２の撮像画像の前記前景画像を生成する第１の生成ステップと
   を含むことを特徴とする画像処理方法。
10. 撮像装置に対応した画像処理装置が実行する画像処理方法であって、
    前記画像処理装置に接続された第１の画像処理装置に対応した撮像装置により撮像された第１の撮像画像を受信する受信ステップと、
    前記画像処理装置に対応した撮像装置により撮像された第２の撮像画像を取得する取得ステップと、
    前記第２の撮像画像と、前記第１の撮像画像と、に基づいて、前記第２の撮像画像の前景画像の生成に用いられる画像であり、前記第１の撮像画像に比べてデータ量の少ない画像である処理画像を生成する生成ステップと、
    前記第２の撮像画像と、前記処理画像と、を前記画像処理装置に接続された第２の画像処理装置に送信する送信ステップと
    を含むことを特徴とする画像処理方法。
11. 撮像装置に対応して設けられた画像処理装置のコンピュータを、
    前記撮像装置により撮像された第１の撮像画像を取得する取得手段と、
    前記画像処理装置に接続された第１の画像処理装置に対応して設けられた撮像装置により撮像された第２の撮像画像を前記第１の画像処理装置から受信し、さらに前記第１の画像処理装置に接続された第２の画像処理装置に対応した撮像装置により撮像された第３の撮像画像と前記第２の撮像画像とに基づいて生成された画像であり、前記第２の撮像画像の前景画像の生成に用いられる画像であり、かつ前記第３の撮像画像に比べてデータ量の少ない画像である、第１の処理画像を前記第１の画像処理装置から受信する受信手段と、
    前記第２の撮像画像と、前記第１の撮像画像と、前記第１の処理画像と、に基づいて、前記第２の撮像画像の前記前景画像を生成する第１の生成手段と
    して機能させるためのプログラム。
12. 撮像装置に対応した画像処理装置のコンピュータを、
    前記画像処理装置に接続された第１の画像処理装置に対応した撮像装置により撮像された第１の撮像画像を受信する受信手段と、
    前記画像処理装置に対応した撮像装置により撮像された第２の撮像画像を取得する取得手段と、
    前記第２の撮像画像と、前記第１の撮像画像と、に基づいて、前記第２の撮像画像の前景画像の生成に用いられる画像であり、前記第１の撮像画像に比べてデータ量の少ない画像である処理画像を生成する生成手段と、
    前記第２の撮像画像と、前記処理画像と、を前記画像処理装置に接続された第２の画像処理装置に送信する送信手段と
    して機能させるためのプログラム。

Images