JP6346157B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、複数の撮影装置によって撮影された画像の処理技術に関する。

近年、３６０度のパノラマ画像を撮影できるカメラ（以下、「全天球カメラ」という。）が普及し始めている。全天球カメラによって撮影されたパノラマ画像（以下、「全天球画像」という。）は、所望の視点位置に全天球カメラを設置することで撮影することができる。しかしながら、競技中の競技者の邪魔となるためサッカーコートやバスケットコートなどの競技用コートの中には全天球カメラを設置することができない。そのため、競技用コートの中の所望の視点位置における競技中の全天球画像を撮影することができない。

そこで、全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、この仮想視点において全天球カメラで撮影したかのような全天球画像を、コートの外側に設置された複数のカメラによって撮影された画像を合成することによって得る技術が提案されている（例えば、非特許文献１参照）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像と記載する。

仮想全天球画像を複数のカメラによって撮影された画像の合成によって得るシステムの具体例について説明する。
図１０は、従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。図１０に示すように、画像処理システム１は、全天球カメラ２と、複数のカメラ３−１、３−２、３−３、・・・、３−Ｎ（以下、「カメラ群３」という。）（Ｎは４以上の整数）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、競技用コート１０内に仮想視点１１を設定した場合に、競技用コート１０外に設置したカメラ群３によって撮影された画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングで競技用コート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、仮想視点１１の位置から、仮想全天球画像の背景となる画像（以下、「背景画像」という。）を撮影する。全天球カメラ２で撮影された背景画像は、画像処理装置４に入力されて蓄積される。このように、画像処理装置４は、予め背景画像を蓄積する。

競技用コート１０の周囲には、カメラ群３が設置されている。カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎは、それぞれ仮想視点１１を含む画角となるように競技用コート１０の周囲に設置されている。カメラ群３は、仮想視点１１を含む領域を撮影する。画像処理装置４は、カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎによって撮影された画像に対して画像処理を施して、背景画像に画像処理後の画像を合成して仮想全天球画像を生成する。表示装置５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する。

次に、画像処理システム１における画像処理の具体例について図１１を用いて説明する。
図１１は、画像処理システム１における画像処理の流れを説明するための図である。図１１（Ａ）は、背景画像２０の具体例を示す図である。背景画像２０には、仮想視点１１を中心として全方位（３６０度）の被写体が撮影されている。背景画像２０は、競技用コート１０内に人物がいない状態で撮影される画像であるので競技用コート１０内には人物が撮影されない。

図１１（Ｂ）は、各カメラ３−１、３−２及び３−３で撮影された画像を示す図である。図１１（Ｂ）には、左からカメラ３−１で撮影された画像２１と、カメラ３−２で撮影された画像２２と、カメラ３−３で撮影された画像２３とが示されている。画像処理装置４は、画像２１〜２３のそれぞれから仮想視点１１を含む領域２１１、２２１、２３１を抽出する。画像処理装置４は、抽出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に合成可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することによって仮想全天球画像２４を生成する。図１１（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１１（Ｃ）に示すように、仮想全天球画像２４の所定の領域には部分画像２１１ａ、２２１ａ、２３１ａが合成されている。そのため、仮想全天球画像２４として、競技用コート１０上に物体（例えば、人物）が撮影されている画像が生成される。

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、社団法人電子情報通信学会、信学技報、2015年6月、vol.115、no.76、p.43-48

仮想全天球画像２４は、仮想視点１１において撮影されたかのような全天球画像に対して、コートの外側に設置されたカメラ群３によって撮影された画像を合成することによって生成される。ところが、カメラ３から見て仮想視点１１よりも手前に被写体が存在する場合には、仮想視点から本来見えないはずの手前の被写体が映り込んでしまい、被写体によって仮想視点から本来見えるはずの背景及び被写体のいずれかが遮蔽されてしまうという問題があった。このような問題が発生すると、適切な仮想全天球画像を生成することが出来なくなってしまう。なお、このような問題は、仮想視点に関係なく、複数の撮影装置のそれぞれで撮影された複数の画像のいずれかに除去対象となる被写体が映り込んでいる場合全てに共通する問題である。

上記事情に鑑み、本発明は、複数の撮影装置のそれぞれで撮影された複数の画像のいずれかに存在する除去対象となる被写体による画像の品質低下を抑制することができる技術の提供を目的としている。

本発明の一態様は、所定の領域内に設定された仮想的な視点を表す仮想視点を含む入力画像を撮影する複数の撮影装置によって撮影された複数の入力画像のうち、前記仮想視点よりも手前に存在するオブジェクトを表す前景オブジェクトが存在する補完対象領域を有する入力画像における前記補完対象領域を補完する補完処理部、を備え、前記補完処理部は、前記補完対象領域の補完対象となる前記入力画像を、前記入力画像を撮影した撮影装置の近傍の撮影装置の入力画像を用いて補完する画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記入力画像を撮影装置毎に時系列順に記憶する入力画像記憶部をさらに備え、前記補完処理部は、前記入力画像記憶部に記憶されている前記複数の撮影装置の入力画像において、前記補完対象領域の大きさを求め、前記補完対象領域の大きさが最も大きい入力画像を前記補完対象領域の補完対象となる入力画像に決定する。

本発明の一態様は、上記の画像処理装置であって、前記補完処理部は、前記複数の撮影装置のうち、少なくとも前記前景オブジェクトと前記仮想視点よりも後方に存在するオブジェクトを表す後景オブジェクトとの関係を表すパラメータと、前記前景オブジェクトと前記後景オブジェクトとが離れているか否かを示すパラメータのいずれかを含む所定の関数に基づいて選択される撮影装置の入力画像を用いて、決定された前記入力画像の前記補完対象領域を補完する。

本発明の一態様は、上記の画像処理装置であって、前記所定の関数は、決定された前記入力画像を撮影した撮影装置である基準撮影装置と他の撮影装置との距離と、前記他の撮影装置の入力画像の補完対象領域の大きさと、前記他の撮影装置で撮影した入力画像を前記基準撮影装置の位置から見た画像に変換した場合に対応付けられなかった前記他の撮影装置で撮影した入力画像の領域の大きさと、前記他の撮影装置の入力画像の前景オブジェクトと前記後景オブジェクトとの間の距離と、前記他の撮影装置の入力画像の前景オブジェクトと前記後景オブジェクトとが離れているか否かを示す値の重み付き和で表される。

本発明の一態様は、複数の撮影装置それぞれで撮影された映像のうち特定の映像の特定の入力画像に存在する除去対象となる対象物が存在する補完対象領域を補完する補完処理部を備え、前記補完処理部は、前記特定の入力画像が撮影された時刻の時間近傍で撮影された前記複数の撮影装置の入力画像毎に、前記入力画像に存在する前記対象物と前記対象物よりも後方に存在する被写体である後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値との何れかを含む所定の関数を用いて入力画像毎の値を算出し、算出した値が最小となる入力画像を撮影した撮影装置で撮影された入力画像を用いて前記補完対象領域を補完する画像処理装置である。

本発明の一態様は、上記の画像処理装置であって、前記所定の関数は、前記特定の入力画像が撮影された時刻と同じ時刻に他の撮影装置で撮影された入力画像と前記特定の入力画像とのうち前記補完対象領域の大きさが最も大きい入力画像を撮影した撮影装置である基準撮影装置と前記基準撮影装置以外の撮影装置との間の距離と、前記複数の撮影装置の入力画像における前記補完対象領域の大きさと、前記基準撮影装置以外の撮影装置で撮影された入力画像内の補完対象領域を前記基準撮影装置の位置で撮影した画像に変換した場合に対応が取れなかった画素の大きさと、前記入力画像に存在する前記対象物と前記後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値とのそれぞれに対して所定の重み係数を乗算し、乗算結果を加算する関数である。

本発明の一態様は、所定の領域内に設定された仮想的な視点を表す仮想視点を含む入力画像を撮影する複数の撮影装置によって撮影された複数の入力画像のうち、前記仮想視点よりも手前に存在するオブジェクトを表す前景オブジェクトが存在する補完対象領域を有する入力画像における前記補完対象領域を補完する補完処理ステップ、を有し、前記補完処理ステップにおいて、前記補完対象領域の補完対象となる前記入力画像を、前記入力画像を撮影した撮影装置の近傍の撮影装置の入力画像を用いて補完する画像処理方法である。

本発明の一態様は、複数の撮影装置それぞれで撮影された映像のうち特定の映像中の特定の入力画像に存在する除去対象となる対象物が存在する補完対象領域を補完する補完処理ステップを有し、前記補完処理ステップにおいて、前記特定の入力画像が撮影された時刻の時間近傍で撮影された前記複数の撮影装置の入力画像毎に、前記入力画像に存在する前記対象物と前記対象物よりも後方に存在する被写体である後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値との何れかを含む所定の関数を用いて入力画像毎の値を算出し、算出した値が最小となる入力画像を撮影した撮影装置で撮影された入力画像を用いて前記補完対象領域を補完する画像処理方法である。

本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、複数の撮影装置のそれぞれで撮影された複数の画像のいずれかに存在する除去対象となる被写体による画像の品質低下を抑制することが可能となる。

本発明における画像処理システム１００のシステム構成を示す図である。 合成情報テーブルの具体例を示す図である。 画像処理装置８０の処理の流れを示すフローチャートである。 判定部８０３による判定処理の流れを示すフローチャートである。 第１補完手法における処理の流れを示すフローチャートである。 第２補完手法における処理の流れを示すフローチャートである。 入力画像及びマスク画像の具体例を示す図である。 マスク画像毎のマスク領域の大きさを表す図である。 アフィン変換後のマスク画像の具体例を示す図である。 従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。 画像処理システム１における画像処理の流れを説明するための図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における画像処理システム１００のシステム構成を示す図である。
画像処理システム１００は、全天球カメラ６０、複数のカメラ７０−１〜７０−Ｍ（Ｍは２以上の整数）及び画像処理装置８０を備える。なお、以下の説明では、カメラ７０−１〜７０−Ｍについて特に区別しない場合には、カメラ７０と記載する。

全天球カメラ６０は、撮影対象領域８１内の仮想視点８２の位置に設置される。撮影対象領域８１は、例えばサッカーコートやバスケットコートなどの競技用コートなどである。仮想視点８２は、所定の領域（本実施形態では、撮影対象領域８１）内に仮想的に設定された視点である。全天球カメラ６０は、仮想視点８２の位置における全天球画像を撮影する。本実施形態における全天球画像は、仮想視点８２を中心として撮影対象領域８１全体を含む。全天球カメラ６０による処理は、画像処理装置８０による処理の開始前に行われる。全天球カメラ６０は、撮影した全天球画像を背景画像として画像処理装置８０に出力する。

Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍは、撮影対象領域８１の外側に設けられ、画像を動画（映像）で撮影するカメラであり、仮想視点８２を含む領域を撮影する。Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画は、複数フレームの画像により構成される。図１に示すように、カメラ７０−１には仮想視点８２の位置上を通過する光線７１が入力され、カメラ７０−２には仮想視点８２の位置上を通過する光線７２が入力される。以下、カメラ７０に入力される光線を実光線と記載する。図１では示していないが、カメラ７０は撮影対象領域８１の周囲に設置される。つまり、カメラ７０は、それぞれ仮想視点８２を含む画角となるように撮影対象領域８１の周囲を取り囲むように設置される。図１においてＭは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであれば撮影対象領域８１が大きいほど大きな値となる。また、撮影対象領域８１の大きさが同じであれば、Ｍの値が大きい程、合成領域（仮想全天球画像において、Ｍ台のカメラ７０からの画像を合成した領域）の面積が大きくなり、あるいは合成領域の大きさが同じであれば合成領域における画質が向上する仮想全天球画像の画質を高いものにしようとするほど大きな値となる。

画像処理装置８０は、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影されたそれぞれの動画から入力画像を事前に取得する。撮影されたそれぞれの動画は複数フレームの画像で構成されており、本実施形態における画像処理装置８０は処理対象となるフレームの画像を入力画像として取得する。画像処理装置８０は、全天球カメラ６０によって撮影された全天球画像と、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画からそれぞれ取得された入力画像とに基づいて仮想全天球画像を生成する。また、画像処理装置８０は、入力画像に前景オブジェクトが存在するか否か判定する。ここで、前景オブジェクトとは、仮想視点８２よりもカメラ７０に近い位置に存在するオブジェクトである。オブジェクトとは、背景画像に含まれていないが入力画像に含まれている人物、物体（例えばボール）等である。画像処理装置８０は、入力画像に前景オブジェクトが存在する場合には、前景オブジェクトを除去し、除去された前景オブジェクトが存在した領域（以下、「補完対象領域」という。）を補完する。例えば、画像処理装置８０は、補完対象領域を第１補完手法及び第２補完手法のいずれかの手法を利用して補完する。第１補完手法は、前景オブジェクトが存在する入力画像を撮影したカメラ７０の過去の入力画像を参照画像として用いて補完対象領域を補完する補完手法である。第２補完手法は、前景オブジェクトが存在する入力画像を撮影したカメラ７０の過去の入力画像と他のカメラ７０の過去の入力画像のいずれかを参照画像として用いて補完対象領域を補完する補完手法である。

次に、画像処理装置８０の機能構成について説明する。画像処理装置８０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置８０は、入力画像記憶部８０１、オブジェクト解析部８０２、判定部８０３、補完処理部８０４、合成情報記憶部８０５、部分領域抽出部８０６、背景画像記憶部８０７、画像合成部８０８を備える装置として機能する。なお、画像処理装置８０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

入力画像記憶部８０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力画像記憶部８０１は、各カメラ７０を識別するためのカメラＩＤに関連付けて、カメラ７０毎の入力画像を時系列順に記憶する。入力画像は、撮影時刻及び動画の画像データを含む。
オブジェクト解析部８０２は、入力画像記憶部８０１に記憶されている入力画像を入力とする。オブジェクト解析部８０２は、入力された入力画像中に前景オブジェクトが存在するか否か解析し、入力画像中に前景オブジェクトが存在する場合には入力画像中の当該オブジェクトの領域（補完対象領域）を示す情報を判定部８０３に出力する。入力画像中に前景オブジェクトが存在しない場合には、オブジェクト解析部８０２は入力画像を部分領域抽出部８０６に出力する。オブジェクト解析部８０２が行う解析の方法としては、例えば、セグメンテーションにより入力画像に含まれるオブジェクト領域を切り出す方法が挙げられる。次に、オブジェクト解析部８０２は、切り出したオブジェクト領域に基づいて、仮想視点８２よりも手前に位置するか否かを判別する。なお、判別する手法はどのような方法であってもよい。例えば、オブジェクト解析部８０２は、図示しないセンサ等で、あるカメラ７０から入力画像中のオブジェクトまでの距離を取得してもよいし、複数のカメラ７０で撮影された入力画像から幾何的な解析により、あるカメラ７０から入力画像中のオブジェクトまでの距離を取得してもよい。そして、オブジェクト解析部８０２は、取得した距離が、あるカメラ７０から仮想視点までの距離以下であれば入力画像中の対応するオブジェクトを仮想視点より手前にある前景オブジェクトであると判定し、それ以外の場合には入力画像中の対応するオブジェクトを後景オブジェクトであると判定する。そして、オブジェクト解析部８０２は、入力画像と、入力画像中の補完対象領域を示す情報と、入力画像における後景オブジェクトの有無を示す情報とを判定部８０３に出力する。オブジェクト解析部８０２は、オブジェクト認識により他のカメラ７０の入力画像にも同一オブジェクトが存在する場合には、それも前景オブジェクトとする。

判定部８０３は、オブジェクト解析部８０２から出力された補完対象領域の情報と、入力画像と、後景オブジェクトの有無を示す情報とを入力とする。判定部８０３は、入力された入力画像と、補完対象領域の情報と、後景オブジェクトの有無を示す情報とに基づいて、入力画像を撮影したカメラ７０によって撮影された他の入力画像を用いて補完対象領域を補完することの難しさの度合いを表す難易性を判定する。そして、判定部８０３は、判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。具体的な判定方法については後述する。なお、判定結果には、入力画像を撮影したカメラ７０によって撮影された他の入力画像を用いて補完対象領域を補完しやすいか否かを示す情報が含まれる。

補完処理部８０４は、判定部８０３から出力された判定結果と、補完対象領域の情報と、入力画像記憶部８０１に記憶されている入力画像とを入力とする。補完処理部８０４は、判定結果が補完対象領域を補完しやすいことを示している場合、第１補完手法を利用して入力画像中の補完対象領域を補完する。一方、補完処理部８０４は、判定結果が補完対象領域を補完しやすいことを示していない場合、第２補完手法を利用して入力画像中の補完対象領域を補完する。具体的な処理については後述する。補完処理部８０４は、補完がなされた後の入力画像（以下、「補完後画像」という。）を部分領域抽出部８０６に出力する。
合成情報記憶部８０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。合成情報記憶部８０５は、合成情報テーブルを記憶する。合成情報テーブルは、入力画像から生成される画像を背景画像に重畳するための情報（以下、「合成情報」という。）を表すレコード（以下、「合成情報レコード」という。）によって構成される。

図２は、合成情報テーブルの具体例を示す図である。
合成情報テーブルは、合成情報レコードを複数有する。合成情報レコードは、カメラＩＤ、抽出領域情報及び変換情報の各値を有する。カメラＩＤの値は、カメラ７０を識別するための識別情報を表す。例えば、図２におけるカメラＩＤ“Ｃ１”で識別されるカメラ７０はカメラ７０−１であり、カメラＩＤ“ＣＭ”で識別されるカメラ７０はカメラ７０−Ｍである。

抽出領域情報の値は、同じ合成情報レコードのカメラＩＤで識別されるカメラ７０で撮影された画像（入力画像）から抽出する領域（以下、「抽出領域」という。）に関する情報を表す。抽出領域情報の具体例として、左上座標、幅及び高さがある。左上座標は、抽出領域の左上の座標を表す。幅は、抽出領域の幅を表す。高さは、抽出領域の高さを表す。なお、幅及び高さは、抽出領域の左上座標を基準とし、かつ、仮想視点を含む範囲に設定される。抽出領域は、合成された画像上で隣接するカメラ７０の部分画像との間に隙間ができないような領域に設定されることが望ましい。

変換情報の値は、同じ合成情報レコードの抽出領域情報に応じて抽出された部分領域画像を部分画像に変換するための情報を表す。部分画像は、部分領域画像を背景画像の対応領域に違和感なく重畳するために、部分領域画像に対して上記変換情報に応じて拡大、縮小、回転等の変形処理を行うことによって生成される。この変形処理は、例えば、画像に対してアフィン変換を施すことによって行う。画像に対してアフィン変換を施す場合の変換情報は、例えばアフィン変換行列である。以下、部分領域画像に対して行う変形処理としてアフィン変換を用いる例を示すが、変形処理はアフィン変換に限定される必要はなく、変換情報に応じて拡大、縮小、回転等による画像の変換を行う処理であればどのような処理であってもよい。なお、アフィン変換行列には、背景画像において部分画像を重畳する領域を示す情報が含まれる。

アフィン変換行列は、以下に示す方法により予め取得して合成情報記憶部８０５に記憶される。例えば、仮想視点８２から複数種類の距離（奥行）の位置に格子模様のチェスボードを設置して、仮想視点８２に設置した全天球カメラ６０で撮影したチェスボードを含む画像と、カメラ７０で撮影したチェスボードを含む画像とを比較する。そして、チェスボードの各格子について、全天球カメラ６０で撮影した画像中のチェスボードの格子と、カメラ７０で撮影した画像中のチェスボードの格子が対応するように画像を変換するアフィン変換行列を求める。このようにして、チェスボードを設置した奥行に対応したアフィン変換行列を求める。

図２に示される例では、合成情報テーブルには複数の合成情報レコードが登録されている。図２において、合成情報テーブルの最上段に登録されている合成情報レコードは、カメラＩＤの値が“Ｃ１”、左上座標の値が“（Ａ，Ｂ）”、幅の値が“Ｃ”、高さの値が“Ｄ”、変換情報の値が“Ａ１_ｉ”である。すなわち、カメラＩＤ“Ｃ１”で識別されるカメラ７０−１の入力画像から左上座標（Ａ，Ｂ）、幅Ｃ、高さＤで表される領域を抽出し、抽出された画像に対して“Ａ１_ｉ”の変形処理を施すことが表されている。

図１に戻って、画像処理装置８０の説明を続ける。
部分領域抽出部８０６は、オブジェクト解析部８０２から出力された入力画像と、合成情報記憶部８０５に記憶されている合成情報テーブルとを入力とする。また、部分領域抽出部８０６は、補完処理部８０４から出力された補完後画像と、合成情報記憶部８０５に記憶されている合成情報テーブルとを入力とする。部分領域抽出部８０６は、合成情報テーブルに基づいて、画像（入力画像又は補完後画像）から部分領域を抽出することによって部分領域画像を生成する。部分領域抽出部８０６は、生成した部分領域画像を画像合成部８０８に出力する。
背景画像記憶部８０７は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。背景画像記憶部８０７は、全天球カメラ６０によって撮影された全天球画像を背景画像として記憶する。

画像合成部８０８は、部分領域抽出部８０６から出力された部分領域画像と、合成情報記憶部８０５に記憶されている合成情報テーブルと、背景画像記憶部８０７に記憶されている背景画像とを入力とする。画像合成部８０８は、部分領域画像に対して、合成情報テーブルに含まれる変換情報のアフィン変換行列に基づいて変形処理を行うことによって部分画像を生成する。画像合成部８０８は、生成した部分画像をアフィン変換行列に基づいて背景画像に重畳することで仮想全天球画像を生成する。より具体的には、画像合成部８０８は、部分画像の画素値で、背景画像上の部分画像を重畳する領域の画素値を置き換えることによって背景画像に部分領域画像を重畳することで仮想全天球画像を生成する。

図３は、画像処理装置８０の処理の流れを示すフローチャートである。
オブジェクト解析部８０２は、あるカメラｘを選択する（ステップＳ１０１）。カメラｘの選択方法は、どのような方法であってもよい。予め特定のカメラをカメラｘとして定めておいてもよい。次に、オブジェクト解析部８０２は、選択したカメラｘの入力画像を入力画像記憶部８０１から読み出す（ステップＳ１０２）。例えば、オブジェクト解析部８０２は、選択したカメラｘが撮影した動画中のある入力画像を入力画像記憶部８０１から読み出す。オブジェクト解析部８０２は、読み出した入力画像を入力とし、入力された入力画像を解析することによって入力画像に前景オブジェクトが存在するか否か判定する（ステップＳ１０３）。なお、この際、オブジェクト解析部８０２は、入力画像に後景オブジェクトが存在するか否かについても解析する。入力画像に前景オブジェクトが存在する場合（ステップＳ１０３−ＹＥＳ）、オブジェクト解析部８０２は入力画像と、補完対象領域を示す情報と、後景オブジェクトの有無を示す情報とを判定部８０３に出力する。判定部８０３は、オブジェクト解析部８０２から出力された入力画像と、補完対象領域を示す情報と、後景オブジェクトの有無を示す情報とを入力とし、入力された入力画像及び補完対象領域と、後景オブジェクトの有無を示す情報とに基づいて難易性を判定、即ち、補完対象領域を補完しやすいか否か判定する（ステップＳ１０４）。

判定部８０３は、補完しやすいと判定した場合（ステップＳ１０４−ＹＥＳ）、補完しやすいことを示す判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。補完処理部８０４は、判定部８０３から出力された判定結果と、補完対象領域の情報と、入力画像記憶部８０１に記憶されている入力画像とを入力とし、入力された判定結果が補完しやすいことを示しているため第１補完手法を利用して入力画像中の補完対象領域を補完する（ステップＳ１０５）。第１補完手法の具体的な処理については後述する。補完処理部８０４は、補完後画像を部分領域抽出部８０６に出力する。
一方、判定部８０３は、補完しやすいと判定しなかった場合（ステップＳ１０４−ＮＯ）、その旨を示す判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。補完しやすいと判定しなかった場合に出力される判定結果の一例として、例えば、補完しやすいわけではないことを示す判定結果、あるいは、補完しにくいことを示す判定結果が挙げられる。補完処理部８０４は、判定部８０３から出力された判定結果と、補完対象領域の情報と、入力画像記憶部８０１に記憶されている入力画像とを入力とし、入力された判定結果が補完しやすいことを示していないため第２補完手法を利用して入力画像中の補完対象領域を補完する（ステップＳ１０６）。第２補完手法の具体的な処理については後述する。補完処理部８０４は、補完後画像を部分領域抽出部８０６に出力する。

部分領域抽出部８０６は、オブジェクト解析部８０２から出力された入力画像と、合成情報記憶部８０５に記憶されている合成情報テーブル、又は、補完処理部８０４から出力された補完後画像と、合成情報記憶部８０５に記憶されている合成情報テーブルとを入力とし、合成情報記憶部８０５に記憶されている合成情報テーブルで示される部分領域を画像から抽出することによって部分領域画像を生成する（ステップＳ１０７）。具体的には、部分領域抽出部８０６は、オブジェクト解析部８０２から出力された入力画像と、合成情報テーブルとを入力とした場合、つまりステップＳ１０３の処理において、入力画像に前景オブジェクトが存在しないと判定された場合（ステップ１０３−ＮＯ）、入力画像から合成情報テーブルで示される部分領域を抽出することによって部分領域画像を生成する。また、部分領域抽出部８０６は、補完処理部８０４から出力された補完後画像と、合成情報テーブルとを入力とした場合、つまりステップＳ１０６又は１０７の処理がなされた後、補完後画像から合成情報テーブルで示される部分領域を抽出することによって部分領域画像を生成する。その後、部分領域抽出部８０６は、生成した部分領域画像を画像合成部８０８に出力する。例えば、部分領域抽出部８０６は、カメラ７０−１の入力画像に対して、合成情報テーブルのカメラ７０−１に対応する合成情報レコードの抽出領域情報で表される領域を抽出することによって、カメラ７０−１の入力画像の部分領域画像を生成する。

画像合成部８０８は、部分領域抽出部８０６から出力された部分領域画像と、合成情報記憶部８０５に記憶されている合成情報テーブルと、背景画像記憶部８０７に記憶されている背景画像とを入力とし、合成情報テーブルの変換情報に基づいて、生成された部分領域画像に対して変形処理を行うことによって部分画像を生成し、生成した部分画像を背景画像上の対応する位置に重畳する（ステップＳ１０８）。例えば、画像合成部８０８は、カメラ７０−１の入力画像から生成された部分領域画像に対して、合成情報テーブルのカメラ７０−１に対応する合成情報レコードの変換情報に応じて変形処理を行うことによって、カメラ７０−１の部分領域画像の部分画像を生成し、生成した部分画像を、変換情報に含まれる背景画像において部分画像を重畳する領域を示す情報に基づいて背景画像に重畳する。

その後、判定部８０３は、全てのカメラ７０の入力画像に対して処理が行なわれたか否か判定する（ステップＳ１０９）。より具体的には、判定部８０３は、前景オブジェクトが存在すると判定された全てのカメラ７０の入力画像に対して補完手法による処理が行なわれたか否か判定する。前景オブジェクトが存在すると判定された全てのカメラ７０の入力画像に対して補完手法による処理が行なわれた場合（ステップＳ１０９−ＹＥＳ）、画像処理装置８０は処理を終了する。
一方、前景オブジェクトが存在すると判定された全てのカメラ７０の入力画像に対して補完手法による処理が行なわれていない場合（ステップＳ１０９−ＮＯ）、ステップＳ１０１以降の処理が実行される。

図４は、判定部８０３による判定処理の流れを示すフローチャートである。
判定部８０３は、オブジェクト解析部８０２による解析結果に基づいて補完対象領域を決定する（ステップＳ２０１）。判定部８０３には、オブジェクト解析部８０２から出力された入力画像と、補完対象領域を示す情報と、後景オブジェクトの有無を示す情報とが入力されている。そこで、判定部８０３は、入力画像中の補完対象領域を示す情報で示される領域を補完対象領域に決定する。次に、判定部８０３は、補完対象領域が背景であるか否か判定する（ステップＳ２０２）。補完対象領域が背景であるか否かの判定は、前景オブジェクトの後方に後景オブジェクトが存在するか否かで行われる。まず、判定部８０３は、入力された後景オブジェクトの有無を示す情報から後景オブジェクトの有無を判定する。後景オブジェクトが存在しない場合、判定部８０３は補完対象領域が背景であると判定する。一方、後景オブジェクトが存在する場合、判定部８０３は後景オブジェクトが補完対象領域の後方に存在するか否か判定する。後景オブジェクトが補完対象領域の後方に存在する場合、判定部８０３は補完対象領域が背景ではないと判定する。一方、後景オブジェクトが補完対象領域の後方に存在する場合、判定部８０３は補完対象領域が背景であると判定する。

補完対象領域が背景である場合（ステップＳ２０２−ＹＥＳ）、判定部８０３は補完対象領域を補完しやすいと判定する（ステップＳ２０３）。そして、判定部８０３は、補完対象領域を補完しやすいことを示す情報を含む判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。
一方、補完対象領域が背景ではない場合（ステップＳ２０２−ＮＯ）、判定部８０３は他のカメラ７０の入力画像（過去の入力画像も含む）から類似画像を検索する（ステップＳ２０４）。例えば、判定部８０３は、ステップＳ１０１の処理で選択されたカメラｘ以外のカメラ７０（例えば、カメラｙ）について、Ｓ（Ｖｙ（Ｔ＋１）、Ｖｙ（ｔ））＜Ｔｈとなる時刻ｔを求める。ここで、Ｓ（ａ、ｂ）は、ａとｂとの類似度を表す。Ｔｈは、閾値を表す。Ｔ＋１は現時刻を表し、ｔは現時刻よりも前の時刻を表す。つまり、類似画像とは、ステップＳ１０１の処理で選択されたカメラｘの入力画像の後景オブジェクトが存在する画像であり、かつ、上記Ｔｈ未満となる時刻ｔの画像を表す。

判定部８０３は、検索の結果、見つかった時刻ｔにおけるカメラｘの入力画像において補完対処領域に前景オブジェクトが存在するか否かを調べる（ステップＳ２０５）。その結果、判定部８０３は、カメラｘの入力画像において、補完対処領域内に前景オブジェクトが存在しない時刻ｔがあるか否か判定する（ステップＳ２０６）。前景オブジェクトが存在しない時刻ｔがある場合（ステップＳ２０６−ＹＥＳ）、判定部８０３は補完対象領域を補完しやすいと判定する（ステップＳ２０３）。判定部８０３は、補完対象領域を補完しやすいことを示す情報を含む判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。
一方、それ以外の場合、即ち、前景オブジェクトが存在しない時刻ｔがない場合（ステップＳ２０６−ＮＯ）、判定部８０３は補完対象領域を補完しやすいわけではない、あるいは、補完しにくいと判定する（ステップＳ２０７）。そして、判定部８０３は、補完対象領域を補完しやすいわけではないこと、あるいは、補完しにくいことを示す情報を含む判定結果と、補完対象領域の情報とを補完処理部８０４に出力する。

図５は、第１補完手法における処理の流れを示すフローチャートである。
補完処理部８０４は、前景オブジェクトが存在しない時刻ｔにおけるカメラｘの入力画像を参照画像とする（ステップＳ３０１）。次に、補完処理部８０４は、補完対象領域に対して画像処理を行うことを示すマスク領域を有するマスク画像を生成する。そして、補完処理部８０４は、参照画像を用いて、生成したマスク画像で示されているマスク領域を補完する（ステップＳ３０２）。具体的には、まず補完処理部８０４は、ステップＳ１０２の処理で読み出された入力画像から補完対象領域と、補完対象領域以外の領域とを共に含む小領域（パッチ）を選択する。この方法としては、補完対象領域の輪郭上に存在するパッチであって、パッチ領域中の補完対象領域以外の領域の画素のエッジ強度が強いパッチから選定する方法などが挙げられる。次に、補完処理部８０４は、選択したパッチの補完対象領域以外の画素を基に、参照画像から類似パッチを検出する。ここで、類似パッチとは、選択したパッチの画素の画素値と画素値が類似したパッチを表す。そして、補完処理部８０４は、検出した類似パッチを、選択したパッチに重畳する。つまり、補完処理部８０４は、類似パッチの画素値で選択したパッチの画素値を置き換える。補完処理部８０４は、以上の処理を補完対象領域が無くなるまで実行する。

なお、上記の例では、補完手法（コンプリーション手法）としてパッチベースの手法を例に説明したが、補完手法はこれに限定される必要はない。補完手法としては、その他の手法が用いられてもよい。例えば、補完対象領域の画素の、類似パッチ中での該当位置の画素を用いて補完する手法や、複数の類似パッチ中の該当位置の画素の重みづけ平均の画素を用いて補完する手法などがある。

図６は、第２補完手法における処理の流れを示すフローチャートである。
補完処理部８０４は、第１前処理を行う（ステップＳ４０１）。具体的には、補完処理部８０４は、第１前処理として、ステップＳ１０２の処理で読み出された入力画像と同時刻に撮影された全てのカメラ７０の入力画像を読み出すとともに、各入力画像の補完対象領域に対して画像処理を行うことを示すマスク領域を有するマスク画像を生成する。その結果を図７に示す。

図７は、入力画像及びマスク画像の具体例を示す図である。
図７（Ａ）は、同時刻に撮影された複数のカメラ７０の入力画像を表す図である。図７（Ａ）では、カメラＩＤ“１”からカメラＩＤ“５”で識別される５台のカメラ７０−１〜７０−５それぞれで撮影された入力画像を示している。例えば、入力画像８３−１はカメラＩＤ“１”で識別されるカメラ７０−１で撮影された画像を表す。各入力画像８３−１〜８３−５には、オブジェクト８４及び８５が含まれる。ここで、オブジェクト８４は後景オブジェクトを表し、オブジェクト８５は前景オブジェクトを表す。つまり、オブジェクト８５の領域が補完対象領域を表す。

図７（Ｂ）は、入力画像８３−１〜８３−５のマスク画像８７−１〜８７−５を表す図である。図７（Ｂ）におけるマスク画像８７−１〜８７−５は、領域８８で示す領域に対して画像処理を行うことを示し、領域８９で示す領域に対して画像処理を行わないことを示している。第１前処理では、入力画像及びマスク画像をカメラ７０の台数×時間ｔ分用意する必要があるため多次元配列となる。例えば、マスク画像の場合、（二次元×１ｃｈ×カメラの台数×時刻ｔ）次元の配列となる。

次に、補完処理部８０４は、第２前処理を行う（ステップＳ４０２）。具体的には、補完処理部８０４は、第２前処理として、マスク画像中のマスク領域の大きさを求める。その結果を図８に示す。
図８は、マスク画像毎のマスク領域の大きさを表す図である。
図８において、縦軸はマスク領域の大きさを表し、横軸はカメラＩＤを表す。図８に示されるグラフには、各マスク画像８７−１〜８７−５のマスク領域８８−１〜８８−５の大きさ（ピクセル数）に応じたプロットが示されている。図８を参照すると、カメラＩＤ“２”〜“４”で識別されるカメラ７０−２〜７０−４の入力画像に対するマスク画像のマスク領域が最も大きいことが示されている。

次に、補完処理部８０４は、入力画像に対してマスク領域が存在するか否か判定する（ステップＳ４０３）。マスク領域が存在しない場合（ステップＳ４０３−ＮＯ）、画像処理装置８０は第２補完手法による処理を終了する。
一方、マスク領域が存在する場合（ステップＳ４０３−ＹＥＳ）、補完処理部８０４は基準カメラを決定する（ステップＳ４０４）。ここで、基準カメラとは、第２補完手法を施す対象となるマスク領域、つまり補完対象領域を有する入力画像を撮影したカメラ７０を表す。基準カメラを決定する方法として以下のような方法がある。

（基準カメラ決定方法）
ステップＳ４０２の処理で求めた入力画像のマスク領域が最も大きい入力画像を撮影したカメラ７０（前景オブジェクトが最も大きく映り込んでいる入力画像を撮影したカメラ７０）を基準カメラに決定。
マスク領域が最も大きい入力画像を撮影したカメラ７０が複数存在する場合（図８におけるカメラＩＤ２、ＩＤ３及びＩＤ４）、それらの中央に近いカメラ７０を基準カメラに決定。
中央に近いカメラ７０が複数存在する場合（例えば、マスク領域が最も大きい入力画像を撮影したカメラ７０が４台の場合）、内側の２台のカメラのうちどちらかのカメラ７０を基準カメラに決定。この場合は、どちらのカメラ７０に決定されてもよい。

図８の例では、カメラＩＤ３のカメラ７０が基準カメラに決定される。その後、補完処理部８０４は、基準カメラ以外のカメラ７０の入力画像及び全てのマスク画像に対してアフィン変換処理を行う（ステップＳ４０５）。ここで行われるアフィン変換処理は、基準カメラを基準として、基準カメラ以外のカメラ７０の入力画像及び全てのマスク画像を基準カメラから見た画像に変換する処理を表す。アフィン変換処理後のマスク画像の結果を図９に示す。

図９は、アフィン変換後のマスク画像の具体例を示す図である。
図９において、各マスク画像８７−１、８７−２、８７−４及び８７−５には、それぞれ領域９０が示されている。この領域９０は、アフィン変換時に対応が取れなかった画素の領域を表す。つまり、領域９０は、アフィン変換時に基準カメラからの見た目が作れなかった領域を表す。以下、領域９０を非マスク領域（マスク領域に含めない領域）と表す。なお、マスク画像８７−３は、基準カメラの入力画像におけるマスク画像であるため領域９０が存在しない。

その後、補完処理部８０４は、以下のエネルギー関数Ｅに基づいて、全てのカメラ７０の中からエネルギー関数Ｅが最小となるカメラを参照カメラとして決定する（ステップＳ４０６）。ここで、参照カメラとは、基準カメラの入力画像の補完対象領域を補完するために用いる入力画像を撮影したカメラを表す。なお、入力画像の探索範囲は、前後Ｔ時刻分である。

（エネルギー関数Ｅ）
Ｅ＝α１×ｄ１＋α２×Ｓ＋α３×Ｓ１＋α４×（１／ｄ２）＋α５×ａ
ここで、α１〜α５は重み係数を表す。ｄ１は基準カメラから他のカメラまでの距離を表す。Ｓはマスク領域の大きさを表す。Ｓ１はアフィン変換時に対応が取れなかった画素の大きさを表す。つまり、Ｓ１は非マスク領域の大きさを表す。ｄ２は前景オブジェクトと、後景オブジェクトとのオブジェクト間距離を表す。ここで、ｄ２は以下のように算出される。まず補完処理部８０４は、セグメンテーションにより入力画像から各オブジェクトを抽出する。次に、補完処理部８０４は、前景オブジェクトと、後景オブジェクトとの中心位置間の距離を算出する。なお、後景オブジェクトが複数存在する場合には、後景オブジェクトの中で最も前景オブジェクトの近くに位置している後景オブジェクトと、前景オブジェクトとの中心位置間の距離を表す。ａは前景オブジェクトと、後景オブジェクトとが完全に離れているかを示す２値数である。ここで、ａは以下のように求められる。まず補完処理部８０４は、背景差分法によりオブジェクト領域を抽出する。次に、補完処理部８０４は、クラスタリング等によりオブジェクトの個数を算出する。そして、補完処理部８０４は、オブジェクトの個数が基準カメラのオブジェクト個数を上回っていれば１、そうでなければ０とする。

補完処理部８０４は、上記エネルギー関数Ｅを全てのカメラ７０の入力画像前後Ｔ時刻分算出する。そして、補完処理部８０４は、エネルギー関数Ｅが最小となる入力画像を撮影したカメラ７０を参照カメラとして決定する。なお、補完処理部８０４は、基準カメラについては参照カメラの決定処理の対象から除外してもよい。その後、補完処理部８０４は、参照カメラの入力画像のうち、エネルギー関数Ｅが最小となった入力画像を参照画像として用いて補完対象領域を補完する（ステップＳ４０７）。その後、ステップＳ４０１以降の処理を繰り返し実行する。

以上のように構成された画像処理装置８０によれば、複数の撮影装置のそれぞれで撮影された複数の画像のいずれかに存在する除去対象となる被写体による画像の品質低下を抑制することが可能になる。以下、この効果について詳細に説明する。
画像処理装置８０は、エネルギー関数Ｅを用いて参照カメラを決定し、決定した参照カメラの入力画像を用いて、基準カメラの入力画像の補完対象領域を補完する。エネルギー関数Ｅには、基準カメラからの距離が含まれる。つまり、基準カメラとの距離が近いカメラ程参照カメラとして選択される可能性が高い。さらに、基準カメラとの距離が近いカメラの入力画像は、基準カメラの入力画像と見え方が近いため、補完後の違和感が少なくなる。そのため、複数の撮影装置のそれぞれで撮影された複数の画像のいずれかに存在する除去対象となる被写体による画像の品質低下を抑制することが可能になる。

＜変形例＞
本発明は上記の実施形態に限定される必要はない。例えば、本発明は、複数のカメラ７０でそれぞれ撮影された複数の動画に含まれる特定の動画中の特定の画像において除去対象となる被写体が除去された領域（補完対象領域）を補完した後の画像を得る場合にも適用可能である。
本実施形態では、合成情報テーブルに登録されている幅の値が全てのカメラＩＤで同じであるが、幅の値はカメラＩＤ毎に異なっていてもよいし、一部のカメラＩＤで異なっていてもよい。
本実施形態では、前景オブジェクトと後景オブジェクトとの切り分け方として、オブジェクト認識やセグメンテーションを用いる方法を示したが、以下のような２つの方法が用いられてもよい。
（第１の方法）
第１の方法は、レンジセンサを用いる方法である。レンジセンサを用いる場合、仮想視点よりも奥に位置するオブジェクトを後景オブジェクトとし、仮想視点よりも手前に位置するオブジェクトを前景オブジェクトとする。
（第２の方法）
第２の方法は、競技用コート１０上部のカメラ映像を用いる方法である。競技用コート１０上部にカメラを設置できる場合、予め天井などの競技用コート１０上部に設置したカメラと、競技用コート１０外に設置したカメラ７０とのキャリブレーションを事前に済ませておく。その後、競技用コート１０上部のカメラの映像から人物やボールなどのオブジェクトをトラッキングし、各オブジェクトが各カメラ７０からどのように観察できているのかを推定する。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

６０…全天球カメラ， ７０（７０−１〜７０−Ｍ）…カメラ， ４、８０…画像処理装置， ８０１…入力画像記憶部， ８０２…オブジェクト解析部， ８０３…判定部， ８０４…補完処理部， ８０５…合成情報記憶部， ８０６…部分領域抽出部， ８０７…背景画像記憶部， ８０８…画像合成部

Claims (9)

1. 所定の領域内に設定された仮想的な視点を表す仮想視点を含む入力画像を撮影する複数の撮影装置によって撮影された複数の入力画像のうち、前記仮想視点よりも手前に存在するオブジェクトを表す前景オブジェクトが存在する補完対象領域を有する入力画像における前記補完対象領域を補完する補完処理部、
   を備え、
   前記補完処理部は、前記補完対象領域の補完対象となる前記入力画像を、前記入力画像を撮影した撮影装置の近傍の撮影装置の入力画像を用いて補完する画像処理装置。
2. 前記入力画像を撮影装置毎に時系列順に記憶する入力画像記憶部をさらに備え、
   前記補完処理部は、前記入力画像記憶部に記憶されている前記複数の撮影装置の入力画像において、前記補完対象領域の大きさを求め、前記補完対象領域の大きさが最も大きい入力画像を前記補完対象領域の補完対象となる入力画像に決定する、請求項１に記載の画像処理装置。
3. 前記補完処理部は、前記複数の撮影装置のうち、少なくとも前記前景オブジェクトと前記仮想視点よりも後方に存在するオブジェクトを表す後景オブジェクトとの関係を表すパラメータと、前記前景オブジェクトと前記後景オブジェクトとが離れているか否かを示すパラメータのいずれかを含む所定の関数に基づいて選択される撮影装置の入力画像を用いて、決定された前記入力画像の前記補完対象領域を補完する、請求項２に記載の画像処理装置。
4. 前記所定の関数は、決定された前記入力画像を撮影した撮影装置である基準撮影装置と他の撮影装置との距離と、前記他の撮影装置の入力画像の補完対象領域の大きさと、前記他の撮影装置で撮影した入力画像を前記基準撮影装置の位置から見た画像に変換した場合に対応付けられなかった前記他の撮影装置で撮影した入力画像の領域の大きさと、前記他の撮影装置の入力画像の前景オブジェクトと前記後景オブジェクトとの間の距離と、前記他の撮影装置の入力画像の前景オブジェクトと前記後景オブジェクトとが離れているか否かを示す値の重み付き和で表される、請求項３に記載の画像処理装置。
5. 複数の撮影装置それぞれで撮影された映像のうち特定の映像中の特定の入力画像に存在する除去対象となる対象物が存在する補完対象領域を補完する補完処理部を備え、
   前記補完処理部は、前記特定の入力画像が撮影された時刻の時間近傍で撮影された前記複数の撮影装置の入力画像毎に、前記入力画像に存在する前記対象物と前記対象物よりも後方に存在する被写体である後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値との何れかを含む所定の関数を用いて入力画像毎の値を算出し、算出した値が最小となる入力画像を撮影した撮影装置で撮影された入力画像を用いて前記補完対象領域を補完する画像処理装置。
6. 前記所定の関数は、前記特定の入力画像が撮影された時刻と同じ時刻に他の撮影装置で撮影された入力画像と前記特定の入力画像とのうち前記補完対象領域の大きさが最も大きい入力画像を撮影した撮影装置である基準撮影装置と前記基準撮影装置以外の撮影装置との間の距離と、前記複数の撮影装置の入力画像における前記補完対象領域の大きさと、前記基準撮影装置以外の撮影装置で撮影された入力画像内の補完対象領域を前記基準撮影装置の位置で撮影した画像に変換した場合に対応が取れなかった画素の大きさと、前記入力画像に存在する前記対象物と前記後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値とのそれぞれに対して所定の重み係数を乗算し、乗算結果を加算する関数である、請求項５に記載の画像処理装置。
7. 所定の領域内に設定された仮想的な視点を表す仮想視点を含む入力画像を撮影する複数の撮影装置によって撮影された複数の入力画像のうち、前記仮想視点よりも手前に存在するオブジェクトを表す前景オブジェクトが存在する補完対象領域を有する入力画像における前記補完対象領域を補完する補完処理ステップ、
   を有し、
   前記補完処理ステップにおいて、前記補完対象領域の補完対象となる前記入力画像を、前記入力画像を撮影した撮影装置の近傍の撮影装置の入力画像を用いて補完する画像処理方法。
8. 複数の撮影装置それぞれで撮影された映像のうち特定の映像中の特定の入力画像に存在する除去対象となる対象物が存在する補完対象領域を補完する補完処理ステップを有し、
   前記補完処理ステップにおいて、前記特定の入力画像が撮影された時刻の時間近傍で撮影された前記複数の撮影装置の入力画像毎に、前記入力画像に存在する前記対象物と前記対象物よりも後方に存在する被写体である後景オブジェクトとの間の距離と、前記対象物と前記後景オブジェクトとが離れているか否かを示す値との何れかを含む所定の関数を用いて入力画像毎の値を算出し、算出した値が最小となる入力画像を撮影した撮影装置で撮影された入力画像を用いて前記補完対象領域を補完する画像処理方法。
9. 請求項１から６のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのコンピュータプログラム。

Images