JP6606242B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、複数の撮影装置によって撮影された画像の処理技術に関する。

近年、３６０度のパノラマ画像を撮影できるカメラ（以下、「全天球カメラ」という。）が普及し始めている。全天球カメラによって撮影されたパノラマ画像（以下、「全天球画像」という。）は、所望の視点位置に全天球カメラを設置することで撮影することができる。しかしながら、競技中の競技者の邪魔となるためサッカーコートやバスケットコートなどの競技用コートの中には全天球カメラを設置することができない。そのため、競技用コートの中の所望の視点位置における競技中の全天球画像を撮影することができない。

そこで、全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、この仮想視点において全天球カメラで撮影したかのような全天球画像を、コートの外側に設置された複数のカメラによって撮影された画像を合成することによって得る技術が提案されている（例えば、非特許文献１参照）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像と記載する。

仮想全天球画像を複数のカメラによって撮影された画像の合成によって得るシステムの具体例について説明する。
図５は、従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。図５に示すように、画像処理システム１は、全天球カメラ２と、複数のカメラ３−１、３−２、３−３、・・・、３−Ｎ（以下、「カメラ群３」という。）（Ｎは４以上の整数）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、競技用コート１０内に仮想視点１１を設定した場合に、競技用コート１０外に設置したカメラ群３によって撮影された画像の合成によって仮想視点１１における仮想全天球画像を得る。

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングで競技用コート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、仮想視点１１の位置から、仮想全天球画像の背景となる画像（以下、「背景画像」という。）を撮影する。全天球カメラ２で撮影された背景画像は、画像処理装置４に入力されて蓄積される。このように、画像処理装置４は、予め背景画像を蓄積する。

競技用コート１０の周囲には、カメラ群３が設置されている。カメラ群３は、それぞれ仮想視点１１を含む画角となるように競技用コート１０の周囲に設置されている。カメラ群３は、仮想視点１１を含む領域を撮影する。画像処理装置４は、各カメラ群３によって撮影された画像に対して画像処理を施して、背景画像に画像処理後の画像を合成して仮想全天球画像を生成する。表示装置５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する。

次に、画像処理システム１における画像処理の具体例について図６を用いて説明する。
図６は、画像処理システム１における画像処理の流れを説明するための図である。図６（Ａ）は、背景画像２０の具体例を示す図である。背景画像２０には、仮想視点１１を中心として全方位（３６０度）の被写体が撮影されている。背景画像２０は、競技用コート１０内に人物がいない状態で撮影される画像であるので競技用コート１０内には人物が撮影されない。

図６（Ｂ）は、各カメラ３−１、３−２及び３−３で撮影された画像を示す図である。図６（Ｂ）には、左からカメラ３−１で撮影された画像２１と、カメラ３−２で撮影された画像２２と、カメラ３−３で撮影された画像２３とが示されている。画像処理装置４は、画像２１〜２３のそれぞれから仮想視点１１を含む領域２１１、２２１、２３１を抽出する。画像処理装置４は、抽出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に合成可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することによって仮想全天球画像２４を生成する。図６（Ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図９（Ｃ）に示すように、仮想全天球画像２４の所定の領域には部分画像２１１ａ、２２１ａ、２３１ａが合成されている。そのため、仮想全天球画像２４として、競技用コート１０上に物体（例えば、人物）が撮影されている画像が生成される。

従来の画像処理システム１は、合成に用いているカメラ群３の光学中心及び仮想視点１１において想定する全天球カメラの光学中心はそれぞれ異なる。そのため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行きの一点で整合性が保たれるよう画像処理を行い背景画像２０に合成する必要がある。しかしながら、整合性が保たれる奥行きに存在せずに別の奥行に存在している物体（例えば、人物）の部分画像を合成する場合には、画像処理により奥行きの整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。

以下に、図７を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図７は、画像処理システム１における課題を説明するための図である。図７において、撮影範囲４１は、カメラ３−１の撮影範囲において図６（Ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲において図６（Ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲において図６（Ｂ）に示した領域２３１の撮影範囲を示す。また、仮想視点１１からの距離（奥行）が異なる３つの物体（例えば、人物）４９〜５１が存在する。

図７において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体となる。

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、社団法人電子情報通信学会、信学技報、2015年6月、vol.115、no.76、p.43-48

仮想全天球画像において物体が存在する領域は、人が注視する領域（以下、「視聴領域」という。）である可能性が高い。そのため、視聴領域に存在する物体に多重像や消失が発生してしまうと、仮想全天球画像の品質が低下してしまうという問題がある。このような問題は、仮想全天球画像に限らず、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像全てに共通する課題である。

上記事情に鑑み、本発明は、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制する技術の提供を目的としている。

本発明の一態様は、第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成部と、前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理部と、を備え、前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、前記画像処理部は、前記所定の領域のうちの前記第１の部分画像寄りの領域である第１範囲については前記第１の入力画像を用いることによって前記第１範囲を補完し、前記所定の領域のうちの前記第２の部分画像寄りの領域である第２範囲については前記第２の入力画像を用いることによって前記第２範囲を補完し、前記所定の領域の中心付近については前記第１の入力画像及び前記第２の入力画像のいずれかを用いることによって補完する画像処理装置である。

本発明の一態様は、第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成部と、前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理部と、を備え、前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、前記画像処理部は、前記第１の入力画像の倍率変更後の画像と前記第２の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理装置である。

本発明の一態様は、第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理ステップと、を有し、前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、前記画像処理ステップにおいて、前記所定の領域のうちの前記第１の部分画像寄りの領域である第１範囲については前記第１の入力画像を用いることによって前記第１範囲を補完し、前記所定の領域のうちの前記第２の部分画像寄りの領域である第２範囲については前記第２の入力画像を用いることによって前記第２範囲を補完し、前記所定の領域の中心付近については前記第１の入力画像及び前記第２の入力画像のいずれかを用いることによって補完する画像処理方法である。

本発明の一態様は、第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理ステップと、を有し、前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、前記画像処理ステップにおいて、前記第１の入力画像の倍率変更後の画像と前記第２の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理方法である。

本発明の一態様は、コンピュータを、上記の画像処理装置として機能させるためのコンピュータプログラムである。

本発明により、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制することが可能となる。

本発明における画像処理システム１００のシステム構成を示す図である。 合成情報テーブルの具体例を示す図である。 画像処理部８０７の処理を説明するための図である。 画像処理装置８０の処理の流れを示すフローチャートである。 従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。 画像処理システム１における画像処理の流れを説明するための図である。 画像処理システム１における課題を説明するための図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における画像処理システム１００のシステム構成を示す図である。
画像処理システム１００は、全天球カメラ６０、複数のカメラ７０−１〜７０−Ｍ（Ｍは２以上の整数）及び画像処理装置８０を備える。なお、以下の説明では、カメラ７０−１〜７０−Ｍについて特に区別しない場合には、カメラ７０と記載する。

全天球カメラ６０は、撮影対象領域８１内の仮想視点８２の位置に設置される。撮影対象領域８１は、例えばサッカーコートやバスケットコートなどの競技用コートなどである。仮想視点８２は、所定の領域（本実施形態では、撮影対象領域８１）内に仮想的に設定された視点である。全天球カメラ６０は、仮想視点８２の位置における全天球画像を撮影する。本実施形態における全天球画像は、仮想視点８２を中心として撮影対象領域８１全体を含む。全天球カメラ６０による処理は、画像処理装置８０による処理の開始前に行われる。全天球カメラ６０は、撮影した全天球画像を背景画像として画像処理装置８０に出力する。

Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍは、撮影対象領域８１の外側に設けられ、入力画像を動画で撮影するカメラであり、仮想視点８２を含む領域を撮影する。図１に示すように、カメラ７０−１には仮想視点８２の位置上を通過する光線７１が入力され、カメラ７０−２には仮想視点８２の位置上を通過する光線７２が入力される。以下、カメラ７０に入力される光線を実光線と記載する。図１では示していないが、カメラ７０は撮影対象領域８１の周囲に設置される。つまり、カメラ７０は、それぞれ仮想視点８２を含む画角となるように撮影対象領域８１の周囲を取り囲むように設置される。図１においてＭは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであれば撮影対象領域８１が大きいほど大きな値となる。また、撮影対象領域８１の大きさが同じであれば、Ｍの値が大きい程、合成領域（仮想全天球画像において、Ｍ台のカメラ７０からの画像を合成した領域）の面積が大きくなり、あるいは合成領域の大きさが同じであれば合成領域における画質が向上す仮想全天球画像の画質を高いものにしようとするほど大きな値となる。

画像処理装置８０は、全天球カメラ６０によって撮影された全天球画像と、カメラ７０によって撮影された画像（以下、「入力画像」という。）とに基づいて仮想全天球画像を生成する。
次に、画像処理装置８０の機能構成について説明する。画像処理装置８０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置８０は、入力画像記憶部８０１、オブジェクト解析部８０２、合成情報記憶部８０３、部分領域抽出部８０４、背景画像記憶部８０５、画像合成部８０６、画像処理部８０７を備える装置として機能する。なお、画像処理装置８０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。

入力画像記憶部８０１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力画像記憶部８０１は、各カメラ７０を識別するためのカメラＩＤに関連付けて、カメラ７０毎の入力画像を時系列順に記憶する。入力画像は、撮影時刻及び動画の画像データを含む。
オブジェクト解析部８０２は、入力画像記憶部８０１に記憶されている入力画像を読み出し、入力とする。オブジェクト解析部８０２は、入力された入力画像に含まれるオブジェクトを検出して、出力する。例えば、オブジェクト解析部８０２は、隣接する２つのカメラ７０の同時刻における入力画像それぞれからオブジェクトを検出する。ここでオブジェクトとは、背景画像に含まれていないが入力画像に含まれている人物、物体（例えばボール）等である。なお、オブジェクトが「人」、「ボール」、「物体Ａ」、「物体Ｂ」のいずれに該当するのかを解析・判定する手法としては、公知の画像解析技術が用いられる。例えば、画像の解析により人を検出する技術を開示する文献として以下の参考文献１がある。
［参考文献１］：山内悠嗣、外２名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月

合成情報記憶部８０３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。合成情報記憶部８０３は、合成情報テーブルを記憶する。合成情報テーブルは、入力画像から生成される画像を背景画像に重畳するための情報（以下、「合成情報」という。）を表すレコード（以下、「合成情報レコード」という。）によって構成される。

図２は、合成情報テーブルの具体例を示す図である。
合成情報テーブルは、合成情報レコードを複数有する。合成情報レコードは、カメラＩＤ、抽出領域情報及び変換情報の各値を有する。カメラＩＤの値は、カメラ７０を識別するための識別情報を表す。例えば、図２におけるカメラＩＤ“Ｃ１”で識別されるカメラ７０はカメラ７０−１であり、カメラＩＤ“ＣＭ”で識別されるカメラ７０はカメラ７０−Ｍである。

抽出領域情報の値は、同じ合成情報レコードのカメラＩＤで識別されるカメラ７０で撮影された画像（入力画像）から抽出する領域（以下、「抽出領域」という。）に関する情報を表す。抽出領域情報を矩形とした場合、抽出領域情報の具体例として、左上座標、幅及び高さで表される矩形がある。左上座標は、抽出領域の入力画像中での左上の座標を表す。幅は、抽出領域の幅を表す。高さは、抽出領域の高さを表す。なお、幅及び高さは、抽出領域の左上座標を基準とし、かつ、抽出領域中に仮想視点を含む範囲に設定される。本実施形態における抽出領域情報で示される領域は、隣接するカメラ７０（例えば、カメラＩＤ“Ｃ１”、“Ｃ２”で識別されるカメラ７０）の入力画像それぞれから抽出された各抽出領域の画像（以下、「部分領域画像」という。）に対して、変換情報に応じた変換を行うことによって生成される各部分画像のそれぞれを背景画像に重畳した際に、各部分画像同士が所定の幅と高さとを有する領域を挟むように設定されている。なお、挟み方としては、各部分画像同士が所定の幅と高さとを有する領域を縦に挟んでもよいし、横に挟んでもよい。

変換情報の値は、同じ合成情報レコードの抽出領域情報に応じて抽出された部分領域画像を部分画像に変換するための情報を表す。部分画像は、部分領域画像を背景画像の対応する領域に違和感なく重畳するために、部分領域画像に対して上記変換情報に応じて拡大、縮小、回転、変形等の変換処理を行うことによって生成される。この変換情報は、例えばアフィン変換行列である。なお、アフィン変換行列には、背景画像において部分画像を重畳する領域を示す情報が含まれる。
アフィン変換行列は、以下に示す方法により予め取得して合成情報記憶部８０３に記憶される。例えば、仮想視点８２から複数種類の距離（奥行）の位置に格子模様のチェスボードを設置して、仮想視点８２に設置した全天球カメラ６０で撮影したチェスボードを含む画像と、カメラ７０で撮影したチェスボードを含む画像とを比較する。そして両画像において、撮影したチェスボードの各格子が対応するように画像を変換するアフィン変換行列を求める。このようにして、チェスボードを設置した奥行に対応したアフィン変換行列を求める。

図２に示される例では、合成情報テーブルには複数の合成情報レコードが登録されている。図２において、合成情報テーブルの最上段に登録されている合成情報レコードは、カメラＩＤの値が“Ｃ１”、左上座標の値が“（Ａ，Ｂ）”、幅の値が“Ｃ”、高さの値が“Ｄ”、変換情報の値が“Ａ１_ｉ”である。すなわち、カメラＩＤ“Ｃ１”で識別されるカメラ７０−１の入力画像から左上座標（Ａ，Ｂ）、幅Ｃ、高さＤで表される領域を抽出し、抽出された画像に対して“Ａ１_ｉ”の変換処理を施すことが表されている。

図１に戻って、画像処理装置８０の説明を続ける。
部分領域抽出部８０４は、オブジェクト解析部８０２から出力された入力画像と、合成情報テーブルの情報とを入力とする。部分領域抽出部８０４は、入力された合成情報テーブルの情報に基づいて、入力画像から部分領域を抽出することによって部分領域画像を生成し、出力する。
背景画像記憶部８０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。背景画像記憶部８０５は、全天球カメラ６０によって撮影された全天球画像を背景画像として記憶する。
画像合成部８０６は、合成情報記憶部８０３に記憶されている合成情報テーブルと、背景画像記憶部８０５に記憶されている背景画像と、部分領域抽出部８０４によって生成された部分領域画像とを入力とする。画像合成部８０６は、部分領域画像に対して、合成情報テーブルに含まれる変換情報のアフィン変換行列に基づいて変換処理を行うことによって部分画像を生成する。画像合成部８０６は、生成した部分画像をアフィン変換行列に基づいて背景画像に重畳することで仮想全天球画像を生成して出力する。より具体的には、画像合成部８０６は、部分画像の画素値で、背景画像上の部分画像を重畳する領域の画素値を置き換えることによって背景画像に部分領域画像を重畳することで仮想全天球画像を生成する。
画像処理部８０７は、画像合成部８０６によって生成された仮想全天球画像と、入力画像記憶部８０１に記憶されている入力画像とを入力とする。画像処理部８０７は、入力された仮想全天球画像において、画像合成部８０６によって背景画像に重畳された部分画像間の所定の領域（以下、「補完対象領域」という。）を、補完対象領域を挟む２つの部分画像それぞれの生成元である入力画像を用いて補完する。

以下、図３を用いて画像処理部８０７の具体的な処理について説明する。図３は、画像処理部８０７の処理を説明するための図である。
図３において、入力画像８３−１（第１の入力画像）はカメラ７０−１によって撮影された画像であり、入力画像８３−２（第２の入力画像）はカメラ７０−２によって撮影された画像である。入力画像８３−１における領域８４は合成情報テーブルに基づいて入力画像８３−１から抽出される抽出領域を表し、入力画像８３−２における領域８５は合成情報テーブルに基づいて入力画像８３−２から抽出される抽出領域を表す。そして、抽出領域８４で表される領域を入力画像８３−１から抽出して生成される部分領域画像及び抽出領域８５で表される領域を入力画像８３−２から抽出して生成される部分領域画像それぞれに対して、変換情報に応じた変換処理が行なわれることによって部分画像８６（第１の部分画像）及び８７（第２の部分画像）が生成される。その後、画像合成部８０６によって、部分画像８６及び８７がアフィン変換行列で示される背景画像８８上の所定の位置に重畳される（図３の下図参照）。ここで、部分画像８６が重畳される領域が第１の領域に相当し、部分画像８７が重畳される領域が第２の領域に相当する。

上記のように、部分画像８６及び８７は所定の領域を挟んで重畳される。そのため、背景画像８８に重畳された部分画像８６及び８７の間に所定の領域８９が生じる。この所定の領域８９が、画像処理部８０７が補完する補完対象領域である。補完対象領域は、補完対象領域に隣接する２つの部分画像に基づいて、第１の領域に重畳された部分画像（図３では、部分画像８６）の左上座標及び左下座標と、第２の領域に重畳された部分画像（図３では、部分画像８７）の右上座標及び右下座標とで囲まれる領域を表す。図３に示すように、部分画像８６、部分画像８７及び補完対象領域は、矩形であり、いずれも高さが同じである。さらに、部分画像８６及び部分画像８７は、底辺が揃うように配置されている。部分画像８６及び部分画像８７の底辺が揃うように配置されているため、部分画像８６及び部分画像８７は補完対象領域を挟んでいる。

画像処理部８０７は、部分画像８６の生成元である入力画像８３−１と、部分画像８７の生成元である入力画像８３−２と、補完対象領域の情報とを入力とし、入力された入力画像８３−１及び８３−２を参照画像として補完対象領域を補完し、補完対象領域を補完した画像を出力する。ここで、参照画像とは、補完対象領域を補完するために利用される入力画像を表す。具体的には、まず画像処理部８０７は、背景画像８８から補完対象領域と、補完対象領域以外の領域とを共に含む小領域（パッチ）を選択する。この方法としては、補完対象領域の輪郭上に存在するパッチであって、パッチ領域中の補完対象領域以外の領域の画素のエッジ強度が強いパッチから選定する方法などが挙げられる。次に、画像処理部８０７は、選択したパッチの補完対象領域以外の画素を基に、参照画像から類似パッチを検出する。ここで、類似パッチとは、選択したパッチの画素の画素値と画素値が類似したパッチを表す。そして、画像処理部８０７は、検出した類似パッチを、選択したパッチに重畳する。つまり、画像処理部８０７は、類似パッチの画素値で選択したパッチの画素値を置き換える。画像処理部８０７は、以上の処理を補完対象領域が無くなるまで実行する。

この際、画像処理部８０７は、補完対象領域 のうちの補完対象領域の中心より部分画像８６寄りの領域である第１範囲については、部分画像８６の生成元である入力画像８３−１を参照画像として用いることによって第１範囲を補完する。また、画像処理部８０７は、補完対象領域のうちの補完対象領域の中心より部分画像８７寄りの領域である第２範囲については、部分画像８７の生成元である入力画像８３−２を参照画像として用いることによって第２範囲を補完する。また、画像処理部８０７は、補完対象領域の中心付近については、補完対象領域に隣接する部分画像８６及び８７それぞれの生成元である入力画像８３−１及び入力画像８３−２のいずれかを参照画像として用いることによって補完する。参照画像として、各部分画像それぞれの生成元である入力画像を用いる理由は、元画像に近いところから高画質な補完が可能であると考えられるためである。 なお、補完対象領域に隣接する２つの部分画像のうち１つの部分画像においてオブジェクトが含まれない場合、画像処理部８０７はオブジェクトが含まれる部分画像の生成元である入力画像を参照画像として用いることによって補完対象領域を補完してもよい。

なお、上記の例では、補完手法（コンプリーション手法）としてパッチベースの手法を例に説明したが、補完手法はこれに限定される必要はない。補完手法としては、その他の手法が用いられてもよい。例えば、補完対象領域の画素の、類似パッチ中での該当位置の画素を用いて補完する手法や、複数の類似パッチ中の該当位置の画素の重みづけ平均の画素を用いて補完する手法などがある。

図４は、画像処理装置８０の処理の流れを示すフローチャートである。
オブジェクト解析部８０２は、入力画像記憶部８０１から隣接するカメラ７０（２つのカメラ７０）の同時刻における入力画像を読み出す（ステップＳ１０１）。次に、オブジェクト解析部８０２は、読み出した各入力画像を入力とし、入力した各入力画像を解析することによって各入力画像のオブジェクトを検出する（ステップＳ１０２）。オブジェクト解析部８０２は、いずれかの入力画像からオブジェクトが検出されたか否か判定する（ステップＳ１０３）。いずれの入力画像からもオブジェクトが検出されなかった場合（ステップＳ１０３−ＮＯ）、オブジェクト解析部８０２は隣接する他の組合せのカメラ７０の同時刻における入力画像を入力画像記憶部８０１から読み出す（ステップＳ１０４）。その後、ステップＳ１０２以降の処理が実行される。

一方、いずれかの入力画像からオブジェクトが検出された場合（ステップＳ１０３−ＹＥＳ）、オブジェクト解析部８０２は入力画像を部分領域抽出部８０４に出力する。部分領域抽出部８０４は、オブジェクト解析部８０２から出力された入力画像と、合成情報記憶部８０３に記憶されている合成情報テーブルとを入力として、合成情報テーブルで示される部分領域を各入力画像から抽出することによって、入力画像毎の部分領域画像を生成する（ステップＳ１０５）。例えば、部分領域抽出部８０４は、カメラ７０−１の入力画像に対して、合成情報テーブルのカメラ７０−１に対応する合成情報レコードの抽出領域情報で表される領域を抽出することによって、カメラ７０−１の入力画像の部分領域画像を生成する。部分領域抽出部８０４は、生成した各入力画像の各部分領域画像を画像合成部８０６に出力する。

画像合成部８０６は、部分領域抽出部８０４から出力された各入力画像の各部分領域画像と、合成情報記憶部８０３に記憶されている合成情報テーブルと、背景画像記憶部８０５に記憶されている背景画像とを入力とし、合成情報テーブルの変換情報に基づいて、生成された各部分領域画像に対して変換処理を行うことによって各部分画像を生成し、生成した各部分画像を背景画像上の対応する位置に重畳する（ステップＳ１０６）。例えば、画像合成部８０６は、カメラ７０−１の入力画像から生成された部分領域画像に対して、合成情報テーブルのカメラ７０−１に対応する合成情報レコードの変換情報に応じて変換処理を行うことによって、カメラ７０−１の部分領域画像の部分画像を生成し、生成した部分画像を、変換情報に含まれる背景画像において部分画像を重畳する領域を示す情報に基づいて背景画像に重畳する。画像合成部８０６は、部分画像が重畳された背景画像を画像処理部８０７に出力する。

画像処理部８０７は、部分画像が重畳された背景画像と入力画像記憶部８０１に記憶されている入力画像とを入力とし、入力画像記憶部８０１に記憶されている背景画像に重畳された各部分画像の生成元である入力画像を用いて、重畳された部分画像間における補完対象領域を補完する（ステップＳ１０７）。その後、画像処理部８０７は、処理対象となる入力画像全てに対して処理が行なわれたか否か判定する（ステップＳ１０８）。例えば、画像処理部８０７は、オブジェクトが検出された入力画像全てに対してステップＳ１０５からステップＳ１０７までの処理が行なわれたか否か判定する。ここで、処理対象となる入力画像は、入力画像記憶部８０１に記憶されている入力画像である。
オブジェクトが検出された入力画像全てに対してステップＳ１０５からステップＳ１０７までの処理が行なわれた場合（ステップＳ１０８−ＹＥＳ）、画像処理装置８０は処理を終了する。
一方、オブジェクトが検出された入力画像全てに対してステップＳ１０５からステップＳ１０７までの処理が行なわれていない場合（ステップＳ１０８−ＮＯ）、画像処理装置８０はステップＳ１０４の以降の処理を実行する。

以上のように構成された画像処理装置８０によれば、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制することが可能になる。以下、この効果について詳細に説明する。
画像処理装置８０は、隣り合うカメラ７０それぞれで撮影された画像から、各画像が合成時に重ならないような小さい領域を抽出した部分領域画像を生成する。画像処理装置８０は、生成した部分領域画像に対して変換処理を行うことによって部分画像を生成し、生成した部分画像を背景画像に重畳する。そして、画像処理装置８０は、重畳した部分画像の間における補完対象領域を補完する。この補完対象領域は、２つの画像の重複領域に相当する。つまり、重複領域に相当する領域が、補完対象領域として設定され、補完されるため多重像や消失の発生を抑制することができる。そのため、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制することが可能になる。

また、画像処理装置８０は、第１の領域に重畳された第１の部分画像寄りの所定の領域における第１範囲については、第１の部分画像の生成元の入力画像を参照画像として用いることによって第１範囲を補完する。さらに、画像処理装置８０は、第２の領域に重畳された第２の部分画像寄りの所定の領域における第２範囲については、第２の部分画像の生成元の入力画像を参照画像として用いることによって第２範囲を補完する。このように、各部分画像寄りの所定の領域における範囲について、部分画像の生成元の入力画像を参照画像として用いて補完することによって、より入力画像に類似するように補完することができる。

＜変形例＞
本発明は、全天球画像の場合に限らず、複数のカメラで撮影された画像を背景画像に重畳することによって合成画像を生成する場合に適用可能である。
本実施形態では、補完対象領域の補完処理に使用する参照画像として、部分画像の生成元である入力画像をそのまま用いる構成を示したが、画像処理部８０７は参照画像として部分画像の生成元である入力画像の倍率を変更した画像を用いてもよい。例えば、画像処理部８０７は、参照画像として部分画像の生成元である入力画像を所定分拡大（例えば、１０％、２０％拡大など）した画像や、入力画像を所定分縮小（例えば、１０％、２０％縮小など）した画像を用いてもよい。
本実施形態では、合成情報テーブルに登録されている幅の値が全てのカメラＩＤで同じであるが、幅の値はカメラＩＤ毎に異なっていてもよいし、一部のカメラＩＤで異なっていてもよい。

図３に示した例は一例であり、部分画像及び補完対象領域の形状、部分画像及び補完対象領域の並べ方及び補完対象領域の大きさは図３に示す例に限定される必要はない。例えば、部分画像及び補完対象領域の形状は、いずれも矩形でなくてもよく、必ずしも同じ形状でなくてもよい。ただし、部分画像及び補完対象領域の大きさがパッチサイズより大きいことが必要である。また、部分画像及び補完対象領域は、縦に並べてもよいし、横に並べてもよい。また、補完対象領域の大きさは、部分画像よりも小さくてもよいし、大きくてもよい。このように補完対象領域の大きさは部分画像の大きさには左右されない。その理由は、画質が参照領域に左右されるためである。
補完対象領域の補完の方法は、上記の方法（図３で説明した方法）に限定されない。例えば、画像処理部８０７は以下のような方法によって補完対象領域を補完してもよい。まず、第１の領域に重畳された部分画像の生成元の入力画像をＡ、第２の領域に重畳された部分画像の生成元の入力画像をＢとして、ＡとＢの大きさをａ：ｂの割合とする。中心部分をＡ、Ｂいずれかの入力画像を用いて補完する際、ａ：ｂの割合で類似パッチが探索されるように重み付けする。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

６０…全天球カメラ，７０（７０−１〜７０−Ｍ）…カメラ， ４、８０…画像処理装置， ８０１…入力画像記憶部， ８０２…オブジェクト解析部， ８０３…合成情報記憶部， ８０４…部分領域抽出部， ８０５…背景画像記憶部， ８０６…画像合成部， ８０７…画像処理部

Claims (5)

1. 第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成部と、
   前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理部と、
   を備え、
   前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
   前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、
   前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、
   前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、
   前記画像処理部は、前記所定の領域のうちの前記第１の部分画像寄りの領域である第１範囲については前記第１の入力画像を用いることによって前記第１範囲を補完し、前記所定の領域のうちの前記第２の部分画像寄りの領域である第２範囲については前記第２の入力画像を用いることによって前記第２範囲を補完し、前記所定の領域の中心付近については前記第１の入力画像及び前記第２の入力画像のいずれかを用いることによって補完する画像処理装置。
2. 第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成部と、
   前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理部と、
   を備え、
   前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
   前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、
   前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、
   前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、
   前記画像処理部は、前記第１の入力画像の倍率変更後の画像と前記第２の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理装置。
3. 第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、
   前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理ステップと、
   を有し、
   前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
   前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、
   前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、
   前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、
   前記画像処理ステップにおいて、前記所定の領域のうちの前記第１の部分画像寄りの領域である第１範囲については前記第１の入力画像を用いることによって前記第１範囲を補完し、前記所定の領域のうちの前記第２の部分画像寄りの領域である第２範囲については前記第２の入力画像を用いることによって前記第２範囲を補完し、前記所定の領域の中心付近については前記第１の入力画像及び前記第２の入力画像のいずれかを用いることによって補完する画像処理方法。
4. 第１の入力画像及び第２の入力画像のいずれとも異なる位置、および、いずれとも異なる時刻に撮影された画像である背景画像に設定された所定の領域を挟む第１の領域及び第２の領域に対して、第１の入力画像及び第２の入力画像から生成された第１の部分画像及び第２の部分画像を重畳することによって合成画像を生成する合成画像生成ステップと、
   前記第１の入力画像と前記第２の入力画像とを前記所定の領域の補完に利用する参照画像として用いることによって、重畳された前記第１の部分画像と前記第２の部分画像との間の前記所定の領域を補完する画像処理ステップと、
   を有し、
   前記第１の部分画像と前記第２の部分画像は、所定の奥行に位置する同一の被写体が異なる位置から撮像された画像であり、
   前記第１の部分画像及び前記第２の部分画像は、前記被写体の一部を含み、
   前記第１の部分画像に含まれる前記被写体の一部は、前記第２の部分画像に含まれる前記被写体の一部と異なるものであり、
   前記所定の領域は、前記第１の領域及び前記第２の領域に対して、前記第１の部分画像と前記第２の部分画像をそれぞれ重畳した際に、前記第１の部分画像に含まれず、かつ、前記第２の部分画像にも含まれない、前記被写体の一部の領域を含み、
   前記画像処理ステップにおいて、前記第１の入力画像の倍率変更後の画像と前記第２の入力画像の倍率変更後の画像とを前記参照画像として用いることによって前記所定の領域を補完する画像処理方法。
5. コンピュータを、請求項１又は２に記載の画像処理装置として機能させるためのコンピュータプログラム。

Images