JPWO2005024723A1 - 画像合成システム、画像合成方法及びプログラム - Google Patents

Abstract

データ処理装置により各部分画像に対応する画像変換パラメータをそれぞれ算出し、該算出した画像変換パラメータに基づき、現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成する。また、表示装置には、現在の部分画像及び生成したモザイク画像の少なくとも一部をそれぞれ表示する。

Description

本発明は、被写体を複数の部分画像に分割して撮影し、それらの部分画像を合成して広視野角、高精細な画像を得るための画像合成システム、画像合成方法および画像合成用プログラムに関する。

従来より、被写体を複数の部分画像に分割して撮影し、各部分画像の位置関係を推定して部分画像どうしを合成することにより、モザイク（ｍｏｓａｉｃ）画像と呼ばれる広視野角、高精細な画像を生成する画像合成手法が知られている。

例えば、非特許文献１（千葉 直樹，蚊野 浩，美濃 導彦，安田 昌司，「画像特徴に基づくイメージモザイキング」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ、Ｎｏ．１０、ｐｐ．１５８１−１５８９）には、画像解析によって得られた部分画像中の動きベクトルに基づき、各部分画像間の位置関係を推定して、モザイク画像を生成する方法が開示されている。具体的には、撮影時間が最も近い２つの部分画像から輝度値の分布が類似する部位（対応点）を求め、それらが全て重なり合うように幾何変換（移動、回転、拡大縮小）するための画像変換パラメータを算出する。そして、算出した画像変換パラメータを用いて一方の部分画像を基準に他方の部分画像を幾何変換し、合成することでモザイク画像を生成する。

画像変換パラメータには、その簡単さから、被写体を平面と仮定した以下のモデルが多く用いられる。

ここで、（ｕ１，ｖ１，１）、（ｕ２，ｖ２，１）は、それぞれ対応点の同次座標、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈは画像変換パラメータ、ｔは任意の定数である。

また、よりモデルを簡易にするため、画像変換パラメータに対して、ｇ＝ｈ＝０，ａ＝ｅ＝ｃｏｓθ，−ｂ＝ｄ＝ｓｉｎθ等の制約条件を与えることもある。

上記非特許文献１に記載された手法では、２つの部分画像間に重複部分が存在するようにカメラを動かす必要がある。さもなければ、部分画像間に対応点が存在しなくなるため、画像変換パラメータを算出することができない。また、部分画像を撮影する際に被写体の一部が撮影されないと、モザイク画像に抜けが生じるため、ユーザは被写体を余すところなく撮影する必要がある。

以上の条件を満たすように、カメラを持つユーザを誘導して撮影させるための画面を表示する画像合成システムの一例が特許文献１（特許第２７４４２６５号（第５−７頁、第３図））に記載されている。この特許文献１に記載された従来の画像合成システムの構成を図１に示す。

図１において、１０１はカメラ本体、１０２はシャッターボタン、１０３は表示装置、１０４及び１０５はカメラを左方向または右方向にパン（ｐａｎ）させるかを入力するためのスイッチ、１０６はフイルムまたは撮像素子上に被写体を結像するレンズである。

図２は図１に示した画像合成システムの表示装置１０３による表示例を示している。

例えば、カメラを右方向にパンさせる場合、スイッチ１０５により右方向を入力すると、図２に示すように既に撮影した部分画像２０１の右側領域２０２が表示画像２０３の左端に表示される。さらに、現在カメラで捕らえている部分画像２０４の左側領域２０５が動画として表示画像２０３の右側残り画面に合成されて表示される。

ユーザは、表示装置１０３の表示画像２０３を参照しながら、既に撮影した部分画像２０１の右側領域２０２と現在カメラで捕らえている部分画像２０４の左側領域２０５との境界で不連続な画像とならないようにカメラ本体１０１を撮像面に対して平行に動かし（パンさせ）、シャッターボタン１０２を押して部分画像を撮影する。このように、既に撮影した部分画像と現在カメラで捕らえている部分画像間に重複領域をもたせながら、被写体の未撮影部位に向かってカメラを動かし、順次部分画像を撮影することでモザイク画像を得ている。

しかしながら上記特許文献１に記載された従来の画像合成システムでは、例えば、該特許文献１の技術に基づいて縦横方向にそれぞれ広い被写体を撮影するための画像合成システムを作製すると、カメラ本体を縦方向および横方向にそれぞれ動かさねばならない。さらに、カメラの動かす方向を予めスイッチで指定する必要があるため、操作が非常に煩雑になってしまう問題がある。したがって、特許文献１に記載された画像合成システムは、縦横方向に広い被写体の撮影には向かない構成である。

また、特許文献１に記載された画像合成システムでは、カメラ本体を撮像面に対して平行に動かさなければならず、かつ既に撮影した部分画像と現在カメラで捕らえている部分画像との境界で不連続な画像とならないように移動量を調整する必要がある。したがって、ユーザに微妙な操作が要求され、撮影時のユーザの負担が大きいという問題もある。

そこで本発明は、ユーザによるスイッチ操作、カメラの平行移動、部分画像間の位置合わせ等の、煩雑、かつ微妙な操作を不要にして、簡易な操作でモザイク画像を得ることができる画像合成システム及び方法を提供することを目的とする。

上記目的を達成するため本発明では、データ処理装置により各部分画像に対応する画像変換パラメータをそれぞれ算出し、該算出した画像変換パラメータに基づき、現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成する。また、表示装置には、現在の部分画像及び生成したモザイク画像の少なくとも一部をそれぞれ表示する。

このような構成では、従来の画像合成システムのようにユーザがスイッチでカメラの動く方向を予め指定する必要やカメラを撮像面に対して平行に移動させる必要がなく、現在の部分画像と撮影済みの部分画像との境界で不連続な画像とならないようにカメラの移動量を調整する必要もない。したがって、ユーザによる煩雑な操作や位置合わせが不要になり、縦横方向に広い被写体も簡易な操作でモザイク画像が取得できる。

また、本発明では、全ての部分画像間の幾何変換及び合成の整合性が保たれるように各画像変換パラメータを最適化する。したがって、撮影時間が離れた部分画像間の合成ずれが解消されるため、歪みの少ないモザイク画像が得られる。さらに、各部分画像に対して超解像処理を適用することで、より高解像なモザイク画像を得ることができる。

本発明では、表示装置の画面全体に現在の部分画像を配置し、画面の一部に現在の部分画像を含む撮影済みの部分画像から生成したモザイク画像を縮小表示した画像、または表示装置の画面中央に現在の部分画像を配置し、該現在の部分画像を中心とした所定の範囲内に含まれる撮影済みの部分画像を合成して表示した画像、または表示装置の画面全体に現在の部分画像を配置し、撮影済みの部分画像との重複部分を強調して表示した画像を表示画像として採用する。

その結果、現在の部分画像だけでなくモザイク画像の少なくとも一部が表示装置に表示されるため、ユーザは被写体の未撮影領域を容易に確認でき、次にどの方向へカメラを動かすべきかを容易に判断できる。したがって、縦横方向に広い被写体を撮影する場合も被写体の一部を撮影し忘れることがない。

従来の画像合成システムの構成を示す側面図である。 図１に示した画像合成システムによる表示例を示す模式図である。 本発明の画像合成システムの第１の実施の形態の構成を示すブロック図である。 図３に示した画像合成システムの処理手順を示すフローチャートである。 本発明の画像合成システムによる表示画像の第１例を示す模式図である。 本発明の画像合成システムによる表示画像の第２例を示す模式図である。 本発明の画像合成システムによる表示画像の第３例を示す模式図である。 本発明の画像合成システムの第２の実施の形態の構成を示すブロック図である。 図８に示した画像合成システムの処理手順を示すフローチャートである。 本発明の画像合成システムの第３の実施の形態の構成を示すブロック図である。 本発明の画像合成システムの第４の実施の形態の構成を示すブロック図である。 本発明の画像合成システムの実施例の構成を示すブロック図である。

次に本発明について図面を参照して説明する。

（第１の実施の形態）
図３に示すように、第１の実施の形態の画像合成システムは、スチルカメラやビデオカメラ等の撮像装置３１０と、部分画像を合成してモザイク画像を生成するデータ処理装置３００と、データ処理装置３００の処理結果を表示する液晶パネルやブラウン管等の表示装置３２０とを有する構成である。データ処理装置３００は、演算機能やメモリを備えたＬＳＩ（Ｌａｒｇｅ ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）あるいは論理回路等によって実現される。

第１の実施の形態のデータ処理装置３００は、変換パラメータ推定部３０１、記憶部３０２、画像合成用データ取得部３０３、画像合成部３０４及び制御部３０５を備えた構成である。

変換パラメータ推定部３０１は、撮像装置３１０で撮影された部分画像のうち、既に撮影した（直前の）部分画像と現在撮影している部分画像との合成に必要な幾何変換を推定し、その画像変換パラメータを算出する。撮影された全ての部分画像と変換パラメータ推定部３０１で算出された画像変換パラメータとはそれぞれ記憶部３０２に格納される。

画像合成用データ取得部３０３は、表示装置３２０の解像度あるいはユーザによって指定された表示方法（画面構成）にしたがって表示画像の生成に必要な部分画像を選択し、選択した部分画像及びそれに対応する画像変換パラメータを記憶部３０２からそれぞれ取得する。

画像合成部３０４は、画像合成用データ取得部３０３で取得した部分画像及び画像変換パラメータを用いて、現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成する。また、表示装置３２０に、現在の部分画像及び合成したモザイク画像の少なくとも一部を含む、ユーザによって指定された表示方法（画面構成）で画像を表示するための画像データを生成する。

制御部３０５は、変換パラメータ推定部３０１、記憶部３０２、画像合成用データ取得部３０３及び画像合成部３０４による処理をそれぞれ制御する。

次に、第１の実施の形態の画像合成システムの処理手順について図３を参照しつつ図４のフローチャートを用いて説明する。

以下では、ユーザが撮像装置３１０を動かし、シャッターボタンを押す度にあるいは予め設定された一定の時間間隔で被写体が撮影され、撮影された部分画像が撮像装置３１０からデータ処理装置３００へ順次供給されるものとする。

図４に示すように、データ処理装置３００に撮像装置３１０で撮影された被写体の部分画像が１枚取り込まれると（ステップＳ４０１）、制御部３０５は、まず記憶部３０２にアクセスし、直前に撮影された同じ被写体を含む部分画像が在るか否かを検索する（ステップＳ４０２）。撮影済みの部分画像が在る場合、制御部３０５は、変換パラメータ推定部３０１を用いて現在の部分画像とその直前に撮影された部分画像との合成に必要な幾何変換を推定し、該幾何変換のための画像変換パラメータを算出する（ステップＳ４０３）。そして、現在の部分画像と算出した画像変換パラメータとを関連付けて記憶部３０２に蓄積する（ステップＳ４０４）。画像変換パラメータの算出方法としては、例えば上記非特許文献１で開示された方法を用いればよい。

また、画像変換パラメータには、カメラの外部パラメータを用いてもよい。その場合、まず、初期フレームにおいて、画像上の特徴点を検出し、カメラが被写体に対して概ね正対しており、かつ被写体がカメラから一定距離に設置された平面であると仮定して各特徴点の三次元座標を決定する。

以降のフレームでは、例えば、佐藤智和、神原 誠之、横矢 直和、竹村 治雄、「マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化」、信学技法、ＰＲＭＵ２００１−２３３、Ｆｅｂｒｕａｒｙ ２００２で開示された手法を用いてカメラの外部パラメータを算出する。同手法では、現在取り込まれた部分画像と、その前に取り込まれた部分画像との間で所定の特徴点を追跡することでカメラの外部パラメータを推定している。

ステップＳ４０２の検索処理で撮影済みの部分画像が無い場合はステップＳ４０８の処理に移行し、ステップＳ４０１の処理に戻って次に撮影された部分画像を取り込む。

続いて、制御部３０５は、画像合成用データ取得部３０３を用いてモザイク画像の合成に必要な複数の部分画像を選択し、選択した部分画像及びそれに対応する変換パラメータを記憶部３０２からそれぞれ取得し（ステップＳ４０５）、それらを画像合成部３０４に転送する。

画像合成部３０４は、画像合成用データ取得部３０３で取得した部分画像及び画像変換パラメータを用いて、現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成する（ステップＳ４０６）。また、現在の部分画像及び生成したモザイク画像の少なくとも一部を含む表示画像用の画像データを表示装置３２０に送出する（ステップＳ４０７）。表示画像用の画像データの生成時には、同一座標に位置する各画素の平均値または中央値をそれぞれ算出し、それらの値を表示装置３２０の画素値としてもよい。

表示装置３２０の表示画像としては、例えば、図５に示すように、表示画面９００全体に現在の部分画像９０１を配置し、表示画面９００の一部、例えば右下部に撮影済みの部分画像を合成したモザイク画像９０２を縮小配置する構成が考えられる。

このとき、現在の部分画像９０１がどこに位置するかをユーザに示すため、モザイク画像中に在る現在の部分画像９０３の外接矩形を強調して表示してもよい。モザイク画像９０２中の部分画像が存在しない未撮影領域９０４は、例えば特定の画素値（黒等）に設定することで識別するとよい。また、現在の部分画像９０３がモザイク画像９０２の外側に位置する場合は、該部分画像９０３がモザイク画像９０２内に収まるように、モザイク画像９０２全体をスクロールして表示してもよく、モザイク画像９０２をさらに縮小して表示してもよい。

また、表示装置３２０の表示画像の第２例として、図６に示すように、現在の部分画像を画面中央に常に配置し、それを中心とした所定の範囲内にある撮影済みの部分画像を合成して表示する構成が考えられる。

この場合、データ処理装置３００は、まず、時刻ｎに入力された１枚目の部分画像１００１をその時点における画面１０００の中央に配置する（図６（ａ））。

次に、時刻ｎ＋１に入力された２枚目の部分画像１０１１をその時点における画面１０１０の中央に配置し、時刻ｎに入力された１枚目の部分画像１００１を２枚目の部分画像１０１１を基準に幾何変換し、変換後の部分画像１０１２を合成配置する（図６（ｂ））。

同様に、時刻ｎ＋２に入力された３枚目の部分画像１０２１をその時点における画面１０２０の中央に配置し、時刻ｎ＋１に入力された２枚目の部分画像１０１１を３枚目の部分画像１０２１を基準に幾何変換し、変換後の部分画像１０２２を合成配置する。さらに、時刻ｎに入力された１枚目の部分画像１００１（または部分画像１０１２）を３枚目の部分画像１０２１を基準に幾何変換し、変換後の部分画像１０２３を合成配置する（図６（ｃ））。

なお、画面中では、各時刻における部分画像１００１、１０１１、１０２１の外接矩形をそれぞれ強調表示することで現在の部分画像をユーザに示してもよい。また、各画面中の部分画像が存在しない未撮影領域１００２は、例えば特定の画素値（黒等）に設定することで識別するとよい。

また、表示装置３２０の表示画像の第３例として、図７に示すように、現在の部分画像を画面全体に配置し、撮影済みの部分画像との重複部分を強調して表示する構成が考えられる。

この場合、データ処理装置３００は、最初に、時刻ｎに入力された１枚目の部分画像１１０１をその時点における画面１１００の全体に配置する（図７（ａ））。

次に、時刻ｎ＋１に入力された２枚目の部分画像１１１１をその時点における画面１１１０の全体に配置する。さらに、時刻ｎに入力された１枚目の部分画像１１０１と２枚目の部分画像１１１１間の画像変換パラメータにより、それらの重複領域１１１２を求め、該重複領域１１１２を強調した画像を生成する（図７（ｂ））。重複領域１１１２の強調方法には、例えば、重複領域１１１２の明度を変化させる方法、あるいは重複領域１１１２に特定の色をブレンディングさせる方法等がある。

同様に、時刻ｎ＋２に入力された３枚目の部分画像１１２１をその時点における表示画面１１２０の全体に配置する。また、時刻ｎ＋１に入力された２枚目の部分画像１１１１と３枚目の部分画像１１２１間の画像変換パラメータにより、それらの重複領域１１２２を求め、該重複領域１１２２を強調した画像を生成する。さらに、時刻ｎに入力された１枚目の部分画像１１０１と３枚目の部分画像１１２１間の画像変換パラメータにより、それらの重複領域を算出し、該重複領域を強調した画像を生成する（図７（ｃ））。ここで、重複領域１１２３のように、複数の部分画像が重複する領域は、例えば、その部分画像の枚数に応じてブレンディングの色を濃くする等の処理を施すことで強調してもよい。

図７に示した第３例の表示画像には、図５に示した表示画像のように、現在の部分画像だけでなく、それを中心とした所定の範囲内にある部分画像を合成したモザイク画像を画面の一部に縮小表示してもよい。

上記図５〜図７に示した各種表示画像例のうちのいずれを表示装置３２０に表示させるかは、スイッチ等を用いてユーザが予め設定してもよく、撮影途中で切り換え可能にしてもよい。

画像合成部３０４から表示装置３２０に画像データが送出されると、制御部３０５は、モザイク画像の合成に必要な全ての部分画像に対する処理が完了したか否かを判定し（ステップＳ４０８）、処理が完了していなければステップＳ４０１の処理に戻って次の部分画像を取り込み、上記ステップＳ４０１からステップＳ４０８の処理を繰り返す。また、必要な全ての部分画像に対する処理が完了している場合はモザイク画像の合成処理を終了する。

次に本発明の画像合成システムの第１の実施の形態の効果について説明する。

第１の実施の形態の画像合成システムでは、ユーザが部分画像間の位置合わせを行うのではなく、変換パラメータ推定部３０１で算出された画像変換パラメータに基づき、データ処理装置３００にて部分画像を幾何変換して合成するため、ユーザによる煩雑なスイッチ操作、カメラの平行移動、部分画像間の位置合わせ等が不要になり、簡易な操作でモザイク画像を取得できる。

また、図５〜図７に示したような画像を表示することで、現在の部分画像だけでなく撮影済みの部分画像も合成されて表示されるため、ユーザは被写体の未撮影領域を容易に確認でき、次にどの方向にカメラを動かすべきかを容易に判断できる。これにより、縦横方向に広い被写体を撮影する場合も被写体の一部を撮影し忘れることがない。

さらに、表示装置３２０の解像度やユーザが指定した表示画像にしたがって必要な部分画像及び画像変換パラメータを記憶部３０２から取得し、表示画像用の画像データを生成するため、表示画像のための処理量を必要最小限に抑制できる。

（第２の実施の形態）
次に本発明の画像合成システムの第２の実施の形態について図面を用いて説明する。

図８に示すように、第２の実施の形態の画像合成システムは、第１の実施の形態と同様に、スチルカメラやビデオカメラ等の撮像装置５１０と、部分画像を合成してモザイク画像を生成するデータ処理装置５００と、データ処理装置５００の処理結果を表示する液晶パネルやブラウン管等の表示装置５２０とを有する構成である。データ処理装置５００は、例えば演算機能やメモリを備えたＬＳＩあるいは論理回路等によって実現される。

第２の実施の形態のデータ処理装置５００は、モザイク画像生成部５０１、及び全体最適化部５０２を備えた構成である。

モザイク画像生成部５０１は、第１の実施の形態のデータ処理装置３００と同様の機能を備え、現在の部分画像を基準にして撮影済みの部分画像の幾何変換及び合成を行い、モザイク画像を生成する。全体最適化部５０３は、全ての部分画像間の幾何変換及び合成結果の整合性が保たれるように各画像変換パラメータをそれぞれ最適化する。

画像変換パラメータを最適化する方法としては、例えば以下の手法を用いる。

まず、各部分画像中の特徴点について、他の全ての部分画像から対応点を探索し、特徴点の対を得る。ここで、ｉ番目の特徴点の対を｛ｘ_ｉ，ｘ_ｉ’｝とする。

続いて、以下に示す評価式を最小化する部分画像間の画像変換パラメータを求め、これを最終的な画像変換パラメータとする。

ここで、

は、

のユークリッド距離を示す。また、点

は、点ｘを画像変換パラメータによって座標変換した位置を示している。

画像変換パラメータをカメラの外部パラメータとして用いる場合は、以下に示す評価式を最小化する画像変換パラメータを求め、これを最終的な画像変換パラメータとしてもよい。

ここで、ｆは入力された部分画像の枚数、ｐは追跡された特徴点の数、ｘ_ｆｐはｆ番目のフレームにおける特徴点ｐの座標、

は特徴点ｐをカメラの外部パラメータを用いてｆ番目のフレームの画像上に投影した座標である。また、Ｗ_ｐは特徴点の追跡誤差に基づく特徴点の信頼度である。

なお、画像変換パラメータの最適化には、既知のＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズム（「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓｉｎ Ｃ［日本語版］Ｃ言語による数値計算レシピ」，ｐｐ．５０３−５０７，技術評論社，ＩＳＢＮ４−８７４０８−５０６−１等を参照）を用いてもよい。その場合、各部分画像に対応する画像変換パラメータの初期値はモザイク画像生成部５０１で生成された値を用いればよい。

次に第２の実施の形態の画像合成システムの処理手順について図８を参照しつつ図９のフローチャートを用いて説明する。

以下では、ユーザが撮像装置５１０を動かし、シャッターボタンを押す度に、または予め設定された一定の時間間隔で被写体が撮影され、撮影された部分画像が撮像装置５１０からデータ処理装置５００に供給されるものとする。また、以下に示すモザイク画像生成部５０１及び全体最適部５０２による処理は、モザイク画像生成部５０１が有する不図示の制御部によって制御されるものとする。

図９に示すように、撮像装置５１０からデータ処理装置５００に被写体の部分画像が１枚取り込まれると（ステップＳ６０１）、モザイク画像生成部５０１は、第１の実施の形態と同様にモザイク画像を生成し、表示装置５２０に出力する（ステップＳ６０２）。

モザイク画像生成部５０１は、表示装置５２０に画像データを送出すると、モザイク画像の合成に必要な全ての部分画像に対する処理が完了しているか否かを調べ（ステップＳ６０３）、処理が完了していなければステップＳ６０１の処理に戻ってステップＳ６０１からステップＳ６０３の処理を繰り返す。

必要な部分画像に対する処理が全て完了している場合は、全体最適化部５０２を用いて撮影時間が隣接しない部分画像間の合成ずれが解消されるように各画像変換パラメータを最適化する（ステップＳ６０４）。

最後に、ステップＳ６０４の処理で最適化された画像変換パラメータを用いて、各部分画像の幾何変換及び合成を行うことでモザイク画像を再び生成し、その画像データを表示装置５２０に送出する（ステップＳ６０５）。

上記説明では、モザイク画像生成部５０１による全ての部分画像の幾何変換及び合成が終了してから画像変換パラメータの全体最適化処理を実行しているが、画像変換パラメータの全体最適化処理は、部分画像に対する幾何変換及び合成処理毎に実行してもよく、所定枚数の部分画像の幾何変換及び合成処理が完了する毎に実行してもよい。また、画像変換パラメータの全体最適化処理は、撮像装置５１０の移動方向が大きく変化する直前に実行する等、所定の条件を満たす場合に実行してもよい。

次に本発明の画像合成システムの第２の実施の形態の効果について説明する。

第１の実施の形態の画像合成システムでは、撮影時間が隣接する部分画像間の画像変換パラメータをそれぞれ算出し、その値に基づいて部分画像を順次幾何変換して合成するため、画像変換パラメータの誤差が蓄積してモザイク画像に歪みが生じることがある。

第２の実施の形態の画像合成システムでは、全体最適化部５０２で実行する各画像変換パラメータの最適化処理により、撮影時間が離れた部分画像間の合成ずれが解消されるため、第１の実施の形態よりも歪みの少ないモザイク画像を得ることができる。

（第３の実施の形態）
次に本発明の画像合成システムの第３の実施の形態について図面を用いて説明する。

図１０に示すように、第３の実施の形態の画像合成システムは、第１の実施の形態と同様に、スチルカメラやビデオカメラ等の撮像装置７１０と、部分画像を合成してモザイク画像を生成するデータ処理装置７００と、データ処理装置７００の処理結果を表示する液晶パネルやブラウン管等の表示装置７２０とを有する構成である。データ処理装置７００は、例えば演算機能やメモリを備えたＬＳＩあるいは論理回路等によって実現される。

第３の実施の形態のデータ処理装置７００は、モザイク画像生成部７０１、及び超解像画像生成部７０２を備えた構成である。

モザイク画像生成部７０１は、第１の実施の形態のデータ処理装置３００または第２の実施の形態のデータ処理装置５００と同様の機能を備え、現在の部分画像を基準にして撮影済みの部分画像の幾何変換及び合成を行い、モザイク画像を生成する。また、全ての部分画像間の幾何変換及び合成結果の整合性が保たれるように各画像変換パラメータをそれぞれ最適化する。

超解像画像生成部７０２は、撮影済みの部分画像に対して超解像処理を適用することで第１の実施の形態または第２の実施の形態の画像合成システムよりも高解像なモザイク画像を生成する。

超解像処理としては、例えばＩｒａｎｉ Ｐｅｌｏｇ，“Ｉｍｐｒｏｖｉｎｇ Ｒｅｓｏｌｕｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ”，ＣＶＧＩＰ：Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．５３，ｐｐ．２３１−２３９，１９９１等で開示された以下の手法を用いればよい。

いま、ｍ枚の部分画像｛ｇ_ｋ｝＝ｇ_１，ｇ_２，…，ｇ_ｍが存在すると仮定し、生成したい高解像度のモザイク画像をｆとする。また、モザイク画像ｆの初期画像、及び部分画像｛ｇ_ｋ｝間の各画像変換パラメータは、モザイク画像生成部７０１で生成されたモザイク画像及び画像変換パラメータを用いるとする。

超解像画像生成部７０２は、最初にモザイク画像の初期画像ｆ^（０）を設定し、幾何変換、及びぼかしデータを含む低解像度のモザイク画像生成過程のシミュレート結果に基づき、各部分画像｛ｇ_ｋ｝に対応する低解像度画像｛ｇ_ｋ ^（０）｝を推定する。

次に、推定画像と入力画像間の差分画像｛ｇ_ｋ−ｇ_ｋ ^（０）｝を計算し、差分画像の画素値を初期画像ｆ^（０）中の対応する箇所に加算し、更新された高解像度モザイク画像ｆ^（１）を生成する。

この処理を、次式で示す誤差関数ｅが十分に小さくなるまで繰り返す。

ここで、ｎは反復計算する回数である。

モザイク画像の初期画像には、例えばモザイク画像生成部７０１で生成されたモザイク画像を縦横方向にそれぞれ２倍に拡大した画像を用いてもよく、それ以上の倍率で拡大した画像を用いてもよい。

次に本発明の画像合成システムの第３の実施の形態の効果について説明する。

第３の実施の形態の画像合成システムでは、超解像画像生成部７０２を備えることにより、第１の実施の形態及び第２の実施の形態の画像合成システムよりもさらに高解像なモザイク画像が得られる。

第３の実施の形態の画像合成システムでは、被写体の撮像時には処理負荷が比較的軽い（計算コストが低い）モザイク画像の合成処理のみ行い、全ての部分画像の撮影が終了した時点で、処理負荷が比較的重い（計算コストが高い）超解像画像生成処理や画像変換パラメータの全体最適化処理を実行するとよい。その場合、被写体撮影時におけるモザイク画像の更新レスポンスの低下が防止される。

（第４の実施の形態）
次に本発明の画像合成システムの第４の実施の形態について図面を用いて説明する。

図１１に示すように、第４の実施の形態の画像合成システムは、第１の実施の形態と同様に、スチルカメラやビデオカメラ等の撮像装置８１０と、部分画像を合成してモザイク画像を生成するデータ処理装置８００と、データ処理装置８００の処理結果を表示する液晶パネルやブラウン管等の表示装置８２０と、データ処理装置８００にモザイク画像を生成させるための画像合成プログラムが記録された記録媒体８３０とを有する構成である。

画像合成プログラムは、第１の実施の形態の画像合成システムが備える変換パラメータ推定部３０１、画像合成用データ取得部３０３、画像合成部３０４及び制御部３０５の各処理をデータ処理装置８００で実現するためのプログラムである。または、第２の実施の形態の画像合成システムが備えるモザイク画像生成部５０１、及び全体最適化部５０２の各処理をデータ処理装置８００で実現するためのプログラムである。または、第３の実施の形態の画像合成システムが備えるモザイク画像生成部７０１、及び超解像画像生成部７０２の処理をデータ処理装置８００で実現するためのプログラムである。

第４の実施の形態のデータ処理装置８００は、例えば不図示のＣＰＵと、該ＣＰＵの処理に必要なデータを一時的に保持する主記憶装置と、撮像装置８１０、表示装置８２０及び記録媒体８３０等とのインタフェース装置であるＩ／Ｏ装置と、ネットワークを介してサーバ装置等とのデータの送受信を可能にする通信装置とを有するコンピュータによって実現される。

記録媒体８３０は、磁気ディスク、半導体メモリ、磁気テープ、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、その他の記録媒体であってもよい。

データ処理装置８００は、記録媒体８３０に記録された上記画像合成プログラムを主記憶装置にロードし、該画像合成プログラムにしたがって、ＣＰＵにより上記第１〜第３の実施の形態に記載したデータ処理装置と同様の処理を実行する。画像合成プログラムは、必ずしも記録媒体８３０に格納されている必要はなく、例えばネットワーク上のサーバ装置等に格納され、データ処理装置８００からの要求に応じて該サーバ装置からネットワークを介して主記憶装置にダウンロードされてもよい。

第４の実施の形態の画像合成システムにおいても、上記第１の実施の形態〜第３の実施の形態で示した画像合成システムと同様の効果を得ることができる。

次に本発明の画像合成システムの実施例について図面を用いて説明する。

本実施例は、第３の実施の形態の画像合成システムを携帯電話システムに適用した例である。

図１２に示すように、本発明の画像合成システムを適用した携帯電話システムは、携帯電話機１２３０と、携帯電話機１２３０とネットワークを介して接続されるサーバ装置１２４０とを有する構成である。

携帯電話機１２３０は、動画撮影が可能な撮像装置であるＣＣＤカメラ１２１０と、データ処理装置であるプロセッサ１２００と、表示装置である液晶パネル１２２０とを有する構成である。

プロセッサ１２００は、第１の実施の形態のデータ処理装置と同様に、変換パラメータ推定部１２０１、記憶部１２０２、画像合成用データ取得部１２０３、画像合成部１２０４及び制御部１２０５を有する構成である。

また、サーバ装置１２４０は、第２の実施の形態で示した全体最適化部、第３の実施の形態で示した超解像画像生成部、及びネットワークを介して携帯電話機１２３０とのデータ通信を可能にする不図示の通信装置を備えた構成である。

携帯電話機１２３０が備えるプロセッサ１２００は、例えば画像合成プログラムにしたがって第１の実施の形態のデータ処理装置と同様の処理を実行するＣＰＵ及びメモリを備えた構成である。また、サーバ装置１２４０は、上記全体最適化部１２４１及び超解像画像生成部１２４２の各処理をプログラムにしたがって実行するＣＰＵ及びメモリを備えた構成である。

本実施例の携帯電話システムでは、ユーザがＣＣＤカメラ１２１０により被写体を捕らえつつ携帯電話機１２３０を移動させると、ＣＣＤカメラ１２１０で撮影された被写体の部分画像が予め設定された一定の時間間隔でプロセッ１２００に入力される。

プロセッサ１２００は、被写体の部分画像を１枚取り込むと、まず記憶部１２０２中に、直前に撮影された同じ被写体を含む部分画像が在るか否かを検索する。部分画像が無い場合は次に撮影された部分画像を取り込む。また、撮影済みの部分画像が在る場合は、上記非特許文献１に開示された手法により現在の部分画像とその直前に撮影された部分画像との合成に必要な幾何変換を推定し、その画像変換パラメータを算出する。そして、現在の部分画像と算出した画像変換パラメータとを関連付けて記憶部１２０２に蓄積する。

次に、プロセッサ１２００は、モザイク画像の合成に必要な複数の部分画像を選択し、選択した部分画像及びそれに対応する画像変換パラメータを記憶部１２０２から取得する。本実施例では、図６に示した第２例の表示画像が液晶パネル１２２０に表示されるものとする。この場合、プロセッサ１２００は、現在の部分画像を中心とする所定の範囲内に位置する部分画像、及びそれに対応する画像変換パラメータを記憶部１２０２からそれぞれ取得する。

プロセッサ１２００は、取得した部分画像及び画像変換パラメータを用いてモザイク画像を生成し、該モザイク画像を含む第２例の表示画像を液晶パネル１２２０に表示させる。そして、モザイク画像の合成に必要な全ての部分画像の処理が完了したか否かを判定し、処理が完了していなければ次の部分画像を取り込んで上記処理を繰り返す。また、必要な全ての部分画像の処理が完了している場合は、全ての部分画像及びそれに対応する画像変換パラメータと、モザイク画像に対する処理要求（全体最適化や超解像処理の要否）とを、ネットワークを介してサーバ装置１２４０に送信する。

サーバ装置１２４０は、携帯電話機１２３０から部分画像及び画像変換パラメータを受信すると、ユーザからの処理要求に応じて、第２の実施の形態と同様に全体最適化部１２４１によりモザイク合成後の整合性が保たれるように全ての画像変換パラメータを最適化し、最適化後の画像変換パラメータを携帯電話１２３０に送信する。その場合、携帯電話機１２３０は、サーバ装置から受信した画像変換パラメータを用いて再度モザイク画像を合成し、表示装置１２２０に表示する。

または、サーバ装置１２４０は、携帯電話機１２３０から部分画像及び画像変換パラメータを受信すると、ユーザからの処理要求に応じて、第３の実施の形態と同様に超解像画像生成部１２４２により各部分画像に対して超解像処理を実行することで高解像なモザイク画像を生成し、該モザイク画像を携帯電話１２３０に送信する。その場合、携帯電話機１２３０は、サーバ装置から受信した高解像なモザイク画像を表示装置１２２０に表示する。

本実施例の携帯電話システムによれば、携帯電話機１２３０に搭載された低解像度なカメラを用いて、広視野角、高精細なモザイク画像を得ることができる。

Claims (30)

1. 被写体を複数の部分画像に分割して撮影するための撮像装置と、
   前記部分画像間の合成に必要な幾何変換を推定し、該幾何変換のための画像変換パラメータを算出する変換パラメータ推定部と、
   前記部分画像及び該部分画像に対応して算出された前記画像変換パラメータがそれぞれ蓄積される記憶部と、
   モザイク画像の生成に必要な部分画像を選択し、該選択した部分画像及びそれに対応する画像変換パラメータをそれぞれ前記記憶部から取得する画像合成用データ取得部と、
   前記画像合成用データ取得部で取得した部分画像及び画像変換パラメータを用いて現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成し、併せて前記現在の部分画像及び前記モザイク画像の少なくとも一部を表示するための画像データを生成する画像合成部と、
   前記画像合成部で生成された前記画像データにしたがって画像を表示する表示装置と、を有する画像合成システム。
2. 全ての前記部分画像間の幾何変換及び合成の整合性が保たれるように、各画像変換パラメータを最適化する全体最適化部をさらに有する請求項１記載の画像合成システム。
3. 前記モザイク画像よりも高解像な画像を生成する超解像画像生成部をさらに有する請求項１記載の画像合成システム。
4. 前記画像合成部は、
   前記表示装置の画面全体に前記現在の部分画像を配置し、前記画面の一部に前記現在の部分画像及び前記撮影済みの部分画像から生成したモザイク画像を縮小して表示するための画像データを生成する請求項１記載の画像合成システム。
5. 前記画像合成部は、
   前記モザイク画像中に在る前記現在の部分画像の外接矩形を強調して表示するための画像データを生成する請求項４記載の画像合成システム。
6. 前記画像合成部は、
   前記モザイク画像中の前記部分画像が存在しない箇所を特定の画素値で表示するための画像データを生成する請求項４記載の画像合成システム。
7. 前記画像合成部は、
   前記現在の部分画像が前記モザイク画像の外に位置する場合は、該現在の部分画像が前記モザイク画像内に収まるように、該モザイク画像をスクロールして表示、または縮小して表示するための画像データを生成する請求項４記載の画像合成システム。
8. 前記画像合成部は、
   前記表示装置の画面中央に前記現在の部分画像を配置し、該現在の部分画像を中心とした所定の範囲内に含まれる前記撮影済みの部分画像を合成して表示するための画像データを生成する請求項１記載の画像合成システム。
9. 前記画像合成部は、
   前記表示装置の画面全体に前記現在の部分画像を配置し、前記撮影済みの部分画像との重複部分を強調して表示するための画像データを生成する請求項１記載の画像合成システム。
10. 前記画像合成部は、
    前記撮影済みの部分画像との重複部分を、該部分画像の重複枚数に応じて色を変えて表示するための画像データを生成する請求項９記載の画像合成システム。
11. 撮像装置によって複数に分割して撮影された被写体の部分画像を合成し、モザイク画像を生成して表示装置に表示するための画像合成方法であって、
    前記部分画像間の合成に必要な幾何変換を推定し、該幾何変換のための画像変換パラメータを算出し、
    前記部分画像及び該部分画像に対応して算出した前記画像変換パラメータをそれぞれ記憶部に蓄積し、
    モザイク画像の生成に必要な部分画像を選択し、該選択した部分画像及びそれに対応する画像変換パラメータをそれぞれ前記記憶部から取得し、
    該取得した部分画像及び画像変換パラメータを用いて現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成し、
    前記表示装置に前記現在の部分画像及び前記モザイク画像の少なくとも一部を表示するための画像データを生成する画像合成方法。
12. 全ての前記部分画像間の幾何変換及び合成の整合性が保たれるように、各画像変換パラメータを最適化する全体最適化処理をさらに実行する請求項１１記載の画像合成方法。
13. 前記モザイク画像よりも高解像な画像を生成する超解像画像生成処理をさらに実行する請求項１１記載の画像合成方法。
14. 前記表示装置の画面全体に前記現在の部分画像を配置し、前記画面の一部に前記現在の部分画像及び前記撮影済みの部分画像から生成したモザイク画像を縮小して表示するための画像データを生成する請求項１１記載の画像合成方法。
15. 前記モザイク画像中に在る前記現在の部分画像の外接矩形を強調して表示するための画像データを生成する請求項１４記載の画像合成方法。
16. 前記モザイク画像中の前記部分画像が存在しない箇所を特定の画素値で表示するための画像データを生成する請求項１４記載の画像合成方法。
17. 前記現在の部分画像が前記モザイク画像の外に位置する場合、該現在の部分画像が前記モザイク画像内に収まるように、該モザイク画像をスクロールして表示、または縮小して表示するための画像データを生成する請求項１４記載の画像合成方法。
18. 前記表示装置の画面中央に前記現在の部分画像を配置し、該現在の部分画像を中心とした所定の範囲内に含まれる前記撮影済みの部分画像を合成して表示するための画像データを生成する請求項１１記載の画像合成方法。
19. 前記表示装置の画面全体に前記現在の部分画像を配置し、前記撮影済みの部分画像との重複部分を強調して表示するための画像データを生成する請求項１１記載の画像合成方法。
20. 前記撮影済みの部分画像との重複部分を、該部分画像の重複枚数に応じて色を変えて表示するための画像データを生成する請求項１９記載の画像生成方法。
21. 撮像装置によって複数に分割して撮影された被写体の部分画像を合成し、モザイク画像を生成して表示装置に表示するための処理をコンピュータに実行させるためのプログラムであって、
    前記部分画像間の合成に必要な幾何変換を推定し、該幾何変換のための画像変換パラメータを算出する処理と、
    前記部分画像及び該部分画像に対応して算出した前記画像変換パラメータをそれぞれ記憶部に蓄積する処理と、
    モザイク画像の生成に必要な部分画像を選択し、該選択した部分画像及びそれに対応する画像変換パラメータをそれぞれ前記記憶部から取得する処理と、
    該取得した部分画像及び画像変換パラメータを用いて現在の部分画像を基準に撮影済みの部分画像を幾何変換し、それらを合成することでモザイク画像を生成する処理と、
    前記表示装置に前記現在の部分画像及び前記モザイク画像の少なくとも一部を表示するための画像データを生成する処理と、
    をコンピュータに実行させるためのプログラム。
22. 全ての前記部分画像間の幾何変換及び合成の整合性が保たれるように、各画像変換パラメータを最適化する全体最適化処理をコンピュータにさらに実行させるための請求項２１記載のプログラム。
23. 前記モザイク画像よりも高解像な画像を生成する超解像画像生成処理をコンピュータにさらに実行させるための請求項２１記載のプログラム。
24. 前記表示装置の画面全体に前記現在の部分画像を配置し、前記画面の一部に前記現在の部分画像及び前記撮影済みの部分画像から生成したモザイク画像を縮小して表示するための画像データを生成する処理をコンピュータに実行させるための請求項２１記載のプログラム。
25. 前記モザイク画像中に在る前記現在の部分画像の外接矩形を強調して表示するための画像データを生成する処理をコンピュータに実行させるための請求項２４記載のプログラム。
26. 前記モザイク画像中の前記部分画像が存在しない箇所を特定の画素値で表示するための画像データを生成する処理をコンピュータに実行させるための請求項２４記載のプログラム。
27. 前記現在の部分画像が前記モザイク画像の外に位置する場合、該現在の部分画像が前記モザイク画像内に収まるように、該モザイク画像をスクロールして表示、または縮小して表示するための画像データを生成する処理をコンピュータに実行させるための請求項２４記載のプログラム。
28. 前記表示装置の画面中央に前記現在の部分画像を配置し、該現在の部分画像を中心とした所定の範囲内に含まれる前記撮影済みの部分画像を合成して表示するための画像データを生成する処理をコンピュータに実行させるための請求項２１記載のプログラム。
29. 前記表示装置の画面全体に前記現在の部分画像を配置し、前記撮影済みの部分画像との重複部分を強調して表示するための画像データを生成する処理をコンピュータに実行させるための請求項２１記載のプログラム。
30. 前記撮影済みの部分画像との重複部分を、該部分画像の重複枚数に応じて色を変えて表示するための画像データを生成する処理をコンピュータに実行させるための請求項２９記載のプログラム。

Images