JP6604908B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、複数の画像について位置合わせ処理を行うための画像処理装置に関する。

一般に、デジタルカメラなどの撮像装置では、ユーザの手振れ又はパンニング動作よって生じた画像間のズレを補正するための位置合わせ処理が行われている（例えば、パノラマ・流し撮り）。例えば、パン操作を行う際に、複数の画像間における被写体の移動量を検出して当該移動量に応じて被写体の位置を合わせて合成処理を行ってパノラマ画像を生成するようにした撮像装置がある（特許文献１参照）。

さらには、合焦すべき被写体までの距離（合焦距離）を変更しつつ撮影を行う。そして、複数の画像の位を置合わせて合成処理を行って被写体に合焦した全焦点画像を生成することが行われている。

ＷＯ２０１１／１６２２２７公報

ところで、特許文献１においては、複数の画像間において背景の移動量が大きくなった場合には、位置合わせ後の画像を基準画像としてその後の位置合わせ処理を行う。このため、過去のフレーム（つまり、画像）において位置合わせ精度が悪いと、基準画像自体にずれが生じる。

その結果、その後の位置合わせ精度も低下してしまうことになる。さらには、全焦点画像を生成しようとする場合、背景の移動量は小さいものの合焦距離が大きく異なる画像の位置合わせを行う必要がある。

従って、本発明の目的は、複数の画像において被写体などの移動量が大きい場合であっても精度よく位置合わせ処理を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、連続的な撮影によって得られた複数の画像において、基準画像とそれ以外の補正対象画像を設定し、前記補正対象画像について前記基準画像と被写体の位置を合わせる位置合わせ処理を行う画像処理装置であって、前記複数の画像に対して前記複数の画像の明るさに基づいて複数の画像ペアを設定する設定手段と、前記画像ペアの各々において画像間の被写体の移動量に応じた第１変換係数を算出する第１算出手段と、複数の前記第１変換係数を乗算することによって、前記補正対象画像について前記位置合わせ処理に用いる第２変換係数を算出する第２算出手段と、前記補正対象画像に対して前記第２変換係数を用いて変換処理することによって、前記基準画像に位置合わせされた位置合わせ画像を生成する処理手段と、を備えることを特徴とする。

本発明によれば、複数の画像において被写体などの移動量が大きい場合であっても精度よく位置合わせ処理を行うことができる。

本発明の第１の実施形態による画像処理装置である撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる位置合わせ処理を説明するための図である。 図１に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。 図１に示すカメラで算出される位置合わせ係数を説明するための図である。 図３に示す位置合わせ係数の積を求める処理を説明するための図である。 図３に示す位置合わせ係数の算出処理を説明するための図である。 画像セットを明るさの変化および移動距離の変化に応じて選択する例を説明するための図である。 図７に示す画像の並び替えの際の処理を接瞑するためのフローチャートである。 図１に示すカメラにおける位置合わせの基準画像の変更を説明するための図である。 本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。 図１０に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。 図１１に示す合成処理を説明するための図である。 本発明の第３の実施形態によるカメラの一例についてその構成を示すブロック図である。 図１３に示すカメラで行われる画像処理を説明するためのフローチャートである。 図１３に示すカメラにおいて合焦距離を変更して得られた画像を説明するための図である。 図１３に示すカメラで得られた全焦点画像を説明するため図である。 図１３に示すカメラにおいて全焦点画像を生成する際に用いられる合成対象画像の合成比率の一例を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置である撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、ＣＰＵなどの制御部１０１を有している。制御部１０１はカメラ１００動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することによってカメラ１００を制御する。ＲＯＭ１０２は、例えば、書き換え可能な不揮発性メモリであって、動作プログラムに加えてカメラ１００の動作に必要なパラメータなどを記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであって、カメラ１００の動作において得られたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像（光学像）を撮像部１０５に結像する。撮像部１０５には、ＣＣＤ又はＣＭＯＳセンサなどの撮像素子が備えられており、撮像部１０５は撮像素子に結像した光学像を光電変換してアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６はアナログ画像信号をＡ／Ｄ変換処理して得られた画像データをＲＡＭ１０３に記憶する。

画像処理部１０７は、ＲＡＭ１０３に記憶された画像データに対してホワイトバランス調整、色補間、およびフィルタリングなどの所定の画像処理を行う。記録媒体１０８はカメラ１００に着脱可能なメモリカードなどである。記録媒体１０８には、画像処理部１０７で画像処理された画像データおよびＡ／Ｄ変換部１０６によるＡ／Ｄ変換処理で得られた画像データ画像などが記録画像として記録される。表示部１０９は、ＬＣＤなどの表示デバイスであって、例えば、表示部１０９には、Ａ／Ｄ変換部１０６で得られた画像データに応じた画像が表示される。

装置動き検出部１１０は、ジャイロセンサなどの動きを検出するデバイスであって、カメラ１００の単位時間当たりの角度変化、つまり、角速度に基づいてヨーおよびピッチ方向におけるカメラ１００の動きを検出する。図示の例では、カメラ１００をパン又はチルト操作しつつ撮影を行う。そして、後述するように、背景部分（背景被写体）の位置を複数の画像間で位置合わせする。

図２は、図１に示すカメラで行われる位置合わせ処理を説明するための図である。そして、図２（ａ）はカメラで得られた複数の画像を示す図であり、図２（ｂ）は画像における被写体位置を補正して得られた画像を示す図である。また、図２（ｃ）は合成画像を示す図である。

図２（ａ）において、画像４０１〜４０７はカメラ１００による撮影の結果得られた画像である。そして、これら画像４０１〜４０７は、後述するようにして、被写体位置に応じて補正されて補正後の画像４１１〜４１７とされる。なお、画像４０１に対応する補正後の画像４１１については被写体位置の補正は行われない。ここでは、パン操作による移動量４２１〜４２６を求めて、当該移動量４２１〜４２６に応じて画像４０１〜４０７を補正して補正後の画像４１１〜４１７を得る（図２（ｂ）参照）。そして、これら補正後の画像４１１〜４１７を用いて、図２（ｃ）に示す合成画像（パノラマ画像）を得る。

図３は、図１に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０１の制御下で行われる。また、図示のフローチャートに係る処理は、カメラ１００において２枚目の画像を取得すると実行される。さらに、ここでは、ユーザはパン操作を行いつつ、複数の画像を撮影するものとする。

制御部１０１は撮像部１０５を制御して、撮像部１０５によって複数の画像を取得する（ステップＳ２０１）。ここでは、制御部１０１は撮像部１０５に画像取得要求を送って、当該要求に応じて撮像部１０５が送信した画像を受信して画像を取得する。

続いて、制御部１０１は位置合わせ対象の画像について、時間的に一つ前の画像（フレームともいう）との位置関係を測定する組として一対の画像の画像ペア（以下画像セットともいう）を設定する（ステップＳ２０２）。画像セットは２枚の画像からなり、１つ前の画像（過去画像）が位置合わせの基準画像とされる。例えば、図２（ａ）に示す画像４０２が位置合わせ対象の画像（補正対象画像）である場合には、画像４０１が基準画像とされる。同様にして、画像４０２および４０３に係る画像セットでは画像４０２が基準画像とされ、画像４０３および４０４に係る画像セットでは画像４０３が基準画像とされる。そして、制御部１０１は画像セット間の位置合わせ係数を求める（ステップＳ２０３）。

図４は、図１に示すカメラで算出される位置合わせ係数を説明するための図である。

画像５０１および５０２は、ステップＳ２０２の処理で得られた画像セットであり、位置合わせ対象の画像は画像５０２である。位置合わせによる補正は、図２（ｂ）に示すパン操作の際のカメラ動きに対応する並進成分のみではない。並進成分に加えて手振れに起因する回転および煽り成分がある。その結果、画像５０２のように回転および煽りの影響を受けた画像が取得されることがある。よって、制御部１０１は並進成分、回転成分、および煽り成分を幾何変形によって補正するための係数として変換係数を求める。この幾何変形を行うための変換係数を位置合わせ係数と呼ぶ。

例えば、図４に示すように、並進成分、回転成分、および煽り成分の影響を受けた位置合わせ対象の画像５０３を画像５０４に幾何変形する必要がある。この幾何変形を行う際に位置合わせ係数５１１が用いられる。位置合わせ係数をＡとすると、位置合わせ係数Ａは式（１）で表される。

画像の座標をＩ（ｘ，ｙ）とすると、次の式（２）によって幾何変形を行うと、画像５０３は５０４に幾何変形される。

続いて、制御部１０１は過去に少なくとも１回、位置合わせ係数を求めたか否かを判定する（ステップＳ２０４）。過去に少なくとも１回位置合わせ係数を求めていると（ステップＳ２０４において、ＹＥＳ）、制御部１０１は過去に求めた画像セット毎の位置合わせ係数と、現在求めた位置合わせ係数との積を求める（ステップＳ２０５）。

図５は、図３に示す位置合わせ係数の積を求める処理を説明するための図である。

画像３０１、３０２、および３０３は、カメラ１００をパン操作して得られた画像である。図５において、横軸は画像間の水平方向の位置関係を示しており、画像３０１よりも、画像３０２および３０３はカメラ１００を右方向に移動して撮影されている。ここで、画像セットは画像セット３２１および３２２で示されている。例えば、画像セット３２１は、画像３０１および３０２を有している。

画像セット３２１においては、画像３０２を画像３０１の位置（補正後の画像３１１は画像３０１に対応）に補正するための位置合わせ係数をＡ１とする。同様に、画像セット３２２において、画像３０３を画像３０２の位置（補正後の画像３１２は画像３０２に対応）に補正するための位置合わせ係数をＡ２とする。画像セット３２１については、当該画像セット３２１よりも前に画像セットがないので、画像セット３２１については位置合わせ係数の積を求めない。画像セット３２２について、前の画像セット３２１が存在するので、前の画像セット３２１について求めた位置合わせ係数と現在の画像セット３２２の位置合わせ係数との積を、次の式（３）によって求める。

式（３）に示すように、位置合わせ係数の積を求めることによって、画像３０３を、画像３０１を基準とする位置（補正後の画像３１３は画像３０１に対応）に補正することができる。

次に、制御部１０１は、画像処理部１０７によって、上述のようにして求めた位置合わせ係数を用いて位置合わせ対象の画像を幾何変形する（ステップＳ２０６）。この幾何変形においては、ステップＳ２０５までの処理で求めた位置合わせ係数を用いて、上述の式（２）用いて幾何変形が行われる。なお、過去に位置合わせ係数を求めていない場合には（ステップＳ２０４において、ＮＯ）、制御部１０１はステップＳ２０６の処理に進む。

続いて、制御部１０１は画像の位置合わせを終了する否かを判定する（ステップＳ２０７）。ここでは、制御部１０１は撮像部１０５によって次の画像を取得する動作を行う否かによって画像の位置合わせ終了を判定する。次の画像を取得しない場合には（ステップＳ２０７において、ＹＥＳ）、制御部１０１は画像処理を終了する。一方、次の画像を取得する場合には（ステップＳ２０７において、ＮＯ）、制御部１０１はステップＳ２０１の処理に戻る。

図６は、図３に示す位置合わせ係数の算出処理を説明するための図である。そして、図６（ａ）は画像に設定された特徴点を示す図であり、図６（ｂ）は位置合わせ対象画像および位置合わせの基準画像を示す図である。また、図６（ｃ）は特徴点に対するベクトル群を示す図である。

位置合わせ係数を算出するためには、位置合わせの基準とする画像（基準画像）と補正対象の画像（位置合わせ対象画像）を画像セットとして設定する。当該画像セットにおいては、位置合わせ対象画像よりも撮影時間が１フレーム前の画像が基準画像とされる。そして、画像セットにおいて２つの画像の領域毎に特徴点（又は特徴領域）の移動方向および移動量を特徴量としてベクトル（ベクトル群）を算出する。その後、当該ベクトルに基づいて２つの画像間の位置関係（例えば、並進、回転、縮小、および拡大）を示す幾何変換係数を位置合わせ係数として求める。

図６（ａ）において、画像６０１には均等に特徴点６１１が設定される。特徴点６１１として、例えば、画像領域において等間隔位置にブロックを設定してもよいが、エッジ部分および高周波から低周波の周波数成分を含むテクスチャを選択した方が画像セットにおいてベクトルを正確に求めることができる。

図６（ｂ）において、位置合わせ対象画像６０２について基準画像６０３に対する特徴点の位置を求めて、対応する特徴点の方向および移動量を算出する。例えば、特徴量６２１〜６２３および６３１〜６３３は、方向および移動量を示すベクトルである。同様にして、残りの特徴点に対してもベクトルを算出する。なお、図６（ｃ）において、ベクトル群６４１は、予め設定した特徴点に対して算出したベクトル群を示す。

一般に、画像間の特徴点の対応関係を求める手法として、所謂ブロックマッチング手法が用いられている。ブロックマッチング手法では、等倍の画像のみではなく、段階的に縮小した画像についてもブロックマッチングを行って、階層ベクトルを検出することができる。階層的にベクトル検出を行うことによって、探索範囲を広くしてもベクトル検出に要する処理時間を抑えることが可能となる。

続いて、上述のようにして求めたベクトル群を用いて幾何変換係数を求める。例えば、基準画像の特徴点の座標を（ｘ’１，ｙ’１，１）、位置合わせ対象画像の特徴点の座標を（ｘ１，ｙ１，１）とする。この場合、ベクトルＸ１は、座標（ｘ’１，ｙ’１，１）および座標（ｘ１，ｙ１，１）の３次元の座標系を含む情報を有している。そして、式（４）によって、位置合わせ対象画像の特徴点の座標Ｘに所定の変換係数Ａを乗算して座標Ｘ’を求めて、当該座標Ｘ’と基準画像の特徴点の座標との差分εが最も小さくなる変換係数Ａを求める。

変換係数Ａを求める手法として、例えば、ニュートン法又はガウスニュートン法などの既知の最適化手法が用いられる。そして、この変換係数Ａを位置合わせ係数として用いる。

このように、カメラのパン操作が大きいシーンなどにおいても、１つ前の画像との変換係数を求めるようにすれば、画像間の変形量を比較的少ない画像によって位置合わせ係数を求めることができる。その結果、精度の高い位置合わせ処理を行うことができる。

ここでは、画像セットとして位置合わせ対象画像と時系列的に過去の画像（１つ前のフレーム）を用いて位置合わせを行う手法について説明したが、画像セットとして他の画像を選択するようにしてもよい。例えば、画像セットを選択する際、明るさの変化、移動量の変化、又は被写体のブレおよびボケの変化が小さい画像を選択するようにしてもよい。

つまり、複数の画像について複数の画像ペアを設定する際には、例えば、画像を撮像順に並べて時間方向で近傍の画像同士をペアとする手法がある。さらには、画像間の変化量に応じて並び順を変更して（全体又は部分的でもよい）、変更後の並び順で近傍の画像同士をペアとする手法がある。これにの手法が所定規則に従った画像ペアの設定に対応することになる。

図７は、画像セットを明るさの変化および移動距離の変化に応じて選択する例を説明するための図である。そして、図７（ａ）は画像を撮影順に並べて示す図であり、図７（ｂ）は１番目の画像を基準として明るさおよび移動量の変化が小さい順に並べて示す図である。

図７（ａ）において、移動量７２１〜７２６はそれぞれ同一の被写体に位置合わせする際の先頭画像（１番目の画像）からの移動量を示す。また、図７（ｂ）において、画像７０１〜７０７は、ユーザがカメラ１００をパン操作して撮影された画像を示す。図７（ａ）においては撮影の順と画像における被写体の移動量とは相関を有し、撮影が後になるにつれて移動量が大きくなるように画像が並べられている。前述のように、撮影順に画像セットを設定すると画像セット７４１〜７４６が得られる。

一方、画像の明るさがフレーム間で変化する場合、明るさおよび移動量を考慮して画像セットを選択すると、位置合わせの精度が向上することがある。例えば、パノラマ撮影の場合には、画像毎に明るさの変化が大きくならないように、ＡＥを一枚目の画像で固定する。

撮影中に急に太陽に雲が掛かかったりする場合又は日向から日陰に移動した場合に撮影を行うと、連続的に撮影された画像ではシーンが一瞬暗くなる。そして、当該シーンに適切なカメラ設定にとなって一連の画像が撮影される。このような一連のシーンにおいてはフレーム間で明るさの変化が発生するので、撮影順に画像セットを設定すると、明るさの変化によって画像セット毎の位置合わせ精度が悪化する可能性がある。このため、図７（ｂ）に示す例では、先頭画像７１１（図７（ａ）に示す画像７０１に対応）に対して、明るさの変化が小さくなるように画像セットを設定する。

図７（ｂ）において、画像７１２〜７１４は図７（ａ）に示す画像７０２〜７０４を先頭画像に対する明るさの変化小さくなるように並び変えたものである。ここでは、画像の明るさが”０”〜”１０”の範囲で示されている。

図８は、図７（ｂ）に示す画像の並び替えの際の処理を説明するためのフローチャートである。ここでは、撮影順に１番目の画像が位置合わせの基準画像とされる。

まず、制御部１０１は２番目の画像の明るさを検出する（ステップＳ１７０１）。続いて、制御部１０１は、２番目の画像について基準画像（ここでは、先頭画像）との重複領域を検出する（ステップＳ１７０２）。そして、制御部１０１は２番目の画像において基準画像との重複領域が存在するか否かを判定する（ステップＳ１７０３）。

重複領域が存在すると（ステップＳ１７０３において、ＹＥＳ）、制御部１０１は基準画像と当該２番目の画像との輝度変化（明るさ変化）とを求めて画像の並び替えを行う（ステップＳ１７０４）。その後、制御部１０１は全ての画像について並べ替えが完了したか否かを判定する（ステップＳ１７０５）。全ての画像について並べ替えが完了すると（ステップＳ１７０５において、ＹＥＳ）、制御部１０１は並べ替え処理を終了する。一方、全ての画像について並べ替えが完了しないと（ステップＳ１７０５において、ＮＯ）、制御部１０１はステップＳ１７０１の処理に戻って、次の画像について明るさを検出する。なお、重複領域が存在しなければ（ステップＳ１７０３において、ＮＯ）、制御部１０１はステップＳ１７０５の処理に進む。

再び図７を参照して、画像７０２は画像７１４に対応しており、例えば、明るさは”５”である。いま、図７（ａ）に示す先頭画像７０１（図７（ｂ）において画像７１１）の明るさを”１０”とすると。画像７０２の明るさの変化は大きい。よって、図示の例では、画像７０２は４番目の位置に並べ替えられている。

画像７０３は画像７１３に対応しており、画像７０４は画像７１２に対応している。一方、画像７１５〜７１７（画像７０５〜７０７に対応）は、先頭画像７１１に対する明るさの変化は小さいものの、同一の被写体が存在する重複領域がない。よって、位置合わせ係数を算出することができないので、画像セットとして設定されない。

なお、重複領域が存在するか否かを判定する際には、移動量が所定の量以上であるか否かを判定して、移動量が所定の量以上であると当該画像を用いないと判定するようにしてもよい。

さらには、前の画像における重複領域よりも次の画像における重複領域の大きさが所定の大きさよりも狭くなった場合に、当該次の画像を画像セットに用いないようにしてもよい。この手法を用いれば、画像７１５〜７１７については画像７０５〜７０７の順となる。

このようにして、画像の明るさの変化および移動量の変化を用いて並べ替えを行えば、画像セット７５１〜７５６が得られる。同様にして、画像セットを決定する際に判定要素として明るさの代わりに、画像のブレ又はボケを用いればブレ又はボケの差が小さい画像を画像セットとして設定することができる。

また、ここでは、画像の位置合わせの基準画像として先頭画像を用いるようにしたが、画像セット間の位置合わせ係数を求めて、当該位置合わせ係数に応じて（つまり、所定の条件に応じて）位置合わせ画像の基準画像を変更するようにしてもよい。

図９は、図１に示すカメラにおける位置合わせの基準画像の変更を説明するための図である。そして、図９（ａ）は１枚目の画像に位置合わせを行う場合の例を示す図であり、図９（ｂ）は２枚目の画像に位置合わせを行う場合の例を示す図である。また、図９（ｃ）は３枚目の画像に位置合わせを行う場合の例を示す図であり、図９（ｄ）は４枚目の画像に位置合わせを行う場合の例を示す図である。さらに、図９（ｅ）は基準画像の変更の一例を示す図である。

図９（ａ）において、”１”〜”４”は画像８０１〜８０４の撮影順を示している。また、図中矢印は、画像の位置を合わせる方向を示す。そして、矢印の先は位置合わせの基準画像を示し、矢印の元は位置合わせ対象画像を示す。さらに、矢印に対応する位置合わせ係数はＡ_１〜Ａ_３（逆行列はＡ^−１ _１〜Ａ^−１ _３）で示されている。

これによって、図９（ａ）に示す例では、１枚目の画像を基準として位置合わせが行われることになる。位置合わせの際の変換行列は、次の式（５）で示される。

式（５）において、画像８０１の位置合わせ係数はＡ_８０１＝１であり、画像８０１は位置合わせの基準となるので変換されない。その他の画像に係る位置合わせ係数は画像セットの位置合わせ係数を乗算して位置合わせ係数を求める。

図９（ｂ）においては、画像セットにおいて位置合わせ係数Ａ_１〜Ａ_３を求めた後、位置合わせの基準を２枚目の画像８１２として位置合わせが行われる。この際の変換行列は式（６）で示される。

画像８１１は、２枚目の画像８１２に位置合わせされるので、位置合わせ処理が必要となるが、画像セットで得られた位置合わせ係数は画像８１２から画像８１１に変換する係数になっているので、逆行列とされる。

図９（ｃ）においては、画像セットにおいて位置合わせ係数Ａ_１〜Ａ_３を求めた後、位置合わせの基準を３枚目の画像８２３として位置合わせが行われる。この際の変換行列は式（７）で示される。

画像８２１および８２２は画像８２３に位置合わせされるので、位置合わせ係数Ａ_１およびＡ_３の逆行列を求める必要がある。また、画像８２１については、一度画像８２２に位置合わせするための位置合わせ係数Ａ^−１ _１と、画像８２２から画像８２３に位置に位置合わせするための位置合わせ係数Ａ^−１ _２とを乗算して位置合わせ係数を求める。この関係は式（８）で示される。

図９（ｄ）においては、画像セットにおいて位置合わせ係数Ａ_１〜Ａ_３を求めた後、位置合わせの基準を４枚目の画像８２３として位置合わせが行われる。この際の変換行列は式（９）で示される。

このように、位置合わせの基準画像を変更する場合として、例えば、１枚目の画像がカメラ１００が傾いて水平および垂直がずれた画像となった場合がある。また、１枚目の画像がピンボケ又は手振れの影響を受けた画像となった場合がある。そして、このような場合に。位置合わせの基準（所定の条件）を変更して基準画像を選択すれば、１枚目の画像が失敗撮影した場合においても、良好な画像を位置合わせの基準として用いることができる。また、ユーザの好みの画像を位置合わせの基準画像として用いることもできる。

上述の説明では、１つ前の画像を、画像セットの位置合わせ係数を算出する基準画像として設定する例について説明した。一方、画像の移動量、明るさ、ブレ又はボケの変化について所定の閾値を設定して、閾値以下の変化量であれば基準画像を変更しないようにしてよい。

図９（ｅ）を参照すると、ここでは、まず、位置合わせの基準を先頭画像８４１に設定したとする。画像８４３の１つ前の画像セットにおいては、先頭画像８４１が基準画像として設定されているので、画像８４１と画像８４３との差分が所定値（閾値）よりも小さいか否かを判定する。当該差分として、例えば、画像間の移動量、明るさ、およびブレ又はボケの変化のうち少なくとも１つが特徴量として用いられる。そして、当該と特徴量を予め定められた閾値を比較する。

特徴量が閾値未満である画像８４３については画像８４１が基準画像とされる。特徴量が閾値以上である画像８４４については、基準画像は画像８４１から画像８４３に変更される。この際の画像セットの位置合わせ係数は、次の式（１０）で示される。

このように、本発明の第１の実施形態では、連続的な撮影において、画像の移動量が大きくなっても精度よく画像の位置合わせを行うことができる。さらに、移動量以外の要素によって画像の変形が大きくなったとしても容易に位置合わせを行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラの一例について説明する。

図１０は、本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図１０において、図１に示すカメラと同一の構成要素については同一の参照番号を付す。

図示のカメラでは、第１の実施形態で説明した位置合わせ処理を用いてパノラマ合成が行われる。よって、画像処理部における処理が図１に示すカメラと異なるので、ここでは参照番号９０７が付されている。

図１１は、図１０に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。なお、図１１において、ステップＳ１００１〜Ｓ１００６の処理は、図３に示すステップＳ２０１〜Ｓ２０６の処理と同様であるので、説明を省略する。

ステップＳ１００６の処理の後、制御部１０１は画像処理部９０７によって幾何変形後の画像について、画像間の境界付近で合成処理を行って画角が拡大する（ステップＳ１００７）。そして、制御部１０１はパノラマ合成を終了するか否かを判定する（ステップＳ１００８）。パノラマ合成を終了しないと判定すると（ステップＳ１００８において、ＮＯ）、制御部１０１はステップＳ１００１の処理に戻る。一方、パノラマ合成を終了すると判定すると（ステップＳ１００８において、ＹＥＳ）、制御部１０１は画像処理を終了する。

図１１に示すフローチャートに係る処理を行えば、図２（ａ）に示す画像は、図２（ｃ）に示すように、画角が拡大されたパノラマ画像となる。

図１２は、図１１に示す合成処理（パノラマ合成処理）を説明するための図である。

図１１に示すステップＳ１００６で説明した幾何変形による位置合わせを行うと、画像１１０１〜１１０３が得られる。そして、これら画像１１０１〜１１０３についてその境界を順次合成をすると、パノラマ合成画像が得られる。

画像１１０１に画像１１０２を合成する際には、画像１１０１における水平方向の中心位置を示すライン１１２１を境界として境界合成を行う。例えば、ライン１１２１から左の領域に画像１１０１を割り当て、ライン１１２１から右の領域に画像１１０２を割り当てる。ライン１１２１上においては画像１１０１および１１０２の画素データを混合して繋ぎ目目を自然とする処理を行う。混合する際には、例えば、ライン１１２１上においては、画像１１０１および１１０２の画素データを５０％で合成した画素データとする。そして、ライン１１２１から離れるに従ってライン１１２１の左側においては画像１１０１の割合を大きくする。一方、ライン１１２１の右側においては画像１１０２の割合を大きくして合成を行う。この結果、合成画像１１１１が得られる。

続いて、合成画像１１１１および画像１１０３の合成が行われる。この際、１つ前の画像１１０２の水平中心のライン１１２２を境界として境界合成を行う。これによって、合成画像１１１２が得られる。

このようにして、順次位置合わせを行った後、画像の境界合成を行うことによって、パノラマ合成画像が生成される。そして、画像１１０２および１１０３をパノラマ合成することによって画像１１０１に対して領域１１３１で示す分だけ画角を拡大することができる。

以上のように、本発明の第２の実施形態では、パン操作などカメラを大きく動かして連続的に撮影した画像について、位置合わせ処理を行った画像を繋ぎ合わせることによってパノラマ合成画像を生成することができる。

［第３の実施形態］
続いて、本発明の第３の実施形態に係るカメラの一例について説明する。

図１３は、本発明の第３の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図１３において、図１に示すカメラと同一の構成要素については同一の参照番号を付す。

図示のカメラでは、第１の実施形態で説明した位置合わせ処理を用いて、互いに異なる合焦距離で撮影した画像を合成して被写界深度を拡大した全焦点画像を生成する。よって、画像処理部における処理が図１に示すカメラと異なるので、ここでは参照番号１２０７が付されている。

図１４は、図１３に示すカメラで行われる画像処理を説明するためのフローチャートである。

制御部１０１は、光学系１０４から合焦する被写体までの距離（以下合焦距離という）を変更して撮像部１２０５によって撮影を行って、画像を取得する（ステップＳ１３０１）。

図１５は、図１３に示すカメラにおいて合焦距離を変更して得られた画像を説明するための図である。そして、図１５（ａ）は注目被写体に合焦させた画像を示す図であり、図１５（ｂ）は背景被写体に合焦させた画像を示す図である。また、図１５（ｃ）は全焦点画像を示す図である。

図１５（ａ）に示す画像は、注目被写体として手前の人物に合焦距離を合わせて撮影した画像である。このため、背景被写体である奥の植物について合焦距離がずれているので、当該背景被写体についてはピントがボケた画像となる。一方、図１５（ｂ）に示す画像は、背景被写体である奥の植物に焦点距離を合わせて撮像した画像である。このため、注目被写体である人物についてはピントがボケた画像となる。

再び、図１４を参照して、制御部１０１は焦点距離の異なる画像についてステップＳ１３０２〜Ｓ１３０６の処理を行う。これらステップＳ１３０２〜Ｓ１３０６の処理は、図３で説明したＳ２０２〜Ｓ２０６の処理と同様の処理である。

なお、ステップＳ１３０５の処理において、位置合わせ係数の積を求める際には、位置合わせの基準画像として、最初の撮影で得られた画像ではなく、ピンボケ又は手振れの少ない画像を選択するようにしてもよい。また、注目被写体に合焦点距離が合った画像を基準画像として用いるようにしてもよい。

ピンボケ又は手振れを検出する手法として、例えば、ボケ関数としてＰＳＦを推定する手法が知られている（特開２０１４−２１９７２５号公報参照）。ＰＳＦの推定においては、補正処理を行う前の画像データについて微分によって得られた輝度値に閾値を設定する。そして、輝度値が閾値より小さく、かつ画像データの輝度値と補正後の画像データの輝度値とにおいてその符号が逆の領域を抽出する。さらに、抽出した領域の成分（逆エッジ成分）を得ると、ボケの程度（大きさ）を示すＰＳＦを推定することができる。

ステップＳ１３０６の処理の後、制御部１０１は、画像処理部１２０７によって位置合わせ後の画像について、主要被写体および背景被写体に合焦距離が合っている領域を合成する（ステップＳ１３０７）。これによって、合成した領域について被写界深度が拡大された画像を得ることができる。

例えば、ステップＳ１３０７の処理においては、コントラスト合成が用いられる。コントラスト合成においては、合成後の画像と合成対象画像との各々について高周波数成分を検出する。そして、合成後の画像に比べて、合成対象画像において高周波数成分が多い領域を特定して、当該特定した合成対象画像の領域を、合成後の画像に合成する。

続いて、制御部１０１は一連の全焦点画像合成を終了するか否かを判定する（ステップＳ１３０８）。全焦点画像合成が終了していないと判定すると（ステップＳ１３０８において、ＮＯ）、制御部１０１はステップＳ１３０１の処理に戻る。一方、全焦点画像合成が終了したと判定すると（ステップＳ１３０８において、ＹＥＳ）、制御部１０１は画像処理を終了する。

図１４で説明した処理を行って、図１５（ａ）および図１５（ｂ）に示す画像を合成すると、図１５（ｃ）に示すように、注目被写体および背景被写体の双方にピントが合った全焦点画像を生成することができる。なお、合成する画像の枚数は２枚に限定されず、合焦距離を異ならせて撮影した複数の画像について上述のようにコントラスト合成を行えば、全焦点画像を生成することができる。

ここで、上述のコントラスト合成についてさらに説明する。ここでは、コントラスト合成の対象となる画像（以下合成対象画像という）は位置合わせた後の画像である。また、合成基準となる画像（以下合成基準画像という）は、前のフレームにおいてコントラスト合成を行っている場合には前フレームの合成画像とされる。そして、コントラスト合成を行っていない場合には、前のフレームが合成基準画像とされる。

コントラスト合成においては、まず、合成基準画像および合成対象画像の各々について合焦度を求める。合焦度を求める際には、画像の着目画素を中心として周囲の画素領域から高周波数成分を得て、当該高周波数成分の絶対値の強度を合焦度とする。

上述のようにして、合成基準画像および合成対象画像についてそれぞれ合焦度（基準画像合焦度および対象画像合焦度という）を求める。そして、基準画像合焦度と対象画像合焦度との合焦度差分Δ（対象画像合焦度−基準画像合焦度）を求める。その後、合焦度差分Δに応じて合成基準画像および合成対象画像の合成重みを変更して合成処理を行う。

図１６は、図１３に示すカメラで得られた全焦点画像を説明するため図である。そして、図１６（ａ）は合成基準画像を示す図であり、図１６（ｂ）は合成対象画像を示す図である。また、図１６（ｃ）は全焦点画像を示す図である。

図１６（ａ）および図１６（ｂ）において、領域１６０１および１６０３はそれぞれ合成基準画像および合成対象画像である手前の人物領域である。当該人物領域について高周波成分を求めると、図１６（ａ）に示す合成基準画像では人物領域に合焦しているので、高周波数成分が図１６（ｂ）に示す合成対象画像に比べて多く検出される。そして、合焦度差分Δを求めると、合成基準画像の方が合成対象画像に比べて合焦度が高くなる。例えば、基準画像合焦度を”１０”、対象画像合焦度を”５”とすると、合焦度差分Δは”−５”となる。

図１７は、図１３に示すカメラにおいて全焦点画像を生成する際に用いられる合成対象画像の合成比率の一例を示す図である。

図１７において、横軸は合焦度差分Δを示し、縦軸は合成対象画像の合成比率を示す。図１６（ａ）および図１６（ｂ）に示す領域１６０１および１６０３の合焦度差分Δに対する合成比率は合成比率１５１１で示されている。合成比率１５１１においては、合成対象画像の合成比率は”０”であり、領域１６０３については合成は行われない。この場合、図１６（ｃ）に示す領域１６０５は領域１６０１となる。

このように、合成比率が小さい程、合成基準画像に対する合成対象画像の合焦度が低いことを示す。合成比率を用いて、コントラスト合成を行う際には、次の式（１１）が用いられる。

なお、Ｂは画素又は画素領域の信号値を示し、ｗは合成比率を示す。

図１６（ａ）および図１６（ｂ）に示す領域１６０２および１６０４は、合成基準画像および合成対象画像における奥の植物領域である。合焦度差分Δを求めると、合成対象画像の方が合成基準画像に比べて合焦度が高くなる。例えば、基準画像合焦度が”５”、対象画像合焦度”１０”とすると、合焦度差分Δは５となる。この際の合成比率は合成比率１５１２となる。

合成比率１５１２においては、領域１６０４の合成比率ｗは１（１００％に相当）であり、合成対象画像の領域１６０４を１００％とする合成処理が行われる。つまり、図１６（ｃ）領域１６０６は領域１６０４となる。

さらに、合成比率１５０１は合焦度差分Δの下限閾値、合成比率１５０２は上限閾値となっており、これら閾値で規定される区間は合成基準画像および合成対象画像の双方を重み付けによって合成する区間である。下限閾値および上限閾値の設定については、例えば、実験値に基づいて行われる。なお、被写体距離やカメラの設定に応じて下限と上限の閾値を変更することも可能である。

このように、本発明の第３の実施形態では、合焦距離を互いに異ならせて撮影した結果得られた画像について、位置合わせを行った後にコントラスト合成を行うことによって全焦点画像を得ることができる。

上述の説明から明らかなように、図１に示す例では、制御部１０１および画像処理部１０７が第１算出手段、第２算出手段、処理手段、および合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ 表示部

Claims (9)

1. 連続的な撮影によって得られた複数の画像において、基準画像とそれ以外の補正対象画像を設定し、前記補正対象画像について前記基準画像と被写体の位置を合わせる位置合わせ処理を行う画像処理装置であって、
   前記複数の画像に対して前記複数の画像の明るさに基づいて複数の画像ペアを設定する設定手段と、
   前記画像ペアの各々において画像間の被写体の移動量に応じた第１変換係数を算出する第１算出手段と、
   複数の前記第１変換係数を乗算することによって、前記補正対象画像について前記位置合わせ処理に用いる第２変換係数を算出する第２算出手段と、
   前記補正対象画像に対して前記第２変換係数を用いて変換処理することによって、前記基準画像に位置合わせされた位置合わせ画像を生成する処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記変換処理として幾何変形が用いられることを特徴とする請求項１に記載の画像処理装置。
3. 前記位置合わせ画像および前記基準画像を合成して合成画像を得る合成手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記連続的な撮影によって得られた複数の画像は、カメラをパン又はチルト操作して得られた画像であることを特徴とする請求項３に記載の画像処理装置。
5. 前記連続的に得られた複数の画像は、前記被写体に合焦する合焦距離を変更して得られた画像であることを特徴とする請求項３に記載の画像処理装置。
6. 前記画像ペアは、画像間における差分が所定の値未満であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記基準画像は、予め設定された条件に応じて前記複数の画像から選択されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 連続的な撮影によって得られた複数の画像において、基準画像とそれ以外の補正対象画像を設定し、前記補正対象画像について前記基準画像と被写体の位置を合わせる位置合わせ処理を行う画像処理装置の制御方法であって、
   前記複数の画像に対して前記複数の画像の明るさに基づいて複数の画像ペアを設定する設定ステップと、
   前記画像ペアの各々において画像間の被写体の移動量に応じた第１変換係数を算出する第１算出ステップと、
   複数の前記第１変換係数を乗算することによって、前記補正対象画像について前記位置合わせ処理に用いる第２変換係数を算出する第２算出ステップと、
   前記補正対象画像に対して前記第２変換係数を用いて変換処理することによって、前記基準画像に位置合わせされた位置合わせ画像を生成する処理ステップと、
   を有することを特徴とする制御方法。
9. 連続的な撮影によって得られた複数の画像において、基準画像とそれ以外の補正対象画像を設定し、前記補正対象画像について前記基準画像と被写体の位置を合わせる位置合わせ処理を行う画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記複数の画像に対して前記複数の画像の明るさに基づいて複数の画像ペアを設定する設定ステップと、
   前記画像ペアの各々において画像間の被写体の移動量に応じた第１変換係数を算出する第１算出ステップと、
   複数の前記第１変換係数を乗算することによって、前記補正対象画像について前記位置合わせ処理に用いる第２変換係数を算出する第２算出ステップと、
   前記補正対象画像に対して前記第２変換係数を用いて変換処理することによって、前記基準画像に位置合わせされた位置合わせ画像を生成する処理ステップと、
   を実行させることを特徴とする制御プログラム。