JP5645704B2 - 画像処理装置、及びその制御方法 - Google Patents

Description

本発明は、画像処理装置、及びその制御方法に関する。

従来、デジタルカメラやビデオカメラ等の技術分野において、ブレを補正する技術やブレ情報を検出して所定の記録媒体に記録する技術が多く提案されている。中でも、画像処理によるブレ補正は電子ブレ補正と呼ばれる。電子ブレ補正は、ブレによる画像の変形を画像処理によって補正することで実現される。ブレによる画像の変形は、シフトや回転などの線形な変形だけでなく、歪みやあおりなどによる非線形な変形も含まれる。このため、高精度に電子ブレ補正を行うためには、画像の非線形な補正処理（非線形変換処理）が必要となる。

これまでに、非線形変換処理を用いて電子ブレ補正を行う方法が提案されている（例えば、特許文献１）。また、画像を複数のパッチに分割し、パッチ毎に異なる線形変換処理を行うことで、非線形変換のような複雑な変換に対応する方法が提案されている（例えば、特許文献２）。

特開２００８−０２８５００号公報 特開２００７−１６６２６９号公報

特許文献１に記載の方法では、非線形変換処理を行う処理部が必要である。しかし、非線形変換処理は線形変換と比較して処理が複雑であり、回路規模が大きくなるという問題があった。また、特許文献２に記載の方法では、画像変換時の変換パラメータがパッチ毎に独立しているため、パッチの境界で画質の劣化が発生するという問題があった。

本発明はこのような状況に鑑みてなされたものであり、回路規模の増大を抑制しつつ、画像の非線形な変形を補正することを可能にする技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、撮像装置により連続的に撮像された基準画像及び合成対象画像を処理する画像処理装置であって、前記基準画像に対する前記合成対象画像のブレを表すブレ情報を取得する取得手段と、前記ブレを補正するように前記合成対象画像を非線形変換するための非線形変換パラメータを算出する第１算出手段と、前記合成対象画像を複数のブロック画像に分割する分割手段と、前記非線形変換パラメータを用いた前記非線形変換を線形変換に近似することにより、前記ブレを補正するように前記複数のブロック画像の各々を線形変換するための線形変換パラメータを前記複数のブロック画像の各々について算出する第２算出手段と、前記第２算出手段で算出された前記複数のブロック画像の各々についての線形変換パラメータを用いて前記複数のブロック画像の各々を線形変換する変換手段と、前記線形変換された前記複数のブロック画像の各々を前記基準画像の対応する位置に合成する合成手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、回路規模の増大を抑制しつつ、画像の非線形な変形を補正することが可能となる。

第１の実施形態に係るデジタルカメラ１００の全体構成を示すブロック図 第１の実施形態に係る画像合成部１１０の詳細な構成を示すブロック図 合成対象画像の分割方法を例示する図 変換パラメータ近似部２０６が実行する近似処理（アフィンパラメータ算出処理）の流れを示すフローチャート 画像変換部２０７によるアフィン変換の概念図 加算合成部２０８による基準画像と合成対象画像との加算合成処理の一例を示す図 加算合成部２０８による基準画像と合成対象画像との加算合成処理の他の例を示す図 第２の実施形態に係る画像合成部８０１の詳細な構成を示すブロック図

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

以下の各実施形態では、本発明の画像処理装置の一例として、撮像装置（デジタルカメラ）を使用する。しかしながら、本発明の画像処理装置はデジタルカメラに限定されず、例えばパーソナルコンピュータ（ＰＣ）でも構わない。また、画像処理装置の制御方法も本発明の範囲に含まれる。

［第１の実施形態］
●デジタルカメラ１００の全体構成
図１は、第１の実施形態に係るデジタルカメラ１００の全体構成を示すブロック図である。図１において、撮像部１０１は、撮像レンズ群と、Ｃ−ＭＯＳやＣＣＤ等の半導体撮像素子とを含む。撮像部１０１から出力される映像信号は、Ａ／Ｄ変換部１０２によりデジタル画像に変換され、画像処理部１０３に入力される。画像処理部１０３は、入力された画像データに対してブレ補正処理を適用し、ブレ補正画像を生成する。生成されたブレ補正画像は、出力端子１１１より出力され、画像表示部１０４で表示されたり、画像記録部１０５で記録媒体に記録されたりする。

次に、画像処理部１０３の構成について説明する。入力端子１０６は、画像処理部１０３の入力端子であり、Ａ／Ｄ変換部１０２によりデジタル変換された画像を入力する。入力された画像は、メモリ部１０７に格納される。基準画像設定部１０８は、連続的に撮像された複数枚の画像をメモリ部１０７から読み出し、複数枚の画像中の１枚を基準画像として選択する。基準画像以外の画像を合成対象画像と呼ぶ。例えば、基準画像設定部１０８は、最も撮影タイミングの早い画像を基準画像として選択する。動きベクトル算出部１０９は、基準画像設定部１０８から得られる基準画像及び合成対象画像を用いて、基準画像に対する各合成対象画像の動きベクトル（ブレ情報）を算出する。この際、動きベクトル算出部１０９（検出手段）は基準画像及び合成対象画像を複数のブロックに分割し、ブロック毎に動きベクトルを算出する。画像合成部１１０は、動きベクトル算出部１０９から得られる複数の動きベクトルを用いて、基準画像設定部１０８から読み出した基準画像及び合成対象画像を合成し、ブレ補正画像を生成する。画像合成部１１０は、生成されたブレ補正画像を出力端子１１１より出力する。動きベクトル算出部１０９及び画像合成部１１０の詳細については後で更に詳述する。

●動きベクトル算出部１０９の詳細
動きベクトル算出部１０９は、基準画像設定部１０８より得られる基準画像及び合成対象画像から、複数の動きベクトルを算出する。具体的には、まず、動きベクトル算出部１０９は、合成対象画像を複数のブロックに分割する。ここでは、ブロック数をＬとする。次に、動きベクトル算出部１０９は、基準画像と分割した合成対象画像のブロックとを用いて、差分絶対値を評価値としたパターンマッチング処理を行う。最後に、動きベクトル算出部１０９は、差分絶対値が最小となる座標位置に基づいてブロックの動きベクトルを算出する。同様の処理を全てのブロックについて行うことにより、ブロック数と同数の動きベクトルが得られる。また、動きベクトル算出部１０９は、同様の処理を全ての合成対象画像について行う。動きベクトル算出部１０９は、各合成対象画像について、Ｌ個の動きベクトルを出力する。

このように、動きベクトル算出部１０９は、基準画像に対する合成対象画像のブレを、両画像を比較することにより、Ｌ個の動きベクトルとして検出する。しかしながら、ブレ情報の取得方法はこれに限定されず、例えば、動きベクトル算出部１０９は、外部装置が検出したブレ情報を外部装置から取得してもよい。

●画像合成部１１０の構成
簡単に説明すると、画像合成部１１０は、基準画像に対する合成対象画像のブレを補正するように合成対象画像を非線形変換（本実施形態では、射影変換とする）するための非線形変換パラメータを算出する。そして、画像合成部１１０は、非線形変換パラメータを基に合成対象画像のブロック毎の線形変換パラメータを決定する。以下、画像合成部１１０の詳細な構成について説明する。

図２は、画像合成部１１０の詳細な構成を示すブロック図である。入力端子２０１は、基準画像設定部１０８から得られる基準画像を入力する。入力端子２０２は、動きベクトル算出部１０９から得られるＬ個の動きベクトルを入力する。入力端子２０３は、基準画像設定部１０８から得られる合成対象画像を入力する。

変換パラメータ算出部２０４（第１算出手段）は、入力端子２０２より入力したＬ個の動きベクトルを基に、基準画像と合成対象画像との間の変形（ブレ）を表す射影変換パラメータを算出する。変換パラメータ算出部２０４については、後で更に詳述する。

画像分割部２０５は、入力端子２０３より入力した合成対象画像を複数のブロック画像に分割する。以下、これらのブロック画像を合成対象ブロック画像と呼ぶ。具体的には、図３に示すように、各合成対象ブロック画像は、合成対象画像を横Ｂｘ画素、縦Ｂｙ画素で等間隔に分割したＭ＊Ｎ個の領域それぞれに対して、横ｐ画素、縦ｑ画素だけマージンを加えた画像とする。マージンを加えたことにより、画像端部のブロックは横Ｂｘ＋ｐ画素、あるいは縦Ｂｙ＋ｑ画素となる。それ以外のブロックは横Ｂｘ＋２ｐ画素、縦Ｂｙ＋２ｑ画素となる。マージンを設ける目的は、ブロック毎にアフィン変換を行った際にブロック間の画像が欠落するのを防ぐためである。

変換パラメータ近似部２０６（第２算出手段）は、変換パラメータ算出部２０４より得られる射影変換パラメータを用いた射影変換を線形変換（本実施形態では、アフィン変換とする）に近似することにより、アフィンパラメータを算出する。この際、変換パラメータ近似部２０６は、画像分割部２０５より得られる各合成対象ブロック画像に対して、それぞれ近似処理を行う。従って、各合成対象ブロック画像に対応する複数のアフィンパラメータが算出される。変換パラメータ近似部２０６については、後で更に詳述する。

画像変換部２０７は、変換パラメータ近似部２０６より得られる複数のアフィンパラメータを用いて、画像分割部２０５より得られる各合成対象ブロック画像に対してアフィン変換処理を行う。これにより、基準画像に対するブレを補正するように各合成対象ブロック画像がアフィン変換される。画像変換部２０７については、後で更に詳述する。

加算合成部２０８は、入力端子２０１より入力した基準画像と、画像変換部２０７より得られるアフィン変換された合成対象ブロック画像とを加算合成し、ブレ補正画像を生成する。加算合成部２０８は、生成されたブレ補正画像を、出力端子２０９より出力する。加算合成部２０８については、後で更に詳述する。

●●変換パラメータ算出部２０４の詳細
変換パラメータ算出部２０４は、入力端子２０２から入力されたＬ個の動きベクトルを基に、基準画像と合成対象画像との間の変形（ブレ）を表す射影変換パラメータを算出する。

射影変換では、合成対象画像と基準画像との間の変形は下記の式で表される。

ここで、（ｘ，ｙ）は合成対象画像の画素位置、（ｘ’，ｙ’）は基準画像の画素位置、ａ_ｊ（０≦ｊ≦７）は射影変換パラメータを表す。なお、ここでは合成対象画像及び基準画像の座標系は、画像中央を原点（０，０）とする。

続いて、Ｌ個の動きベクトルｖ_ｉ＝（ｘ’_ｉ−ｘ_ｉ，ｙ’_ｉ−ｙ_ｉ）（０≦ｉ≦Ｌ−１）から射影変換パラメータを求める方法について説明する。ここでは最小二乗法を利用して射影変換パラメータを求める。求める射影変換パラメータをａ_ｊ（０≦ｊ≦７）としたとき、動きベクトル及び射影変換パラメータは下式のような関係となる。

この式を

と表すと、射影変換パラメータを表す行列Ａ＝（ａ_０，・・・， ａ_７）^Ｔは、

により算出される。ここで、

である。

以上の方法により、変換パラメータ算出部２０４は、Ｌ個の動きベクトルｖ_ｉ＝（ｘ’_ｉ−ｘ_ｉ，ｙ’_ｉ−ｙ_ｉ）（０≦ｉ≦Ｌ−１）から射影変換パラメータａ_ｊ（０≦ｊ≦７）を算出する。同様に、変換パラメータ算出部２０４は、全ての合成対象画像に対してそれぞれ射影変換パラメータを算出する。

●●変換パラメータ近似部２０６の詳細
図４は、変換パラメータ近似部２０６が実行する近似処理（アフィンパラメータ算出処理）の流れを示すフローチャートである。Ｓ４０１で、変換パラメータ近似部２０６は、変換パラメータ算出部２０４から射影変換パラメータを取得する。Ｓ４０２で、変換パラメータ近似部２０６は、画像分割部２０５からＭ＊Ｎ個の合成対象ブロック画像それぞれの座標情報を取得する。Ｓ４０３で、変換パラメータ近似部２０６は、各合成対象ブロック画像を識別するためのインデックスｉを０に初期化する。

Ｓ４０４で、変換パラメータ近似部２０６は、ｉ番目の合成対象ブロック画像（ブロックｉ）の中心座標を算出する。Ｓ４０５で、変換パラメータ近似部２０６は、Ｓ４０１で取得した射影変換パラメータによる射影変換をアフィン変換に近似することにより、ブロックｉに対するアフィンパラメータを算出する。Ｓ４０５については後で更に詳述する。

Ｓ４０６で、変換パラメータ近似部２０６は、ｉ＜（Ｍ＊Ｎ−１）が成立するか否かを判定する。ｉ＜（Ｍ＊Ｎ−１）であれば、処理はＳ４０７に進み、変換パラメータ近似部２０６はｉをインクリメントする。次いで、変換パラメータ近似部２０６は、次の合成対象ブロック画像に対してＳ４０４及びＳ４０５の処理を繰り返す。

Ｓ４０６においてｉ＜（Ｍ＊Ｎ−１）が成立しないと判定された場合、処理はＳ４０８に進み、変換パラメータ近似部２０６は、Ｓ４０５で算出した各合成対象ブロック画像のアフィンパラメータを出力する。

続いて、Ｓ４０５の処理内容について詳細に説明する。変換パラメータ近似部２０６は、射影変換パラメータａ_ｊ（０≦ｊ≦７）と、ブロックｉの中心座標（ｕ_ｉ，ｖ_ｉ）とから、ブロックｉに対するアフィンパラメータを算出する。

具体的には、まず、変換パラメータ近似部２０６は、射影変換パラメータの座標系を変換する。変換パラメータ算出部２０４より得られる射影変換パラメータは、画像中央を原点とする座標系に基づく。変換パラメータ近似部２０６は、この座標系を、ブロックｉの中心座標（ｕ_ｉ，ｖ_ｉ）を原点とする座標系に変換する。このとき、射影変換パラメータａ_ｊ（０≦ｊ≦７）、基準画像の画素位置（ｘ’，ｙ’）、及び合成対象画像の画素位置（ｘ，ｙ）の関係は、

である。

変換パラメータ近似部２０６は、この式を変形し、新たな射影変換パラメータａ’_ｊ（０≦ｊ≦８）を用いる式

を得る。これにより、（ｕ_ｉ，ｖ_ｉ）を原点とする座標系の射影変換パラメータが得られる。

続いて、変換パラメータ近似部２０６は、この射影変換パラメータａ’_ｊ（０≦ｊ≦８）をアフィンパラメータｐ_ｋ（０≦ｊ≦５）に近似する。ここでは、合成対象ブロック画像の大きさが十分小さいと仮定し、下記の近似を行う。

これにより、射影変換パラメータａ’_ｊ（０≦ｊ≦８）、（ｘ’，ｙ’）、及び（ｘ，ｙ）の関係は、

となる。

一方、アフィンパラメータ、基準画像の画素位置（ｘ’，ｙ’）、及び合成対象画像の画素位置（ｘ，ｙ）の関係は、

のように表される。即ち、アフィンパラメータｐ_ｋは下記の式で算出される。

ここで、ａ’_０、ａ’_１、ａ’_２、ａ’_３、ａ’_４、ａ’_５、ａ’_６、ａ’_７、ａ’_８は下記のように求められる。

以上により、射影変換パラメータａ_ｊ（０≦ｊ≦７）と、ブロックｉの中心座標（ｕ_ｉ，ｖ_ｉ）とから、ブロックｉに対するアフィンパラメータｐ_ｋ（０≦ｊ≦５）が得られる。変換パラメータ近似部２０６は、同様の処理を全合成対象ブロック画像に対して行い、各合成対象ブロック画像に対するアフィンパラメータを算出する。

●●画像変換部２０７の詳細
画像変換部２０７は、変換パラメータ近似部２０６より得られるアフィンパラメータを用いて、画像分割部２０５より得られる合成対象ブロック画像をアフィン変換する。アフィン変換の際には、各合成対象ブロック画像に対応するアフィンパラメータが使用される。このように、各合成対象ブロック画像で異なるアフィンパラメータ（但し、各アフィンパラメータは同一の射影変換パラメータに基づいて算出される）を用いることで、非線形変換に近似した線形変換が行われる。具体例を図５に示す。図５には、格子模様の被写体が、あおりぶれによって歪んだ例が示される。このように台形に歪んだ被写体は、アフィン変換のような線形変換では補正できない。しかし、図５に示すように、合成対象ブロック画像毎に異なるアフィンパラメータを用いてアフィン変換をすることで、線形変換による補正が可能となる。以下、アフィン変換後の合成対象ブロック画像を変換済合成対象ブロック画像と呼ぶ。

●●加算合成部２０８の詳細
加算合成部２０８は、画像変換部２０７より得られる変換済合成対象ブロック画像の各々を、入力端子２０１より得られる基準画像の対応する位置に合成（加算合成）することにより、ブレ補正画像を生成する。

加算合成の方法について図６を用いて示す。図中の点線は、画像を横Ｂｘ画素、縦Ｂｙ画素で等間隔に分割したＭ＊Ｎ個の領域の境界を示す。合成に使用するのは変換済合成対象ブロック画像内に含まれる、等間隔に分割された領域である。図６では、斜線部の領域が合成対象領域である。１枚目の合成対象画像の場合は、加算合成部２０８は、各変換済合成対象ブロック画像からこの領域を切り出し、切り出した領域の画像と基準画像とを、基準画像と合成対象画像とが１：１となるような重み付けで加算合成することで、合成画像を生成する。また、ｎ枚目（ｎ≧２）の合成対象画像の場合は、加算合成部２０８は、この合成画像と合成対象画像とがｎ：１となるような重み付けで、切り出した領域の画像と合成画像とを加算合成することで、合成画像を更新する。全合成対象画像について加算合成を行うことで最終的に得られる合成画像がブレ補正画像となる。

加算合成部２０８は、以上の方法により、基準画像と変換済合成対象ブロック画像とを用いてブレ補正画像を生成する。

なお、加算合成の方法は図６に示すものに限定されない。例えば、図７に示すように、等間隔に分割した領域の周囲を隣接するブロックと加算合成した後に、基準画像と合成してもよい。隣接ブロックとの加算合成を行うことで、領域の境界をより自然につなげることができる。

以上説明したように、本実施形態によれば、デジタルカメラ１００は、基準画像に対する合成対象画像のブレを補正するための射影変換パラメータを算出する。そして、デジタルカメラ１００は、合成対象画像を分割して得られる複数の合成対象ブロック画像の各々について、射影変換パラメータを用いた射影変換をアフィン変換に近似することにより、各合成対象ブロック画像のアフィンパラメータを算出する。そして、デジタルカメラ１００は、対応するアフィンパラメータを用いて各合成対象ブロック画像をアフィン変換する。これにより、回路規模の増大を抑制しつつ、画像の非線形な変形を補正することが可能となる。

［第２の実施形態］
第１の実施形態では、画像分割部２０５により得られる合成対象ブロック画像のサイズは、横Ｂｘ画素、縦Ｂｙ画素にマージンを加えたサイズに固定されていた。これに対し、第２の実施形態では、射影変換をアフィン変換に近似する際の誤差を基に合成対象ブロック画像のサイズを決定する構成について説明する。

第２の実施形態では、デジタルカメラ１００は、図２に示す画像合成部１１０の代わりに図８に示す画像合成部８０１を備える。画像合成部１１０と比較すると、画像合成部８０１は、画像分割部２０５の代わりに画像分割部８０２を備える。

画像分割部８０２は、変換パラメータ算出部２０４から得られる射影変換パラメータを基に、近似処理における誤差に基づきブロックサイズを設定する。具体的には、変換パラメータ算出部２０４より得られる画像中央を原点とする射影変換パラメータａ_ｊ（０≦ｊ≦７）と、ブロックサイズ（横Ｃｘ、縦Ｃｙ）とを用いて、誤差Ｅを

のように表す。上式において、Ｅは、変換パラメータ近似部２０６における近似の誤差である。ここでは、第１の実施形態で示した近似式（式（９）参照）を基に、その最大誤差をＥとする。この近似誤差が大きい場合、ブロック端部においてアフィン変換による近似ができず、画像のずれが発生する。このため、画像分割部８０２は、ブロックサイズ横Ｃｘ、縦Ｃｙを、このＥが閾値以下となるように決定する。閾値ｔｈは、許容する画像のずれを表す値である。このため、画像分割部８０２は、画像のずれが目立つ場合はｔｈを小さく、画像のずれが目立たない場合はｔｈを大きく設定する。ここでは、撮影時の感度に応じてｔｈを変化させる場合について述べる。感度が低い場合はノイズが少なく画像のずれが目立つため、ｔｈを小さな値とする。感度が高くなるに従いノイズが増加し画像のずれが目立ちにくくなるため、ｔｈを大きな値とする。

以上説明したように、本実施形態によれば、画像分割部８０２は、変換パラメータ近似部２０６における近似の誤差が閾値以下になるように、合成対象ブロック画像のサイズを決定する。これにより、近似に伴う画質劣化を抑制することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 撮像装置により連続的に撮像された基準画像及び合成対象画像を処理する画像処理装置であって、
   前記基準画像に対する前記合成対象画像のブレを表すブレ情報を取得する取得手段と、
   前記ブレを補正するように前記合成対象画像を非線形変換するための非線形変換パラメータを算出する第１算出手段と、
   前記合成対象画像を複数のブロック画像に分割する分割手段と、
   前記非線形変換パラメータを用いた前記非線形変換を線形変換に近似することにより、前記ブレを補正するように前記複数のブロック画像の各々を線形変換するための線形変換パラメータを前記複数のブロック画像の各々について算出する第２算出手段と、
   前記第２算出手段で算出された前記複数のブロック画像の各々についての線形変換パラメータを用いて前記複数のブロック画像の各々を線形変換する変換手段と、
   前記線形変換された前記複数のブロック画像の各々を前記基準画像の対応する位置に合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記分割手段は、前記第２算出手段による前記近似の誤差が閾値以下になるように、前記複数のブロック画像のサイズを決定して前記分割を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記非線形変換は射影変換であり、
   前記線形変換はアフィン変換である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、前記基準画像と前記合成対象画像とを比較することにより前記ブレを検出する検出手段を備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像装置により連続的に撮像された基準画像及び合成対象画像を処理する画像処理装置の制御方法であって、
   前記画像処理装置の取得手段が、前記基準画像に対する前記合成対象画像のブレを表すブレ情報を取得する取得工程と、
   前記画像処理装置の第１算出手段が、前記ブレを補正するように前記合成対象画像を非線形変換するための非線形変換パラメータを算出する第１算出工程と、
   前記画像処理装置の分割手段が、前記合成対象画像を複数のブロック画像に分割する分割工程と、
   前記画像処理装置の第２算出手段が、前記非線形変換パラメータを用いた前記非線形変換を線形変換に近似することにより、前記ブレを補正するように前記複数のブロック画像の各々を線形変換するための線形変換パラメータを前記複数のブロック画像の各々について算出する第２算出工程と、
   前記画像処理装置の変換手段が、前記第２算出工程で算出された前記複数のブロック画像の各々についての線形変換パラメータを用いて前記複数のブロック画像の各々を線形変換する変換工程と、
   前記画像処理装置の合成手段が、前記線形変換された前記複数のブロック画像の各々を前記基準画像の対応する位置に合成する合成工程と、
   を備えることを特徴とする制御方法。
6. コンピュータに、請求項５に記載の制御方法の各工程を実行させるためのプログラム。

Images