JP5121870B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像処理方法および画像処理装置に関する。

デジタルカメラ等に用いられるカメラモジュールでは、手振れ補正を行う方式として、記録時に受光素子から受け取った画像データから計算を行って補正をかける電子式（例えば、特許文献１参照）と、物理的に光軸を調整する光学式が存在する。

カメラモジュールでは、薄型化や小型化の要請により、レンズモジュールを薄くするのが望ましいが、電子式は、光学式に比して、専用の機能をもったモジュールを搭載する必要がないため、薄型化や小型化に優れている。

電子式の手振れ補正では、複数枚の画像を連続撮影して、フレームメモリに大量に画像を保存した後、後段の信号処理により、手振れによるボケを低減するのが一般的である。

しかしながら、従来の電子式の手振れ補正では、大容量のフレームメモリを使用しているため、コストが大幅に増加してしまうという問題がある。

特開平１１−７５１０５号公報

本発明は、上記に鑑みてなされたものであって、少ないメモリ容量で、電子的手振れ補正を高精度に実行することが可能な画像処理方法、画像処理装置、およびコンピュータが実行可能なプログラムを提供することを目的とする。

本発明の一態様によれば、連続して撮影されたＮ（Ｎは２以上）枚の画像のうち、第１、第２の画像をフレームメモリに格納する工程と、前記フレームメモリに格納された第１、第２の画像の複数の参照エリアから画像を補正用画像としてそれぞれ切り取る工程と、前記第１の画像、第２の画像の複数の補正用画像を使用して、前記第１の画像と第２の画像が精度よく重なるような手振れ補正量を算出し、前記第１の画像を前記算出した手振れ補正量で補正する工程と、補正した前記第１の画像を前記フレームメモリに格納された前記第１の画像に上書きする工程と、前記補正した前記第１の画像と前記第２の画像を合成して合成画像を得る工程と、前記合成した合成画像を前記フレームメモリに格納された前記第２の画像に上書きする工程と、を含むことを特徴とする画像処理方法が提供される。

また、本発明の一態様によれば、連続して撮影されたＮ枚の画像のうち、第１、第２の画像を格納するフレームメモリと、前記フレームメモリに格納された第１、第２の画像の複数の参照エリアから画像を補正用画像としてそれぞれ切り取るクロップ手段と、前記第１の画像および第２の画像の複数の補正用画像から手振れ補正量を算出し、前記第１の画像を前記算出した手振れ補正量で補正する手振れ補正手段と、前記補正された前記第１の画像と前記第２の画像を合成した合成画像を生成する画像合成手段と、を備えたことを特徴とする画像処理装置が提供される。

本発明によれば、連続して撮影されたＮ枚の画像のうち、第１、第２の画像をフレームメモリに格納する工程と、前記フレームメモリに格納された第１、第２の画像の複数の参照エリアから画像を補正用画像としてそれぞれ切り取る工程と、前記第１の画像、第２の画像の補正用画像を使用して、前記第１の画像と第２の画像が重なるような手振れ補正量を算出し、前記第１の画像を前記算出した手振れ補正量で補正する工程と、補正した前記第１の画像を前記フレームメモリに格納された前記第１の画像に上書きする工程と、前記補正した前記第１の画像と前記第２の画像を合成して合成画像を得る工程と、前記合成した合成画像を前記フレームメモリに格納された前記第２の画像に上書きする工程と、を含むこととしたので、少ない容量のメモリを使用して、電子的手振れ補正を高精度に実行することが可能となる。

図１は、実施の形態１に係る画像処理装置を備える画像記録装置の構成の一例を示すブロック図である。 図２は、画像の手振れ補正用の参照エリアと画像の移動方向を説明する 図３は、画像処理装置の手振れ補正の処理フローを説明するための図である。 図４は、連続して２枚の画像を処理する場合のフレームメモリの使用方法を説明するための模式図である。ための図である。 図５は、画像処理装置のフレームマッチング処理の流れを説明するためのフローチャートである。 図６は、画像処理装置が、連続して３枚の画像を処理する場合の手振れ補正の処理フローを説明するための図である。 図７は、連続して３枚の画像を処理する場合のフレームメモリの使用方法を説明するための模式図である。 図８は、動きボケを算出する方法を説明するための図である。 図９は、実施の形態２に係る画像処理装置を備えた画像記録装置を示すブロック図である。 図１０は、シャッタが２回操作され、それぞれ２枚の画像を使用して手振れ補正を行う場合の処理フローを示す図である。

以下に、この発明にかかる画像処理方法、画像処理装置、およびコンピュータが実行可能なプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。

（実施の形態１）
図１は、実施の形態１に係る画像処理装置を備える画像記録装置の構成の一例を示すブロック図である。画像記録装置は、図１に示すように、撮像レンズ１と、ＩＲカットフィルタ２と、イメージセンサ部３と、画像処理装置４と、および記録部５とを備えている。なお、図１に示す例では、イメージセンサ部３と画像処理装置４とが分離された構造となっているが、イメージセンサ部３が画像処理装置４を備える構成としてもよい。

撮像レンズ１は、被写体からの光を取り込むための光学系を構成し、イメージセンサ部３に被写体像を結像する。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。イメージセンサ部３は、撮像レンズ１により取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ部３は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成する。さらに、イメージセンサ部３は、得られた画像信号をアナログ方式からデジタル方式へ変換して、デジタル画像信号を画像処理装置４に出力する。

画像処理装置４は、イメージセンサ部３から入力されるデジタル画像信号に対して、種々の画像処理を施して、記録部５に出力する。画像処理装置４は、手振れ補正等を行う場合に作業領域として使用されるフレームメモリ６、および手振れ補正機能、シェーディング補正機能、ホワイトバランス調整機能等を備えた画像処理回路１１を備えている。記録部５は、画像処理装置４から入力された画像データをメモリや記録媒体に記録する。

つぎに、図２〜図８を参照して、画像処理装置４の手振れ補正処理を説明する。図２は、手振れ補正用の画像の参照エリアと画像の移動方向を説明するための図であり、（ａ）は、手振れ補正用の画像の参照エリア、（ｂ）は、画像の移動方向を説明するための図である。図３は、画像処理装置４の手振れ補正の処理フローを説明するための図である。特に、図３は、連続して２枚の画像を処理する場合を示している。図４は、フレームメモリ６の使用方法を説明するための模式図である。

手振れ補正モードでは、シャッタースピードを遅くしないと、十分な感度が得られずノイズが増えてしまうというような暗い撮影条件下において、シャッタ操作が行われると、被写体がボケないように高速で連続的に２枚の画像が撮影される。１枚目に撮影されたＲＡＷ画像を画像１、２枚目に撮影されたＲＡＷ画像を画像２と称する。

図２（ａ）に示すように、画像フレームには、複数（同図に示す例では９個）の手振れ補正用の参照エリア（以下、「ｗｉｎｄｏｗ」と称する）が設定される。なお、ｗｉｎｗｏｗの数はこの例に限られるものではない。また、ｗｉｎｄｏｗは、画角の真ん中を中心に、レンズ性能が劣化しにくい傾向にある像高７０％までの領域に設定することにしてもよい。これにより、メモリ容量と計算時間を削減すると同時に、精度良く手振れ補正量を検出できるようになる。

図３において、センサイメージ部３から入力される画像１、画像２は、それぞれフレームメモリ６に格納される（図４（ａ）参照）。クロップ（Ｃｒｏｐ）処理１１_１、１１_２では、フレームメモリ６に格納された画像１、画像２から、図２（ａ）に示される複数のｗｉｎｄｏｗを切り取る。画像１、画像２から切り取られた画像は、手振れ補正量を算出する場合に使用される手振れ補正用画像であり、それぞれｗｉｎｄｗ画像１、ｗｉｎｄｏｗ画像２と称する。複数のｗｉｎｄｗ画像１およびｗｉｎｄｏｗ画像２は、フレームメモリ６に格納される（図４（ａ）参照）。計算時間を短縮したり、フレームメモリの容量を削減したい場合は、ｗｉｎｄｏｗの数を減らしたり、ｗｉｎｄｏｗの面積を小さくしてもよい。

次に、デモザイキング（画像復元）処理１２_１、１２_２では、複数のｗｉｎｄｏｗ画像１、２に対して、Ｇ信号に着目してデモザイキング処理を行い、Ｇ信号のみから成るＧ画像を生成する。このＧ画像のｗｉｎｄｏｗ画像１、２が以下の処理で使用される。ここでいうデモザイキング処理とは、ＲＢ信号の抜けたＧ信号のみの歯抜け画像から補完などにより、全Ｇ画像を復元することをいう。

フレームマッチング処理１３では、図２（ｂ）に示すように、画像１をＰｉｔｃｈおよびＹａｗ方向に対して一定量ずつ移動させる。ここでいう、ＰｉｔｃｈとはＹ軸（縦）方向のことをいい、ＹａｗはＸ軸（横）方向のことをいう。そして、移動単位で、Ｗｉｎｄｏｗ毎に、移動後の複数のｗｉｎｄｏｗ画像１と複数のｗｉｎｄｏｗ画像２との信号値の差をそれぞれ計算して、その差が最小となるようなＰｉｔｃｈおよびＹａｗの移動方向および移動量を算出する。複数のｗｉｎｄｏｗ画像１は、画像１の移動毎に画像１から切り取られてフレームメモリ６に上書きされる。フレームメモリ６に格納された複数のｗｉｎｄｏｗ画像１と複数のｗｉｎｄｏｗ画像２を使用して、その信号値の差が算出される。画像１と画像２が精度良く重なった場合に、複数のｗｉｎｄｏｗ画像１と複数のｗｉｎｄｏｗ画像２の信号値の差が最小となる。

この移動方向および移動量が手振れ補正量である。画像１を、算出したＰｉｔｃｈおよびＹａｗの移動方向および移動量だけ移動させて、すなわち、算出した手振れ補正量で画像１の手振れ補正を行う。この移動後画像１は、フレームメモリ６の画像１に上書きされる（図４（ｂ）参照）。

最後に、マージ（Ｍｅｒｇｅ）処理１４では、移動後画像１と画像２とを合成して、合成画像２を生成する。合成画像２は、フレームメモリ６の画像２に上書きされる（図４（ｃ）参照）。

これにより、少ない容量のフレームメモリ６を使用して電子的手振れ補正を行うことができ、解像度が高く、かつ、ノイズの少ない高精細な画像を得ることができる。

図５は、画像処理装置４のフレームマッチング処理１４の流れを説明するためのフローチャートである。図５において、まず、画像１を規定範囲内で、ＰｉｔｃｈおよびＹａｗ方向へ一定量ずつ移動させる（ステップＳ１）。ここで、移動量は細かいほど、精度良くボケを補正でき、１画素ずつ移動させることが望ましい。

つぎに、移動単位で、移動後の画像１の複数のＷｉｎｄｏｗ画像１と複数のｗｉｎｄｏｗ画像２の信号値の差を算出する（ステップＳ２）。ここで、信号値の差は、差の二乗和が望ましい。計算時間を短縮する場合は差の平均値としてもよい。

移動単位で算出された信号値の差が最小となるＰｉｔｃｈおよびＹａｗの移動方向および移動量を、手振れ補正量として算出する（ステップＳ３）。ステップＳ３で算出したＰｉｔｃｈおよびＹａｗの移動方向および移動量に対して、画像１を移動させ（ステップＳ４）、すなわち、画像１を手振れ補正量で補正する。

上記実施の形態では、連続して２枚の画像を処理する場合について説明したが、３枚以上の画像を連続して処理することにしてもよい。図６は、画像処理装置４が、連続して３枚の画像を処理する場合の手振れ補正の処理フローを説明するための図である。図７は、連続して３枚の画像を処理フレームメモリ６の使用方法を説明するための模式図である。

シャッタが操作されると、連続して３枚の画像が撮影されて取り込まれる。２枚目までの処理は、上記図２および図３と同様であるので、３枚目の処理から説明する。３枚目に撮影されたＲＡＷ画像を画像３と称する。

図６において、画像３が、フレームメモリ６の移動後画像１に上書きされる（図７（ｄ）参照）。クロップ処理１１_３、１１_４では、フレームメモリ６に格納された合成画像２、画像３に対して、図２（ａ）に示す各ｗｉｎｄｏｗを切り取る処理を行う。合成画像２、画像３から切り取られた画像をそれぞれｗｉｎｄｗ合成画像２、ｗｉｎｄｏｗ画像３と称する。ｗｉｎｄｏｗ合成画像２、ｗｉｎｄｏｗ画像３は、フレームメモリ６に格納される（図７（ｄ）参照）。

次に、デモザイキング処理１２_３、１２_４では、ｗｉｎｄｏｗ合成画像２、画像３に対して、Ｇ信号に着目してデモザイキング処理を行い、Ｇ信号のみから成るＧ画像を生成する。

フレームマッチング処理１３_２では、ｗｉｎｄｏｗ合成画像２を、ＰｉｔｃｈおよびＹａｗ方向に対して、一定量ずつ移動させる。そして、移動単位で、移動後の合成画像２の複数のｗｉｎｄｏｗ合成画像２と画像３の複数のｗｉｎｄｏｗ画像３との信号値の差を計算して、その差が最小となるような、ＰｉｔｃｈおよびＹａｗの移動方向および移動量を算出する。合成画像２を、算出したＰｉｔｃｈおよびＹａｗの移動方向および移動量だけ移動させる。移動後合成画像２は、フレームメモリ６の合成画像２に上書きされる（図７（ｅ）参照）。

最後に、マージ処理１４_２において、移動後合成画像２と画像３とを合成して、合成画像３を生成する。合成画像３は、フレームメモリ６の画像３に上書きされる（図７（ｆ）参照）。なお、４枚以上連続して処理する場合も同様の方法で行うことができる。連続して処理する枚数が多いほど、解像度が高くノイズの少ない画像となる。

以上説明したように、実施の形態１によれば、連続して撮影された画像１、画像２をフレームメモリ６に格納し、フレームメモリ６に格納された画像１、２の複数の参照エリアから画像を補正用画像としてそれぞれ切り取り、複数の画像１、画像２の補正用画像を使用して、画像１と画像２が精度よく重なるような手振れ補正量を算出し、画像１を算出した手振れ補正量で補正し、補正した画像１をフレームメモリ６に格納された画像１に上書きし、補正した画像１と画像２を合成して合成画像を生成し、合成画像をフレームメモリ６に格納された画像２に上書きすることとしたので、最小限のフレームメモリを使用して、電子的手振れ補正を高精度に実行することができ、解像度が高く、かつ、ノイズの少ない高精細な画像を得ることができる。

また、実施の形態１によれば、画像１、画像２の補正用画像のＧ画素を補完して補正用Ｇ画像を復元し、復元した補正用Ｇ画像を使用して、手振れ補正量を算出することとしたので、少ない演算量で高精度な手振れ補正量を得ることが可能となる。

また、実施の形態１によれば、画像１を移動させた場合に、移動単位で、移動後の画像１の複数の補正用画像と画像２の複数の補正用画像の信号値の差をそれぞれ算出し、その差が最小となる移動方向および移動距離を手振れ補正量として算出することとしたので、高精度な手振れ補正量を算出することが可能となる。

また、実施の形態１によれば、複数の参照エリアは、画角の真ん中を中心に、レンズ性能が劣化しにくい傾向にある像高７０％までの領域に配置されることとしたので、メモリ容量と計算時間を削減すると同時に、精度良く手振れ補正量を算出することが可能となる。

なお、連続して撮影された画像に対して、シャッタースピードより速い動作を行った被写体があると、画面内で被写体にボケ（動きボケ）が生じて、上記手振れ補正処理では、手振れを完全には補正できない場合もある。そこで、シャッタースピードより速い動作で動いた被写体による動きボケを生じた画像を取り除いて、動きボケのない画像のみから合成画像を生成してもよい。図８は、動きボケを算出する方法を説明するための図である。

具体的には、例えば、図７において、画像１と画像２のｗｉｎｄｏｗ画像１、２について動きボケを検出する。動きボケの検出は、各ｗｉｎｄｏｗ画像１、２内において、隣接する画素間の輝度値またはＧ信号の差分値を求める。例えば、図８に示すように、注目画素に対して、右画素と下画素との差分値を求める。この処理をｗｉｎｄｏｗ画像１、２内で行い、画像１、画像２毎に全て足し合わせた値を算出する。

そして、画像１と画像２とで各々求めた値について比較を行い、大きいほうの値を１００％として、小さいほうの値が、所定値（例えば、８０％）以下であれば、動きボケがあると判断して、その画像を除いて合成画像を生成する。例えば、画像２に動きボケがある場合は、画像１と画像３で合成画像を生成する。

このように、複数枚の画像の中から動きボケのない画像を使用して、上記手振れ補正を行うことにより、シャッタースピードより速い動作を行った被写体がある場合でも高精度な手振れ補正を行うことが可能となる。

（実施の形態２）
図９は、実施の形態２に係る画像処理装置４を備えた画像記録装置の構成の一例を示すブロック図である。図９において、図１と同等機能を有する部位には同一符号を付し、異なる点についてのみ説明する。実施の形態２に係る画像処理装置４は、図９に示すように、実施の形態１の画像処理装置４（図１参照）に、フレームメモリ８、画像処理回路９を追加した構成となっている。実施の形態２に係る画像処理装置４は、フレームメモリと画像処理回路を２セット備えているので、手振れ補正処理を並列して処理することで、処理時間を短縮することができる。

実施の形態１では、上記図２に示すクロップ処理１１〜マージ処理１４を繰り返し実行することで、最小容量のフレームメモリを使用して手振れ補正処理を行う構成である。これに対して、実施の形態２では、フレームメモリと画像処理回路を２セット設けることで、図２に示すクロック処理１１〜マージ処理１４を並列して実行することにより、処理時間を２分の１に短縮することができる。図１０は、シャッタが短時間で２回操作され、それぞれ２枚の画像を撮影して手振れ補正を行う場合のフローを示している。回路規模、コストおよびサイズに余裕がある場合は、フレームメモリと画像処理回路を複数セット設けることで、処理速度をセット数倍速くすることが可能となる。

（プログラム）
本実施の形態では、上述した画像処理装置の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを実行することによっても、上記画像処理装置の機能を実現することが可能である。
この場合、記録媒体から読み出されたプログラムコード自体が前述した画像処理装置の機能を実現することになり、そのプログラムコードまたはそのプログラムを記憶した記録媒体は本実施の形態を構成することになる。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した画像処理装置の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した画像処理装置の機能が実現される場合も含まれること言うまでもない。

また、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した画像処理装置の機能が実現される場合も含まれることは言うまでもない。

１ 撮像レンズ、２ ＩＲフィルタ、３ イメージセンサ部、４ 画像処理装置、５ 記録部、６、８ フレームメモリ、７、９ 画像処理回路

Claims (5)

1. 連続して撮影されたＮ（但し、Ｎは２以上）枚の画像のうち、第１、第２の画像をフレームメモリに格納する工程と、
   前記フレームメモリに格納された第１、第２の画像の複数の参照エリアから画像を補正用画像としてそれぞれ切り取る工程と、
   前記第１の画像、第２の画像の補正用画像のＧ画素を補完して補正用Ｇ画像を復元するデモザイキング工程と、
   前記第１の画像、第２の画像の前記復元した補正用Ｇ画像を使用して、手振れ補正量を算出し、前記第１の画像を前記算出した手振れ補正量で補正する工程と、
   補正した前記第１の画像を前記フレームメモリに格納された前記第１の画像に上書きする工程と、
   前記補正した前記第１の画像と前記第２の画像を合成して合成画像を得る工程と、
   前記合成した合成画像を前記フレームメモリに格納された前記第２の画像に上書きする工程と、
   を含むことを特徴とする画像処理方法。
2. 連続して撮影されたＮ（但し、Ｎは２以上）枚の画像のうち、第１、第２の画像を格納するフレームメモリと、
   前記フレームメモリに格納された第１、第２の画像の複数の参照エリアから画像を補正用画像としてそれぞれ切り取るクロップ手段と、
   前記第１の画像、第２の画像の補正用画像のＧ画素を補完して補正用Ｇ画像を復元するデモザイキング処理手段と、
   前記第１の画像、第２の画像の前記復元した補正用Ｇ画像を使用して、手振れ補正量を算出し、前記第１の画像を前記算出した手振れ補正量で補正する手振れ補正手段と、
   前記補正された前記第１の画像と前記第２の画像を合成した合成画像を生成する画像合成手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記複数の参照エリアは９個であることを特徴とする請求項２に記載の画像処理装置。
4. 前記手振れ補正手段は、前記第１の画像を移動させた場合に、移動単位で、移動後の第１の画像の複数の補正用画像と前記第２の画像の複数の補正用画像との信号値の差をそれぞれ算出し、その差が最小となる移動方向および移動距離を前記手振れ補正量として算出することを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記連続した撮影したＮ枚の画像のうち、動きボケが生じた画像を検出し、当該動きボケが検出された画像については、前記合成画像を生成する場合に、使用しないことを特徴とする請求項２〜請求項４のいずれか１つに記載の画像処理装置。

Images