JP4825093B2 - 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム - Google Patents

Description

本発明は、手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラムに関し、特に、より精度の高い補正を行なうことを可能とした手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラムに関する。

携帯電話、等に内蔵されるディジタルカメラ（撮像装置）を用いて撮影を行う場合、例えば、携帯電話を持つ手が露光時間の間にぶれることで、その手ぶれの影響が取り込む画像に生じる。この手ぶれによる影響を抑えるために、取り込んだ画像に対して、手ぶれ補正を行っている。

近年、ディジタルカメラ、特に、携帯電話に搭載されたディジタルカメラが急速な勢いで普及している。そして、ユーザのディジタルカメラの性能や利便性に対する要求も高まってきている。

このような要求に応えて、性能面では高画素化やズームの高倍率化が、また、利便性の面では小型化や軽量化が急速に進みつつある。
ところが、これらの性能／利便性の向上が、一方で手ぶれが発生し易い要因となっている。特に、携帯電話に搭載されたディジタルカメラの場合、常に携帯されていることから例えば、非常に暗い場所で撮影されるケースも多くなっているのに対して、フラッシュが搭載されていないことが多く、他のディジタルカメラと比べて手ぶれが発生し易くなっている。

手ぶれに対処する方法としては、光学的に補正する方法、ディジタル処理で補正する方法が従来から提案されている。
一般のディジタルカメラでは、光学的に補正する方法がすでに製品化されており、携帯電話に搭載されたディジタルカメラでは、ディジタル処理で補正する方法が製品化され始めている。

ディジタル処理で手ぶれ補正する方式のカメラでは、連写で取り込んだ複数枚の画像を重ね合わせることで、手ぶれ補正された１枚の画像を得ている。このような手ぶれ補正方式では、通常、重ね合わせを行う際のベースとなる画像を固定している。このため、ベースとなる画像内に発生するぶれを補正することは不可能となり、このぶれ量が補正画像のぶれ量として現れてくる。例えば、連写でｎ枚の画像を撮影する場合、その１〜ｎ枚目の画像のうち、固定的にｍ枚目（１≦ｍ≦ｎ）の画像をベース画像とみなして画像を合成する。このとき、ｍ枚目の画像内に発生するぶれが大きい場合、補正画像にも同様のぶれが残ってしまい、期待する補正効果は得られなくなる。

また、この他の手ぶれを補正する技術として、例えば、特許文献１および２の技術が知られている。
特許文献１では、ぶれ補正モードと非ぶれ補正モードの２つのモードを備える電子カメラが示されている。この電子カメラでは、撮影準備期間中（非ぶれ補正モード時）に、ＣＣＤの各露光期間にのみぶれ補正を行い、画素データの出力期間にはぶれ補正を行わないようにしている。

また、特許文献２では、ぶれ撮影防止モードの選択時に、ミラー及びシャッタの動作速度を通常撮影モード時と変更して制御できるカメラが示されている。このカメラの撮影モード選択部は、ぶれ防止撮影モード、通常撮影モード等のカメラの撮影モードの選択を行う。また、駆動速度変更部は、撮影モード選択部の選択結果を基に、ミラー及びシャッタの露光開始時の駆動速度の変更指示を、ミラー駆動部およびシャッタ駆動部に出力する。
特開２００３−３３３４１４号公報 「電子カメラ」 特開平７−２８１４９号公報 「カメラのぶれ防止装置」

本発明の課題は、より精度の高い手ぶれ補正を行なうことを可能とした手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラムを提供することである。

本発明の第１態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、取り込まれた複数の画像データの中で、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択するベース画像選択部と、選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。

ここで、ベース画像選択部によって、取り込んだ複数枚の画像データのうちで、画像データ内の手ぶれ量が最小のものを手ぶれ補正を行なう際のベース画像として選択されるので、手ぶれ補正された（合成された）画像データ上に残るぶれも最小となり、より精度の高い手ぶれ補正を行なうことができる。

本発明の第２態様の手ぶれ補正機能付き撮像装置は、上記第１態様に対して、取り込んだ画像データにおいて、人物の顔の目の開き具合を認識する顔認識部をさらに備え、前記ベース画像選択部は、前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択する手ぶれ補正機能付き撮像装置である。

ここで、顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データが、位置合わせを行う際のベース画像として選択されるので、手ぶれ補正された（合成された）画像データ上にも、目が最も大きく開いている人物の顔が残り、より精度の高い手ぶれ補正を行なうことができる。

本発明の第３態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、取り込まれた複数の画像データのそれぞれをベース画像として、そのベース画像を基に取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して１つの画像データを生成する補正処理部と、補正処理されたそれぞれの画像データを表示するとともに、表示されたそれぞれの画像データから、１以上の画像データを選択して保存できるユーザインターフェイス部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。

ここで、補正処理部によって、取り込まれた複数の画像データのそれぞれをベース画像として、手ぶれ補正された（合成された）画像データが生成されるとともに、生成された複数枚の合成された画像データからユーザインターフェイス部を介して保存すべき画像データが選択されるので、例えば、その選択時に、ユーザにとって視覚上最もぶれが少ない合成された画像データを選択することで、より精度の高い手ぶれ補正を行なうことができる。

本発明の第４態様の手ぶれ補正機能付き撮像装置は、撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、前記光電変換データを基に、画像データを生成する画像データ生成部と、撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、取り込まれた複数の画像データを表示するとともに、表示された複数の画像データから、位置合わせを行う際のベース画像を選択できるユーザインターフェイス部と、選択されたベース画像を基に取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置である。

ここで、取り込まれた複数の画像データの中から、手ぶれ補正を行なう際のベースとする画像データを、ユーザインターフェイス部を介して指定しているので、例えば、その指定時に、ユーザにとって視覚上最もぶれが少ない画像データを指定することで、より精度の高い手ぶれ補正を行なうことができる。

本発明によれば、連写を行うことで手ぶれ補正を行なう撮像装置を備える機器において、より精度の高い手ぶれ補正を行なうことができる。

以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図１は、本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。
図１において、撮像装置１０は、レンズ１１、イメージセンサ１２、撮影制御部１３、ＡＧＣ（Auto Gain Control）回路１６、ＡＤ変換器（Analog Digital Converter、ＡＤＣ）１７、画像処理部（イメージシグナルプロセッサ（ＩＳＰ）ともいう）１８、メモリ２２、補正処理部２３、を備える。

レンズ１１は、撮像対象（被写体）からの光をイメージセンサ１２上に集光する。
イメージセンサ１２は、撮像対象からレンズ１１を介して受光された光を電荷に光電変換して蓄積する受光部（不図示）と、蓄積された電荷を光電変換データとして出力する信号出力部（不図示）を備える。

ＡＧＣ回路１６は、イメージセンサ１２から出力された光電変換データのゲインを制御する。
ＡＤＣ１７は、ゲインが制御された光電変換データをアナログからディジタルに変換する。

画像処理部１８は、ＡＤ変換器１７の出力を基に、画像データを生成する。すなわち、画像処理部１８は、ＡＤＣ１７から入力した信号（「生データ」ともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等を行う。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。

撮影制御部１３は、撮影指示に対応して、撮像対象に対して算出された露光制御情報を含む制御信号をイメージセンサ１２に出力して、そのイメージセンサ１２による撮像処理（上記受光部および上記信号出力部による処理）を介して、複数枚の画像データを取り込む。

イメージセンサ１２による撮像処理を介して取り込まれた複数枚の画像データは、画像処理部１８を介してメモリ２２に格納される。
補正処理部２３は、メモリ２２に格納された複数枚の画像データを読み込んで、それらを基に手ぶれ補正された１枚または複数枚の画像データを生成し、その生成された（手ぶれ補正された）１枚以上の画像データを、後段の画像データ格納用メモリ（不図示）に出力する。補正処理部２３の動作は、それぞれの実施形態で異なる。

撮影制御部１３、画像処理部１８、補正処理部２３がプログラムとして実現される場合、撮影制御部１３、画像処理部１８を実行する中央処理装置（Central Processing Unit、ＣＰＵ）と、手ぶれ補正の補正処理部２３を実行するＣＰＵとは一致してもよいし、別でもよい。

本発明は、手ぶれ補正した画像の画質を向上することをその目的としている。
第１実施形態および第２実施形態では、取り込んだ複数枚の画像データのうちで、画像データ内の手ぶれ量が最小のものを手ぶれ補正を行なう際のベース画像とすることで、その画質の向上を達成している。

また、第３実施形態では、取り込んだ全ての画像データに対して、それがベース画像となった場合の手ぶれ補正処理された画像データを生成し、ユーザがいずれかを選択することで、その画質の向上を達成している。

また、第４実施形態では、取り込んだ複数枚の画像データのいずれかを、手ぶれ補正を行なう際のベース画像としてユーザが選択するとともに、その選択された画像データをベース画像として手ぶれ補正された画像データを生成することで、その画質の向上を達成している。

また、第５実施形態では、人物が撮像対象に含まれている場合に、その人物の顔を認識するとともに、その目が開いているかどうか判定し、目が開いている画像データを手ぶれ補正を行なう際のベース画像とすることで、その画質の向上を達成している。

図２は、第１、第２、および、第３実施形態に共通する補正処理部の構成を示すブロック図である。
図２に示すように、補正処理部３０は、手ぶれ検出部３１、ベース画像選定部３２、手ぶれ補正部３３を備える。

手ぶれ検出部３１は、取り込んだ複数枚の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）を検出し、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理を行ってベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量を算出する。

ベース画像選定部３２は、第１および第２実施形態においては、取り込んだ複数枚の画像データに対して、例えば、検出されたエッジ部分の解像度を算出し、取り込んだ複数枚の画像データのうちで、最も解像度が高い画像データを、手ぶれ補正を行なう際にベースとする画像データとして手ぶれ補正部３３に出力する。

手ぶれ補正部３３は、ベースとなる画像データを基に、取り込んだ複数枚の画像データの位置合わせを行うとともに、位置合わせ情報を基に、取り込んだ複数枚の画像データを１枚の画像データに合成する（手ぶれ補正する）。

図３は、第１実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。このフローチャートは図１の各部および図２の各部によって実行される。
まず、ステップＳ１０１において、撮影制御部１３によって、連写撮影設定が行われる。連写撮影では、撮影指示に対応して、撮影制御部１３によって、撮像対象に対して算出された露光制御情報を含む制御信号がイメージセンサ１２に出力される。

そして、続く、ステップＳ１０２において、イメージセンサ１２による撮像処理（上記受光部および上記信号出力部による処理）を介して、複数枚の画像データが取り込まれる。すなわち、イメージセンサ１２によって、撮像対象からレンズ１１を介して受光された光が電荷に光電変換されて蓄積されるとともに、その蓄積された電荷が光電変換データとして画像処理部に出力される。

ステップＳ１０３では、画像処理部１８によって、（撮影）画像データが生成される。すなわち、画像処理部１８によって、光電変換データ（入力信号、生データともいう）を基に、色分離処理、ディスプレイにおいて明るさをリニアに表現するためのガンマ補正処理、光源の温度によらず白を白として表現するためのホワイトバランス制御処理、等が行われる。色分離処理を介して、入力信号は、ＹＵＶ信号、ＲＧＢ信号、等の要求される形式へ変換される。

そして、ステップＳ１０４において、画像処理部１８によって生成された画像データがメモリ２２に格納される。
なお、連写を行う回数は、例えば撮像装置ごとに予め定められている。続く、ステップＳ１０５では、撮影をその予め定められた回数だけ撮影を行ったかどうかが判定される。

ステップＳ１０５において予め定められた回数だけ撮影を行っていないと判定された場合、ステップＳ１０１に戻る。
一方、ステップＳ１０５において予め定められた回数だけ撮影を行ったと判定された場合、ステップＳ１０６において、手ぶれ検出部３１によって、メモリ２２に格納される複数枚（予め定められた回数に対応する枚数）の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出され、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理が行われ、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。なお、エッジを検出する以外の方法でぶれ量を算出してもよい。

ステップＳ１０７では、ベース画像選定部３２によって、取り込んだ複数枚の画像データに対して、例えば、検出されたエッジ部分の解像度が算出され、取り込んだ複数枚の画像データのうちで、最も解像度が高い画像データが、手ぶれ補正を行なう際にベースとする画像データとして手ぶれ補正部３３に出力される。

続く、ステップＳ１０８では、手ぶれ補正部３３によって、ベースとなる画像データを基に、取り込んだ複数枚の画像データの位置合わせが行われる。この位置合わせでは、算出された各画像データ間の上下左右および右回転・左回転のぶれ量を用いて、ベースとなる画像データに対して、他の画像データをどれだけ上下左右方向にずらしたり右方向・左方向に回転させたりすれば対応する画素同士が重なるかを算出している。

ステップＳ１０９では、手ぶれ補正部３３によって、ステップＳ１０８で得られた位置合わせ情報を基に、取り込んだ複数枚の画像データが１枚の画像データに合成される。この合成処理では、例えば、すべての画像データにおいて対応がとれている画素については、それら画素の値が重ね合わせられて合成画像中の画素に反映され、また、いずれかの画像データにしか存在しない画素については、その画素の値に画像データを重ねる数が乗算されて合成画像中の画素に反映される。

ステップＳ１１０では、補正処理部３０によって、合成された画像データが後段の画像データ格納用メモリ（不図示）に出力される。
図４は、第２実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。このフローチャートは図１の各部および図２の各部によって実行される。

図３のステップＳ１０６およびＳ１０７が図４ではＳ２０１およびＳ２０２に置き換わっている。ここでは、Ｓ２０１およびＳ２０２の処理のみ説明する。
（ステップＳ１０５において予め定められた回数だけ撮影を行ったと判定された場合、）ステップＳ２０１において、手ぶれ検出部３１によって、メモリ２２に格納される複数枚（予め定められた回数に対応する枚数）の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出されるとともに、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみが特徴点として抽出される。そして、連写で取り込んだ各画像データ間でその特徴点部分がどちらの方向にどれだけ移動したかという追跡処理が行われ、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。

ステップＳ２０２では、ベース画像選定部３２によって、取り込んだ複数枚の画像データに対して、検出された特徴点部分の解像度が算出され、取り込んだ複数枚の画像データのうちで、最も解像度が高い画像データが、手ぶれ補正を行なう際にベースとする画像データとして手ぶれ補正部３３に出力される。

続いて、第３実施形態について説明する。
第３実施形態においても、図２の手ぶれ検出部３１、手ぶれ補正部３３については、第１または第２実施形態と同様であるので説明を省略する。

第３実施形態においては、図２の補正処理部３０は、取り込んだ複数枚の画像データのすべてに対して、それをベース画像とする指示をベース画像選定部３２に順次出力する。ベース画像選定部３２は、補正処理部３０から受け取った指示（画像データの番号）を用いて、取り込んだ複数枚の画像データのうちのその番号に対応する画像データを、手ぶれ補正を行なう際にベースとする画像データとして手ぶれ補正部３３に出力する。

手ぶれ補正された複数枚の画像データは、補正処理部３０の後段の画像データ格納用メモリ（不図示）に出力され格納される。
画像データ格納用メモリに格納された複数枚の画像データのうちの１枚が、撮像装置を内蔵するディジタルカメラ、携帯電話、等の装置が備える画像表示部（不図示）に表示される。ユーザは、ユーザインターフェイス部（不図示）を介して、複数枚の画像データのうちの画像表示部に表示される画像データを切り替えたり、画像データ格納用メモリに格納される複数枚の画像データのうちから保存する画像データを選択したりする。

図５は、第３実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。このフローチャートは図１の各部および図２の各部によって実行される。
なお、ステップＳ１０１〜Ｓ１０５については、図３と同様であるので説明を省略する。

（ステップＳ１０５において予め定められた回数だけ撮影を行ったと判定された場合、）ステップＳ３０１において、取り込んだ複数の画像データを識別する番号を保持するカウンタｉの値が「０」に初期化される。

続く、ステップＳ３０２では、カウンタｉの値がインクリメントされる。
そして、ステップＳ３０３において、図２の手ぶれ検出部３１によって、メモリ２２に格納される複数枚（予め定められた回数に対応する枚数）の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出され、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理が行われ、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。なお、エッジを検出する以外の方法でぶれ量を算出してもよい。

ステップＳ３０４では、図２の手ぶれ補正部３３によって、取り込んだ複数の画像データのうちのｉ番目の画像データを、ベースとなる画像データとして、取り込んだ複数枚の画像データの位置合わせが行われる。この位置合わせでは、算出された各画像データ間の上下左右および右回転・左回転のぶれ量を用いて、ベースとなる画像データに対して、他の画像データをどれだけ上下左右方向にずらしたり右方向・左方向に回転させたりすれば対応する画素同士が重なるかを算出している。

ステップＳ３０５では、図２の手ぶれ補正部３３によって、ステップＳ３０４で得られた位置合わせ情報を基に、取り込んだ複数枚の画像データが１枚の画像データに合成される。この合成処理では、例えば、すべての画像データにおいて対応がとれている画素については、それら画素の値が重ね合わせられて合成画像中の画素に反映され、また、いずれかの画像データにしか存在しない画素については、その画素の値に画像データを重ねる数が乗算されて合成画像中の画素に反映される。なお、合成された画像データは、補正処理部３０の後段の画像データ格納用メモリ（図２では不図示）に出力される。

ステップＳ３０６では、画像データの合成が所定枚数（＝取り込んだ画像データの枚数）分終了したかどうかが判定される。
ステップＳ３０６において画像データの合成が所定枚数分終了していないと判定された場合、ステップＳ３０２に戻る。

一方、ステップＳ３０６において画像データの合成が所定枚数分終了したと判定された場合、制御はステップＳ３０７に移る。
ステップＳ３０７では、ユーザがユーザインターフェイス部（不図示）を介して行う切り替え指示により、補正処理部３０の後段の画像データ格納用メモリに格納される所定枚数の（合成処理された）画像データが、画像表示部（不図示）上に順番に表示される。

ステップＳ３０８において、ユーザは、画像表示部上に順番に表示される（合成処理された）画像データを見て、保存したい画像データに対して、ユーザインターフェイス部を介して決定指示を行うことで、その画像データを保存する。

この場合、例えば、ステップＳ３０９に示すように、ユーザインターフェイス部によって、保存された画像データがさらに後段のメモリに出力されるようにしてもよい。
図６は、第３実施形態における操作手順を説明する図である。

図６に示すように、例えば、携帯電話等の機種においては、まず、カメラボタン（不図示）が押下されることで、その機種のディスプレイ上に撮像対象が表示される（カメラファインダ表示が行われる）。

そして、シャッタボタンが押下されることで、カメラファインダ表示が停止され、その時点で撮像されていた対象が画像データとして取り込まれる。
また、「⇒」ボタンが押下されることで、ステップＳ３０７に示したように、画像表示部へ表示される画像データが、次のものに切り替わる。

また、決定ボタンが押下されることで、ステップＳ３０８に示したように、画像表示部に表示されている画像データが保存される。
図７は、第４実施形態の補正処理部の構成を示すブロック図である。

図７に示すように、補正処理部５０は、手ぶれ検出部５１、手ぶれ補正部５３、ユーザインターフェイス部５４を備える。
手ぶれ検出部５１、手ぶれ補正部５３については図２の手ぶれ検出部３１、手ぶれ補正部３３とそれぞれ同様であるので説明を省略する。

ユーザインターフェイス部５４は、連写によってメモリ２２に取り込まれた複数枚の画像データの中から、手ぶれ補正を行なう際にベースとする画像データをユーザが指定するために用いられるインターフェイス部である。

メモリ２２に格納された複数枚の画像データのうちの１枚が、撮像装置を内蔵するディジタルカメラ、携帯電話、等の装置が備える画像表示部（不図示）に表示される。ユーザは、ユーザインターフェイス部５４を介して、複数枚の画像データのうちの画像表示部に表示される画像データを切り替えたり、メモリ２２に格納される複数枚の画像データのうちから手ぶれ補正を行なう際にベースとする画像データを選択したりする。

第４実施形態では、補正処理部５０は、ユーザがユーザインターフェイス部５４を介して指定した画像データをベース画像として、取り込んだ複数枚の画像データに対して手ぶれ補正処理を実行する。

図８は、第４実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。このフローチャートは図１の各部および図７の各部によって実行される。
なお、ステップＳ１０１〜Ｓ１０５については、図３と同様であるので説明を省略する。

（ステップＳ１０５において予め定められた回数だけ撮影を行ったと判定された場合、）ステップＳ４０１において、ユーザがユーザインターフェイス部５４を介して行う切り替え指示により、メモリ２２に格納される取り込まれた複数枚の画像データが、画像表示部（不図示）上に順番に表示される。

ステップＳ４０２において、ユーザは、画像表示部上に順番に表示される（合成処理された）画像データを見て、手ぶれ補正を行なう際にベースとしたい画像データに対して、ユーザインターフェイス部５１を介して決定指示を行う。

そして、ステップＳ４０３において、図７の手ぶれ検出部５１によって、メモリ２２に格納される複数枚（予め定められた回数に対応する枚数）の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出され、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理が行われ、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。なお、エッジを検出する以外の方法でぶれ量を算出してもよい。

ステップＳ４０４では、図７の手ぶれ補正部５３によって、ユーザインターフェイス部５４を介して指定された画像データを、ベースとなる画像データとして、取り込んだ複数枚の画像データの位置合わせが行われる。この位置合わせでは、算出された各画像データ間の上下左右および右回転・左回転のぶれ量を用いて、ベースとなる画像データに対して、他の画像データをどれだけ上下左右方向にずらしたり右方向・左方向に回転させたりすれば対応する画素同士が重なるかを算出している。

ステップＳ４０５では、図７の手ぶれ補正部５３によって、ステップＳ４０４で得られた位置合わせ情報を基に、取り込んだ複数枚の画像データが１枚の画像データに合成される。この合成処理では、例えば、すべての画像データにおいて対応がとれている画素については、それら画素の値が重ね合わせられて合成画像中の画素に反映され、また、いずれかの画像データにしか存在しない画素については、その画素の値に画像データを重ねる数が乗算されて合成画像中の画素に反映される。

ステップＳ４０６では、補正処理部５０によって、合成された画像データが後段の画像データ格納用メモリ（不図示）に出力される。
図９は、第４実施形態における操作手順を説明する図である。

図９に示すように、例えば、携帯電話等の機種においては、まず、カメラボタン（不図示）が押下されることで、その機種のディスプレイ上に撮像対象が表示される（カメラファインダ表示が行われる）。

そして、シャッタボタンが押下されることで、カメラファインダ表示が停止され、その時点で撮像されていた対象が画像データとして取り込まれる。
また、「⇒」ボタンが押下されることで、ステップＳ４０１に示したように、画像表示部へ表示される画像データが、次のものに切り替わる。

また、決定ボタンが押下されることで、ステップＳ４０２に示したように、画像表示部に表示されている画像データが、手ぶれ補正を行なう際のベースとなる画像データとして選択される。

図１０は、第５実施形態の補正処理部の構成を示すブロック図である。
図１０に示すように、補正処理部６０は、顔認識部６１、手ぶれ検出部６２、手ぶれ補正部６３、を備える。

手ぶれ検出部６２、手ぶれ補正部６３については図２の手ぶれ検出部３１、手ぶれ補正部３３とそれぞれ同様であるので説明を省略する。
顔認識部６１は、まず、顔の探索領域の検出を行なう。すなわち、画像データから色情報として肌色領域を抽出し、その肌色領域の形・面積が顔の領域としての条件を満たしている場合に、その抽出した肌色領域を顔の探索領域とする。

次に、顔認識部６１は、顔の要素（右眉、左眉、右目、左目、鼻孔、口）の候補となる顔特徴点の抽出を行う。検出された顔の探索領域から、例えば、以下に該当する領域を顔特徴点として抽出する。
１．水平に細長い領域
２．楕円のような形状をしており、色が赤い領域
３．輝度値が肌色領域の輝度値よりも暗い領域
例えば、水平に細長く、輝度値が暗くて変化が小さい顔特徴点は眉や閉じた目とみなせる。また、楕円のような形状をしており、楕円の中有新部分の暗い領域が回りの２つの明るい領域に挟まれている顔特徴点は開いた目とみなせる。また、楕円のような形状をしており、色情報がやや赤に近い顔特徴点は口とみなせる。

メモリ２２に格納された複数枚の画像データのうちで、顔認識部６１によって、両目が検出され、その両目の開き具合が最も大きい画像データが、手ぶれ補正を行なう際にベースとする画像データとして選択される。

第５実施形態では、補正処理部６０は、顔認識部６１によって選択された画像データをベース画像として、取り込んだ複数枚の画像データに対して手ぶれ補正処理を実行する。
図１１は、第５実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。このフローチャートは図１の各部および図１０の各部によって実行される。

なお、ステップＳ１０１〜Ｓ１０５については、図３と同様であるので説明を省略する。
（ステップＳ１０５において予め定められた回数だけ撮影を行ったと判定された場合、）ステップＳ５０１において、顔認識部６１によって、例えば、撮像対象が人物の顔を含む場合は、取り込まれたそれぞれの画像データに対して顔特徴点が検出される。

ステップＳ５０２では、補正処理部６０によって、ステップＳ５０１の検出結果中に顔の両目が含まれる画像データがあるかどうかが判定される。
ステップＳ５０２において検出結果中に顔の両目が含まれる画像データがないと判定された場合、ステップＳ５０４に進む。この場合、取り込んだ複数枚の画像データのうちの予め定められた番号の画像データが、ベースとなる画像データとして選定される。

一方、ステップＳ５０２において検出結果中に顔の両目が含まれる画像データが１枚以上あると判定された場合、ステップＳ５０３において、顔認識部６１によって、その両目が含まれる画像データのうちで、両目が最も大きく開かれた画像データが、手ぶれ補正を行なう際のベースとなる画像データとして選定される。

そして、ステップＳ５０４において、図１０の手ぶれ検出部６２によって、メモリ２２に格納される複数枚（予め定められた回数に対応する枚数）の画像データに対して、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）が検出され、連写で取り込んだ各画像データ間でそのエッジ部分がどちらの方向にどれだけ移動したかという追跡処理が行われ、その追跡処理の結果としてベクトル量、すなわち、各画像データ間の上下左右および右回転・左回転のぶれ量が算出される。なお、エッジを検出する以外の方法でぶれ量を算出してもよい。

ステップＳ５０５では、図１０の手ぶれ補正部６３によって、顔認識部６１によって選定された画像データを、ベースとなる画像データとして、取り込んだ複数枚の画像データの位置合わせが行われる。この位置合わせでは、算出された各画像データ間の上下左右および右回転・左回転のぶれ量を用いて、ベースとなる画像データに対して、他の画像データをどれだけ上下左右方向にずらしたり右方向・左方向に回転させたりすれば対応する画素同士が重なるかを算出している。

ステップＳ５０６では、図１０の手ぶれ補正部６３によって、ステップＳ５０５で得られた位置合わせ情報を基に、取り込んだ複数枚の画像データが１枚の画像データに合成される。この合成処理では、例えば、すべての画像データにおいて対応がとれている画素については、それら画素の値が重ね合わせられて合成画像中の画素に反映され、また、いずれかの画像データにしか存在しない画素については、その画素の値に画像データを重ねる数が乗算されて合成画像中の画素に反映される。

ステップＳ５０７では、補正処理部６０によって、合成された画像データが後段の画像データ格納用メモリ（不図示）に出力される。
図１２は、記憶媒体例を示す図である。

本発明の手ぶれ補正処理は、画像データ処理装置８１によって実現することが可能である。本発明の処理のためのプログラムやデータは、画像データ処理装置８１の記憶装置８５から画像データ処理装置８１のメモリにロードして実行することも、可搬型記憶媒体８３から画像データ処理装置８１のメモリにロードして実行することも、外部記憶装置８２からネットワーク８６を介して画像データ処理装置８１のメモリにロードして実行することも可能である。

本発明は下記構成でもよい。
（付記１） 撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データの中で、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択するベース画像選択部と、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記２） 前記ベース画像選択部は、前記複数の画像データのそれぞれに対する特徴点抽出の結果を基に、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択することを特徴とする付記１記載の手ぶれ補正機能付き撮像装置。
（付記３） 撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識部と、
前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択部と、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記４） 撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データのそれぞれをベース画像として、そのベース画像を基に取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して１つの画像データを生成する補正処理部と、
補正処理されたそれぞれの画像データを表示するとともに、表示されたそれぞれの画像データから、１以上の画像データを選択して保存できるユーザインターフェイス部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記５） 撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
前記光電変換データを基に、画像データを生成する画像データ生成部と、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
取り込まれた複数の画像データを表示するとともに、表示された複数の画像データから、位置合わせを行う際のベース画像を選択できるユーザインターフェイス部と、
選択されたベース画像を基に取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
（付記６） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータが実行する手ぶれ補正方法において、
イメージセンサを用いて撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
取り込まれた複数の画像データの中で、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択するベース画像選択ステップと、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記７） 前記ベース画像選択ステップにおいて、前記複数の画像データのそれぞれに対する特徴点抽出の結果を基に、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択することを特徴とする付記６記載の手ぶれ補正方法。
（付記８） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータが実行する手ぶれ補正方法において、
イメージセンサを用いて撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識ステップと、
前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択ステップと、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記９） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータが実行する手ぶれ補正方法において、
イメージセンサを用いて撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
取り込まれた複数の画像データのそれぞれをベース画像として、そのベース画像を基に取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して画像データを生成する補正処理ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記１０） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータが実行する手ぶれ補正方法において、
イメージセンサを用いて撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
取り込まれた複数の画像データからユーザインターフェイス部を介して選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基にそれら複数の画像データを合成して１つの画像データを生成する補正処理ステップ、を備えることを特徴とする手ぶれ補正方法。
（付記１１） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータに実行させる手ぶれ補正処理プログラムにおいて、
前記取り込まれた複数の画像データの中で、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択するベース画像選択ステップと、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行う位置合わせステップと、
位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正画像生成ステップ、を前記コンピュータに実行させることを特徴とする手ぶれ補正処理プログラム。
（付記１２） 前記ベース画像選択ステップにおいて、前記複数の画像データのそれぞれに対する特徴点抽出の結果を基に、画像データ内のぶれの最も少ない画像データを、位置合わせを行う際のベース画像として選択することを特徴とする付記１１記載の手ぶれ補正処理プログラム。
（付記１３） 前記コンピュータは、手ぶれ補正機能付き撮像装置に内蔵されることを特徴とする付記１１記載の手ぶれ補正処理プログラム。
（付記１４） 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータに実行させる手ぶれ補正処理プログラムにおいて、
イメージセンサを用いて撮像対象物から受光した光を光電変換して、光電変換データを出力するステップと、
前記光電変換データを基に、画像データを生成する画像データ生成ステップと、
撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識ステップと、
前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択ステップと、
選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理ステップ、を前記コンピュータに実行させることを特徴とする手ぶれ補正処理プログラム。
（付記１５） 前記コンピュータは、手ぶれ補正機能付き撮像装置に内蔵されることを特徴とする付記１４記載の手ぶれ補正処理プログラム。

本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。 第１、第２、および、第３実施形態に共通する補正処理部の構成を示すブロック図である。 第１実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。 第２実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。 第３実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。 第３実施形態における操作手順を説明する図である。 第４実施形態の補正処理部の構成を示すブロック図である。 第４実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。 第４実施形態における操作手順を説明する図である。 第５実施形態の補正処理部の構成を示すブロック図である。 第５実施形態における、撮像処理および手ぶれ補正処理のフローチャートである。 記憶媒体例を示す図である。

符号の説明

１０ 撮像装置
１１ レンズ
１２ イメージセンサ
１３ 撮影制御部
１６ ＡＧＣ回路
１７ ＡＤＣ
１８ 画像処理部（ＩＳＰ）
２２ メモリ
２３、３０、５０、６０ 補正処理部
３１、５１、６２ 手ぶれ検出部
３２ ベース画像選定部
３３、５３、６３ 手ぶれ補正部
５４ ユーザインターフェイス部
６１ 顔認識部

Claims (3)

1. 撮像対象物から受光した光を光電変換して、光電変換データを出力するイメージセンサと、
   前記光電変換データを基に、画像データを生成する画像データ生成部と、
   撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御部と、
   取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識部と、
   前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択部と、
   選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理部、を備えることを特徴とする手ぶれ補正機能付き撮像装置。
2. 撮影指示に対応して取り込まれた複数の画像データに対する手ぶれ補正処理をコンピュータが実行する手ぶれ補正方法において、
   イメージセンサを用いて撮像対象物から受光した光を光電変換した光電変換データを基に、画像データを生成する画像データ生成ステップと、
   撮影指示に対応して、露光制御情報を前記イメージセンサに出力して、複数の画像データを取り込む撮影制御ステップと、
   取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識ステップと、
   前記顔認識ステップにおいて人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択ステップと、
   選択されたベース画像を基に、取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理ステップ、を備えることを特徴とする手ぶれ補正方法。
3. 情報処理装置において実行されるプログラムであって、
   撮影指示に対応してイメージセンサから取り込まれた複数の画像データに含まれる、人物の顔の目の開き具合を認識する顔認識部と、
   前記顔認識部によって人物の顔の目が最も大きく開いていると認識された画像データを、位置合わせを行う際のベース画像として選択するベース画像選択部と、
   選択されたベース画像を基に、前記取り込まれた複数の画像データに対する位置合わせを行うとともに、位置合わせの結果を基に、それら複数の画像データを合成して１つの画像データを生成する補正処理部、
   として情報処理装置を動作させることを特徴とするプログラム。