JP4853096B2 - 手ぶれ補正装置、撮影装置及び手ぶれ補正方法 - Google Patents

Description

本発明は、撮影画像のぶれを補正する技術に関する。

従来、撮影画像のぶれを補正する手法が様々提案されている。一例として、角速度センサによって手ぶれを検出してぶれ伝達関数を求め、このぶれ伝達関数に基づく演算処理を行って、ぶれを補正する手ぶれ補正装置が知られている（例えば、特許文献１参照）。この種の手ぶれ補正装置では、高度な演算処理を行うことにより、画像のぶれを良好に補正し、ぶれのない画像に復元することができる。
特開平６−２７５１２号公報

ところで、撮影時に手ぶれが生じた場合には、撮像素子に蓄積する単位時間当たりの光量が減少するため、手ぶれのない場合に比べて、撮影画像が露出不足となり輝度むらを生じる傾向にある。
このため、輝度むらを生じた撮影画像に対してぶれ補正を施すと、画像の鮮鋭度は改善されるものの、この補正によって輝度むらが却って強調されてしまい、復元された撮影画像が全体的にノイズの多いものになるといった問題があった。

本発明は、上述した事情に鑑みてなされたものであり、撮影画像をぶれの無い撮影画像にぶれ補正する際に、ノイズの発生を防止できる手ぶれ補正装置、撮影装置及び手ぶれ補正方法を提供することを目的とする。

上記目的を達成するため、本発明は、撮影時のぶれを検出するぶれ検出手段と、検出されたぶれに応じて撮影画像のぶれを補正するぶれ補正手段と、前記撮影画像の輝度を平滑化する平滑化手段と、前記撮影画像の被写体の輪郭を抽出するエッジ抽出手段とを備え、
前記平滑化手段は、前記撮影画像のうち前記輪郭を含まない所定の領域を平滑化し、前記ぶれ補正手段は、前記平滑化手段によって平滑化された撮影画像に対して前記ぶれを補正することを特徴とする。本発明によれば、抽出された被写体の輪郭に対しては平滑化が行われないため、この輪郭についての鮮鋭度が損なわれることが無い。さらに、撮影画像のぶれ補正に先立って撮影画像を平滑化することにより撮影画像の輝度むらが抑えられ、この輝度むらが抑えられた撮影画像に対して手ぶれ補正が行われるため、手ぶれ補正によってぶれの無い撮影画像を復元する際に輝度むらに伴うノイズの発生を防止することができる。

また、前記輪郭に隣接する領域を非平滑化領域とした構成としても良い。この構成によれば、被写体の輪郭の成分が、撮影時のぶれによって隣接画素に分散された場合であっても、当該輪郭に隣接する領域（画素）に対しては平滑化が行われないため、この輪郭に隣接する領域に含まれる輪郭の成分が平滑化によって欠落することがなく、これにより、鮮鋭度の高いエッジを復元することができる。

また、前記非平滑化領域の大きさを、前記ぶれ検出手段が検出する撮影時のぶれ量またはぶれ方向に応じて変更する平滑化領域変更手段を備える構成としても良い。この構成によれば、撮影時のぶれによってエッジ部分の成分が分散される領域の広さ、または、分散される方向に合わせて適切に非平滑化領域が調整される。これにより、エッジ成分を含む領域を適切に設定し、鮮鋭度の高いエッジを正確に復元することができる。

また、前記平滑化領域変更手段は、前記ぶれ量が大きいほど前記非平滑化領域を大きくする構成としても良い。この構成によれば、撮影時のぶれが大きくなるに伴ってエッジ部分の成分が分散する領域が広がっても、この広がりに合わせて非平滑化領域の大きさが変更されるため、エッジ部分の成分が平滑化によって欠落することが防止され、鮮鋭度の高いエッジを正確に復元することができる。

また、前記平滑化領域変更手段は、前記非平滑化領域を前記ぶれ方向に沿って大きくする構成としても良い。この構成によれば、撮影時のぶれ方向にエッジ部分の成分が分散しても、このぶれ方向に沿って非平滑化領域の大きさが変更されるため、エッジ部分の成分が平滑化によって欠落することが防止され、鮮鋭度の高いエッジを正確に復元することができる。

また、前記非平滑化領域を操作する操作部を備える構成としても良い。この構成によれば、操作部を介してユーザが非平滑化領域の位置または大きさを自在に変更できるため、ユーザの嗜好に合致した画像を復元することができる。

また、本発明は、画像を撮影する撮影手段と、請求項１乃至７のいずれかに記載の手ぶれ補正装置とを備えた構成としても良い。
また、本発明は、撮影時のぶれを検出するとともに、撮影画像の被写体の輪郭を抽出し、前記撮影画像のうち前記輪郭を含まない所定の領域の輝度を平滑化した後、この平滑化された撮影画像に対してぶれに応じたぶれ補正を実行することを特徴とする。これらの発明によれば、撮影画像のぶれ補正に先立って撮影画像を平滑化することにより撮影画像の輝度むらが抑えられ、この輝度むらが抑えられた撮影画像に対して手ぶれ補正が行われるため、手ぶれ補正によってぶれの無い撮影画像を復元する際に輝度むらに伴うノイズの発生を防止することができる。

以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、撮影装置１００に本発明を適用した場合について説明する。この撮影装置１００は、いわゆる携帯型デジタルビデオカメラとして機能し、動画像および静止画像を撮影し、撮影した画像のデータを記録する機能を有する。また、撮影装置１００は、撮影時のぶれを検出することで、ぶれのない画像を復元する機能をも有する。
図１は、本実施の形態に係る撮影装置１００の構成を示すブロック図である。この撮影装置１００は、図１に示すように、カメラ１に、手ぶれ補正装置としてのジャイロユニット３を接続して構成される。撮影装置１００が有するカメラ１は画像の撮影および記録を担い、ジャイロユニット３は、カメラ１の撮影時の手ぶれを検出して画像を復元する処理を担う。これらカメラ１及びジャイロユニット３は、図８を参照して後述するように一体に連結され、或いは、図９を参照して後述するように同一筐体に納められる。

カメラ１は、予めフラッシュＲＯＭ１３に格納された制御プログラム１Ａに従ってカメラ１の各部を制御する制御部１１、制御部１１により実行されるプログラムを格納するワークエリアを形成するＲＡＭ１２、上記制御プログラム１Ａを含む各種プログラムを格納するフラッシュＲＯＭ１３、および、カメラ１を操作する各種スイッチ等を備えた操作部１４を備える。また、カメラ１は、撮影制御部１６の制御に従って連続するフレームからなる動画像及び静止画像を撮影する撮影手段としての撮影部１５、撮影部１５を制御する撮影制御部１６、撮影部１５により撮影された動画像及び静止画像のデータを格納する撮影部ＲＡＭ１７、制御部１１の制御に従って、撮影部ＲＡＭ１７に格納されたデータに基づいて動画像及び静止画像を表示する表示部１８、および、カメラ１に対して着脱可能に構成されたリムーバブルメディア２０を備える。さらに、カメラ１は、ジャイロユニット３等の外部装置と制御部１１とを接続するためのインタフェース（Ｉ／Ｆ）１９を備える。

制御部１１は、制御プログラム１Ａを読み出して実行することにより、操作部１４における操作に従ってカメラ１の各部を制御し、撮影部１５によって撮影を実行させ、撮影された画像データをリムーバブルメディア２０に記録する。
フラッシュＲＯＭ１３は、書き換え可能な不揮発性記憶媒体として構成され、制御プログラム１Ａの他、各種プログラムおよびこれらのプログラムに係るデータ等を格納する。ここで、フラッシュＲＯＭ１３に格納される制御プログラム１Ａは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体（図示略）に記録して配布することが可能である。さらに、パーソナルコンピュータとカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体（図示略）の制御プログラム１Ａをカメラ１に出力することで、フラッシュＲＯＭ１３に制御プログラム１Ａを格納することも可能である。

撮影部１５は、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。本構成では、撮影部１５の光学レンズ系におけるレンズ情報（例えば、露出時間やズーム倍率）は、撮影制御部１６を介して制御部１１に出力されるようになっている。
この撮影部１５は、上述のように動画像及び静止画像を撮影する機能を有するものであり、以下の説明においては、連続するフレームから構成される動画像を撮影する場合を例に挙げて説明する。
撮影部１５は、被写体が撮像されたフレームの画像データ（以下、単に「フレーム」と言う）を所定のサンプリングレートで順次出力するものであり、この撮影部１５により撮影される動画像は、例えば１秒あたり３０フレーム（３０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
撮影制御部１６は、制御部１１の制御の下、撮影部１５に対して露出時間やズーム倍率等の撮影条件を設定し、この撮影条件に従って撮影部１５に撮影を実行させ、撮影部１５から出力されるフレームの画像データを撮影部ＲＡＭ１７に一時的に格納する。撮影部ＲＡＭ１７はフレームを一時的に格納するバッファとして機能し、この撮影部ＲＡＭ１７にはフレーム毎に画像データが格納される。撮影部ＲＡＭ１７に格納されたフレームは、撮影制御部１６によって読み出されて制御部１１に出力され、制御部１１の制御のもとにリムーバブルメディア２０に記録される。

リムーバブルメディア２０は、書き換え可能な記録媒体であり、磁気的・光学的記録媒体もしくは半導体記憶デバイスを用いて構成され、具体的には、ビデオテープ、書き込み可能な光学ディスク、リムーバブルハードディスク、フラッシュメモリカード等である。リムーバブルメディア２０には、制御部１１の制御により、撮影部１５により撮影された動画像のデータが格納される。ここで、リムーバブルメディア２０に格納される動画像のデータは、フレームの画像データそのものであってもよいし、或いは、制御部１１によって所定フォーマットでエンコードされたデータであってもよい。

上記のように構成されるカメラ１には、インタフェース１９を介してジャイロユニット３が接続されている。制御部１１は、撮影部ＲＡＭ１７に格納されたフレームを、インタフェース１９を介してジャイロユニット３に出力し、ジャイロユニット３によってこのフレームの画像の輝度を平滑化する処理及びこの平滑化された画像に対してぶれを補正する処理を行わせて、これら処理後のフレームを取得する。上記処理後のフレームは表示部１８に表示されるとともに、リムーバブルメディア２０に格納される。

ジャイロユニット３は、図１に示すように、カメラ１のインタフェース１９に接続されるインタフェース３９を備える。インタフェース１９とインタフェース３９とは、相互にデータの入出力が可能な形態で接続される。具体的な接続形態としては、例えば、各種規格に準じたコネクタを各々備えている。これらのコネクタが接続ケーブル（図示略）等を介して相互に接続される形態、インタフェース１９、３９のコネクタがオス−メスの対応を有する形状となっており、これらオス−メスコネクタが直接連結される形態、インタフェース１９、３９の各々が所定周波数の電波や赤外線等を用いた無線信号を送受信する送受信部を備え、無線通信回線を介して接続される形態等が挙げられる。

ジャイロユニット３は、各部を制御する制御部３１、カメラ１のぶれ量及びぶれ方向を検出するぶれ検出手段としての角速度検出部３４を備え、この角速度検出部３４は、撮像対象のフレーム（図示略）の上下方向（以下、Ｘ軸と定義する）の角速度を検出するＸ軸ジャイロセンサ３２と、左右方向（以下、Ｙ軸と定義する）の角速度を検出するＹ軸ジャイロセンサ３３とを有している。これら各ジャイロセンサ３２、３３は、カメラ１の動きを検出してその角速度に応じた角速度検出信号を角速度検出部３４に出力する。この角速度検出部３４は、各ジャイロセンサ３２、３３から出力された角速度検出信号の調整を行うとともに、当該角速度検出信号に基づいてカメラ１の本体が移動する角速度を求め、さらにカメラ１の移動量（移動した角度）及び移動方向を検出する。
また、ジャイロユニット３は、角速度検出部３４により求められた角速度、移動量（ぶれ量）、及び移動方向（ぶれ方向）に基づいて、撮影時に手ぶれによってカメラ１が動いた軌跡を求める軌跡変換部３５、この軌跡変換部３５により求めた軌跡をもとに画像変換用逆行列を求め、この画像変換用逆行列を用いた演算処理を行ってぶれを生じたフレームの画像を復元するぶれ補正手段としての逆変換フィルタ部３６、この逆変換フィルタ部３６の演算処理に要するプログラムやデータ等を格納するフラッシュＲＯＭ３７、および、逆変換フィルタ部３６の演算処理に係るフレームの画像データをフレーム毎に格納するフィールドメモリ３８を備える。

更に、ジャイロユニット３は、撮影画像の被写体のエッジ部分を抽出するエッジ抽出手段としてのエッジ抽出部４１、抽出されたエッジ部分及びこのエッジ部分に隣接して設定された非平滑化領域以外の領域を平滑化処理する平滑化手段としての平滑化部４２、上記非平滑化領域の大きさを、上記角速度検出部３４にて検出される撮影時のぶれ量またはぶれ方向に応じて変更する平滑化領域変更手段としての平滑化領域変更部４３を備える。
エッジ抽出部４１は、例えば、フィールドメモリ３８に格納されるフレームの画像データにおいて、この画像データを構成する各画素の明るさの急激な変化（差分）を検出することにより、この画像データから被写体のエッジ部分（輪郭）を抽出するものである。このエッジ抽出部４１は、抽出したエッジ部分を構成する各画素の座標（位置情報）を平滑化部４２及び平滑化領域変更部４３にそれぞれ出力する。なお、エッジ抽出部としては、上記した近傍画素の差分によるものの他に、例えば、Ｓｏｂｅｌ演算子やラプラシアンオペレータといった微分フィルタを用いる構成としても良い。

本構成では、エッジ抽出部４１は、図２に示すように、抽出した被写体ＯＢのエッジ部分Ｅを中心とした所定範囲（例えば、エッジ部分から数画素程度離れた範囲）に、このエッジ部分Ｅに隣接した非平滑化領域Ｍを設定し、この領域Ｍの外縁を構成する各画素の座標（位置情報）を平滑化部４２及び平滑化領域変更部４３にそれぞれ出力する。この非平滑化領域Ｍは、上記平滑化部４２によって平滑化処理が施されない領域をいう。
エッジ部分Ｅに隣接して非平滑化領域Ｍを設けたのは、次の理由による。すなわち、被写体ＯＢのエッジ部分Ｅを構成する画素成分は、撮影時のぶれによってエッジ部分Ｅの周辺部に分散されると考えられ、この分散された状態でエッジ部分以外の領域（上記周辺部を含む）に平滑化処理を施した場合には、当該周辺部に分散されたエッジ部分の成分が当該平滑化により欠落してしまい、復元時にエッジ部分の鮮鋭度が低くなってしまう。従って、平滑化によって周辺部に分散されたエッジ成分の欠落を防止するために、エッジ部分Ｅに隣接して非平滑化領域Ｍを設けている。
この構成によれば、被写体ＯＢのエッジ部分Ｅの成分が、撮影時のぶれによって隣接画素に分散された場合であっても、当該エッジ部分Ｅに隣接する領域（画素）に対しては平滑化が行われないため、このエッジ部分に隣接する領域Ｍに含まれるエッジ部分Ｅの成分が平滑化によって欠落することがなく、これにより、鮮鋭度の高いエッジを復元することができる。

平滑化部４２は、エッジ抽出部４１から出力されたエッジ部分Ｅを構成する各画素の座標、もしくは、非平滑化領域Ｍの外縁を構成する各画素の座標を取得し、このエッジ部分もしくは非平滑化領域Ｍ以外の領域（例えば背景など）に平滑化処理を行うものである。この平滑化処理は、ノイズのある画像からノイズを除去する手法であり、例えば、ある画素の濃度にかえて、その画素を中心とした所定領域の画素の濃度平均を与えること（移動平均法）によって行われる。
また、本構成では、平滑化部４２は、手ぶれの大きさによって平滑化する量を変更可能に構成されている。具体的には、上記角速度検出部３４により求められたぶれ量に基づいて、このぶれ量の大きさが小さい（例えば、５ドット以下の）場合には、上記濃度平均を算出する際に基準となる所定領域を小さく（２×２ドット）し、ぶれ量が大きい（例えば６〜１５ドットの）場合には、当該所定領域を大きく（３×３ドット）するようになっている。このように、ぶれ量が大きくなるに従って上記所定領域を大きくすることにより、画像の背景部分がより平滑化（すなわち、よりボケる）されるため、復元した際にノイズが目立たなくなる。平滑化処理としては、この移動平均法だけでなく、加重平均法、メディアンフィルタもしくはウィナフィルタを用いて実施する方法であっても良い。本構成では、手ぶれによって背景部分に生じた輝度むらの部分のみに平滑化処理を施し、その上で画像復元を行うことにより、緩やかになったエッジ部分Ｅを急峻に復元し、かつ背景のノイズ感を増長させることがない。

平滑化領域変更部４３は、エッジ抽出部４１から出力された非平滑化領域Ｍの外縁を構成する各画素の座標を取得するとともに、上記角速度検出部３４により求められたぶれ量もしくはぶれ方向を取得し、これらぶれ量もしくはぶれ方向に基づいて、当該非平滑化領域Ｍの大きさを変更する。すなわち、ぶれ量が大きい場合には、エッジ部分Ｅの画素成分が、このエッジ部分Ｅから離れた範囲にまで広く分散されると考えられるため、非平滑化領域Ｍを大きくすることにより、当該エッジ部分Ｅの画素成分が平滑化によって欠落することが防止され、鮮鋭度の高いエッジを正確に復元することができる。また、本構成では、平滑化領域変更部４３は、ジャイロユニット３が所定方向（図中Ｐ方向）に沿って手ぶれが生じた場合には、図３に示すように、非平滑化領域Ｍをぶれ方向Ｐに沿って大きくし、このぶれ方向Ｐと直交する方向（図中Ｑ方向）に沿って小さくするようになっている。
本構成によれば、ぶれが生じているＰ方向に沿って非平滑化領域Ｍを大きくすることにより、平滑化によって、このＰ方向に広く分散されたエッジ部分Ｅに対応する画素成分が欠落することが防止され、鮮鋭度の高いエッジを正確に復元することができる。一方、ぶれ方向に直交するＱ方向では、このＱ方向に沿ってエッジ部分Ｅを構成する画素成分が分散することはない。このため、非平滑化領域Ｍを上記Ｑ方向に沿って小さくしても、平滑化によってエッジ部分Ｅの画素成分が欠落するといった不具合が生じることがない。
非平滑化領域Ｍの大きさ、この非平滑化領域Ｍの変更量（ドット数）及び平滑化する量（強さ）と、上記ぶれ量もしくはぶれ方向との関係は、実際に撮影したカメラ１の撮影部１５の光学レンズ系、撮像素子の条件と、撮影された画像のノイズ状態から、予め実験等で定められたテーブルによって決定される。

また、本構成では、平滑化領域変更部４３を介して非平滑化領域Ｍの大きさを変更するだけでなく、カメラ１の操作部１４を介して、非平滑化領域Ｍの大きさを変更可能となっている。この構成によれば、非平滑化領域Ｍの大きさを自在に変更できるため、ユーザの嗜好に合致した平滑化処理、ひいては画像復元を実現することができる。具体的には、予め実験等で決定されたテーブルに基づき、平滑した結果、エッジ部分の鮮鋭度が低くなっている場合には、操作部１４を介して非平滑化領域Ｍを広く設定して、鮮鋭度の高いエッジを復元することができる。なお、非平滑化領域Ｍの大きさだけでなく、平滑化量についても操作部１４を介して変更可能としても良い。具体的には、復元されたエッジ部分Ｅの鮮鋭度が高すぎる場合、操作部１４を介して非平滑化領域Ｍに対して弱い平滑化処理を施すことにより、滑らかな復元画像を得ることができる。

ジャイロユニット３は、図１に示す各構成部が、後述するように一つの筐体に納められ、或いは、一つの基板上に実装されていて、換言すれば、ジャイロユニット３の全体が一つのユニットとなっている。
このように構成されるジャイロユニット３は、電気的に、インタフェース１９、３９を介してカメラ１と相互に接続された上、物理的にもカメラ１と一体に連結される。このため、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３によって、カメラ１の角速度が検出され、角速度検出部３４及び軌跡変換部３５によって、カメラ１の移動の軌跡を求めることができるようになっている。

図４は、ジャイロユニット３の動作の概要を示す図である。
この図４に示すように、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３から角速度検出信号が出力されると（ステップＳＴ１）、この角速度検出信号は角速度検出部３４に入力されて調整が施される（ステップＳＴ２）。角速度検出部３４による調整は、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３から出力される角速度検出信号のドリフトを補正するための処理であり、具体的には、電源投入時の誤差を取得しないように、ジャイロユニット３の電源投入から一定時間（例えば１秒程度）経過してから、角速度検出信号の取り込みを開始する動作や、暗電流（暗電流とは、光を遮断した状態でも発生する電荷による電流。pn接合の空乏層内で熱的に励起される再結合電流が多い。）の影響を除くために、所定電圧値以下の角速度検出信号を無視する動作等である。また、角速度検出部３４は、各ジャイロセンサ３２、３３の個体差により生じる信号の偏りに対応して、各ジャイロセンサ３２、３３から出力される角速度検出信号を調整する機能を有する。この角速度検出部３４の機能により、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３のドリフトが補正される等して出力電圧が安定するので、正確な角速度を検出できる。
続いて、エッジ抽出部４１によって抽出されたエッジ部分Ｅと、上記角速度検出部３４によって検出された角速度（すなわちぶれ量及びぶれ方向）とに基づいて、非平滑化領域Ｍを決定する（ステップＳＴ３）。この非平滑化領域Ｍの大きさは、撮影部１５の光学レンズ系におけるレンズ情報、ぶれ量及びぶれ方向などに基づき、予め実験等で定められたテーブルによって決定される。続いて、上記ステップＳＴ３で決定された非平滑化領域Ｍ以外の部分に平滑化処理を施す（ステップＳＴ４）。この平滑化処理における平滑化量は、ぶれ量に応じて変更することができ、ぶれ量が大きいほど平滑化量を大きくする。
一方、角速度検出部３４に検出された角速度を積分することで所定時間（例えば、露出時間）における移動量及び移動方向が求められる。これら角速度、移動量、及び移動速度は軌跡変換部３５に入力され、軌跡変換部３５によってカメラ１の軌跡が求められる（ステップＳＴ５）。次に、軌跡変換部３５によって、カメラ１の軌跡に基づいて画像変換用逆行列が生成され（ステップＳＴ６）、上記ステップＳＴ４にて平滑化処理が施されたフレームに対して、上記画像変換用逆行列を用いた演算処理が行われて、このフレームの画像がぶれのない状態に復元される（ステップＳＴ７）。

図５は、軌跡とフレーム撮影の様子を示す図であり、（Ａ）は軌跡の例を、（Ｂ）は撮影されたフレームを示す。
図５（Ａ）には、カメラ１がＸ軸方向及びＹ軸方向に移動した軌跡が曲線で表されている。符号ｔ１〜ｔ７はフレームを撮影した時刻を示しており、曲線上の点ｔ１〜ｔ７は、フレーム撮影時におけるカメラ１の位置を示す。フレームを復元する処理は前のフレーム撮影時からの軌跡に基づいて行われる。例えば図５（Ｂ）に示すように時刻ｔ３で撮影したフレームを復元する場合は、前のフレームを撮影した時刻ｔ２から時刻ｔ３までの間におけるカメラ１の軌跡をもとに復元が行われる。

次に、ステップＳＴ６の画像変換用逆行列を生成する処理について説明する。
逆変換フィルタ部３６は、角速度検出部３４が求めた軌跡から、上記の特許文献１（特開平６−２７５１２号公報）等により既に知られた様々な方法によって、ぶれ伝達関数ｈを求めた上、その逆行列ｈ^-1を求める。
すなわち、ぶれがない場合の画像（元の像）を関数ｆ（ｘ，ｙ）で表し、ぶれた画像を関数ｇ（ｘ，ｙ）で表すと、これらｈ，ｆ，ｇには下記式（１）の関係が成り立つ。

上記式（１）の両辺をフーリエ変換すれば、下記式（２）に示す関係式が得られる。

上記式（２）の関係式を行列で表現すると、下記式（３）〜（６）のようになる。

但し、下記式（４）の関係式はｍｎ×ｍｎの行列であり、式（５）〜（６）の関係式は、それぞれｍｎ次の列ベクトルである。

ぶれ伝達関数ｈは、図５（Ａ）に例示したようなカメラ１の動きの軌跡から求めることができる。従って、ぶれ伝達関数ｈを求め、この逆行列ｈ^-1を求めて、上記式（３）の行列式を解くことにより、ぶれ画像ｇからぶれのない画像ｆを得ることができる。

このように、ジャイロユニット３は、カメラ１により撮影された動画像の各フレームの画像を、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３により検出した角速度に基づいて復元し、ぶれたフレームを復元する機能を有する。従って、撮影装置１００では、カメラ１により動画像を撮影しつつ、撮影したフレームをジャイロユニット３によって平滑化した後に復元できるので、ぶれを復元する機能を持たないカメラ１を用いて、ぶれのない美しい動画像を得ることができる。

図６は、撮影時におけるカメラ１の動作を示すフローチャートである。
この図６に示す動作を実行するにあたって、カメラ１にはジャイロユニット３が接続されている。カメラ１の制御部１１は、ジャイロユニット３に対して動作開始を指示する制御信号を出力する（ステップＳ１１）。続いて、制御部１１は、ジャイロユニット３から返される制御信号等に基づいて、ジャイロユニット３が軌跡を算出可能な状態であるか否かを判別する（ステップＳ１２）。ここで、ジャイロユニット３が軌跡を算出できない状態であれば（ステップＳ１２；Ｎｏ）、制御部１１はジャイロユニット３に対してリセットを指示する制御信号を出力し（ステップＳ１３）、ステップＳ１１に戻る。
また、ジャイロユニット３が軌跡を算出可能な状態であれば（ステップＳ１２；Ｙｅｓ）、制御部１１は、撮影部１５によって動画像を撮影させ、撮影されたフレームの画像データ及びこの画像データの平滑化、復元に必要な諸情報（露出時間、ズーム倍率、解像度、フレームの画像データの容量等）をジャイロユニット３に出力する（ステップＳ１４）。

続いて、制御部１１は、ジャイロユニット３によってフレームの画像データが平滑化された後にこの画像データの復元が行われて、復元されたフレームがジャイロユニット３から入力されると、このフレームを取得する（ステップＳ１５）。ここで、制御部１１は、ジャイロユニット３によりフレームの画像の復元が正常に行われたか否かを判別する（ステップＳ１６）。この判別は、例えば、復元された画像の鮮鋭度（シャープネス）を求め、先鋭度が所定のレベルより低いか否かに基づいて判別してもよいし、或いは、フレームの復元時にエラーを生じた場合にジャイロユニット３から制御信号が入力される構成としても良い。この構成によれば、制御信号が入力されたか否かに基づいて、復元が正常に行われたか否かを判別できる。
ジャイロユニット３によって正常な復元が行われなかった場合（ステップＳ１６；Ｎｏ）、復元前のフレーム、すなわち撮影部１５により撮影されたフレームを撮影画像として表示部１８に出力するとともにリムーバブルメディア２０に記録する（ステップＳ１７）。一方、ジャイロユニット３によって正常に復元が行われた場合（ステップＳ１６；Ｙｅｓ）、制御部１１は、復元されたフレームを撮影画像として表示部１８に出力するとともにリムーバブルメディア２０に記録する（ステップＳ１８）。

ステップＳ１７またはＳ１８で撮影画像を出力した後、制御部１１は、撮影を終了するか否かを判別し（ステップＳ１９）、撮影を継続する場合はステップＳ１２に戻り、撮影を終了する場合には、ジャイロユニット３に対して動作停止を指示する制御信号を出力して（ステップＳ２０）、図６の動作を終了する。

図７は、撮影時におけるジャイロユニット３の動作を示すフローチャートである。
この図７に示す動作を行うにあたって、ジャイロユニット３はカメラ１に接続される。
ジャイロユニット３の制御部３１は、カメラ１から送信される動作開始を指示する制御信号を受けるまで待機し（ステップＳ３１）、この制御信号が入力されると、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３による検出を開始させる（ステップＳ３２）。各ジャイロセンサ３２、３３が角速度検出信号の出力を開始すると、角速度検出部３４によって各ジャイロセンサの出力が安定したかどうかの判定が行われる。制御部３１は、角速度検出部３４によって出力が安定したと判定されるまで待機する（ステップＳ３３）。

ジャイロセンサの出力が安定した後、制御部３１は、角速度検出部３４によって角速度検出信号に基づいて求められるカメラ１のぶれ量及びぶれ方向を取得するとともに（ステップＳ３４）、カメラ１から入力される撮影部１５のレンズ情報（露出時間、ズーム倍率等）や撮影されたフレームに関する情報（解像度、フレームの画像データの容量等）を取得する（ステップＳ３５）。続いて、制御部３１は、カメラ１から入力されるフレームの画像データを取得し（ステップＳ３６）、エッジ抽出部４１によって、この画像データから、当該画像の被写体のエッジ部分Ｅを抽出させるとともに、このエッジ部分Ｅに隣接する非平滑化領域Ｍを設定させる（ステップＳ３７）。続いて、制御部３１は、非平滑化領域変更部４３によって、ステップＳ３５で取得したカメラ１のぶれ量、ぶれ方向及び撮影部１５のレンズ情報に基づいて、非平滑化領域Ｍの大きさを変更する（ステップＳ３８）。

続いて、制御部３１は、平滑化部４２によって、非平滑化領域Ｍ以外の部分に平滑化処理を行わせ（ステップＳ３９）、この平滑化処理が正しく実行されたか否かを判別する（ステップＳ４０）。この判別は、例えば、平滑化された画像のノイズ量を検出し、このノイズ量が所定値より低いか否かに基づいて行われる。この判別において、正常な平滑化が行われなかった場合（ステップＳ４０；Ｎｏ）、平滑化する際のパラメータを変更（ステップＳ４１）して処理をステップＳ３４に戻す。具体的には、ぶれ量及びぶれ方向に基づいて非平滑化領域Ｍの大きさを算出するためのパラメータや、ぶれ量に応じて平滑化量を決定するためのパラメータを変更する。一方、正常な平滑化が行われた場合（ステップＳ４０；Ｙｅｓ）、この平滑化処理した画像データを復元する処理を実行する。

続いて、制御部３１は、軌跡変換部３５により、ステップＳ３４にて検出されるカメラ1の移動量から当該カメラ１の軌跡を算出させ（ステップＳ４２）、この軌跡と、ステップＳ３５にて取得される情報とに基づいて、逆変換フィルタ部３６によって画像変換用逆行列を生成させる（ステップＳ４３）。
そして、制御部３１は、平滑化処理されたフレームの画像データを取得して（ステップＳ４４）、逆変換フィルタ部３６によって画像変換用逆行列を用いた演算処理を行い、このフレームの画像を復元する（ステップＳ４５）。その後、制御部３１は、逆変換フィルタ部３６により復元されたフレームをカメラ１に出力する（ステップＳ４６）。
このステップＳ４５において、フレームの復元時にエラーを生じた場合、制御部３１は、ステップＳ４６において、復元後のフレームに代えて、或いは復元後のフレームとともに、復元時にエラーを生じた旨を示す制御信号をインタフェース３９からカメラ１に出力する。

制御部３１は、カメラ１から動作停止を指示する制御信号が入力されたか否かを判別し（ステップＳ４７）、制御信号が入力されなければステップＳ３４に戻って動作を継続し、上記制御信号が入力された場合はＸ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３を停止させて動作を停止して（ステップＳ４８）、図７の動作を終了する。

図８は、撮影装置１００の具体的構成の一例である撮影装置１００Ａを示す外観斜視図である。図８に示すように、撮影装置１００Ａは、例えば、カメラ付携帯電話機２Ａと、外付ジャイロユニット５１とを相互に接続した形態として、実現可能である。
図８に示すカメラ付携帯電話機２Ａは、折り畳み式の本体の背面側に露出するメインカメラ２１と、本体の内側に面して各種画像を表示するディスプレイ２３と、ディスプレイ２３の側方に位置するサブカメラ２２と、ディスプレイ２３に対向する面に配設されたキー操作部２４とを備える。このメインカメラ２１及びサブカメラ２２はカメラ１（図１）の撮影部１５に相当し、ディスプレイ２３はカメラ１の表示部１８に相当し、キー操作部２４はカメラ１の操作部１４に相当する機能を有する。そして、カメラ付携帯電話機２Ａは、内蔵する制御回路（図示略）の制御のもと、キー操作部２４における操作に従って、メインカメラ２１及びサブカメラ２２による動画像及び静止画像の撮影を実行し、撮影した動画像及び静止画像をディスプレイ２３に表示する。このほか、カメラ付携帯電話機２Ａは、携帯型電話機としての通信機能を有するものであるが、ここでは説明を省略する。

外付ジャイロユニット５１は、略箱型の筐体に、図１に示すジャイロユニット３の各部を収容したものである。カメラ付携帯電話機２Ａと外付ジャイロユニット５１とは、インタフェース１９、３０に相当するコネクタ（図示略）を介して相互に接続される。
図８に示す構成では、カメラ付携帯電話機２が有するメインカメラ２１またはサブカメラ２２によって動画像または静止画像を撮影した場合に、撮影した動画像のフレームまたは静止画像を、外付ジャイロユニット５１において平滑化及び復元し、復元した動画像または静止画像をディスプレイ２３に表示できる。
そして、動画像及び静止画像を撮影するカメラ付携帯電話機２Ａは、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３等のセンサを備えていなくてもよく、軌跡を求める演算処理や、画像変換用逆行列を求める演算処理等の複雑かつ高負荷の演算処理を行わなくてもよい。このため、カメラ付携帯電話機２Ａの制御回路（図示略）は、上記の通信機能の他、メインカメラ２１、サブカメラ２２等の各部の動作制御のみを行えば良く、カメラ付携帯電話機２Ａの制御回路の処理負荷を増大させることなく画像を平滑化及び復元し、ぶれのない美しい画像を得ることができる。

さらに、図８の例においてカメラ付携帯電話機２Ａに外部接続された外付ジャイロユニット５１を、カメラ付携帯電話機２Ｂの筐体に内蔵した構成としてもよい。
図９には、撮影装置１００の別の具体的構成例である撮影装置１００Ｂについて外観斜視図を示す。この図１０に示す構成例では、外付ジャイロユニット５１の各部を実装したジャイロユニット基板５２を、カメラ付携帯電話機２Ｂの本体に内蔵している。ジャイロユニット基板５２は、上述したカメラ付携帯電話機２Ｂの制御回路に対し、インタフェース１９、３９に相当する内部接続インタフェース（図示略）を介して接続されている。カメラ付携帯電話機２Ｂは、この点を除いて上記カメラ付携帯電話機２Ａと略同一の構成を備えるため、同一の機能を有する構成については、同一の符号を付して説明を省略する。
図９の構成例では、装置全体の小型化を図ることができるという利点がある。また、カメラ付携帯電話機２Ｂの制御回路（図示略）に対してジャイロユニット基板５２を接続することで、上述した撮影装置１００Ｂの機能を実現できるので、動画像及び静止画像を撮影する機能を備えたカメラ付携帯電話機２Ｂに、ジャイロユニット基板５２を付加的に内蔵させるだけで実現可能である。さらに、ジャイロユニット基板５２には、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３の個体差にも対応して、各ジャイロセンサ３２、３３から出力される角速度検出信号のドリフト補正等を行う角速度検出部３４が実装されているので、カメラ付携帯電話機２Ｂの制御回路において各ジャイロセンサ３２、３３の出力調整を行う必要もない。このため、撮影装置１００Ｂと同様の機能を備えたカメラ付携帯電話機２Ｂの開発負担を大幅に軽減できるという利点がある。

以上のように、本発明を適用した実施の形態によれば、撮影時のぶれを検出する角速度検出部３４と、検出されたぶれに応じて撮影画像のぶれを補正する逆変換フィルタ部３６と、撮影画像の輝度を平滑化する平滑化部４２とを備え、この平滑化部４２にて平滑化処理がなされた撮影画像を逆変換フィルタ部３６にてぶれ補正する構成としたため、撮影画像のぶれ補正に先立って撮影画像を平滑化することにより撮影画像の輝度むらが抑えられ、この輝度むらが抑えられた撮影画像に対して手ぶれ補正が行われるため、手ぶれ補正によってぶれの無い撮影画像を復元する際に輝度むらに伴うノイズの発生を防止することができる。

また、本実施形態によれば、撮影画像の被写体ＯＢのエッジ部分Ｅを抽出するエッジ抽出部４１を備え、平滑化部４２は、撮影画像のうちエッジ部分Ｅ以外の領域を平滑化する構成を有するため、抽出された被写体ＯＢのエッジ部分Ｅに対しては平滑化が行われないため、このエッジ部分Ｅについての鮮鋭度が損なわれることが無い。

また、本実施形態によれば、エッジ部分Ｅに隣接する領域を非平滑化領域Ｍとしているため、被写体ＯＢのエッジ部分Ｅの成分が、撮影時のぶれによって隣接画素に分散された場合であっても、当該エッジ部分Ｅに隣接する領域（画素）に対しては平滑化が行われないため、このエッジ部分Ｅに隣接する領域Ｍに含まれるエッジ部分Ｅの成分が平滑化によって欠落することがなく、これにより、鮮鋭度の高いエッジを復元することができる。

また、本実施形態によれば、非平滑化領域Ｍの大きさを、角速度検出部３４が検出する撮影時のぶれ量またはぶれ方向に応じて変更する平滑化領域変更部４３を備えるため、この平滑化領域変更部４３によって、撮影時のぶれによりエッジ部分Ｅの成分が分散される領域の広さ、または、分散される方向に合わせて適切に非平滑化領域Ｍが調整される。これにより、エッジ成分Ｅを含む領域を適切に設定し、鮮鋭度の高いエッジを正確に復元することができる。

また、本実施形態によれば、平滑化領域変更部４３は、ぶれ量が大きいほど非平滑化領域Ｍを大きくする構成としているため、撮影時のぶれが大きくなるに伴ってエッジ部分Ｅの成分が分散する領域が広がっても、この広がりに合わせて非平滑化領域Ｍの大きさが変更されるため、エッジ部分Ｅの成分が平滑化によって欠落することが防止され、鮮鋭度の高いエッジを復元することができる。

また、本実施形態によれば、平滑化領域変更部４３は、非平滑化領域Ｍをぶれ方向に沿って大きくする構成としているため、撮影時のぶれ方向にエッジ部分Ｅの成分が分散しても、このぶれ方向に沿って非平滑化領域Ｍの大きさが変更されるため、エッジ部分Ｅの成分が平滑化によって欠落することが防止され、鮮鋭度の高いエッジを復元することができる。

また、本実施形態によれば、非平滑化領域Ｍを操作する操作部１４を備える構成としているため、操作部１４を介して、非平滑化領域Ｍの大きさを自在に変更でき、ユーザの嗜好に合致した平滑化処理、ひいては画像復元を実現することができる。具体的には、予め実験等で決定されたテーブルに基づき、平滑した結果、エッジ部分の鮮鋭度が低くなっている場合には、操作部１４を介して非平滑化領域Ｍを広く設定して、鮮鋭度の高いエッジを復元することができる。

なお、上記実施の形態では、カメラ１及びジャイロユニット３を用いて複数のフレームからなる動画像を撮影及び復元する場合について説明したが、静止画像を撮影する場合についても、全く同様の動作により、ぶれた静止画像を復元できる。すなわち、カメラ１において、撮影部１５によって１回のみ露出を行って静止画像を撮影し、この静止画像の画像データをカメラ１からジャイロユニット３へ出力する。ジャイロユニット３においては、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３及び角速度検出部３４によって露出時間中の手ぶれによるカメラ１の移動を検出し、軌跡変換部３５によってカメラ１の軌跡を検出し、この軌跡に基づいて、逆変換フィルタ部３６によって画像変換用逆行列を求めるとともに、ぶれ画像を復元し、復元した画像をカメラ１へ出力する。つまり、静止画像を、動画像を構成するフレームと同様に処理することにより、ぶれを生じた静止画像をぶれのない画像に復元できる。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。例えば、上記実施の形態では、ジャイロユニット３は、逆変換フィルタ部３６によって画像変換用逆行列を求め、この画像変換用逆行列による演算処理を行うものとして説明したが、本発明はこれに限定されるものではなく、例えば、ぶれを生じたフレームまたは静止画像の輪郭を強調する処理を行うものとしてもよい。
また、上記実施形態では、復元後の撮影画像を表示部１８に表示させる構成としていたが、これに限るものではなく、抽出されたエッジ部分Ｅ、非平滑化領域Ｍ及び平滑化処理された撮影画像を表示部１８に表示させる構成としても良い。この構成によれば、撮影画像を復元する際に問題が生じた場合には、どの過程で問題が生じたかをユーザが簡単に確認することができる。これに加えて、復元画像及び平滑化する際のパラメータ等を確認することにより、操作部１４を介してユーザの嗜好に合致した画像復元を実現することができる。
また、上記実施形態では、撮影部１５により撮影されたフレームを復元してリムーバブルメディア２０に記録する例について説明したが、例えば、リムーバブルメディア２０等に格納された複数フレームからなる動画像について、その表示（再生）時に上記処理を行うようにしてもよい。すなわち、撮影されたフレームと、各フレーム撮影時の露出中にジャイロユニット３により求めたカメラ１の軌跡等の情報をリムーバブルメディア２０等に記録しておけば、他の機器においてフレームを復元することが可能である。
また、上記実施形態において、ジャイロユニット３は、角速度検出部３４によって求めたカメラ１の移動量が所定のしきい値より小さい場合には、フレームの画像の平滑化及びぶれ補正を行わずに、カメラ１から入力された撮影画像をそのままカメラ１へ出力するようにしてもよい。この場合、ぶれが無いか、視認できない程度に小さいフレームについては復元を行わないようにすることができ、処理の効率化を図ることができる。

上記実施形態では、カメラ１の動きを検出するため、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３により角速度を検出する構成としたが、これに限るものではなく、Ｘ軸ジャイロセンサ３２、Ｙ軸ジャイロセンサ３３及びＺ軸ジャイロセンサ（図示略）によって角速度を検出する構成としても良い。更に、Ｘ軸ジャイロセンサ３２もしくはＹ軸ジャイロセンサ３３のいずれか一方によって角速度を検出する構成としても良い。また、カメラ１の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
さらに、上記実施形態におけるカメラ１において、パーソナルコンピュータとケーブル等で通信可能に接続される外部インタフェースや、テレビやプロジェクタなどの外部ディスプレイ装置に動画像の映像信号を出力するための映像出力端子、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えた構成としてもよい。
また、本発明は、上記実施形態で説明した撮影装置１００以外の動画像撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画像撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、ＰＤＡ、ノート型パソコン等の各種電子機器においても適用可能である。

本実施の形態に係る撮影装置の構成を示すブロック図である。 被写体のエッジ部分に隣接して設けられた非平滑化領域を示す図である。 ぶれ方向に沿って非平滑化領域の大きさを変更した状態を示した図である。 画像を復元する処理の概要を示す図である。 軌跡と復元するフレームの撮影タイミングとの関係を示す図である。 カメラの動作を示すフローチャートである。 ジャイロユニットの動作を示すフローチャートである。 撮影装置の具体的構成例を示す図である。 撮影装置の別の具体的構成例を示す図である。

符号の説明

１…カメラ、２…カメラ付携帯電話機、３…ジャイロユニット（手ぶれ補正装置）、１４…操作部、１５…撮影部（撮影手段）、１７…撮影部ＲＡＭ、１８…表示部、２１…メインカメラ（撮影手段）、２２…サブカメラ（撮影手段）、３４…角速度検出部（ぶれ検出手段）、３６…逆変換フィルタ部（ぶれ補正手段）、４１…エッジ抽出部（エッジ抽出手段）、４２…平滑化部（平滑化手段）、４３…平滑化領域変更部（平滑化領域変更手段）、１００…撮影装置、Ｅ…エッジ部分、Ｍ…非平滑化領域

Claims (8)

1. 撮影時のぶれを検出するぶれ検出手段と、検出されたぶれに応じて撮影画像のぶれを補正するぶれ補正手段と、前記撮影画像の輝度を平滑化する平滑化手段と、前記撮影画像の被写体の輪郭を抽出するエッジ抽出手段とを備え、
   前記平滑化手段は、前記撮影画像のうち前記輪郭を含まない所定の領域を平滑化し、前記ぶれ補正手段は、前記平滑化手段によって平滑化された撮影画像に対して前記ぶれを補正することを特徴とする手ぶれ補正装置。
2. 前記輪郭に隣接する領域を非平滑化領域としたことを特徴とする請求項１に記載の手ぶれ補正装置。
3. 前記非平滑化領域の大きさを、前記ぶれ検出手段が検出する撮影時のぶれ量またはぶれ方向に応じて変更する平滑化領域変更手段を備えることを特徴とする請求項２に記載の手ぶれ補正装置。
4. 前記平滑化領域変更手段は、前記ぶれ量が大きいほど前記非平滑化領域を大きくすることを特徴とする請求項３に記載の手ぶれ補正装置。
5. 前記平滑化領域変更手段は、前記非平滑化領域を前記ぶれ方向に沿って大きくすることを特徴とする請求項３または４に記載の手ぶれ補正装置。
6. 前記非平滑化領域を操作する操作部を備えることを特徴とする請求２乃至５のいずれかに記載の手ぶれ補正装置。
7. 画像を撮影する撮影手段と、請求項１乃至６のいずれかに記載の手ぶれ補正装置とを備えたことを特徴とする撮影装置。
8. 撮影時のぶれを検出するとともに、撮影画像の被写体の輪郭を抽出し、前記撮影画像のうち前記輪郭を含まない所定の領域の輝度を平滑化した後、この平滑化された撮影画像に対してぶれに応じたぶれ補正を実行することを特徴とする手ぶれ補正方法。

Images