JP3925415B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、携帯可能な撮像装置で撮像する際、手ぶれによる影響を軽減させる画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
携帯可能なビデオカメラは、一般的に使用されるようになってきている。このようなビデオカメラに用いられる固体撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）センサに代表される電荷転送型の固体撮像素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに代表されるＸ−Ｙアドレス型の固体撮像素子がある。
【０００３】
ＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さく、単一の低電圧で駆動され、周辺回路との一体化も容易であることから、ビデオカメラなどの画像処理装置に用いられることが検討されている。
【０００４】
しかしながら、ビデオカメラなどの画像処理装置の撮像素子としてＣＭＯＳセンサを用いて高画質な動画像や静止画像を記録することは困難であった。その理由の１つとして、手ぶれにより撮像される画像に歪みが発生してしまうことが挙げられる。画像処理装置の撮像素子として既に用いられているＣＣＤセンサの場合、手ぶれによる影響を低減させるための処理を実行する上で必要とされる手ぶれ補正量は、１フィールドまたは１フレーム内で得られた手ぶれ情報に基づいて算出された単一の値が用いられる。これは、全ての画素の露光期間が等しく、画像の歪みが生じないために、単一の値で手ぶれの補正ができる。
【０００５】
ＣＣＤセンサに対して、ＣＭＯＳセンサは、以下のような仕組みにより、被写体の画像を撮像し、処理するため、その画像には、手ぶれによる歪みが生じる。その歪みは、以下のようにして生じると考えられる。
【０００６】
ＣＣＤセンサのような電荷転送型の固体撮像素子は、全画素を同時期に露光して、画素データを読み出すことが可能であるが、ＣＭＯＳセンサのようなＸ−Ｙアドレス型の固体撮像素子は、１画素単位あるいは１ライン単位で順番に読み出される。１画素単位で順次読み出すタイプの固体撮像素子であっても、ライン間の読み出し時間差に比べ、１ライン中の画素間の読み出し時間差は無視できるほど小さい．そこで、以下の議論では、図１に示すように、ライン間の時間差のみを考える．
【０００７】
例えば、図１に示すように、全画素の読出し周期が１／６０秒で、１画像がライン１乃至Ｎから構成されるようなＣＭＯＳセンサの場合を例に挙げて説明する。図２を参照するに、ライン１の露光期間は、開始時刻が時刻ｔ１であり、終了時刻が時刻ｔ２である。ライン２の露光期間の終了時間は、時刻ｔ３であり、ライン３の露光期間の終了時間は、時刻ｔ４である。
【０００８】
時刻ｔ２と時刻ｔ３との時間差は、時間差Δｔであり、時刻ｔ３と時刻ｔ４の時間差は、時間差Δｔである。すなわち、露光期間は、１ライン毎に時間差が時間差Δｔだけ生じることになる。従って、画面の一番上のライン１と一番下のラインＮとでは、この場合、露光期間の１／６０秒に近い時間差が発生することになる。このように、１画像を読み出す際、一番上のライン１と一番下のラインＮとで、露光期間にずれが生じる状況下で、手ぶれが生じた場合、このライン毎による露光期間の時間差により、被写体である物体の画像が変形してしまうという問題があった。
【０００９】
図３と図４を参照して、撮像された被写体の画像が変形するという問題について説明する。図３と図４は、それぞれ、画像の中央に被写体として静止した四角形が撮像される場合を例に挙げて図示している。図３の中央の図は、画像処理装置で被写体が撮像されたとき、手ぶれがなく、その結果、歪みがない正常な画像が撮像された状態を示しており、撮像された被写体は、四角形として撮像されていることを示す図である。
【００１０】
図３の右側の図は、被写体が撮像されたとき、画像処理装置に右側方向の手ぶれがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示す図である。同様に、図３の左側の図は、被写体が撮像されたとき、画像処理装置に左側方向の手ぶれがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示す図である。
【００１１】
図４の中央の図は、画像処理装置で被写体が撮像されたとき、手ぶれがなく、その結果、歪みがない正常な画像が撮像された状態を示しており、撮像された被写体は、四角形として撮像されていることを示す図である。図４の上側の図は、被写体が撮像されたとき、画像処理装置に上側方向の手ぶれがあったために、上下方向に伸長された被写体の画像が撮像されてしまうことを示す図である。図４の下側の図は、被写体が撮像されたとき、画像処理装置に下側方向の手ぶれがあったために、上下方向に収縮された被写体の画像が撮像されてしまうことを示す図である。
【００１２】
このように、ＣＭＯＳセンサでは、各ライン毎に露光期間のずれ（撮像のタイミングのずれ）が生じるため、１フィールドまたは１フレーム内で得られた手ぶれ情報に基づいて算出された単一の値で、手ぶれの補正を行うと、手ぶれの影響を完全に取ることはできず、結果として、ユーザに提供される画像が歪んだ画像となってしまうことが考えられる。
【００１３】
このような手ぶれによる画像の歪みを補正するために、水平方向の手ぶれを補正するために、ライン毎に読出し位置を変更し、垂直方向の手ぶれを補正するために、読み出すラインの位置を垂直方向に変更するという画像処理装置が提案されている。（例えば、特許文献１参照）
【００１４】
【特許文献１】
特開２００１−３５８９９９号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、特許文献１で提案されている手法では、手ぶれ情報が、画像を構成するライン毎に全て取得されることを前提としているが、ライン毎に手ぶれ情報を取得することは、手ぶれを検出するセンサのサンプリング周波数などの関係から困難であるといった課題があった
【００１６】
また、上述した特許文献１では、画素単位でしか手ぶれ補正ができないといった課題があった。
【００１７】
従来の画像処理装置では、撮像された画像の画像データを一旦記憶する必要があったため、少なくとも１画面分を記憶できる容量のメモリが必要とされた。そのため、メモリの容量を削減することができないといった課題があった。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、１フィールドまたは１フレームの間に得られた手ぶれ情報から、ライン毎の手ぶれ補正量を生成し、精度の高い手ぶれの補正を行うことを目的とする。また、手ぶれ情報から画素を補間するための係数を決定して補間するための画素データを生成することにより、手ぶれの補正をより精度良く行えるようにすることを目的とする。さらに、手ぶれ検出を短時間で行うことで画像データを記憶するためのメモリの容量を削減できるようにすることを目的とする。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、撮像手段により撮像された画像を記憶する記憶手段と、加えられた振動を検出し、振動検出情報を出力する出力手段と、出力手段から出力された振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換手段と、変換手段により変換された振動量から加えられた振動による画像への影響を低減するための補正量を算出する算出手段と、振動量または補正量を補間する補間手段と、補正量に基づいて撮像手段により撮像された画像を補正し、補正後の画像を出力する補正手段とを備え、変換手段は、振動検出情報を、記憶手段に記憶された画像における第１のラインが撮像されときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、補間手段は、第１の振動量、第２の振動量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、算出手段は、補間手段により補間された振動量から、画像のライン毎の補正量を算出するか、または、変換手段は、振動検出情報を、記憶手段に記憶された画像における第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、算出手段は、第１の振動量から第１の補正量を、第２の振動量から第２の補正量を、および第３の振動量から第３の補正量をそれぞれ算出し、補間手段は、第１の補正量、第２の補正量、および第３の補正量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する。
【００２０】
前記補正手段は、補正量に基づき、補正後の画素の位置に位置する撮像手段により撮像された画像内の画素の画素データを用いて、補正後の画素を生成するようにすることができる。
【００２１】
前記変換手段は、所定の期間内に出力手段から出力された振動検出情報のうち、時間的に中央と、その前後に位置する複数の振動検出情報から、振動量を生成するようにすることができる。
【００２２】
前記変換手段は、過去の振動検出情報から未来の振動検出情報を予測する能力を持つようにすることができる。
【００２３】
前記算出手段は、１枚の画像撮像中に，前記変換手段から前記振動量を１回以上生成する、または、前記補正手段から前記補正量を１回以上算出するようにすることができる。
【００２４】
前記変換手段からの振動量と、算出手段からの補正量は、１ピクセル単位以下の数値も含むようにすることができる。
【００２５】
前記補正手段は、１ピクセル単位以下の精度で画素補間を行うようにすることができる。
【００２６】
前記補正手段が画像の垂直方向の補正を行うときに必要となる撮像手段により撮像された画像のデータのみを記憶手段に記憶するようにすることができる。
【００２７】
画像１枚分ではなく、画像中の手ぶれ補正に必要な領域のみを記憶手段に記憶するようにすることができる。
【００２８】
本発明の画像処理方法は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による画像への影響を低減するための補正を行う画像処理装置の画像処理方法において、撮像素子による画像の撮像を制御する撮像制御ステップと、加えられた振動を検出する検出ステップと、検出ステップの処理で検出された振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、変換ステップの処理で変換された振動量から加えられた振動による画像への影響を低減するための補正量を算出する算出ステップと、振動量または補正量を補間する補間ステップと、補正量に基づいて撮像制御ステップの処理で撮像が制御された画像を補正し、補正後の画像を出力する補正ステップとを含み、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、補間ステップの処理で、第１の振動量、第２の振動量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、算出ステップの処理で、補間ステップの処理で補間された振動量から、画像のライン毎の補正量を算出するか、または、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、算出ステップの処理で、第１の振動量から第１の補正量を、第２の振動量から第２の補正量を、および第３の振動量から第３の補正量をそれぞれ算出し、補間ステップの処理で、第１の補正量、第２の補正量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する。
【００２９】
本発明の記録媒体のプログラムは、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による画像への影響を低減するための補正を行う画像処理装置を制御するコンピュータのプログラムであって、撮像素子による画像の撮像を制御する撮像制御ステップと、加えられた振動を検出する検出ステップと、検出ステップの処理で検出された振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、変換ステップの処理で変換された振動量から加えられた振動による画像への影響を低減するための補正量を算出する算出ステップと、振動量または補正量を補間する補間ステップと、補正量に基づいて撮像制御ステップの処理で撮像が制御された画像を補正し、補正後の画像を出力する補正ステップとを含み、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、補間ステップの処理で、第１の振動量、第２の振動量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、算出ステップの処理で、補間ステップの処理で補間された振動量から、画像のライン毎の補正量を算出するか、または、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、算出ステップの処理で、第１の振動量から第１の補正量を、第２の振動量から第２の補正量を、および第３の振動量から第３の補正量をそれぞれ算出し、補間ステップの処理で、第１の補正量、第２の補正量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する。
【００３０】
本発明のプログラムは、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による画像への影響を低減するための補正を行う画像処理装置を制御するコンピュータのプログラムであって、撮像素子による画像の撮像を制御する撮像制御ステップと、加えられた振動を検出する検出ステップと、検出ステップの処理で検出された振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、変換ステップの処理で変換された振動量から加えられた振動による画像への影響を低減するための補正量を算出する算出ステップと、振動量または補正量を補間する補間ステップと、補正量に基づいて撮像制御ステップの処理で撮像が制御された画像を補正し、補正後の画像を出力する補正ステップとを含み、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、補間ステップの処理で、第１の振動量、第２の振動量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、算出ステップの処理で、補間ステップの処理で補間された振動量から、画像のライン毎の補正量を算出するか、または、変換ステップの処理で、振動検出情報を、画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、算出ステップの処理で、第１の振動量から第１の補正量を、第２の振動量から第２の補正量を、および第３の振動量から第３の補正量をそれぞれ算出し、補間ステップの処理で、第１の補正量、第２の補正量、および第３の振動量を用い、第１のライン、第２のライン、および第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する。
【００３１】
本発明においては、加えられた振動に関する情報から、その振動をキャンセルするための補正に必要な補正量が、画像を構成するライン毎に、算出、補間される。
【００３２】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図５は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。画像処理装置１０の撮像素子１１は、例えば、Ｘ−Ｙアドレス型の固体撮像素子（ＣＭＯＳなど）により構成される。撮像素子１１により撮像された被写体の画像のデータは、ＡＦＥ（Analog Front End）１２に供給される。
【００３３】
ＡＦＥ１２は、供給された画像データをデジタル信号の画像データに変換し、信号処理部１３に供給する。信号処理部１３は、供給された画像データから、輝度信号と色差信号を算出し、その算出したそれぞれの信号を、画像補間部１４に供給する。
【００３４】
画像補間部１４に供給される画像データは、撮像素子１１により撮像された被写体の画像のデータであるが、撮像素子１１により撮像された画像の全てのデータが、画像補間部１４に供給されるわけではなく、ＴＧ（Timing Generator）１５からのタイミングに従って読み出されたデータのみが、画像補間部１４に供給される。
【００３５】
画像補間部１４に供給されたデータは、一旦、メモリコントローラ１６の制御の基、メモリ１７に供給される。逆にメモリ１７に記憶されたデータは、メモリコントローラ１６の指示により読み出され、画像補間部１４に供給される。画像補間部１４は、供給されたデータに対して、手ぶれの補正を行うための補間処理など（詳細は後述する）を施し、図示されていない記録媒体に出力し、記録させたり、図示されていないディスプレイなどに出力し、表示させたりする。
【００３６】
なお、ここでは、画像処理装置１０に加えられる振動として、ユーザの手ぶれを例に挙げて説明するが、手ぶれ以外の振動であっても、本発明を適用することはできる。
【００３７】
画像補間部１４、ＴＧ１５、およびメモリコントローラ１６は、手ぶれ検出部１８により検出された手ぶれ量に応じ、手ぶれ補正量算出部１９により算出された手ぶれ補正量に基づいた制御を行う。
【００３８】
手ぶれ検出部１８は、例えば、角速度センサなどのセンサを用いた方法や、画像処理等によるセンサレスの手ぶれ検出の方法などが用いられ、撮影中に画像処理装置１０に加えられた手ぶれを検出する。例えば、手ぶれ検出部１８が、角速度センサにより構成されていた場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータを手ぶれ補正量算出部１９に供給する。
【００３９】
その検出された手ぶれ量に基づき、手ぶれ補正量算出部１９は、手ぶれに伴う動きを補正するための手ぶれ補正量のデータを算出する。すなわち、手ぶれ補正量算出部１９は、供給されたデータを用いて、何ピクセル移動させれば加えられた手ぶれによる影響を低減できるかという補正量を、１ライン毎に算出する。
【００４０】
ここで、１ライン毎にというのは、図１と図２を参照して説明したように、ＣＭＯＳなどの固体撮像素子においては、１ライン単位で画像データが順次読み出される。そのため、１ライン毎に手ぶれ補正量が算出される。
【００４１】
１ライン毎に手ぶれ補正量を算出する必要があるが、手ぶれ量のデータが取得されるタイミングは、手ぶれ検出部１８のサンプリング周波数に依存し、必ずしも、１ライン毎に手ぶれ補正量を算出するだけの手ぶれ量のデータが供給されるとは限らない。
【００４２】
手ぶれ検出部１８のサンプリング周波数が、撮像素子１１により撮像された画像の１ライン毎のデータの読み出しの周波数と異なる場合、１ライン毎の手ぶれ補正量を求めるには、手ぶれ検出部１８のサンプリング間における手ぶれ補正量のデータ、すなわち、手ぶれ検出部１８からの手ぶれ量のデータに基づいた算出を行えないときの手ぶれ補正量のデータを、何らかの方法により補間する必要がある。
【００４３】
また、手ぶれ検出部１８のサンプリング周波数が、撮像素子１１により撮像された画像の１ライン毎のデータの読み出しの周波数と同じだが、位相が異なる場合、１ライン毎の手ぶれ補正量を求めるには、手ぶれ検出部１８のサンプリング間における手ぶれ補正量のデータを補間する必要がある。
【００４４】
手ぶれ補正量のデータの補間について説明するが、ここでは、手ぶれ検出（手ぶれ量のデータが、手ぶれ検出部１８から手ぶれ補正量算出部１９に供給されるタイミング）が、１００本のラインが読み出される間に３点の場合を例に挙げて説明する。図６に示すように、ここでは説明の都合上、ライン１’、ライン５０’、およびライン１００’のときに、手ぶれ検出部１８からの手ぶれ量が取得できるとして説明する。このライン１’は、説明上の基準となるラインであり、撮像された画像を構成するライン内の１本のラインとして説明する。
【００４５】
図６に示した状態は、ライン１’を読み出す際の手ぶれ量は、Ｐ１ピクセルであり、ライン５０’を読み出す際の手ぶれ量は、Ｐ２ピクセルであり、ライン１００’を読み出す際の手ぶれ量は、Ｐ３ピクセルであることを示している。
【００４６】
この手ぶれ量とは、手ぶれ検出部１８から出力され、手ぶれ補正量算出部１９に入力された情報を、手ぶれ補正量算出部１９がピクセル単位の値に変換した値である。なお、手ぶれ補正量算出部１９が変換した後のピクセル単位の手ぶれ量は、小数点以下を含むピクセル単位とされ、その後の処理において１ピクセル以下の量での補正を可能としている。
【００４７】
手ぶれ量Ｐ１乃至Ｐ３は、所定のタイミングに取得された手ぶれ量を基準としたときの差分である。所定のタイミングとは、例えば、画像の撮像が開始された直後である。図６に示した状態では、基準から、ライン１’のときに右側の手ぶれが発生し、その後ライン５０’まで右側の手ぶれが発生し、そして、ライン１００’までは、左側の手ぶれが発生した状況である。
【００４８】
例えば、被写体として静止している四角形を撮像したときに、図６に示したような手ぶれ量が取得される手ぶれが、画像処理装置１０に加えられると、そのまま、補正をしなければ、図７に示したような画像が撮像されたこと（ユーザに提供されること）になる。このような歪んだ画像を補正し、四角形が四角形の画像として最終的にユーザに提供されるように手ぶれに関する補正が行われる。
【００４９】
本実施の形態においては、ＣＭＯＳなどのＸ−Ｙアドレス型の固体撮像素子を撮像素子１１（図５）として用いる場合を例に挙げて説明しているが、仮に、ＣＣＤなどの電荷転送型の固体撮像素子を、撮像素子１１として用いた場合、手ぶれによる画像のブレを補正する方式としては、ライン毎の手ぶれを画面内で単一の値で代用することにより本発明のシステムを適用することは可能である（１画像内では、同一の値が用いられることにより行われる）。
【００５０】
ライン毎の手ぶれ量を補正するためには、ライン毎の手ぶれ量を取得する必要がある。しかしながら、図６を再度参照して説明するに、図６に示した例では、ライン１’、ライン５０’、および、ライン１００’のラインのときの手ぶれ量しか取得されない。このような離散的なデータしか取得できないのは、手ぶれ検出部１８が手ぶれを検出するタイミング（サンプリング周波数）に依存しているからである。このような場合には、ライン２’乃至４９’と、ライン５１’乃至９９’に関する手ぶれ量は取得されないため、それらのライン毎の手ぶれ量を補間して処理を実行する必要がある。
【００５１】
手ぶれ補正量算出部１９が行う補間の処理（手ぶれ補正量の算出の処理）に関し、図８のフローチャートを参照して説明する。ステップＳ１１において、手ぶれ補正量算出部１９は、手ぶれ検出部１８から検出された手ぶれ量のデータ（手ぶれ量を算出するための手ぶれ情報）を取得する。
【００５２】
手ぶれ補正量算出部１９は、上述したように、ライン１’乃至１００’の間に、３つの手ぶれ量を取得する。この３つの手ぶれ量から、ライン２’乃至９９’（ライン５０’を除く）に関する手ぶれ量を、ステップＳ１２において算出する。その算出の仕方であるが、図９Ａ乃至図９Ｃを参照して説明する。図９Ａに示したように、例えば、ライン１’に関する手ぶれ量を、ライン２’乃至４０’にも用い、ライン５０’に関する手ぶれ量を、ライン４１’乃至６０’にも用い、ライン１００’に関する手ぶれ量を、ライン６１’乃至９９’にも用いるというように、１つのラインに関する手ぶれ量を、前後のラインに適用するといった方法で、補間を行うようにしても良い。
【００５３】
また、図９Ｂに示すように、１次関数を用いて算出するようにしても良い。図９Ｂに示した例では、ライン１’とライン５０’に関するそれぞれの手ぶれ量を２点とする１次関数から、ライン２’乃至４９’に関する手ぶれ量が、それぞれ算出され、ライン５０’とライン１００’に関するそれぞれの手ぶれ量を２点とする１次関数からライン５１’乃至９９’に関する手ぶれ量が、それぞれ算出される。
【００５４】
さらに、図９Ｃに示すように、１次関数ではない他の関数を用いて算出されるようにしても良い。図９Ｃに示した例は、基本的に図９Ｂに示した例と同様であるが、１次関数ではない他の関数を用いる点が異なる。通常、手ぶれは、同一方向に、同一の速度で、同一の大きさで変化するものではないと考えられる。従って、直線的に変化する１次関数を用いて補間するのでは、誤差が発生する可能性があり、より適切に精度良く補間（補正）を行うことを考えると、図９Ｃに示したような曲線的に変化する関数を用いた方が良い。
【００５５】
図９Ａ乃至図９Ｃの内のどの方法を用いて補正量を算出するかは手ぶれ補正量算出部１９の処理能力に依存する。手ぶれ補正量算出部１９がマイクロコンピュータなどで構成される場合、そのマイクロコンピュータの処理能力に合わせて、図９Ａ乃至図９Ｃに示した内の１つの方法で、補正量が算出（補間）されるようにすればよい。
【００５６】
具体的には、手ぶれ補正量算出部１９の処理能力が低い場合、演算量が少ない図９Ａに示した方法で、補正量の算出（補間）が行なわれるようにし、手ぶれ補正量算出部１９の処理能力が比較的高い場合、演算量が比較的多い図９Ｃに示した方法で、補正量の算出（補間）が行なわれるようにすればよい。
【００５７】
このように、離散的な手ぶれ量から、ライン毎の手ぶれ量が求められると、ステップＳ１３において、手ぶれ補正量の算出が行われる。手ぶれ補正量とは、手ぶれ量を、手ぶれのない状態（手ぶれの影響を低減された状態）にするために、どれだけの補正を行えば良いのかを表すピクセル単位の値である。
【００５８】
例えば、図６に示したように、ライン１’に関する手ぶれ量が、Ｐ１ピクセルであった場合、その手ぶれ量がＰ１ピクセルである状態を、手ぶれのない状態にするためには、絶対値が異なり、符号の異なる量、すなわちこの場合、―Ｐ１ピクセルが補正量として算出されるようにすれば良い。
【００５９】
図１０Ａ乃至図１０Ｃは、手ぶれ補正量算出部１９により算出された手ぶれ補正量をグラフとして示した図である。図１０Ａは、手ぶれ補正量算出部１９が、図９Ａを参照して説明した方式により手ぶれ量を補間したときに算出される手ぶれ補正量を示している。図１０Ｂは、手ぶれ補正量算出部１９が、図９Ｂを参照して説明した方式により手ぶれ量を補間したときに算出される手ぶれ補正量を示している。図１０Ｃは、手ぶれ補正量算出部１９が、図９Ｃを参照して説明した方式により手ぶれ量を補間したときに算出される手ぶれ補正量を示している。
【００６０】
このように、手ぶれ補正量が算出されると、ステップＳ１４（図６）において、読み出し位置の決定が行われる。読み出し位置が決定されると、その位置に位置する画素が、２画素である場合、新たな画素を補間する処理がステップＳ１５で行われる。このステップＳ１４の読み出し位置の決定の処理と、ステップＳ１５の画素の補間について説明する。なお、説明の都合上、ステップＳ１４の処理とステップＳ１５の処理をまとめて以下に説明するが、ステップＳ１４までの処理は、手ぶれ補正量算出部１９（図５）で行われ、ステップＳ１５の処理は、画像補間部１４で行われる。
【００６１】
図１１の左側の図は、手ぶれ補正量算出部１９により算出された水平方向の手ぶれ補正量をグラフ化した図であり、図１１の右側の図は、四角形の被写体を撮像したときに加えられた手ぶれを補正しなかった場合に撮像される画像Ａの一例を示す図であり、図１１の中央の図は、右側の図に示した画像の内の部分ａを拡大したときの図である。
【００６２】
画像Ａ内の部分ａは、ライン２０’乃至２９’の１０本のラインを含む。そのうち、読み出すべき画素ｂは、ライン２３’上に位置する。算出された手ぶれ補正量は、１ライン毎に算出されているが、その１ライン毎の補正量、すなわち、何ピクセル分、読み出す位置をずらすかのデータに基づき、それぞれのラインの読み出し開始位置が決定される。
【００６３】
その読み出し開始位置を線で結ぶと、図１１の中央の図に示したような読み出し開始ラインｂが作成される。図１１の中央の図に示した読み出し開始ラインｂは、直線的に図示しているが、直線的になるとは限らず、所定のラインが、他のラインよりも、その読み出し開始位置がずれているようなこともある。また、この読み出し開始ラインｂは、説明のために図示した線であり、手ぶれ補正量算出部１９による処理の結果として生成されるライン、又は、処理を実行する上で必要となるラインではない。
【００６４】
図１２に示すように、読み出し開始ラインｂから読み出しを開始すると、図１２の下側に示した図のように、四角形の１辺の一部分を構成する部分ａの画像が、歪みがない画像に補正されたことがわかる。
【００６５】
本実施の形態においては、１ピクセル以下の補正も可能とするため、水平方向又は垂直方向の、どちらか一方に着目した場合、読み出すべき画素ｂが、１つの画素上に位置するときと、２つの画素上に位置するときとが考えられる。まず、水平方向に着目した場合について説明する。図１３Ａに示した例は、画素ｂが１つの画素上に位置する場合を示している。図１３Ａに示したような場合には、画素ｂの画素データとして、画素Ｇ３の画素データが読み出される。
【００６６】
図１３Ｂに示した例は、画素ｂが２つの画素上に位置する場合を示している。図１３Ｂに示した例では、画素ｂは、画素Ｇ２と画素Ｇ３上にまたがって位置している。このような場合には、隣接する複数の画素から画素ｂのデータが作成され、その作成されたデータが、画素ｂの画素データとして読み出される。
【００６７】
図１３Ｂに示した例を参照し、隣接する複数の画素から画素ｂのデータを生成する場合を説明する。まず、画素ｂが画素Ｇ２と画素Ｇ３とにまたがっている場合、画素Ｇ２と画素Ｇ３の画素データのみを用いて画素ｂの画素データを生成する。このようにした場合、画素ｂが画素Ｇ２と画素Ｇ３にまたがっているそれぞれの割合を乗算することにより画素ｂの画素データを生成する。
【００６８】
例えば、画素Ｇ２の画素データをデータＤ２とし、画素Ｇ３の画素データをデータＤ３とし、画素ｂが画素Ｇ２にかかる割合をＫｂ（０＜Ｋｂ＜１）とすると、以下の式に基づき算出される。
画素ｂの画素データ＝Ｄ２×Ｋｂ＋Ｄ３×（１−Ｋｂ）
【００６９】
このような単に、画素ｂがかかっている画素のデータと、そのかかっている割合を乗算することにより、読み出す画素ｂの画素データを生成するようにしても良いし、画素ｂがかかっていない画素のデータも含めて画素ｂの画素データを生成するようにしても良い。
【００７０】
例えば、図１３Ｂに示した例においては、画素Ｇ１乃至画素Ｇ４を用いて画素ｂの画素データを生成するようにする。このようにした場合、画素Ｇ２にかかっている画素ｂの割合から一意に導き出される係数（Ｋ１乃至Ｋ４とする）を、画素Ｇ１乃至Ｇ４のそれぞれの画素データ（Ｄ１乃至Ｄ４とする）に乗算し、その乗算された値を加算する。すなわち、以下の式に基づき算出される。
画素ｂのデータ＝Ｄ１×Ｋ１＋Ｄ２×Ｋ２＋Ｄ３×Ｋ３＋Ｄ４×Ｋ４
【００７１】
これらの係数Ｋ１乃至Ｋ４は、画素Ｇ２にかかっている画素ｂの割合（すなわち、手ぶれ補正量が小数点以下のピクセルを含む場合、その小数点以下の数値（例えば、手ぶれ補正量が１．５ピクセルと算出されたときには、０．５））と関連付けられたテーブルとして、画像補間部１４または手ぶれ補正量算出部１９に記憶され、その記憶されているテーブルから係数が読み出されるようにしても良い。
【００７２】
このように複数の画素から、画素ｂの画素データを生成する方が、より精度良く手ぶれの補正を行うことが可能となる。なお、画素ｂが、１つの画素上に位置しているような場合でも、隣接する複数の画素データから画素データが、上述したようにして生成されるようにしても良い。
【００７３】
このようにして、水平方向の読み出し位置と、その読み出される画素データを必要に応じて補間（生成）するといった処理が行われる。次に、垂直方向の読み出し位置と、その読み出される画素を必要に応じて補間（生成）するといった処理について説明する。垂直方向に関しても、上述した水平方向の処理と基本的に同様な処理である。
【００７４】
図１４の左側の図は、手ぶれ補正量算出部１９により算出された垂直方向の手ぶれ補正量をグラフ化した図である。図１４の右側の図は、四角形の被写体を撮像したときに、上方向に加えられた手ぶれによる影響を補正しなかった場合に撮像される画像Ａの一例を示す図であり、四角形が伸長されてしまっている状態を示している。図１４の中央の図は、右側の図に示した画像の内の部分ａを拡大したときの図である。
【００７５】
画像Ａ内の部分ａは、ライン２０’乃至２６’の７本のラインを含む。そのうち、読み出すべき画素ｂは、ライン２３’上に位置する。図１４の中央に示した図では、手ぶれがない状態で撮像されたときに位置すべきライン（以下、適宜、本来のラインと記述する）に符号を割り振り、説明の都合上、各ライン間に隙間を設けて図示してある。図１４に示した例では、本来のラインと、撮像された画像のラインとが一致していないために、ラインの隙間に画像が存在してしまっている状態を示している。
【００７６】
上述した水平方向の手ぶれの補正では、１ライン内での読み出しの開始位置を変化させることにより補正が行なわれるようにしたが、垂直方向の手ぶれの補正では、ライン自身を選択することにより補正が行われるようにする。換言すれば、垂直方向の手ぶれの補正は、何ピクセルだけ、上または下に撮像されたラインを移動させれば、本来の手ぶれのない状態で撮像された画像になるかを補正量として算出し、その補正量に基づいて読み出しを行うことにより行われる。
【００７７】
水平方向の補正の場合と同様に、垂直方向の補正においても、読み出すべき画素ｂが、図１５Ａに示すように１つの画素（ライン）上に位置するときと、図１５Ｂに示すように複数の画素（ライン）上に位置するときとが考えられる。複数の画素上に画素ｂが位置するときの画素ｂの画素データの生成の仕方は、図１３Ｂを参照して説明した水平方向の補正の場合と同様に、係数を用いて算出するなどの仕方により行うことが可能であるので、ここでは、その説明を省略する。
【００７８】
このような補間（補正）が行われると、図１６の左側の図のように、本来のライン上に、撮像された画像のラインがのる。その結果、図１６の右側の図のように、この場合、四角形の一辺を構成する部分が、本来のライン上に位置するように撮像された画像になる。このように、垂直方向に関しても、撮像時に手ぶれが加えられたような画像であっても、手ぶれの影響を低減させた画像を、ユーザに提供することが可能となる。
【００７９】
このように、本実施の形態においては、水平方向と垂直方向の補正（図８のステップＳ１４とステップＳ１５の処理）が、それぞれ行われる。
【００８０】
ところで、上述した実施の形態においては、ステップＳ１２において手ぶれ量の補間を行い、ステップＳ１３において手ぶれ補正量を算出するようにした。すなわち、手ぶれ検出部１８から取得される離散的なデータを、補間してライン毎の手ぶれ量を生成した後に、ライン毎の補正量を算出するようにした。
【００８１】
しかしながら、図１７に示すフローチャートに従って、手ぶれによる影響の補正が行われるようにしても良い。ステップＳ２１において、手ぶれ検出部１８から手ぶれ量が取得されると、ステップＳ２２において、その取得された手ぶれ量に対しての手ぶれ補正量が、手ぶれ補正量算出部１９により算出される。そして、ステップＳ２３において、その算出された手ぶれ補正量を用いて、ライン毎に手ぶれ補正量が用意されるように、手ぶれ補正量の補間（生成）の処理が行われる。
【００８２】
すなわちこの場合、手ぶれ検出部１８から取得される離散的なデータから、離散的な手ぶれ補正量を算出し、その手ぶれ補正量を補間してライン毎の手ぶれ補正量が用意されるようにした。このように、手ぶれ補正量を算出した後に、その手ぶれ補正量を補間するようにしても、上述したような、手ぶれ量を補間した後に、その補間された手ぶれ量を用いて手ぶれ補正量の算出を行う場合と同等の効果をえることが可能である。
【００８３】
ステップＳ２４以下の処理は、上述したステップＳ１４以下の処理と同様の処理なので、その説明は省略する。また、ステップＳ２２やステップＳ２３における処理も、基本的な処理、例えば、手ぶれ補正量を算出する際、１次関数を用いて算出する、曲線的な関数を用いて算出するなどは、図８のフローチャートの説明をするうえで説明したことと同様に行うことが可能であるので、その説明は省略する。
【００８４】
上述したように、手ぶれ補正量算出部１９においては、手ぶれ補正量が算出されるわけだが、その手ぶれ補正量は、図５に示したように、画像補間部１４、ＴＧ１５、およびメモリコントローラ１６に供給される。この各部で行う手ぶれ補正量に基づく画素の読み出しについて説明する。図１８Ａに示すように、ここでは、画素Ｇ１の所定の位置が、読み出し開始位置Ｒ０として設定された場合を例に挙げて説明する。
【００８５】
このような場合、まず、ＴＧ１５により、撮像素子１１からＡＦＥ１２に供給される画素データの読み出しが制御される。ＴＧ１５による画素データの読み出しの制御は、整数倍でのピクセル単位で行われる。そのため、その読み出しは、図１８Ｂに示すように読み出し開始位置Ｒ１から開始される。この読み出し開始位置Ｒ１は、この場合、画素Ｇ１の先頭の位置になっているため、ＡＦＥ１２以降の各部には、図１８Ｃに示すように、画素Ｇ１以降の画素データのみが供給される。
【００８６】
すなわち、ＴＧ１５の制御により、おおまかな手ぶれの補正が行われことになる。
【００８７】
次に画像補間部１４とメモリコントローラ１６により、１ピクセルに満たない小数点以下の補正が行われる。まず、画像補間部１４を介し、メモリコントローラ１６による制御により、メモリ１７には、図１８Ｃに示した画素データが順次記憶される。メモリコントローラ１６は、そのメモリ１７に記憶された画素データを必要に応じ読み出し、画像補間部１４に供給する。
【００８８】
このメモリコントローラ１６による読み出しと、画像補間部１４における処理について説明するに、この場合、図１８Ｄの上段に示した図のように、画素Ｇ１の途中の位置にある読み出し開始位置Ｒ２から画素データの読み出しが行われるわけだが、画素の途中から読み出すことはできないため、読み出しではなく、図１８Ｄの下段に示したように画素Ｇ１’、画素Ｇ２’、…、といった画素データが生成（補間）され、出力されるといった処理が行われる。
【００８９】
この補間の処理は、図１３や図１５を参照して既に説明したが、係数などを画素データに乗算するといった処理により行われる。水平方向および垂直方向に関し、それぞれ画素の生成（画素の補間）といた処理が行われる。このような処理により、こまかな手ぶれの補正が行われる。このような処理が行われるためには、画素データを記憶するためのメモリ１７が必要であり、また、そのメモリ１７への書き込みと読み出しを制御するためのメモリコントローラ１６が必要であるため、図５に示すような構成とされている。
【００９０】
なお、図５に示した構成例では、信号処理部１３から出力される画素データ（画像データ）は、画像補間部１４を介して、メモリコントローラ１６の制御のもと、メモリ１７に記憶されるようになっている。このような構成とすることにより、上述した画像補間部１４による画素の補間といった処理が行われる前（信号処理部１３からのデータをメモリコントローラ１６に供給する際）に、画像の解像度の変換を行い、その解像度の変換が行われた画像に対して、手ぶれの補正といった処理が行われるようにすることが可能となる。
【００９１】
すなわち、画像補間部１４においては、入力されたデータに対して解像度の変換といった処理を行うことも可能であるし、出力されるデータに対して画素の補間といった処理を行うことも可能である。このように、メモリ１７に記憶される画素データ（画像データ）と、記憶された、それらのデータを、画像補間部１４を介するようにすることにより、処理にバリエーションを持たせることができる。
【００９２】
上述した実施の形態においては、画像処理装置１０がＴＧ１５を備えている場合を例に挙げて説明したが、ＴＧ１５は、手ぶれ補正のための処理に関しては、必ずしも必要な部分ではなく、画像処理装置１０がＴＧ１５を備えない構成であっても、本発明を適用することはできる。
【００９３】
画像処理装置１０がＴＧ１５を備えていない場合、画像補間部１４とメモリコントローラ１６で上述した画素の補間（読み出しと生成）が行われるようにすればよい。手ぶれ補正量算出部１９が算出した手ぶれ補正量による読み出し開始位置が、図１８Ａに示すような読み出し開始位置Ｒ０であった場合、ＴＧ１５により行われた大まかな補正を行うことなく、図１８Ｄに示すような画素データの生成が画素Ｇ１から開始されるようにすれば良い。換言すれば、画像補間部１４とメモリコントローラ１６により、大まかな補正と細かな補正を、一括して行うようにすればよい。
【００９４】
上述した実施の形態において、メモリ１７の容量に関する説明はしていないが、メモリ１７の容量は、例えば、１画像分のデータが記憶できる容量であればよい。しかしながら、以下に説明するように、手ぶれ補正量などを処理することにより、１画像分のデータを記憶できる容量以下であっても、処理を行うことが可能である。すなわち、メモリ１７の容量が小さくても、上述した精度の良い手ぶれの補正を行うことが可能である。
【００９５】
まず、水平方向の手ぶれ補正を行う場合について説明する。図１９に示すように、１フィールドまたは１フレーム内に、手ぶれ検出部１８（図５）が、８回の手ぶれ情報を検出する画像処理装置１０であるとして説明をする。露光期間を図１９に示したように設定すると、ライン１の手ぶれ情報は、情報ａ１乃至情報ａ６までのデータから算出することができ、ここでは、そのように設定されているとする。
【００９６】
上述したように、本実施の形態においては、加えられた手ぶれを補正するための手ぶれ補正量は、所定のラインに関するデータを用いて補間（算出）することにより、ライン毎の手ぶれ補正量を用意するようにした。この手ぶれ量、または、手ぶれ補正量の補間の際には、図９Ｂを再度参照するに、例えば、ライン１’とライン５０’の２つのラインの手ぶれ情報がなければ、その間のライン２’乃至４９’の手ぶれ量、および、手ぶれ補正量を取得することはできない。
【００９７】
しかしながら、図１８に示したように、ライン１（例えば、ライン１’）の手ぶれ情報として、情報ａ１乃至ａ６を用いるようにした場合、換言すれば、そのラインの露光期間内で取得することが可能な手ぶれ情報（この場合６個）を用いるようにした場合、次の情報ａ７が取得されるまで、次の手ぶれ量を算出することができない。この場合、情報ａ７が取得されるのは、ラインｉ（例えば、ライン５０’）のときである。
【００９８】
従って、６個の手ぶれ情報を用いて手ぶれ量を算出するようにした場合、ライン１乃至ｉの間にあるライン２乃至（ｉ−１）（例えば、ライン２’乃至４９’）は、ラインｉにおける情報ａ７が取得されるまで、補間処理が行えないことになる。すなわち、このような手ぶれ検出では、所定の位置のラインを読み出すときに、そのラインでの手ぶれ情報が取得されておらず、手ぶれ補正により画素データを読み出す位置を決めることができないことになる。このために、一旦、画像データをメモリ１７に蓄えて、手ぶれ補正量を算出した後に、読み出し（および補間などの処理）を実行する必要がある。
【００９９】
しかしながら、ここで、ライン１の手ぶれ量を、情報ａ２乃至ａ５から算出するようにする。すなわち、露光期間に取得できる手ぶれ情報のうち、両端の情報を除き、中央に位置する４個の情報から手ぶれ量を算出するようにする。
【０１００】
このように、中央部分の情報（時間的に中央に位置する情報とその前後の情報）を用いて手ぶれ量を算出するようにすると、ライン１の露光期間が終了した時点で、ラインｉに関する手ぶれ量を算出するときに必要とされる情報ａ３乃至ａ６までの情報が、既に検出（取得）されていることになる。従って、ライン１の時点で、ラインｉに関する手ぶれ量を算出することができるので、ライン１の手ぶれ量とラインｉの手ぶれ量とからライン２乃至ライン（ｉ−１）に関する手ぶれ量を、ライン毎に、ライン１の時点で取得（算出）することができる。
【０１０１】
よって、画像データを一旦メモリ１７に、手ぶれ量を算出するために蓄えるようなことをしなくても、手ぶれ量および手ぶれ補正量を算出することができ、もって、メモリ１７に画像データを記憶しなくても、水平方向に関しては、手ぶれ補正を行うことが可能となる。
【０１０２】
仮に、ライン１の手ぶれ量を、中央部分の情報ａ３と情報ａ４を用いて算出するようにした場合、すなわち、中央部分の２つの情報だけでライン１の手ぶれ量を算出するようにした場合、ライン１の手ぶれ量を算出する時点で（１ライン目の露光期間が終了した時点で）、ラインｉと、さらにその先のラインｊの手ぶれ量まで算出することが可能となる。
【０１０３】
このようにした場合、１ラインに関する手ぶれ量は、少ない情報から生成されることになるが、他のライン（例えば、ライン１に対しては、ラインｉやラインｊ）の手ぶれ量をも用いて、すなわち、複数のラインの手ぶれ量を用いて、１ラインの手ぶれ量を補正するような処理を行うことにより、精度が高い手ぶれ量を算出するようにすることも可能であるし、その結果、より精度が高い手ぶれ補正量を算出するようにすることも可能である。
【０１０４】
次に、垂直方向の手ぶれ補正を行う場合について説明する。垂直方向の手ぶれの補正に関しても、上述した水平方向の手ぶれの補正の場合と、基本的に同様であるので、差異のある部分について説明する。図１９を再度参照して説明する。垂直方向に関しても、上述した水平方向の場合と同様に、１ライン目（ライン１）の手ぶれ量を算出するのに、例えば、情報ａ２乃至ａ５の情報から算出するようにすれば、１ライン目の露光期間が終了した時点で、ラインｉの手ぶれ量を算出するのに必要な情報ａ３乃至ａ６が既に検出（取得）されていることになる。
【０１０５】
このため、上述した水平方向の場合と同じく、１画面分の画像データを記憶する容量を備えるメモリ１７を、画像処理装置１０が備える必要はなく、メモリ１７の容量は小さくても、本発明を適用した精度良い手ぶれの補正を行うことができる。
【０１０６】
しかしながら、水平方向の手ぶれ補正と異なり、垂直方向の手ぶれ補正においては、図１４や図１５を参照して説明したように、複数のラインをまたがって処理を行う必要があるため、手ぶれ量と、画素を補間する際に必要となる画素数分（例えば、１０ライン分）の画素（画像）データを記憶するだけの容量をもつメモリ１７を、画像処理装置１０は備える必要がある。
【０１０７】
このように、画像処理装置１０は、メモリ１７を備える必要はあるが、その容量は、１画像を記憶できる容量以下で良く、メモリ１７の容量の削減を行うことができる。従って、メモリ１７の手ぶれ補正のための画像データの記憶のために必要な容量以外の容量を、他の処理のために使うことや、容量を削減することによりメモリ１７にかかるコスト自体を低減させることが可能となる。
【０１０８】
以上のように、手ぶれ検出部１８（図５）において、短い期間に取得される情報で、手ぶれ量（手ぶれ補正量）の算出を行うと、メモリ１７の容量の削減を行うことができる。上述した実施の形態においては、説明の簡略化のために、１フィールドまたは１フレーム内に８回の手ぶれ情報を検出するとしたが、本発明を適用するうえで、手ぶれの検出回数に制限はなく、如何なる回数であっても、本発明を適用することができる。
【０１０９】
ところで、Ｘ−Ｙアドレス型の固体撮像素子を用いた撮像装置の撮像過程においては、各画素の画像情報は、露光期間が終了した直後に読み出される。上述したようにメモリ１７の容量が削減できる方法を適用した場合、問題が生じることが考えられる。その問題とは、露光期間が短くなる（シャッタースピードが速くなる、換言すれば、手ぶれ検出間隔＞露光時間の半分の関係が満たされる）と、画素情報を読み出すタイミングの時に、まだ、次の時刻の手ぶれ量が検出されていない状態になる場合があることである。
【０１１０】
その問題について、図２０を参照して説明する。領域１において、各ラインの露光中心は、手ぶれ検出に関する情報a４と情報a５の間に存在する。このとき、手ぶれ量は、情報a４と情報a５の情報から補間される必要があるが、領域１内の各ラインが読み出される時刻には、情報a５の手ぶれ検出はまだ行われていない状態である。そのために、領域１において、手ぶれ量を補間により求めることができない。
【０１１１】
領域２において、各ラインの読み出し時刻が情報a５の検出時刻を超える。各ラインの露光中心が、手ぶれ検出に関する情報a４と情報a５の間に存在し、かつ、情報a４と情報a５の手ぶれが検出されているため、各ラインの手ぶれ量は、情報a４と情報a５の手ぶれ情報から補間で求めることが可能となる。
【０１１２】
領域３において、各ラインの露光中心が情報a５の検出時刻を超え、手ぶれ検出情報a５と情報a６の間に存在する。このとき手ぶれ量は、情報a５と情報a６の情報から補間する必要があるが、領域３内の各ラインの読み出す時刻に、まだ情報a６の手ぶれ検出が行われていない。そのため、領域３では手ぶれ量を補間により求めることができない。
【０１１３】
このように、（手ぶれ検出間隔）＞（露光時間の半分）という条件が満たされるとき、手ぶれ量が補間できない領域が存在してしまうことが考えられる。
【０１１４】
手ぶれ検出のサンプリング周波数を増加させることで、手ぶれ検出間隔を短くして前述した問題を避けることは可能だが、計算量や通信量の増加によりシステム負担が増大する。
【０１１５】
そこで、システム負担を抑え、かつ、前述した問題を解決する方法として、手ぶれ量の予測を行うようにする。過去の手ぶれ情報から、次の時刻の手ぶれ量を予測するものである。例えば、図２１に示すように、予測した手ぶれ量Ｆ１を算出するに、過去の手ぶれ量Ｐ１とＰ２を用い、その手ぶれ量Ｐ１とＰ２から線形的に直線１を取得し、その直線１の延長上の１点である手ぶれ量Ｆ１を算出する。
【０１１６】
この方法は、一例に過ぎず、予測に用いる過去の手ぶれデータ数や、予測アルゴリズム等に制限はない。
【０１１７】 上述した実施の形態においては、画面の上端または下端の近傍における手ぶれ量（手ぶれ補正量）の補間処理を実行する場合、時間的に前後のフィールドまたはフレームにおける手ぶれデータを利用して、補間のための演算を行うようにしても良い。そのようにした場合、より、精度高く手ぶれを補正するための補正量などを算出することができ、もって、より精度高く手ぶれを補正することが可能となる。
【０１１８】
なお、上述した実施の形態においては、撮像される画像についての説明は特にしていないが、撮像される画像は、静止画像、動画像のどちらでも良い。すなわち、本発明は、静止画像を撮像するカメラなどにも適用できるし、動画像を撮像するカメラなどにも適用できる。
【０１１９】
以上のように、本発明によると、検出される少ない手ぶれに関するデータから、補間により、画像を構成する１ライン毎の手ぶれを補正するためのデータを求めることが可能となる。また、１ピクセル以下の手ぶれ量を補正するために、画素データの補間を行うようにすることで、ＣＭＯＳなどのＸ−Ｙアドレス型の固体撮像素子を用いたビデオカメラなどの画像処理装置における手ぶれによる画像の歪みを、ライン毎に、１ピクセル単位以下の精度で補正することができる。
【０１２０】
さらに、本発明によると、撮像された画像の画像データを記憶するためのメモリ１７の容量を、削減することが可能となる。勿論、本発明は、ＣＭＯＳなどのＸ−Ｙアドレス型の固体撮像素子ではなく、ＣＣＤなどの電荷転送型の固体撮像素子を用いたビデオカメラなどに適用することも可能である。
【０１２１】
上述した手ぶれを補正するための処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２２】
記録媒体について説明するために、簡単に、記録媒体を扱うパーソナルコンピュータについて説明する。図２２は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２０５は、キーボードやマウスから構成される入力部２０６が接続され、入力部２０６に入力された信号をＣＰＵ２０１に出力する。また、入出力インタフェース２０５には、ディスプレイやスピーカなどから構成される出力部２０７も接続されている。
【０１２３】
さらに、入出力インタフェース２０５には、ハードディスクなどから構成される記憶部２０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２０９も接続されている。ドライブ２１０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１２４】
記録媒体は、図２２に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２０８が含まれるハードディスクなどで構成される。
【０１２５】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
【発明の効果】
本発明によれば、撮像時に加えられた手ぶれを補正することができる。
【０１２７】
本発明によれば、より精度良く手ぶれを補正することができる。
【０１２８】
本発明によれば、１ピクセル以下の手ぶれを補正することができる。
【０１２９】
本発明によれば、手ぶれの補正に必要な画像データを記憶するためのメモリの容量を削減することができる。
【０１３０】
本発明によれば、露光時間を短くした場合でも、手ぶれの補正に必要な画像データを記憶するためのメモリの容量を削減することができる。
【図面の簡単な説明】
【図１】Ｘ−Ｙアドレス型の撮像素子からの画像データの読み出しについて説明するための図である。
【図２】ライン毎の読み出しのずれについて説明するための図である。
【図３】手ぶれにより、被写体の画像が歪むことについて説明するための図である。
【図４】手ぶれにより、被写体の画像が歪むことについて説明するための図である。
【図５】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図６】手ぶれ量について説明するための図である。
【図７】手ぶれにより、被写体の画像が歪むことについて説明するための図である。
【図８】画像処理装置の動作について説明するためのフローチャートである。
【図９】手ぶれ量の補間について説明するための図である。
【図１０】手ぶれ補正量について説明するための図である。
【図１１】読み出し位置について説明するための図である。
【図１２】読み出しについて説明するための図である。
【図１３】画素の補間について説明するための図である。
【図１４】読み出しについて説明するための図である。
【図１５】画素の補間について説明するための図である。
【図１６】補間された画素による画像について説明するための図である。
【図１７】画像処理装置の他の動作について説明するためのフローチャートである。
【図１８】画素の読み出しについて説明するための図である。
【図１９】手ぶれ量の算出に必要な情報について説明するための図である。
【図２０】手ぶれ量の算出に必要な情報について説明するための図である。
【図２１】手ぶれ量の予測について説明するための図である。
【図２２】媒体を説明する図である。
【符号の説明】
１０ 画像処理装置， １１ 撮像素子， １２ ＡＦＥ， １３ 信号処理部， １４ 画像補間部， １５ ＴＧ， １６ メモリコントローラ， １７メモリ， １８ 手ぶれ検出部， １９ 手ぶれ補正量算出部

Claims (12)

1. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像を記憶する記憶手段と、
   加えられた振動を検出し、振動検出情報を出力する出力手段と、
   前記出力手段から出力された前記振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換手段と、
   前記変換手段により変換された前記振動量から加えられた前記振動による前記画像への影響を低減するための補正量を算出する算出手段と、
   前記振動量または前記補正量を補間する補間手段と、
   前記補正量に基づいて前記撮像手段により撮像された前記画像を補正し、補正後の画像を出力する補正手段と
   を備え、
   前記変換手段は、前記振動検出情報を、前記記憶手段に記憶された前記画像における第１のラインが撮像されときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
   前記補間手段は、前記第１の振動量、前記第２の振動量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、
   前記算出手段は、前記補間手段により補間された振動量から、前記画像のライン毎の前記補正量を算出するか、
   または、
   前記変換手段は、前記振動検出情報を、前記記憶手段に記憶された前記画像における第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
   前記算出手段は、前記第１の振動量から第１の補正量を、前記第２の振動量から第２の補正量を、および前記第３の振動量から第３の補正量をそれぞれ算出し、
   前記補間手段は、前記第１の補正量、前記第２の補正量および前記第３の補正量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する
   ことを特徴とする画像処理装置。
2. 前記補正手段は、前記補正量に基づき、補正後の画素の位置に位置する前記撮像手段により撮像された前記画像内の画素の画素データを用いて、前記補正後の画素を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、所定の期間内に前記出力手段から出力された前記振動検出情報のうち、時間的に中央と、その前後に位置する複数の前記振動検出情報から、前記振動量を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記変換手段は、過去の振動検出情報から未来の振動検出情報を予測する能力を持つ
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記算出手段は、１枚の画像撮像中に，前記変換手段から前記振動量を１回以上生成する、または、前記補正手段から前記補正量を１回以上算出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記変換手段からの前記振動量と、前記算出手段からの前記補正量は、１ピクセル単位以下の数値も含む
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記補正手段は、１ピクセル単位以下の精度で画素補間を行う
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記補正手段が前記画像の垂直方向の補正を行うときに必要となる前記撮像手段により撮像された前記画像のデータのみを前記記憶手段に記憶する
   さらに備えることを特徴とする請求項１に記載の画像処理装置。
9. 前記画像１枚分ではなく、前記画像中の手ぶれ補正に必要な領域のみを前記記憶手段に記憶する
   ことを特徴とする請求項１に記載の画像処理装置。
10. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による前記画像への影響を低減するための補正を行う画像処理装置の画像処理方法において、
    撮像素子による画像の撮像を制御する撮像制御ステップと、
    加えられた振動を検出する検出ステップと、
    前記検出ステップの処理で検出された前記振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、
    前記変換ステップの処理で変換された前記振動量から加えられた前記振動による前記画像への影響を低減するための補正量を算出する算出ステップと、
    前記振動量または前記補正量を補間する補間ステップと、
    前記補正量に基づいて前記撮像制御ステップの処理で撮像が制御された前記画像を補正し、補正後の画像を出力する補正ステップと
    を含み、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記補間ステップの処理で、前記第１の振動量、前記第２の振動量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、
    前記算出ステップの処理で、前記補間ステップの処理で補間された振動量から、前記画像のライン毎の前記補正量を算出するか、
    または、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記算出ステップの処理で、前記第１の振動量から第１の補正量を、前記第２の振動量から第２の補正量を、および前記第３の振動量から第３の補正量をそれぞれ算出し、
    前記補間ステップの処理で、前記第１の補正量、前記第２の補正量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する
    ことを特徴とする画像処理方法。
11. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による前記画像への影響を低減するための補正を行う画像処理装置のプログラムであって、
    撮像素子による画像の撮像を制御する撮像制御ステップと、
    加えられた振動を検出する検出ステップと、
    前記検出ステップの処理で検出された前記振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、
    前記変換ステップの処理で変換された前記振動量から加えられた前記振動による前記画像への影響を低減するための補正量を算出する算出ステップと、
    前記振動量または前記補正量を補間する補間ステップと、
    前記補正量に基づいて前記撮像制御ステップの処理で撮像が制御された前記画像を補正し、補正後の画像を出力する補正ステップと
    を含み、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記補間ステップの処理で、前記第１の振動量、前記第２の振動量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、
    前記算出ステップの処理で、前記補間ステップの処理で補間された振動量から、前記画像のライン毎の前記補正量を算出するか、
    または、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記算出ステップの処理で、前記第１の振動量から第１の補正量を、前記第２の振動量から第２の補正量を、および前記第３の振動量から第３の補正量をそれぞれ算出し、
    前記補間ステップの処理で、前記第１の補正量、前記第２の補正量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像するとき、加えられた振動による前記画像への影響を低減するための補正を行う画像処理装置を制御するコンピュータに実行させるプログラムにおいて、
    撮像素子による画像の撮像を制御する撮像制御ステップと、
    加えられた振動を検出する検出ステップと、
    前記検出ステップの処理で検出された前記振動に関する振動検出情報を、加えられた振動の大きさを示す振動量に変換する変換ステップと、
    前記変換ステップの処理で変換された前記振動量から加えられた前記振動による前記画像への影響を低減するための補正量を算出する算出ステップと、
    前記振動量または前記補正量を補間する補間ステップと、
    前記補正量に基づいて前記撮像制御ステップの処理で撮像が制御された前記画像を補正し、補正後の画像を出力する補正ステップと
    を含み、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記補間ステップの処理で、前記第１の振動量、前記第２の振動量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の振動量を補間し、
    前記算出ステップの処理で、前記補間ステップの処理で補間された振動量から、前記画像のライン毎の前記補正量を算出するか、
    または、
    前記変換ステップの処理で、前記振動検出情報を、前記画像の第１のラインが撮像されたときの第１の振動量、第２のラインが撮像されたときの第２の振動量、および第３のラインが撮像されたときの第３の振動量に変換し、
    前記算出ステップの処理で、前記第１の振動量から第１の補正量を、前記第２の振動量から第２の補正量を、および前記第３の振動量から第３の補正量をそれぞれ算出し、
    前記補間ステップの処理で、前記第１の補正量、前記第２の補正量、および前記第３の振動量を用い、前記第１のライン、前記第２のライン、および前記第３のラインの間に位置するラインが撮像されたときのライン毎の補正量を補間する
    ことを特徴とするプログラム。

Images