JP4873523B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、携帯可能な撮像装置で撮像する際、振動による影響を軽減させる画像処理装置および方法、並びにプログラムに関する。

携帯可能なビデオカメラやデジタルスチルカメラ（以下、ビデオカメラを例に挙げて説明を続ける）は、一般的に使用されるようになってきている。このようなビデオカメラに用いられる個体撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）センサに代表される電荷転送型の個体撮像素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに代表されるＸ−Ｙアドレス型の個体撮像素子がある。

ＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さく、単一の低電圧で駆動され、周辺回路との一体化も容易であることから、ビデオカメラなどの画像処理装置に用いられることがある。

しかしながら、ビデオカメラなどの画像処理装置の撮像素子としてＣＭＯＳセンサを用いて高画質な動画像や静止画像を記録することは困難であった。その理由の１つとして、手振れにより撮像される画像に歪みが発生してしまうことが挙げられる。画像処理装置の撮像素子として既に用いられているＣＣＤセンサの場合、手振れによる影響を低減させるための処理を実行する上で必要とされる補正量は、１フィールドまたは１フレーム内で得られた手振れ情報に基づいて算出された単一の値が用いられる。これは、全ての画素の露光期間が等しく、画像の歪みが生じないために、単一の値で手振れの補正ができる。

ＣＣＤセンサに対して、ＣＭＯＳセンサは、以下のような仕組みにより、被写体の画像を撮像し、処理するため、その画像には、手振れによる歪みが生じる。その歪みは、以下のようにして生じると考えられる。

ＣＣＤセンサのような電荷転送型の固体撮像素子は、全画素を同時期に露光して、画素データを読み出すことが可能であるが、ＣＭＯＳセンサのようなＸ−Ｙアドレス型の固体撮像素子は、１画素単位あるいは１ライン単位で順番に読み出される。１ライン単位で順次画素データが読み出される場合、例えば、１画像が１乃至Ｎラインから構成され、１ラインの読み出しにｔ秒かかるとき、１画像のデータを読み出すのには、Ｎ×ｔ秒の時間が必要となる。

このことを換言するならば、１ライン目が読み出されてから、約Ｎ×ｔ秒経過後に、Ｎライン目が読み出されることになる。この時間差のために、画像が撮像されているとき（ライン毎のデータの読み出しが行われているとき）に、手振れなどの振動が加えられた場合、１ライン目とＮライン目とで、画像が存在する位置がずれてしまい、その撮像されている画像に歪みが生じてしまうことがあった。

このような画像の歪みを低減するために、手振れなどの振動が加えられたときに、その振動を打ち消すような補正を行うこと提案されている。（例えば、特許文献１参照）
特開２００４−２６６３２２号公報

ところで、手ぶれ補正以外の処理も、ビデオカメラなどの装置では勿論行われている。近年のビデオカメラは、画素数の増加、高精細化などにより、扱うデータ量、処理量が多くなってきている。そのために、必要とされるメモリの容量が増大し、処理能力を向上させなくてはならない。

特に動画像を扱う場合、静止画像を扱う場合と異なり、リアルタイム性が重要となり、そのために、より大きなメモリ容量が必要となり、高度な処理能力が必要とされる。行われる信号処理が膨大な規模になると、コスト高になり、消費電力が増してしまう。しかしながら、コストは低い方が良く、消費電力も低い方が駆動時間を長くできるので良い。よって、コストを低減させ、消費電力を低減させること、またそのような低減させることに影響を与える処理を効率化することが、望まれている。

本発明はこのような状況に鑑みてなされたものであり、処理の効率化をはかり、コストの低減や消費電力を低減させるようにする。

本発明の第１の画像処理装置は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力手段と、振動による前記画像への影響を低減するための補正量の１画面における点数を、電子的なズームのズーム倍率に対応して設定する設定手段と、前記設定手段により設定された前記点数だけ、補正量を算出する算出手段と、前記算出手段により算出された前記補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する補正手段とを備える。

前記撮像手段により画像が撮像されたときのズーム倍率が、所定の閾値以上である場合、設定手段は点数を設定するようにすることができる。

本発明の第１の画像処理方法は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像ステップと、加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力ステップと、振動による前記画像への影響を低減するための補正量の１画面における点数を、電子的なズームのズーム倍率に対応して設定する設定ステップと、前記設定ステップの処理で設定された前記点数だけ、補正量を算出する算出ステップと、前記算出ステップの処理で算出された前記補正量に基づいて前記撮像ステップにより撮像された前記画像をライン単位で補正する補正ステップとを含む。

本発明の第１の画像処理装置および方法においては、加えられた振動による影響を低減させるための補正量が算出される。その補正量が算出されるとき、電子的なズームのズーム倍率が所定の閾値以上である場合、所定の閾値以下のときよりも少ない点数の補正量が算出され、その補正量が用いられて、加えられた振動による影響を低減させるための処理が、Ｘ−Ｙアドレス型の固体撮像素子により撮像された画像に対して、ライン単位で行われる。

本発明の第２の画像処理装置は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力手段と、前記振動量出力手段により出力された前記振動量から、前記振動による前記画像への影響を低減するための補正量を算出する算出手段と、前記撮像手段により撮像された前記画像のうち、処理する領域を、電子的なズームのズーム倍率に応じて設定する設定手段と、前記設定手段により設定された領域内だけ処理する処理手段とを備え、前記処理手段は、補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する。

前記撮像手段により画像が撮像されたときのズーム倍率が、所定の閾値以上である場合、設定手段は処理する領域を設定するようにすることができる。

本発明の第２の画像処理方法は、Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像ステップと、加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力ステップと、前記振動量出力ステップの処理で出力された前記振動量から、前記振動による前記画像への影響を低減するための補正量を算出する算出ステップと、前記撮像ステップの処理で撮像された前記画像のうち、処理する領域を、電子的なズームのズーム倍率に応じて設定する設定ステップと、前記設定ステップの処理で設定された領域内だけ処理する処理ステップとを含み、前記処理ステップは、補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する。

本発明の第２の画像処理装置および方法においては、Ｘ−Ｙアドレス型の固体撮像素子により撮像された画像のうち、処理すべき領域が、ズーム倍率により設定され、その設定された領域内の画像のみが処理対象とされて、加えられた振動による影響を低減させるための処理がライン単位で行われる。

本発明によれば、状況に応じた手ぶれ補正（振動による影響を低減させる補正）を行うことができる。

本発明によれば、ズームの倍率に応じた適切な手ぶれ補正を行うことができる。また本発明によれば、ズーム時の手ぶれ補正に係わる処理を低減させることができる。

以下に、本発明の実施の形態について図面を参照して説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。画像処理装置１０の撮像素子１１は、例えば、Ｘ−Ｙアドレス型の固体撮像素子（ＣＭＯＳなど）により構成される。撮像素子１１により撮像された被写体の画像のデータは、ＡＦＥ（Analog Front End）１２に供給される。

ＡＦＥ１２は、供給された画像データをデジタル信号の画像データに変換し、信号処理部１３に供給する。信号処理部１３は、供給された画像データから、輝度信号と色差信号を算出し、その算出したそれぞれの信号を、画像補間部１４に供給する。

画像補間部１４に供給される画像データは、撮像素子１１により撮像された被写体の画像のデータであるが、撮像素子１１により撮像された画像の全てのデータが、画像補間部１４に供給されるわけではなく、ＴＧ（Timing Generator）１５からのタイミングに従って読み出されたデータのみが、画像補間部１４に供給される。

画像補間部１４に供給されたデータは、一旦、メモリコントローラ１６の制御の基、メモリ１７に供給される。逆にメモリ１７に記憶されたデータは、メモリコントローラ１６の指示により読み出され、画像補間部１４に供給される。画像補間部１４は、供給されたデータに対して、振動による悪影響を低減するための補間処理など（詳細は後述する）を施し、図示されていない記録媒体に出力し、記録させたり、図示されていないディスプレイなどに出力し、表示させたりする。なお、画像処理装置１０に加えられる振動としては、ユーザの手ぶれなどがある。

画像補間部１４、ＴＧ１５、およびメモリコントローラ１６は、振動検出部１８により検出された振動量に応じ、補正量算出部１９により算出された補正量に基づいた制御を行う。

振動検出部１８は、例えば、角速度センサなどのセンサを用いた方法や、画像処理等によるセンサレスの振動検出の方法などが用いられ、撮影中に画像処理装置１０に加えられた振動を検出する。例えば、振動検出部１８が、角速度センサにより構成されていた場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータを補正量算出部１９に供給する。

その検出された振動量に基づき、補正量算出部１９は、振動に伴う動きを補正するための補正量のデータを算出する。補正量算出部１９は、補正量を算出する際、ズーム倍率取得部２０により取得されるズーム倍率に関する情報を参照して行う。

なお、ズームとは、被写体を拡大撮影することを意味し、ズーム倍率とは、どのくらい拡大して撮影するかを表す値を意味する。画像処理装置１０が、例えば、デジタルカメラなどと称され、デジタルデータとして撮影される被写体の画像のデータを扱う場合、ズームには、光学的なズーム（光学ズーム）と電子的なズーム（電子ズーム）が、一般的にある。

光学ズームでは、撮像素子１１に含まれるレンズを駆動させることにより、撮影される被写体の画を拡大するための処理が行われる。電子ズームでは、撮影された被写体の画を、電子的に処理することにより、拡大処理するための処理が行われる。ズーム倍率とは、特に説明が無い限り、電子ズームのときの倍率を意味するとして説明を続ける。

図１の画像処理装置１０の構成の説明に戻り、補正量算出部１９は、供給されたデータを用いて、何ピクセル移動させれば加えられた振動による影響を低減できるかという補正量を、１ライン毎に算出する。ここで、１ライン毎にというのは、ＣＭＯＳなどの個体撮像素子においては、１ライン単位で画像データが順次読み出される。そのため、１ライン毎に補正量が基本的に算出される。ここで、“基本的に算出される”と記載したのは、後述するように、ズーム倍率により、１ライン毎に補正量が算出されないように設定できるからである。

ここで、図２を参照し、電子ズームにおけるズーム倍率と、補正量について説明する。図２は、Ｘ−Ｙアドレス型の固体素子で撮影したときに、その撮影時に加えられた振動を打ち消すための補正量と、ズーム倍率毎に、処理される領域との関係を示した図である。

図２において、“×１”との表記は、電子ズームの倍率が“１”倍であることを示す。同様に、“×２”との表記は、電子ズームの倍率が“２”倍であることを示し、“×４”との表記は、電子ズームの倍率が“４”倍であることを示し、“×８”との表記は、電子ズームの倍率が“８”倍であることを示し、“×１６”との表記は、電子ズームの倍率が“１６”倍であることを示す。

倍率が１倍のときは、ズームに関して、電子ズームに係わる処理は行われていない状態であり、光学ズームによる処理のみが行われている状態である。光学ズームによる処理のみが行われている状態のときに１画面を構成するライン数をＮ本とする。電子ズームの倍率が１のときには、１画面を構成するライン数はＮ本であり、光学ズームの倍率により、その本数が変化することはない。

光学ズーム時の処理に対し、電子ズーム時の処理は、１画面を構成するライン数は倍率により変化する。電子ズーム時には、光学ズーム時に１画面を構成するライン数が減少され、倍率に応じた所定のライン数が用いられて、１画面が構成される。すなわち、倍率に応じ、１画面は、Ｎ本以下のライン数で構成される。

図２において、斜線を付した部分は、それぞれの倍率における１画面を示している。Ｘ−Ｙアドレス型の固体素子においては、ライン毎（または画素単位）で読み出しが行われるため、各ラインの読み出し開始のタイミングが異なる。よって、図２に示すように、１画面の読み出しをライン毎に、時間経過と共に図示すると、１画面分のデータが読み出される部分は、平行四辺形となる。

電子ズームの倍率が“×１”のときの１画面のライン数（Ｎ本）を基準とすると、電子ズームの倍率が“×２”のときの１画面は、基準のライン数の半分のライン数（１／２Ｎ本）で構成される。また、電子ズームの倍率が“×４”のときの１画面は、基準のライン数の１／４のライン数（１／４Ｎ本）で構成される。

また、電子ズームの倍率が“×８”のときの１画面は、基準のライン数の１／８のライン数（１／８Ｎ本）で構成され、電子ズームの倍率が“×１６”のときの１画面は、基準のライン数の１／１６のライン数（１／１６Ｎ本）で構成される。

このように、電子ズームの処理が行われている場合、その電子ズームの倍率に応じて、１画面を構成するライン数は異なる数とされる。

画像処理装置１０には、さまざまな振動が加えられる可能性があるが、ユーザが保持しているときの手による振動、すなわち、手ぶれが、加えられる振動のもっとも大きな要因である。主に手ぶれにより発生する振動で、画像に与えられる悪影響を軽減するための処理を行うために、その振動に関する情報（振動量）が取得される。その振動量について説明を加える。

図２の下図に示した振動量に関する情報は、振動検出部１８（図１）により検出され、補正量算出部１９に供給される。図２に示した例では、振動検出部１８により、１画面で３つの振動量が取得される場合を示している。図２の下図においては、１画面の最初のライン、中央のライン、最後のラインの、３つのラインで、それぞれ振動量が取得される場合を示している。また、図２下図における曲線は、加えられた振動量の変化を示している。

倍率“×１”のときに取得される振動量は、振動量Ｐ１−１，Ｐ１−２，Ｐ１−３である。“振動量Ｐ１−１”との表記において、ハイフン（―）の前の数字は、ズーム時の倍率を示し（この場合、１）、ハイフンの後の数字は、説明のための識別子を示す（この場合、１）とする。他の表記も同様の意味であるとする。

倍率“×２”のときに取得される振動量は、振動量Ｐ２−１，Ｐ２−２，Ｐ２−３である。倍率“×４”のときに取得される振動量は、振動量Ｐ４−１，Ｐ４−２，Ｐ４−３である。倍率“×８”のときに取得される振動量は、振動量Ｐ８−１，Ｐ８−２，Ｐ８−３である。倍率“×１６”のときに取得される振動量は、振動量Ｐ１６−１，Ｐ１６−２，Ｐ１６−３である。

なお、ここでは、説明の都合上、３点の振動量が１画面から取得されるとして説明するが、実際には３点以上の振動量が取得される。

［画像処理装置の動作について］
図３乃至図５のフローチャートを参照し、図１に示した構成を有する画像処理装置１０の動作について説明する。画像処理装置１０は、上記したように、加えられた振動による影響を軽減するための処理を実行し、特に、電子ズームの処理が実行されるときに加えられた振動の影響を軽減するための処理に特徴がある。

以下の説明においては、高倍率時の処理として、３つの実施の形態を説明する。まず、第１の実施の形態について以下に説明を加える。

［倍率に応じた係数を乗算する形態］
ステップＳ１１において、補正量算出部１９は、振動検出部１８から検出された振動量のデータを取得する。例えば、図２の下図に示したような情報が、振動検出部１８により検出され、補正量算出部１９に供給される。

このように、所定のラインで振動量が取得されると、補正量算出部１９は、ステップＳ１２において、補正量の算出を行う。補正量とは、振動量を、振動のない状態（振動による影響が低減された状態）にするために、どれだけの補正を行えば良いのかを表すピクセル単位の値である。

例えば、図２の下図に示したように、最初のラインに関する振動量Ｐ１−１が、（Ｐ１−１）ピクセルであった場合、その振動量が（Ｐ１−１）ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわちこの場合、―（Ｐ１−１）ピクセルが補正量として算出されるようにすれば良い。他のラインに関しても同様に、それぞれのラインに関する振動量から補正量が算出される。

なお、補正量はライン毎に算出される。ここでは、上記したように、最初、中央、および、最後の３本のラインから振動量が取得されるとしているが、それらのライン以外の振動量が取得されないラインに関する補正量は、これらの３本のラインから取得された振動量から算出される。

その算出の仕方は、どのような方法でも良い。また、ここでは、３個の振動量が取得されるとしているが、１画面を構成する全てのラインから振動量が取得されるようにし、取得された振動量から、全てのラインに対して補正量が算出されるようにしても良い。

このように、補正量が算出されると、ステップＳ１３（図３）において、ズーム倍率が取得される。ズーム倍率に関する情報は、ズーム倍率取得部２０により取得され、補正量算出部１９に供給される。補正量算出部１９は、ステップＳ１４において、供給されたズーム倍率が、第１の閾値以上であるか否か（ズーム倍率＞第１の閾値という条件が満たされるか否か）を判断する。

本実施の形態においては、ズーム倍率を、低倍率と高倍率とに分ける。そして、低倍率のときと高倍率のときとでは、振動に対する影響を低減するための処理（補正）を異なる処理とする。そこで、ステップＳ１４において、その時点（ステップＳ１４の処理が実行される時点）では、低倍率であるか高倍率であるかを判断するための処理が実行される。

ステップＳ１４の処理で用いられる第１の閾値とは、ここでは、低倍率と高倍率とを分けるために設けられた値である。ステップＳ１４において、ズーム倍率は、第１の閾値より小さいと判断された場合、換言すれば、低倍率であると判断された場合、ステップＳ１５に処理が進められ、低倍率時の処理が実行される。一方、ステップＳ１４において、ズーム倍率は、第１の閾値より大きいと判断された場合、換言すれば、高倍率であると判断された場合、ステップＳ１６に処理が進められ、高倍率時の処理が実行される。

ステップＳ１５において実行される低倍率時の処理と、ステップＳ１６において実行される高倍率時の処理について、それぞれ説明する。まず、図４のフローチャートを参照し、ステップＳ１５において実行される低倍率時の処理について説明する。

ステップＳ３１において、読み出し開始位置の決定が行われる。読み出し開始位置の決定は、ステップＳ１２において算出された補正量に基づいて決定される。補正量は、１ライン毎に算出されているが、その１ライン毎の補正量に基づき、すなわち、何ピクセル分、読み出す位置をずらすかのデータに基づき、それぞれのラインの読み出し開始位置が決定される。

読み出し開始位置が決定されると、ステップＳ３２において、その決定された読み出し開始位置からデータの読み出しが行われる。このようにライン毎に、補正量を算出し、その算出された補正量を基に、データの読み出しを開始するライン上の位置を決定することにより、ライン毎に、振動による影響を補正することができる。よって、ユーザ側に提供される画像は、振動による悪影響が低減された画像とすることが可能となる。

なお、上記した補正に関する処理には、本出願人が先に出願した特開２００４−２６６３２２号公報に記載されている発明を適用することが可能である。

次に、図５のフローチャートを参照し、ステップＳ１６（図３）において実行される高倍率時の処理について説明する。ステップＳ５１において、代表量の選択が行われる。図２の下図を参照するに、所定のラインの振動量が取得され、ライン毎に補正量が算出されるわけだが、そのうちの、少なくとも１ライン分の補正量が、代表量として選択される。

なお、以下に説明するように、高倍率のときには、ライン毎に算出される補正量を、ライン毎に用いるのではなく、少なくとも１つのラインの補正量が代表量として用いられるようにする。すなわち、例えば、１画面が１０ラインから構成されている場合、１０個の補正量が算出されるわけだが、その１０個のうちの少なくとも１つの補正量が用いられ、後述する補正の処理が実行される。

代表量としては、例えば、１画面内において、一番初めに補正量が算出されるラインの補正量を代表量とする。例えば、図２において、倍率が×２のとき、振動量Ｐ２−１から算出される補正量（以下、単に、補正量Ｐ２−１と記載する。他の補正量も同様に記載する）を代表量とする。この場合、１つのラインの補正量が用いられることになる。

または、１画面内において、一番初めに補正量が算出されるラインの補正量（図２においては、補正量Ｐ２−１）と、一番後に補正量が算出されるラインの補正量（図２においては、補正量Ｐ２−３）の平均値を算出し、その平均値を代表量としても良い。この場合、２つのラインの補正量が用いられることになる。

または、画像の中央に位置するラインにおいて取得される補正量（例えば、図２の倍率×２においては、振動量Ｐ２−２から算出される補正量Ｐ２−２）が、代表量と設定されるようにしても良い。

代表量の選択の仕方に関しては、上記したような方法が考えられ、どの方法を用いても良いし、上記した以外の方法を用いるようにしても良い。

ここでは、一番初めに算出される補正量を代表量とする場合を例に挙げて説明を続ける。一番初めに算出される補正量を代表量とすることにより、以下のような利点がある。仮に、代表量として、一番後の補正量を用いる（一番後の補正量も用いる）ようにした場合、代表量を決定するためには、最後のラインの振動量のデータが取得されなくてはならない。よって、代表量を決定するために、最初のラインの振動量のデータから最後のラインのデータまでを記憶できる容量を有するメモリ、すなわち、１画面分のデータを記憶できる容量を有するメモリが必要となる。

しかしながら、一番初めに算出される補正量を代表量として用いることにより、少なくとも、代表量を決定する処理においては、１画面分のデータを記憶できる容量を有するメモリは必要なく、１画面内の１ライン分のデータを記憶できる容量を有するメモリがあれば良い。すなわち、メモリの容量を削減することができる。

図５のフローチャートの説明に戻り、ステップＳ５１において、代表量が決定されると、ステップＳ５２において、係数の算出が行われる。ここで、この係数について説明を加える。代表量以外の補正量に関しては、各ラインから算出された補正量に、所定の係数を乗算した値を、新たな補正量とし、そのラインにおける補正量として用いるようにする。

換言すれば、低倍率時の処理においては、ライン毎に、または所定のラインで取得される振動量から、ライン毎に補正量を算出し、その補正量が用いられて補正が行われたが、高倍率時の処理においては、ライン毎に補正量を算出し、代表量以外の補正量に関しては、さらに、係数が乗算され、その係数が乗算された補正量が用いられて補正が行われる。

係数は、ズーム倍率に依存して決定される。図６を参照して説明する。図６は、ズーム倍率と、係数との関係を示す図である。第１の閾値は、上記したように、ステップＳ１４（図３）において、低倍率と高倍率とを識別するために設けられた閾値である。ズーム倍率が第１の閾値以上になると、高倍率として処理され、補正量に乗算される係数が設定される。例えば、第１の閾値を、×２と設定することができる。

ズーム倍率が、第１の閾値以下の時間であるときには、すなわち、低倍率のときには、係数として１が設定されている。係数が１なので、計算上は乗算しても値は変わらないため、低倍率のときには、図４を参照して説明したように、係数を算出し、補正量に乗算するといったような処理は行われない。

ズーム倍率が、第１の閾値から第２の閾値の間の倍率であるときには、図６に示した例では、一次関数的にズーム倍率に比例して係数が決定（算出）される。

ズーム倍率が第２の閾値以上になると、係数は０と設定される。係数が０ということは、結果的には、補正量は０ということで処理されることを意味する。このことは、代表量以外の補正量に関しての補正は行われないことを意味している。

図６に示したズーム倍率と係数との関係は一例であり、本発明が、このような係数の決定に限定されることを意味するのではない。係数の他の算出の仕方として、ズーム倍率が、第１の閾値を超えた時点で、係数を０にしても良い。すなわち、このような場合、第１の閾値を境に、係数が１か０になるため、補正を行うか、行わないかになる。または、ズーム倍率が、第１の閾値以上のときには、偶数のラインは係数を１（または１以下）とし、奇数のラインは係数を０とするなど、ライン毎に異なる係数を設定するようにしても良い。

また、ズーム倍率が第２の閾値より大きくなった場合、係数は０とする例を挙げたが、０以外の値、例えば、０．５などに設定されるようにしても良い。換言すれば、ズーム倍率が第２の閾値以上のときには、全く補正を行わないのではなく、通常（低倍率時）のときよりも弱い補正が実行されるように設定しても良い。

このように、係数の算出の仕方は、どのような方法でも良いが、高倍率のときには、ライン毎に算出される補正量を、そのまま用いて補正が行われるのではなく、係数が乗算されることにより行われる。ここでは、まず図６に示したように、係数が、ズーム倍率に応じて設定（算出）されるとして説明を続け、他の補正量に係わる処理については後述する。

ステップＳ５２において、係数が算出されると、ステップＳ５３において、補正量の算出が行われる。補正量は、ステップＳ１２（図３）において既に算出されているが、このステップＳ５２における処理で、既に算出されている補正量に、設定された係数を乗算することにより、新たな補正量が算出される。

例えば、所定の倍率であり、その倍率のときの１画像は、１０ラインから構成される場合、１０個の補正量が算出されるが、そのうち、一番初めに算出される補正量、例えば、図２の倍率が×２のときの振動量Ｐ２−１から算出される補正量Ｐ２−１が代表量とされ、それ以外のラインの補正量に対して、ステップＳ５２において算出された係数が乗算される。その係数が乗算された補正量が、新たな補正量として設定される。

本実施の形態においては、代表量として設定された補正量は、そのまま補正に用いられ、代表量以外の補正量は、係数が乗算されて補正に用いられる。

係数が乗算される際、既に算出されている補正量自体に乗算されるようにしても良いし、補正量が何らかの方式で加工された後に乗算されるようにしても良い。例えば、各ラインの補正量と代表量との差分が算出され、その差分に対して係数が乗算されるようにしても良い。このようにした場合、代表量はその値のままであるが、他のラインの補正量は、代表量との差に係数が乗算された値とされる。

また、代表量自体も、他の補正量と同様に係数が乗算されるようにしても良い。

ステップＳ５４において、設定された補正量に基づいて読み出し開始位置の決定が行われる。そして、その決定された読み出し開始位置からのデータの読み出しが、ステップＳ５５において実行される。

上記したように、係数としては、０乃至１の範囲の値が割り当てられる。よって、係数が乗算された補正量（ステップＳ５３の処理で算出される補正量）は、係数が乗算される前の補正量（ステップＳ１２で算出される補正量）と比べて小さい値となる。

すなわち、ステップＳ１２で算出される補正量は、低倍率のときには、そのまま補正に用いられるが、高倍率のときには、係数が乗算されることにより、小さい補正量に変換されて補正に用いられる。よって、仮に同じ大きさの振動が加えられたとしても、低倍率のときと比べ、高倍率のときは、補正量が小さいものとされる。

しかしながら、一般的には、低倍率のときと比べ、高倍率のときの方が、手ぶれ（振動）が加えられている時間が短く、その結果、振動量が蓄積されづらい。図２を再度参照するに、振動量Ｐ１６−１が取得されてから、振動量Ｐ１６−３が取得されるまでの時間は、振動量Ｐ１−１が取得されてから、振動量Ｐ１−３が取得されるまでの時間に比べて短い。よって、高倍率のときの方が、低倍率のときに比べて、振動量が蓄積されずらいことになる。

振動量が蓄積されづらいということは、振動による影響を受けづらいことを意味していると考えられる。仮に倍率が×１のときと、倍率が×１６のときで、同じ大きさの振動が加えられたとしても、倍率が×１６のときに振動量が取得される時間の方が、倍率が×１のときに振動量が取得される時間よりも短いため、手ぶれによる影響を受けている時間が短い。手ぶれによる影響を受けている時間が短いために、手ぶれによる影響が少ないと考えられる。

よって、上記したように、高倍率のときに、低倍率のときと比べて弱い補正を行ったとしても、高倍率時に補正の性能が低下するといったこともなく、適切な手ぶれ補正を行うことが可能である。

高倍率のときには補正量が低倍率時よりも小さくなるように、補正量に係数が乗算されるということについて、さらに図を参照して説明を加える。図７は、図２に示したような振動量が取得されたときに算出される補正量を示している。

なお、補正量は、振動量の影響を打ち消す方向に加えられる量であるため、図７が、図２に対応しているとすると、振動量の方向と補正量の方向は、それぞれ逆方向になるため、図７の補正量は、逆向きに図示すべきである。また、ライン毎の補正量の方向も、振動量の方向に依存しているため、ライン毎に異なる方向になる可能性もある。しかしながら、ここでは、説明の都合上、同じ方向に図示してある。他の図面においても、同様であるとする。

また、上記したように、電子ズーム時には、倍率により、１画面を構成するライン数が変化するが、ここでは、説明の都合上、異なる倍率であっても（以下の説明で必要となるのは、第１の閾値以下の倍率、第１の閾値と第２の閾値の間の倍率、および、第２の閾値以上の倍率の３つの異なる倍率であっても）、１画面を構成するラインは、ライン０乃至８の９ラインであるとして説明を続ける。また、最初のライン（図２において、例えば、振動量Ｐ１−１が取得されるライン）は、ライン８であるとする。

図７において、ライン８の補正量は補正量Ｃ８である。この補正量Ｃ８を代表量とする。図７のような補正量が算出されたときのズーム倍率は、第１の閾値より小さいときである。すなわち低倍率のときに算出された補正量を示している。この場合、代表量以外の補正量Ｃ７乃至Ｃ０に対しては、係数として“１”が乗算される（または、係数が乗算されるといった処理が省略され、算出された補正量がそのまま用いられる）。

図８Ａと図８Ｂは、図７と同様な補正量が算出されたときであるが、ズーム倍率が第１の閾値より大きいとき、すなわち、高倍率のときに算出されたときの補正量を示している。また、図８Ａは、倍率が第１の閾値から第２の閾値の間の値であるときの補正量を示し、図８Ｂは、倍率が第２の閾値以上であるときの補正量を示している。

このような高倍率のときには、上記したように、一旦算出された補正量（第１の補正量とする）に、さらに係数が乗算されることにより、実際に補正に用いられる補正量（第２の補正量とする）が算出される。図８Ａと図８Ｂにおいて、白丸（円内が塗りつぶされていない円）は第１の補正量を表し、黒丸（円内が塗りつぶされている円）は第２の補正量を表す。

図８Ａに示した第２の補正量は、係数として０．５が乗算されたときを示し、図８Ｂに示した第２の補正量は、係数として０が乗算されたときを示す。図中、第１の補正量を表す白丸と、第２の補正量を表す黒丸とを比較することにより、高倍率のときには、低倍率時よりも補正量が小さくなっていることがわかる。すなわち、高倍率のときの補正に用いられる第２の補正量（黒丸）は、低倍率のときの補正に用いられる第１の補正量（白丸）と比較し、小さい値となっていることが、図８Ａや図８Ｂを参照することによりわかる。

なお、図８Ｂのように、係数として“０”を乗算する場合、第１の補正量に０を乗算し、第２の補正量を算出することになるが、０を乗算することにより、その算出される値は、０となる。よって、係数として０が乗算されるズーム倍率であると判断された時点で、第１の補正量や第２の補正量を算出するといった処理を省略するようにしても良い。

例えば、図３において、ステップＳ１２、ステップＳ１３、ステップＳ１４の処理を入れ換え、先に、ズーム倍率情報の取得し、係数として０が乗算されるズーム倍率であると判断された場合（すなわち、ズーム倍率が第２のズーム倍率以上であると判断された場合）、その後の処理（第１の補正量や第２の補正量を算出する処理）を省略するようにしても良い。ただし、この場合、代表量を算出する必要はあるため、代表量のみは算出する必要はある。

このようなことは、係数として“０”を乗算するときには適用することができるため、適宜、図３に示したフローチャートの処理の順番を入れ換え、効率良く補正を行えるようにすることは本発明の適用範囲内での変更である。

なお、図示はしないが、代表量と第１の補正量との差分を算出し、その差分に対して係数を乗算し、第２の補正量を算出するなど、第２の補正量の算出の仕方は、適宜変更可能である。

なお電子ズームのときには、図２の上図に示したように、倍率により１画面を構成するライン数が減少する。倍率が高倍率の方に変化すると、実際にユーザに提供される１画面を構成するためのライン数は、その倍率に応じて減少する。よって、高倍率のときには、ユーザに提供される１画面を構成するためのライン数だけが、処理されるようにしても良い。このようにすれば、高倍率時に、１画面を構成する画像データにより占有されるメモリの容量を削減することが可能となる。

また、メモリに記憶させなくても良いデータは、すなわち、処理しなくても良いデータである。よって、メモリに記憶させないと共に、そのようなデータに関しては処理を行わないようにすることも可能である。例えば、図２の下図の倍率が“×１６”の図を参照するに、斜線を付していない部分は、必要の無いデータであるので、その部分に関する処理を行う必要はない。よって、高倍率時における処理を軽減させることが可能となる。

ｓ ［倍率に応じて補正量の点数を変更する形態］
次に、電子ズーム時の倍率に応じ、補正量の数を変更する形態について説明する。図９乃至図１１のフローチャートを参照し、補正量の点数を変更する場合における補正の処理について説明する。なお、図９乃至図１１のフローチャートにおいて、図３乃至図６のフローチャートと同様な処理に関する説明は、適宜省略する。

ステップＳ７１において、電子ズームの倍率に関する情報が取得される。ステップＳ７２において、取得された情報が示す電子ズームの倍率が、第１の閾値以上であるか否かが判断される。ステップＳ７２において、倍率は第１の閾値以上ではないと判断された場合、ステップＳ７３に処理が進められ、電子ズーム低倍率時の処理が実行される。一方、ステップＳ７２において、倍率は、第１の閾値以上であると判断された場合、ステップＳ７４に処理が進められ、電子ズーム高倍率時の処理が実行される。

ステップＳ７１乃至Ｓ７４の処理は、図３のステップＳ１３乃至Ｓ１６の処理と、基本的に同様に行われる。

ステップＳ７３において実行される電子ズーム低倍率時の処理２について、図１０のフローチャートを参照して説明する。ステップＳ８１において、振動量が取得され、ステップＳ８２において、その振動量から補正量が算出される。ステップＳ８３において、算出された補正量に基づき、読み出し位置が決定され、その決定された読み出し位置からの読み出しが、ステップＳ８４において実行される。

ステップＳ８１とステップＳ８２の処理は、図３のステップＳ１１とステップＳ１２の処理と同様に行われる。ステップＳ８３とステップＳ８４の処理は、図４のステップＳ３１とステップＳ３２の処理と同様に行われる。すなわち、低倍率のときには、取得された振動量から、１画面を構成するライン毎に、補正量が算出され、その補正量に基づくデータの読み出しが実行されるという処理であり、この処理は、光学ズームのときの処理と同様に行うことができる。

次に、ステップＳ７４（図９）において実行される電子ズーム高倍率時の処理２について、図１１のフローチャートを参照して説明する。ステップＳ９１において、補正量算出部１９により補正点数の設定が行われる。例えば、低倍率のときには、上記したように１画面が１０ラインで構成される場合、それらのライン毎に補正量が算出され、１０個の補正量が算出されることになるが、高倍率のときには、１画面を構成する全てのライン毎に補正量が算出されるのではなく、それらより少ない数の補正量で、１画面の補正が行われるようにする。このことについて、図１２を参照して説明する。

倍率が×１のときには、図１２の上図と下図に示すように、８点（ここでは、補正点数ａとする）において補正量が算出される。倍率が×２のときには、図１２の上図と下図に示すように、６点において補正量が算出される。倍率が×４のときには、図１２の上図と下図に示すように、３点において補正量が算出される。倍率が×８のときには、図１２の上図と下図に示すように、３点において補正量が算出される。倍率が×１６のときには、図１２の上図と下図に示すように、１点において補正量（ここでは、補正点数ｂとする）が算出される。

ここでは、補正点数ａ＞補正点数ｂの関係が満たされるとして説明を進める。また、補正点数ａより少なく、補正点数ｂより大きい値を補正点数ｔとする（すなわち、補正点数ａ＞補正点数ｔ＞補正点数ｂという関係が満たされる）。

補正点数として、例えば、３点と表記したときには、１画面内において、補正量が３個算出されることを意味する。このことは、１画面を構成する複数のラインのうち、所定の３本のラインから取得される振動量から算出される補正量が用いられて補正が行われることを意味する。または、１画面を構成する複数のラインから、複数の振動量が取得され、その複数の振動量から、３個の補正量が算出されることを意味する。

また、１画面から補正点数として設定された点数分だけ、補正量が算出されるが、その算出される補正量の間隔は、できる限り等間隔に算出されるようにする。例えば、補正点数が３点と設定された場合には、１個目の補正量が算出されるラインと２個目の補正量が算出されるラインとの間に位置するラインの数と、２個目の補正量が算出されるラインと３個目の補正量が算出されるラインとの間に位置するラインの数とは、ほぼ同数になるように設定される。すなわち、等間隔で補正量が算出されるように、補正点数は設定される。

このように、電子ズームの倍率に応じて、算出する補正量の点数が設定される。補正点数の設定の処理が、ステップＳ９１（図１１）において実行される。この補正点数の設定について、さらに、図１３を参照して説明する。補正点数は、電子ズーム時の倍率に依存して決定される。図１３は、倍率と、補正点数との関係を示す図である。第１の閾値は、上記したように、ステップＳ１４（図３）において、低倍率と高倍率とを識別するために設けられた閾値である。ズーム倍率が第１の閾値以上になると、高倍率として処理され、補正点数が設定される。例えば、第１の閾値を、×２と設定することができる。

ズーム倍率が、第１の閾値以下の倍率であるときには、すなわち、低倍率のときには、補正点数は、補正点数ａ個と設定されている。この補正点数ａは、電子ズームの倍率が×１のときの補正点数と同じ数に設定することができる。すなわち、光学ズームのみの処理のときの補正点数と同じ数であり、１画面を構成するライン数と同等数にすることができる。

なお、電子ズームの倍率が、第１の閾値以下であれば、低倍率の処理（図１０のフローチャートに基づく処理）が実行されるため、基本的に、光学ズーム時の処理と同等な処理が実行される。よって、補正点数ａは、光学ズーム時の処理のときに用いられる補正量の点数と同等数に設定される。

電子ズームの倍率が、第１の閾値から第２の閾値の間の倍率であるときには、図１３に示した例では、一次関数的にズーム倍率に比例して補正点数ｔが決定（算出）される。

ズーム倍率が第２の閾値以上になると、補正点数は、補正点数ｂと設定される。仮に、補正点数ｂが０と設定されている場合、補正量が算出される点がないことになるため、補正は行われないことになる。このような場合には、補正に係わる処理を省略するようにしても良い（倍率が第２の閾値以上であると判断された時点で、その後の補正に係わる処理を省略するようにしても良い）。

図１３に示したズーム倍率と補正点数との関係は一例であり、本発明が、このような関係に限定されることを意味するのではない。補正点数の他の算出の仕方として、ズーム倍率が、第１の閾値を超えた時点で、補正点数が補正点数ｂに設定されるようにしても良い。すなわち、このような場合、第１の閾値を境に、補正点数が補正点数ａか補正点数ｂになる。

また、補正点数と倍率が関連付けられたテーブルを用意し、そのテーブルが参照されることにより、補正点数が決定されるようにしても良い。図１３を参照した説明では、第１の閾値から第２の閾値の間の倍率であるときには、一次関数的にズーム倍率に比例して補正点数ｔが決定（算出）されるとしたが、倍率と補正点数が関連付けられたテーブルを保持するようにし、補正点数を設定するための演算を省略できるように構成しても良い。

図１１のフローチャートの説明に戻り、ステップＳ９１において、補正点数が設定されると、ステップＳ９２において、振動量が取得される。この振動量は、補正点数に応じた数（設定された点数の補正量を算出するために必要となる数）だけ、取得されるようにしても良い。このような設定は、振動量を取得するタイミングを示すサンプリング周波数を、補正点数に応じて変更できる場合に適用することができる。

または、振動量は、補正点数に関係なく取得されるようにしておき、取得された振動量から、必要となる振動量だけが選択されるようにしても良い。このような設定は、振動量を取得するタイミングを示すサンプリング周波数が一定に設定されている場合（倍率によりサンプリング周波数が変化しない場合）に適用することができる。

ステップＳ９２における振動量の取得の処理は、取得される補正量の数が、補正点数と関わりがある場合には、補正点数の設定の処理（ステップＳ９１）が終了した後に行われるが、補正点数に関わりがない場合には、必ずしも、ステップＳ９１の後に、振動量の取得の処理が行われる必要はなく、適宜、処理の流れを入れ換えることは可能である。ステップＳ９２の処理に限らず、複数のステップの処理が並列的に行われたり、処理の順番が入れ換えられたりすることは適宜可能である。

ステップＳ９２において、振動量が取得されると、ステップＳ９３において、補正量の算出が行われる。ステップＳ９３においては、ステップＳ９１において設定された補正点数分だけ、補正量が算出される。そして、その算出された補正量を用いたデータの読み出しが、ステップＳ９４以降で行われる。ステップＳ９４，Ｓ９５の処理は、図５のステップＳ５４，Ｓ５５の処理と基本的に同様に行われる。

高倍率時には、図２や図１２を参照して説明したように、１画面を構成するデータを取得する時間が低倍率時より短いために、振動量が蓄積されづらく、振動による影響を受けづらいと考えられる。よって、高倍率時に補正量の点数を少なくしても、補正は適切に行うことができると考えられる。

また、補正点数を少なくすることにより、補正に係わる処理を軽減させることができる。さらに、補正に係わるデータを削減することができるので、補正のために必要となるメモリの容量を削減することが可能となる。

また、高倍率時には、１画面を構成するライン数が、低倍率時に比べて少なくなるため、そのままのライン数でユーザ側に画像を提供すると、低倍率時の画像に比べて小さくなってしまう（図２参照）。高倍率時においても、低倍率時にユーザに提供される画像と同じ大きさの画像を、ユーザに提供するために、高倍率時には、画像の拡大の処理も行われる。その処理についての詳細な説明はここでは省略するが、１ラインを複数のライン分のデータに加工することにより、少ないライン数の画像が、低倍率時の画像と同程度の大きさにされ、ユーザ側に提供される。

このような低倍率時には行われない処理が、高倍率時には行われるため、高倍率時の処理は、低倍率時の処理と比べて処理負担が大きくなる。しかしながら、上記したように、高倍率時には補正点数を少なくし、補正に係わる処理を軽減させることにより、高倍率時に行われる処理負担を、低倍率時と同程度、または、それ以下に軽減させることが可能となる。

［倍率に応じて処理区間を変更する形態］
上述したように、電子ズームの高倍率のときには、１画面を構成するライン数が少ない。そこで、高倍率のときには、処理区間自体を、倍率に応じて変化させるようにすることも可能である。処理区間について、図１４を参照して説明する。

撮像素子１１（図１）では、図１４Ａに示すような有効領域３１で被写体を撮像（撮影）している。有効領域３１のうち、出力領域３２内の画像がユーザに提供される。出力領域３２は、上記したような補正が施されたあとの領域であり、振動量による影響が軽減された画像が存在する領域である。

このように、有効領域３１内に存在する画像のうちの一部の出力領域３２内に存在する画像が、ユーザ側に提供される。図１４Ａにおいて、斜線を付した補正前領域３３は、補正前の画像が存在している領域を表している。出力領域３２内の画像を生成するために、その補正前領域３３より大きな領域が処理対象とされる。すなわち、図１４Ａにおいては、上下方向のゆがみ（振動による影響）を補正するための余剰な領域として、ゆがみ補正余剰領域３４が設けられている。

上下方向だけれなく、左右方向にもそのようなゆがみ補正余剰領域は設けられている。よって、ゆがみなど（振動などにより悪影響）を補正するための余剰な領域（出力領域３２に対して余剰な領域）は、図１４Ａに示すように、補正余剰領域３５となる。

このようなことを、電子ズームの低倍率のときと高倍率のときとに当てはめて説明する。低倍率のときの出力領域３２（補正前領域３３）（図１４Ａ）と、高倍率のときの出力領域３２（補正前領域３３）（図１４Ｃ）を比較すると、高倍率のときの出力領域３２の方が、低倍率のときの出力領域３２より小さい領域とされる。これは、上述しているように、電子ズーム時には、高倍率になると、１画面を構成するライン数が少なくなるからである。

処理区間とは、ここでは、出力領域３２（補正前領域３３）と補正余剰領域３５までを含めた領域を意味するとする。また、図１４Ａ（低倍率）における処理区間の縦方向（図中縦方向）の大きさ（長さ）を、区間幅Ａとする。図示はしない（定義はしない）が、区間幅Ａに対応する横幅の区間幅も、勿論設定されている。

ここでは、電子ズーム時の倍率に応じて、区間幅（処理区間）を変更する。具体的には、図１５に示すように、倍率が第１の閾値以下であるとき（図１４Ａのような状態のとき）には、処理区間が区間幅Ａに設定され、その区間内が処理対象とされる。倍率が第１の閾値以上で、第２の閾値以下のとき（図１４Ｂのような状態のとき）には、処理区間が区間幅Ｔに設定され、その区間内が処理対象とされる。

倍率が第２の閾値以上のとき（図１４Ｃのような状態のとき）には、処理区間が区間幅Ｂに設定され、その区間内が処理対象とされる。区間幅Ａ、区間幅Ｔ、区間幅Ｂは、区間幅Ａ＞区間幅Ｔ＞区間幅Ｂという関係を満たす。また、それぞれの区間幅は、ライン単位（ピクセル単位）で設定される。

このように、倍率により処理区間を変更するようにした場合、補正に係わる処理のうち、全体の処理は、図９に示したフローチャートの処理と、基本的に同じ処理の流れで行われる。また、低倍率時における処理は、図１０に示したフローチャートの処理と、基本的に同じ処理の流れで行われる。よって、ここでは、その説明を省略し、異なる処理である、高倍率時の処理について、図１６のフローチャートを参照して説明する。なおここでは、電子ズーム高倍率時の処理３として説明を続ける。

ステップＳ１０１において、区間幅の設定が行われる。この区間幅の設定に関しては、図１４と図１５を参照して説明したように行われる。区間幅が設定されると、その区間幅の範囲内での処理が実行される。すなわち、ステップＳ１０２において、振動量が取得される。この振動量の取得に関しては、図１１のステップＳ９２の場合と同様に、設定された区間幅に依存して行われる場合（設定された区間幅内の領域のみから振動量を取得する場合）には、ステップＳ１０１の処理の後に行われるが、設定される区間幅に依存せずに行われる場合には、必ずしもステップＳ１０１の処理の後に行われなくても良い。

ステップＳ１０３において、補正量の算出が行われる。ステップＳ１０３においては、設定された区間幅内で必要とされる補正量だけが算出される。このようにして算出された補正量が用いられ、ステップＳ１０４において、データの読み出し位置が決定され、ステップＳ１０５において、決定された読み出し位置からデータの読み出しが行われる。

なお、ここでは補正量の算出など、補正に係わる処理を例に挙げて説明したが、補正に係わる処理のみではなく、他の処理も、設定された処理区間内（領域内）のみを、処理すれば良い。よって、倍率により処理区間を設定することにより、処理負担を軽減させることが可能となる。

このように、倍率に応じて処理する領域（処理区間）を設定することにより、以下のような効果を期待することができる。すなわち、処理区間を限定することで、処理に必要のない余分なデータを、メモリ等の記憶部に保持させる必要がなくなるため、メモリの容量を削減することが可能となる。また、処理区間を限定し、その区間内のみを処理することで、その処理、例えば、上記した補正量の算出に係わる処理に必要となるリソース（例えば、電力や、その処理に必要なデータを一旦記憶させる為の記憶部の容量（メモリ１７（図１））など）を削減することが可能となる。

さらに、処理区間を限定することで、処理するデータ量が削減されることになるので、その処理に係わる駆動周波数の低減や処理リソースの削減が可能となる。

上記した実施の形態では、電子ズーム時の倍率に応じた処理を例に挙げて説明したが、電子ズーム時以外の、例えば、光学ズーム時においても、上述した実施の形態を適用することは勿論可能である。

また、上記した実施の形態においては、ズーム倍率に応じ、係数を設定したり、補正点数を設定したり、処理区間を設定したりする例を、それぞれ個別に説明した。しかしながら、これらを組み合わせて適用することも可能である。例えば、ズーム倍率に応じて、補正点数を設定し、その設定された補正点数分の補正量を算出し、さらに、その算出された補正量に、ズーム倍率に応じた係数を乗算するといったような実施の形態であっても良い。

［記録媒体について］
上述した一連の処理、例えば、補正に係わる処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１７は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ（Read Only Memory）１０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース１０５は、キーボードやマウスから構成される入力部１０６が接続され、入力部１０６に入力された信号をＣＰＵ１０１に出力する。また、入出力インタフェース１０５には、ディスプレイやスピーカなどから構成される出力部１０７も接続されている。

さらに、入出力インタフェース１０５には、ハードディスクなどから構成される記憶部１０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部１０９も接続されている。ドライブ１１０は、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、半導体メモリ１２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図１７に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク１２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ１０２や記憶部１０８が含まれるハードディスクなどで構成される。

なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した画像処理装置の一実施の形態の構成を示す図である。 振動量について説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 低倍率時の処理について説明するためのフローチャートである。 高倍率時の処理について説明するためのフローチャートである。 閾値について説明するための図である。 補正量と係数について説明するための図である。 補正量と係数について説明するための図である。 画像処理装置の他の動作について説明するためのフローチャートである。 低倍率時の他の処理について説明するためのフローチャートである。 高倍率時の他の処理について説明するためのフローチャートである。 補正点数について説明するための図である。 閾値について説明するための図である。 処理区間について説明するための図である。 閾値について説明するための図である。 高倍率時のさらに他の処理について説明するためのフローチャートである。 媒体を説明する図である。

符号の説明

１０ 画像処理装置， １１ 撮像素子， １２ ＡＦＥ， １３ 信号処理部， １４ 画像補間部， １５ ＴＧ， １６ メモリコントローラ， １７ メモリ， １８ 振動検出部， １９ 補正量算出部， ２０ ズーム倍率取得部

Claims (6)

1. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、
   加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力手段と、
   振動による前記画像への影響を低減するための補正量の１画面における点数を、電子的なズームのズーム倍率に対応して設定する設定手段と、
   前記設定手段により設定された前記点数だけ、補正量を算出する算出手段と、
   前記算出手段により算出された前記補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する補正手段と
   を備える画像処理装置。
2. 前記撮像手段により前記画像が撮像されたときのズーム倍率が、所定の閾値以上である場合、前記設定手段は前記点数を設定する
   請求項１に記載の画像処理装置。
3. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像ステップと、
   加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力ステップと、
   振動による前記画像への影響を低減するための補正量の１画面における点数を、電子的なズームのズーム倍率に対応して設定する設定ステップと、
   前記設定ステップの処理で設定された前記点数だけ、補正量を算出する算出ステップと、
   前記算出ステップの処理で算出された前記補正量に基づいて前記撮像ステップにより撮像された前記画像をライン単位で補正する補正ステップと
   を含む画像処理方法。
4. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像手段と、
   加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力手段と、
   前記振動量出力手段により出力された前記振動量から、前記振動による前記画像への影響を低減するための補正量を算出する算出手段と、
   前記撮像手段により撮像された前記画像のうち、処理する領域を、電子的なズームのズーム倍率に応じて設定する設定手段と、
   前記設定手段により設定された領域内だけ処理する処理手段と
   を備え、
   前記処理手段は、補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する
   画像処理装置。
5. 前記撮像手段により前記画像が撮像されたときのズーム倍率が、所定の閾値以上である場合、前記設定手段は前記処理する領域を設定する
   請求項４に記載の画像処理装置。
6. Ｘ−Ｙアドレス型の固体撮像素子により画像を撮像する撮像ステップと、
   加えられた振動を検出し、その振動の大きさを示す振動量を出力する振動量出力ステップと、
   前記振動量出力ステップの処理で出力された前記振動量から、前記振動による前記画像への影響を低減するための補正量を算出する算出ステップと、
   前記撮像ステップの処理で撮像された前記画像のうち、処理する領域を、電子的なズームのズーム倍率に応じて設定する設定ステップと、
   前記設定ステップの処理で設定された領域内だけ処理する処理ステップと
   を含み、
   前記処理ステップは、補正量に基づいて前記撮像手段により撮像された前記画像をライン単位で補正する
   画像処理方法。

Images