JP4695972B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、撮像装置により撮像された画像に対して振れ補正処理としての座標変換処理を行うことにより、振れを低減した出力画像を得る画像処理技術に関するものである。

撮像装置に搭載される振れ補正方式には、光学防振および電子防振がある。このうち、電子防振では、撮像素子を用いて生成された１フレーム画像の中から実際に出力（記録や表示）する範囲を切り出し領域として選択し、該切り出し領域をフレームごとに振れ量に応じて移動させる。そして、各切り出し領域画像に対して座標変換処理を行うことで、振れが低減された画像（振れ補正画像）を出力する。

また、撮像装置の振れの検出方法には、角速度センサ又は角加速度センサを用いる方法や、連続する２フレーム間の入力画像を比較して画像上の動きベクトルを振れとして検出する方法がある。

ここで、画像上に現れる振れには、並進、回転等の様々な種類の振れが混在している。しかも、振れ量や、撮影光学系のズーム位置等の撮影状況によって、画像上の見かけ上の振れの特性が異なったものとなる。このため、様々な振れの発生状況にかかわらず、良好な振れ補正画像を得るための技術が望まれている。

例えば、特許文献１には、振れの検出に角速度センサを用いた振れ補正技術が提案されている。この場合、パン方向やチルト方向の振れ（パン・チルト振れ）を検出することは可能であるが、並進振れを検出することはできない。このため、通常の撮影においては、並進振れはパン方向やチルト方向の振れに近似できるものとして振れ補正を行うが、近接撮影時にはその近似が成り立たなくなることから、振れ補正自体を行わないようにしている。

また、特許文献２には、様々な撮影条件のそれぞれに適した像振れ補正特性（振れ補正におけるカットオフ周波数が高いモードと低いモード）や振れ補正範囲（補正光学素子の可動範囲）を選択できるようにした振れ補正技術が提案されている。
特開２００２−１１６４７６号公報（段落００３８） 特開２００４−２２７００３号公報（段落０１３６〜０１６６、図等）

しかしながら、上記特許文献１，２において提案された振れ補正技術には、以下のような問題がある。

特許文献１にて提案の技術では、近接撮影以外では良好な振れ補正画像が得られるとしても、近接撮影時には振れ補正自体を行わないので、振れ補正画像が得られない。また、特許文献２にて提案の技術は、光学防振に主眼を置いたものとなっている。

本発明は、電子防振において、撮影状況の変化にかかわらず良好な振れ補正画像を得ることができるようにした画像処理技術を提供することを目的の１つとしている。

本発明の一側面としての画像処理装置は、振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、前記座標変換処理における座標変換方式を変更する方式変更手段と、前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段と、を有し、前記方式変更手段は、前記振れ情報と前記出力画像領域の情報とに基づいて座標変換方式を変更することを特徴とする。
本発明の他の側面としての画像処理装置は、振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、前記座標変換処理における座標変換方式を変更する方式変更手段と、を有し前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報とに基づいて座標変換方式を変更することを特徴とする。
本発明の他の側面としての画像処理装置は、振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、前記座標変換処理における座標変換方式を変更する方式変更手段と、前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段と、を有し、前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報と前記出力画像領域の情報とに基づいて座標変換方式を決定することを特徴とする。

ここで、該画像処理装置を搭載した撮像装置は、本発明の他の側面を構成する。

また、本発明のさらに他の側面としての画像処理方法は、振れ情報を取得するステップと、該振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、前記座標変換処理における座標変換方式を変更するステップと、前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定するステップと、を有し、前記座標変換方式を変更するステップは、前記振れ情報と前記出力画像領域の情報とに基づいて座標変換方式を変更することを特徴とする。
本発明のさらに他の側面としての画像処理方法は、振れ情報を取得するステップと、振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、前記座標変換処理における座標変換方式を変更するステップと、を有し前記座標変換方式を変更するステップは、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報とに基づいて座標変換方式を変更することを特徴とする。
本発明のさらに他の側面としての画像処理方法は、振れ情報を取得するステップと、振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、前記座標変換処理における座標変換方式を変更するステップと、前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定するステップと、を有し、前記座標変換方式を変更するステップは、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報と前記出力画像領域の情報とに基づいて座標変換方式を決定することを特徴とする。

本発明によれば、振れ補正処理として行われる座標変換処理（画像処理）にて用いられる座標変換方式を、様々な撮影状況、つまりは振れの発生状況のそれぞれに最適に選択することができる。したがって、撮影状況にかかわらず良好な出力画像（振れ補正画像）を得ることが可能な電子防振機能を実現することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図1には、本発明の実施例１である画像処理装置を含むビデオカメラ、デジタルスチルカメラ等の撮像装置の構成を示す。図1において、１０１は被写体像を形成する光学系、１０２は光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。１０３は撮像素子１０２から出力される電気信号から映像信号を形成する画像形成回路である。

画像形成回路１０３は、Ａ／Ｄ変換回路１０４、オートゲイン制御回路(ＡＧＣ)１０５、オートホワイトバランス回路(ＡＷＢ)１０６を含み、デジタル映像信号を生成する。Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。また、ＡＷＢ１０６は、映像の白レベル補正を行う。

１０７は画像形成回路１０３により形成された映像信号の1フレームもしくは複数フレームを一時的に記憶保持するフレームメモリである。１０８はフレームメモリ１０７に入出力される映像信号を制御するメモリ制御回路である。１０９は隣接するフレーム画像間から本撮像装置の振れを検出し（振れ情報を生成し）、またその動きの傾向を解析する振れ解析部（振れ情報生成手段）であり、動き検出回路１１０と振れ解析回路１１１とから構成される。

１１２は方式変更手段としての補正方式選択回路であり、振れ量に基づいて入力画像に対して施す座標変換処理として最も適切な座標変換方式（以下、振れ補正方式という）を選択する。

１１３は補正方式選択回路１１２によって選択された振れ補正方式により振れ補正を行う振れ補正回路（振れ補正手段）である。１１４は映像出力回路であり、振れ補正を行った映像を不図示のディスプレイに表示したり、半導体メモリや光ディスク、磁気テープ等の記録媒体に記録したりするための出力部を構成する。

１００は撮像素子１０２、画像形成回路１０３、メモリ制御回路１０８、振れ解析部１０９、補正方式選択回路１１２、振れ補正回路１１３および映像出力回路１１４の動作を制御するメインコントローラである。メインコントローラ１００は、ＣＰＵ等により構成される。

以上のように構成された撮像装置（画像処理装置）の動作について、図２に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ１００の不図示のメモリに格納されたコンピュータプログラム（ソフトウェア）に従って実行される。このことは、以下の実施例でも同様である。

図２において、ステップＳ２０１では、光学系１０１によって形成された被写体像が撮像素子１０２によって光電変換される。撮像素子１０２は、被写体輝度に応じたアナログ信号を出力し、該アナログ信号は画像形成回路１０３に入力される。画像形成回路１０３では、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば１４ビットのデジタル信号に変換する。さらにＡＧＣ１０５およびＡＷＢ１０６によって信号レベル補正や白レベル補正が行われたデジタル映像信号（入力画像としてのフレーム画像）は、フレームメモリ１０７に一時的に記録保持される。

本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ１０７に記憶保持されたフレーム画像は順次振れ解析部１０９に入力される。また、フレームメモリ１０７に記憶されるフレーム画像も順次更新される。以上の動作はメモリ制御回路１０８によって制御される。

ステップＳ２０２では、振れ量及び振れ方向を含む振れ情報が検出される。具体的には、動き検出回路１１０において、連続するフレーム画像間での被写体像の変位とその方向を示す動きベクトルが検出される。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法が用いればよいが、その方法には制限はない。また、動きベクトルは、複数の画像領域において検出される。この動きベクトルが、画像中に現れる各被写体の見かけ上の振れ量とその方向を示す振れ情報となる。

動き検出回路１１０によって検出された複数の画像領域の動きベクトルは振れ解析回路１１１によって統合され、画像全体の振れを表す代表動きベクトルが生成される。

なお、本実施例では、入力画像としてのフレーム画像を用いた画像処理演算手法によって振れ量を検出する場合について説明するが、振れ量を検出するために角速度センサ等の振れセンサを用いてもよい。

ステップＳ２０３では、振れ解析部１０９から得られた振れ情報のうち振れ量を用いて、撮影中の画像において発生している振れを解析し、その振れを補正するための最適な振れ補正方式を選択する。

ここで、本実施例における振れ補正方式の選択方法について説明する。図３には、振れ量（振れの大きさ）と、それに対応する最適な振れ補正方式との関係を示す。画像上に発生する見かけ上の振れは、撮像装置自体の振動に起因しており、撮像装置自体の振動の大きさや種類によって画像上に発生する見かけ上の振れの特性も変化する。本実施例では、画像上に発生している見かけ上の振れ量を用いて撮像装置自体の振動の大きさを推定し、どの程度の自由度を持った振れ補正方式を適用するべきかを選択する。

具体的には、補正方式選択回路１１２が、振れ解析部１０９から出力された画像全体の動きを表す代表動きベクトルを判定することによって、適用すべき振れ補正方式を選択する。

まず、代表動きベクトルを判定した結果、振れ量が小さく、画像上に光軸周りの回転やズーミングによる振れが発生していない場合には、座標変換方式の１つである並進変換による補正方式（並進変換方式：以下、並進補正方式という）を選択する。

並進補正方式は、画像上の振れを上下左右方向への画像のシフトによって補正する方式である。例えば、画像上の点

が並進の振れ

によって、点

へ移動したとする。この場合、並進振れＴを補正するためには、点ａ′を振れとは逆方向となる

だけ並進移動させればよい。このため、並進補正は、

と表すことができる。なお、並進振れＴの値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。

また、点ａ，ａ′および並進振れＴは斉次座標を用いて表している。このことは、以下でも同様とする。

このように、振れ量が小さい場合には、並進補正方式による振れの補正が可能であるとしているが、実際には、並進振れの他にパン・チルト振れが発生している可能性がある。しかし、撮像装置自体の振動が微小である場合には、並進振れとパン・チルト振れは近似することが可能である。

図４には、並進振れした撮像装置と撮像面の変位との関係を示す。同図に示すように、撮像装置４０１に並進振れが発生している場合には、振れの前後における撮像面４０２，４０３が同一平面上を移動して、共通した（重なる）領域４０４を形成する。これに対して、図５に示すように、撮像装置５０１に大きなパン・チルト振れが発生した場合には、振れの前後における撮像面５０２，５０３の間に傾きが生じてしまう。このため、同図の５０４に示すような共通領域は形成されず、画像上の見かけ上の振れも並進振れとは異なるものとなる。

しかし、図６に示すように、撮像装置６０１自体の振動が微小である場合には、パン・チルト振れの前後における撮像面６０２，６０３が同一平面上を移動して共通領域６０４を形成すると近似することが可能となる。したがって、並進補正方式で並進振れとパン・チルト振れの両方を補正しても、精度の良い振れ補正を行うことが可能となる。

また、上述した並進振れに加えて光軸周りの回転振れが発生している場合には、座標変換方式の１つである並進回転変換による補正方式（並進回転変換方式：以下、並進回転補正方式という）を選択する。

並進振れについては、前述した並進補正用のＴ′を用いて補正する。一方、回転振れについては、以下のように補正する。例えば、撮像装置に光軸周りに角度θの回転が生じた場合、回転振れＲは、

と表すことができる。したがって、並進回転補正は、

と表すことができる。

なお、回転振れＲの値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。並進回転変換は、一般にユークリッド変換と呼ばれる。

また、上述した並進振れおよび光軸周りの回転振れに加えて、さらにズーミングおよび剪断の振れが発生している場合には、座標変換方式の１つであるアフィン変換による補正方式（アフィン変換方式：以下、アフィン補正方式という）を選択する。アフィン変換は、以下の行列式により表すことができる。

したがって、画像上の点ａが上記アフィン行列で表される振れＨａによって点ａ′へ移動したとすると、これを補正するためのアフィン補正は、

と表すことができる。

なお、アフィン行列で表される振れＨａの各要素の値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。

また、上述したアフィン変換で表すことのできる振れに加えて、さらに台形変形を伴う振れが発生している場合には、座標変換方式の１つである平面射影変換による補正方式（平面射影変換方式：以下、平面射影補正方式という）を選択する。台形変形を伴う振れは、画像上の振れ量が大きい場合に発生する。このような状況においては、図５に示すようにパン・チルトの前後において、撮像面５０２，５０３の位置が大きく傾く。このため、前述した並進振れとパン・チルト振れの近似が成り立たなくなる。

したがって、並進振れとパン・チルト振れとを独立して扱うことが可能な平面射影補正方式を選択する必要がある。平面射影変換は、以下に示す行列式として表すことができる。

そして、画像上の点ａが上記平面射影行列で表される振れＨｐによって点ａ′へ移動したとすると、それを補正するための平面射影補正は、

と表すことができる。

なお、平面射影行列で表される振れＨｐの各要素の値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。

さらに、撮像シーンの奥行きを考慮した振れ補正を行う際には、いわゆる視差補正方式を選択する。

前述した並進補正方式から平面射影補正方式は、全て撮像シーンが平面であると近似した場合の補正方式である。しかし、撮像シーン内の奥行き、すなわち撮像シーンに含まれる被写体までの距離差が大きい場合には、その全てが同一平面上にあると仮定することが困難となる。

つまり、図７に示すように、撮像装置７０１の近くに物体７０２が、遠くに物体７０３が存在している撮像シーンを考える。この場合、撮像装置７０１が移動すると、撮像装置７０１から取得される撮影画像７０４上においては、撮像装置７０１の近くにある物体７０５の見かけ上の移動量は大きくなり、逆に遠くにある物体７０６の見かけ上の移動量は小さくなる。

このような状況においては、たとえ１枚のフレーム画像に対して並進補正方式から平面射影補正方式のうちのいずれか１つのみを適用しても、良好な振れ補正画像を得ることはできない。このため、奥行きの違いによる振れの性質の違いを考慮に入れた振れ補正処理を施さなければならない。

本実施例では、画像にセグメンテーションを施して、被写体を撮像装置からの距離（被写体距離）ごとに分割し、それぞれの被写体に対して最適な補正処理を施す手法を視差補正方式という。この視差補正方式は、一画素ごとに算出した振れ量に対してそれぞれ最適な補正方式（座標変換方式）を選択したり、赤外線センサ等の測距センサを用いて被写体までの距離を計測し、その距離ごとに最適な補正方式を選択したりする方式である。

また、図３に示すように、画像上の振れ量が微小であり、無視できる動きであると判断した場合には、振れ補正そのものを行わないようにすることもできる。

以上説明した並進補正方式や並進回転補正方式は、撮像装置自体の振れが微小であれば、他の振れと近似もしくは無視することができる振れが存在すると仮定した、自由度の低い振れ補正方式である。この場合、振れ補正のために必要となるパラメータが少なくて済むので、頑健性が高く、高速な処理が可能となる。

しかし、振れが大きくなるにつれて、前述の近似が成り立たなくなるために、自由度の低い振れ補正方式では補正の精度が低下してしまう。そこで、振れが大きくなるにしたがって、アフィン補正方式や平面射影補正方式といったより自由度の高い振れ補正方式を選択する。これにより、振れ補正の精度を高く維持することが可能となる。

また、図８に示すように、本実施例では、より自由度の高い補正方式がより自由度の低い補正方式を包含する。このため、例えば図３においては視差補正方式を選択するべき領域であっても、画像上に発生している見かけ上の振れが並進振れのみであると判断した場合には、並進補正方式を使用して補正を行ってもよい。

図２において、ステップＳ２０４では、振れ補正回路１１３により、ステップＳ２０３で選択された振れ補正方式を用いて振れ補正処理（座標変換処理）を行う。選択された振れ補正方式の計算式を対象画像の各画素について適用し、振れ補正後の座標値を算出して、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ１０７に記憶保持されている画像に対して画素値の読み出しを行い、該読み出した画素値により構成される画像を振れ補正画像として映像出力回路１１４に伝送する。

ステップＳ２０５では、映像出力回路１１４から振れ補正画像を出力させる。

以上説明したように、本実施例では、画像上に現れる振れを表す動きベクトルは、振れ量に応じてその特性が変化することを利用して、複数の振れ補正方式のうち最適な振れ補正方式を選択する。これにより、撮像装置の振れの特性、すなわち撮影状況が変化しても、良好な振れ補正を行うことが可能な電子防振を実現することができる。

図９には、本発明の実施例２である画像処理装置を含む撮像装置の構成を示す。本実施例では、画像上の振れ量と出力画像の画角（および入力画像の画角）とに応じて最適な振れ補正方式を選択する。

図９において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、画像形成回路１０３により形成された入力画像の画角（入力画像の画角情報：以下、入力画角という）を検出する入力画角検出回路９１２を有する。さらに、該入力画角と振れ解析部１０９により算出された振れ量とを用いて、振れ補正回路９１５による振れ補正が施された画像の出力時の画角（出力画像領域：以下、出力画角という）を算出する出力画角算出回路（出力領域決定手段）９１３を有する。なお、図１に示したメインコントローラは、図９では省略している。

以下、本実施例の撮像装置（画像処理装置）の動作について、図１０に示すフローチャートを用いて説明する。

ステップＳ１００１，１００２はそれぞれ、実施例１（図２）に示したステップＳ２０１，２０２ステップと同様である。

Ｓ１００３では、出力画角算出回路９１３において、振れ補正画像を映像出力回路１１４へ伝送する際の出力画角を予め算出する。出力画角は、入力画角検出回路９１２により検出された入力画角と、振れ解析部１０９により算出された振れ量とを用いて算出される。入力画角は、光学系１０１を構成するレンズの位置情報や光学系１０１の焦点距離情報に基づいて算出される。算出された出力画角は、補正方式選択回路９１４および振れ補正回路９１５に送られる。

ステップＳ１００４では、振れ解析部１０９により得られた振れ量と、出力画角算出回路９１３から得られた出力画角とを用いて、撮像中の画像内に発生している振れを解析する。そして、その振れを補正するために最適な振れ補正方式を選択する。

本実施例においては、入力画像のうち実際に出力する範囲を出力画像の切り出し領域として選択する。そして、最適な振れ補正方式を用いて、該切り出し領域を振れに応じて入力画像の内部で移動および変形させることによって振れ補正を行う。このような手法を用いることによって、振れ補正による出力画像上での画素の欠落が生じることを防ぐことができる。

切り出し領域の大きさ、つまり出力画像の画角を決定する方法としては、例えば、入力画角の大きさとの比率で決定する方法がある。また、例えば、画像上に現れている見かけ上の振れ量を解析して、振れ補正を施しても切り出し領域が入力画像の範囲外に出ることがないような出力画角を算出する手法もある。

ここで、より良好な振れ補正を行うことができるように出力画角の大きさを選択する場合において、出力画角の大きさを変化させると、画像上に現れる見かけ上の振れの特性も変化する。

例えば、図１１に示すように、入力画像１１０１の画角に比べて出力画像１１０２の画角の割合が大きい場合には、出力画像の切り出し領域が動ける範囲が狭くなる。このため、小さな振れに対してのみ補正が可能である。

これに対して、図１２に示すように、入力画像１２０１の画角に比べて出力画像１２０２の画角の割合が小さい場合には、出力画像の切り出し領域が動ける範囲が広くなる。このため、大きな振れに対しても補正が可能となる。

また、補正を行うと切り出し領域が入力画像の範囲を出てしまうような大きさの動きがある場合には、補正不可能な振れ、若しくは意図的なカメラワークであると判断して、振れ補正の対象外とする。

ここで、本実施例における振れ補正方式の選択方法について説明する。振れおよび出力画角の大きさと、これらに対応する最適な振れ補正方式との関係を図１３に示す。

同図より、出力画角を大きく設定した場合には、画像上に現れる補正可能な振れ量が小さくなるため、結果として撮像装置自体の小さな振動を補正することになる。このため、並進補正方式や並進回転補正方式といった自由度の低い振れ補正方式を選択する。これにより、頑健性が高く、高速な振れ補正を行うことが可能となる。一方で、出力画角を小さく設定した場合には、画像上に現れる補正が可能な振れ量は大きくなり、撮像装置自体の大きな振れを補正することになる。このため、アフィン補正方式や平面射影補正方式といった、自由度の高い振れ補正方式を選択する。これにより、複雑な振れにも対応した精度の良い振れ補正を実現することが可能となる。

図１０において、ステップＳ１００５では、振れ補正回路９１５により、ステップＳ１００４で選択された振れ補正方式を用いて振れ補正処理を施す。選択された振れ補正方式の計算式を対象画像の各画素について適用し、振れ補正後の座標値を算出して、振れ補正のための座標値変換データを作成する。作成された座標値変換データと出力画角算出回路９１３により予め算出されていた出力画角の大きさとに基づいて、フレームメモリ１０７に記憶保持されている画像に対して画素値の切り出しを行う。そして、切り出した画素値により構成される画像を振れ補正画像として映像出力回路９１６へ伝送する。

ステップＳ１００６では、映像出力回路１１４から振れ補正画像を出力させる。

以上説明したように、本実施例によれば、画像上に現れる振れを表す動きベクトルの特性が、振れ量や出力画角の大きさによって変化することを利用して最適な振れ補正方式を選択する。これにより、撮像装置の振れの特性が変化しても、良好な振れ補正を行うことが可能な電子防振を実現することができる。

図１４には、本発明の実施例３である画像処理装置を含む撮像装置の構成を示す。本実施例では、焦点距離を可変としたズーム光学系を備え、画像上の振れ量とズーム光学系のズーム位置（焦点距離）とから最適な振れ補正方式を選択する。

図１４において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、ズーム光学系１４０１のズーム位置を制御するズーム位置制御回路１４１２と、ズーム位置（ズーム情報）を検出するズーム位置検出回路１４１３とを有する。なお、図１に示したメインコントローラは、図９では省略している。

以下、本実施例の撮像装置（画像処理装置）の動作について、図１５に示すフローチャートを用いて説明する。

ステップＳ１５０１，１５０２はそれぞれ、実施例１（図２）に示したステップＳ２０１，２０２ステップと同様である。

ステップＳ１５０３では、撮影者による不図示のズームスイッチの操作に応じてズーム位置制御回路１４１２によりズーム光学系１４０１のズーム位置を制御する。また、ズーム位置検出回路１４１３によりズーム位置を検出する。検出されたズーム位置情報は補正方式選択回路１４１４へ伝送される。

ここで、本実施例における振れ補正方式の選択方法について説明する。ズーム光学系１４０１のズーム位置を変化させると、画像上の見かけ上の振れの特性が変化する。画像上に現れる振れは、撮像装置自体の振動が起因となっているが、ズーム位置を例えば望遠側へ移動させた場合には、表示されている画像が拡大するとともに、画像上の見かけ上の振れ量も拡大される。したがって、望遠側の画像と広角側の画像において、共に同じ大きさの振れが画像上で発生している場合でも、撮像装置自体の実際の振れの大きさは、望遠側の画像を撮像している場合の方が小さい。

撮像装置自体の振動の大きさに違いがあるということは、画像上に現れている見かけ上の振れの特性にも違いがあるということである。このため、振れ量とズーム位置情報とを用いて振れの特性を解析することによって、撮像装置自体の振動の大きさを推定し、どの程度の自由度を持った振れ補正方式を適用するべきかを選択することが可能である。

本実施例における振れ量およびズーム光学系１４０１のズーム位置と、これらに対応する最適な振れ補正方式との関係を図１６に示す。

同図より、ズーム位置が望遠側にあり、さらに振れ量が小さい場合には、望遠撮影によって振れが拡大されたにもかかわらず振れ量は小さいままである。このため、撮像装置自体の振動は微小であると推定される。したがって、並進振れとパン・チルト振れの近似が成り立ち、並進補正方式や並進回転補正方式といった自由度の低い補正方式を選択することが可能である。これにより、頑健性が高く、高速な振れ補正処理を行うことが可能となる。

一方、ズーム位置が広角側に移動する、若しくは振れ量が大きくなるにしたがって、撮像装置自体の振動が大きくなる。このため、前述した近似が成り立たなくなり、より複雑な動きの振れが発生する。このような振れに対しては、アフィン補正方式や平面射影補正方式といった、より自由度の高い振れ補正方式を選択することによって精度の良い振れ補正を実現することが可能となる。

図１５において、ステップＳ１５０５では、振れ補正回路１４１５により、ステップＳ１５０４で選択された振れ補正方式を用いて振れ補正処理を施す。選択された振れ補正方式の計算式を対象画像の各画素について適用し、振れ補正後の座標値を算出して、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ１０７に記憶保持されている画像に対して画素値の読み出しを行い、該読み出した画素値により構成される画像を振れ補正画像として映像出力回路１１４に伝送する。

ステップＳ１５０６では、映像出力回路１１４から振れ補正画像を出力させる。

以上説明したように、本実施例によれば、画像上に現れる振れを表す動きベクトルの特性が、振れ量やズーム位置によって変化することを利用して最適な振れ補正方式を選択する。これにより、撮像装置の振れの特性が変化しても、良好な振れ補正を行うことが可能な電子防振を実現することができる。

図１７には、本発明の実施例４である画像処理装置を含む撮像装置の構成を示す。本実施例では、画像上の振れ量と、ズーム光学系のズーム位置と、出力画像の画角（および入力画像の画角〈入力画角〉）とから、最適な振れ補正方式を選択する。

図１７において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、実施例２で説明した入力画角検出回路９１２および出力画角算出回路９１３を有する。さらに、本実施例の撮像装置は、実施例３で説明したズーム位置制御回路１４１２およびズーム位置検出回路１４１３を有する。

以下、本実施例の撮像装置（画像処理装置）の動作について、図１８に示すフローチャートを用いて説明する。

ステップＳ１８０１，１８０２はそれぞれ、実施例１（図２）に示したステップＳ２０１，２０２ステップと同様である。

ステップＳ１８０３では、撮影者による不図示のズームスイッチの操作に応じてズーム位置制御回路１４１２によりズーム光学系１４０１のズーム位置を制御する。また、ズーム位置検出回路１４１３によりズーム位置を検出する。検出されたズーム位置情報は補正方式選択回路１７１６へ伝送される。

Ｓ１８０４では、出力画角算出回路９１３において、振れ補正画像を映像出力回路１１４へ伝送する際の出力画角を予め算出する。出力画角は、入力画角検出回路９１２により検出された入力画角と、振れ解析部１０９により算出された振れ量とを用いて算出される。入力画角は、ズーム光学系１４０１を構成する変倍レンズの位置情報や、ズーム光学系１４０１の焦点距離情報に基づいて算出される。算出された出力画角は、補正方式選択回路１７１６および振れ補正回路１７１７に送られる。

ステップＳ１８０５では、振れ解析部１０９から得られた振れ量と、ズーム位置検出回路１４１３から得られたズーム位置と、出力画角算出回路９１３から得られた出力画角とを用いて、撮影中の画像内に発生している振れを解析する。そして、その振れを補正するための最適な振れ補正方式を選択する。

ここで、本実施例における振れ補正方式の選択方法について説明する。本実施例における振れの補正方法は、画像上に現れる振れの特性を解析し、異なる自由度を持つ複数の振れ補正方式の中から該振れを補正するのに最も適した方式を選択して、振れ補正処理を施すものである。

また、本実施例における振れとは、撮像装置自体の振動が撮影画像上に画像の動きとして現れたものをいう。

本実施例では、画像上の振れ量、ズーム位置および出力画角の大きさなどの値を用いて振れの解析を行って撮像装置自体の振れの状態を推定し、そこに含まれている振れの種類や大きさ、近似可能性等の情報に基づいて最適な自由度を持つ振れ補正方式を選択する。

なお、本実施例における振れ量と出力画角と選択すべき振れ補正方式との関係は実施例２（図１３）において説明したものと同様である。また、振れ量とズーム位置と選択すべき振れ補正方式との関係は実施例３（図１６）において説明したものと同様である。

さらに、出力画角の大きさとズーム位置と選択すべき振れ補正方式との関係を図１９に示す。同図において、出力画角が大きい場合には、入力画像中における補正可能範囲が狭くなるために、小さな振れに対してのみ補正を施す。このため、並進補正方式や並進回転補正方式といった、自由度の低い補正方式を選択することが可能である。

これに対して出力画角が小さい場合には、入力画像における補正可能範囲が広くなるために、補正すべき振れも大きくなり複雑なものとなる。したがって、アフィン補正方式や平面射影補正方式より自由度の高い振れ補正方式を選択する必要がある。

また、ズーム位置が望遠側にある場合は、撮像装置自体の小さな振動が画像上の振れとして拡大されて表示されるので、前述したような出力画角の大きさに応じて補正方式を選択すればよい。但し、ズーム位置が広角側にある場合には、実際の撮像装置自体の振動が大きくなるため、図１９に示すように適宜自由度の高い振れ補正方式を選択する必要がある。

以上のようにして、振れ量とズーム位置と出力画角との関係から、画像上で発生している振れを補正するために最適な自由度を持つ振れ補正方式を選択する。

図１８において、ステップＳ１８０６では、振れ補正回路１７１７により、ステップＳ１８０５で選択された振れ補正方式を用いて振れ補正処理を施す。振れ補正処理の方法は、実施例２，３のステップＳ１００５，１５０５で説明したのと同様である。

ステップＳ１８０７では、映像出力回路１１４から振れ補正画像を出力させる。

以上説明したように、本実施例によれば、画像上に現れる振れを表す動きベクトルの特性が、振れ量やズーム位置や出力画角の大きさによって変化することを利用して最適な振れ補正方式を選択する。これにより、撮像装置の振れの特性が変化しても、良好な振れ補正を行うことが可能な電子防振を実現することができる。

なお、上述した各実施例では、補正方式選択回路が振れ量等の情報に基づいて、適用する振れ補正方式を選択する場合について説明したが、本発明はこのような場合に限定されない。例えば、撮影者がスイッチ等のマニュアル操作を通じて、撮影状況に最も合うと考える振れ補正方式を任意に選択することができるようにしてもよい。

また、上記各実施例では、撮像装置に振れ補正機能を含む画像処理装置を内蔵した場合について説明したが、本発明はこれに限られない。例えば、図２０に示すように、撮像装置２５０で撮像した画像（入力画像）をパーソナルコンピュータ２６０に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。そして、パーソナルコンピュータ２６０において、図２，１０，１５および１８のフローチャートに示した振れ補正方式の選択および振れ補正処理を行うようにしてもよい。この場合、パーソナルコンピュータ２６０が本発明にいう画像処理装置として機能する。

また、この場合において、振れ量（動きベクトル）の検出は、パーソナルコンピュータ２６０によって行ってもよいし、撮像装置に搭載された振れセンサからの出力をパーソナルコンピュータ２６０に取り込むようにしてもよい。

本発明の実施例１である撮像装置（画像処理装置）の構成を示す図である。 実施例１における振れ補正処理のフローチャートである。 振れ量と振れ補正方式との関係を示す図である。 並進振れ発生時の撮像装置と撮像面との位置関係を示す図である。 大きなパン振れ発生時の撮像装置と撮像面との位置関係を示す図である。 小さなパン振れ発生時の撮像装置と撮像面との位置関係を示す図である。 奥行きに差がある場合の画像上に現れる見かけ上の振れを示す図である。 振れ補正方式の包含関係を示す図である。 本発明の実施例２である撮像装置の構成を示す図である。 実施例２における振れ補正処理のフローチャートである。 出力画角が大きい場合の振れ補正可能範囲を示す図である。 出力画角が小さい場合の振れ補正可能範囲を示す図である。 振れ量と出力画角の大きさと振れ補正方式との関係を示す図である。 本発明の実施例３である撮像装置の構成を示す図である。 実施例３における振れ補正処理のフローチャートである。 振れ量と振れ補正方式との関係を示す図である。 本発明の実施例４である撮像装置の構成を示す図である。 実施例４における振れ補正処理のフローチャートである。 ズーム位置と出力画角と振れ補正方式との関係を示す図である。 本発明の実施例の変形例を示す概略図。

符号の説明

１０２ 撮像素子
１０３ 画像形成回路
１０９ 振れ解析回路
１１２，９１４，１４１４，１７１６ 補正方式選択回路
１１３，９１５，１４１５，１７１７ 振れ補正回路
４０１，７０１ 撮像装置
４０２，４０３ 撮像面
７０２ 近距離物体
７０３ 遠距離物体
９１２ 入力画角検出回路
９１３ 出力画角算出回路
１１０１，１２０１ 入力画像
１１０２，１２０２ 切り出し領域
１４１３ ズーム位置検出回路

Claims (10)

1. 振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、
   前記座標変換処理における座標変換方式を変更する方式変更手段と、
   前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段と、を有し、
   前記方式変更手段は、前記振れ情報と前記出力画像領域の情報とに基づいて座標変換方式を変更することを特徴とする画像処理装置。
2. 振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、
   前記座標変換処理における座標変換方式を変更する方式変更手段と、を有し
   前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報とに基づいて座標変換方式を変更することを特徴とする画像処理装置。
3. 振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、
   前記座標変換処理における座標変換方式を変更する方式変更手段と、
   前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段と、を有し、
   前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報と前記出力画像領域の情報とに基づいて座標変換方式を決定することを特徴とする画像処理装置。
4. 前記入力画像から前記振れ情報を生成する振れ情報生成手段を有することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
5. 前記方式変更手段は、並進変換方式、並進回転変換方式、アフィン変換方式、平面射影変換方式のうち少なくとも２つの間で座標変換方式を変更することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記方式変更手段は、前記入力画像における被写体距離が異なる領域ごとに座標変換方式を変更することを特徴とする請求項５に記載の画像処理装置。
7. 撮像素子と、
   請求項１から６のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
8. 振れ情報を取得するステップと、
   該振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、
   前記座標変換処理における座標変換方式を変更するステップと、
   前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定するステップと、を有し、
   前記座標変換方式を変更するステップは、前記振れ情報と前記出力画像領域の情報とに基づいて座標変換方式を変更することを特徴とする画像処理方法。
9. 振れ情報を取得するステップと、
   該振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、
   前記座標変換処理における座標変換方式を変更するステップと、を有し
   前記座標変換方式を変更するステップは、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報とに基づいて座標変換方式を変更することを特徴とする画像処理方法。
10. 振れ情報を取得するステップと、
    該振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、
    前記座標変換処理における座標変換方式を変更するステップと、
    前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定するステップと、を有し、
    前記座標変換方式を変更するステップは、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報と前記出力画像領域の情報とに基づいて座標変換方式を決定することを特徴とする画像処理方法。