JP6223161B2

JP6223161B2 - 画像処理装置およびそれを備えた撮像装置、画像処理方法

Info

Publication number: JP6223161B2
Application number: JP2013255512A
Authority: JP
Inventors: 見寺澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-12-10
Filing date: 2013-12-10
Publication date: 2017-11-01
Anticipated expiration: 2033-12-10
Also published as: JP2015114438A

Description

本発明は、画像処理装置に関し、カメラのブレ状況に応じて、画質劣化を最小限に抑えつつ像振れを抑制する技術に関する。

撮像装置（カメラ）の回転、並進の姿勢変化は、その画角変化がブレとして画像に影響を及ぼすため、レンズ内に配置されたブレ補正用の像振れ補正レンズ（像振れ補正光学系）を制御、駆動することで、好適にブレを抑圧することができる。また、信号処理で射影変換などの自由度の高い幾何変形処理を施すことで、より好適にブレを抑圧することができる。

しかし、撮像装置の大きな揺れを補正するために像振れ補正レンズの駆動量を大きくした場合、像振れ補正レンズが光軸中心から外れることによる偏心収差による画像歪み、解像度劣化の影響が避けられなくなる。さらに、この偏心収差は光学的性質が複雑であるため、偏心収差を含む収差の画像歪みに対する補正処理は現実的には補正しきれず、補正残りや過補正による画質劣化が避けられない。

カメラのブレ状況に応じて、画質劣化を最小限に抑えつつ、像振れを抑制する技術としては、特許文献１、特許文献２がある。

特開２００９−２９６５６１号公報特開２００９−２８４３９４号公報

特許文献１では、カメラのブレ量、焦点距離、画像サイズまたは圧縮率を含む画質パラメータによって決定するタイミングで撮像素子からの画像を読み出す連続撮影を行い、複数撮影された画像を合成することで、ブレを低減した画像を生成している。

しかしながら、偏心収差を伴うブレ補正では、連続撮影による画像の歪み変化、解像度変化は複雑となるため、補正後に生じる補正残りや過補正による画質劣化を考慮する必要がある。

特許文献２では、カメラのブレ量、焦点距離、画像サイズまたは圧縮率を含む画質パラメータによって決定する露光時間で撮像素子の露光制御を行った連続撮影を行い、複数撮影された画像を合成することで、ブレを低減した画像を生成している。

本発明は、上記課題を鑑み、像振れ補正光学系の駆動による画質劣化を抑制する画像処理装置およびそれを備えた撮像装置、画像処理方法を提供することを目的とする。

本発明の一側面としての画像処理装置は、撮像装置の振れを補正する像振れ補正光学系の駆動量に基づいて画像の第１の変形量を推定する第１の推定手段と、前記像振れ補正光学系の駆動量に基づいて画質劣化量を示す画質劣化情報を生成する生成手段と、前記画像の第１の変形量と前記画質劣化情報に基づいて前記像振れ補正光学系の駆動量を制限する制限手段と、前記制限手段により制限された前記像振れ補正光学系の駆動量に基づいて画像の第２の変形量を推定する第２の推定手段と、前記画像の第２の変形量に基づいて画像に幾何変形処理を施す処理手段と、を有することを特徴とする。

本発明によれば、像振れ補正光学系の駆動による画質劣化を抑制する画像処理装置およびそれを備えた撮像装置、画像処理方法を提供することができる。

本発明の実施例１である撮像装置の構成を示すブロック図である。実施例１の撮像装置の動作を示すフローチャートである。本発明の実施例２である撮像装置の構成を示すブロック図である。実施例２の撮像装置の動作を示すフローチャートである。像振れ補正レンズの動作を表す図である。像振れ補正レンズの駆動量と画質劣化量の関係を示す図である。偏心収差を伴う歪みを示す図である。像振れ補正レンズの駆動情報から歪み補正した場合の結果を示す図である。本発明の実施例１で、画質劣化情報で重み付けして歪み補正した場合の結果を示す図である。本発明の実施例２で、画質劣化情報と幾何変形重点領域指示で重み付けして歪み補正した場合の結果を示す図である。本発明の実施例２で、画質劣化情報で重み付けして歪み補正した場合の結果を示す図である。本発明の実施例２で、画質劣化情報と幾何変形重点領域指示で重み付けして歪み補正した場合の結果を示す図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１に、本発明の実施例１である撮像装置の構成を示す。

図１において、１０１は被写体像を形成する撮像光学系であり、１０２は撮像光学系内部に配置され、撮像光学系１０１の光軸とは異なる方向に駆動可能な像振れ補正レンズ（像振れ補正光学系）である。１０３は撮像光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。

１０４は撮像素子１０３から出力される電気信号から映像信号を形成する現像処理部である。現像処理部１０４は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部（ＡＷＢ）を含み、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換処理する。

撮像素子１０３及び現像処理部１０４により、画像の生成を行う撮像系が構成される。

１０５は、現像処理部１０４により形成された映像信号の１フレーム又は複数のフレーム画像を一時的に記憶保持するメモリである。

１０６は姿勢変化検出部であり、手ぶれやカメラワーク等の撮像装置の動き（すなわち、姿勢変化量、状態）の情報を取得する角速度センサ（ジャイロセンサ）等の検出装置で構成される。この姿勢変化検出部１０６は、主に撮像装置の動き（姿勢変化量、状態）を検出する状態検出手段として機能する。撮像装置の動きの情報を取得する方法としては、上記ジャイロセンサを使用する以外にも、加速度センサ（シフトセンサ）等のセンシングデバイスを使用する方法の他、入力画像と過去の参照画像から動きを検出する、所謂動きベクトル検出による方法がある。

第１幾何変形パラメータ推定部１０８（第１の推定手段）は、姿勢変化検出部１０６からの動き情報及び像振れ補正レンズの駆動情報から、フレーム画像間のぶれの動き及び像振れ補正レンズ１０２の収差の補正量を、幾何変形パラメータとして出力する。

画質劣化予測部１０７は、第１幾何変形パラメータ推定部１０８からの補正パラメータから画質劣化を予測し、画質劣化情報を生成する。

防振処理制御部１０９は、画質劣化予測部１０７の画質劣化情報に基づいて、像振れ補正レンズ駆動部１１４及び第２幾何変形パラメータ推定部１１０を制御する。像振れ補正レンズ駆動部１１４は、像振れ補正レンズ１０２を撮像光学系１０１の光軸とは異なる方向（たとえば、光軸に対し直交する方向）に駆動する像振れ補正レンズ駆動手段として機能する。また、像振れ補正レンズ駆動部１１４は、像振れ補正レンズ１０２の駆動量または位置（駆動情報）を検出することができ、像振れ補正レンズ１０２の駆動情報を検出する像振れ補正レンズ検出手段としても機能する。

第２幾何変形パラメータ推定部１１０（第２の推定手段）は、防振処理制御部１０９の指示に従い、フレーム画像間のぶれの動き及び像振れ補正レンズ１０２の収差の補正量を、幾何変形パラメータとして出力する。

１１１は、撮像系（撮像素子１０３及び現像処理部１０４）で生成された撮影画像をメモリ１０５を介して取得する画像取得手段としての機能を有する幾何変形処理部である。幾何変形処理部１１１は、防振及び収差補正の為の幾何変形パラメータに基づいて、フレーム画像に対してぶれ及び像振れ補正レンズ１０２の収差を補正するための幾何変形処理を行い、メモリ１０５に画像を書き出す。画質劣化予測部１０７、第１幾何変形パラメータ推定部１０８、防振処理制御部１０９、第２幾何変形パラメータ推定部１１０、および幾何変形処理部１１１により、画像の劣化を低減する画像処理部（画像処理装置）が構成される。

画像記録部１１２は、防振処理の施された画像を記録媒体に記録し、画像表示部１１３は防振処理及び像振れ補正レンズ１０２の収差補正の施された映像を不図示のディスプレイへ表示する。

以上のように構成された本発明の撮像装置における幾何変形処理制御について、図２に示すフローチャートを用いて詳細に説明する。

ステップＳ２０１では、姿勢変化検出部１０６において撮像装置の動き情報（すなわち、姿勢変化量、状態）を取得する。動き情報取得の一例としてジャイロセンサを使用した場合には、撮像装置のＹａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ方向の動き情報を得ることが出来る。例えば、カメラの姿勢が図５（Ａ）のように傾いた場合、その傾きの速度を角速度として検知する。ここでは動き情報の取得手段としてジャイロセンサについて述べているが、特にこれに限られるものではなく、画像からの動きベクトル検出で撮像装置の動き情報を取得しても良い。

ステップＳ２０２では、像振れ補正レンズ１０２の駆動量は、図５（Ｂ）に示すように、姿勢変化検出部１０６から得られるＹａｗ、Ｐｉｔｃｈの回転角を戻すように、防振処理制御部１０９によって指示される。このとき、像振れ補正レンズ１０２で生じる偏心収差は像振れ補正レンズ１０２の駆動量に応じて発生しており、光学設計上、ある程度の駆動量までは偏心収差を小さく抑えることができる。しかし、像振れ補正レンズ１０２の駆動量がある程度大きくなると偏心収差量が増大し、図7に示すような歪みを生じる。

ステップＳ２０３では、第１幾何変形パラメータ推定部１０８は、ステップＳ２０１で得られる撮像装置の動き情報と、ステップＳ２０２で得られる像振れ補正レンズ１０２の駆動量に基づいて、フレーム画像間の幾何変形パラメータ（第１の変形量）を推定する。本実施例では、幾何変形を表す手段の一例としてホモグラフィ行列と呼ばれる３×３の行列式を用いる場合について説明する。

まず、画像上のある点ａ、

が次フレームにおいて点ａ′、

に移動したとする。ここで、添え字Ｔは転置行列であること示す。

式１の点ａと式２の点ａ′の対応関係は、ホモグラフィ行列Ｈを用いることにより、

と表すことができる。

ホモグラフィ行列Ｈは画像間の並進、回転、変倍、せん断、あおりによる変形量を示す行列式であり、以下の式により表すことができる。

ホモグラフィ行列Ｈの各要素は、ステップＳ２０１で得られる撮像装置の姿勢変化量と、ステップＳ２０２で得られる像振れ補正レンズ１０２の駆動量により求めることが出来る。

ここで、式４のホモグラフィ行列Ｈでは、パラメータｈ１３、ｈ２３が並進の動き成分、ｈ１１、ｈ１２、ｈ２１、ｈ２２が回転、変倍、せん断の動き成分を表し、そしてｈ３１、ｈ３２があおりの動き成分を表している。

あおりの動き成分までを防振の対象とする場合には上記の８個のパラメータ全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。

回転の動き成分までを防振の対象とする場合には、あおりの動き成分を表すパラメータであるｈ３１及びｈ３２を推定する必要が無いため、それ以外の６個のパラメータ推定、つまり６自由度での最小二乗法による推定を行えば良いことになる。

並進の動き成分のみを防振の対象とする場合には、式４におけるｈ１３及びｈ２３のパラメータについてのみ推定を行えば良い。

上記の方法で推定されたホモグラフィ行列Ｈは、撮像装置のぶれによる画像の変形量に、像振れ補正レンズ１０２の偏心収差を合成したものを表す。

姿勢変化検出部１０６がジャイロセンサの場合、Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌでそれぞれγ、β、αの回転ブレを検出すると、ホモグラフィとして得られる幾何変形パラメータは、以下の式により表すことができる。

一方、像振れ補正レンズ１０２の水平方向、垂直方向の駆動量を、それぞれδ、θとすると、以下の式により表すことができる。

これらを合成すると、

となる。このため、画像のぶれ及び像振れ補正レンズ１０２の偏心収差の歪みを補正するには、変形を打ち消すような画像変形量となるようにホモグラフィ行列Ｈを変換する必要がある。

つまり、ホモグラフィ行列Ｈ（幾何変形パラメータ）を逆行列Ｈ^-1（幾何変形補正パラメータ）に変換することにより、点ａ′と点ａの対応関係は、

と表すことが出来る。

式８により、ぶれが生じた後の点ａ´を、ぶれが生じる前の点ａと同じ座標に戻すことが可能となる。

ここで求められた逆行列Ｈ^-1（補正情報）で補正をした場合は図８のようになるが、画像内全体を均一に補正することができず、補正残り、過補正を生じる結果となる。

ステップＳ２０４では、ステップＳ２０２で得られる像振れ補正レンズ１０２の駆動量に基づいて画質劣化予測を行う。像振れ補正レンズによる偏心収差量が増大するにつれ、偏心収差による歪みが複雑になり、結果として補正後に生じる補正残りや過補正による画質劣化が顕著となる。ここで、図６は、像振れ補正レンズ駆動量対画質劣化量の特性例を示したものである。なお、図６のデータは、画質劣化予測部１０７の不図示のメモリに記憶されている。画質劣化予測部１０７は、例えば図６の画質劣化量を正規化した係数ｋ（画質劣化情報）を生成し、画質劣化のない状況なら１．０、非常に画質劣化のある状況では０．０となるように多値で出力する。換言すれば、画質劣化予測部１０７は、画質劣化情報を生成する生成手段および出力する出力手段として機能する。ただし、ステップＳ２０４は、ステップＳ２０２で得られた像振れ補正レンズ１０２の駆動量からステップＳ２０３で算出された幾何変形パラメータ（を変換した幾何変形補正パラメータ）に基づいて画質劣化予測を行うようにしてもよい。つまり、ステップＳ２０４では、ステップＳ２０３で算出された幾何変形パラメータ（を変換した幾何変形補正パラメータ）による補正残差を画像内の座標に関連付け、画像内の幾何変形残差情報を画質劣化情報として出力する。

ステップＳ２０５、Ｓ２０６では、防振処理制御部１０９は、画質劣化予測部１０７からの出力である係数ｋと、第１幾何変形パラメータ推定部１０８からの補正パラメータから、幾何変形パラメータの重み付け及び像振れ補正レンズの駆動量を決定する。まず、防振処理制御部１０９は、画質劣化予測部１０７からの画質劣化情報に基づいて、画質劣化の高い領域に対し幾何変形パラメータの重みを付ける。ここで、画質劣化の高い領域は、画像間の変形量および画像内の特定領域の少なくとも１つに基づいて決定される。式７の各項（各成分）のうち、補正残り、過補正による画質の影響が大きいのは、あおり項のｈ３１、ｈ３２、回転、変倍、せん断のｈ１１、ｈ１２、ｈ２１、ｈ２２、並進のｈ１３、ｈ２３の順である。従って防振処理制御部１０９は、この項が順次小さくなるように、係数ｋで、像振れ補正レンズ１０２の駆動量δ、θを制限した駆動量δ’、θ’を出力する。あるいは、像振れ補正レンズ１０２の駆動量δ、θは姿勢変化検出部１０６のＹａｗ、Ｐｉｔｃｈの回転ブレγ、βで決まるため、係数ｋで回転ブレγ、βを制限し、制限した回転ブレγ’、β’を出力しても良い。ただし、この場合は像振れ補正レンズの駆動量を抑えることができないため、補正残り、過補正による画質の影響が残りやすい。このように、防振処理制御部１０９は、像振れ補正レンズ１０２の駆動量を制限する制限手段として機能する。

ステップＳ２０７では、第２幾何変形パラメータ推定部１１０は、ステップＳ２０５で得られる像振れ補正レンズ１０２の駆動量δ’、θ’、回転ブレγ’、β’、α’から、幾何変形パラメータ（画像間の第２の変形量）を推定する。本実施例では、幾何変形を表す手段の一例としてホモグラフィ行列と呼ばれる３×３の行列式を用いる場合について説明しており、その計算は結果として、第１幾何変形パラメータ推定部１０８の説明の式７、式８と同様の解を得る。そのため、ここでの説明は省略する。ここで求められた幾何変形パラメータで補正した場合、図９に示すように、画像の周辺部９０１の歪みに重みづけされた補正ができていることになる。

ステップＳ２０８では、幾何変形処理部１１１において、ステップＳ２０７で得られた防振の為の幾何変形量を用いて画像に幾何変換処理を施すことで防振を行う。換言すれば、幾何変形処理部１１１は、画像に幾何変形処理を施す処理手段として機能する。

以上説明したように、像振れ補正レンズ１０２の駆動量に応じて画質劣化を予測した防振制御ができるため、防振処理における像振れ補正レンズ１０２の補正残り、過補正による画質劣化を好適に抑制することができる。

図３に、本発明の実施例２である撮像装置の構成を示す。

本実施例では、画質劣化予測部１０７への入力情報に、特徴抽出部１１５が加わっている。

図３において、図１に示した構成要素と共通するものについては、図１と同符号を付しているため、本実施例では、図３において実施例１と異なる処理を行う部分についてのみ説明する。

図３において、画質劣化予測部１０７は、第１幾何変形パラメータ推定部１０８からの補正パラメータおよび特徴抽出部１１５からの特徴情報から画質劣化を予測し、画質劣化情報を生成する。上記以外は全て図１と同様である。

以上のように構成された撮像装置における幾何変形処理制御について、図４に示すフローチャートを用いて詳細に説明する。

図４において、図２に示した処理と共通するものについては、図２と同符号を付しているため、本実施例では、図４において実施例１と異なる処理を行う部分についてのみ説明する。

実施例１と異なるのは、ステップＳ２０９、Ｓ２０４であるため、それ以外の説明は省略する。

ステップＳ２０９では、現像処理部１０４の出力である画像信号は特徴抽出部１１５に入力され、画像内の特徴がどのように分布しているかを画像内の座標位置に関連付けて出力する。ここでいう特徴とは、画像の歪みに対して主観的な影響が大きい成分、例えば、被写体の全体または被写体の一部である人の顔（主被写体）、高周波成分、幾何学テクスチャである。このように、特徴抽出部１１５は、画像（画像信号）から特徴部（特徴情報）を抽出する抽出手段として機能する。

ステップＳ２０４では、ステップＳ２０３で推定された幾何変形パラメータおよびステップＳ２０９で取得された特徴情報から画質劣化予測を行う。像振れ補正レンズによる偏心収差量が増大するにつれ、偏心収差による歪みが複雑になり、結果として補正後に生じる補正残りや過補正による画質劣化が顕著となる。画質劣化予測部１０７は、例えば図６の画質劣化量を正規化した係数ｋ１を生成し、画質劣化のない状況なら１．０、非常に画質劣化のある状況では０．０となるように出力する。さらに、特徴抽出部１１５の特徴情報を正規化した係数ｋ２を生成し、図１１、１２のように、画像内で特徴の分布密度の高い領域（特徴領域１１０１，１２０１）を１．０、特徴がなく非常に分布密度が低い領域を０．０となるように出力する。また、図１０、１２のように、不図示の操作部により幾何変形重点領域（特定領域１００１，１２０２）を指示（指定）して、この幾何変形重点領域を１．０、それ以外の領域を０．０となるように出力しても構わない。このｋ１、ｋ２を合成し、最終的な画質重み係数ｋを出力する。ｋ１、ｋ２の合成方法は、単純加算でもよいし、像振れ補正レンズの歪みによる画質劣化と、画像内特徴との重みを変えた加重加算でもよい。このようにして、第２幾何変形パラメータ推定部で求められた幾何変形パラメータで補正した場合、図１０、１１、１２に示すように、画像の一部の特徴領域、かつ／または画像周辺部の歪みに重みづけされた補正ができていることになる。

以上説明したように、像振れ補正レンズ１０２の駆動量に加え、被写体の歪みの画質に対する影響に応じて画質劣化を予測した防振制御ができるため、防振処理における像振れ補正レンズ１０２の補正残り、過補正による画質劣化を好適に抑制することができる。

本発明によれば、ブレ状況、画像の特徴に応じて像振れ補正レンズの駆動量、収差補正の重心を制御することで、画質劣化を抑制したブレ補正、収差補正を実現することができる。

画質劣化を好適に抑制する効果が得られる画像処理装置及び撮像装置を実現できる。

１０７・・・画質劣化予測部
１０８・・・第１幾何変形パラメータ推定部
１０９・・・防振処理制御部
１１０・・・第２幾何変形パラメータ推定部
１１１・・・幾何変形処理部

Claims

撮像装置の振れを補正する像振れ補正光学系の駆動量に基づいて画像の第１の変形量を推定する第１の推定手段と、
前記像振れ補正光学系の駆動量に基づいて画質劣化量を示す画質劣化情報を生成する生成手段と、
前記画像の第１の変形量と前記画質劣化情報に基づいて前記像振れ補正光学系の駆動量を制限する制限手段と、
前記制限手段により制限された前記像振れ補正光学系の駆動量に基づいて画像の第２の変形量を推定する第２の推定手段と、
前記画像の第２の変形量に基づいて画像に幾何変形処理を施す処理手段と、
を有することを特徴とする画像処理装置。
前記生成手段は、前記像振れ補正光学系の駆動量から算出した前記画像の第１の変形量に基づいて前記画質劣化情報を生成することを特徴とする請求項１に記載の画像処理装置。
前記制限手段は、前記画質劣化情報に基づいて、画質劣化の高い領域に前記画像の第１の変形量の重みを付けることを特徴とする請求項１または２に記載の画像処理装置。
前記画質劣化の高い領域は、画像の変形量および画像内の特定領域の少なくとも１つに基づくことを特徴とする請求項３に記載の画像処理装置。
前記制限手段は、前記画像の第１の変形量の各成分が順次小さくなるように前記画質劣化情報に基づいて前記駆動量を制限することを特徴とする請求項３または４に記載の画像処理装置。
画像から特徴部を抽出する抽出手段をさらに有し、
前記生成手段は、前記像振れ補正光学系の駆動量と前記抽出手段により抽出された特徴部とに基づいて前記画質劣化情報を生成することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
像振れ補正光学系を含む撮像光学系と、
前記撮像光学系により形成された被写体像を光電変換する撮像素子と、
請求項１から６のいずれか一項に記載の画像処理装置と、を備えた撮像装置。
撮像装置の振れを補正する像振れ補正光学系の駆動量に基づいて画像の第１の変形量を推定する第１の推定ステップと、
前記像振れ補正光学系の駆動量に基づいて画質劣化量を示す画質劣化情報を生成する生成ステップと、
前記画像の第１の変形量と前記画質劣化情報に基づいて前記像振れ補正光学系の駆動量を制限する制限ステップと、
前記制限ステップにより制限された前記像振れ補正光学系の駆動量に基づいて画像の第２の変形量を推定する第２の推定ステップと、
前記画像の第２の変形量に基づいて画像に幾何変形処理を施す処理ステップと、
を有することを特徴とする画像処理方法。
画像から特徴部を抽出する抽出ステップをさらに有し、
前記生成ステップは、前記像振れ補正光学系の駆動量と前記抽出ステップにより抽出された特徴部とに基づいて前記画質劣化情報を生成することを特徴とする請求項８に記載の画像処理方法。