JP6910219B2 - 撮像装置のキャリブレーション方法 - Google Patents

Description

本発明は、ジャイロセンサ等の角速度検出素子を備える撮像装置およびそのキャリブレーション方法に関する。

近年、スマートフォンなどに搭載されるカメラモジュールにおいては、撮像レンズの位置を検出して、この位置情報をフィードバックすることで、撮像レンズの位置を高精度かつ高速に制御する機能を取り入れるものが増加してきている。特に、光学手振れ補正（ＯＩＳ）にフィードバック制御を取り入れることにより、高精度の手振れ補正が可能となるため、暗い場所で、遠方の被写体をブレなく撮影したいという要求の高まりとともに、ＯＩＳを採用したカメラは今後も増加していくと予想される。

カメラにおける手振れには、ピッチ、ヨー、ロールの３方向の角度ブレが考えられる。通常、ピッチは光軸に対して縦方向のブレを指し、ヨーは光軸に対して横方向のブレを指し、ロールは光軸まわりの回転ブレを指す。それぞれのブレ量は、ジャイロセンサによって角速度信号として検出され、これを積分することで角度ブレ量が算出される。これまでのＯＩＳ機能を備えたカメラでは、ピッチ方向とヨー方向の角度ブレ量に応じてレンズを光軸に垂直なＸＹ平面内でシフトさせることで手振れを補正する、レンズシフト方式あるいはバレルシフト方式と呼ばれるＯＩＳが主流となっている。ロール方向のブレに対しては、信号処理によって補正する、いわゆる電子式手振れ補正が採用されるケースが多い。

ジャイロセンサの角速度検出軸に対して、カメラモジュールにおけるアクチュエータの駆動軸、位置検出軸、撮像素子の画素方向軸等は、それぞれの実装ばらつき等により必ずしも一致しておらず、何らかの信号補正（キャリブレーション）を行うことが望ましい。ジャイロセンサがカメラモジュールの基板内に搭載されている場合は、一体で加振することで角速度検出軸の方向がわかり、これに合わせて位置検出信号を補正したり、あるいはアクチュエータの駆動方向に合わせて角速度検出信号を補正することが可能となる。

角速度センサ（ジャイロセンサ）の揺れ検出軸と駆動系（アクチュエータ）の揺れ補正軸との傾きを補正する技術が特許文献１に開示されている。具体的には、揺れ検出軸と揺れ補正軸の傾きθを用いて角速度信号の補正信号を得ることが記載されており、この傾きθを求める方法として、機械的な角度を測定することと、実際に角速度を加えること（すなわち加振すること）が開示されている。

同様に、角速度センサの取り付け角度の傾きにもとづく出力誤差を補正する技術が特許文献２に開示されている。具体的には、角速度センサの取り付け角度の傾きにもとづく出力誤差を補正することが記載されており、所定の軸方向に加振したときの２方向の角速度センサの出力の比から補正係数を求めることが開示される。

一方、角度ブレに加えて並進ブレまで補正することを目的として、角速度センサに加えて加速度センサを搭載したカメラの例が特許文献３に開示されている。具体的には角速度センサと加速度センサを搭載し、角度ブレとともに並進ブレを補正し、カメラの姿勢に応じて並進ブレの演算量を変えることが開示されている。

特開２００４−１９４１５７号公報 特開２００８−１１６９２０号公報 特開２０１３−５４１９３号公報

しかしながら、パッケージングされた角速度センサ内部の検出軸の方向を機械的に測定することは非常に困難であり、カメラモジュールの製造工程内で１台ずつ加振することも時間がかかり面倒である。

また、カメラモジュールと角速度センサが一体化されている場合には、前述のように一体で加振してキャリブレーションする方法が採用可能であるが、カメラモジュールと角速度センサが別々に実装された上で個別に検証される場合、たとえばカメラモジュールを検査するメーカーと角速度センサを実装するメーカーが異なる場合などにおいては、カメラモジュールと角速度センサそれぞれで何らかの基準を設けてキャリブレーションされることが望ましいが、従来の一体加振の方法ではそれができない。

本発明はかかる状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、加振レスで撮像装置をキャリブレーションする方法を提供することにある。また別の目的のひとつは、高精度な手振れ補正が可能な撮像装置を提供することにある。

本発明のある態様は、撮像装置のキャリブレーション方法に関する。キャリブレーション対象の撮像装置は、撮像素子、および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、撮像装置に作用するブレ量を検出するブレ検出素子と、撮像装置に作用する重力の方向を判定する重力検出素子と、を備える。キャリブレーション方法は、重力の方向に対するブレ検出素子の座標軸の方向のずれに対応する第１角度を検出するステップと、重力の方向に対するカメラモジュールの方向のずれに対応する第２角度を検出するステップと、第１角度および第２角度にもとづいて、ブレ検出素子の検出信号を補正するためのパラメータを取得するステップと、を備える。

この方法によれば、重力方向に対するブレ検出素子の座標軸のずれ角を加振レスで検出することが可能であるとともに、重力方向に対するカメラモジュールの方向、たとえば画素軸の方向のずれ角を検出するので、カメラモジュールとブレ検出素子が一体化されていない場合でも、重力方向を媒介として、カメラモジュールの方向に合わせてブレ検出信号を補正するキャリブレーションが可能となり、結果として高精度な手ぶれ補正が可能となる。

第２角度を検出するステップは、所定パターンを有するチャートを前記撮像素子で撮像するステップと、撮像画像における所定パターンの方向と画素軸の方向とのずれにもとづいて、第２角度を取得するステップと、を含んでもよい。
この方法によれば、チャートの所定パターンの方向と重力方向との間のずれを考慮した上で、所定パターンの方向と画素軸の方向のずれ角を検出するので、カメラモジュールの画素軸の方向と重力方向とのずれ角がわかる。

第２角度を検出するステップは、チャートの所定パターンの方向を、重力の方向に合わせてあらかじめ調整するステップをさらに含んでもよい。
この方法によれば、チャートの所定パターンの方向が重力方向に合っているので、所定パターンの方向と画素軸の方向のずれ角を検出することで、画素軸の方向と重力方向とのずれ角がわかる。

第２角度を検出するステップは、チャートの所定パターンの方向と重力方向とのずれに対応する第３角度をあらかじめ検出するステップをさらに含んでもよい。第３角度を、第２角度の検出に利用してもよい。
この方法によれば、チャートの所定パターンの方向が重力方向とずれていたとしても、そのずれ角を把握しておくことで、画素軸の方向と重力方向のずれ角を算出することが可能となる。

第１角度を検出するステップは、重力検出素子の座標軸の方向と重力方向とのずれに対応する第４角度を検出するステップを含んでもよい。ブレ検出素子の座標軸の方向と、重力検出素子の座標軸の方向とが実質的に平行であるものとして、第４角度を、第１角度としてもよい。
この方法によれば、ブレ検出素子の座標軸の方向と、重力検出素子の座標軸の方向とが略一致するものとしてキャリブレーションを行うので、重力検出素子の座標軸と重力方向とのずれ角を、ブレ検出素子の座標軸の方向と重力方向のずれ角に代用できる。

本発明の別の態様は、撮像装置に関する。撮像装置は、撮像素子、および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、撮像装置に作用するブレ量を検出するブレ検出素子と、撮像装置に作用する重力の方向を判定する重力検出素子と、を備え、上記のいずれかのキャリブレーション方法によりキャリブレーションがなされることを特徴としている。

以上の構成によれば、重力方向に対するブレ検出素子の座標軸のずれ角を加振レスで検出することが可能であるとともに、重力方向に対するカメラモジュールの方向、たとえば画素軸の方向のずれ角を検出するので、カメラモジュールとブレ検出素子が一体化されていない場合でも、重力方向を媒介として、カメラモジュールの方向に合わせてブレ検出信号を補正するキャリブレーションが可能となり、結果として高精度な手振れ補正が可能な撮像装置が実現できる。

ある態様において、ブレ検出素子と重力検出素子は一体的にパッケージングされていてもよい。ブレ検出素子と重力検出素子が一体的にワンパッケージ化されているので、お互いの座標軸の方向ずれを極力小さくでき、加振レスでもブレ検出素子の座標軸の方向と重力方向とのずれ角を検出することができる。

またある態様においてブレ検出素子のブレ検出部と、重力検出素子の重力方向検出部とが、同一のプロセスで作製されていてもよい。ブレ検出素子のブレ検出部と、重力検出素子の重力方向検出部とが、同一のシリコンプロセスで高精度に作製されるので、お互いの座標軸の方向ずれをさらに小さくでき、加振レスでもブレ検出素子の座標軸の方向と重力方向とのずれ角を検出することができる。

また、ある態様において、重力検出素子は、少なくとも２軸方向の加速度が検出できる加速度センサであってもよい。重力検出素子として加速度センサが用いられるので、重力方向を検出するだけでなく、並進ブレの補正などにも活用でき、有効に利用できる。

また、ある態様においてカメラモジュールは、レンズを光軸に垂直な方向に変位させるためのアクチュエータと、光軸に垂直な方向のレンズの変位を検出する位置検出素子と、を備えてもよい。撮像素子の画素軸の方向に対する前記位置検出素子の検出方向のずれの影響をなくすように、位置検出素子の位置検出信号が補正されていてもよい。この態様によれば、カメラモジュールにおける撮像素子の画素軸の方向に対する位置検出素子の検出方向のずれが補正されているため、ブレ検出素子と位置検出素子という２つの検出手段の間のキャリブレーションが可能となる。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

さらに、この課題を解決するための手段の記載は、すべての欠くべからざる特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。

本発明によれば、加振レスでブレ検出信号のキャリブレーションが可能となる。また高精度な手振れ補正が可能な撮像装置を提供できる。

実施の形態に係る撮像装置を示す図である。 実施の形態に係るキャリブレーションのフローチャートである。 図２のキャリブレーションで測定される第１角度θ_１および第２角度θ_２を説明する図である。 図４（ａ）、（ｂ）は、実施例に係るキャリブレーションを説明する図である。 図５（ａ）、（ｂ）は、重力・ブレ検出素子が重力方向に対して傾いた状態を示す図である。 図６（ａ）、（ｂ）は、チャートが重力方向に対して傾いた状態を示す図である。 チャートの所定パターンが、画像上で画素軸の方向に対して傾いている状態を示す図である。 画素とジャイロセンサの傾き関係を示す図である。 実施の形態に係るキャリブレーションのフローチャートである。 実施の形態に係るカメラモジュールのシステム構成例を示すブロック図である。 図１１（ａ）、（ｂ）は、撮像装置におけるカメラモジュールの画素軸と位置検出軸のずれ角を説明する図である。 実施の形態に係るアクチュエータドライバＩＣの構成を示す図である。 ゲインキャリブレーションに用いられるチャートのパターンの一例を示す図である。 ゲインキャリブレーションに用いられる画素上の変位とホール信号出力の関係を示す図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

また図面に記載される各部材の寸法（厚み、長さ、幅など）は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Ａが、別の部材Ｂよりも厚く描かれていても、部材Ａが部材Ｂよりも薄いこともあり得る。

本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合のほか、部材Ａと部材Ｂが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

＜座標軸に関するキャリブレーション＞
はじめに実施の形態に係るキャリブレーション方法について、図１から図９を参照して説明する。

図１は、実施の形態に係る撮像装置１００を示す図である。撮像装置１００は、撮像機能を備える電子機器１５０の一部であり、重力・ブレ検出素子２００およびカメラモジュール３００を備える。電子機器１５０は、スマートフォンやタブレット端末、ラップトップコンピュータやポータブルオーディオプレイヤなどが例示されるがその限りでない。

重力・ブレ検出素子２００は、撮像装置１００に作用するブレ量を検出するブレ検出素子２００Ａと、撮像装置に作用する重力の方向を判定する重力検出素子２００Ｂと、を含む。重力検出素子としては、重力方向が検出できれば足りるので重力センサのようなものを用いてもよいが、加速度センサを用いることで、重力方向を検出するだけでなく、並進ブレの補正などにも活用できるため、本実施形態では加速度センサとして説明する。ブレ検出素子としては、ブレ検出手段として一般的なジャイロセンサを用いるものとする。

本明細書において、ブレ検出素子２００Ａの検出軸を角速度検出軸と称し、重力検出素子２００Ｂの検出軸を、加速度検出軸と称する。

重力・ブレ検出素子２００は、加速度センサとジャイロセンサがひとつのパッケージ内に実装されたものが市販されており、加速度検出軸と角速度検出軸のずれが小さくなるように高精度に実装されているため、これを用いることが望ましい。さらには、加速度センサとジャイロセンサがＭＥＭＳ技術で形成され、同一のプロセスで作製されたものであるならば、両者の座標軸の関係はシリコンプロセスの精度で形成されていることが期待できるため、さらに望ましい。

カメラモジュール３００は、撮像素子３０２およびレンズ３０４を含む。本明細書において撮像素子３０２の水平方向および垂直方向を、画素軸と総称する。レンズ３０４は、撮像素子３０２への入射光路上に設けられる。便宜のために、電子機器１５０を基準として左右の方向にＸ軸を、上下方向にＹ軸を、奥行き方向にＺ軸をとる。

レンズ３０４は、オートフォーカスのために、光軸方向（Ｚ軸方向）に変位可能に支持され、図示しないアクチュエータにより位置決めされる。また手ブレ補正機能付きのカメラモジュール３００の場合、レンズ３０４はＸ方向およびＹ方向にも変位可能に支持されており、図示しないアクチュエータによって、Ｘ方向、Ｙ方向それぞれに関して位置決め可能となっている。

理想的には、カメラモジュール３００の画素軸と、電子機器１５０のＸ軸、Ｙ軸は一致しており、また重力・ブレ検出素子２００の２つの検出軸もまた、電子機器１５０のＸ軸、Ｙ軸と一致することが望ましいが、組み立て精度の問題から、それらを完全に一致させることは難しい。

そこで本実施の形態に係るキャリブレーション方法では、重力の方向を媒介として、ブレ検出素子２００Ａの角速度検出軸の方向と、カメラモジュール３００の画素軸の方向のずれを検出し、これを補正する。本実施の形態において、単に「検出軸」という場合、Ｙ軸と平行であるべき検出軸を指す。

キャリブレーションは、カメラモジュール３００および重力・ブレ検出素子２００を電子機器１５０に実装後に実行される。図２は、実施の形態に係るキャリブレーションのフローチャートである。

はじめに、電子機器１５０のＹ軸が重力方向（すなわち鉛直方向）と平行となるように、電子機器１５０の位置合わせを行う（Ｓ２００）。なお、後述のように電子機器１５０の傾きは、キャリブレーションに本質的に影響しないため、処理Ｓ２００は省略してもよい。

そして、重力方向に対するブレ検出素子２００Ａの座標軸の方向のずれに対応する第１角度θ_１を検出する（Ｓ２０２）。また、重力方向に対するカメラモジュール３００の方向（画素軸）のずれに対応する第２角度θ_２を検出する（Ｓ２０４）。

図３は、図２のキャリブレーションで測定される第１角度θ_１および第２角度θ_２を説明する図である。ステップＳ２０２，Ｓ２０４では、これらの角度θ_１、θ_２が測定される。

図２に戻る。そして測定された第１角度θ_１および第２角度θ_２にもとづいて、電子機器１５０の実動作中において、ブレ検出素子２００Ａの検出信号を補正するためのパラメータを取得する（Ｓ２０６）。θ_１とθ_２を用いて計算した値をパラメータとしてもよいし、θ_１とθ_２をパラメータとしてもよい。

以上が実施の形態に係るキャリブレーション方法の基本原理である。以下、キャリブレーションの実施例を説明する。

図４（ａ）、（ｂ）は、実施例に係るキャリブレーションを説明する図である。図４（ａ）は、キャリブレーション工程におけるセットアップを示す。また図４（ｂ）はキャリブレーションに使用可能なチャート６００の変形例を示す。

キャリブレーションの実行時に、チャート６００が用いられる。チャート６００には、たとえば十字状の直線パターン６１０が形成されている。しかしながら、パターンはこれに限定される訳ではなく、図４（ｂ）のような４点程度のドットパターン６２０でもよい。カメラモジュール３００はチャート６００の直線パターン６１０を撮像し、画像として取り込むことができる。高精細なディスプレイパネルに、所定のパターンを表示させたものをチャート６００として用いてもよい。

図５（ａ）、（ｂ）を参照して、重力・ブレ検出素子２００の重力方向に対する傾き（すなわち第１角度θ_１）について説明する。図５（ａ）、（ｂ）は、重力・ブレ検出素子が重力方向に対して傾いた状態を示す図である。図５（ａ）は全体図を、図５（ｂ）は加速度検出部の拡大図を示している。

重力・ブレ検出素子２００は、同一パッケージ内に加速度検出部２０２（図１の重力検出素子２００Ｂ）と角速度検出部２０４（図１のブレ検出素子２００Ａ）を備える。加速度検出部２０２の座標軸２０６と角速度検出部２０４の座標軸２０８は実質的に平行であるものとする。重力方向２１０に対して、重力・ブレ検出素子２００は傾いている。傾きの原因として、重力・ブレ検出素子２００の素子内部の軸の傾き、実装傾き、電子機器１５０全体の傾きなどが考えられる。電子機器１５０全体の傾きは、カメラモジュール３００にも与えられるため、相殺される。加速度検出部２０２の座標軸２０６が重力方向２１０に対して傾いていた場合、図５（ｂ）に示すように、重力加速度ｇは２つの軸方向にベクトル分解され、座標軸２０６側の重力加速度としてｇ_ｙが、それと垂直な座標軸２１２側の重力加速度としてｇ_ｘが検出される。したがって、傾き角（第４角度）θ_４は、
θ_４＝ｔａｎ^−１（ｇ_ｘ／ｇ_ｙ） …（１）
で求められる。

加速度検出部２０２の座標軸２０６と角速度検出部２０４の座標軸２０８は実質的に平行である場合、式（１）で求められる第４角度θ_４は、重力方向に対する角速度検出部２０４の座標軸２０８のずれに対応する角度、すなわち図３のブレ検出素子２００Ａの座標軸の方向と重力方向のずれに対応する第１角度θ_１に他ならない。

次に、図６（ａ）、（ｂ）を参照して、チャート６００の調整について説明する。図６（ａ）、（ｂ）は、チャートが重力方向に対して傾いた状態を示す図である。チャート６００におけるパターン６１０の方向は重力方向（鉛直方向）に対して傾いている可能性がある。その場合は、図６（ａ）のように、チャート６００全体を回転させて、パターン６１０の方向と重力方向が一致するように調整する。重力方向はおもりをぶら下げた糸の方向などで判別できる。パターン６１０の水平線の方向に水準器を合わせてもよい。チャートの調整は装置のセッティング時に１回だけ行えばいいので、時間をかけてでも合わせ込めばよいが、どうしても合わせきれない場合は、図６（ｂ）のように、パターン６１０の方向と重力方向とのずれ角（第３角度）θ_３を測定し、カメラモジュールのずれ角の計算時に補正してもよい。本実施例では、厳密な位置合わせの結果、パターン６１０の方向と重力方向とのずれは無いものとする（θ_３＝０）。

次に、図７を参照して、カメラモジュール３００の画素軸３５０の方向とチャート６００のパターン６１０の方向とのずれ角について説明する。図７は、チャートの所定パターンが、画像上で画素軸の方向に対して傾いている状態を示す図である。

カメラモジュール３００でチャート６００のパターン６１０を撮像する。カメラモジュール３００の電子機器１５０への取り付け方向が傾いていた場合、撮像されたパターン６１０の画像（パターン像）３５２は画素軸３５０に対して傾いてしまう。この傾き角をθ_２とする。θ_２は、パターン像３５２に沿って横方向のピクセル数Δｘと縦方向のピクセル数Δｙの比をカウントすることで求めることができる。なお、ピクセルの密度は、図７に示される格子よりもはるかに高い。
θ_２＝ｔａｎ^−１（Δｘ／Δｙ）

図７は画素軸基準で描かれているため、画素軸３５０に対してパターン像３５２が左まわりに回転していることになる。重力軸基準で考えた場合には、パターン６１０の方向が重力と一致しているため、画素軸３５０が右まわりに回転して傾いていることになる。

図６（ａ）のように、チャート６００のパターン６１０の方向が重力方向と一致（θ_３＝０）しているとして、図５と図７の測定結果から、カメラモジュール３００の画素軸３５０に対するジャイロセンサの角速度検出部２０４の座標軸２０８の傾きΔθは、
Δθ＝θ_１＋θ_２ …（２）
で与えられる。θ_１、θ_２などの正負は、傾きの方向等を考慮して決めなければならないのは当然のことである。

式（２）の傾きΔθを、電子機器１５０の実動作中において、ブレ検出素子２００Ａ（角速度検出部２０４）の検出信号（角速度信号）を補正するためのパラメータと保持してもよい。

電子機器１５０の実動作中における、傾きΔθの影響の補正について説明する。図８は、画素とジャイロセンサ２０４の傾き関係を示す図である。図８に示すように、画素軸３５０に対して、ジャイロセンサ２０４の座標軸２０８（＝加速度センサ２０２の座標軸２０６）の傾きをΔθとし、ジャイロセンサ２０４の角速度検出軸方向の出力値をＧ_ｘ、Ｇ_ｙとする。このとき、Ｇ_ｘ、Ｇ_ｙを画素軸方向にベクトル分配すると、そのときの値Ｐ_ｘ、Ｐ_ｙは、
Ｐ_ｘ＝Ｇ_ｘ ｃｏｓΔθ−Ｇ_ｙ ｓｉｎΔθ …（３）
Ｐ_ｙ＝Ｇ_ｘ ｓｉｎΔθ＋Ｇ_ｙ ｃｏｓΔθ …（４）
で求められる。このようにして、画素軸の方向に作用する角速度検出信号の成分が得られる。この場合も、傾きΔθやＧ_ｘ、Ｇ_ｙの方向によってこれらの正負を決めてやる必要がある。

なお、上記のような三角関数の演算がＣＰＵやＤＳＰの処理能力上、問題となる場合は、θ≒０との仮定のもとに、
ｃｏｓθ≒１−θ^２／２ …（５）
ｓｉｎθ≒θ …（６）
の近似式を用いて計算してもかまわない。

画素軸の方向とジャイロセンサの角速度検出軸の方向が傾いている場合の角速度検出信号のキャリブレーション方法は以上の通りである。図９は、実施の形態に係るキャリブレーションのフローチャートである。

処理Ｓ１０１は、必須のプロセスではないが、予めカメラモジュールの画素軸方向とホール素子（位置検出素子）の検出軸方向のずれの影響をなくすようにホール検出信号を補正しておくことが望ましい。ずれがなければ補正する必要はないし、ホール素子などの位置検出素子を搭載していないカメラモジュールであれば、処理Ｓ１０１を適用せずにキャリブレーションを実行してもかまわない。

処理Ｓ１０２では、図４に示すようにスマートフォンのような電子機器１５０にカメラモジュール３００とジャイロセンサ、加速度センサを含む重力・ブレ検出素子２００を実装する。ここで、これらを適当に実装する訳ではなく、少なくとも式（５）や式（６）の近似式が使える程度のずれ角に抑えられるように実装することが望ましい。

処理Ｓ１０３では、たとえば十字パターンのように方向性がわかるパターンを設けたチャートを準備し、パターンの方向（十字パターンの縦線の方向など）が重力方向に一致するよう、チャートの設置角度を調整する。この調整は個体ごとに行う必要はなく、生産装置としての初期調整なので、時間をかけてでも極力高精度に調整しておくことが望ましい。どうしても追い込めない場合は、ずれ角を計測しておいて、後の画素軸と重力方向のずれ角計測時に考慮して補正してもよい。

処理Ｓ１０４では、一体化された加速度センサとジャイロセンサのうち、加速度センサを使って重力方向を検出する。加速度検出軸と重力方向がずれていた場合は、２つの軸に分配されて重力が検出されるので、それらの比を用いて重力方向が判別できる。

処理Ｓ１０５では、加速度センサの座標軸＝ジャイロセンサの座標軸として、処理４で測定した重力方向により、ジャイロセンサの座標軸と重力方向とのずれ角θ_１を算出する。

処理Ｓ１０６では、チャートの十字パターンをカメラモジュールで撮像し、画像上の十字パターンの方向と画素の並びの方向とのずれ角θ_２を算出する。

処理Ｓ１０７では、θ_１とθ_２を用いて、撮像素子の画素軸の方向に対するジャイロセンサの角速度検出軸の方向の傾き角Δθを算出する。これにより、重力方向を媒介として、カメラモジュールの画素軸とジャイロセンサの角速度検出軸とのずれ角が算出できる。

処理Ｓ１０８では、Δθにもとづいて、ジャイロセンサの角速度検出信号を補正する。以上で、画素軸と角速度検出軸の間のずれに対するキャリブレーションが完了する。

＜撮像装置＞
続いて、実施の形態に係る撮像装置について、図１０から図１２を用いて説明する。

まずは、撮像装置の一例であるカメラモジュールの構成例について、図１０を参照して説明する。図１０は、実施の形態に係るカメラモジュールのシステム構成例を示すブロック図である。

カメラモジュール３００は、撮像素子３０２、レンズ３０４、プロセッサ３０６、およびレンズ制御装置４００を備える。また、ジャイロセンサ３０８からの信号がレンズ制御装置４００に入力される。ジャイロセンサ３０８はカメラモジュールの外部に設置される。ジャイロセンサ３０８からの信号は、上述の式（３）、（４）の処理にもとづいて、画素軸基準でキャリブレーションされていることが望ましい。なお、式（３）、（４）にもとづく補正は、アクチュエータドライバＩＣ５００の内部（たとえば図１２のジャイロＤＳＰ５５０）により実行してもよい。

レンズ３０４は、撮像素子３０２に入射する光の光軸上に配置される。レンズ制御装置４００は、プロセッサ３０６からの位置指令値（ターゲットコードとも称する）Ｐ_ＲＥＦにもとづいて、レンズ３０４を光軸方向に位置決めする。また、レンズ制御装置４００は、ジャイロセンサ３０８からの出力（角度ずれに応じて補正された出力）Ｇにもとづいて位置指令値（ターゲットコード）Ｐ_ＲＥＦを生成し、位置指令値Ｐ_ＲＥＦにもとづいてレンズ３０４を位置決めする。

レンズ制御装置４００は、アクチュエータ４０２と、アクチュエータドライバＩＣ（Integrated Circuit）５００とを備える。アクチュエータ４０２は、レンズ３０４を光軸方向（Ｚ軸方向）に変位させるＡＦアクチュエータ部４０２Ａと、ＡＦアクチュエータ部を光軸に垂直な２つの方向（Ｘ軸方向、Ｙ軸方向）に独立に変位させるＯＩＳアクチュエータ部４０２Ｂを含む。ＡＦアクチュエータ部４０２ＡおよびＯＩＳアクチュエータ部４０２Ｂは、カメラモジュール３００に組み込まれている。プロセッサ３０６は、ＡＦ動作において、撮像素子３０２が撮像した画像のコントラストが高くなるように、位置指令値Ｐ_ＲＥＦを生成する（コントラストＡＦ）。あるいは撮像素子３０２の外部に設けられ、あるいは撮像面に埋め込まれたＡＦセンサからの出力にもとづいて、位置指令値Ｐ_ＲＥＦが生成されてもよい（位相差ＡＦ）。ＯＩＳに対してはジャイロセンサ３０８からの出力ＧをアクチュエータドライバＩＣ５００に入力し、位置指令値Ｐ_ＲＥＦを生成する。

アクチュエータ４０２は、たとえばボイスコイルモータであり、レンズ３０４はホルダー３１０に搭載され、Ｚ軸方向可動に支持されている。ホルダー３１０にはＡＦコイル３１２が巻回されており、ＡＦコイル３１２に対向してＡＦ永久磁石３１４が配置されている。図示はしないが、ＡＦ永久磁石３１４に接してＡＦヨークを設けてもよい。ＡＦコイル３１２に通電することにより、ＡＦ永久磁石３１４との磁気的相互作用によりレンズ３０４とホルダー３１０は一体的にＺ軸方向に駆動される。ホルダー３１０には位置検出用の永久磁石３１６が固定されており、これに対向してＡＦ方向には動かない固定部にホール素子３１８が配置され、永久磁石３１６とホール素子３１８の相対変位によりＡＦ方向の位置検出が可能となる。

一方、ＡＦアクチュエータ部全体が可動部となり、ＸＹ方向可動に支持されている。ＡＦ永久磁石３１４に対向して固定部にはＯＩＳコイル３２０とホール素子３２２が固定されている。ＡＦ永久磁石３１４とＯＩＳコイル３２０が、ＯＩＳアクチュエータ部４０３を形成しており、それらの磁気的相互作用によりＡＦアクチュエータ部（ＯＩＳ可動部）はＸＹ方向に駆動される。また、ＡＦ永久磁石３１４とホール素子３２２の相対変位によりＯＩＳ方向の位置検出が可能となる。

このように、永久磁石とホール素子の組み合わせにより位置検出素子４０４が形成される。位置検出素子４０４は、レンズ３０４の現在の位置に応じた電気信号（以下、位置検出信号Ｐ_ＦＢという）を生成し、位置検出信号Ｐ_ＦＢは、アクチュエータドライバＩＣ５００にフィードバックされる。ホール素子３１８、３２２を利用して、温度検出を行う温度検出手段４０６を形成してもよい。温度検出手段４０６は、温度検出信号ＴをアクチュエータドライバＩＣに提供する。これにより、アクチュエータ内部の温度が検出できるので、位置検出信号の温度補正などに利用できる。

アクチュエータドライバＩＣ５００は、ひとつの半導体基板に集積化された機能ＩＣである。ここでの「集積化」とは、回路の構成要素のすべてが半導体基板上に形成される場合や、回路の主要構成要素が一体集積化される場合が含まれ、回路定数の調節用に一部の抵抗やキャパシタなどが半導体基板の外部に設けられていてもよい。回路を１つのチップ上に集積化することにより、回路面積を削減することができるとともに、回路素子の特性を均一に保つことができる。

アクチュエータドライバＩＣ５００は、フィードバックされた位置検出信号Ｐ_ＦＢが、位置指令値Ｐ_ＲＥＦと一致するように、ＯＩＳアクチュエータ部４０３をフィードバック制御する。

プロセッサ３０６からの情報により、所定パターンの撮像画像における距離や変位量などの画素変位情報が得られる。すなわち、画素情報にもとづいて画素変位検出手段４０８は画素変位情報ＰＤをアクチュエータドライバＩＣに提供する。

次に、画素軸に対する位置検出軸の傾きの補正について、図１１（ａ）、（ｂ）を参照して説明する。図１１（ａ）、（ｂ）は、撮像装置におけるカメラモジュールの画素軸と位置検出軸のずれ角を説明する図である。ホール検出信号をフィードバックしてサーボをかけた状態で、ｘ方向のホール信号にオフセットを与えると、ｘ方向のホール検出軸の方向にレンズは変位する。ｙ方向のホール信号にはオフセットを与えない。このときの画素上のパターンの動きを観察することで図１１（ａ）の結果を得ることができる。図１１（ｂ）の結果も同様の手法で得ることができる。

これらの関係が直線的に変化しているものとして、ある位置検出値Ｈ_ｘ０におけるｘ方向、ｙ方向の像の移動量をａ_ｘ、ａ_ｙとする。このときのａ_ｙとａ_ｘの比が画素軸と位置検出軸の傾きを表しており、比例定数をＣ_ｘとして、
ａ_ｙ＝Ｃ_ｘ・ａ_ｘ …（７）
と表す。

同様に、図１１（ｂ）のように、ｘ方向のホール素子の位置検出信号がほとんど変化しない方向に駆動した場合、ある位置検出値Ｈ_ｙ０におけるｘ方向、ｙ方向の像の移動量をｂ_ｘ、ｂ_ｙとする。このときのｂ_ｘとｂ_ｙの比が画素軸と位置検出軸の傾きを表しており、比例定数をＣ_ｙとして、
ｂ_ｘ＝Ｃ_ｙ・ｂ_ｙ …（８）
と表す。なお、Ｃ_ｘ、Ｃ_ｙが符号を含めた傾きを表している。

また、ｘ方向、ｙ方向それぞれのホール素子の位置検出感度をＳ_ｘ、Ｓ_ｙとし、それぞれの比をα、βとして下記のように表す。

α＝Ｓ_ｙ／Ｓ_ｘ …（９）
β＝Ｓ_ｘ／Ｓ_ｙ …（１０）
以上より、位置検出軸上の変位Ｘ、Ｙに対して検出される位置検出信号をＨ_ｘ、Ｈ_ｙとし、補正後のホール素子の位置検出信号をそれぞれＨ_ｘ'、Ｈ_ｙ'とすると、
Ｈ_ｘ'＝Ｈ_ｘ−Ｓ_ｘ・Ｃ_ｙ・Ｙ＝Ｈ_ｘ−β・Ｃ_ｙ・Ｈ_ｙ …（１１）
Ｈ_ｙ'＝Ｈ_ｙ−Ｓ_ｙ・Ｃ_ｘ・Ｘ＝Ｈ_ｙ−α・Ｃ_ｘ・Ｈ_ｘ …（１２）
となる。比例定数Ｃ_ｘ，Ｃ_ｙを実測し、各軸のホール素子の位置検出感度の比α、βを計算しておくことで、補正後の位置検出信号Ｈ_ｘ'、Ｈ_ｙ'が得られる。

なお、ホール素子の位置検出感度Ｓ_ｘ、Ｓ_ｙを求める際に、実際の変位情報が必要となるが、これには画素変位検出手段４０８からの情報を利用するとよい。画素変位検出手段４０８からの情報は、レンズの変位情報そのものではないが、上記のようにＳ_ｘとＳ_ｙの比を計算に用いるので、画素変位検出手段４０８からの情報をレンズの変位情報としてもかまわない。

続いてレンズ制御装置４００の具体的な構成例について、図１２を参照して説明する。図１２は、実施の形態に係るアクチュエータドライバＩＣの構成を示す図である。図１２には、Ｘ軸用およびＹ軸用の回路ブロックが示され、オートフォーカス用については省略される。Ｘ軸、Ｙ軸については同様に構成されるため、特に必要のない限り、それらを区別せずに共通に説明する。

位置検出素子４０４はホール素子３２２Ｘ，３２２Ｙであり、アクチュエータ４０２の可動部の変位に応じたホール電圧Ｖ_＋，Ｖ₋を発生し、アクチュエータドライバＩＣ５００のホール検出ピン（ＨＰ，ＨＮ）に供給する。

位置検出部５１０は、ホール電圧Ｖ_＋，Ｖ₋に基づいて、アクチュエータ４０２の可動部の位置（変位）を示すデジタルの位置検出値Ｐ_ＦＢを生成する。位置検出部５１０は、ホール電圧を増幅するホールアンプ５１２と、ホールアンプ５１２の出力をデジタル値の位置検出値Ｐ_ＦＢに変換するＡ／Ｄコンバータ５１４を含む。

温度検出部５２０は、温度を示す温度検出値Ｔを生成する。位置検出素子４０４であるホール素子３２２Ｘ，３２２Ｙ（以下、３２２と総称する）を、温度検出素子４０６としても利用する。これは、ホール素子３２２の内部抵抗ｒが温度依存性を有することを利用したものである。温度検出部５２０は、ホール素子３２２の内部抵抗ｒを測定し、温度を示す情報として利用する。

温度検出部５２０は、定電流回路５２２とＡ／Ｄコンバータ５２４を含む。定電流回路５２２は、ホール素子３２２に所定のバイアス電流Ｉ_ＢＩＡＳを供給する。このバイアス電流Ｉ_ＢＩＡＳは、ホール素子３２２を動作させるために必要な電源信号でもあり、したがって定電流回路５２２は、ホールバイアス回路として把握することができる。

ホール素子３２２の両端間には、電圧降下Ｉ_ＢＩＡＳ×ｒが発生する。この電圧降下は、ホールバイアスピン（ＨＢ）に入力される。Ａ／Ｄコンバータ５２４は、ＨＢピンの電圧Ｖ_ＨＢ（＝Ｉ_ＢＩＡＳ×ｒ）をデジタル値Ｔに変換する。バイアス電流Ｉ_ＢＩＡＳは既知で一定であるから、デジタル値Ｔは内部抵抗ｒに比例する信号であり、したがって、ホール素子３２の温度の情報を含んでいる。内部抵抗ｒと温度の関係は事前に測定し、関数化し、またはテーブル化されており、後段の補正部５３０において、デジタル値Ｔが温度情報に変換される。

インタフェース回路５４０は、ブレ検出素子３０８であるジャイロセンサからピッチ角速度ω_Ｐ、ヨー角速度ω_Ｙを受信する。たとえばインタフェース回路５４０は、Ｉ２Ｃ（Inter IC）などのシリアルインタフェースであってもよい。ジャイロＤＳＰ５５０はインタフェース回路５４０が受信した角速度信号ω_Ｐ，ω_Ｙを積分し、位置指令値Ｐ_ＲＥＦを生成する。ピッチ角速度ω_Ｐ、ヨー角速度ω_Ｙは、画素軸の方向に合わせてベクトル分配されて補正された値であることが望ましい。画素軸の方向に合わせてジャイロ信号を補正する処理回路内で位置指令値Ｐ_ＲＥＦまで生成してもよい。

補正部５３０は、位置検出部５１０からの位置検出値Ｐ_ＦＢを補正する。具体的には、補正部５３０は、線形補償部５３２、温度補償部５３４、メモリ５３６を含む。温度補償部５３４は、位置検出値Ｐ_ＦＢと実際の変位との関係に対して、温度変化によって関係が変化するのを補正する。線形補償部５３２は、位置検出値Ｐ_ＦＢと実際の変位の関係の直線性を補正する。メモリ５３６には、補正に必要な各種パラメータや関数などが格納される。メモリ５３６は、ＲＯＭやフラッシュメモリなどの不揮発性メモリであってもよいし、回路の起動のたびに外部のＲＯＭから供給されるデータを一時的に保持する揮発性メモリであってもよい。

クロストーク補償部５３８は、２個の乗算器５３９Ｘ，５３９Ｙで表される。各アンプ５３９は、式（１１）、（１２）にしたがって、一方のホール検出信号に対して符号を含めた所定の係数を掛け、他方のホール検出信号に加え、クロストーク補償を行う。

コントローラ５６０は、位置指令値Ｐ_ＲＥＦと、クロストーク補正後の位置検出値Ｈ_ｘ'、Ｈ_ｙ'を受ける。コントローラ５６０は、位置検出値Ｈ_ｘ'、Ｈ_ｙ'が位置指令値Ｐ_ＲＥＦと一致するように、制御指令値Ｓ_ＲＥＦを生成する。アクチュエータ４０２がボイスコイルモータである場合、制御指令値Ｓ_ＲＥＦはボイスコイルモータに供給すべき駆動電流の指令値である。コントローラ５６０は、たとえば誤差検出器５６２とＰＩＤ制御器５６４を含む。誤差検出器５６２は、位置検出値Ｈ_ｘ'、Ｈ_ｙ'と位置指令値Ｐ_ＲＥＦの差分（誤差）ΔＰを生成する。ＰＩＤ制御器５６４は、ＰＩＤ（比例・積分・微分）演算によって、制御指令値Ｓ_ＲＥＦを生成する。ＰＩＤ制御器５６４に換えて、ＰＩ制御器を用いてもよいし、非線形制御を採用してもよい。ＰＩＤ制御器５６４の後段には、所定の係数を乗算するゲイン回路５６６が設けられてもよい。ドライバ部５７０は、制御指令値Ｓ_ＲＥＦに応じた駆動電流をアクチュエータ４０２に供給する。

＜ゲインキャリブレーション＞
以上では、座標軸の方向のずれを補正するキャリブレーションについて説明した。すなわち、重力方向を媒介として、ブレ検出素子の座標軸とカメラモジュールにおける画素軸とのずれ角を補正するキャリブレーション方法について説明し、さらには画素軸とアクチュエータの位置検出軸とのずれ角を補正するキャリブレーション方法についても説明した。これにより、異なる検出手段を用いた場合の座標軸の方向のずれが補正される（クロストーク補正）が、さらには異なる検出手段の検出信号の大きさに関するキャリブレーション（ゲインキャリブレーション）も実施されることが望ましい。具体的には、ブレ検出素子によって検出されるブレ角を補正するために必要なレンズの変位量がどれくらいで、その時の位置検出信号の変化がいくらになるかの係数を求めるキャリブレーションである。当然ながら、これも加振レスで行うことが望ましい。

加振レスで行うブレ角とレンズ変位とのゲインキャリブレーションについて、図１３および図１４を用いて説明する。図１３は、ゲインキャリブレーションに用いられるチャートのパターンの一例を示す図である。図１４は、ゲインキャリブレーションに用いられる画素上の変位とホール信号出力の関係を示す図である。

手振れ補正では、ブレ角に応じてレンズをシフトさせる。ブレ角に対する最適なレンズ変位量には個体ばらつきがあり、この関係を個体ごとに調整するゲインキャリブレーションが必要となる。レンズの変位量は位置検出信号で管理するので、ここでのキャリブレーションでは、角度変化に対する位置検出信号の変化の割合を示す係数を求めることになる。

まず、図１３に示すような４点のドットパターンを有するチャート６３０を準備する。前述のような十字パターンでもよいが、ドットパターンの方が２点間の距離が算出しやすい。チャート６３０上での、たとえば上下の２点間の距離Ｙは、あらかじめ実測しておく。さらに、カメラモジュールからチャートまでの焦点距離Ｌを測定すると、カメラモジュールから見た上記２点の視野角θが、
θ＝ｔａｎ^−１（Ｙ／Ｌ） …（１３）
により求まる。θの単位は無次元数のｒａｄである。

次に、このチャート６３０を撮像し、画像上の２点間の距離をピクセル数Ｙ_ｐｉｘとして求める。したがって、チャート６３０上の２点を基準として、画像上のピクセル数Ｙ_ｐｉｘと視野角θの比ａが計算できる。すなわち、
ａ＝Ｙ_ｐｉｘ／θ …（１４）
次に、アクチュエータによりレンズを変位させ、そのときのドットパターンの画素上の変位（ピクセル数）と位置検出信号変化との関係を求める。図１４がその結果であり、各測定点を直線近似することでその傾きｂ［Ｖ／ピクセル］を求める。

以上の関係を用いて、任意のブレ角ｘ［ｒａｄ］に対する最適な位置検出信号の変化ｙ［Ｖ］は、
ｙ＝ａ・ｂ・ｘ …（１５）
によって求めることができる。これがブレ角とレンズの変位（位置検出信号）との関係である。

上記の関係を求める際に加振は行っていない。つまり、加振レスでゲインキャリブレーションが実行できるので、製造工程内で加振する手間が必要なくなり、かつジャイロセンサがカメラモジュール内に含まれないような構成の場合でも、カメラモジュール単体でゲインキャリブレーションが可能となる。なお、ジャイロ検出信号とブレ角の関係については、ジャイロセンサの個体ばらつきを含むことになるが、これは加振しない限り正確な値を求めることはできないため、加振レスの条件のもとでは標準的な実力値を用いるとよい。通常、ジャイロセンサの感度のばらつきは、仕様値に比べて実力は十分に小さい。以上がゲインキャリブレーションの一例となる。

以上のような撮像装置は、スマートフォンなどの電子機器などに用いられる。特に、本発明の撮像装置の好適な応用のひとつは、光学手ぶれ補正（ＯＩＳ）機能を備えた撮像装置であり、特にカメラモジュール内にジャイロセンサが配置されない構成において有効となる。本発明を利用することで、加振レスでブレ検出信号のキャリブレーションが可能であるとともに、カメラモジュールとブレ検出素子で共通の基準を設けて個別にキャリブレーションを行うことで、一体化されていない状態でもキャリブレーションを可能とし、高精度な手振れ補正が可能な撮像装置を実現できる。

１００…撮像装置、１５０…電子機器、２００…重力・ブレ検出素子、２０２…加速度検出部、２０４…角速度検出部、３００…カメラモジュール、３０２…撮像素子、３０４…レンズ、３０６…プロセッサ、３０８…ジャイロセンサ、４００…レンズ制御装置、４０２…アクチュエータ、４０４…位置検出素子、４０６…温度検出手段、４０８…画素変位検出手段、５００…アクチュエータドライバＩＣ、５１０…位置検出部、５２０…温度検出部、５３０…補正部、５４０…インタフェース回路、５５０…ジャイロＤＳＰ、５６０…コントローラ、５７０…ドライバ部、６００，６３０…チャート。

Claims (6)

1. 撮像装置のキャリブレーション方法であって、
   前記撮像装置は、
   撮像素子および前記撮像素子への入射光路上に設けられたレンズを含むカメラモジュールと、
   前記撮像装置に作用するブレ量を検出するブレ検出素子と、
   前記撮像装置に作用する重力の方向を判定する重力検出素子と、
   を備え、
   前記キャリブレーション方法は、
   前記重力の方向に対する前記ブレ検出素子の座標軸の方向のずれに対応する第１角度を検出するステップと、
   前記重力の方向に対する前記カメラモジュールの方向のずれに対応する第２角度を検出するステップと、
   前記第１角度および前記第２角度にもとづいて、前記ブレ検出素子の検出信号を補正するためのパラメータを取得するステップと、
   を備えることを特徴とするキャリブレーション方法。
2. 前記第２角度を検出するステップは、
   所定パターンを有するチャートを前記撮像素子で撮像するステップと、
   撮像画像における前記所定パターンの方向と画素軸の方向とのずれにもとづいて、前記第２角度を取得するステップと、
   を含むことを特徴とする請求項１に記載のキャリブレーション方法。
3. 前記第２角度を検出するステップは、前記チャートの前記所定パターンの方向を、前記重力の方向に合わせてあらかじめ調整するステップをさらに含むことを特徴とする請求項２に記載のキャリブレーション方法。
4. 前記第２角度を検出するステップは、
   前記チャートの前記所定パターンの方向と重力方向とのずれに対応する第３角度をあらかじめ検出するステップをさらに含み、
   前記第３角度を、前記第２角度の検出に利用することを特徴とする請求項２に記載のキャリブレーション方法。
5. 前記第１角度を検出するステップは、前記重力検出素子の座標軸の方向と重力方向とのずれに対応する第４角度を検出するステップを含み、
   前記ブレ検出素子の座標軸の方向と、前記重力検出素子の座標軸の方向とが実質的に平行であるものとして、前記第４角度を、前記第１角度とすることを特徴とする請求項１から４のいずれかに記載のキャリブレーション方法。
6. ゲインキャリブレーションを実施するステップをさらに備え、
   前記ゲインキャリブレーションは、
   長さまたは距離が既知である２点を含む所定パターンを有するチャートを撮像するステップと、
   前記カメラモジュールから前記２点を望む視野角を取得するステップと、
   撮影画像上の前記２点の間の距離を、ピクセル数として取得するステップと、
   前記レンズを変位させ、位置検出信号の変化と、パターンの画素上の変位をピクセル数を単位として取得するステップと、
   を含むことを特徴とする請求項１から５のいずれかに記載のキャリブレーション方法。

Images