JP5984574B2 - 撮像システム及びその制御方法、撮像装置 - Google Patents

Description

本発明は、レンズが交換可能且つ動画撮影可能な撮像装置において、良好な像振れ補正を実現する技術に関する。

近年、スチルカメラだけでなく、ビデオカメラにおいてもレンズ交換式のものが製品化されてきている。これらの製品は、大型テレビの普及、映像の高画質化が進む状況において、ユーザー自身が期待通りの映像を得るための一つの手段として注目されている。さらに、使用するレンズとしては、たとえば一眼レフカメラの交換レンズが流用できるような工夫がされており、ユーザーはすでに持っている資産を流用することもできる。一方、ビデオカメラ等の撮像機器の像振れ補正性能は年々向上し、レンズの広角側では歩いたり走ったりしている時の大きなブレも補正可能となってきている。

さて、交換レンズ式カメラシステムでの防振性能を考えた場合、広角側で歩行時などの大きなブレを補正するために、レンズ内に配置されている像振れ補正用のシフトレンズを大きく動かした場合、周辺光量、ＭＴＦなどの光学性能が成り立たなくなるものがある。そのため、このシステムで歩行中の大きなブレを止めるためには、カメラ側で、電子補正を行う必要が生じる。カメラに搭載されている撮像素子の余剰画素を像振れ補正に使用することで、大きなブレを補正するのである。

このような撮像素子には、最近ではＣＭＯＳセンサが用いられることが多い。このＣＭＯＳセンサは、ＣＣＤに比べて高感度、低消費電力、低コストであり、さらに１画素単位でランダムに読み出すことができるという特徴があるためである。しかし、ＣＭＯＳセンサにより電子補正を行うと、ローリングシャッター歪みの影響で、グニャグニャとした画像歪みが発生し、その結果、映像を見ている人が酔ってしまうなどの悪影響が発生する。

このローリングシャッター歪みを補正する方法として、特許文献１にはジャイロセンサ出力を用いてローリングシャッター歪みを補正する方法が記載されている。また、特許文献２には、撮像した映像から動きベクトルを検出し、その検出結果を用いてローリングシャッター歪み補正を行う方法が記載されている。このローリングシャッター歪み補正を行うことで、ＣＭＯＳセンサを搭載し、手ブレの電子補正を行う撮像装置でも、良好な像振れ補正が可能となる。

特許第３９２５４１５号公報 特許第４３４０９１５号公報

しかしながら、動きベクトル検出を用いたローリングシャッター歪み補正については、動きベクトルの誤検出による誤補正や、処理時間がかかりすぎるという問題があり、すぐに動画処理に使用することは難しい。また、ジャイロ信号を用いて歪み補正を行う場合、レンズ内、あるいはカメラ内に配置されたジャイロ出力を用いることになる。ところが、レンズ内に光学式の像振れ補正機構が搭載されているカメラシステムにおいては、ＣＭＯＳセンサに結像する画像は、振れ補正機構により、光軸補正が行われた後の画像となる。すなわち、ジャイロ出力と、結像される映像との間の相関が損なわれる。そのために、単純にジャイロ出力のみを用いてローリングシャッター歪みの補正を行うと、歪みの影響が完全に除去されず、あるいは過補正の状態になり、ぐにゃぐにゃとした画像が残ってしまうという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、レンズが交換可能且つ動画撮影が可能な撮像装置において、良好な像振れ補正を実現することである。

本発明に係わる撮像システムは、カメラ本体と、該カメラ本体に着脱可能なレンズユニットとを備える撮像システムであって、前記レンズユニットにより結像される被写体像を撮像するために前記カメラ本体に設けられたＣＭＯＳ型の撮像素子と、振れを検出する振れ検出手段と、前記振れに基づいて生じる前記被写体像のブレを補正するために前記レンズユニットに設けられた像振れ補正手段と、前記像振れ補正手段の補正量を検出する補正量検出手段と、前記振れ検出手段の出力と、前記補正量検出手段の出力の差分の情報に基づいて前記撮像素子によって撮像された画像の歪み補正量を演算する歪み補正量演算手段と、前記撮像素子によって撮像された画像から動きベクトルを検出するために前記カメラ本体に設けられた動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記歪み補正量演算手段の出力とに基づいて、前記撮像素子によって撮像された画像の補正を行う信号処理手段と、を備えることを特徴とする。

本発明によれば、レンズが交換可能且つ動画撮影が可能な撮像装置において、良好な像振れ補正を実現することが可能となる。

本発明の第１の実施形態の撮像装置の構成図。 第１の実施形態におけるレンズ内制御を示すフローチャート。 第１の実施形態におけるカメラ内制御を示すフローチャート。 第１の実施形態におけるカメラ内ベクトル割り込みを示すフローチャート。 第１の実施形態における垂直同期期間内の制御タイミングチャート。 ベクトル検出枠の一例を示した図。 本発明の第２の実施形態の撮像装置の構成図。 第２の実施形態におけるレンズ内制御を示すフローチャート。 第２の実施形態におけるカメラ内制御を示すフローチャート。 第２の実施形態における垂直同期期間内の制御タイミングチャート。 本発明の第３の実施形態の撮像装置の構成図。 本発明の第４の実施形態の撮像装置の構成図。 本発明の第５の実施形態の撮像装置の構成図。 ブレ残りデータの検出タイミングを示した図。 シャッター速度に応じて垂直同期期間の最初から何回目のＡ／Ｄ変換時にデータをサンプルするかを示した図。 第２の実施形態におけるレンズ内制御を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わるレンズが着脱可能な撮像装置（撮像システム）の構成図である。図１において１０１〜１３０で示される構成が被写体像を結像させるためのレンズユニット部、１４１〜１６０で示される構成が被写体像を撮像するカメラユニット部となっている。

レンズユニット部において、１２０は撮影レンズである。撮影レンズ１２０は、固定レンズ１２１、変倍動作を行う変倍レンズ１２２、光量を制御する絞り１２３、振れ補正動作を行うシフトレンズ（補正部材）１２４、フォーカスおよび変倍によるピント位置補正レンズ（以下フォーカスコンペレンズ）１２５を備える。また、１０８はレンズ内に配置されている、シフトレンズ１２４の位置を検出する（補正量検出用の）位置センサである。

１０１は手ブレを検出する角速度センサ（以下ジャイロ）、１０２はジャイロ出力からドリフト成分を除去するための高域通過フィルタ（以下ＨＰＦ）、１０３はジャイロ出力を増幅するアンプである。１０７はシフトレンズ１２４を駆動するドライバ、１０９は位置検出センサ１０８の出力を増幅するアンプ、１３０はレンズ制御を行うレンズシステム制御用マイクロコンピューター（以下、レンズマイコン）である。

なお、手ブレ検出および像振れ補正は、例えば横方向と縦方向といった、直交する２軸に関して行うが、構成は同じであるため、ここでは１軸のみ記載している。また、レンズマイコン１３０は、ズームレンズ１２２、絞り１２３、フォーカスコンペレンズ１２５の制御も行っているが、ここでは像振れ補正制御に関する部分のみを記載している。

レンズマイコン１３０において、１０４はＡ／Ｄ変換器であり、ジャイロ出力をマイコンに取り込む。１０５は入力されたジャイロデータを基に振れ補正量を算出する補正量算出部であり、この出力は、パンニング制御など、必要な制御が行われた後のデータとなっている。

一方１１０も１０４と同じＡ／Ｄ変換器であり、ここには位置センサアンプ１０９の出力が入力される。１０６は振れ補正量からシフトレンズの位置を減算し、補正制御量を算出する加算器である。１０６の出力にしたがってシフトレンズドライバ１０７へと駆動信号が送られ、シフトレンズが動作する。

１１１は振れ量演算部である。振れ補正量演算部１０５は、シフトレンズ１２４の駆動目標値を算出するため、シフトレンズ１２４が鏡筒に当たらないよう、前述のパンニング制御等も行っている。そのため、実際にジャイロで検出されたブレ量に相当する補正量が常に出力されるわけではない。これに対し、振れ量演算部１１１はジャイロで検出された実際の手ぶれ量そのものを出力する。１１２は１０６と同様に加算器で、振れ量演算部１１１の出力からシフトレンズ１２４の位置を減算し、シフトレンズ１２４による像振れ補正の残り量が出力される（差分抽出）。

１１３はレンズユニットをカメラ本体に接合させるためのレンズ側のマウントに配置されている電源ラインおよびシリアル通信ラインの電気的な接点部である。レンズをカメラに装着することにより、カメラ側のマウントに配置されている同様の接点部１４５と接続され、電源、ＧＮＤライン、および通信ラインが接続される。

次に、カメラユニット部であるが、１４５は前述のレンズとの接点部、１５１は撮像用のＣＭＯＳセンサ（ＣＭＯＳ型の撮像素子）、１５２はアナログ信号処理回路、１５３はカメラ信号処理回路、１６０はカメラシステム制御用マイクロコンピューター（以下カメラマイコン）である。

カメラ信号処理回路１５３の中には、ベクトル検出部１４１、画像補正部１４６が含まれている。また、カメラマイコン１６０は、ベクトル検出部１４１で検出されたベクトルデータからベクトルによる補正データを算出するベクトル補正演算部１４２、ローリングシャッター歪み補正用データを算出するローリングシャッター歪み補正演算部１４４を含む。また、ベクトル補正演算部１４２の出力、およびローリングシャッター歪み補正演算部１４４の出力から、画像補正部１４６で補正すべき補正データを作成し、設定を行うデータ設定部１４３も含む。

レンズユニットとカメラ本体が接続されると、ベクトル検出部１４１では、レンズ内で防振動作が行われた後の揺れ残りに相当するベクトル成分が検出される。検出されたベクトルはカメラマイコン１６０に送られ（伝達され）、ベクトル補正演算部１４２で補正量の演算が行われる。

一方、レンズとの接続によりレンズとカメラ間の通信が開始されると、レンズからカメラへ加算器１１２の出力データが送信される。このデータは、レンズの振れ補正部で像振れ補正をした結果、カメラ自体に残っているブレ残り量に相当する。ローリングシャッター歪み補正演算部１４４は、マウント１４５を介して受信した上記ブレ残り量に相当するデータを用いてローリングシャッター歪み補正に必要な補正量を演算する。

そして、データ設定部１４３は、ベクトル補正演算部１４２で演算された像振れ補正データとローリングシャッター補正演算部１４４で演算されたローリングシャッター歪み補正データを画像補正部１４６に設定する。これにより、歩き撮りを行ったときに発生する振幅の大きな手ブレの補正、およびローリングシャッター歪み補正が行われる。

図２はレンズマイコン１３０内の動画撮影時の振れ補正に関する部分のフローチャート、図３、図４はカメラマイコン１６０内の、動画撮影時の振れ補正に関する部分のフローチャートを示している。以下、図１〜４を用いて本発明の第１の実施形態について詳細に説明する。

まず図２を用いて、レンズマイコン１３０内の動作を説明する。レンズをカメラに装着することで、カメラ本体からレンズに電源が供給され、レンズマイコン１３０の動作が開始される。図２においてＳ２０１は初期設定部分であり、カメラマイコン１６０との初期通信を行う。この通信でレンズからカメラへ、レンズ倍率、開放Ｆ値、デフォーカス情報等が送信され、また、レンズマイコン１３０内のＡ／Ｄ変換周期等の初期設定が行われる。

次にＳ２０２でビデオの垂直同期信号（以下、垂直同期）が入力されたかどうかの確認を行っている。カメラ、レンズ間の相互基本通信（不図示、振れ補正以外の制御で必要な通信、例えばカメラからレンズへのフォーカスコンペレンズ制御データ、レンズからカメラへの焦点距離情報等に関する通信）は垂直同期期間中に複数回行われている。カメラとの通信は、カメラからのリクエスト信号により開始されるが、その通信データ内に、垂直同期信号も含まれており、対応するデータを確認することで垂直同期かどうかが判別できる。垂直同期のタイミングでは、Ｓ２０３でＡ／Ｄカウンタのクリアを行い、Ｓ２０４でＡ／Ｄ変換を開始、Ｓ２０５でブレ残りデータを送る回数カウンタをクリア、Ｓ２０６でブレ残りデータをカメラ側に送信するタイミングカウンタをクリアする。そして、Ｓ２０７でタイミングカウンタの目標値を所定値Ａに設定する。

Ｓ２０２で垂直同期のタイミングでない場合はＳ２０８でＡ／Ｄ変換が停止中かどうかの判定を行う。Ｖ期間内に必要回数のＡ／Ｄ変換が行われるとＡ／Ｄ変換を停止状態とするが、その場合はＳ２０２に戻り、垂直同期待機状態となる。Ａ／Ｄ変換が停止でない場合、Ｓ２０９でタイミングカウンタの目標値を所定値Ｂとする。この所定値Ｂと、前述の所定値Ａについては後述する。

その後、Ｓ２１０でＡ／Ｄ変換が終了したかどうかの判定を行う。Ａ／Ｄ変換が終了するとＳ２１１でジャイロ信号のＡ／Ｄ変換値を読み込み、Ｓ２１２で読み込んだジャイロ信号を基にブレ量の演算を行う。その後Ｓ２１３ではＳ２１２で演算したブレ量に応じて、パンニング制御、リミッタ制御等を行う。また、焦点距離に応じたシフトレンズの補正敏感度情報から、最終的な振れ補正量を演算する。

Ｓ２１４ではシフトレンズ１２４の位置センサアンプ１０９の出力をＡ／Ｄ変換した結果を読み込み、Ｓ２１５で、Ｓ２１３で演算した振れ補正量とＳ２１４で取り込んだシフトレンズ位置の差分から、実際のシフトレンズ制御量を演算する（図１、１０６）。そしてＳ２１６でＳ２１５での演算結果をＰＷＭ出力し、Ｓ２１７でタイミングカウンタを加算する。

Ｓ２１８では、Ｓ２１７で１を加算したタイミングカウンタが所定値に達したかどうかの判定を行っている。カウンタが所定値に達していない場合はＳ２２５へと進む。Ｓ２１８でカウンタが所定値に達している場合は、カメラ本体へと送るブレ残り量を算出するタイミングとなるため、Ｓ２１９でタイミングカウンタをクリアする。

Ｓ２２０では、Ｓ２１４で取り込んだシフトレンズ位置を、シフトレンズ１２４の敏感度情報から実際の像振れ補正量に換算し、Ｓ２１２で演算したブレ量から減算することで、ブレ残り量を算出する（図１、１１２）。Ｓ２２１では像振れ補正に関するカメラとの通信が終了しているかどうかを確認し、前回の通信が終了するまで待機する。通信が終了していたらＳ２２２で垂直同期期間中にカメラへ送信したブレ残り量の回数を示す現在の回数カウンタ値とＳ２２０で算出したブレ残りデータを送信バッファにストアする。そしてＳ２２３でカメラに対する通信リクエストを行う。このリクエスト信号に対し、カメラとレンズはカメラをマスターとしたシリアル通信を開始する。そしてＳ２２４では回数カウンタに１を加算する。

Ｓ２２５ではＡ／Ｄカウンタをインクリメントし、Ｓ２２６でＡ／Ｄカウンタが所定値になっているかどうか、すなわち垂直同期期間中の必要回数分Ａ／Ｄ変換が終了したかどうかの判定を行う。Ａ／Ｄカウンタが所定値でない場合はそのままＳ２０２へと戻り、Ａ／Ｄカウンタが所定値の場合はＳ２２７でＡ／Ｄ変換を停止し、Ｓ２０２へと戻る。

以上の動作により、垂直同期期間中に所定の間隔で複数回均等に、ブレ残り信号がレンズからカメラへと送信されることになる。

さて、次に、図３、図４を用いてカメラ側の動作を説明する。

図３において、Ｓ３０１は、電源ＯＮによる初期設定を行う部分である。Ｓ３０２では、垂直同期かどうかの判断を行い、垂直同期のタイミングの場合、Ｓ３０３で垂直同期信号をレンズへと送信する。Ｓ３０４で割り込みカウンタのリセットを行い、Ｓ３０５でタイマーのリスタートを行う。垂直同期のタイミングでなければＳ３０３〜Ｓ３０５の動作は省略される。

Ｓ３０６はレンズから通信リクエストがあったかどうかを確認する部分であり、リクエストがない場合はＳ３１２へと進む。通信リクエストがあるとＳ３０７に進む。Ｓ３０７ではリクエストに応じてデータ受信を開始し、Ｓ３０８では必要なレンズ情報がすべて受信されるまで待機する。受信が終了するとＳ３０９に進み、Ｓ３０９では受信データをカメラマイコン１６０内のＲＡＭ（不図示）に格納する。次にＳ３１０では、データ受信が垂直同期期間中の最終データかどうかを判定している。ここで最終データと判定される状態は、レンズから送信されるローリングシャッター歪み補正に使用するための垂直同期期間内の全てのブレ残りデータが受信された状態を示している。

最終データでない場合はＳ３１２へと進み、最終データの場合はＳ３１１で垂直同期期間中に受信したブレ残りデータすべてを用いてローリングシャッター歪み補正に必要なデータを算出する。そして、Ｓ３１２では、タイマーが所定値かどうかの判定を行う。ここでの所定値は、垂直同期期間のほぼ終了のタイミングであり、ベクトル補正演算部１４２でのベクトル補正演算が終了しているタイミングとなっている。

さて、ここでベクトル補正演算関連のフローについて説明する。図４はベクトル検出割り込みが発生したときのカメラマイコン１６０内のフローを示している。ベクトル検出は、画面をいくつかの部分に分割し、その分割された枠ごと行われる。図６は、ベクトル検出枠の一例を示したものである。ここでは画面を８×８の部分に分割している。この中で、水平方向の８つの枠でのベクトル検出が行われるたびに割り込みが入る仕組みとなっている。つまり、図６のような分割の場合、垂直同期期間中に８回の割り込みが入ることになる。

さて、図４において、Ｓ４０１ではベクトル検出割り込みのカウンタをインクリメントしている。この割り込みカウンタは、前述のＳ３０４でリセットされるため、この割り込みカウンタの値を見ることで、垂直同期期間中の何回目の割り込みかがわかるようになる。

Ｓ４０２はベクトル検出結果を記憶する部分であり、横方向８個の枠のベクトル検出データが記憶される。

次にＳ４０３では割り込みカウンタが所定値かどうかの判別をしている。本実施形態の場合、垂直同期期間中のベクトル検出割り込みは前述のように８回であるため、ここではカウンタが８になったかどうかが判定される。８になっていない場合はそのまま割り込みルーチンは終了となる。そして、割り込みカウンタが８となるまでこの割り込みが入る度に新しい枠のベクトルデータが次々に記憶される。そして割り込みカウンタが８となった場合は、図６で示したすべての枠内のベクトルデータ、すなわち一画面分のベクトルデータがそろったことになる。その時、フローはＳ４０４にと進む。Ｓ４０４では検出された６４個のベクトルデータから、最終的な画面の動きベクトルが算出される。そしてＳ４０５にて、Ｓ４０４で算出された動きベクトルから、ブレを補正するための補正データが演算される。

さて、図３に戻り、Ｓ３１３において、図４に示したフローにより演算されたベクトル補正量と、Ｓ３１１で算出されたローリングシャッター歪み補正量から最終的な補正量を算出する。そしてＳ３１４で、Ｓ３１３で算出した必要な補正データをカメラ信号処理回路１５３内にある画像補正部１４６の各レジスタに設定し、Ｓ３０２に戻る。画像補正部１４６は、Ｓ３１４で設定された補正データを使用して、ブレ残りの補正およびローリングシャッター歪みの補正を行う。

図５は、本実施形態での制御タイミングを示したタイミングチャートである。垂直同期信号が起点となり、垂直同期期間中に所定の処理が行われる。本実施形態で行われる垂直同期期間中の処理回数は、レンズマイコン１３０内で行われるＡ／Ｄ変換が１２００回、ローリングシャッター歪み補正を行うためのブレ残りデータ算出が１１回（複数回抽出する抽出タイミング）、カメラマイコン１６０内で行われるベクトル検出処理は８回行われている。ここで、ローリングシャッター歪み補正のためのデータ算出タイミングはＡ／Ｄ変換の回数から決定されるが、Ａ／Ｄ変換の回数カウンタはＶに同期しており、垂直同期のタイミングでリセットされる。そのため、１回目のデータ算出タイミングは２回目以降のタイミングとＡ／Ｄカウント数が違うため、前述のように、１回目のタイミングカウンタ目標値を所定値Ａとし、２回目以降の目標値を所定値Ｂとしている。

さて、ローリングシャッター歪み補正の方法については従来よりその補正方法が提案されているため、ここでは詳細は省略する。しかし、一例として、ジャイロ出力などのブレ信号を用いる場合は、垂直同期期間中に複数回ブレ信号を検出し、さらに検出したブレ信号を補完処理してライン毎のブレに対する補正用データを算出する。そして、ＣＭＯＳセンサ特有の蓄積時間のズレと合成してローリングシャッター歪み補正用データを導出し、このデータを使用することで歪み補正を行ってる。

これに対し本実施形態では、上述の複数回のブレ信号の代わりに複数回のブレ残り信号を用いて補正データを作成している。この方法により、交換レンズに像振れ補正機構が搭載され、カメラ本体側ではすでに像振れ補正がかかった映像を撮像するシステムにおいても、本体側でさらに電子補正を行った場合に、電子補正により引き起こされるローリングシャッター歪みを補正できる。

以上説明したように、レンズからカメラへぶれ残り信号を送信することにより、ローリングシャッター歪みの補正が可能となる。そのため、カメラ本体で切り出しによる防振を行った場合に発生するローリングシャッター歪みに起因する画のぐにゃぐにゃとした不自然な歪みを補正することが可能となり、ワイド側で撮影中、歩行時に発生する大きなブレもきれいに補正することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図７は、本発明の第２の実施形態の撮像装置の構成図である。図１と同じ機能を有するブロックには同じ符号を付し、説明を省略する。図７において、７３０はレンズマイコン、７６０はカメラマイコンである。また、７２０は、レンズマイコン７３０内に設けられ、垂直同期期間中に所定のタイミングで複数回算出されたブレ残り量を記憶しておくバッファメモリである。

図８は、第２の実施形態におけるレンズ制御マイコン７３０の内部動作を表すフローチャートであり、図９は同じくカメラ制御マイコン７６０の内部動作を表すフローチャートである。以下、図８、図９をもとに、第２の実施形態について詳細に説明する。

まず、図８を用いて、レンズマイコン７３０内の処理を説明する。ただし図８において、Ｓ８０１〜Ｓ８２０は、図２と処理内容が同じため、ここでは説明を省略する。Ｓ８２１では回数カウンタとブレ残りデータをバッファ７２０に記憶する。そしてＳ８２２で回数カウンタをインクリメントし、Ｓ８２３でＡ／Ｄカウンタをインクリメントする。そしてＳ８２４でＡ／Ｄカウンタ値が所定値Ｃと等しいかどうかを確認する。等しくない場合はＳ８０２に戻り、垂直同期内の処理を継続する。Ｓ８２４でＡ／Ｄカウンタが所定値Ｃと等しい場合、必要な回数分ブレ残り情報を取得したと判断し、Ｓ８２５でＡ／Ｄ変換を停止し、Ｓ８２６で記憶したバッファ７２０内のデータをカメラに送信するために送信バッファに転送する。そしてＳ８２７でカメラに対して通信リクエストを発行し、カメラとの通信を開始、カメラに対してブレ残りデータが送信されることになる。

次に図９を用いてカメラマイコン７６０内の処理を説明する。ここでも図９のＳ９０１〜Ｓ９０４は図３のＳ３０１〜Ｓ３０４と同じ処理のため、説明を省略する。Ｓ９０５において、レンズからの通信リクエストがあるかどうかを確認している。通信リクエストがなければＳ９０２〜Ｓ９０５を繰り返しながら、ベクトル割り込みの処理を行う。ベクトル割り込み処理については、図４で説明した内容とまったく同じであるため説明は省略する。

さて、レンズからの通信リクエストがあった場合、Ｓ９０６でデータ受信を行い、Ｓ９０７で通信終了まで待った後、Ｓ９０８で受信したデータを格納する。そしてＳ９０９で、Ｓ９０８格納したデータを用いてローリングシャッター歪み補正用のデータを算出する。

その後、Ｓ９１０で、ベクトル割り込みにより算出された動き補正データとＳ９０９で算出されたローリングシャッター歪み補正データから、画像補正部１４６で補正するための最終補正データを算出する。そして、Ｓ９１１で、算出した補正データを画像補正部１４６内のレジスタに設定する。

さて、図１０は、本実施形態での通信タイミングを示したタイミングチャートである。第１の実施形態でのタイミングチャート（図５）との違いは、通信タイミングが、垂直同期期間中に１回のみ、防振関連の最後の制御タイミングの直後に行われているところとなる。本実施形態ではこのタイミングで、バッファ７２０に記憶されている全てのデータをレンズマイコン７３０からカメラマイコン７６０へと送信することで、通信が多いために煩雑になることなく、レンズカメラ間の通信を行うことが可能となる。また、この図からもわかるように、通信が終了した時点で、垂直同期期間内のベクトル割り込みによる処理はすべて終わっているため、通信終了と同時に全ての補正データ演算を開始できる。カメラマイコン７６０では受信したこれらのデータを用いてローリングシャッター補正演算部１４４でローリングシャッター歪み補正に必要なデータを演算し、データ設定部１４３を介して画像補正部１４６に補正データを設定する。その結果、第１の実施形態と同様、ローリングシャッター歪みの補正が可能となり、カメラ本体で切り出しによる防振を行った場合に発生するローリングシャッター歪みに起因する画のぐにゃぐにゃとした不自然な歪みを補正することが可能となる。

なお、上述の第２の実施形態では、垂直同期期間に１回のみ通信を行っているが、垂直同期期間内の最後の通信タイミングが、防振関連の最後の制御タイミングの直後となっていれば、通信回数をデータ取り込み回数よりも少ない複数回としても構わない。通信回数を、レンズマイコン７３０、カメラマイコン７６０の処理負荷に適合させることで、処理をスムーズにすることが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、レンズ内で算出した像振れ補正データをカメラに送信することでローリングシャッター歪み補正を行っている。しかし、本実施形態では、レンズからカメラへジャイロ信号と補正レンズ位置情報を送信し、カメラ本体内でブレ残りを算出し、ローリングシャッター歪み補正に利用する。

図１１は、本発明の第３の実施形態の撮像装置の構成図である。構成としては第１の実施形態とほぼ同じであるため、図１と同じ機能を有するブロックには同じ符号を付し、説明を省略する。

図１１において、１１３０はレンズマイコン、１１６０はカメラマイコンである。レンズマイコン１１３０は、Ａ／Ｄ変換器１１０に入力されたセンサアンプ１０９の出力と、振れ量演算部１１１の出力をレンズマウント接点部１１３、カメラマウント接点部１４５を介してカメラマイコン１１６０へと送信する。一方、カメラマイコン１１６０内では、ブレ残り算出部１１１２がレンズ側から受信したブレ量データとレンズ位置データからブレ残りデータ、すなわち実際の本体のブレ量からシフトレンズ１２４での補正量を減算した像振れ補正の残り量を算出する。これが、ローリングシャッター補正に使用されることになる。

本実施形態は、第１の実施形態に対し、ブレ残り算出部がレンズマイコン内からカメラマイコン内に移動したものであり、カメラマイコン１１６０内でのローリングシャッター歪み補正部でのデータ算出については第１の実施形態と同じになる。

第３の実施形態では、ブレ信号と、像振れ補正量に関する信号の２種類を送信するため、通信量は増えるが、レンズマイコン内でブレ残り量を算出する必要がないため、レンズマイコンの規模を小さくすることができる。

なお、レンズマイコンからカメラマイコンへのデータ送信は、所定のサンプリングタイミング毎に行っても、また、垂直同期期間の最後でまとめて送信しても構わない。

以上説明したように、レンズ交換可能な撮像装置において、レンズ内に搭載されているジャイロなどのブレ検出手段の出力と、同じくレンズ内に配置されている像振れ補正機能での補正量をカメラ本体に送信することにより、これらの信号を用いてローリングシャッター歪み補正を行うことができる。その結果、レンズ内に像振れ補正機構を有しているレンズ交換可能なカメラシステムにおいても、カメラ本体側で電子的像振れ補正を同時に行うことで、歩いているときに発生する大きなブレも補正できる。かつ、ＣＭＯＳセンサにより発生する撮影画のぐにゃぐにゃとした不自然な画の歪みも防止することが可能となり、高品位な映像を提供することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態は、カメラ側にもジャイロが搭載されている場合の例である。交換レンズシステムにおいては、レンズ内に振れ補正機能を搭載していないレンズが多い。例えば焦点距離が短いため、手ブレが撮像画像に対して影響を与えない場合である。この場合、像振れ補正機能を実装せず、その分コストダウンを図るのが通常となる。しかし、最近ではほとんどのカメラに動画撮影機能が盛り込まれており、歩きながらの撮影などで像振れ補正ができることが望ましい。そこで、カメラ本体にジャイロを搭載し、カメラ側で電子的な像振れ補正を行うことで像振れ補正機能のないレンズにおいても像振れ補正を可能にする。また、ワイド側だけでなく、テレ側でも補正可能量は少ないものの、振れ補正効果を得ることができる。

このカメラを使用した場合、像振れ補正機能のないレンズを装着して電子的な像振れ補正を行う場合のローリングシャッター歪み補正は従来と同じ方式で行うことになる。振れ補正機能を搭載したレンズを使用した場合も、レンズ内の防振機能をＯＦＦし、カメラ本体で防振を行うことで、防振機能のないレンズと同様の制御で歩き撮り時の防振が可能となる。しかし、画質を考えた場合に、電子的な補正に対して光学補正では画質劣化がなく、さらに、通常防振効果を有したレンズは焦点距離が長く、電子補正では焦点距離が長くなるほど補正可能範囲が少なくなるため、特にテレ側ではレンズ内の光学補正が必須となる。そのため、ジャイロをカメラ本体に搭載したカメラと振れ補正機能を搭載したレンズの組み合わせでは、レンズ内の補正機能を有効にしたほうが望ましい。

さて、図１２は本発明の第４の実施形態の撮像装置の構成図である。ジャイロを搭載したカメラに、振れ補正機能を搭載したレンズを組み合わせた場合の最適な構成を示している。図１２において、第１の実施形態を示した図１と同じ構成の部分には同じ符号を付し、説明は省略する。また、ここでは図１との違いについて説明する。

図１２で、１２３０はレンズマイコンである。１２０１はカメラ本体内に搭載されているジャイロ、１２０２はＨＰＦ、１２０３はアンプ、１２６０はカメラマイコンである。手ブレ検出は、前述のように横方向と縦方向といった直行する２軸に関して行うが、構成は同一のため、ここでもレンズ内の振れ検出部と同様、１軸のみ記載している。カメラマイコン１２６０において、１２０４はジャイロ信号を取り込むＡ／Ｄ変換器、１２１１は手ブレによるカメラの振れ量を演算する振れ量演算部、１２１２はローリングシャッター歪み補正を行うために必要なブレ残り量算出部である。ブレ残り量算出部１２１２は、レンズから送信されたシフトレンズの位置情報を、別途行われているレンズとの通信によって得られる焦点距離情報を用いて実際の補正量に換算し、ブレ残り量を算出する。

第１の実施形態においては、レンズマイコン内でブレ残りを算出し、カメラマイコンに送信していたが、第４の実施形態では、レンズ側では通常の振れ補正動作のみを行い、シフトレンズ１２４の移動量をカメラマイコンに送信する。そしてカメラ側でも手ブレを検出し、カメラマイコン１２６０内で振れ量演算部１２１１で演算した振れ量と、レンズ側から受信したシフトレンズ１２４の位置から、ブレ残り算出部１２１２でブレ残り量を算出している。そして、算出したブレ残り量を用いてローリングシャッター補正演算部１４４でローリングシャッター歪み補正を行うためのデータを算出する。そして、データ設定部１４３を介してベクトル検出部１４１で検出したベクトルに応じた振れ補正量と共に、ローリングシャッター歪み補正量を画像補正部１４６に設定することで、電子補正により発生するローリングシャッター歪み補正を的確に行うことができる。そのため、カメラ側で電子的な振れ補正を行っても、ぐにゃぐにゃとした不自然な画の歪みを発生させることなく、高品位な映像を提供することができる。また、図１２に示す構成とすることで、レンズマイコン内では処理負荷を減らすことができると共に、カメラマイコンとの１Ｖ期間中の通信データ量も減らすことができるという利点もある。

第４の実施形態における、レンズからカメラへの通信タイミングについては、第１の実施形態で示したように、所定のタイミング毎に送信してもよい。また、第２の実施形態のようにレンズ位置情報をバッファに記憶しておき、垂直同期期間内の任意のタイミングで通信するようにしても構わない。

さらに、レンズの焦点距離に応じて、ワイド側では像振れ補正機能を搭載していないレンズを装着した場合の像振れ補正と同様にカメラ側でのみ像振れ補正を行い、テレ側ではレンズ内の像振れ補正機能とカメラ側での電子的像振れ補正を組み合わせた像振れ補正を行うようにし、それぞれの制御に応じてローリングシャッター歪み補正に使用する信号を切り替えるようにしてもよい。これにより、ワイド側では歩き撮りの大きな振れに対応しながら制御を簡略化することができ、テレ側では手ブレ機能を重視し、補性角を拡大することで、防振効果をより高めることができる。
（第５の実施形態）
次に本発明の第５の実施形態について説明する。ローリングシャッター歪みの補正の効果が最も高くなるローリングシャッター歪み補正用データのサンプリングタイミングは、各ライン毎の露光期間の中心位置となる。そこで、本実施形態では、露光時間に応じてブレ残りデータのサンプリングタイミングを変更する。

図１３は本発明の第５の実施形態を示した構成図である。図１と同じ機能を有するブロックには同じ符号を付し、説明を省略する。図１３において、マイコンとして、レンズマイコン１３３０、カメラマイコン１３６０がある。バッファメモリ１３２０は、第２の実施形態と同様、垂直同期期間中に所定のタイミングで複数回算出されたブレ残り量を記憶しておく。

露出設定部１３７０はカメラ信号処理回路１５３の映像信号情報から、カメラの露出値（露光時間、絞り値）を決定して設定を行う。露出設定部（露光時間設定部）１３７０は、決定した露出情報から、絞り制御情報を基本相互通信によりレンズユニットに送り絞り制御を行わせ、不図示の撮像素子ドライバを介して撮像素子の露光時間を制御する。また、露光時間情報をレンズマイコン１３３０に送信する。バスライン１３８０はカメラ信号処理回路１５３とカメラマイコン１３６０間で、ベクトル検出部１４１からベクトル補正演算部１４２へのデータの受け渡しを行う。さらに、データ設定部１４３から画像補正部１４６へのデータの受け渡しや、カメラ信号処理回路１５３と露出設定部１３７０間のデータの受け渡しを行う。

レンズマイコン１３３０は、上述のようにカメラマイコン１３６０から送信された露光時間情報を用いて、検出したブレ残り量（加算器１１２の出力）の中からローリングシャッター歪み補正の効果を最も高くすることができるデータ（露光期間の中心に相当するデータ）を抽出し、バッファ１３２０に記憶する。そしてそのデータをカメラマイコン１３６０に送信する。

さて、本実施形態における、ローリングシャッター歪み補正に関するカメラマイコン１３６０内の動作は図９とほぼ同じで、違う部分は、垂直同期タイミングをレンズマイコン１３３０に送信するときに、同時に露光時間（シャッター速度）も送信することである。この露光時間の情報により、レンズマイコン１３３０内では、ブレ残りデータの中から必要なタイミングのデータを抽出する。

図１４は、ＮＴＳＣ方式で、ローリングシャッター歪み補正を行う場合に、垂直同期期間内の露光期間（シャッター速度）が１／１２０秒に設定されたとき、最も適したブレ残りデータの検出タイミングを示した図である。ジャイロ信号、およびシフトレンズ位置のＡ／Ｄ変換は、垂直同期期間内に１２０００回行われており、フルＨＤのインターレースであれば、水平同期期間内に約２２回のサンプリングが行われる。そのため、図１４に示した垂直同期期間内に１１回必要となるローリングシャッター歪み補正用の各データに対してそれぞれ対応するラインで最も理想的なタイミングに近いデータを選択できるようにする。例えば、ブレ残りデータ取得に対するＡ／Ｄ変換回数をテーブルデータとして作成しておき、露光時間（シャッター速度）に対応したデータをそのテーブルデータから読み出す。

図１５は、垂直同期期間内のローリングシャッター歪み補正に必要な各ブレ残りデータに対して、シャッター速度に応じて垂直同期期間の最初から何回目のＡ／Ｄ変換時にデータをサンプルするかを示した表となる。図１５において、Ｓａｍｐｌｅ Ｎｏ．は、１垂直同期期間（１Ｖ）に取得するデータを、時系列に番号を付したものであり、１／６０〜１／５００という代表的なシャッター速度に対するＡ／Ｄ変換回数を示している。中間的なシャッター速度に対しては、補間して使用する。例えば、シャッター速度が１／２５０秒の時、垂直同期信号が入った後６回目に対応したローリングシャッター歪み補正用のブレ残りデータは、１０５０８回目のＡ／Ｄ変換が行われたときに算出されたブレ残りデータを使用すればよい。

さて、図１６はレンズマイコン１３３０内の動作を示したフローチャートである。以下、図１６に従い、上述の動作について説明する。図１６において、Ｓ１６０１からＳ１６０２は、図８のＳ８０１からＳ８０２と同じ処理であるため、詳細な説明は省略する。垂直同期信号が入った場合、Ｓ１６０３で１垂直同期期間中にローリングシャッター歪み補正に必要なサンプリング回数（この実施形態では１１回）をカウントするカウンタを初期化している。Ｓ１６０４では、Ａ／Ｄ変換回数カウンタの目標値を設定する。この目標値は、垂直同期期間内で、ローリングシャッター歪み補正に必要な１回目のサンプリング時間を示しており、図１５で示されたテーブルにおいて、Ｓａｍｐｌｅ Ｎｏ．が１の場合の、シャッター速度に対応した値となる。そして、Ｓ１６０５でＡ／Ｄ変換を開始させる。一方、垂直同期信号が入力されていない場合はＳ１６０６にてＡ／Ｄ変換が停止中かどうかを確認する。通常Ａ／Ｄ変換周期は垂直同期期間を等分する周期に設定されており、垂直同期期間内に所定回数のＡ／Ｄ変換が行われるとＡ／Ｄ変換を停止状態とするが、その場合はＳ１６０２で垂直同期信号を待つ。

Ｓ１６０７ではＡ／Ｄ変換が終了したかどうかの判定を行う。このＳ１６０７からＳ１６１３までの動作は、図８のＳ８１０からＳ８１６と同じため、ここでも説明は省略する。さて、Ｓ１６１４では、Ａ／Ｄ変換回数が目標値となったかどうかを判定する。目標値である場合は、ローリングシャッター歪み補正に必要なデータを取得するタイミングであるため、Ｓ１６１５でブレ量演算結果とシフトレンズ位置情報からブレ残り量を算出する。そして、Ｓ１６１６でＳ１６１５で算出した結果と、何回目のデータなのかの情報をバッファに記憶する。そしてＳ１６１７で回数カウンタをインクリメントし、Ｓ１６１８で図１５で示したテーブルを参照して、新しいＡ／Ｄ変換回数カウンタの目標値を設定する。Ａ／Ｄ回数カウンタが目標値でない場合は、Ｓ１６１５からＳ１６１８の処理は飛ばし、そして、Ｓ１６１９では、Ａ／Ｄカウンタをインクリメントする。このＳ１６１９から、その後のＳ１６２４までの処理は、図８、Ｓ８２３〜Ｓ８２８の処理と同じであり、詳細な説明を省略する。

以上、ローリングシャッター歪み補正に必要なブレ残りデータを、Ａ／Ｄ変換が行われる時間を利用して、露光時間のほぼ中央の位置とすることにより、ローリングシャッター歪み補正の効果をより向上させることが可能となる。

なお、本実施形態では、ブレ残りデータを算出するタイミングをテーブルデータにより設定したが、使用するＣＭＯＳセンサーの読み出しライン数と１フィールドの時間から、計算により求めても構わない。

なお、高速シャッター時（露光時間が短い時）は、露光期間中の中央に位置するタイミングを選択することができなくなるが、画面全体の蓄積時間が短くなるため、ローリングシャッター歪み自体が発生しにくくなる。そのため、例えば１／１０００以上の高速シャッター時はローリングシャッター歪み補正処理を中止、あるいは使用するデータを固定としても問題ない。

以上説明したように、撮像システムの露光時間（シャッター速度）に応じて、ローリングシャッター歪み補正を行うためのデータサンプリングタイミングを変更することで、ローリングシャッター歪み補正の効果をさらに上げることができ、良好な撮影画像を得ることが可能となる。

なお、シャッター速度によるサンプリングタイミングの変更は、例えば本実施形態のようにバッファを利用することで、振れ信号とシフトレンズの位置信号を同時に送るシステムにおいても、また、カメラ本体内にジャイロを搭載したシステムにおいても可能となり、それぞれのシステムにおいて、ローリングシャッター歪み補正の効果を上げることができ、より良好な撮影画像を得ることができる。

１０１‥‥角速度センサ
１０５‥‥振れ補正量演算部
１０６‥‥シフトレンズ制御量算出部
１０７‥‥シフトレンズドライバー
１０８‥‥シフトレンズ位置センサー
１１０‥‥振れ量演算部
１１１‥‥ブレ量算出部
１１２‥‥ブレ残り量算出部
１１３‥‥レンズ側マウント設定部
１２０‥‥レンズユニット
１３０‥‥レンズ制御マイコン
１４１‥‥動きベクトル検出部
１４２‥‥ベクトル補正演算部
１４３‥‥切り出しデータ設定部
１４４‥‥ローリングシャッター歪み補正演算部
１４５‥‥カメラ側マウント接点部
１５１‥‥撮像素子
１５３‥‥カメラ信号処理回路
１６０‥‥カメラ制御マイコン

Claims (11)

1. カメラ本体と、該カメラ本体に着脱可能なレンズユニットとを備える撮像システムであって、
   前記レンズユニットにより結像される被写体像を撮像するために前記カメラ本体に設けられたＣＭＯＳ型の撮像素子と、
   振れを検出する振れ検出手段と、
   前記振れに基づいて生じる前記被写体像のブレを補正するために前記レンズユニットに設けられた像振れ補正手段と、
   前記像振れ補正手段の補正量を検出する補正量検出手段と、
   前記振れ検出手段の出力と、前記補正量検出手段の出力の差分の情報に基づいて前記撮像素子によって撮像された画像の歪み補正量を演算する歪み補正量演算手段と、
   前記撮像素子によって撮像された画像から動きベクトルを検出するために前記カメラ本体に設けられた動きベクトル検出手段と、
   前記動きベクトル検出手段によって検出された動きベクトルと、前記歪み補正量演算手段の出力とに基づいて、前記撮像素子によって撮像された画像の補正を行う信号処理手段と、
   を備えることを特徴とする撮像システム。
2. 前記カメラ本体と前記レンズユニットとの間を電気的に接続する接続手段をさらに備えることを特徴とする請求項１に記載の撮像システム。
3. 前記振れ検出手段、及び前記補正量検出手段は前記レンズユニットに配置され、前記撮像システムの振れ量、及び前記像振れ補正手段の補正量が、前記接続手段により前記レンズユニットから前記カメラ本体に伝達されることを特徴とする請求項２に記載の撮像システム。
4. 前記補正量検出手段は前記レンズユニットに配置され、前記像振れ補正手段の補正量が、前記接続手段により前記レンズユニットから前記カメラ本体に伝達されることを特徴とする請求項２に記載の撮像システム。
5. 露光時間情報を設定する露光時間設定手段をさらに有し、
   前記接続手段により前記露光時間情報を前記レンズユニットに送信することを特徴とする請求項２乃至４のいずれか１項に記載の撮像システム。
6. 前記歪み補正量演算手段は、垂直同期期間中に前記差分を複数回抽出し、前記レンズユニットに送信された前記露光時間情報に基づいて前記複数回の差分の抽出タイミングが決定されることを特徴とする請求項５に記載の撮像システム。
7. 前記像振れ補正手段の補正量の検出は垂直同期期間中に複数回行われ、前記レンズユニットに送信された前記露光時間情報に基づいて、前記複数回の検出タイミングが決定されることを特徴とする請求項５に記載の撮像システム。
8. 前記撮像システムの振れ量の検出は垂直同期期間中に複数回行われ、前記レンズユニットに送信された前記露光時間情報に基づいて、前記複数回の検出タイミングが決定されることを特徴とする請求項５に記載の撮像システム。
9. 前記露光時間情報に基づいて決定される前記垂直同期期間中に複数回行われる抽出、あるいは検出のタイミングは、前記ＣＭＯＳ型の撮像素子によって行われる垂直同期期間中の蓄積時間に対して均等に割り振られ、かつライン毎の蓄積時間のほぼ中央であることを特徴とする請求項６乃至８のいずれか１項に記載の撮像システム。
10. レンズユニットと、当該レンズユニットを着脱可能であり、前記レンズユニットにより結像される被写体像を撮像するためのＣＭＯＳ型の撮像素子を備えたカメラ本体とを備える撮像システムの制御方法であって、
    振れを検出する振れ検出ステップと、
    前記振れに基づいて生じる前記被写体像のブレを補正するために前記レンズユニットにて補正部材を駆動する像振れ補正ステップと、
    前記補正部材の補正量を検出する補正量検出ステップと、
    前記振れ検出ステップの出力と、前記補正量検出ステップの出力の差分の情報に基づいて前記撮像素子によって撮像された画像の歪み補正量を演算する歪み補正量演算ステップと、
    前記撮像素子によって撮像された画像から動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトル検出ステップにて検出された動きベクトルと、前記歪み補正量演算ステップでの出力とに基づいて、前記撮像素子によって撮像された画像の補正を行う信号処理ステップと、
    を備えることを特徴とする撮像システムの制御方法。
11. レンズユニットが着脱可能に装着される撮像装置であって、
    前記レンズユニットにより結像される被写体像を撮像するためのＣＭＯＳ型の撮像素子と、
    撮像装置の振れに基づいて生じる前記被写体像のブレを補正するための像振れ補正手段と、前記像振れ補正手段の補正量を検出する補正量検出手段とを備えるレンズユニットとの間で通信を行う通信手段と、
    撮像装置の振れを検出する振れ検出手段の出力と、前記通信手段を介して前記レンズユニットから取得した前記補正量検出手段の出力との差分の情報に基づいて前記撮像素子によって撮像された画像の歪み補正量を演算する歪み補正量演算手段と、
    前記撮像素子によって撮像された画像から動きベクトルを検出するための動きベクトル検出手段と、
    前記動きベクトル検出手段によって検出された動きベクトルと、前記歪み補正量演算手段の出力とに基づいて、前記撮像素子によって撮像された画像の補正を行う信号処理手段と、
    を備えることを特徴とする撮像装置。

Images