JP7378260B2 - 防振装置及び方法、及び撮像装置 - Google Patents

防振装置及び方法、及び撮像装置 Download PDF

Info

Publication number
JP7378260B2
JP7378260B2 JP2019186261A JP2019186261A JP7378260B2 JP 7378260 B2 JP7378260 B2 JP 7378260B2 JP 2019186261 A JP2019186261 A JP 2019186261A JP 2019186261 A JP2019186261 A JP 2019186261A JP 7378260 B2 JP7378260 B2 JP 7378260B2
Authority
JP
Japan
Prior art keywords
image
amount
optical system
imaging device
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186261A
Other languages
English (en)
Other versions
JP2020088850A (ja
Inventor
明 加納
邦宏 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US16/680,835 priority Critical patent/US11202001B2/en
Publication of JP2020088850A publication Critical patent/JP2020088850A/ja
Application granted granted Critical
Publication of JP7378260B2 publication Critical patent/JP7378260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Structure And Mechanism Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影時にブレを補正する防振装置及びその制御方法、及び撮像装置に関し、特に撮像素子を駆動して防振効果を得る防振装置及びその制御方法、及び撮像装置に関する。
近年、撮像装置の高性能化により多くの撮像装置および撮影レンズに手ブレ補正機構が搭載されている。従来はより影響の大きいブレであるいわゆるピッチ(撮像装置の横方向に延びる軸に沿った回転)、ヨー(撮像装置の縦方向に延びる軸に沿った回転)の補正が行われてきた。ピッチ、ヨー軸周りのブレ補正の性能が向上するに伴って、ロール(光軸周りの回転)の影響が無視できなくなってきた。そのためロールを含むブレ補正可能な機構が多く提案されている。ロールを補正可能な機構として、撮像素子を撮像装置自体のブレ量に合わせて駆動することによりブレ補正を行う機構も多く提案されている。
一方で、上記ブレ補正の為に撮像素子の駆動量を大きくしすぎると、撮影される画像に悪影響を与える可能性がある。その要因として、レンズの光学特性に起因した光量(明るさ)の低減や解像感の低減が挙げられる。
特許文献1では、撮像装置の動きに起因して発生する撮影画像の動きを補正する動き補正手段を備えた装置において、撮像素子から取得した輝度信号を複数の領域に分けて均一具合を判定し、所定の値よりも均一具合が低い場合は、前記動き補正を制限する撮像装置が開示されている。これにより撮像された信号の四隅の均一具合を所定の量にまで抑えることが可能となる。
特許文献2では、撮像装置に着脱可能な交換レンズにおいて、装着された撮像装置が周辺光量補正または収差補正を行う機能を有するか否かに応じて、ブレ補正用のレンズの移動可能範囲を変えることを特徴とする交換レンズが開示されている。これにより、交換レンズが装着された撮像装置に周辺光量補正機能が備わっている場合に、より高精度なブレ補正が可能となる
特許第4195950号公報 特許第5979837号公報
しかしながら、特許文献1および2に開示された防振装置を用いても、ブレ補正による光量の低減による画質劣化を十分に回避できない。
特許文献1に開示された防振装置では、撮像された信号から輝度信号を検出し、四隅の明るさの均一性を判定する為、前記四隅の明るさの不均一性が被写体起因で発生しているのか、ブレ補正により発生しているのかの判別が難しいという欠点がある。また撮像された信号から判定処理を行う為、一時的に四隅の均一性が所望ではない状態が発生してしまう可能性が高い。また特許文献2に開示された防振レンズ装置では、装着された撮像装置の補正機能の有無により移動可能範囲を変更する為、出力される画像の明るさに関して補償する制御とはなってないという問題がある。
また、四隅の不均一性は、周辺光量による明るさに限らず、コマ収差やサジタルハロなどの収差による主に周辺の画質劣化によっても同様に起きる。このように、ブレ補正の機構の駆動量を大きくしすぎると、収差に起因するぼけによる画像周辺の画質劣化や四隅の解像感が不均一になる問題がある。
本発明は上記問題点を鑑みてなされたものであり、交換レンズシステムの撮像装置において、レンズと撮像装置の組み合わせに応じて周辺画質を担保しながら、ブレ補正の効果を最大限発揮することを目的とする。
上記目的を達成するために、本発明の防振装置は、ブレ検出手段により検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第1の算出手段と、前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第2の算出手段と、を有し、前記第1の算出手段は、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする。
本発明によれば、交換レンズシステムの撮像装置において、レンズと撮像装置の組み合わせに応じて周辺画質を担保しながら、ブレ補正の効果を最大限発揮することが可能となる。
本発明の実施形態における撮像システムの中央断面図および概略構成を示すブロック図。 実施形態におけるブレ補正部の分解斜視図。 画質劣化を説明する図。 実施形態における周辺光量補正の補正処理を示すフローチャート。 実施形態における周辺光量補正の補正量の算出処理を説明するための図。 実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。 第1の実施形態における防振駆動テーブルの算出処理を示すフローチャート。 第1の実施形態における駆動可能量の算出方法を説明する図。 第1の実施形態における防振駆動テーブルの一例を示す図。 第2の実施形態における像高と歪曲収差の補正値との関係を示すグラフ。 第2の実施形態における防振駆動量の算出方法を説明する図。 第3の実施形態における撮像素子の読み出し領域を説明する図。 第3の実施形態における防振駆動量の算出方法を説明する図。 第4の実施形態における防振駆動テーブルの算出処理を説明するフローチャート。 第5の実施形態における画像回復処理を示すフローチャート。 第5の実施形態における画像回復の周波数特性を示す図。 第5の実施形態における画像回復の補正量を説明する図。 第5の実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。 第5の実施形態における撮像素子の駆動可能量の算出方法を説明する図。 第5の実施形態における防振駆動テーブルの一例を示す図。 第5の実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。 第5の実施形態における撮像素子の駆動可能量の算出方法を説明する図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
まず、本実施形態で用いる撮像システムについて説明する。図1(a)は本発明の実施形態における撮像システムの中央断面図、図1(b)は撮像システムの概略構成を示すブロック図である。
図1(a)に示すように、本発明の撮像システムは、撮像装置本体1と、撮像装置本体1に装着するレンズユニット2から成る。レンズユニット2は、複数のレンズからなる撮影光学系3とレンズシステム制御回路12を含む。なお、点線4は、撮影光学系3の光軸を示している。撮像装置本体1は、撮像素子6、背面表示装置9a、EVF9b、ブレ補正部14、ブレ検出部15、シャッタ機構16を有する。撮像装置本体1とレンズユニット2は、電気接点11を介して通信可能に接続される。
図1(b)は、撮像装置本体1の電気的構成を示すブロック図である。本実施形態におけるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系3、撮像素子6、シャッタ機構16を含み、画像処理系は、画像処理部7を含む。また、記録再生系は、メモリ8、背面表示装置9a、EVF9bを包含する表示部9を含み、制御系は、カメラシステム制御回路5、操作検出部10、レンズシステム制御回路12、レンズ駆動部13、ブレ補正部14、およびブレ検出部15を含む。
レンズ駆動部13は、フォーカスレンズ、ブレ補正レンズ、絞りなどを駆動することができる。ブレ検出部15は、光軸4周りの回転を含む装置の回転ブレを検知可能であり、振動ジャイロなどを用いることができる。ブレ補正部14は撮像素子6を光軸4に直交する平面内に並進させるとともに光軸4周りに回転させる機構であり、この具体的な構造については後述する。
撮像系は、被写体からの光を、撮影光学系3を介して撮像素子6の撮像面に結像する。撮像素子6からピント評価量および適当な露光量の情報が得られるので、この情報に基づいて適切に撮影光学系3が調整されることで、適切な光量の被写体からの光を撮像素子6に露光するとともに、撮像素子6近傍で被写体像が結像する。撮像素子6は、被写体像を光電変換して、画像信号を出力する。
画像処理部7は、内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子6から入力した画像信号に基づいて、記録用の画像を生成する。色補間処理部も、この画像処理部7に備えられており、ベイヤ配列の信号から色補間(デモザイキング)処理を施してカラー画像を生成する。また、画像処理部7は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
カメラシステム制御回路5は、メモリ8へ出力を行うとともに、表示部9にユーザーに提示する像を表示する。
カメラシステム制御回路5は、撮像の際のタイミング信号などを生成して出力すると共に、外部操作に応動して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出すると、カメラシステム制御回路5は、撮像素子6の駆動、画像処理部7の動作、圧縮処理などを制御する。さらに表示部9によって情報表示を行う情報表示装置の各セグメントの状態を制御する。また、背面表示装置9aはタッチパネルになっており、操作検出部10に接続されている。
ここで、制御系による光学系の調整動作について説明する。カメラシステム制御回路5には画像処理部7が接続されており、撮像素子6からの信号を基に適切な焦点位置、絞り値を求める。つまり、カメラシステム制御回路5は撮像素子6の信号をもとに測光・測距動作を行い、露出条件(Fナンバーやシャッタ速度等)を決定する。
カメラシステム制御回路5は、電気接点11を介してレンズシステム制御回路12に指令を出し、レンズシステム制御回路12は指令に基づいてレンズ駆動部13を制御する。さらに、手ブレ補正を行うモードにおいては、後述する撮像素子6から得られた信号を基に、レンズ駆動部13を介して撮影光学系3に含まれるブレ補正レンズを適切に制御する。
このように、操作検出部10へのユーザー操作に応じて、撮像装置本体1の各部の動作を制御することで、静止画および動画の撮影が可能となっている。
撮像装置本体1内のブレ補正部14を制御するにあたっては、ブレ検出部15からの信号に基づいてブレ補正部14を動作させる。ブレ検出部15からの検出信号に基づくブレ補正の目標値の生成および、ブレ補正部14の駆動制御はカメラシステム制御回路5が担っている。同様に、撮影条件に応じて光軸周りの回転を減じるような規制もカメラシステム制御回路5が担っている。ブレ補正部14は、カメラシステム制御回路5による制御に従って、撮像素子6を光軸4に対して垂直な平面上で駆動する。
次に、図2を用いて本実施形態のブレ補正部14について説明する。図2は、ブレ補正部14のうち、ブレ補正を行う機構の分解斜視図である。なお、別途、制御を行う電気的な仕組みがあるが、図2に示す図にはそれは含まれていない。図2において縦の線は光軸4と平行な方向である。図2において、移動しない部材(固定部)には100番台の番号を付した。移動する部材(可動部)には200番台の番号を付している。さらに、固定部と可動部で挟持されるボールは300番台の番号を付している。
図2において、101は上部ヨーク、102a,102b,102cはビス、103a,103b,103c,103d,103e,103fは上部磁石、104a,104bは補助スペーサ、105a,105b,105cはメインスペーサである。また、106a,106b,106cは固定部転動板、107a,107b,107c,107d,107e,107fは下部磁石、108は下部ヨーク、109a,109b,109cはビス、110はベース板である。
201はFPC、202a,202b,202cは位置検出素子取り付け位置、203は可動PCB、204a,204b,204cは可動部転動板、205a,205b,205cはコイル、206は可動枠、301a,301b,301cはボールである。
上部ヨーク101、上部磁石103a,103b,103c,103d,103e,103f、下部磁石107a,107b,107c,107d,107e,107f、下部ヨーク108が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石103a,103b,103c,103d,103e,103fは上部ヨーク101に吸着した状態で接着固定されている。同様に、下部磁石107a,107b,107c,107d,107e,107fは下部ヨーク108に吸着した状態で接着固定されている。上部磁石103a,103b,103c,103d,103e,103fおよび下部磁石107a,107b,107c,107d,107e,107fはそれぞれ光軸方向(図2の上下方向)に着磁されている。更に、隣接する磁石(磁石103aと103bの位置関係にあるもの)は互いに異なる向きに着磁されている。また、対抗する磁石(磁石103aと107aの位置関係にあるもの)は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク101と下部ヨーク108の間に光軸方向に強い磁束密度が生じる。
上部ヨーク101と下部ヨーク108の間には強い吸引力が生じるのでメインスペーサ105a,105b,105cおよび補助スペーサ104a,104bで適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石103a,103b,103c,103d,103e,103fと下部磁石107a,107b,107c,107d,107e,107fの間にコイル205a,205b,205cおよびFPC201を配置するとともに、適当な空隙を確保できるような間隔である。メインスペーサ105a,105b,105cにはネジ穴が設けられており、ビス102a,102b,102cによって上部ヨーク101がメインスペーサ105a,105b,105cに固定される。
メインスペーサ105a,105b,105cの胴部にはゴムが設置されており、可動部の機械的端部(いわゆるストッパー)を形成している。
ベース板110には下部磁石107a,107b,107c,107d,107e,107fをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス109a,109b,109cによってベース板110と下部ヨーク108が固定され、ベース板110よりも厚み方向の寸法が大きい下部磁石107a,107b,107c,107d,107e,107fがベース板110から突出するように固定される。
可動PCB203は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動PCB203に対して可動部の各要素が固定されて可動部を為している。FPC201には、位置検出素子取り付け位置202a,202b,202cで示した位置で図2から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などを用いることができる。ホール素子は小型なので、コイル205a,205b,205cの巻き線の内側に入れ子になるように配置される。
可動PCB203には、不図示の撮像素子6、コイル205a,205b,205cおよびホール素子が接続されている。可動PCB203上のコネクタを介して外部との電気的なやり取りを行う。
ベース板110には固定部転動板106a,106b,106cが、可動PCB203には可動部転動板204a,204b,204cが接着固定されており、ボール301a,301b,301cの転動面を形成する。転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。
上述した構成でコイル205a,205b,205cに電流を流すことで、フレミング左手の法則に従った力が発生し可動枠206を動かすことができる。また、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことができる。ホール素子信号の値を適当に制御することで光軸に直交する平面内で可動部は並進運動するとともに光軸4周りに回転することができる。
次に、図3を用いて、上述のブレ補正部14で防振した場合に発生する周辺画質の劣化に関する説明を行う。図2で説明した可動枠206で撮像素子6を駆動し、防振制御を行った場合、露光期間中の撮像素子6の位置によっては撮影画像の明るさが不自然になってしまう場合がある。
図3(a)は、レンズユニット2と撮像素子6の位置関係を簡略に表した図である。図3は、レンズユニット2の光軸4と、撮像素子6の中心の軸(光軸)とが一致した、撮像素子6の基準位置を示している。図3(b)は、図3(a)を正面から見た図であり、円は光軸4を中心として描いている。一般にレンズユニット2の光量変化はこの円の中心から同心円状に均等に変化し、通常は同心円の中心から離れれば離れるほど撮像素子6に届く光量は低減する。この場合、撮像素子6が円の中心にあり、この位置で露光された画像は図3(c)のようになり、撮像素子6の中心から四隅に渡って均等に光量が落ちるような画像が撮像される。また四隅の光量の落ち量も少ない為、良好な画像が得られる。
一方、図3(d)に示す図は、像振れを補正する為に撮像素子6をシフトさせた場合を示している。ブレ補正を実施する為に撮像素子6をシフトさせる必要があるが、露光前の像振れの状態によっては図3(d)に示すような位置を中心に像振れ補正を実施する場合も発生する。その場合の露光は、図3(e)に示すように円の中心からシフトした状態で実施されることになり、その結果、図3(f)のように、画面の左隅で大きく光量が落ち込んだ画像として出力される。さらに、四隅の光量の落ち方も不均一のものとなり、不自然な画像として出力されてしまう。
<第1の実施形態>
次に、本発明の第1の実施形態における上記構成を有する撮像システムにおける処理について説明する。まず、周辺光量の補正について説明する。
図4は、周辺減光を画像処理で補正する、所謂、周辺光量補正の概要を示すフローチャートである。まずS401において、補正を実施する露光期間のレンズユニット2の状態情報を取得する。ここで必要な情報としては、レンズユニット2の周辺減光特性が変化する、焦点距離情報や、撮影距離情報、絞り情報等が挙げられる。次にS402において、S401で取得した情報に基づいて、レンズユニット2の周辺減光の量を算出する。周辺減光の量を算出する方法としては、予めメモリ8にレンズユニット2の周辺減光特性を記憶しておき、S401で取得した情報からその条件での周辺減光特性を参照し、補間して求める方法が考えられる。
次にS403において、補正を実施する撮像装置本体1に応じた、周辺光量補正の補正可能量を取得する。周辺光量補正は、電気的に信号をゲインアップすることにより周辺減光を補正するものである。当然ながら、ゲインアップすることによりノイズの増加等の画質の劣化が目立つようになる。どの程度ゲインアップできるかは、一般的に、撮像素子6の特性や、撮像装置本体1の特性によっても異なる。また撮像素子6は、アナログまたはデジタル的に増感する仕組み(所謂ISO感度)を有しており、この設定値に応じてノイズ特性が変化する為、補正可能な周辺光量も異なる。これらの条件ごとに周辺光量補正の補正可能量の情報を予めメモリ8に記録しておき、ISO感度等により変更する。また、自動露出調整機能や自動コントラスト調整機能などの、電子的に明るさを補正する他の機能の設定に応じて、周辺光量補正に適用可能な補正量を動的に変更しても良い。
S404において、S403で算出した補正可能量に基づいて、実際に適用する補正量を算出する。ここで、その具体的な方法について、図5を用いて説明する。
図5(a)のV(h)はS402で算出した、ある条件でのレンズユニット2の周辺減光特性の一例を示すグラフであり、横軸に光軸中心からの距離(像高)、縦軸に各像高における、像高中心の光量を1として規格化した光量を表している。図5(b)は、図5(a)と同じ条件における周辺光量補正の補正ゲインを示すグラフである。F(h)はV(h)を完全に補正する場合のゲインカーブを示している。αは、S403で取得した補正可能量である、最大ゲインを示している。この場合の周辺光量補正として、最大の補正ゲインを補正可能量αに抑える必要がある為、実際に補正する量を演算により算出する。その結果の補正量をG(h)とする。補正量としては、システムが許容する最大ゲインαまでに収まっていることが分る。
S405では、算出した補正ゲインG(h)を画像に適用する。その結果、補正後の周辺光量特性は図5(c)のような特性になる。周辺減光は完全には補正されていないが、システムが許容する範囲内では最大限に補正された結果を出力することが可能となる。
次に、第1の実施形態における撮像素子6の駆動可能量の算出処理について説明する。撮像素子6をシフトさせる像振れ補正では、像振れ補正が行われている状態で、周辺の光量がどの程度落ちるかを予測して撮像素子6の駆動量を決定しないと、図3(f)で説明したように、意図しない不自然な画像を出力してしまう可能性がある。一方で、特にレンズ交換型のシステムにおいて、すべてのレンズに対して前述のような不自然な画像を出力しないように、一様に駆動可能量を設定するとブレ補正の効果が著しく少なくなってしまうという問題がある。そこで本第1の実施形態ではレンズユニット2と撮像装置本体1の組み合わせに応じて、撮像素子6の駆動可能量を求める。
図6は、本第1の実施形態における駆動可能量の算出処理を示すフローチャートである。上述したように、周辺光量は、レンズユニット2の周辺光量特性や、焦点距離、撮影距離、絞り等により変化するため、本第1の実施形態では、これらの条件にそれぞれ対応する駆動可能量を防振駆動を開始する前に予め求めて、記憶しておく。
まずS601で、装着されたレンズユニット2の全領域の周辺光量特性情報を取得する。取得する方法は、例えばレンズユニット2から取得しても良いし、予めメモリ8に記録しておいても良い。次にS602において、撮像装置本体1における周辺光量の補正可能量を取得する。具体例としては、S403で取得した最大ゲインαのような情報である。また最大ゲインαがISO感度等に応じて変化する場合は、その条件も合わせて取得する。
次にS603で、S601およびS602で取得した情報をもとに、防振駆動テーブルを算出する。なお、防振駆動テーブルの算出方法の詳細については後述する。最後にS604において、S603で演算した結果を、メモリ8に記録することにより処理を終了する。
なお、上述した処理を、例えば、レンズユニット2が撮像装置本体1に装着されたとき等に実行し、撮影を開始するときには防振駆動テーブルがメモリ8に格納されている状態にしておく。
次に図7を用いて、S603で行われる防振駆動テーブルの算出方法について詳細に説明する。最初に、S701において、駆動量判定閾値をメモリ8から読み出す。ここで、駆動量判定閾値とは、画質の観点から許容できる周辺光量の状態を示す閾値のことで、撮像装置本体1の特徴などに応じて予め設定しておくパラメータのことである。具体的には出力される画像の明るさの絶対量がどこまで落ちて良いかを示すパラメータである絶対光量判定閾値Lthと、四隅の明るさの均一性を示すパラメータである四隅光量差判定閾値Cthである。
次に、S702において、駆動可能量を演算するための撮影条件を取得する。本実施形態では、ISO感度、焦点距離、撮影距離、絞りに応じて計算する為、各条件を順次変更しながら演算を行っていく。条件や間隔は必要に応じて増減して構わない。次に、S703において、S702で取得した条件に対応する周辺減光の量を算出する。周辺減光の量を算出する方法としては、上述したS402と同様に、予めメモリ8にレンズユニット2の周辺減光特性を所持しておき、S702で取得した情報からその条件での周辺減光特性を参照し、補間して求める方法が考えられる。
次に、S704において、S702で取得したISO感度などから、S404と同様の方法で、その条件で実際に適用される周辺光量の補正量を算出する。S705において、S405と同様にして、S703で取得した周辺光量に対して、S704で取得した補正量により補正を適用する。このようにすることで、実際に露光される画像の明るさをシミュレーションすることが可能となる。S705で算出した補正後のシミュレーション結果から、S706,S707において、その条件での駆動可能量を決定する。ここで、その具体的な方法について、図8を用いて説明する。
図8(a),(b)は、S706における処理を説明する図で、図8(c),(d)はS707における処理を説明する図である。図8(a)は横軸に像高、縦軸に光量を表したグラフであり、S705で算出した撮像装置での周辺光量補正後の結果の特性を示すグラフである。ノイズ等の影響で補正が十分できない場合は、像高中心に対して光量落ちが十分に補正できないことを示している。ここで像高Z0はブレ補正しない状態、つまり撮像素子6の中心とレンズユニット2の光軸が一致した場合の撮像素子6の周辺部のうち、最周辺の像高である。以後、光軸中心から、撮像素子6の四隅(周辺部)の像高の中で、最も距離が長いものを「最大像高」と呼ぶ。
図8(b)は図8(a)に対応する撮像素子6上での対応位置を示している。例えば、図8(a)のZ0に対応するのは、撮像素子6の中心位置C0から撮像素子6の隅までの距離であることを示している。また図8(a)において像高Z1での光量はL(Z1)であることを示している。つまりL(Z1)の値がS701で取得した絶対光量判定閾値Lthに一致した時の像高に撮像素子6の周辺が重なるまで、防振駆動可能であることを示している。Lth=L(Z1)の場合、図8(b)において画像の隅から距離Z1だけ離れた場所C1まで光軸中心が移動したときに、画像の周辺で予め指定した絶対光量判定閾値Lthになることを示している。言い換えると、防振のための撮像素子6の駆動可能量(第1の移動量)は、A(=C0-C1)ということになる。
次に図8(c),(d)を用いて、S707の四隅光量差判定閾値から駆動可能量Bを取得する方法について説明する。S706では絶対光量を用いて駆動可能量を判定していたが、S707では出力される画像の四隅の明るさの差が所定以上にならないようにするための駆動可能量を算出する。図8(c)は、図8(a)と同様にS705で算出した周辺光量補正後の明るさを計算した結果のグラフである。防振駆動時の四隅の明るさの均一性を判定する場合、光軸中心から画像の周辺までの距離が一番長い領域と一番短い領域を比較することで判定する。
例えば、図8(d)において防振制御により、画像中の光軸中心がC0からC2へ移動した場合を考える。この場合の最大像高はZ2であり、最小像高はZ3である。つまり像高Z2と像高Z3で、画面中の輝度差が最大になることが分る。この時の輝度差は図8(c)においてL(Z2)とL(Z3)の差分として表現される。つまりL(Z2)-L(Z3)が予め決めておいた閾値Cthを超えないようなC2位置を算出する。具体的には、図8(d)のC2の位置に光軸中心がきた場合の光量差がCthになる場合、その時の駆動可能量B(第2の移動量)はZ2-Z0で算出される。
S706,S707で算出した駆動可能量A,Bのうち、小さい値の駆動量であれば、絶対光量も四隅の輝度差も担保できる為、AとBの小さい値を、演算した条件での駆動可能量として記録する(S708)。この演算をすべての条件に対して順次行い、防振駆動テーブルを作成する(S709)。
図9は、上述したようにして求めた防振駆動テーブルの一例であり、周辺光量補正の結果が、ISO感度、絞り、撮影距離、焦点距離によって変化する場合を示している。この例は一例であり、演算時間や、周辺光量補正のアルゴリズムによっては対応するパラメータは変化しても良い。また演算するステップも任意とする。ここでISO0,ISO01・・はISO感度の分割ポイントを示し、Iris0,Iris1・・は絞りの分割ポイントを示し、Focus0,Focus1・・は撮影距離の分割ポイントを示し、Zoom0,Zoom1・・は焦点距離の分割位置を示している。Data[0][0][0][0]はISO0,Iris0,Focus0,Zoom0の場合の防振駆動可能量を示している。
上述のように、ブレ補正部14は、このようにして得られた防振駆動テーブルに基づいてブレ補正制御を実施することで、レンズユニット2と撮像装置本体1の組合せで最適な防振効果を得ることが可能となる。
<第2の実施形態>
次に本発明の第2の実施形態について、図10及び図11を参照して説明する。第2の実施形態においては、第1の実施形態で説明した防振駆動テーブルに対し、歪曲収差の補正機能と連動して、さらにブレ補正の効果を上げる方法について説明する。なお、第2の実施形態で説明する防振駆動テーブルの算出処理は、図7のS706及びS707における処理を変更すれば良く、その他の処理は第1の実施形態と同様であるので、ここでは説明を省略する。
まず、歪曲収差補正について簡単に説明する。歪曲収差とは、理想的には被写体とレンズによる結像は相似形であることが望まれるが、その理想から外れ直線が歪んで写る収差のことである。歪曲収差には理想の状態(無収差レンズで撮影した状態)に対して、画像が外側に歪む状態(所謂、樽型)と画像が内側に歪む状態(所謂、糸巻き型)の2方向の歪曲収差が存在する。
図10は、像高と、歪曲収差の補正値との関係を示すグラフである。図10において、縦軸の正の方向が樽型の歪曲収差の補正値を示しており、数値が高いほど、歪み量の大きな樽型の歪曲収差が発生していることを示す。逆に、縦軸の負の方向は糸巻き型の歪曲収差の補正値を示しており、数値が低いほど、歪み量の大きな糸巻き型の歪曲収差が発生していることを示す。
この歪曲収差は、像高ごとにレンズユニットがもつ歪み量をキャンセルする倍率を画像に適用することにより補正することが可能となる。樽型の場合は、像高ごとに拡大処理を行い、糸巻き型の場合は像高ごとに縮小処理を行うことで補正することが可能である。糸巻型の場合は縮小なので画素数が補正前と比べて少なくなる為、最終的に画素数を調整する為に必要に応じて拡大処理を適用する必要がある。一方で、樽型の歪曲収差の場合は拡大処理となる為、補正前の画素数よりも大きな画像で出力される為、縮小処理は必要ない。
特に樽型の歪曲収差の場合は、その補正が拡大処理の為、最終的に出力される画像は、歪補正なしの画像と比べて、内側の画像である。つまり歪補正の程度によって、最終画像に出力されない領域が発生する。この領域は最終画像には出力されないので、この領域を加味して駆動量を算出すると、さらに防振駆動量を増やすことができ、更なるブレ補正の効果が期待できる。
具体的な駆動可能量の算出方法について、図11を用いて説明する。第1の実施形態における駆動可能量の算出方法との違いとしては、S706、S707で駆動可能量A,Bを算出する際に、歪曲収差量を換算することである。図11(a),(b)は、それぞれ図8(a),(c)に示す像高に対して、同じ条件での歪曲補正を加味した場合の周辺光量特性の変化を示している。点線は樽型の歪曲補正前の値である。図11(a)においては、同じ絶対光量L(Z1)に対して、最大像高Z1がZ1’に延長される為、Z0からの距離が長くなる。その結果、算出される駆動可能量Aが増加することが分る。一方、図11(b)においては四隅輝度差がL(Z3)-L(Z2)がL’(Z3)-L’(Z2)に変更となる。一般的に周辺光量は像高が高くなればなるほど急峻に落ちる傾向があるため、歪曲補正前の座標系で像高が低い方が輝度差は少なくなる。よって駆動可能量Bも増加することが見込まれる。そして、S708において、このようにして算出した駆動可能量Aと駆動可能量Bのいずれか小さい方を選択すれば良い。
上述のように、歪曲収差を加味することによりさらに、ブレ補正の効果を得ることが可能となる。
<第3の実施形態>
次に本発明の第3の実施形態について、図12および図13を用いて説明する。第3の実施形態においては、撮像装置本体1のセンサ読み出しモードの違いを考慮することにより、さらにブレ補正の効果を得ることが可能となる場合があるため、その場合について説明する。なお、第2の実施形態と同様に、第3の実施形態で説明する駆動可能量の算出には、図7のS706及びS707における処理を変更すれば良く、その他の処理は第1の実施形態と同様であるので、ここでは説明を省略する。
近年、静止画撮影の撮像装置でも動画を撮像できる機種が多く存在している。その場合、一つの撮像センサで読み出し領域を変えることにより、静止画と動画を生成することが多い。図12は、読み出し領域を示す図である。領域1201は撮像素子6の画角をすべて使うモードの読み出し領域を示している。一般的には静止画に合わせてセンサ配置は作成される為、静止画撮影の場合にこの領域1201が読み出し領域として用いられることが多い。領域1202は動画読み出しに使われる領域である。動画読み出しの場合は画像の縦横比が規格で決められている為、静止画に対して上下の画角が少なくなることが多い。
最後に領域1203について説明する。一般的に動画モードの場合は、1フレームの間に読み出せる画素数が決まっており、領域1202の読み出しを行う場合、画素を間引くことにより実現する場合がある。間引くことにより画質が劣化してしまう為、画質を担保するため、間引かずにセンサ読み出しを行い、動画を生成する方法がある。この時、読み出し範囲は領域1203のように、撮像素子6の撮像面の内側の領域を読み出す必要がある。同様に、電子的にズーム倍率を上げる為に、領域1203を読み出す場合や、イメージサークルが小さいレンズユニットが装着された場合に領域1203を読み出す場合もある。この時、最終画像に出力される最大像高は1201>1202>1203のようになる。
このように、センサの読み出しモードによっては、必要な最大像高が小さくなる場合があり、この変化を加味することで、さらにブレ補正の効果を上げることが可能となる。この場合の補正可能量について図13を用いて説明する。
第1の実施形態との違いとしては、図7のS706、S707で駆動可能量A,Bを算出する際に、防振駆動しない場合の最大像高Z0の値を、図12で説明した読み出し領域に応じて換算することで可能となる。図13(a),(b)はそれぞれ図8(a),(c)の像高に対して、そのモードでの最大像高情報Z0をZ0’に変換した場合の値が記載されている。図13(a)においては、同じ絶対光量L(Z1)を得る像高Z1までの基準位置からの距離が伸びていることが分る(Z1-Z0’>Z1-Z0)。これにより駆動可能量Aが向上することが示されている。
一方、図13(b)においては、撮像素子6の四隅の輝度差がL(Z3)-L(Z2)がL’(Z3)-L’(Z2)に変更となる。第2の実施形態で説明したように像高が低い方が輝度差は少なくなる傾向がある為、駆動可能量Bも増加することが見込まれる。そして、S708において、このようにして算出した駆動可能量Aと駆動可能量Bのいずれか小さい方を選択すれば良い。
上述のように、各モードの最大像情報を加味することによりさらに、ブレ補正の効果を得ることが可能となる。
<第4の実施形態>
次に、本発明の第4の実施形態について、図14を参照して説明する。上述した第1~第3の実施形態では、撮像装置本体1に装着されたレンズユニット2の周辺光量補正データを有する場合の処理について説明を行った。しかしながら、撮像装置本体1が常に周辺光量補正データを有しているとは限らない。そこで、第4の実施形態では、撮像装置本体1がレンズユニット2の周辺光量補正データを所持していない場合について説明する。
図14は、第4の実施形態における防振駆動テーブル算出処理を示すフローチャートで、図6のS603における処理で、図7に示す処理の代わりに行われる。なお、図4のS402においても、レンズユニット2の周辺減光特性をメモリ8から取得する代わりに、以下に示す方法を用いて推測する。それ以外は、第1の実施形態と同様であるので、ここでは説明を省略する。また、図14において、図7と同様の処理には同じステップ番号を付して、説明を省略する。
S1401において、駆動可能量を計算する焦点距離情報を取得する。次にS1402において取得した焦点距離情報に応じた周辺減光量を推定する。推定の方法の例として、コサイン4乗則を用いた場合について説明する。下記式により像高ごとの光量変化を推測することが可能となる。
I=I0cos4θ(Z)
θ(Z)=arctan(Z/f)
ここで、I0は入射前の照度、Iは入射後の照度、θ(Z)は像高Zでの入射角、Zは像高、fは焦点距離を表している。周辺光量落ちの推定は上記の方法には限定しない。
次に、S1403において、駆動量判定閾値を取得し、S706以降の処理を行う。上記処理を全条件について繰り返すことで、防振駆動テーブルを作成する。
上述のように周辺光量補正データを所持しない場合についても、画質を担保しながら最大限のブレ補正の効果を得ることが可能となる。
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。上述した第1~第4の実施形態では、撮像装置本体1に装着されたレンズユニット2の周辺光量の低下により周辺画質が低下する例について説明した。第5の実施形態では、レンズユニット2の収差によるぼけに起因して周辺画質が低下する場合の例を説明する。
まず、レンズの収差によるぼけの補正について説明する。
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数(PSF)と呼ぶものであるが、これを画像ではぼけ成分と呼ぶ。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すものとする。また、カラー画像における色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違と言うことができる。また、横方向の色ズレも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれと言うことができる。
PSFをフーリエ変換して得られる光学伝達関数(OTF、Optical Transfer Function)は、収差の周波数成分情報であり、複素数で表される。OTFの絶対値、即ち振幅成分をMTF(Modulation Transfer Function)と呼び、位相成分をPTF(Phase Transfer Function)と呼ぶ。よって、MTF、PTFはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式(1)で表す。Re(OTF)、Im(OTF)は、それぞれOTFの実部、虚部を表す。
PTF=tan-1(Im(OTF)/Re(OTF)) …(1)
このように、撮像光学系のOTFは、画像の振幅成分と位相成分を劣化させ、劣化した画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。
振幅(MTF)の劣化と位相(PTF)の劣化を補正する方法として、撮像光学系のOTFの情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、この撮像光学系のOTFの情報を用いて画像の劣化を補正する処理を、画像回復処理または回復処理と呼ぶ。
ここで、画像回復処理の概要を示す。劣化した画像をg(x,y)、元の画像をf(x,y)、光学伝達関数を逆フーリエ変換したものであるPSFをh(x,y)としたとき、以下の式(2)が成り立つ。ただし、*はコンボリューションを示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y) …(2)
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式(3)のように周波数毎の積の形式になる。HはPSFをフーリエ変換したものであるのでOTFである。(u,v)は2次元周波数面での座標、即ち周波数を示す。
G(u,v)=H(u,v)・F(u,v) …(3)
撮影された劣化画像から元の画像を得るためには、以下のように両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v) …(4)
このF(u,v)を逆フーリエ変換して実空間に戻すことで、元の画像f(x,y)が回復像として得られる。
ここで、上記式(4)の1/Hを逆フーリエ変換したものをRとすると、以下の式(5)のように実空間での画像に対するデコンボリューション処理を行うことで同様に元の画像を得ることができる。
g(x,y)*R(x,y)=f(x,y) …(5)
このR(x,y)を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため上記のようにOTFの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
OTFは、ズーム位置の状態や絞り径の状態等の撮影状態に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
図15は、画像回復処理の概要を示すフローチャートである。まずS1501において、補正を実施する露光期間のレンズユニット2の状態情報を取得する。ここで必要な情報としては、レンズユニット2の収差特性が変化する、焦点距離情報や、撮影距離情報、絞り情報等が挙げられる。次にS1502において、S1501で取得した情報に基づいて、画像回復フィルタR(x,y)を選択する。
このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予めメモリ8に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておき、実際に画像回復工程で処理を実行する際に画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なOTFやPSFに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
次にS1503において、画像回復を実施する撮像装置本体1に応じた、画像回復の補正可能量を取得する。画像回復は上述の補正原理のとおり、補正することによりノイズの増加等の画質の劣化が目立つ場合がある。どの程度補正できるかは、一般的に、撮像素子6の特性や、撮像装置本体1の特性によっても異なる。また撮像素子6は、アナログまたはデジタル的に増感する仕組み(所謂ISO感度)を有しており、この設定値に応じてノイズ特性が変化する為、補正可能な画像回復量も異なる。これらの条件ごとに画像回復の補正可能量の情報を予めメモリ8に記録しておき、ISO感度等により変更する。
S1504において、S1503で算出した補正可能量に基づいて、実際に適用する補正量を算出する。ここで、その具体的な方法について、図16(a)及び図16(b)及び図17(a)~図17(c)を用いて説明する。
図16(a)は、式(4)における1/Hの絶対値の例を示す図であり、横軸が空間周波数、縦軸がゲインを示す。すなわち画像回復フィルタの周波数毎のゲイン特性を示した図である。このゲイン特性のなかで最大の値Gmaxをここではゲイン最大値と呼ぶ。
図16(b)は、画像回復処理による補正前後の振幅成分MTFの変化の例を示す図である。点線は補正前の振幅成分MTF、実線は補正後の振幅成分MTFを表す。
振幅成分MTFは、収差による画像劣化の振幅成分の周波数特性であり、図16(b)に示されるように、低周波側が高く、高周波側が低くなる。振幅成分MTFがゼロに近づくと、OTFの実部および虚部はゼロに近づき、撮影光学系で解像できる周波数を超えると実部および虚部は0となる。
図17(a)は、横軸に光軸中心からの距離(像高)、縦軸に各像高におけるMTFの平均値の例を示したグラフであり、M(h)は撮影時の光学系の特性を示している。ここでは、像高が高くなるにしたがってMTFの平均値が低下している例を示している。
図17(b)は、画像回復のゲイン最大値を示すグラフである。Fm(h)は、S1502で取得した画像回復フィルタのゲイン最大値のカーブである。このFm(h)は予めメモリ8に用意しておいてもよいし、S1502で取得する各種情報に基づいて生成してもよい。
βは、S1503で取得した補正可能量である。この場合の画像回復として、ゲイン最大値を補正可能量βに抑える必要があるため、実際に補正する場合のゲイン最大値を演算により算出する。その結果を適用した時のゲイン最大値をGm(h)とする。Gm(h)はシステムが許容するβまでに収まっていることが分る。
ある像高hにおける補正量K(h)は以下の式(6)で求められる。
K(h)=Gm(h)/Fm(h) …(6)
S1505では、式(5)に示すように画像回復フィルタR(x,y)を適用する。そして画像回復前の画像g(x,y)と画像回復後の画像f(x,y)を補正量K(h)による重みで合成することで、最終的な画像回復画像とする。
その結果、画像回復後のMTF平均値は図17(c)のような特性になる。
M´(h)は画像回復フィルタR(x,y)による画像回復後の特性を示している。また、M´´(h)は、補正量K(h)による最終的な画像回復後の特性を示し、システムが許容する範囲内では最大限に補正された結果を出力することが可能となる。
次に、第5の実施形態における撮像素子6の駆動可能量の算出処理について説明する。撮像素子6をシフトさせる像振れ補正では、像振れ補正が行われている状態で、収差によるぼけの影響で周辺の画質がどの程度劣化しているかを予測して撮像素子6の駆動量を決定しないと、上述のように周辺部分の画質が低下した撮影画像を出力してしまう可能性がある。一方で、特にレンズ交換型の撮像システムにおいて、すべてのレンズに対して画質が劣化した部分を出力しないように、一様に駆動可能量を設定するとブレ補正の効果が著しく少なくなってしまうという問題がある。そこでレンズユニット2と撮像装置本体1の組み合わせに応じて、撮像素子6の駆動可能量を求める。
図18は、本第5の実施形態における駆動可能量の算出処理を示すフローチャートである。
まずS1801において、撮像装置本体1における画像回復の補正可能量を取得する。具体例としては、S1503で取得したゲイン最大値の上限値である補正可能量βのような情報である。また補正可能量βがISO感度等に応じて変化する場合は、その条件も合わせて取得する。
次にS1802において、装着されたレンズユニット2の全領域の画像回復後のMTF情報を取得する。これは具体的には図17(c)で示したM´´(h)に相当する情報を取得することである。これは予めメモリ8に記録しておくことも可能であるが、S1502で画像回復フィルタを生成するために必要なOTFやPSFに関する情報をもとに画像回復後のMTF情報を生成、もしくは推測してもよい。
次にS1803において、駆動量判定閾値Mthをメモリ8から読み出す。ここで、駆動量判定閾値とは、画質の観点から許容できるMTF平均値の状態を示す閾値のことで、撮像装置本体1の特徴などに応じて予め設定しておくパラメータのことである。
レンズの収差によるボケの影響は撮像素子6の画素ピッチによって異なる。画素ピッチが大きい場合は目立たないような収差の量であっても、画素ピッチが小さくなると目立つ場合があるため、撮像素子6の特性に応じて許容できる閾値を設定する。例えば、レンズユニット2から駆動量判定閾値Mthに関する情報を取得するような場合、画素ピッチが小さいほど駆動量判定閾値Mthを大きくすることで、画素ピッチが小さい場合に目立つ収差の影響を低減することが可能である。
次にS1804で、S1801、S1802、S1803で取得した情報をもとに、防振駆動の駆動可能量を算出する。
図19は、横軸に像高、縦軸にMTF平均値を示した図である。ここで、M´´(h)は画像回復後のMTF平均値であり、Mthは駆動量判定閾値である。像高Z0はブレ補正しない状態、つまり撮像素子6の中心とレンズユニット2の光軸が一致した場合の撮像素子6の周辺部のうち、最周辺の像高である。
この例では駆動量判定閾値Mthを満たす像高はZ1までである。すなわち、防振のための撮像素子6の駆動可能量は、Z1-Z0になる。
これは駆動可能量算出の一例であるが、第1の実施形態に記載したように四隅の差を考慮し駆動可能量を算出してもよい。
このような駆動可能量は第1の実施形態と同様にISO感度、絞り、撮影距離、焦点距離の組み合わせ毎に計算し、図9で示した防振駆動テーブルに格納すればよいが、本実施形態では焦点距離毎に駆動可能量の最小値を設定する例を説明する。
図20は、本実施形態における防振駆動テーブルの例である。駆動可能量の計算は、ISO感度、絞り、撮影距離の組み合わせ毎に行い、それぞれの焦点距離の中で最小となる防振駆動量のみを焦点距離とセットで防振駆動テーブルに格納しておく。
こうすることで、撮影条件によっては防振駆動量が低減する場合はあるが、動画撮影時などで撮影条件が連続的に変化する場合に防振駆動量の変化による影響を低減することが可能となる。例えば、防振の駆動量が駆動可能量に突き当っていた時に、撮影条件の変化により駆動可能量が縮小した場合、駆動可能量の変化が画像ブレの原因になる場合がある。例えば本実施形態のように焦点距離によって駆動可能量は変え、他の条件によっては変えないようにすることで、動画記録中の防振駆動の連続性を維持することが可能である。
また、駆動可能量の算出は収差によるぼけによる画質劣化と、上述の周辺光量による画質劣化を両方考慮して算出することも可能である。その例を図21に示す。
まず、S2101では、図18で示した処理によりMTFによる駆動可能量Dmを取得する。
次にS2102では、第1の実施形態で説明したように周辺光量の特性による駆動可能量Dvを取得する。
次にS2103では駆動可能量DmとDvを比較し、小さい方をS2104とS2105においてそれぞれ駆動可能量として設定する。
このようにすることで、MTFによる画質と周辺光量による明るさを考慮したうえで最適な防振効果を得ることが可能となる。
また、撮像素子6から読み出した画像信号のうち、実際に記録する画像領域はさらに内側の領域である場合がある。例えば複数毎撮影した静止画を位置合わせしたのち合成する際に、位置合わせによるはみ出し部分をカットする目的で合成後の画像をクロップする場合がある。また、動画において記録するフレーム毎の画像を前後の画像の位置に合うようにずらすことで、さらなる防振効果を高めるような場合、これもはみ出す領域が出ないように画像をクロップすることがある。これらのクロップ量は、例えば元画像の80%の領域にするなど、予めその量が決められている場合がある。
このように撮像素子6から入力した画像信号のうち、実際に記録する画像の範囲が画像信号が示す画像の範囲よりも内側である場合、クロップするか否かで本発明における防振可能量を変えることができる。
図22(a)は、画像を内側80%の領域でクロップする場合の例である。実線で示した領域がクロップしない場合の画像領域であり、点線で示した領域がクロップする場合の画像領域の例である。
画像を内側80%でクロップするため、C2と画像中心C0の距離をD2とし、C1とC0の距離をD1とした場合、以下の式(7)が成り立つ。
D2×0.8=D1 …(7)
図22(b)は、像高とMTF評価値の関係を示した例であり、最大像高Z0はD2と同値である。画質の観点から許容できるMTF平均値を示した駆動量判定閾値Mthに対し、この例ではクロップしないときは像高Z1まで防振駆動させることができるが、クロップする場合は以下の式(8)で示されるZ2まで駆動しても、記録される画像は判定閾値Mthを満たすことになる。
Z2=Z1+(D2-D1) …(8)
このように本実施形態によれば、実際に記録する画像領域を使用することで最適な防振効果を得ることが可能となる。
<他の実施形態>
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:撮像装置本体、2:レンズユニット、3:撮影光学系、4:光軸、5:カメラシステム制御回路、6:撮像素子、7:画像処理部、8:メモリ、10:操作検出部、12:レンズシステム制御回路、13:レンズ駆動部、14:ブレ補正部、15:ブレ検出部、16:シャッタ機構

Claims (17)

  1. 検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第1の算出手段と、
    前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第2の算出手段と、を有し、
    前記第1の算出手段は、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする防振装置。
  2. 前記第2の算出手段により算出された駆動可能量を記憶する記憶手段を更に有することを特徴とする請求項1に記載の防振装置。
  3. 前記第2の算出手段は、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じて、ノイズが許容される範囲で光学特性に起因する画質劣化を補正した場合に、前記撮像素子の信号の読み出し領域の周辺部における、前記光学系の光軸からの最大像高における輝度が予め決められた第1の閾値となる、前記光軸からの前記撮像素子の第1の移動量と、前記撮像素子の信号の読み出し領域における、前記光学系の光軸からの最大像高における輝度と最小像高における輝度との差が予め決められた第2の閾値となる、前記光軸からの前記撮像素子の第2の移動量と、のうち、小さい方を駆動可能量とすることを特徴とする請求項1または2に記載の防振装置。
  4. 前記光学系の状態は、焦点距離と、撮影距離と、絞りの状態を含むことを特徴とする請求項1乃至3のいずれか1項に記載の防振装置。
  5. 前記光学系の状態は、更に、歪曲収差を含むことを特徴とする請求項4に記載の防振装置。
  6. 前記撮像装置の状態は、ISO感度を含むことを特徴とする請求項1乃至5のいずれか1項に記載の防振装置。
  7. 前記撮像装置の状態は、前記撮像素子から信号を読み出す領域の大きさを含むことを特徴とする請求項6に記載の防振装置。
  8. 第2の記憶手段から、前記光学系の光学特性情報を取得することを特徴とする請求項1乃至7のいずれか1項に記載の防振装置。
  9. 前記光学系の光学特性情報を、前記光学系から取得することを特徴とする請求項1に記載の防振装置。
  10. 前記光学系の光学特性情報を、コサイン4乗則を用いて推定することを特徴とする請求項1乃至7のいずれか1項に記載の防振装置。
  11. 前記光学特性情報は、周辺光量情報および光学伝達関数に係る情報の少なくとも一方であることを特徴とする請求項1乃至10のいずれか1項に記載の防振装置。
  12. 前記撮像装置の状態は、前記撮像素子の領域のうち画像が記録される領域の大きさを含むことを特徴とする請求項1乃至11のいずれか1項に記載の防振装置。
  13. 前記撮像装置の状態は、画素ピッチを含むことを特徴とする請求項1乃至12のいずれか1項に記載の防振装置。
  14. 請求項1に記載の防振装置と、
    前記撮像素子と、
    前記第1の算出手段により算出された駆動量に基づいて、前記撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動するブレ補正手段と
    を有することを特徴とする撮像装置。
  15. 第1の算出手段が、検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第1の算出工程と、
    第2の算出手段が、前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第2の算出工程と、を有し、
    前記第1の算出工程では、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする防振方法。
  16. コンピュータに、請求項1乃至13のいずれか1項に記載の防振装置の各手段として機能させるためのプログラム。
  17. 請求項16に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2019186261A 2018-11-15 2019-10-09 防振装置及び方法、及び撮像装置 Active JP7378260B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/680,835 US11202001B2 (en) 2018-11-15 2019-11-12 Image stabilization apparatus and method, and image capturing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018214850 2018-11-15
JP2018214850 2018-11-15

Publications (2)

Publication Number Publication Date
JP2020088850A JP2020088850A (ja) 2020-06-04
JP7378260B2 true JP7378260B2 (ja) 2023-11-13

Family

ID=70909214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186261A Active JP7378260B2 (ja) 2018-11-15 2019-10-09 防振装置及び方法、及び撮像装置

Country Status (1)

Country Link
JP (1) JP7378260B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069818A (ja) 2001-08-27 2003-03-07 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2006033760A (ja) 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像補正方法
JP2007114311A (ja) 2005-10-18 2007-05-10 Pentax Corp 像振れ補正装置及び撮像装置の像振れ補正方法
JP2010273245A (ja) 2009-05-25 2010-12-02 Sony Corp 撮像装置と振れ補正方法
JP2016045426A (ja) 2014-08-25 2016-04-04 キヤノン株式会社 撮像装置及びその制御方法
JP2017069706A (ja) 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
JP2019128362A (ja) 2018-01-19 2019-08-01 パナソニックIpマネジメント株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069818A (ja) 2001-08-27 2003-03-07 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2006033760A (ja) 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像補正方法
JP2007114311A (ja) 2005-10-18 2007-05-10 Pentax Corp 像振れ補正装置及び撮像装置の像振れ補正方法
JP2010273245A (ja) 2009-05-25 2010-12-02 Sony Corp 撮像装置と振れ補正方法
JP2016045426A (ja) 2014-08-25 2016-04-04 キヤノン株式会社 撮像装置及びその制御方法
JP2017069706A (ja) 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
JP2019128362A (ja) 2018-01-19 2019-08-01 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
JP2020088850A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP4875225B2 (ja) 立体撮像装置
JP5385462B2 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
JP5243666B2 (ja) 撮像装置、撮像装置本体およびシェーディング補正方法
US9911183B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
KR101226423B1 (ko) 화상 기록 및/또는 재생 장치의 제작을 위한 방법 및 그방법에 의해 얻은 장치
US11012633B2 (en) Image capturing apparatus, image capturing method, and image processing apparatus
JP7086591B2 (ja) 撮像装置およびその制御方法
US8542301B2 (en) Electronic image pickup apparatus including an image forming optical system having a mark
JP6300670B2 (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
US10735655B2 (en) Apparatus, method, and program for image processing
JP2012133194A (ja) 撮像装置
CN112135037B (zh) 稳定控制设备、摄像设备和稳定控制方法
JP7378260B2 (ja) 防振装置及び方法、及び撮像装置
US11202001B2 (en) Image stabilization apparatus and method, and image capturing apparatus
JP6606838B2 (ja) 撮像装置および撮像方法
US11095817B2 (en) Apparatus and method for image processing and storage medium for processing captured images
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP2021051165A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2023188044A1 (ja) 撮像装置およびその制御方法、および画像処理装置および方法
WO2023189456A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20230239572A1 (en) Image stabilization control apparatus, imaging apparatus, lens apparatus, and control method
JP2022108625A (ja) 撮像装置およびその制御方法、および画像処理装置および方法
JP2019169940A (ja) 撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラム
JP2020043475A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011180545A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231031

R151 Written notification of patent or utility model registration

Ref document number: 7378260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151