JP4311013B2 - ブレ補正カメラシステム及びブレ補正カメラ - Google Patents

ブレ補正カメラシステム及びブレ補正カメラ Download PDF

Info

Publication number
JP4311013B2
JP4311013B2 JP2002374644A JP2002374644A JP4311013B2 JP 4311013 B2 JP4311013 B2 JP 4311013B2 JP 2002374644 A JP2002374644 A JP 2002374644A JP 2002374644 A JP2002374644 A JP 2002374644A JP 4311013 B2 JP4311013 B2 JP 4311013B2
Authority
JP
Japan
Prior art keywords
image
point spread
spread function
camera
blur correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002374644A
Other languages
English (en)
Other versions
JP2004205799A (ja
Inventor
博之 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002374644A priority Critical patent/JP4311013B2/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to AU2003296127A priority patent/AU2003296127A1/en
Priority to CN200380107765.5A priority patent/CN1732406B/zh
Priority to US10/540,136 priority patent/US7711253B2/en
Priority to EP03786325.5A priority patent/EP1577705B1/en
Priority to EP18178218.6A priority patent/EP3404479A1/en
Priority to PCT/JP2003/016809 priority patent/WO2004059380A1/ja
Publication of JP2004205799A publication Critical patent/JP2004205799A/ja
Priority to US12/073,954 priority patent/US7596307B2/en
Application granted granted Critical
Publication of JP4311013B2 publication Critical patent/JP4311013B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラシステム及びブレ補正カメラに関するものである。
【0002】
【従来の技術】
(従来の技術1:光学的なブレ補正装置)
図8は、振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。この図を用いて光学的なブレ補正装置のメカニズムを説明する。
まず、カメラに加えられた振れを角速度センサ10により検出する。角速度センサ10は、通常コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ10の出力は、基準値演算部52へ送信される。
基準値演算部52は、角速度センサ10の出力より振れの基準値を演算する。
【0003】
その後、角速度センサ10からの振れ信号から基準値を減算し、積分部54へ送信する。
積分部54は、角速度の単位で表されている振れ信号を時間積分し、カメラの振れ角度に変換する。
目標駆動位置演算部56は、積分部54から送られてきた振れ角度情報にレンズの焦点距離などの情報を加味し、ブレ補正レンズ80を駆動するための目標駆動位置情報を演算する。
【0004】
この目標駆動位置情報に応じてブレ補正レンズ80を動かすために、駆動信号演算部58は、目標駆動位置情報とブレ補正レンズ80の位置情報との差をとり、コイル73へ駆動電流を流す。
【0005】
ブレ補正レンズ80を動かすためのアクチュエータは、ヨーク71、マグネット72、コイル73から構成されている。
コイル73は、ヨーク71とマグネット72により形成される磁気回路内に置かれており、コイル73に電流を流すと、フレミングの左手の法則により、アクチュエータに力が発生する。また、コイル73は、図8に示すように、ブレ補正レンズ80を収めている鏡筒82に取り付けられている。
ブレ補正レンズ80、及び、鏡筒82は、光軸Iに垂直な方向に動くことができるような構造となっているため、コイルに電流を流すことによりブレ補正レンズ80を光軸Iに直交する方向に駆動させることが可能となる。
【0006】
ブレ補正レンズ80の動きは、赤外線発光ダイオード(以下、IRED)74、スリット板75、スリット76、PSD(Position Sensitive Device)77により構成される光学的位置検出装置によりモニタしている。
IRED74が発光した光は、まずスリット76を通過することにより、光線の幅を絞られ、PSD77へ到達する。PSD77は、その受光面上の光の位置に応じた信号を出力する素子である。
【0007】
図8に示すとおり、スリット板75は、鏡筒82に取り付けられているため、ブレ補正レンズ80の動きがスリット76の動きとなり、PSD77の受光面上の光の動きとなる。従って、PSD77の受光面上の光の位置がブレ補正レンズ80の位置と等価となる。PSD77により検出された信号は、位置信号78としてフィードバックされる。
このような光学的なブレ補正装置は、主にカメラなどの撮影装置や双眼鏡などの光学装置に内蔵され、これらの装置が手持ちで使用されているときの使用者の手振れによる像ブレを補正するのに有効である。
【0008】
(従来の技術2:画像回復)
光学的なブレ補正装置の他に像ブレを補正する方法として、画像回復という方法がある。これは、ブレの情報を利用してブレを含む画像を修復して元の画像を得る手法である。以下、その原理について説明する。
今、(x,y)を画面上の位置座標とし、ブレのない時の画像(以下、元画像)をo(x,y)、ブレによって劣化した画像(以下、ブレ画像)をz(x,y)、ブレによって広がった点像の情報(以下、点像関数)をp(x,y)とすると、この3つは、次の関係を満たす。
【0009】
【数1】
Figure 0004311013
【0010】
ここで、*は、コンボリューション(畳み込み積分)演算を表すもので、具体的には、以下の式で表される。
【0011】
【数2】
Figure 0004311013
【0012】
図9は、数1,2を模式的に表した図である。
これをフーリエ変換して空間周波数(u,v)領域にすると、数1,2は、以下の式のようになる。
【0013】
【数3】
Figure 0004311013
【0014】
ここで、Z(u,v)、O(u,v)、P(u,v)は、それぞれz(x,y)、o(x,y)、p(x,y)のスペクトルである。また、数3において、P(u,v)は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像z(x,y)に加えて、何らかの方法により点像関数p(x,y)を知ることができれば、それぞれのスペクトルを算出し、数3を変形した以下の数4を利用することで、元画像のスペクトルO(u,v)を算出することができる。
【0015】
【数4】
Figure 0004311013
【0016】
数4において、1/P(u,v)は、特に逆フィルタと呼ばれている。数4により算出したスペクトルを逆フーリエ変換すれば、元画像o(x,y)を求めることができる。
【0017】
この原理を利用して、振れ検出センサの出力から点像関数p(x,y)を求め、ブレ画像を回復させる技術がこれまでに公知となっている。例えば、特許文献1〜特許文献3には、磁気テープに格納したブレ情報から画像回復を行う方法が記載されている。また、特許文献4には、ブレ情報の他、シャッタの開閉に伴う開口の変化をも考慮した方法が記載されている。
【0018】
【特許文献1】
特開平05−323444号公報
【特許文献2】
特開平06−118468号公報
【特許文献3】
特開平06−27512号公報
【特許文献4】
特開平07−226905号公報
【0019】
【発明が解決しようとする課題】
しかし、上述した従来の光学的なブレ補正装置及び画像回復には、以下に示す問題があった。
(光学的なブレ補正装置の問題)
前述のように、光学的なブレ補正装置は、ブレ補正レンズをアクチュエータで駆動する方式となっている。従って、アクチュエータにも電源を供給しなければならない。近年、デジタルカメラが急速に普及してきている。デジタルカメラは、その場で画像を確認できるという大きなメリットがある一方で、従来の銀塩カメラよりも電力の消費量が大きいという問題がある。そのため、ブレ補正機構にまで電力を供給するのはなかなか難しい。また、デジタルカメラは、小型化が進んでおり、十分な容量を持つ大きいバッテリーを搭載することも難しいとい。このように、光学的なブレ補正装置は、電力供給の観点からすると、特にデジタルカメラに搭載するには困難な点が多く、電力不足により光学的なブレ補正動作を行うことができない場合が多いという問題があった。
【0020】
また、角速度センサで検出した角速度を角度に変換するには、積分演算をする必要があるが、積分の際には、定数が必要になる。この定数は、角速度センサ静止時の出力を使用することが一般的であり、かつ正確に角度に変換するには、この静止時の出力を正確に知る必要がある。
【0021】
しかし、センサ静止時の出力値は、温度などの使用条件によって変わる(ドリフトする)ため、事前にその値を保持しておくことはできない。従って、実際にセンサが使用されるときに値を求めなければならないが、そのときには、使用者の手振れによって振動していることがほとんどである。よって、手振れの信号からセンサの静止時の出力値を求める必要が生じる。
【0022】
一般に人間の手振れは、2〜7Hz程度の周波数成分が支配的である。一方、角速度センサのドリフトの周波数成分は、手振れのそれよりも低く、概ね1Hz未満の成分が支配的である。そのため、センサ出力の低周波成分を抽出してセンサの静止時の出力としている場合が多い(以下、低周波成分を抽出したものを基準値と呼ぶ)。低周波成分を抽出するには、通常は、移動平均やローパスフィルタを用いるが、その遮断周波数を最適な値に設定することは、以下に示すように困難であった。
【0023】
図10は、ドリフト成分を含まない場合の角速度センサ出力,基準値の出力,像面での振れ量を示す図である。
図11は、ドリフト成分を含む場合の角速度センサ出力,基準値の出力,像面での振れ量を示す図である。
以下、図10及び図11を用いて、遮断周波数を設定するときの問題点について説明する。
図10(a)は、手振れによって振動しているときの角速度センサ出力とローパスフィルタによって演算した基準値の出力をグラフにしたものである。ここでは、手振れを正弦波としてあり、角速度センサ10の静止時の出力を0としてある。図には、2種類の基準値出力が描かれており、一方の基準値の遮断周波数は、他方のそれよりも低く設定されている。いずれの基準値も若干の振動が残っているが、遮断周波数の低いものの方が振幅は小さくなっている。
【0024】
図10(b)は、それぞれの基準値を利用してブレ補正を行ったときの像面での振れ量をグラフにしたものである。これをみると、遮断周波数の低い方を利用した方がブレ量は小さく、ブレ補正が良好に行われている。
以上の結果からすると、ブレ補正効果を高めるためには、ローパスフィルタの遮断周波数を下げた方がよいように見える。しかし、単に遮断周波数を下げればよいというものではない。
【0025】
前述のように、角速度センサ10の静止時の出力は、環境条件などにより変化する(ドリフトする)ことが多い。図11(a)は、その様子を示したものである。撮影者の手振れは、図10(a)と同等であると仮定しているが、角速度センサ10がドリフトしているため時間の経過とともに振動の中心がずれていってしまっている。図中には、図10(a)と同等のローパスフィルタで演算された基準値も示してある。一見すると基準値は、問題なく演算されているように見える。
【0026】
図11(b)は、図10(b)のように角速度センサ出力がドリフトしているときにブレ補正をかけたときの像面のブレ量を表す図である。手振れによる高周波の振動は、抑えられているものの、時間の経過とともにブレが大きくなっていることがわかる。これは、センサのドリフトの影響でセンサの静止時の出力と演算した基準値との間に所定のオフセットが加わってしまったためであり、遮断周波数の低い方が、ブレ量が大きい。従って、センサがドリフトすることを考えると、単に遮断周波数を下げればよいというものではない。
【0027】
このように、ドリフトの影響を避けたければ基準値を演算するローパスフィルタの遮断周波数を上げなければならないが、そうするとブレ補正をかけた後の像面の動きに高い周波数成分が残ってしまう。逆にブレ補正をかけた後の像面の動き(特に高周波成分)を抑えようとして遮断周波数を下げてしまうと、ドリフトの影響を大きく受けてしまう。このように、フィルタを使用している以上、基準値は、手振れ波形の影響やドリフトの影響を受けてしまう。これが検出誤差となり、ブレ補正を動作させても完全に像ブレを除去することができず、ブレが残ってしまうという問題があった。
【0028】
さらに、光学的なブレ補正装置では、ブレ補正動作のON/OFFを切り替えるスイッチが設けられている場合が多く、その場合、このスイッチをONにし忘れて撮影時にブレ補正動作しなかったために、像ブレをした画像が撮影されてしまうという問題もあった。
【0029】
(画像回復の課題)
数4による説明においては、画像回復による手法は、一見うまくいくように見える。しかし、以下に述べるような問題があった。
図12,図13は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図12(b)に示すように一軸(X軸)方向に一様に発生したものとする。
この点像分布関数の断面をとると、図13(a)のようになる。これをフーリエ変換したものが図13(b)であり、これが図12(a)に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が0となっているところが何カ所かある点である。これを逆フィルタにすると図13(c)に示すように、無限大となってしまうところが存在する。これを数4に適用すると、ある特定の空間周波数に関しては、以下に示す数5のようになってしまい、元画像のスペクトル値は不定となる。
【0030】
【数5】
Figure 0004311013
【0031】
伝達関数が0であるということは、ブレによって伝達されない(=情報が失われる)周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【0032】
【数6】
Figure 0004311013
【0033】
図13(d)は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数5のようにO(u,v)が不定となるところはなくなる。しかし、失われた周波数成分を回復させることができないことに変わりはない。
また、フィルタには、値が大きい部分がいくつか含まれているので、画像にノイズが含まれているとそのノイズ成分を増大させてしまう。そうすると、回復画像は、図12(c)に示すように縞模様が目立ってしまい、画質が低下してしまうという場合もあった。
この縞模様が発生するという問題は、ブレ量が大きい場合に顕著に現れる。
このように、光学的なブレ補正装置、画像回復技術ともにブレ補正効果の面において、それぞれ問題を抱えていた。
【0034】
本発明の課題は、光学的なブレ補正を動作させたときのブレ補正効果をより高くすることができ、また、光学的なブレ補正を動作させない場合であっても、ブレを回復することができるブレ補正カメラシステム及びブレ補正カメラを提供することである。
【0035】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項1の発明は、振動を検出して振動検出信号を出力する振動検出部(10)と、前記振動検出信号の低周波数成分を抽出することにより前記振動検出信号の基準値を演算する基準値演算部(52)と、前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系(80)と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部(150)と、前記基準値を用いた点像分布関数、及び、前記振動検出信号を用いた点像分布関数を演算可能な点像分布関数演算部(140)と、前記撮像部により撮像された画像に対して、前記ブレ補正光学系によるブレ補正動作をするとき前記基準値を用いた前記点像分布関数により画像回復を行い、前記ブレ補正光学系によるブレ補正動作をしないとき前記振動検出信号を用いた前記点像分布関数により画像回復を行い像ブレを補正する画像回復演算部(170)と、を備えるブレ補正カメラシステムである。
請求項2の発明は、請求項1に記載のブレ補正カメラシステムにおいて、前記基準値演算部は、ローパスフィルタに前記振動検出信号を入力することにより前記振動検出信号の基準値を演算すること、を特徴とするブレ補正カメラシステムである。
【0036】
請求項の発明は、請求項1又は請求項2に記載のブレ補正カメラシステムにおいて、前記点像分布関数演算部(140)による前記点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部(130)を備えること、を特徴とするブレ補正カメラシステムである。
【0037】
請求項の発明は、請求項に記載のブレ補正カメラシステムにおいて、前記点像分布関数演算切り替え部(130)は、前記ブレ補正光学系(80)によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねていること、を特徴とするブレ補正カメラシステムである。
【0040】
請求項の発明は、請求項1から請求項までのいずれか1項に記載のブレ補正カメラシステムにおいて、前記振動検出部(10)と、前記ブレ補正光学系(80)と、前記撮像部(150)と、前記点像分布関数演算部(140)と、前記基準値演算部(52)と、画像を記録する画像記録部(160)と、を備えたカメラ(200)と、前記画像回復演算部(170)を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置(230)と、を備えることを特徴とするブレ補正カメラシステムである。
【0041】
請求項の発明は、振動を検出して振動検出信号を出力する振動検出部(10)と、ローパスフィルタに前記振動検出信号を入力することにより前記振動検出信号の基準値を演算する基準値演算部(52)と、前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系(80)と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部(150)と、前記撮像部により撮像された画像を記録する画像記録部(160)と、前記ブレ補正光学系によるブレ補正動作をするとき前記基準値を用いて点像分布関数を演算し、前記ブレ補正光学系によるブレ補正動作をしないとき前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部(140)と、を備えるブレ補正カメラである。
【0042】
請求項の発明は、請求項に記載のブレ補正カメラにおいて、前記点像分布関数演算部(140)により演算された前記点像分布関数を前記画像記録部(160)又は通信手段(210,220)を用いて外部に出力する点像分布関数出力手段(160,210,220)を備えること、を特徴とするブレ補正カメラである。
【0043】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
(第1実施形態)
図1は、本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの第1実施形態を示す模式図である。
角速度センサ10は、カメラに印加された振動を角速度値で検出するセンサであり、角速度センサ10にかかるコリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する振動検出部である。角速度センサ10aは、図中X軸方向の角度ブレを検出するセンサであり、角速度センサ10bは、図中Y軸方向の角度ブレを検出するセンサである。このように、角速度センサ10a,10bを互いに異なる軸方向に配置することにより、カメラの振動を2次元で検出することが可能となる。
角速度センサ10により出力された電圧信号は、増幅部20に送信される。なお、角速度センサ10は、後述の電源供給部110より電源が供給されている間のみ、角速度の検出が可能となる。
【0044】
増幅部20は、角速度センサ10の出力を増幅する増幅部である。一般的に角速度センサ10からの出力は、小さいため、そのままA/D変換器30によってデジタル化してマイコン90内で処理しようとしても、角速度値の分解能が低すぎ(1ビットあたりの角速度値が大きすぎ)て正確な振動検出をすることができず、ブレ補正の精度を上げることができない。そこで、A/D変換器30に入力する前に角速度信号を増幅しておく。そうすると、マイコン90内での角速度値の分解能を上げる(1ビットあたりの角速度値を小さくする)ことができ、ブレ補正の精度を上げることができる。
【0045】
増幅部20には、角速度センサ10a,10bにそれぞれ対応して増幅部20a,20bの2つが設けられている。また、ここでは、信号の増幅をするだけではなく、センサ出力に含まれる高周波ノイズを低減させることを目的とした、ローパスフィルタを付加してもよい。
増幅部20により増幅した角速度信号(以下、振れ検出信号)は、A/D変換器30へ送信される。
【0046】
A/D変換器30,40は、アナログ信号をデジタル信号に変換する変換器である。本実施形態では、A/D変換器30a,30bと、A/D変換器40a,40bとが設けられている。
A/D変換器30a,30bは、増幅部20から送られてきたアナログの振れ検出信号を、デジタル信号に変換する変換器である。振れ検出信号をデジタル信号に変換することで、マイコン90内での演算処理が可能となる。ここで変換された振れ検出信号は、駆動信号演算部50a,50bに入力される。
A/D変換器40a,40bは、駆動部70から送られてきたブレ補正レンズ80の位置情報(アナログ信号)をデジタル信号に変換する変換器である。変換されたブレ補正レンズ位置情報は、駆動信号演算部50a,50bに送信される。
【0047】
なお、本実施形態では、A/D変換器30,40は、マイコン90に内蔵されているものを使用することを前提にしているが、この例に限らず、マイコン90とは別体のA/D変換器を用いてもよい。
また、本実施形態では、増幅部20a,20bに対応するようにA/D変換器30a,30bの2つのA/D変換器を設けているが、A/D変換器を1つにして変換動作を時間的に振り分けるようにしてもよい。例えば、増幅部20aの信号を変換した後、増幅部20bの信号を変換し、その後増幅部20a,増幅部20b,増幅部20a・・・と変換を繰り返すようにしてもよい。これは、A/D変換器40a,40bについても同様である。
【0048】
駆動信号演算部50は、A/D変換器30から送信されてきた振れ検出信号とA/D変換器40から送信されてきたブレ補正レンズ位置情報とから、ブレ補正レンズ80を駆動するための駆動信号を演算し、駆動信号を出力する演算部である。まず、振れ検出信号から基準値を演算し、その基準値を振れ検出信号値から減算する。それを積分することにより、角速度信号を角変位信号へと変換し、これに図示しない結像光学系全体の焦点距離などの諸条件を加味してブレ補正レンズ80の目標駆動位置を演算する。
また、駆動信号演算部50は、演算した目標駆動位置情報と駆動部70からA/D変換器40を介して送られてくるブレ補正レンズ80の位置情報から駆動信号を演算する。
【0049】
本実施形態では、駆動信号演算部50a,50bの2つの駆動信号演算部が設けられている。しかし、これを1つにして駆動信号演算動作を時間的に振り分けるようにしてもよい。例えば、X軸方向の信号の駆動信号を演算した後、Y軸方向の信号の駆動信号を演算し、その後X,Y,X,Y・・・と交互に駆動信号を演算するようにしてもよい。
【0050】
D/A変換器60は、駆動信号算部50で演算された駆動信号(デジタル信号)をアナログ信号に変換するためのD/A変換器である。変換されたアナログ信号は、駆動部70に送信される。
なお、本実施形態では、D/A変換器60は、マイコン90に内蔵されているものを使用することを前提にしているが、これに限らず、マイコン90とは別体のD/A変換器を用いてもよい。
また、本実施形態では、D/A変換器60a,60bの2つD/A変換器が設けられているが、D/A変換器を1つにして、変換動作を時間的に振り分けるようにしてもよい。例えば、X軸方向の信号を変換した後、Y軸方向の信号を変換し、その後X,Y,X,Y・・・と変換するようにしてもよい。
【0051】
駆動部70は、D/A変換器60から送信されてきた駆動信号(アナログ信号)を基に、ブレ補正レンズ80を駆動する駆動部である。駆動部70は、ブレ補正レンズ80を駆動するためのアクチュエータや、ブレ補正レンズ80の位置を検出する位置検出センサ等を有している。位置検出センサの出力は、A/D変換器40を経由して駆動信号演算部50に送信される。
ブレ補正レンズ80を2次元方向で駆動する必要があるため、この駆動部70は、駆動部70a,70bの2つ設ける必要がある。
【0052】
ブレ補正レンズ80は、撮影装置のレンズ鏡筒190に内蔵された図示しない結像光学系の一部であり、光軸Iと略直交する平面内を動くことができる単レンズ又は複数枚のレンズより構成されるブレ補正光学系である。ブレ補正レンズ80は、駆動部70によって光軸Iと略直交する方向に駆動され、結像光学系の光軸Iを偏向させる。
【0053】
写真等の像のブレは、手振れ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。しかし、図1に示すようなブレ補正カメラにおいては、角速度センサ10などの振動検出センサが内蔵されており、その振動検出センサにより、カメラに加えられた振動を検出することができる。そして、カメラに加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きが止まるようにブレ補正レンズ80を動かすことによって、結像面上の像の動き、すなわち像ブレを補正することができる。
【0054】
マイコン90は、A/D変換器30,40、駆動信号演算部50、D/A変換器60等が組み込まれているマイコンである。ここで説明した動作のほかに、不図示のオートフォーカス駆動などの制御も、このマイコン90が行うようにしてもよい。
【0055】
半押しタイマ100は、半押しスイッチSW1がONとなったと同時にONとなり、半押しスイッチSW1がONの間は、ONのままであり、また、半押しスイッチSW1がOFFとなってからも、一定時間は、ONのままとなっているタイマである。この半押しタイマ100は、ONと同時にカウントを開始し、ONの間は、カウントを継続する。
【0056】
電源供給部110は、カメラの各部、ここでは、角速度センサ10に電源を供給する部分であり、カメラの半押タイマ100がONの間、角速度センサ10を始め、カメラシステム内で電源が必要とされるところに電源を供給し続ける。また、半押しタイマ100がOFFのとき、電源供給部110は、角速度センサ10等への電源の供給を停止する。従って、カメラの半押しタイマ100がONの間に限り、角速度センサ10によるカメラの振動検出が可能となる。
【0057】
露光時間制御部120は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から、イメージセンサへの露光時間を制御する部分である。露光時間情報や露光の開始及び終了のタイミング情報は、点像関数演算部140に送信される。
【0058】
ブレ補正動作切り替えスイッチ(VRSW)130は、光学的なブレ補正動作のON/OFFを切り替えるスイッチであり、レンズ鏡筒190の外周部に設けられている。VRSW130がONの場合は、ブレ補正レンズ80を駆動させて光学的なブレ補正動作を行う。一方、VRSW130がOFFの場合は、ブレ補正レンズ80の駆動を停止し、光学的なブレ補正動作は行わない。VRSW130の設定状態は、点像関数演算部140に送信される。
【0059】
点像関数演算部140は、駆動信号演算部50、露光時間制御部120から得た情報を基に露光中の点像関数(点像分布関数)を演算する点像分布関数演算部である。本実施形態における点像関数演算部140は、VRSW130の設定状態に応じて演算方法を以下のように変更する。
【0060】
(光学的なブレ補正動作ONの場合)
光学的なブレ補正動作ONの場合には、駆動信号演算部50内で演算された基準値と露光時間制御部120から得た露光タイミング情報に基づいて点像関数を演算する。
光学的なブレ補正動作ONの場合には、ブレ補正レンズ80による補正が完全であれば点像関数は、一点となるが、実際のブレ補正動作は、完全でないため、点像関数は、一点にはならない。つまり、ブレ補正レンズ80によって補正しきれないブレ(ブレ補正残差)が残る。点像関数演算部140により算出する点像関数は、ブレ補正レンズ80で補正しきれずに像面に残ったブレ補正残差を画像処理にて補正するためのものである。
点像関数演算部140の詳細な説明は、後に行う。
【0061】
(光学的なブレ補正動作OFFの場合)
光学的なブレ補正動作OFFの場合には、駆動信号演算部50内で演算された角変位信号、及び、露光時間制御部120から得た露光タイミング情報に基づいて点像関数を演算する。
光学的なブレ補正動作OFFの場合には、カメラに加えられた振動がそのまま像ブレとなる。本実施形態では、角速度センサ10の出力を利用して点像関数を演算することにより、ブレ補正レンズ80を駆動しなかった場合でも画像回復によって像ブレを軽減することが可能となる。
光学的なブレ補正動作ON/OFFいずれの場合であっても、点像関数演算部140において演算された点像関数は、画像回復演算部170へ送信される。
【0062】
イメージセンサ150は、不図示の結像光学系によって結像された画像を光電変換して撮像する撮像部である。イメージセンサ150は、CCD(Charge Coupled Devices)タイプでもC−MOS(Complementary Metal Oxide Semiconductor)タイプでもよい。
【0063】
画像保存部160は、イメージセンサ150で得た画像を保存しておく画像記録部である。保存したデータは、必要に応じて画像回復演算部170に送信される。
また、画像保存部160は、メモリカード等の外部記憶媒体に画像等のデータを保存することもできる。
なお、本実施形態における画像保存部160は、マイコン90とは別に設けているが、マイコン90内に組み込んでもよい。
【0064】
画像回復演算部170は、画像保存部160から送られてきた画像データと点像関数演算部140から送られてきた点像関数情報とから画像に含まれるブレを取り除く画像回復演算を行う部分である。本実施形態では、画像回復には、数6に示したウィナーフィルタを使用している。
なお、本実施形態における画像回復演算部170は、マイコン90とは別に設けているが、マイコン90内に組み込んでもよい。
【0065】
モニタ180は、撮影者が撮影した画像、及び、画像回復した後の画像等を確認する表示部である。
カメラボディ200は、撮影部を有し、レンズ鏡筒190を交換可能な一眼レフカメラのカメラ本体である。
【0066】
半押しスイッチSW1は、不図示のレリーズボタンの半押し動作に連動してONとなるスイッチである。この半押しスイッチSW1がONとなることにより、不図示の測光部による測光演算、オートフォーカス駆動部によるオートフォーカス駆動など一連の撮影準備動作を開始する。また、半押しタイマ100がOFFであった場合には、この半押しスイッチSW1のONに同期して半押しタイマ100がONとなる。
【0067】
全押しスイッチSW2は、前記レリーズボタンを更に押し込む全押し動作に連動してONとなるスイッチである。このスイッチがONとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【0068】
図2は、本実施形態におけるカメラの動作の流れを示すフローチャートである。
以下、図2に示したフローチャートに従い、本実施形態におけるカメラの動作の流れについて説明する。
なお、これ以降に説明する内容は、X方向Y方向ともに共通の内容であるため、特に方向に関しては、明記せずに説明を行う。
ステップ(以下、Sとする)10では、半押しスイッチSW1がONとなっているか否かを判定する。半押しスイッチSW1がONならばS20へ進み、半押しスイッチSW1がOFFならばS140に進む。
【0069】
S20では、カウンタTsw1をリセットし、カウント値を0とする。カウンタTsw1は、半押しスイッチSW1がOFFになってからの経過時間を計測するためのカウンタで、カウント値は整数である。このカウンタは、半押しスイッチSW1がONの間は0のままで、半押しスイッチSW1がOFFで、かつ半押しタイマ100がONの間のみ動作する。
【0070】
S30では、半押しタイマ100がOFFであるか否かを判定する。半押しタイマ100がOFFであればS40へ進み、半押しタイマ100がONであればS170へ進む。
S40では、カウンタtをリセットし、カウント値を0とする。カウンタtは、半押しタイマ100がONとなっている時間を計測するためのカウンタである。このカウンタは、整数値カウンタであり、半押しタイマ100がONとなったと同時にカウント動作を開始し、半押しタイマ100がONの間は、カウント動作を続ける。
【0071】
S50では、半押しタイマ100をONにする。
S60では、角速度センサ10をONとし、振動の検出を開始する。この他、A/D変換器30による変換動作もここで開始される。
S70では、角速度センサ10からの出力に基づいて基準値の演算を開始する。
S80では、ブレ補正レンズ80を駆動するための駆動信号の演算を開始する。
S90では、VRSW130がONに設定されているか否かを判定する。VRSW130がONに設定されている場合は、ブレ補正レンズ80を駆動させるためにS100に進む。一方、VRSW130がOFFに設定されている場合は、S130へ進む。
【0072】
S100では、ブレ補正レンズ80の駆動を開始する。
S110では、露光動作、画像回復動作を行う。この動作の詳細については、後に図4を用いて説明する。
S120では、半押しタイマ100のカウンタtを1つ進める。
S130では、ブレ補正レンズ80の駆動を停止する。なお、このステップに進んだ時点でブレ補正レンズ80の駆動が既に停止していた場合は、そのまま停止状態を継続する。
【0073】
S140では、半押しタイマ100がONであるか否かを判定する。半押しタイマ100がONならばS150へ進み、半押しタイマ100がOFFならばS10へ戻り、半押しスイッチSW1の検出を続行する。
S150では、このステップに進んだ時点では、カメラは半押しスイッチSW1がOFFで半押しタイマ100がONの状態になっている。この状態が継続している時間を計測するため、カウンタTsw1を1つ進める。
【0074】
S160では、カウンタTsw1の値がしきい値T_SW1よりも小さいか否かを判定する。ここで、しきい値T_SW1は、カウンタTsw1の上限を決めるための定数で、半押しスイッチSW1がOFFとなってから半押しタイマ100がOFFとなるまでの時間を決めるものである。
カウンタTsw1がしきい値T_SW1に満たない場合、すなわち肯定判定の場合は、半押しタイマ100はOFFとせず、S170に進む。一方、カウンタTsw1がこのしきい値T_SW1と等しくなった場合、すなわちこのステップで否定判定となった場合は、S220に進み、半押しタイマ100をOFFにする処理、および半押しタイマ100がOFFになったときに伴う処理を行う。
【0075】
S170では、角速度センサ10がONの状態を継続し、振れの検出を行う。また、A/D変換器30による変換動作も継続する。
S180では、基準値の演算を継続する。
S190では、角速度センサ10の出力とS180で演算した基準値からブレ補正レンズ80を駆動するための駆動信号の演算を継続する。
S200では、VRSW130がONに設定されているか否かを判定する。VRSW130がONに設定されている場合は、ブレ補正レンズ80の駆動を継続させるためにS210に進む。VRSW130がOFFに設定されている場合は、S130へ進む。
【0076】
S210では、ブレ補正レンズ80の駆動を継続する。
S220では、ブレ補正レンズ80の駆動を停止する。
S230では、基準値の演算を停止する。
S240では、角速度センサ10への電源の供給をストップし、角速度センサ10をOFFとする。
S250では、半押しタイマ100をOFFにしてS10に戻り、半押しスイッチSW1の状態検出を行う。
【0077】
図3は、図1の駆動信号演算部50、及び、画像回復を行うための各演算部の構成を示す図である。
基準値演算部52は、A/D変換器30より送信されてきたセンサ出力信号から、駆動信号演算のための基準値を演算する部分である。通常の振れでの基準値は、角速度センサ10が完全に静止している状態での出力(以下、ゼロ出力)値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。従って、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。
基準値演算の一例を以下に示す。
【0078】
【数7】
Figure 0004311013
【0079】
ここで、ωは、振れ検出信号であり、ω0 は、振れの基準値である。また、これらの変数に付いているサフィックスtは、経過時間(サンプリング:整数値)を表す変数である。この数7は、振れ検出信号の移動平均を表すものである。
角速度センサ10のゼロ出力信号の周波数は、人間の手振れのそれに比べるとずっと低い。よって、基準値は、振れ検出信号の低周波成分を抽出すればよい。そこで、振れ検出信号、すなわち手振れの移動平均を演算して手振れ検出信号の基準値を演算している。そして、なるべく低い周波数成分のみを抽出するため、移動平均に使用するデータの数を多くしている。
【0080】
振れの基準値は、角速度センサ10のゼロ出力値に近い値であることが望ましく、ゼロ出力値と基準値とに相違がある場合は、それがブレ補正レンズ80で補正しきれないブレとして画像に残ってしまう。
なお、基準値の演算は、数7のような移動平均に限らず、FIRフィルタやIIRフィルタなどのローパスフィルタを用いてもよい。
【0081】
積分演算部54は、振れ検出信号(角速度)を積分して振れ角度情報に変換し、さらにブレ補正レンズの目標駆動位置を演算する演算部である。積分演算部54が行う演算の一例を以下に示す。
【0082】
【数8】
Figure 0004311013
【0083】
数8中の各記号は、θ(t):目標駆動位置,ω(t):振れ検出信号,ω0 (t):基準値,t:時間(整数値)であり、Cは、レンズの焦点距離等の条件によって決まる定数である。
【0084】
駆動信号算出部58は、積分演算部54で演算した目標駆動位置と駆動部70からA/D変換器40を経由して送信されてきたブレ補正レンズ80の位置から、ブレ補正レンズ80を駆動するための信号を算出する部分である。
駆動信号の演算は、目標駆動位置とブレ補正レンズ80の位置との偏差を求め、偏差に比例する項、偏差の積分に比例する項、偏差の微分に比例する項を加算して駆動信号を演算するPID制御が一般的である。なお、駆動信号の演算方法は、PID制御に限らず、他の方法でもよい。
【0085】
信号流れ制御部59は、VRSW130の状態により、点像関数演算部140へ送信するデータを切り替える部分である。VRSW130がONの状態では、基準値演算部52により演算された基準値を点像関数演算部140へ送信する。一方、VRSW130がOFFの状態では、積分演算部54から出力された目標駆動位置信号を点像関数演算部140へ送信する。
【0086】
点像関数演算部140では、信号流れ制御部59から送信されてきた基準値、または、振れ検出信号を用いて露光中の点像関数を演算する。ここで、点像関数の演算に基準値を用いるか、振れ検出信号を用いるかは、先にも述べたように、VRSW130がONしているか否か、すなわち、光学的なブレ補正動作がONか否かにより変わる。
【0087】
(光学的なブレ補正動作ONの場合)
光学的なブレ補正動作ONの場合、図10,11において説明したように、光学的なブレ補正装置でブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう(ブレ補正残差が発生する)場合がある。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そのため、この点像関数演算部140では、基準値を基にブレ補正残差の点像関数を算出する。ここで算出した点像関数は、後述の画像回復演算部170に送信される。画像回復演算部170は、この点像関数を基に画像回復演算を行い、ブレ補正レンズ80で補正しきれなかった分を補うようにブレを補正する。
【0088】
(光学的なブレ補正動作OFFの場合)
光学的なブレ補正動作OFFの場合には、ブレ補正レンズ80を駆動しないので、カメラの振動によるブレは、全く軽減されることはない。しかし、図1に示すカメラは、角速度センサ10を内蔵し、カメラに加えられる信号を検出しているので、それを利用することにより点像関数を演算する。ここで、算出した点像関数は、画像回復演算部170に送信され、画像回復演算に用いられる。
このように、光学的なブレ補正動作OFFの場合には、角速度センサ10の出力を用いて点像関数を演算することにより、バッテリー不足やVRSW130の入れ忘れなどでブレ補正レンズ80を駆動しなかった場合でも、画像回復処理によってブレのない画像を得ることが可能となる。
【0089】
画像回復では、先に図13で説明したように、ブレが大きくなるほど伝達されない周波数成分が増えるため、画像の回復が難しくなる。従来の例では、光学的なブレ補正装置を持たないカメラに角速度センサを内蔵し、センサ出力から点像関数を求めて画像回復を行うので、画像のブレが大きくなってしまい、前述の理由により画像回復をしても画質が改善されなかったりするという問題があった。
【0090】
しかし、本実施形態では、ブレ補正レンズ80による光学的なブレ補正装置と組み合わせ、まず光学的なブレ補正装置により画像のブレをある程度軽減し、その後に画像回復を行うようにした。
図5は、本実施形態における画像回復を説明する図である。
図5(a),(b),(c),(d)にそれぞれ示した点像関数,空間周波数伝達関数,逆フィルタ,ウィナーフィルタと、図13に示した従来のものと比較すると、図5(b)の空間周波数伝達関数が0になっている点が図13(b)のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分が減少していることを表しており、画像回復を効果的に行うことができることを示している。
ここで、画像回復を行うための点像関数を求めるため演算例を示す。
まず、基準値の総平均値を求める。
【0091】
【数9】
Figure 0004311013
【0092】
ここで、Nは、平均の演算に使用した基準値の数(=時間)であり、例えば基準値演算のサンプリング周波数が1kHzの時、1秒分の基準値の平均をとる場合は、N=1000となる。ここでは、全押しスイッチがONとなった時間から1秒〜数秒程度前までのデータを使用する。
次に、この平均値を使用して、露光時間の間だけ基準値の積分を行う。
【0093】
【数10】
Figure 0004311013
【0094】
これらの演算をそれぞれX方向、Y方向について行い、それらをX−Y平面に展開することにより、点像分布関数が得られる。
なお、以上の点像関数の演算手法は、点像関数演算の一例であり、演算には、他の方法を利用してもよい。
【0095】
図4は、本実施形態におけるカメラの露光動作、画像回復動作の詳細を示すフローチャートであり、図2におけるS110の動作を示している。
S500では、全押しスイッチSW2がONか否かを判定する。全押しスイッチSW2がONの場合は、S510へ進み、全押しスイッチSW2がOFFの場合は、S520へ進む。
S510では、露光開始の処理が済んでいるか否かを判定する。露光開始処理が済んでいる場合は、S520へ進み、露光開始処理が済んでいない場合は、S530へ進む。全押しスイッチSW2は、露光動作のきっかけとなるスイッチである。このスイッチがONとなったときに露光が開始されていなければここで露光を開始し、既に露光が開始されていれば露光の制御を行うようにする。
【0096】
S520では、露光中であるか否かを判定する。露光中であればS540へ進み、露光中でなければS570へ進む。
S530では、不図示のミラーのアップ、シャッタを開ける等の露光開始のための処理を行う。
S540では、VRSW130がONになっているか否かを判定する。VRSW130がONとなっていればS550へ進み、VRSW130がOFFであればS560へ進む。
【0097】
S550では、基準値を積分する。これは、光学的なブレ補正動作によって補正しきれなかった像のブレを演算するものと等価である。積分した値は、メモリなどに蓄積しておき、露光後の点像関数の演算に利用する。
S560では、目標駆動位置信号を読み込み、メモリなどに蓄積しておく。これを利用して露光終了後に点像関数の演算を行う。
S570では、露光を終了させるための処理が完了しているか否かを判定する。処理が完了している場合には、S590へ進み、処理が完了していない場合には、S580へ進む。
S580では、ミラーのダウン、シャッタを閉じる等の露光終了のための処理を行う。
S590では、点像関数の演算が終了しているか否かを判定する。点像関数の演算が終了していればS610へ進み、点像関数の演算が終了していなければS600へ進む。
【0098】
S600では、点像関数の演算を開始もしくは継続する。このステップに来た時点で点像関数の演算が開始されていなければ演算を開始し、既に演算が開始されていたらその演算を継続する。
S610では、画像回復の演算が終了しているか否かを判定する。画像回復の演算が終了していればS120へ進み、画像回復の演算が終了していなければS620へ進む。
S620では、画像回復の演算を開始もしくは継続する。このステップに来た時点で画像回復の演算が開始されていなければ演算を開始し、既に画像回復の演算が開始されていたらその演算を継続する。
【0099】
先に示した従来の技術では、図12(a)及び図12(b)に示した情報から画像回復しようとしたため、図12(c)のように縞模様が発生してしまい、画像そのものは、ある程度回復しても画質が悪化してしまうという問題があった。この縞模様が発生するという問題は、ブレ量が大きい場合に顕著に現れるが、ブレ量が小さければそれほど大きな問題にはならない。
図6は、図12と同様、X軸方向に一様にブレが発生した場合であって、図12よりもブレ量が小さい場合を想定した図である。
この点像分布関数の断面をとると、図5(a)のようになる。これをフーリエ変換したものが図5(b)であり、これが図6(a)に示すブレの空間周波数伝達関数である。図5(b)と図13(b)とを比較すると、図5(b)の方が伝達関数=0となる点が少なくなっていることがわかる。つまり、ブレが少ないと数5のように値が不定となる状況が発生する箇所が少なくなる分、画像回復も容易になる。この状況で回復を行った結果の一例が図6(c)であるが、この場合、画質の低下は、それほど顕著ではなくなる。
【0100】
本実施形態では、光学的なブレ補正装置と組み合わせることにより、画像回復に使用する画像と点像関数は、図12に示した場合と同じだけカメラが振れた場合であっても、それぞれ図6(a)及び図6(b)に示すようになり、図12(a)及び図12(b)に比べてブレ量が少なくなっている。
これらの画像を使って画像回復演算を行うと、図6(c)のようになり、画像の回復を行うことができるとともに画質の悪化を防ぐことができる。
以上のように、本実施形態によれば、光学的なブレ補正動作を行う場合は、基準値出力から点像関数を演算し、光学的なブレ補正装置と画像回復とを組み合わせて利用するので、ブレ補正レンズ80で補正しきれなかった分を画像回復処理によって補うことができ、ブレ補正効果をさらに高めることができる。
【0101】
また、光学的なブレ補正動作を行わない場合は、角速度センサ10の出力から点像関数を演算し、撮影後の画像回復処理によってブレを軽減することができる。したがって、バッテリー不足、スイッチの入れ忘れなど、何らかの障害によりブレ補正レンズ80が動作しない場合であっても、画像回復処理によってブレを軽減させることができる。
【0102】
(第2実施形態)
第1実施形態では、画像回復演算部は、カメラに内蔵されていた。しかし、現在のデジタル写真の用途から考えると、後からパソコン等により処理することが好ましい場合もある。第2実施形態は、第1実施形態における画像回復演算部170に相当する機能を、パソコン等に搭載されるアプリケーションソフトに組み込むようにした形態である。
【0103】
図7は、第2実施形態における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。
第2実施形態の説明においては、図1と共通する部分の説明は、適宜省略する。
本実施形態では、カメラ内で画像回復演算を行うのではなく、画像と点像関数をパソコン等に転送し、パソコン等により画像回復を行うようにしている。従って、画像回復演算部170bは、カメラに内蔵されず、また画像保存部160と点像関数演算部140は、接続コネクタ210と接続されている。
【0104】
接続コネクタ210は、画像保存部160に保存された画像と、点像関数演算部140で演算された点像関数とをカメラ外部に送信するためのコネクタである。接続コネクタ210には、接続ケーブル220が接続可能な構成になっており、接続ケーブル220を介してパソコンなどにデータを転送することができる。
【0105】
接続ケーブル220は、カメラボディ200の接続コネクタ210とパソコン230の通信ポートとを接続するケーブルであり、このケーブルを介してカメラとパソコンとの間でデータの送受信を行う。
なお、接続コネクタ210及び接続ケーブル220からなる通信手段は、例えば、RS−232C、USB、パラレルポート、IEEE1394等どのような規格を用いてもよいが、パソコン230側の対応する規格に併せて、複数種類を用意してもよい。
【0106】
パソコン230は、ディスプレイ、通信ポート等を備えた通常のコンピュータであり、別途供給される画像処理ソフトを組み込む(インストール)することにより、本実施形態における外部装置として利用可能となる。パソコン230は、接続ケーブル220によりカメラボディ200と接続されており、接続ケーブル220を介してカメラボディ200と通信を行うことにより、撮影した画像の表示や処理を行う。
【0107】
画像処理ソフト240は、接続ケーブル220を介してカメラボディ200から画像データなどをパソコンに転送して入力するデータ入力部(データ入力手順)240aを含む他、パソコン側からカメラの設定などを行うことができるプログラムである。画像処理ソフト240は、CD−ROM等の媒体に格納されており、パソコンなどにインストールして使用する。
また、画像処理ソフト240には、点像関数を読み込み、画像データと点像関数から画像回復演算を行う画像回復演算部170b(画像回復演算手順)も含まれている。したがって、画像処理ソフト240をパソコン230上で実行することにより、パソコン230上で画像回復処理を行うことができるようになる。
パソコン230上で画像回復処理を行うようにすれば、その効果を確認しながら処理を行うことができ、処理後の結果が気に入らない場合には、処理をキャンセルすることもできる。また、画像回復処理の効き具合を調整してブレ量を調整することもできる。
【0108】
本実施形態によれば、画像回復演算部170bを外部装置であるパソコンなどに搭載することにより、カメラ内のマイコンよりも演算能力が勝るパソコンで演算させることができ、処理を高速に行うことができると共に、カメラの消費電力を抑えることができる。また、パソコンのディスプレイを使用することで、より効率よく、かつ詳細に画像回復の結果を確認することができる。
特に、光学的なブレ補正動作を行わない場合には、画像回復後にかえって画質の劣化を生じてしまう場合があるが、本実施形態によれば、画像回復後の結果を十分に確認することができるので、より確実に高画質な画像を得ることができる。
【0109】
(変形形態)
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
例えば、各実施形態において、画像回復には、数6に示したウィナーフィルタを使用する例を示したが、これに限らず他の手法を用いてもよい。
【0110】
また、各実施形態において、カメラは、一眼レフカメラである例を示したが、これに限らず、例えば、コンパクトカメラのような、レンズ非交換式でもよい。
【0111】
さらに、第2実施形態において、接続ケーブル220を介して点像関数等をパソコン230へ伝える例を示したが、これに限らず、例えば、記憶媒体を介して伝えるようにしてもよいし、無線通信により伝えるようにしてもよい。
【0112】
さらにまた、第2実施形態において、一般的なパソコンを利用して画像回復を行うようにした例を示したが、これに限らず、例えば、専用の画像処理装置等、他の外部装置であってもよい。
【0113】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
(1)像ブレを補正するブレ補正光学系と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、撮像部により撮像された画像に対して点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレ補正光学系を用いた光学的なブレ補正を行うか否かに関わらず、画像回復を行うことができる。
【0114】
(2)点像分布関数演算部による点像分布関数の演算を基準値を用いて行うか、振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部を備えるので、必要に応じて点像分布関数の演算方法を選択することができ、必要なときに画像回復を有効に行うことができる。
【0115】
(3)点像分布関数演算切り替え部は、ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねているので、ブレ補正光学系によるブレ補正動作に連動して、点像分布関数の演算方法を変更することができ、ブレ補正光学系によるブレ補正動作の有無に応じた最適な点像分布関数の演算を行うことができる。
【0116】
(4)ブレ補正光学系によるブレ補正動作を行う場合には、点像分布関数演算部は、基準値を用いて点像分布関数を演算するので、演算される点像分布関数は、ブレ補正光学系によるブレ補正動作では補正しきれなかったブレ成分に関するものとなり、画像回復によりこの残ったブレを有効に回復することができる。
【0117】
(5)ブレ補正光学系によるブレ補正動作を行わない場合には、点像分布関数演算部は、振動検出信号を用いて点像分布関数を演算するので、演算される点像分布関数は、カメラのブレそのものに関するものとなり、このカメラのブレに起因する像ブレを画像回復により回復することができる。
【0118】
(6)点像分布関数演算部を備えたカメラと、画像回復演算部を有した外部装置とを備えるので、演算量の大きな画像回復をカメラにより行う必要が無く、カメラを安価にすることができ、また、カメラの消費電力を少なくすることができる。
【0119】
(7)像ブレを補正するブレ補正光学系と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部とを備えるので、ブレ補正光学系を用いた光学的なブレ補正を行うか否かに関わらず、画像回復に必要な点像分布関数を最適な演算方法で演算することができ、撮影した画像を後に外部装置などにより有効に画像回復することができる。
【0120】
(8)点像分布関数演算部により演算された点像分布関数を画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段を備えるので、煩雑な作業を行うことなく、外部装置による画像回復を容易に行うことができる。
【図面の簡単な説明】
【図1】本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの第1実施形態を示す模式図である。
【図2】本実施形態におけるカメラの動作の流れを示すフローチャートである。
【図3】図1の駆動信号演算部50、及び、画像回復を行うための各演算部の構成を示す図である。
【図4】本実施形態におけるカメラの露光動作、画像回復動作の詳細を示すフローチャートであり、図2におけるS110の動作を示している。
【図5】本実施形態における画像回復を説明する図である。
【図6】本実施形態における画像回復を説明する図である。
【図7】第2実施形態における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。
【図8】振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。
【図9】数1,2を模式的に表した図である。
【図10】ドリフト成分を含まない場合の角速度センサ出力,基準値の出力,像面での振れ量を示す図である。
【図11】ドリフト成分を含む場合の角速度センサ出力,基準値の出力,像面での振れ量を示す図である。
【図12】従来の画像回復を説明する図である。
【図13】従来の画像回復を説明する図である。
【符号の説明】
10 角速度センサ
20 増幅部
30,40 A/D変換器
50 駆動信号演算部
52 基準値演算部
54 積分演算部
58 駆動信号算出部
59 信号流れ制御部
60 D/A変換器
70 駆動部
80 ブレ補正レンズ
90 マイコン
100 半押しタイマ
110 電源供給部
120 露光時間制御部
130 ブレ補正動作切り替えスイッチ(VRSW)
140 点像関数演算部
150 イメージセンサ
160 画像保存部
170 画像回復演算部
180 モニタ
190 レンズ鏡筒
200 カメラボディ
210 接続コネクタ
220 接続ケーブル
230 パソコン
240 画像処理ソフト
SW1 半押しスイッチ
SW2 全押しスイッチ

Claims (7)

  1. 振動を検出して振動検出信号を出力する振動検出部と、
    前記振動検出信号の低周波数成分を抽出することにより前記振動検出信号の基準値を演算する基準値演算部と、
    前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    前記基準値を用いた点像分布関数、及び、前記振動検出信号を用いた点像分布関数を演算可能な点像分布関数演算部と、
    前記撮像部により撮像された画像に対して、前記ブレ補正光学系によるブレ補正動作をするとき前記基準値を用いた前記点像分布関数により画像回復を行い、前記ブレ補正光学系によるブレ補正動作をしないとき前記振動検出信号を用いた前記点像分布関数により画像回復を行い像ブレを補正する画像回復演算部と、を備えるブレ補正カメラシステム。
  2. 請求項1に記載のブレ補正カメラシステムにおいて、
    前記基準値演算部は、ローパスフィルタに前記振動検出信号を入力することにより前記振動検出信号の基準値を演算すること、を特徴とするブレ補正カメラシステム。
  3. 請求項1又は請求項2に記載のブレ補正カメラシステムにおいて、
    前記点像分布関数演算部による前記点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部を備えること、を特徴とするブレ補正カメラシステム。
  4. 請求項に記載のブレ補正カメラシステムにおいて、
    前記点像分布関数演算切り替え部は、前記ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねていること、を特徴とするブレ補正カメラシステム。
  5. 請求項1から請求項までのいずれか1項に記載のブレ補正カメラシステムにおいて、
    前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部と、を備えたカメラと、
    前記画像回復演算部を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、を備えることを特徴とするブレ補正カメラシステム。
  6. 振動を検出して振動検出信号を出力する振動検出部と、
    ローパスフィルタに前記振動検出信号を入力することにより前記振動検出信号の基準値を演算する基準値演算部と、
    前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    前記撮像部により撮像された画像を記録する画像記録部と、
    前記ブレ補正光学系によるブレ補正動作をするとき前記基準値を用いて点像分布関数を演算し、前記ブレ補正光学系によるブレ補正動作をしないとき前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、を備えるブレ補正カメラ。
  7. 請求項に記載のブレ補正カメラにおいて、
    前記点像分布関数演算部により演算された前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段を備えること、を特徴とするブレ補正カメラ。
JP2002374644A 2002-12-25 2002-12-25 ブレ補正カメラシステム及びブレ補正カメラ Expired - Fee Related JP4311013B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2002374644A JP4311013B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム及びブレ補正カメラ
CN200380107765.5A CN1732406B (zh) 2002-12-25 2003-12-25 抖动校正相机系统
US10/540,136 US7711253B2 (en) 2002-12-25 2003-12-25 Blur correction camera system
EP03786325.5A EP1577705B1 (en) 2002-12-25 2003-12-25 Blur correction camera system
AU2003296127A AU2003296127A1 (en) 2002-12-25 2003-12-25 Blur correction camera system
EP18178218.6A EP3404479A1 (en) 2002-12-25 2003-12-25 Blur correction camera system
PCT/JP2003/016809 WO2004059380A1 (ja) 2002-12-25 2003-12-25 ブレ補正カメラシステム
US12/073,954 US7596307B2 (en) 2002-12-25 2008-03-12 Blur correction camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002374644A JP4311013B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム及びブレ補正カメラ

Publications (2)

Publication Number Publication Date
JP2004205799A JP2004205799A (ja) 2004-07-22
JP4311013B2 true JP4311013B2 (ja) 2009-08-12

Family

ID=32812606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002374644A Expired - Fee Related JP4311013B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム及びブレ補正カメラ

Country Status (2)

Country Link
JP (1) JP4311013B2 (ja)
CN (1) CN1732406B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418342B2 (ja) * 2004-10-13 2010-02-17 オリンパス株式会社 画像処理装置及び電子カメラ
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP5150308B2 (ja) * 2007-03-13 2013-02-20 ペンタックスリコーイメージング株式会社 像ブレ補正装置
JP2008236289A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 撮像装置
JP2009156946A (ja) * 2007-12-25 2009-07-16 Sanyo Electric Co Ltd 撮像装置の防振制御回路
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP2011091571A (ja) * 2009-10-21 2011-05-06 Olympus Imaging Corp 動画像作成装置及び動画像作成方法
JP5424835B2 (ja) 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
JP5599039B2 (ja) 2010-06-01 2014-10-01 キヤノン株式会社 像ブレ補正機能付き光学装置
CN104427241A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法以及一种电子设备
JP6381433B2 (ja) * 2014-12-15 2018-08-29 オリンパス株式会社 カメラシステム及びそのブレ補正方法
KR20160140193A (ko) * 2015-05-29 2016-12-07 삼성전기주식회사 영상 보정 회로 및 그 보정 방법
KR20170076375A (ko) * 2015-12-24 2017-07-04 삼성전기주식회사 광학식 이미지 안정화 모듈 및 카메라 모듈
US11202011B2 (en) * 2016-07-25 2021-12-14 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium
JP7007214B2 (ja) * 2018-02-27 2022-01-24 日本電産サンキョー株式会社 振れ補正機構付きレーザポインタおよびその揺れ抑制制御方法
JP2022112842A (ja) * 2021-01-22 2022-08-03 キヤノン株式会社 ブレ評価装置、ブレ評価方法、撮影手段の製造方法、およびプログラム
KR102501092B1 (ko) * 2022-09-15 2023-02-17 주식회사 서랩 스마트 목줄 홀더 및 이를 포함하는 반려동물 관리 융합 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置

Also Published As

Publication number Publication date
CN1732406B (zh) 2010-06-02
CN1732406A (zh) 2006-02-08
JP2004205799A (ja) 2004-07-22

Similar Documents

Publication Publication Date Title
JP4311013B2 (ja) ブレ補正カメラシステム及びブレ補正カメラ
JP4714176B2 (ja) 立体撮影装置及び光軸調節方法
JP5296346B2 (ja) 撮影装置
JP4665304B2 (ja) ブレ補正カメラ
JP5090933B2 (ja) 振れ検出装置及び振れ検出方法
JP2009105784A (ja) 撮像装置
JPWO2005045516A1 (ja) 撮像装置およびその制御方法
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
CN108668074B (zh) 图像模糊校正装置及其控制方法、摄像设备和存储介质
JP2004239962A (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP2012078495A (ja) 撮像装置、ブレ補正装置及びブレ補正方法
CN114584676B (zh) 图像模糊校正装置及其控制方法和摄像装置
JP6039212B2 (ja) 像ブレ補正装置、撮像装置及び像ブレ補正装置の制御方法
JP4356316B2 (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP4370780B2 (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP2005114845A (ja) 振れ検出装置及びブレ補正装置
JP7098332B2 (ja) 撮像装置およびその制御方法
JP2005252760A (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置、及び、ブレ補正プログラム
JP2013015571A (ja) 撮像装置、プログラム及び手振れ補正方法
JP4662817B2 (ja) デジタルカメラ
JP2005173507A (ja) ぶれ検出信号の増幅率初期設定方法、撮像装置
JP4647183B2 (ja) ブレ補正カメラシステム、画像回復装置及びブレ補正プログラム
JP2004205806A (ja) ブレ補正カメラ
JP4244633B2 (ja) ブレ補正カメラ
JP2007264074A (ja) 撮影装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090504

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4311013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150522

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150522

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150522

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees