JP5656579B2 - 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム - Google Patents

光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム Download PDF

Info

Publication number
JP5656579B2
JP5656579B2 JP2010259087A JP2010259087A JP5656579B2 JP 5656579 B2 JP5656579 B2 JP 5656579B2 JP 2010259087 A JP2010259087 A JP 2010259087A JP 2010259087 A JP2010259087 A JP 2010259087A JP 5656579 B2 JP5656579 B2 JP 5656579B2
Authority
JP
Japan
Prior art keywords
correction value
optical member
image
correction
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010259087A
Other languages
English (en)
Other versions
JP2011135569A (ja
Inventor
邦宏 白井
邦宏 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010259087A priority Critical patent/JP5656579B2/ja
Priority to EP10192811.7A priority patent/EP2328343B1/en
Priority to US12/955,460 priority patent/US8355058B2/en
Priority to CN201310464591.3A priority patent/CN103647898B/zh
Priority to CN2010105756708A priority patent/CN102082902B/zh
Publication of JP2011135569A publication Critical patent/JP2011135569A/ja
Application granted granted Critical
Publication of JP5656579B2 publication Critical patent/JP5656579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Description

本発明は、デジタルカメラやビデオカムコーダ(ビデオカメラレコーダ)等の撮像装置、撮像装置の制御方法、および当該制御方法をコンピュータに実行させるプログラムに関し、特にレンズユニットに起因する画質の低下を補正する撮像装置に関する。
撮像素子に被写体像を結像させるためのレンズユニットは、この被写体像に歪み、滲み、あるいは、周辺光量落ち等の画質低下を生じさせてしまう各種の要因を内包している。
例えば、像の周辺の色が滲む倍率色収差は、レンズユニットを通過した赤、緑、青の各光が、その波長ごとに光軸に対して直交となる方向において異なる位置で結像されることによって引き起こされる。また、画像中心に比べて端部ほど光量が低下する周辺光量落ちは、レンズユニットの鏡筒によって周辺光の一部がケラれることにより生じる所謂、口径食(ヴィグネッティング)、あるいはコサイン4乗則などによって引き起こされる。
これらレンズユニットに起因する画質の低下は、例えば倍率色収差であれば、複雑な形状の複数のレンズを組み合わせて用いたり、色分散の少ない蛍石をレンズ素材に用いたりすることで、ある程度は低減できる。周辺光量落ちについても、イメージサークルの大きなレンズを用いることである程度は低減できる。しかしながら、いずれの場合であっても画質低下を完全に防止することはできない。
そこで、レンズユニットの特性に起因する画質低下を、信号処理による画像補正により低減させる技術が提案されている。
例えば、レンズユニットの絞り、焦点距離、あるいは、撮影距離に応じた周辺光量落ちの補正データをROMに記録しておいて、実際のレンズユニットの絞り値、焦点距離、あるいは、撮影距離に応じて、デジタルシグナルプロセッサで画像を信号処理することで補正する技術が開示されている(例えば、「特許文献1」参照)。
また、レンズユニットの収差情報、被写体の輝度データ、および、色差データに基づいて、レンズの収差に起因する画質低下を信号処理することで補正する技術が開示されている(例えば、「特許文献2」参照)。
このようなレンズユニットに起因する画質低下を信号処理することで補正する技術は、デジタルカメラの他に、デジタルビデオカムコーダや、撮像素子が受光した像をリアルタイムで表示する所謂ライブビュー(LV)機能を搭載したカメラなどにも適用されている。つまり、動画におけるレンズユニットに起因する画質低下を、レンズユニットの光学状態に応じてリアルタイムで補正している。
例えば、交換レンズユニット内部のメモリに、収差や周辺光量などの補正値を記憶させておき、撮像装置の電源投入時や、交換レンズユニットを撮像装置に接続したときに、それらの情報を予め交換レンズユニット内部のメモリから撮像装置へと通信しておく。そして、撮像装置は交換レンズユニットの光学状態の情報をリアルタイムで受信しながら、予め受け取った補正値を用いて、光学状態に即した画像補正を行う技術が開示されている(例えば、「特許文献3」参照)。
しかしながら、周辺光量落ちの補正値は、1つのレンズユニットでも絞り値やフォーカス位置に応じて異なる値となり、さらにズーム機構を備えたレンズユニットであれば、焦点距離によっても異なる値となる。従って、レンズユニットがより多くの光学状態を有するほど、周辺光量落ちの補正値は膨大なものになり、多くのメモリ領域を必要とするのみならず、データ受信の際の通信時間が長くなる。
そこで、ズーム位置、絞り値、フォーカス位置ごとに周辺光量落ちの補正値を持つのではなく、離散的な補正値から現在のズーム位置、絞り値、フォーカス位置に対応する補正値を演算により求めて補間する技術が開示されている(例えば、「特許文献4」参照)。
特開2003−110936号公報 特開2000−003437号公報 特開2008−096907号公報 特開2006−121384号公報
撮像装置がレンズユニットの光学状態を把握してから、そのレンズユニットの光学状態に適した補正値を演算しようとすると、少なくとも補正値の演算に要する時間だけ、補正が遅れることになる。この補正が遅れている間は、直前に得られた補正値を用いて画質低下の補正を行うことになる。その結果、例えば周辺光量落ちの場合は、直前に得られた補正値を用いて補正することによって、補正値が適正値よりも小さいために画像の端部の輝度が暗くなってしまう補正不足の状態が生じる可能性がある。あるいは、補正値が適正値よりも大きいために画像の端部の輝度が明るくなってしまう過補正の状態が生じる可能性がある。レンズユニットの光学状態を変化させている間は、被写体像の見え方も変化しているため、画像上でこれらの補正不足や過補正は目立ちにくいが、レンズユニットの光学状態の変化を止めた直後は、これらの補正不足や過補正は目立ちやすくなる。
そこで、この補正の遅れが生じている期間を少しでも短くするため、新たな補正値の演算が終わるとすぐに、この新たな補正値を用いて画像を補正することが考えられる。補正の遅れにより補正不足の状態であった画像を例にあげて考えると、補正不足の状態であった画像が適切な補正を施した画像に変化することによって、ユーザには暗かった画像の端部が明るくなったように見える。このとき、光学状態の変化量が大きいと、画像端部の輝度レベルの増加量も大きくなるため、その変化が目立ってしまう。その結果、ユーザにとっては画像のチラつきとして視認されてしまい、ユーザに違和感を与えてしまう。
これを解消するため、新たな補正値の演算が終わったとしても、すぐにこの新たな補正値を用いて画像を補正するのではなく、もとの補正値からこの新たな補正値へと、徐々に補正値を移行させることが考えられる。ここで補正の遅れにより過補正の状態であった画像を例にあげて考えると、新たな補正値の演算が終わったにも関わらず、画像がなかなか過補正の状態から抜け出さないことになる。過補正の画像は補正不足の画像よりも目立ちやすいため、過補正の画像を無用に維持してしまうと、ユーザに違和感を与えてしまう。
同様の課題は、周辺光量落ちだけではなく、歪曲収差や色収差を補正する場合にも生じる。例えば、歪曲収差は画像全体の形状の歪みを補正するものであるため、歪曲収差を補正する前の画像の一部の領域が、歪曲収差を補正した後の画像に含まれなくなる。そのため、歪曲収差の補正量によって、画像に含まれる被写体の範囲が異なるため、歪曲収差の補正量が急激に変化すると、画角に含まれる被写体の範囲の違いが目立ってしまい、ユーザに違和感を与えてしまう。また、歪曲収差において過補正が生じると、より不自然な形状に画像を歪ませてしまうことになり、この画像が不自然に歪んだ状態が継続されてしまうと、ユーザに違和感を与えてしまう。
本発明の課題は、レンズユニットの光学状態の変化に対して、ユーザに違和感を与えにくい補正画像を得ることができる撮像装置、撮像装置の制御方法およびプログラム、すなわち光学ユニットの状態の変化がユーザに違和感を与える補正画像をもたらしにくい撮像装置、撮像装置の制御方法およびプログラムを提供することにある。
上記目的を達成するために、本発明の撮像装置は、光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、前記光学部材の状態を取得する取得手段と、前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、記第1の補正値および係数に応じて第2の補正値を繰り返し算出する第2の算出手段と、前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段とを備え、前記第2の算出手段は、前記第1の補正値と前記第1の補正値よりも前に算出した過去の第2の補正値の差分に対して、前記第1の補正値と前記過去の第2の補正値の関係に応じて設定された係数を乗算した値を、前記過去の第2の補正値に加算することで、新たな第2の補正値を算出することを特徴とする。
上記目的を達成するために、本発明の撮像装置は、光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、前記光学部材の状態を取得する取得手段と、前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段を備え、前記第2の算出手段は、前記第1の補正値が過去の第2の補正値を超える場合は、前記第1の補正値が前記過去の第2の補正値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする。
上記目的を達成するために、本発明撮像装置は、光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、前記光学部材の状態を取得する取得手段と、前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段を備え前記第2の算出手段は、前記第1の補正値の絶対値が過去の第2の補正値の絶対値を超える場合は、前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする
上記目的を達成するために、本発明の撮像装置は、光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、前記光学部材の状態を取得する取得手段と、前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段とを備え、前記第2の算出手段は、前記光学部材のズーム位置をワイド側からテレ側に変化させる場合は、テレ側からワイド側へ変化させる場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする。
本発明によれば、レンズユニットの状態の変化に対して、ユーザに違和感を与えにくい補正画像を得ることができる。すなわち、光学ユニットの状態の変化が生じても、補正画像がユーザに違和感を与えにくいようにした補正画像を得ることができる。
本発明の第1の実施形態に係る撮影装置の概略ブロック図である。 絞り開放でテレ側からワイド側にレンズユニットのズーム位置を変更した場合の周辺光量落ちの補正例を説明するための図である。 絞り開放でワイド側からテレ側にレンズユニットのズーム位置を変更した場合の周辺光量落ちの補正例を説明するための図である。 撮像装置のシステム制御部によって実行される周辺光量補正処理のフローチャートである。 本発明の第2の実施形態に係る撮影装置において、像高と歪曲収差の補正値との関係を示すグラフ図である。 撮像装置のシステム制御部によって実行される歪曲収差補正処理のフローチャートである。
以下、本発明の実施の形態を図面を参照しながら詳述する。
図1は、本発明の第1の実施の形態に係る撮影装置の概略ブロック図である。
図1に示すように、本実施の形態の撮像装置100は、光学部材であるレンズユニット10として、フォーカスレンズ10a、ズームレンズ10b、絞りシャッタ10c、および、レンズ特性情報記録部10dを有する。レンズ特性情報記録部10dは、レンズIDやレンズの焦点距離、離散的な補正値などの情報を記録している。
レンズ特性情報記録部10dに記録されるデータには、周辺光量落ち、色収差、シェーディング、球面収差、歪曲収差等のレンズユニット10に起因する各種の画質劣化を信号処理で補正するためのデータが含まれている。
フォーカスレンズ10aおよびズームレンズ10bを通過した光学像は、絞りシャッタ10cを開くことで撮像素子14に入射される。撮像素子(撮像ユニット)14は、光学像を光電変換して、アナログの画像信号として出力し、A/D変換器16は、撮像素子14から出力されたアナログ画像信号をデジタル画像データに変換する。
タイミング信号発生回路18は、メモリ制御部22、システム制御部50の制御の下に、撮像素子14、A/D変換器16、D/A変換器26にクロック信号、制御信号等を供給する。
画像処理回路20は、A/D変換器16からの画像データ、あるいはメモリ制御部22からの画像データに対して、画素補間処理、色変換処理等の所定の画像処理を施す。また、画像処理回路20は、A/D変換器16から出力される画像データを用いて所定の演算処理を行う。この演算結果に基づいて、システム制御部50は、絞りシャッタ駆動部40、フォーカスレンズ駆動部42を制御するためのTTL(through-the-lens)方式の自動露出制御処理、オートフォーカス処理およびストロボ48の自動発光制御処理を行う。
更に、画像処理回路20は、A/D変換器16から出力される画像データを用いて所定の演算処理を行い、この演算結果に基づいてTTL方式のオートホワイトバランス処理も行う。
顔認識回路21は、被写体像の中から人物像、特に顔を認識(検出)し、その検出結果をシステム制御部50に通知する。
システム制御部50は、顔認識回路21での顔検出結果に応じて顔の部分にフォーカスを合わせるためにフォーカスレンズ駆動部42を制御したり、ストロボ48の光量を調整したりする。また、システム制御部50は、顔認識回路21での顔検出結果に応じて、画像処理回路20によりオートホワイトバランス処理を行わせる。
メモリ制御部22は、A/D変換器16、タイミング信号発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、および圧縮伸長回路32を制御する。A/D変換器16から出力された画像データは、画像処理回路20およびメモリ制御部22を介して、またはメモリ制御部22のみを介して画像表示メモリ24またはメモリ30に書き込まれる。
メモリ30は、動画撮影時に所定レートで連続的に記録媒体ドライブ200の不図示の記録媒体に書き込まれる画像のフレームバッファとして使用される。また、メモリ30は、システム制御部50の作業領域としても使用される。圧縮伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理を終えたデータを再びメモリ30に書き込む。
絞りシャッタ駆動部40は、画像処理回路20での演算結果に基づいて、絞りシャッタ10cを駆動し、絞りおよびシャッタ速度を制御する。フォーカスレンズ駆動部42は、画像処理回路20での演算結果に基づいて、フォーカスレンズ10aを駆動し、オートフォーカス制御を行う。ズームレンズ駆動部44は、操作部70による変倍操作に応じて、ズームレンズ10bを駆動する。ストロボ48は、オートフォーカス補助光の投光機能やストロボ調光機能を有する。
システム制御部50は、不図示のCPUやメモリを含み、撮像装置100の動作を全体的に制御する。メモリ52には、システム制御部50の動作用の定数、変数、コンピュータプログラム(基本プログラム)等が記憶される。
不揮発性メモリ56は、例えば電気的にデータを消去記録可能なEEPROM等で構成され、コンピュータプログラム等の格納用メモリとして使用される。不揮発性メモリ56に格納されるコンピュータプログラムには、図4を参照して後述する周辺光量補正処理をシステム制御部50により実行するためのアプリケーションプログラムが含まれる。また、不揮発性メモリ56には、メニュー画面、露出補正/AEB設定画面等のGUI画面上で設定された設定値等も格納される。
メインスイッチ60は、撮像装置100の電源のオン/オフを切換えるためのスイッチである。メインスイッチ60の操作によって、撮像装置100に接続された記録媒体ドライブ200の電源のオン/オフも同時に切換えることができる。
シャッタスイッチ(SW1)62は、レリーズボタンの第1ストローク操作(半押し)によってONとなり、オートフォーカス処理や自動露出制御処理等の動作開始をシステム制御部50に指示する。シャッタスイッチ(SW2)64は、レリーズボタンの第2ストローク操作(全押し)によってONとなり、露光処理、現像処理および記録処理からなる一連の撮像処理の動作開始をシステム制御部50に指示する。
操作部70は、不図示の各種ボタン、スイッチ、タッチパネル等を有する。ボタンとしては、例えば、メニューボタン、セットボタン、メニュー移動ボタン、圧縮モードスイッチなどが挙げられる。システム制御部50は、操作部70からの信号に応じて各種動作を行う。
なお、圧縮モードスイッチは、JPEG圧縮の圧縮率を選択するため、あるいは撮像素子14の信号をそのままデジタル化して記録媒体ドライブ200の記録媒体に記録するCCDRAWモードを選択するためのスイッチである。
JPEG圧縮のモードとしては、例えばノーマルモードとファインモードが用意されており、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択すればよい。
JPEG圧縮のモードにおいては、撮像素子14から読み出されてA/D変換器16、画像処理回路20、およびメモリ制御部22を介して、メモリ30に書き込まれた画像データを読み出す。この画像データを、設定に係る圧縮率で圧縮伸長回路32により圧縮し、記録媒体ドライブ200の記録媒体に記録する。
CCDRAWモードでは、撮像素子14のベイヤー配列の色フィルタの画素配列に応じて、ライン毎に画像データを読み出して、A/D変換器16、およびメモリ制御部22を介して、メモリ30に書き込まれた画像データを読み出し、記録媒体ドライブ200の記録媒体に記録する。動画記録ボタン73は、撮影された動画データをメモリ30、記録媒体ドライブ200の記録媒体に記録する記録動作を指示するために操作される。
I/F90は、記録媒体ドライブ200のインタフェースであり、コネクタ92は、記録媒体ドライブ200との接続部である。記録媒体ドライブ200は、I/F204および記録部202を有して、コネクタ206を介して撮像装置100に着脱自在に接続され、撮像装置100で撮影される動画データや静止画データをその記録媒体に記録保存する。記録媒体ドライブ200の記録媒体に動画データや静止画データを記録保存する場合は、レンズユニット10の特性に起因する画質劣化を抑制するための画像補正を行うことができる。
画像表示部28は、画像表示メモリ24に書き込まれ、逐次D/A変換器26によりアナログ信号に変換された画像データを表示することで、電子ビューファインダ(EVF)機能、所謂、ライブビュー(LV)機能を実現する。
なお、画像表示部28は、システム制御部50の指示により、電子ビューファインダ(EVF)機能をON/OFFする。上記のライブビュー(LV)機能においては、レンズユニット10の特性に起因する画質劣化を抑制するための画像補正を行うことができる。
この画像補正においては、電源入時、あるいは交換レンズ(レンズユニット10)が接続されたときに、システム制御部50は、レンズ特性情報記録部10dからレンズユニット10の特性情報を読み込む。
このレンズ特性情報には、一部前述のように、レンズユニット10のIDや開放絞り値、テレ端、ワイド端の焦点距離などの特性情報が含まれる。
レンズ状態情報取得部15は、所定のタイミング、例えばフレーム毎にレンズユニット10の現在の状態を取得する(取得ユニット)。
具体的には、レンズ状態情報取得部15は、絞りシャッタ駆動部40から現在の絞り値を、ズームレンズ駆動部44から現在の焦点距離(ズーム位置)を、フォーカスレンズ駆動部42から現在のフォーカス位置を取得する。ただし、これら以外の画像補正に必要なレンズの状態を適宜取得することも可能である。
システム制御部50は、レンズ特性情報記録部10dから取得したレンズ特性情報、およびレンズ状態情報取得部15から取得したレンズ状態情報を補正値算出部23へ通知する。
補正値算出部23は、通知されたレンズ特性情報およびレンズ状態情報に基づき、例えばレンズユニット10の周辺光量落ちを補正する補正係数、歪曲を補正する補正係数、色収差を補正する補正係数等の種々の補正値(第1の補正値)を算出する(第1の算出ユニット)。
ここでの補正値は、前記レンズ状態情報と前記レンズ特性情報から予め算出して記録しておいた補正値を基に算出しても良いし、前記レンズ状態情報と前記レンズ特性情報を基に一般的な光学式から導かれる近似された値を用いても良い。
システム制御部50は、補正値算出部23で算出した補正値を後述する適用率等を用いて再算出し、画像処理回路20に通知する。画像処理回路20は、通知された複数の補正値に基づき、レンズユニット10の特性に起因する複数種の画像劣化を補正する。
上述したように、補正値算出部23での補正値の算出処理には比較的長時間を要する場合があり、この算出処理に要する時間によってはリアルタイムで画像補正を行うことができない場合がある。
この場合、例えば、数フレームに1度のタイミングで補正値を算出し、遅延して画像の補正処理を行うことが考えられる。しかし、遅延して画像の補正処理を行うと、補正後の画像の見栄えが悪くなる場合もある。例えば、周辺光量落ちに係る補正値を、上記のように、数フレームに1度のタイミングで算出した場合、次のような問題が発生する。
図2に、絞り開放でテレ側からワイド側にレンズユニット10のズーム位置を変更した場合の様子を示す。
図2(A)の(2)は、レンズユニット10がテレ側、絞り開放で均一な輝度面を撮影したときの、撮像素子14に入射される光量を示す。図2(A)の(2)からわかるように、画像の端部ほど光量が減少している。図2(A)の(1)は、この図2(A)の(2)に示される画像に対して周辺光量落ちの補正を行うことで得られる輝度が均一な画像を示す。
この状態から、レンズユニット10のズーム位置をワイド側に変更すると、焦点距離御が短くなり、撮像素子14に入射される光量は、コサイン4乗則等により画像周辺の光量がテレ側のときよりもさらに減少して、図2(B)の(2)に示す状態になる。
このとき、周辺光量落ちの補正は、前述の理由によりリアルタイムに行うことが困難なため、図2(A)の(1)の画像を得るときに用いた補正値が暫く適用されてしまう。その結果、補正後の画像は、図2(B)の(1)に示すように、周辺光量落ちが完全に補正しきれていない状態で出力されてしまう。このため、レンズユニット10の状態が変更されたという情報を基に補正値を再算出し、新たに得られた補正値を用いて周辺光量落ちの補正を行うことで、図2(C)の(1)に示すように適切な周辺光量落ちの補正が行われた画像が得られる。
ここで、図2(B)の(1)から図2(C)の(1)への画像の切り替えは、実際にユーザがレンズユニット10の焦点距離を移動させた時間とタイムラグが存在する。このため、ユーザが何も操作をしていないのに周辺の輝度が突然変化したことによって、ユーザは画面のチラつきとして認識してしまう。
なお、上述した例は、図2(C)の(2)が、図2(C)の(1)の画像を得たときの撮像素子14に入射される光量を示すものだとすると、図2(B)の(2)と図2(C)の(2)におけるレンズユニット10の光学状態は同じであることを前提としている。
図2(C)の(2)のときのレンズユニット10のズーム位置が、図2(B)の(2)のときよりもさらにワイド側に変更されていれば、図2の(C)の(1)に示す画像も、周辺光量落ちが完全に補正しきれていないものとなる。レンズユニット10のズーム位置がワイド側に変更され続ける限りはこの状態が繰り返され、ズーム位置の変更の完了後(それ故いったんレンズユニットのズーム位置の調整が完了した時)に、適切な周辺光量落ちの補正が行われた画像が得られることになる。ただし、ズーム位置がワイド側に変更され続けている間は、撮影画角も変化しているため、それほど周辺光量落ちは目立たない。よって、ズーム位置が変更されている間よりは、ズーム位置の変更が完了した後(それ故いったんレンズユニットのズーム位置の調整が完了した時)に生じる画面のチラつきが問題となる。
一方、図3に、絞り開放でワイド側からテレ側にレンズユニット10のズーム位置を変更した場合の様子を示す。
図3(A)の(2)は、レンズユニット10がワイド側、絞り開放で均一な輝度面を撮影したときの、撮像素子14に入射される光量を示す。図3(A)の(2)からわかるように、画像の端部ほど光量が減少している。図3(A)の(1)は、この図3(A)の(2)に示される画像に対して周辺光量落ちの補正を行うことで得られる輝度が均一な画像を示す。
その後、ユーザがズーム位置を変更してレンズユニット10をテレ側に変更したとき、焦点距離が長くなることにより、周辺光量落ちはワイド側の場合よりも減少(画像の端部の光量が増加)し、撮像素子14に入射される光量は図3(B)の(2)に示す状態になる。
しかし、上記同様に、ズーム位置の変更後、適切な補正値を算出するまでにはタイムラグが発生してしまうため、図3(B)の(2)に対応した画像に対して、図3(A)の(1)を得るために用いたときと同じ補正値が適用される。このため、図3(B)の(1)に示すように、周辺光量が過補正された画像になってしまう。その後、必要なレンズ情報を取得し、補正値を再算出することにより、図3(C)の(1)に示すように、適切な補正画像が得られる。
ここで、本実施の形態では、レンズユニット10の特性に起因して劣化する画質を、ユーザに違和感を与えないように補正する。
図4は、本実施の形態の撮像装置100のシステム制御部50によって実行される周辺光量補正処理のフローチャートである。図4の周辺光量補正処理は、不揮発性メモリ56等の記憶ユニットに記憶されたプログラムがRAMにロードされてシステム制御部50のCPU等により実行される。
ステップS401では、システム制御部50は、周辺光量補正が適用されている状態での動画の録画またはLV機能による動画の表示中に、まず、現フレームの画像におけるレンズユニット10の光学状態が前フレームの画像における光学状態から変更されたかを判断する。
ここでは、システム制御部50は、レンズ状態情報取得部15がレンズユニット10の状態の変化を検知できたか(検知したか)どうかで判断する。この際、実際のレンズユニット10の状態の変化と若干のタイムラグはあっても良い。そして、システム制御部50は、レンズユニット10の状態に変更があった場合は、ステップS402に進み、レンズユニット10の状態に変更がない場合は、ステップS408に進む。
ステップS402では、システム制御部50は、レンズ状態情報取得部15から変更された焦点距離や絞り等のレンズ状態情報を取得し、ステップS403に進む。
ステップS403では、システム制御部50は、ステップS402で取得したレンズ状態情報および予めレンズ特性情報記録部10dから読み込んでおいたレンズ特性情報に基づいて補正値算出部23により目標補正値βを算出し、ステップS404に進む。
ステップS404では、システム制御部50は、ステップS403で算出した目標補正値βと、現フレームよりも過去のフレームで算出され、現在設定されている補正値αとを比較し、目標補正値βが補正値αを超える場合は、ステップS405に進む。システム制御部50は、そうでない場合はステップS406に進む。
なお、補正値α、βは、周辺光量落ちの補正値を表すものであれば特に限定されず、例えばある像高における補正ゲインでも、一般的な光学近似式から周辺光量補正値を算出する際に用いられる係数でも良い。
ここで、目標補正値βが補正値αを超える場合は、レンズユニット10をテレ側からワイド側に動かしたときに相当し、目標補正値βが補正値α以下の場合は、レンズユニット10をワイド側からテレ側に動かしたときに相当する。
ステップS405では、システム制御部50は、画像のチラつきを防ぐ為、適用率A,Bのうち小さい値の適用率Bを設定して、周辺光量の補正の際に、適用率Aの場合より、遅く目標補正値βに達するようにするために、撮影動画のフレームレートに応じた適用率Bの値を決定するための適用率B用のテーブルを選択して、ステップS407に進む。
ステップS406では、システム制御部50は、周辺光量の過補正を早く解消するため、適用率Aを設定して、周辺光量の補正の際に、適用率Bの場合より、早く目標補正値βに達するようにするために、撮影動画のフレームレートに応じた適用率Aの値を決定するための適用率A用のテーブルを選択して、ステップS407に進む。なお、適用率A,Bは、現在の補正値αから目標補正値βに近づける割合を示すものであれば特に限定されない(それで、これらは、現在の補正値αから目標補正値βに近づけさせる割合を示す)。
ステップS407では、システム制御部50は、撮影動画のフレームレートに応じてS405又はS406で選択されたテーブルを検索することにより、適用率A又はBを決定して設定し、ステップS408に進む。
撮影動画のフレームレートに応じて適用率A又はBの値を決定する理由について説明する。例えば、フレームレートが60fpsの場合と30fpsの場合とで、現在の補正値α、目標補正値β、適用率A、及び、適用率Bが全て同じ値であると仮定する。この条件下では、後述する補正値yの算出方法を用いると、フレームレートが変化することによって、補正値が目標補正値βに収束するまでに要する時間に差が生じてしまう。仮に、補正値が目標補正値βに収束するために6フレーム要するとすると、フレームレートが60fpsであれば、その収束にかかる時間は(6×1/60)秒、すなわち0.1秒となる。しかしながら、フレームレートが30fpsであれば、その収束に要する時間は(6×1/30)秒、すなわち0.2秒となる。つまり、ユーザから見ると、補正不足あるいは過補正の程度が同じであるにも関わらず、フレームレートに応じて、これらの補正不足あるいは過補正が解消されるまでに要する時間が異なることになる。そこで、ユーザに違和感を与えないようにするため、フレームレートが異なる場合であっても、補正値が目標補正値βに収束に要する時間が等しくなるように、適用率AおよびBを変更する必要がある。
本実施の形態では、不揮発性メモリ56が各フレームレートに応じて適用率AおよびBの値がそれぞれ設定された前記適用率AおよびB用のそれぞれのテーブルを予め記憶しておいて、システム制御部50が、前述のように補正値αと目標補正値βの比較結果に応じて当該適用率AおよびB用のテーブルの1つを選択して、設定されたフレームレートに応じて、選択されたテーブルから適用率A又はBを読み出している。あるいは、不揮発性メモリ56がいずれかのフレームレートに対応した適用率AおよびBのみを記憶しておいて、システム制御部50が、当該記憶された適用率AおよびBに基づいて、上述した条件を満たすように、設定されたフレームレートに応じた適用率AおよびBを算出するようにしても良い。このように、フレームレートに応じて決定された適用率AおよびBの一方を設定することで、異なるフレームレートで画像が記録または表示されても同じ時間間隔で周辺光量が補正される為、狙いの補正適用時間に近づけることができる。
ステップS408では、システム制御部50は、目標補正値β、補正値α、および、適用率AまたはBを用いて補正値y(y、y)を算出し、ステップS409に進む。例えば、適用率Aの値が0.8、適用率Bの値が0.6だとすると、適用率Aを用いた場合の補正値y、適用率Bを用いた場合の補正値yはそれぞれ以下の式(1)、(2)にて求められる。
=(β−α)×0.8+α ・・・(1)
=(β−α)×0.6+α ・・・(2)
なお、ステップS401でNoの場合は、前回に算出した目標補正値βと前フレームで適用した補正値αと適用率A、または、Bを用いて補正値yを算出し、ステップS409に進む。
ステップS409では、システム制御部50は、補正値αをこの補正値yに更新し、画像処理回路20により、この更新した補正値αを用いて周辺光量を補正し、ステップS401に戻る。
この図4の周辺光量補正処理をフレーム毎に繰り替えすことで、レンズ状態が変更されている間は、ステップS403にて目標補正値βが随時更新されるため、補正値αがレンズ状態によって変更する目標補正値βを時間差で追従するように滑らかに更新される。そして、レンズ状態が一定の状態に落ち着けば、適用率AまたはBに応じた時間をかけて、補正値αが段階的に目標補正値βに近づくことになる。
つまり本実施の形態は、システム制御部50が、すでに設定されている現在の補正値αを、時定数(変化速度)を持たせて目標補正値βに近づくように補正値を更新するものであって、レンズユニット10の光学状態の変化の仕方に応じて、この時定数を表す適用率を切り替えている。具体的には、システム制御部50は、周辺光量落ちの程度が小さくなるようにレンズユニット10の光学状態が変化する場合よりも、周辺光量落ちの程度が大きくなるようにレンズユニット10の光学状態が変化する場合のほうが、時定数を大きな値(適用率を小さな値)に設定する。
以上説明したように、本実施形態では、レンズユニット10の動作に起因して画質が低下した画像に対する周辺光量落ちの目標補正値が大きい値から小さい値に変動する場合には、補正値を素早く目標補正値に収束させることで、周辺光量の過補正を速やかに修正した動画を得ることができる。また、レンズユニット10の動作に起因して劣化した画像に対する周辺光量落ちの補正値が小さい値から大きい値に変動する場合には、少し時間をかけて補正値を目標補正値に収束させることで、チラつきを抑えた動画を得ることができる。これにより、レンズユニット10の状態の変化に対して、ユーザに違和感を与えない補正画像を得ることができる。
なお、時定数の大きさを規定するための適用率A、Bは、同じ動画であっても、記録を目的とした動画撮影時と、記録を目的としないLV時とで、その大きさを変えてもよい。動画撮影によって記憶された動画はスロー再生される可能性もあるため、動画撮影時は、スロー再生時における画像のチラつきも抑制するために、LV時よりも適用率を小さく(時定数を大きく)設定してもよい。
また、レンズユニット10の光学状態が変化している間は、撮像素子14に入射される被写体光が変化し、周辺光量落ちが目立ちにくい。そのため、システム制御部50は、レンズユニット10の光学状態が変化している間は補正値の更新を行わずに、レンズユニット10の光学状態の変化が完了してから、時定数を用いて補正値の更新を行うようにしてもよい(例えば、レンズユニットの状態が所定数のフレームの間一定のままであるかどうかを判別することにより)。あるいは、システム制御部50は、レンズユニット10の光学状態が変化している間は、時定数を用いずに補正値を算出された目標補正値で更新し、レンズユニット10の光学状態の変化が完了した後は、時定数を用いて補正値の更新を行うようにしてもよい。
次に、図5および図6を参照して、本発明の第2の実施の形態に係る撮影装置について説明する。なお、上記第1の実施形態に対して重複または相当する部分については、図および符号を流用して説明する。
本実施形態では、画像の歪曲収差の補正について説明する。周辺光量落ちは、特殊なケースを除いて画像の中央の輝度よりも周辺の輝度の方が高くなることはない。従って、周辺光量落ちの補正の方向は常に画像の端部のゲインを上げることになる。一方、歪曲収差に関しては、理想の状態(無収差レンズで撮影した状態)に対して、画像が内側に歪む状態(所謂、樽型)と画像が外側に歪む状態(所謂、糸巻き型)の2方向の画質低下が存在する。つまり、歪曲収差に関しては、樽型歪みと糸巻き型歪みの一方の状態から、理想の状態を経て、他方の状態となるようにレンズユニット10の光学状態が変化する可能性がある。
図5は、像高と歪曲収差の補正値との関係を示すグラフ図である。図5では、縦軸の正の方向が樽型の歪曲収差の補正値を示しており、数値が高いほど、歪み量の大きな樽型の歪曲収差が発生していることを示す。逆に、縦軸の負の方向は糸巻き型の歪曲収差の補正値を示しており、数値が低いほど、歪み量の大きな糸巻き型の歪曲収差が発生していることを示す。
図6は、本実施形態の撮像装置のシステム制御部によって実行される歪曲収差補正処理のフローチャートである。図6の歪曲収差補正処理は、不揮発性メモリ56等の記憶ユニットに記憶されたプログラムがRAMにロードされてシステム制御部50のCPU等により実行される。
ステップS501では、システム制御部50は、現フレームの画像におけるレンズユニット10の光学状態が前フレームの画像におけるレンズユニット10の光学状態から変更されたかを判断する。
ここでは、システム制御部50は、レンズ状態情報取得部15がレンズユニット10の状態の変化を検知できたかどうかで判断する。この際、実際のレンズユニット10の状態の変化と若干のタイムラグはあっても良い。そして、システム制御部50は、レンズユニット10の状態に変更があった場合は、ステップS502に進み、レンズユニット10の状態に変更がない場合は、ステップS510に進む。
ステップS502では、システム制御部50は、レンズ状態情報取得部15から変更された焦点距離や絞り等のレンズ状態情報を取得し、ステップS503に進む。
ステップS503では、システム制御部50は、ステップS502で取得したレンズ情報および予めレンズ特性情報記録部10dから読み込んでおいたレンズ特性情報に基づいて補正値算出部23により目標補正値βを算出し、ステップS504に進む。
ここでの目標補正値βは、歪曲収差を補正するものであればよく、例えば、理想的な結像位置と実際の結像位置の比やその差分でも良く、また、歪曲収差補正を表す一般的な光学近似式の係数であっても良い。
ステップS504では、システム制御部50は、現フレームよりも前のフレームで算出され、現在設定されている補正値αと、今回算出した目標補正値βが、同じタイプの歪みを補正するための補正値か否かを判断する。
具体的には、システム制御部50は、補正値αと目標補正値βがいずれも樽型の歪みの補正値であるか、いずれも糸巻き型の歪みの補正値であれば、同じタイプの歪みの補正値と判断し、そうでなければ異なるタイプの歪みの補正値と判断する。樽型か糸巻き型かは、図5に示すように縦軸の補正値の符号を比較して判別することができる。
そして、システム制御部50は、補正値αと目標補正値βが同じタイプの歪みの補正値であれば、ステップS506に進み、異なるタイプの歪みの補正値であれば、ステップS505に進む。
ステップS505では、システム制御部50は、補正値yを求め、補正値αを補正値yに更新するために、撮影動画のフレームレートに応じて適用率A、B、およびCのうち最も大きい値の適用率Aを決定するために使用するテーブルを選択する。つまり、歪曲収差の補正の際に、適用率BおよびCの場合よりも早く目標補正値βに達するように時定数(変化速度)を設定するためのテーブルを選択して、ステップS509に進む。
補正値α目標補正値βが異なるタイプの場合は、補正値αを用いた補正が画質の低下を助長する方向に作用する。このため、少なくとも補正値αが画像劣化を抑える補正値に切り替わるまでは、可能な限り早く補正値αを目標補正値βに近づけるのが好ましい。
しかしながら、樽型から糸巻きに変化した画像に対して可能な限り早く補正値αを目標補正値βに近づけようとすると、補正後の画角の変化が大きく、動画像としてチラつきが顕著に目立ってしまう可能性がある。このような場合には、一度補正なしの状態を経由して徐々に目標補正値βに近づけるように、2段階に適用率を変化させるという手法をとっても良い。
以下に具体例をあげて説明する。例えば、目標補正値βが図5の(a)の値から図5の(e)の値にシフトしたとき、つまり樽型から糸巻き型の歪みとなるように光学状態が急激にシフトしたときに、1フレームで図5の(a)の補正値から図5の(e)の補正値へ変更すると画角が大きく変化する。この場合、画像として画角のキリむらが目立ってしまう。
従って、樽型の歪みである図5の(a)の補正値からその値が0となる図5の(c)の補正値までは、可能な限り補正値が早く変化する適用率A1を適用し(それで(a)から(c)の間ではA1が適用される)、図5の(c)の補正値から図5の(e)の補正値までは、補正値が比較的ゆっくり変化する適用率A2を適用する(それで(c)から(e)の間ではA2が適用される)。このように構成すれば、過補正を起こすことなく画角のキリむらも少ない動画を得ることができる。なお、この場合、適用率A1を適用率Aよりも大きく、適用率A2を適用率Aよりも小さく設定し、かつ、補正値αが補正目標値βに到達するまでの時間を適用率Aを設定した場合と同様の時間となるようにすればよい。
補正値αと目標補正値βが同じタイプの歪みであれば、ステップS506において、システム制御部50は、補正値αおよび目標補正値βの絶対値を比較する。そして、|α|<|β|であれば、ステップS507に進み、|α|≧|β|であれば、ステップS508に進む。
目標補正値βが補正値α以下と判断された場合、例えば補正値αが図5の(a)に相当し、目標補正値βが図5の(b)に相当する場合、目標補正値βが図5の(b)となる光学状態に応じた画像に対して図5の(a)の補正値αを適用すると過補正になる。この場合、レンズユニット10に起因して樽型の歪みが生じているのであれば、補正後の画像は糸巻き型に歪んでしまう。もともと樽型の歪みが生じている画像を糸巻き型の歪みが生じた状態にまで画像を変形させているため、画像の不自然さは補正不足の場合よりも際立ってしまう。これは糸巻き型の歪みが生じている画像に対して過補正を行い、画像に樽型の歪みを生じさせた場合でも同様である。
この問題を回避するため、ステップS508において、システム制御部50は、過補正が早く解消されるよう適用率Cの場合よりも早く目標補正値βに達するようにするために、適用率Aよりは小さいが、適用率Cより大きい適用率Bの値を撮影動画のフレームレートに応じて設定するための適用率B用のテーブルを選択して、ステップS509に進む。
目標補正値βが補正値αを超えると判断された場合、例えば、補正値αが図5の(b)に相当し、目標補正値βが図5の(a)に相当する場合、目標補正値βが図5の(a)となる光学状態に応じた画像に対して図5の(b)の補正値αを適用すると補正不足になる。ステップS507において、システム制御部50は、適用率AおよびBよりも小さい適用率Cの値を撮影動画のフレームレートに応じて設定するためのテーブルを選択し、ステップS509に進む。適用率C用のテーブルが選択されると、適用率B用のテーブルが選択された場合より、遅く目標補正値βに達するようになり、画角変化に対する違和感を緩和することができる。
ステップS509では、システム制御部50は、撮影動画のフレームレートに応じて、適用率A,BまたはCの値をステップS505、S507又はS508で選択されたテーブルを検索することにより決定して設定し、ステップS510に進む。撮影動画のフレームレートに応じた適用率A,BまたはCの値を決定することで、異なるフレームレートの画像においても同じ時間間隔で歪曲収差が補正される為、狙いの補正適用時間に近づけることができる。
ステップS510では、システム制御部50は、目標補正値β、補正値α、および適用率A、B、または、Cを用いて補正値y(y、y、y)を再算出し、ステップS511に進む。これらの補正値y、y、yは、第1の実施形態における式(1)および(2)と同様のそれぞれの式により、目標補正値βと現在設定されている補正値αの差分に対して、時定数(変化速度)を反映した適用率A,BまたはCを乗算した値を、現在設定されている補正値αに加算することで、算出することができる。
なお、ステップS501でNoの場合は、前回に算出した目標補正値βと前フレームで適用した補正値αと適用率A、B、または、Cを用いて補正値yを再算出し、ステップS510に進む。
ステップS511では、システム制御部50は、補正値αをこの補正値yに更新し、画像処理回路20により、この更新した補正値αを用いて歪曲収差を補正し、ステップS501に戻る。
以上の処理を行うことにより、LVや動画記録状態の場合においても、画角のキリむらや、過補正を抑えた良好な動画像をユーザに提供することが可能となる。その他の構成および作用効果は、上記第1の実施形態と同様である。
なお、歪曲収差には、像高によって画像の内側に歪んだり、画像の外側に歪んだりする陣笠型の歪曲収差があるが、これは樽型と糸巻き型の複合型なので注目される像高において考えれば、上記同様の処理で対応することができる。
また、色収差補正については、一般的に色収差補正は、周辺光量補正や歪曲収差補正と比較して、微小な補正である可能性が高く、多少の過補正やキリむらが発生してもユーザには視認できない可能性が高い。
ただし、色収差補正を前提とした撮像レンズを備える撮像装置の場合は、図6と同様の処理で色収差を補正することができる。この場合、RGBベイヤー配列の撮像装置においては、RまたはBに対応する画素の信号の補正は、Gに対応する画素の結像位置に対するズレの量と方向を図5の縦軸に割り当てればよい。
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(不揮発性記憶媒体)を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
10 レンズユニット
10d レンズ特性情報記録部
15 レンズ状態情報取得部
20 画像処理回路
23 補正値算出部
50 システム制御部

Claims (17)

  1. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、
    前記光学部材の状態を取得する取得手段と、
    前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、
    記第1の補正値および係数に応じて第2の補正値を繰り返し算出する第2の算出手段と、
    前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段とを備え、
    前記第2の算出手段は、前記第1の補正値と前記第1の補正値よりも前に算出した過去の第2の補正値の差分に対して、前記第1の補正値と前記過去の第2の補正値の関係に応じて設定された係数を乗算した値を、前記過去の第2の補正値に加算することで、新たな第2の補正値を算出することを特徴とする撮像装置。
  2. 前記第1の補正値が前記過去の第2の補正値を超える場合は、前記第1の補正値が前記過去の第2の補正値を超えない場合に比較して、前記係数を大きく設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超える場合は、前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超えない場合に比較して、前記係数を大きく設定することを特徴とする請求項1に記載の撮像装置。
  4. 前記光学部材のズーム位置をワイド側からテレ側に変化させる場合は、テレ側からワイド側へ変化させる場合に比較して、前記係数を大きく設定することを特徴とする請求項1記載の撮像装置。
  5. 学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、
    前記光学部材の状態を取得する取得手段と、
    前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、
    前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段とを備え、
    前記第2の算出手段は、前記第1の補正値が過去の第2の補正値を超える場合は、前記第1の補正値が前記過去の第2の補正値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置。
  6. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、
    前記光学部材の状態を取得する取得手段と、
    前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、
    記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、
    前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段を備え
    前記第2の算出手段は、前記第1の補正値の絶対値が過去の第2の補正値の絶対値を超える場合は、前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置。
  7. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段と、
    前記光学部材の状態を取得する取得手段と、
    前記光学部材の特性情報と前記取得手段により取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出手段と、
    記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出手段と、
    前記第2の算出手段で算出された前記第2の補正値に基づいて、前記画像データを補正する補正手段を備え
    前記第2の算出手段は、前記光学部材のズーム位置をワイド側からテレ側に変化させる場合は、テレ側からワイド側へ変化させる場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置
  8. 前記光学部材の特性に起因する画質の低下は、周辺光量落ちによる画質の低下、歪曲収差による画質の低下および色収差による画質の低下のいずれかであることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記光学部材の状態は、ズーム位置、フォーカス位置、絞り値の少なくとも一つを含むことを特徴とする請求項1乃至8のいずれか1項に記載の撮影装置。
  10. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法であって、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および係数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値と前記第1の補正値よりも前に算出した過去の第2の補正値の差分に対して、前記第1の補正値と前記過去の第2の補正値の関係に応じて設定された係数を乗算した値を、前記過去の第2の補正値に加算することで、新たな第2の補正値を算出することを特徴とする撮像装置の制御方法。
  11. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法であって、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値が過去の第2の補正値を超える場合は、前記第1の補正値が前記過去の第2の補正値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置の制御方法。
  12. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法であって、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値の絶対値が過去の第2の補正値の絶対値を超える場合は、前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置の制御方法。
  13. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法であって、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記光学部材のズーム位置をワイド側からテレ側に変化させる場合は、テレ側からワイド側へ変化させる場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とする撮像装置の制御方法。
  14. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    前記撮像装置の制御方法は、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および係数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値と前記第1の補正値よりも前に算出した過去の第2の補正値の差分に対して、前記第1の補正値と前記過去の第2の補正値の関係に応じて設定された係数を乗算した値を、前記過去の第2の補正値に加算することで、新たな第2の補正値を算出することを特徴とするプログラム。
  15. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    前記撮像装置の制御方法は、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値が過去の第2の補正値を超える場合は、前記第1の補正値が前記過去の第2の補正値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とするプログラム。
  16. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    前記撮像装置の制御方法は、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記第1の補正値の絶対値が過去の第2の補正値の絶対値を超える場合は、前記第1の補正値の絶対値が前記過去の第2の補正値の絶対値を超えない場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とするプログラム。
  17. 光学部材を通過した被写体の光学像を光電変換して画像データとして出力する撮像手段を備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    前記撮像装置の制御方法は、
    前記光学部材の状態を取得する取得ステップと、
    前記光学部材の特性情報と前記取得ステップで取得した前記光学部材の状態に基づいて、前記光学部材の特性に起因する画質の低下を補正するための第1の補正値を算出する第1の算出ステップと、
    前記第1の補正値および時定数に応じて第2の補正値を繰り返し算出する第2の算出ステップと、
    前記第2の算出ステップで算出された前記第2の補正値に基づいて、前記画像データを補正する補正ステップとを備え、
    前記第2の算出ステップは、前記光学部材のズーム位置をワイド側からテレ側に変化させる場合は、テレ側からワイド側へ変化させる場合に比較して、前記第2の補正値が前記第1の補正値に近づく速度が大きくなるように前記時定数を設定することを特徴とするプログラム。
JP2010259087A 2009-11-30 2010-11-19 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム Active JP5656579B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010259087A JP5656579B2 (ja) 2009-11-30 2010-11-19 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム
EP10192811.7A EP2328343B1 (en) 2009-11-30 2010-11-26 Image pickup apparatus capable of correcting image quality degradation due to optical member, method of controlling image pickup apparatus, and program
US12/955,460 US8355058B2 (en) 2009-11-30 2010-11-29 Image pickup apparatus capable of correcting image quality degradation due to optical member, method of controlling image pickup apparatus, and nonvolatile storage medium
CN201310464591.3A CN103647898B (zh) 2009-11-30 2010-11-30 摄像设备及其控制方法
CN2010105756708A CN102082902B (zh) 2009-11-30 2010-11-30 摄像设备及其控制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009271909 2009-11-30
JP2009271909 2009-11-30
JP2010259087A JP5656579B2 (ja) 2009-11-30 2010-11-19 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011135569A JP2011135569A (ja) 2011-07-07
JP5656579B2 true JP5656579B2 (ja) 2015-01-21

Family

ID=43650042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010259087A Active JP5656579B2 (ja) 2009-11-30 2010-11-19 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム

Country Status (4)

Country Link
US (1) US8355058B2 (ja)
EP (1) EP2328343B1 (ja)
JP (1) JP5656579B2 (ja)
CN (2) CN102082902B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5234150B2 (ja) * 2011-08-26 2013-07-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9041762B2 (en) 2011-09-26 2015-05-26 Prysm, Inc. 2-D straight-scan on imaging surface with a raster polygon
JP6218385B2 (ja) * 2013-02-01 2017-10-25 オリンパス株式会社 交換レンズ及び撮像装置
JP6070283B2 (ja) * 2013-03-04 2017-02-01 株式会社リコー 撮像装置、露出制御方法およびプログラム
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6795961B2 (ja) 2016-12-12 2020-12-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
US10795618B2 (en) 2018-01-05 2020-10-06 Datamax-O'neil Corporation Methods, apparatuses, and systems for verifying printed image and improving print quality
US10546160B2 (en) 2018-01-05 2020-01-28 Datamax-O'neil Corporation Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia
US10834283B2 (en) * 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
US10803264B2 (en) 2018-01-05 2020-10-13 Datamax-O'neil Corporation Method, apparatus, and system for characterizing an optical system
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
US11513426B2 (en) 2018-09-11 2022-11-29 Canon Kabushiki Kaisha Lens apparatus, image pickup apparatus, processing apparatus, and camera apparatus
US11202001B2 (en) * 2018-11-15 2021-12-14 Canon Kabushiki Kaisha Image stabilization apparatus and method, and image capturing apparatus
JP7059171B2 (ja) * 2018-12-14 2022-04-25 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
JP7267723B2 (ja) 2018-12-14 2023-05-02 キヤノン株式会社 レンズ装置、撮像装置、処理装置、およびカメラ装置
US11727545B2 (en) * 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
WO2021138867A1 (en) * 2020-01-09 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for electronic device with a plurality of cameras and electronic device
CN115022541B (zh) * 2022-05-30 2024-05-03 Oppo广东移动通信有限公司 视频畸变校正方法及装置、计算机可读介质和电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3950188B2 (ja) * 1996-02-27 2007-07-25 株式会社リコー 画像歪み補正用パラメータ決定方法及び撮像装置
JP2000003437A (ja) 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正方法、電子スチルカメラ及び画像処理システム
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP2003110936A (ja) 2001-09-27 2003-04-11 Matsushita Electric Ind Co Ltd 撮像装置
JP4010254B2 (ja) * 2003-02-06 2007-11-21 ソニー株式会社 画像記録再生装置、画像撮影装置及び色収差補正方法
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2005303746A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 撮像装置
JP2006081037A (ja) * 2004-09-10 2006-03-23 Eastman Kodak Co 撮像装置
JP2006121384A (ja) 2004-10-21 2006-05-11 Canon Inc 撮像装置
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
WO2007074687A1 (ja) * 2005-12-27 2007-07-05 Nittoh Kogaku K.K 画像処理装置
JP4487952B2 (ja) * 2006-02-27 2010-06-23 ソニー株式会社 カメラ装置及び監視システム
US20070211154A1 (en) * 2006-03-13 2007-09-13 Hesham Mahmoud Lens vignetting correction algorithm in digital cameras
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
JP2008072565A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 撮像装置及び欠陥画素補正方法
JP5034429B2 (ja) 2006-10-16 2012-09-26 ソニー株式会社 レンズ装置、撮像装置及び収差補正方法
JP2008147956A (ja) * 2006-12-08 2008-06-26 Canon Inc 映像信号処理装置及び方法、並びにプログラム及び記録媒体
WO2008081575A1 (ja) * 2006-12-27 2008-07-10 Nikon Corporation 歪曲補正方法、歪曲補正装置、歪曲補正プログラム、及びディジタルカメラ
WO2008156050A1 (ja) * 2007-06-21 2008-12-24 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置、画像処理システム、電子カメラおよび電子機器
JP5483829B2 (ja) * 2008-05-19 2014-05-07 キヤノン株式会社 情報供給装置、レンズ装置、カメラ装置及び撮影システム
JP2010268426A (ja) * 2009-04-15 2010-11-25 Canon Inc 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2011135569A (ja) 2011-07-07
EP2328343B1 (en) 2017-04-19
CN103647898B (zh) 2017-03-01
CN103647898A (zh) 2014-03-19
CN102082902B (zh) 2013-10-23
EP2328343A2 (en) 2011-06-01
US8355058B2 (en) 2013-01-15
US20110128406A1 (en) 2011-06-02
EP2328343A3 (en) 2015-10-21
CN102082902A (zh) 2011-06-01

Similar Documents

Publication Publication Date Title
JP5656579B2 (ja) 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム
JP5347707B2 (ja) 撮像装置および撮像方法
JP4556995B2 (ja) 撮像装置及びその露出制御方法、露出制御プログラム
JP5123137B2 (ja) 撮像装置および撮像方法
JP2003224769A (ja) デジタルカメラ
JP2017022610A (ja) 画像処理装置、画像処理方法
JP5458937B2 (ja) 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP5223686B2 (ja) 撮像装置および撮像方法
JP6468868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4475165B2 (ja) 撮像装置、露出制御方法及びプログラム
JP5277863B2 (ja) 撮像装置および撮像方法
JP5948997B2 (ja) 撮像装置及び撮像方法
JP2011049641A (ja) 撮影装置、その制御方法、及びプログラム
JP5091781B2 (ja) 撮像装置および撮像方法
JP6795961B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP7086155B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP7214484B2 (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP2020036162A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5145876B2 (ja) 撮像装置および撮像方法
JP5091734B2 (ja) 撮像装置および撮像方法
JP2009089358A (ja) 撮像装置および撮像方法
JP2005311843A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R151 Written notification of patent or utility model registration

Ref document number: 5656579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151