JP6669385B2 - 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置 - Google Patents

撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置 Download PDF

Info

Publication number
JP6669385B2
JP6669385B2 JP2015221776A JP2015221776A JP6669385B2 JP 6669385 B2 JP6669385 B2 JP 6669385B2 JP 2015221776 A JP2015221776 A JP 2015221776A JP 2015221776 A JP2015221776 A JP 2015221776A JP 6669385 B2 JP6669385 B2 JP 6669385B2
Authority
JP
Japan
Prior art keywords
image
image processing
captured
unit
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015221776A
Other languages
English (en)
Other versions
JP2017092749A (ja
JP2017092749A5 (ja
Inventor
奥山 敦
奥山  敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015221776A priority Critical patent/JP6669385B2/ja
Publication of JP2017092749A publication Critical patent/JP2017092749A/ja
Publication of JP2017092749A5 publication Critical patent/JP2017092749A5/ja
Application granted granted Critical
Publication of JP6669385B2 publication Critical patent/JP6669385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理により撮影画像のブレ補正が可能な撮像装置に関する。
特許文献1には、点像分布関数(劣化関数)を用いて撮影画像の画像処理を行うことにより、撮影画像のブレ補正を行うブレ補正カメラが開示されている。
特開2004−205799号公報
しかしながら、特許文献1に開示されたブレ補正カメラは、振動を検出する振動検出部(光学防振のためのブレセンサ)からの振動検出信号に基づいて、点像分布関数(劣化関数)を演算(推定)する。このため、実際に画像に残存する劣化と推定した劣化とが互いに一致せず、適切なブレ補正を行うことができない場合がある。
一方、画像処理により撮影画像のブレ補正を行うことが考えられるが、ブレ補正のための画像処理には多くの時間を要し、また適切なブレ補正を行うことができない場合もある。
そこで本発明は、撮影画像の画像処理により短時間で適切なブレ補正が可能な撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置を提供する。
本発明の一側面としての撮像装置は、焦点検出領域に関する情報を取得し、該焦点検出領域に関してフォーカス制御を行うフォーカス制御部と、撮影画像を出力する撮像素子と、入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行う画像処理部とを有し、前記画像処理部は、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、前記画像処理部は、前記撮影画像が、レンズまたは前記撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わない
本発明の他の側面としての画像処理方法は、撮影画像および該撮影画像における焦点検出領域の位置に関する情報を取得するステップと、入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行うステップとを有し、前記画像処理を行うステップにおいて、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、前記撮影画像が、レンズまたは撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わない
本発明の他の側面としてのプログラムは、前記画像処理方法を、コンピュータに実行させる
本発明の他の側面としてのコンピュータで読み取り可能な記憶媒体は、前記プログラムを記憶している。
本発明の他の側面としての画像処理装置は、撮影画像および該撮影画像における焦点検出領域の位置に関する情報を取得する取得部と、入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行う画像処理部と、を有し、前記画像処理部は、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、前記画像処理部は、前記撮影画像が、レンズまたは撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わない

本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、撮影画像の画像処理により短時間で適切なブレ補正が可能な撮像装置、画像処理方法、プログラム、記憶媒体、画像処理装置を提供することができる。
各実施例における撮像装置のブロック図である。 実施例1におけるブレ補正方法を示すフローチャートである。 各実施例における部分領域の決定方法の説明図である。 各実施例における劣化関数の一例を示す図である。 実施例2におけるブレ補正方法を示すフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、図1を参照して、本発明の実施例1における撮像装置の構成について説明する。図1は、本実施例における撮像装置100のブロック図である。
撮像装置100は、撮像レンズ部1(撮像光学系)と、撮像センサ12(撮像素子)を有する撮像装置本体とが一体的に構成されたデジタルカメラである。ただし本実施例は、これに限定されるものではなく、撮像装置本体と、撮像装置本体に着脱可能な撮像光学系(レンズ装置)とにより構成される一眼レフカメラ(撮像システム)にも適用可能である。
撮像レンズ部1は、撮像センサ12の受光面に被写体像(光学像)を結像(形成)するための光学系(レンズ)である。ピント状態検知部2(焦点検出部)は、撮像センサ12から出力された信号(A/D変換部13を介した信号)に基づいて、像の鮮鋭度を算出し、撮像レンズ部1による撮像センサ12上の光学像のピント状態(焦点状態)を検知する。フォーカスレンズ駆動部3は、不図示のアクチュエータなどにより撮像レンズ部1の全部または一部のレンズを光軸OAの方向(光軸方向)に駆動する。フォーカス駆動制御部4は、ピント状態検知部2により検知されたピント情報(ピント状態に関する情報)に基づき、システム制御部19による制御に従って、フォーカスレンズ駆動部3を制御する。
ズームレンズ駆動部5は、不図示のアクチュエータなどにより撮像レンズ部1の一部のレンズを光軸方向に駆動する。ズーム駆動制御部6は、操作部24からの情報(ユーザの指示)に基づき、システム制御部19による制御に従って、ズームレンズ駆動部5を制御する。
手ブレ検知部7は、角度センサなどを用いて、ユーザの手ブレの状態を検知し、手ブレの状態に関する手ブレ情報をシステム制御部19に出力する。防振レンズ駆動部8は、不図示のアクチュエータなどにより撮像レンズ部1の一部のレンズを光軸OAに垂直な方向に駆動する。防振駆動制御部9は、手ブレ検知部7からの手ブレ情報に基づき、システム制御部19による制御に従って、防振レンズ駆動部8を制御する。本実施例において、物理的な防振制御は、レンズを駆動する光学防振により行われるが、レンズを駆動する代わりに撮像センサ12を光軸OAに垂直な方向に駆動するセンサ防振により行ってもよい。
絞り駆動部10は、不図示のアクチュエータなどにより撮像レンズ部1内に設けられた開口絞り26の開閉動作を行う。絞り駆動制御部11は、システム制御部19による制御に従って、絞り駆動部10を制御する。
撮像センサ12は、例えばCMOS型のイメージセンサなどを備えて構成され、撮像レンズ部1を介して形成された被写体像(光学像)を光電変換して画像信号(撮影画像)を出力する。撮像センサ12は、タイミングジェネレータ16から供給されるクロックパルスに従って、一定時間ごとに被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ画像信号として順次、A/D変換部13に出力する。A/D変換部13は、タイミングジェネレータ16から供給されるクロックパルスに従ってA/D変換処理を行い、アナログ画像信号をデジタル画像信号に変換する。A/D変換部13から出力されたデジタル画像信号は、ピント状態検知部2および画像修復部14に供給される。
画像修復部14は、撮像センサ12の画素ごとのノイズや欠陥を補修する画像処理を行い、画像処理後の画像データをいわゆるRAWデータとして現像処理部15へ出力する。現像処理部15は、各画素について色補間処理により画像信号を生成し、所定のダイナミックレンジの範囲のデジタル撮像信号として画像処理部18へ出力する。色補間処理では、撮像センサ12のカラーフィルタ構造に対応して全画素にRGB情報が割り当てられるように色でコード処理が施される。タイミングジェネレータ16は、システム制御部19による制御に従って、一定時間ごとにクロックパルスを撮像センサ12とA/D変換部13とにそれぞれ供給する。
画像記憶部17は、現像処理部15により生成されるデジタル撮像信号、および、画像処理部18により生成される画像データを一時的に記憶する。画像処理部18は、システム制御部19による制御に従って、画像記憶部17に記憶されたデジタル撮像信号に対して、ホワイトバランス補正処理、γ補正処理、YC変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とを含む記録用画像が生成される。
システム制御部19は、CPUと、CPUが実行する制御プログラムを格納するROM(いずれも図示せず)を含み、撮像装置100の全体の処理を制御する。画像処理作業部20は、システム制御部19が各処理を実行する際に作業領域として機能する。メモリ部21は、画像処理に用いられる種々の情報を一時的に記憶する。画像表示制御部22は、システム制御部19による制御に従って、画像記憶部17や画像記録部25に記憶されている記録用画像データをアナログ信号に変換し、液晶ディスプレイなどの画像表示部23に出力する。画像表示部23は、画像表示制御部22から供給されるアナログ信号に対応する画像として、記録用画像を表示する。
操作部24は、各種の操作ボタンやタッチパネルなどを含み、ユーザからの操作を受け付ける。操作部24は、ユーザから受け付けた操作に対応する信号を、システム制御部19に出力する。システム制御部19は、操作部24から出力された信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。画像記録部25は、例えば撮像装置100に着脱可能なメモリーカードであり、画像処理部18により生成された記録用画像データを記録する。
次に、図2を参照して、本実施例におけるブレ補正方法について説明する。図2は、本実施例におけるブレ補正方法を示すフローチャートである。図2の各ステップは、システム制御部19の指令に基づいて、ピント状態検知部2、撮像センサ12、画像処理部18、および、画像記録部25などの各部により実行される。
撮影待機状態の際に、まずステップS1において、ユーザは、例えば操作部24(タッチパネル)を用いて、ピントを合わせるためのAF位置(焦点検出位置または焦点検出領域)を選択する。なお本実施例において、システム制御部19は、撮像レンズ部1を介して得られた画像に基づいて(画像を解析して)、AF位置を自動的に選択(決定)してもよい。続いてステップS2において、システム制御部19は、画像におけるAF位置の座標(座標データ)をメモリ部21に記憶する。
続いてステップS3において、システム制御部19は、ピント状態に関する情報(ピント状態検知部2からの出力信号)に基づき、フォーカス駆動制御部4を用いて被写体にピントを合わせる(フォーカス制御を行う)。そしてステップS4において、システム制御部19は、絞り駆動制御部11を用いて開口絞り26の絞り径を設定し、撮像センサ12から撮影画像としての画像データ(画像信号)を読み出す。読み出された画像データは、A/D変換部13、画像修復部14、および、現像処理部15を介して、画像記憶部17に記憶される。
続いてステップS5において、システム制御部19は、撮像装置100の防振モードを確認(判定)する。物理的な防振(防振モード)がオフの場合、ステップS12へ進む。ステップS12において、システム制御部19は、ステップS4にて記憶した画像データを画像記録部25に保存し、撮影待機状態に戻る。一方、ステップS5にて防振モードがオンの場合、ステップS6へ進む。
ステップS6において、システム制御部19は、ステップS2にて記憶したAF位置の座標データに基づいて、ステップS4にて取得した撮影画像における所定の領域(部分領域)の画像データを、画像記憶部17に保存された撮影画像(画像データ)から切り出す。本実施例では、撮影画像の画像データから、撮影画像の部分領域に関する画像データを切り出して複製する。
続いてステップS7において、システム制御部19は、撮影画像の部分領域に関する画像データ(画像信号)に基づいて、例えばRichardson−Lucy法により手ブレ(撮影画像のブレ)に関する劣化関数を推定(決定)する。そしてステップS8において、システム制御部19は、推定された劣化関数をメモリ部21に保存する。
続いてステップS9において、システム制御部19は、劣化関数をフーリエ変換して、手ブレ(撮影画像のブレ)を補正(低減)するためのフィルタ(補正フィルタ)を生成する。生成されたフィルタは、メモリ部21に保存される。そしてステップS10において、システム制御は、ステップS9にて生成した補正フィルタを、画像記憶部17に記憶されている画像(画像データ)に適用し、画像処理によるブレ補正(手ブレ補正処理)を行う。この画像処理は、例えば、画像記憶部17に記憶された画像データを画像記憶部17から画像処理作業部20へ読み込んで実行される。最後に、ステップS11において、システム制御部19は、ブレ補正された画像(補正画像データ)を画像記録部25に保存し、撮影待機状態に戻る。なお、ステップS11において、画像記録部25に補正前の画像データおよび補正画像データの両方を保存してもよい。
次に、図3を参照して、劣化関数を推定するために用いられる撮影画像の部分領域(所定の領域)の決定方法について説明する。図3は、部分領域の決定方法の説明図である。図3の画像において、実線の矩形Aは、撮影の際にフォーカス制御を行うためのAF位置(焦点検出領域)である。このとき、AF位置の座標は矩形Aの中心点の座標である。破線の矩形Bは、劣化関数を推定するために用いられる(切り出される)部分領域である。本実施例において、矩形Bは、AF位置の座標を中心とした矩形であり、任意の大きさに設定可能である。
なお、撮像装置100(システム制御部19)は、焦点検出領域(に関する情報)として複数の焦点検出領域(に関する情報)を取得した場合、複数の焦点検出領域を含むように部分領域を設定する。また撮像装置100は、複数の焦点検出領域(に関する情報)を取得した場合、複数の焦点検出領域ごとに重み付けを行って部分領域の位置を設定することもできる。この重み付けは、ユーザにより任意に設定することができ、また、システム制御部19が撮影画像に基づいて自動的に設定してもよい。また、複数の焦点検出領域のそれぞれに対応する複数の部分領域を設定してもよい。この場合、複数の部分領域のそれぞれに対応する劣化関数を推定し、複数の劣化関数を用いて撮影画像の画像処理を行う。
手ブレ(撮影画像のブレ)による画像の劣化は、以下の式(1)のように表すことができる。
g=f*h … (1)
式(1)において、gはブレ画像(手ブレ画像)、fはブレのない原画像、hはブレに関する劣化関数(点像強度分布:PSF)、*は畳込み演算である。
そして、ブレ画像gから回帰的に未知の原画像fおよび劣化関数hを推定する。本実施例では、Richardson−Lucy法を用いて推定を行うが、これに限定されるものではない。Richardson−Lucy法の基本式は、以下の式(2)のように表される。
式(2)において、x,yは画像の座標、nは回帰計算の回数を示している。
本実施例では、初期の劣化関数を適当な大きさの一次元分布として与え、所定の回数計算を繰り返して、推定劣化関数h’を求める。図4は、劣化関数の一例を示す図であり、5×5の画素からなる2次元の領域の中央部に1×3の領域に所定の画素値を有する一次元分布を示している。本実施例では、このような分布を初期劣化関数として利用する。
ここで、図2のステップS10における手ブレ補正処理の原理について説明する。式(1)中の劣化関数hの代わりに、推定劣化関数h’を用いる。そして、式(1)の両辺をフーリエ変換する(すなわち、周波数領域に変換する)と、以下の式(3)が成立する。
G=F・H’ … (3)
式(3)の両辺をH’で割ると、式(3)は以下の式(4)のように表される。
F=G/H’ … (4)
この結果、原画像fをフーリエ変換したFを生成することができる。そして、式(4)で求めたFを逆フーリエ変換すると、式(1)中の原画像fを求めることができる。なお、劣化関数を矩形関数とすると、補正フィルタは0値を有することになるため、劣化関数を矩形関数とせずにエッジ部分を鈍らせることが好ましい。
本実施例では、未知の劣化関数hを求めるためにRichardson−Lucy法を用いる。一般的に、Richardson−Lucy法は、繰り返し計算を行うために計算コストが高い。しかし本実施例では、計算領域をAF位置の近傍の切り出し領域(焦点検出領域に対応する部分領域)に限定することにより、画像の全体から劣化関数を推定するよりも計算時間を短縮することができる。また、焦点検出領域(AF位置)に対応する部分領域の画像は、ピントを合わせたい被写体画像であるため、高周波を含む画像であり、計算が収束しやすい。このため、計算時間を更に短縮することが可能となる。
なお本実施例では、2次元の劣化関数を回帰計算で求めているが、更に時間を短縮するため、画像の一次元方向(例えばx方向またはy方向)の2つの劣化関数を求めた後に2つの成分を合成して2次元化する方法を採用してもよい。
次に、本発明の実施例2について説明する。本実施例は、ブレ補正タイミングが撮像タイミングとは異なる点で、撮影画像を取得した際にブレ補正を行う実施例1とは異なる。なお、本実施例の撮像装置の基本構成は、図1を参照して説明した撮像装置100と同様である。
図5を参照して、本実施例におけるブレ補正方法について説明する。図5は、本実施例におけるブレ補正方法を示すフローチャートである。図5の各ステップは、システム制御部19の指令に基づいて、ピント状態検知部2、撮像センサ12、画像処理部18、および、画像記録部25などの各部により実行される。
図5において、ステップS21〜S24は、図2を参照して説明した実施例1のステップS1〜S4とそれぞれ同様である。続いてステップS25において、システム制御部19は、画像記憶部17に記憶した画像データとメモリ部21に記憶したAF位置の座標とを読み出す。そしてシステム制御部19は、画像データおよびAF位置の座標のそれぞれを関連付けてこれらを画像記録部25に保存し、撮影待機状態に戻る。このように本実施例では、撮影の際には、ブレ補正を行うことなく撮影画像(ブレ補正の未処理画像)を記憶する。
撮像装置100の待機状態の際に、まずステップS30において、システム制御部19は、ブレ補正の未処理画像があるか否か、例えば画像記録部25にブレ補正の未処理画像が記憶されているか否かを判定する。ここで、ブレ補正の未処理画像がない場合、ステップS32へ進み、本フローは終了する。一方、ブレ補正の未処理画像がある場合、ステップS31へ進む。
ステップS31において、システム制御部19は、画像記録部25に保存された画像(画像データおよび画像データに関連付けられたAF位置の座標)を読み出し、読み出した画像を画像記憶部17に記憶する。続いてステップS32において、システム制御部19は、画像記憶部17に記憶された画像からAF位置の座標(座標データ)を読み出す。続くステップS33〜S38は、図2を参照して説明した実施例1のステップS6〜S11とそれぞれ同様である。
本実施例では、撮影動作タイミングと手ブレ補正動作タイミングとを分離する。これにより、撮影の際にブレ補正処理のための画像処理に要する時間を考慮する必要がない。このため、例えば、ブレ補正処理のための画像処理時間を待つことなく連続撮影を高速に実行することができる。なお本実施例では、画像データとAF位置の座標データとを関連付けた上でそれぞれのデータを別に記憶しているが、これに限定されるものではない。例えば、AF位置の座標データを画像データに付帯させて画像のみを保存するように構成してもよい。
このように各実施例において、撮像装置100は、フォーカス制御部(フォーカス駆動制御部4、システム制御部19)、撮像素子(撮像センサ12)、および、画像処理部(画像処理部18、システム制御部19)を有する。フォーカス制御部は、焦点検出領域(AF位置)に関する情報を取得し、焦点検出領域に関してフォーカス制御を行う。撮像センサ12は、画像(被写体像)を撮影して撮影画像の画像データ(撮影画像データ)を出力する。画像処理部は、撮影画像の部分領域の画像データに基づいて決定された劣化関数を用いて、撮影画像のブレを低減するように撮影画像の画像処理を行う。また画像処理部は、部分領域の位置を焦点検出領域の位置に応じて変更する。
好ましくは、画像処理部は、部分領域を、撮影画像のうち焦点検出領域に対応する位置に設定する。また好ましくは、画像処理部は、焦点検出領域を含むように部分領域を設定する。また好ましくは、画像処理部は、劣化関数を用いて、撮影画像の全体に対して画像処理を行う。また好ましくは、撮像装置100は、劣化関数に基づいて、ブレを低減するためのフィルタ(補正フィルタ)を生成するフィルタ生成部(システム制御部19)を有する。そして画像処理部は、生成されたフィルタを用いて撮影画像の画像処理を行う。
好ましくは、撮像装置100は、撮像光学系(撮像レンズ部1)の光軸OAに垂直な成分を持つ方向にレンズ(補正レンズ)を移動可能な光学防振部(防振レンズ駆動部8、防振駆動制御部9)を有する。そして画像処理部は、光学防振部により低減されたブレを更に低減するように、撮影画像の画像処理を行う。また好ましくは、撮像装置100は、撮像光学系の光軸に垂直な方向に撮像素子(撮像センサ12)を移動可能な防振部を有する。そして画像処理部は、防振部により低減されたブレを更に低減するように、撮影画像の画像処理を行う。
好ましくは、撮像装置100は、画像処理を行う前の撮影画像(撮影画像データ)と焦点検出領域の位置(座標データ)とを関連付けて記憶する記憶部(画像記憶部17、画像記録部25)を有する。そして画像処理部は、撮像装置の待機状態中に、記憶部から読み出された撮影画像と焦点検出領域の位置とに基づいて、撮影画像の画像処理を行う。ここで待機状態とは、一連の撮影動作タイミングとは別のタイミングを意味する。待機状態は、例えば、画像処理前の撮影画像を記憶部に保存した後であって、システム制御部19に負荷がかかっておらず画像処理を円滑に実行可能な期間または状態を意味する。また好ましくは、撮像装置100は、焦点検出領域の位置を付帯した、画像処理を行う前の撮影画像を記憶する記憶部(画像記憶部17、画像記録部25)を有する。そして画像処理部は、撮像装置の待機状態中に、記憶部から読み出された撮影画像の画像処理を行う。好ましくは、劣化関数は、点像強度分布(PSF)である。また好ましくは、画像処理部は、フォーカス制御部が焦点検出領域に関する情報として複数の焦点検出領域に関する情報を取得した場合、複数の焦点検出領域を含むように部分領域を設定する。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例によれば、撮影画像の画像処理により短時間で適切なブレ補正が可能な撮像装置、ブレ補正方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
4 フォーカス駆動制御部
12 撮像センサ
18 画像処理部
19 システム制御部
100 撮像装置

Claims (16)

  1. 焦点検出領域に関する情報を取得し、該焦点検出領域に関してフォーカス制御を行うフォーカス制御部と、
    撮影画像を出力する撮像素子と、
    入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行う画像処理部と、を有し、
    前記画像処理部は、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、
    前記画像処理部は、前記撮影画像が、レンズまたは前記撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わないことを特徴とする撮像装置。
  2. 前記画像処理部は、前記部分領域を、前記入力画像のうち前記焦点検出領域に対応する位置に設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記画像処理部は、前記焦点検出領域を含むように前記部分領域を設定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記画像処理部は、前記劣化関数を用いて、前記入力画像の全体に対して前記画像処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記劣化関数に基づいて、前記ブレを低減させるためのフィルタを生成するフィルタ生成部を更に有し、
    前記画像処理部は、前記フィルタを用いて前記入力画像の前記画像処理を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 撮像光学系の光軸に垂直な成分を持つ方向にレンズを移動可能な光学防振部を更に有することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 撮像光学系の光軸に垂直な成分を持つ方向に前記撮像素子を移動可能な防振部を更に有することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  8. 前記画像処理を行う前の前記撮影画像と前記焦点検出領域の位置とを関連付けて記憶する記憶部を更に有し、
    前記画像処理部は、前記撮像装置の待機状態中に、前記記憶部から読み出された前記撮影画像と前記焦点検出領域の前記位置とに基づいて、前記画像処理を行うことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記焦点検出領域の位置を付帯した、前記画像処理を行う前の前記撮影画像を記憶する記憶部を更に有し、
    前記画像処理部は、前記撮像装置の待機状態中に、前記記憶部から読み出された前記撮影画像に基づいて前記画像処理を行うことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記劣化関数は、点像強度分布であることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記画像処理部は、前記フォーカス制御部が前記焦点検出領域に関する情報として複数の焦点検出領域に関する情報を取得した場合、該複数の焦点検出領域を含むように前記部分領域を設定することを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 撮影画像および該撮影画像における焦点検出領域の位置に関する情報を取得するステップと、
    入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行うステップと、を有し、
    前記画像処理を行うステップにおいて、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、前記撮影画像が、レンズまたは撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わないことを特徴とする画像処理方法。
  13. 焦点検出領域に関する情報を取得し、該焦点検出領域に関してフォーカス制御を行うステップと、
    前記撮影画像を撮影して取得するステップと、
    を更に有することを特徴とする請求項12に記載の画像処理方法。
  14. 請求項12または13に記載の画像処理方法を、コンピュータに実行させることを特徴とするプログラム。
  15. 請求項14に記載のプログラムを記憶していることを特徴とするコンピュータで読み取り可能な記憶媒体。
  16. 撮影画像および該撮影画像における焦点検出領域の位置に関する情報を取得する取得部と、
    入力画像の部分領域に基づいて決定された劣化関数を用いて、前記入力画像のブレを低減させるように前記入力画像の画像処理を行う画像処理部と、を有し、
    前記画像処理部は、前記部分領域の位置を前記入力画像における前記焦点検出領域の位置に応じて変更し、
    前記画像処理部は、前記撮影画像が、レンズまたは撮像素子を駆動することにより手振れを低減する防振モードをオンにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行い、前記撮影画像が前記防振モードをオフにされて撮影された画像である場合には前記撮影画像を前記入力画像とした前記画像処理を行わないことを特徴とする画像処理装置。
JP2015221776A 2015-11-12 2015-11-12 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置 Active JP6669385B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221776A JP6669385B2 (ja) 2015-11-12 2015-11-12 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221776A JP6669385B2 (ja) 2015-11-12 2015-11-12 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置

Publications (3)

Publication Number Publication Date
JP2017092749A JP2017092749A (ja) 2017-05-25
JP2017092749A5 JP2017092749A5 (ja) 2018-12-27
JP6669385B2 true JP6669385B2 (ja) 2020-03-18

Family

ID=58769143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221776A Active JP6669385B2 (ja) 2015-11-12 2015-11-12 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置

Country Status (1)

Country Link
JP (1) JP6669385B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4420921B2 (ja) * 2006-11-10 2010-02-24 三洋電機株式会社 撮像装置
JP4454657B2 (ja) * 2007-01-12 2010-04-21 三洋電機株式会社 ぶれ補正装置及び方法、並びに撮像装置
JP2008236289A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 撮像装置
JP2008271529A (ja) * 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置
JP2009260622A (ja) * 2008-04-16 2009-11-05 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
JP2017092749A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP5226600B2 (ja) 画像変形装置およびその動作制御方法
US8422827B2 (en) Image correction apparatus and image correction method
KR20130018330A (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
JP2011135563A (ja) 撮像装置および画像処理方法
US20180041716A1 (en) Imaging apparatus and control method therefor
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2008209577A (ja) カメラ
JP6432038B2 (ja) 撮像装置
JP2006080844A (ja) 電子カメラ
JP2006332809A (ja) 撮像装置
JP6669385B2 (ja) 撮像装置、画像処理方法、プログラム、記憶媒体、および、画像処理装置
JP5760654B2 (ja) 画像処理装置、画像処理方法及びプログラム
RU2761187C1 (ru) Устройство обработки изображения и устройство захвата изображения
JP2020008785A (ja) 撮像装置
JP2015204566A (ja) カメラシステム
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20160063683A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium which perform image restoration processing
JP2011176542A (ja) カメラおよび画像合成プログラム
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP6468751B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11736658B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP2018151415A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP5663989B2 (ja) 撮像装置、および画像合成プログラム
JP6687210B1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6669385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151