JP6104010B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 Download PDF

Info

Publication number
JP6104010B2
JP6104010B2 JP2013063170A JP2013063170A JP6104010B2 JP 6104010 B2 JP6104010 B2 JP 6104010B2 JP 2013063170 A JP2013063170 A JP 2013063170A JP 2013063170 A JP2013063170 A JP 2013063170A JP 6104010 B2 JP6104010 B2 JP 6104010B2
Authority
JP
Japan
Prior art keywords
image
partial area
correction
imaging
correction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013063170A
Other languages
English (en)
Other versions
JP2014192528A5 (ja
JP2014192528A (ja
Inventor
法人 日浅
法人 日浅
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2013063170A priority Critical patent/JP6104010B2/ja
Publication of JP2014192528A publication Critical patent/JP2014192528A/ja
Publication of JP2014192528A5 publication Critical patent/JP2014192528A5/ja
Application granted granted Critical
Publication of JP6104010B2 publication Critical patent/JP6104010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3572Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process

Description

本発明は、撮影画像の画像回復処理を行う撮像装置に関する。

近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。しかし、光学系による収差や回折の影響により、撮影画像の画質は劣化する。一方、ウィナーフィルタなどの劣化に対する逆フィルタを撮影画像へ作用させて撮影画像の画質を向上させる方法(画像補正方法)が提案されている。しかし、逆フィルタを用いた画像補正方法では、MTF(Modulation Transfer Function)が小さい周波数成分を回復することはできない。

特許文献1には、光学系に位相変調素子を挿入することにより、深度方向に対するMTFの低下を軽減する方法が開示されている。また特許文献2には、学習を用いた超解像によって失われた周波数成分を回復させ、画像から動きブレやピントずれによるボケを除去する方法が開示されている。

WO2007/074649 特許第4872862号

しかしながら、特許文献1に開示された方法は、ピントのずれた領域におけるMTFの低下を軽減する方法であり、ピント位置においてその効果を得ることはできない。すなわち、特許文献1は被写界深度の拡大を目的としているに過ぎず、収差や回折の影響によりMTFが小さい周波数成分を回復することはできない。また、撮影時に位相変調素子を挿入して構成された特殊な光学系が必要となるため、既に撮影された画像を補正することはできない。また、特許文献2に開示された方法は、動きブレやピントずれによるボケの除去が目的であるため、同様に収差や回折の影響によりMTFが小さい周波数成分を回復することはできない。

そこで本発明は、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する画像処理装置であって、前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記画像処理装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする

本発明の他の側面としての撮像装置は、撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する撮像装置であって、前記撮像装置は、前記撮像光学系を介して前記第1画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記撮像装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする

本発明の他の側面としての画像処理方法は、撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する画像処理方法であって、前記画像処理方法は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする

本発明の他の側面としての画像処理プログラムは、コンピュータに、撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する処理を実行させる画像処理プログラムであって、前記処理は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例1における撮像装置のブロック図である。 実施例1における撮像装置の外観図である。 実施例1乃至3における劣化関数の効果の説明図である。 実施例1乃至3における画像処理方法(補正情報算出方法)のフローチャートである。 実施例1乃至3における劣化関数の変数空間の説明図である。 実施例1乃至3における歪曲収差の影響の説明図である。 実施例1乃至3におけるクラスタリング(補正情報のテーブル)の説明図である。 実施例1乃至3における画像処理方法(画像補正方法)のフローチャートである。 実施例2における画像処理システムのブロック図である。 実施例2における画像処理システムの外観図である。 実施例3における撮像システムのブロック図である。 実施例3における撮像システムの外観図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図1および図2を参照して、本発明の実施例1における撮像装置について説明する。図1は、本実施例における撮像装置100のブロック図である。図2は、撮像装置100の外観図である。撮像装置100は、撮像光学系を介して得られた第1画像(撮影画像)から第2画像(回復画像)を生成するように構成されている。

本実施例の撮像装置100は、収差や回折で失われた周波数成分の回復(復元)に用いられる補正情報を取得する工程(第1の工程)、および、この補正情報を用いて画像回復処理を行う工程(第2の工程)を含む画像処理方法を実行することができる。本実施例において、第1の工程は、撮影前に(撮影画像の取得前に)、画像処理部103の補正情報算出部104により実行される。第2の工程は、撮影画像(第1画像)に対して、画像処理部103の画像補正部105により実行される。

補正情報算出部104は、記憶部106に保存された参照画像、および、画像取得部101の光学特性に応じた劣化関数に基づいて、撮影前に補正情報を算出する。ここで参照画像とは、収差や回折の影響が小さく、種々の周波数成分を含む画像である。なお、補正情報算出部104による補正情報の詳細な算出方法に関しては後述する。

補正情報算出部104により算出された補正情報は、記憶部106に記憶される。ただし、参照画像や劣化関数の読み込み、または、補正情報の保存の際に、半導体メモリなどで構成された画像記録媒体108を用いてもよい。また、補正情報算出部104による処理を撮像装置100とは別の装置(外部装置)で実行し、その装置により算出された補正情報を記憶部106または画像記録媒体108に記憶するように構成してもよい。また、補正情報算出部104による補正情報の算出は、一度だけ実行すればよい。ただし本実施例はこれに限定されるものではなく、補正情報の算出を、参照画像や劣化関数を変更して定期的に行うようにすることもできる。

本実施例において、画像取得部101は、結像光学系(撮像光学系)および撮像素子を有する。撮像素子は、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal−Oxide Semiconductor)センサなどを備えて構成される。このような構成により、画像取得部101は、撮像光学系を介して第1画像(撮影画像)を取得する。また、画像取得部101は、結像光学系の他に、撮像素子の画素に配置されたマイクロレンズなどを含んでもよい。また劣化関数とは、例えば、点像分布関数PSF(Point Spread Function)や光学伝達関数OTF(Optical Transfer Function)などである。

撮影の際に、画像取得部101に入射した光は、結像光学系により集光され、撮像素子によりアナログ電気信号に変換される。A/Dコンバータ102は、撮像素子により光電変換されて生成されたアナログ電気信号をデジタル信号に変換し、このデジタル信号を画像処理部103に出力する。画像処理部103は、A/Dコンバータ102から入力されたデジタル信号(像信号)に対して所定の画像処理を行う。

画像処理部103の画像補正部105は、補正情報を用いた周波数成分の回復(画像回復処理)を行う。画像補正部105は、画像回復処理を行う際に、状態検知部111により取得された画像取得部101の撮影条件情報を用いる。撮影条件情報とは、撮影時における撮像装置100の状態であり、例えば、絞りの状態、フォーカス位置、または、ズームレンズにおける焦点距離である。状態検知部111は、撮影条件情報をシステムコントローラ109または駆動制御部110から取得するように構成される。

画像処理部103(画像補正部105)で処理(補正)された画像は、画像記録媒体108に所定のフォーマットで保存される。この際、同時に、画像記録媒体108に撮影条件情報を保存してもよい。画像記録媒体108に保存された画像を鑑賞する際には、この画像が液晶ディスプレイなどの表示部107に出力される。

以上に述べた一連の制御は、システムコントローラ109により行われる。また、画像取得部101の機械的な駆動は、システムコントローラ109の指令に基づいて駆動制御部110により行われる。

続いて、画像処理部103の補正情報算出部104および画像補正部105により行われる画像処理方法について詳述する。最初に、補正情報の算出方法およびその算出方法を用いた周波数成分の回復(復元)の概略について説明し、その後に具体的な画像処理方法について説明する。

まず、参照画像の画素信号値を劣化画像の画素信号値の線型結合で表すことを考える。ここで劣化画像とは、劣化関数の作用により参照画像が劣化した画像(劣化画像)である。本実施例において、線型結合に用いられる劣化画像の画素は、劣化関数に基づいて決定される。

図3は、本実施例における劣化関数の効果の説明図である。本実施例において、例えば図3(A)に示される参照画像の注目画素(斜線部)に関して考える。この注目画素に対して、図3(A)中の破線で示される円の拡がりを有する劣化関数(本実施例では、PSF)を作用させると、注目画素の信号値は図3(B)中の斜線領域に分散される。すなわち、図3(B)中の斜線領域には、図3(A)に示される注目画素に関する情報が含まれている。

このため本実施例では、図3(B)の斜線領域に含まれる画素信号値の線型結合により、注目画素の信号値を表す。ここで、図3(B)中の斜線領域を劣化画像の部分領域という。ただし、劣化画像の部分領域の大きさおよび形状は、これに限定されるものではない。例えば、PSFの周辺部で強度が極端に小さい場合、PSFの周辺部は劣化画像の部分領域から除いてもよい。

参照画像の注目画素の信号値yは、劣化画像の部分領域における画素信号値を用いて、以下の式(1)のように表される。

式(1)において、xは劣化画像の部分領域に含まれる各画素の信号値、wは各画素に対する係数である。

次に、同一の参照画像において注目画素を変更し、同様に劣化画像の部分領域を抽出する。それらの注目画素の1つ1つに対して、式(1)で表される関係式を個別に立てていく。このとき、係数wは各関係式によって異なる値となる。しかし、劣化画像の部分領域に類似性のあるもの同士は、係数wが近い値を有する。そこで、劣化画像の部分領域の類似性が高いものを集めて、クラスタ(データの集合体)を生成する。類似性の判定方法に関しては、後述する。これにより、類似性の高いデータが集合した複数のクラスタが生成される。同一のクラスタ内では、係数wが近い値を有するため、これらを共通化して連立方程式にすると、以下の式(2)のように表される。

式(2)において、imaxはあるクラスタに含まれるデータ数、jmaxは部分領域内の画素数、eは係数を共通化したことによりi番目のデータに生じた誤差である。

また、式(2)は、以下の式(3)のように表すこともできる。

式(3)において、Yは参照画像の注目画素における信号値を表す列ベクトル、Xは劣化画像の部分領域における各信号値を表す行列、Wは係数を表す列ベクトル、Eは誤差を表す列ベクトルである。

各クラスタにおいて、式(3)の誤差Eが最小となるように係数Wを決定することにより、各クラスタにおける補正情報を取得することができる。係数Wの決定方法の一例として、本実施例では最小二乗法による決定方法を用いるが、係数Wの決定方法はこれに限定されるものではない。最小二乗法では、e +e +…+eimax が最小となるように係数Wを選択する。このため、以下の式(4)が成り立つ。

また、式(3)より、以下の式(5)が成り立つ。

このため、式(4)および式(5)より、以下の式(6)が導かれる。

続いて、式(3)を以下の式(7)のように書き換える。

式(7)において、kは1からjmaxのいずれかの値である。式(7)は、式(6)を用いることにより、以下の式(8)のように変形される。

式(8)は正規方程式であり、jmax元連立1次方程式となる。式(8)を解くことにより、係数Wの最確値を取得することができる。そして、この値をクラスタに対する補正情報として保存する。

式(8)は、以下の式(9)のように書き換えることもできる。

式(8)において、行列Mの階数がjmax未満の場合、係数Wが正しく算出できないため、注意を要する。Mの階数が確保されるには、各クラスタ内にある程度のデータ数を格納する必要がある。

本実施例では、1つの劣化関数に関して係数Wを算出することについて説明したが、実際は様々な撮影条件ごとに係数Wを算出する。これは、劣化関数が、撮像装置100のズームや絞りの状態、画角、波長などに応じて変化するためである。各劣化関数に対してクラスタを生成し、同様の計算を行うことにより、補正情報を取得することができる。

次に、補正情報を用いて収差や回折により失われた周波数成分を回復(復元)する方法について説明する。本実施例において、画像取得部101で取得された画像(撮影画像)を第1画像とする。第1画像は、画像取得部101の収差や回折により劣化した画像である。

図3を参照して説明すると、第1画像は、本来図3(A)中の斜線の画素(注目画素)で取得される情報が、収差や回折によって図3(B)中の斜線領域(劣化画像の部分領域)へ分散している状態にある。このとき、図3(A)中の破線で示される円が、画像取得部101の収差や回折に相当する。そこで、第1画像(撮影画像)を図3(A)の状態になるように回復(復元)することを考える。

前述と同様に、第1画像(撮影画像)内で部分領域を抽出する。そして、抽出した部分領域が補正情報算出時に生成した複数のクラスタのうちいずれのクラスタに属するかを探索し、その補正情報と部分領域の信号値を式(1)に代入する。これにより、収差や回折が補正された画素を生成することができる。クラスタの探索方法に関しては、後述する。これにより、MTFが非常に小さい周波数帯域の情報も回復することができる。これは、参照画像に基づいて、失われた周波数帯域の情報を含む係数W(補正情報)を算出することができるためである。

次に、図4を参照して、本実施例における画像処理部103(補正情報算出部104)により実行される画像処理方法(補正情報算出方法)について詳述する。図4は、本実施例における画像処理方法(補正情報算出方法)のフローチャートである。

まず、ステップS101において、画像処理部103(補正情報算出部104)は、参照画像を取得する。参照画像は、実写画像またはCG(Computer Graphics)のいずれを用いてもよい。ただし、参照画像には、種々のコントラストや周波数成分が含まれていることが望ましい。これは、補正情報が参照画像に基づいて算出されるためである。すなわち、画像補正部105の効果(補正効果)は、参照画像に含まれる情報に従って決定される。例えば、参照画像に高周波成分が含まれていない場合、補正により高周波成分を回復することはできない。

続いてステップS102において、補正情報算出部104は、参照画像に作用させる劣化関数を取得する。本実施例において、劣化関数としては、画像取得部101の光学系(撮像光学系)に応じた劣化関数が用いられる。このため、光学系のズームや絞りの状態、像高、波長などの撮影条件情報に応じて複数の劣化関数が予め用意される。ただし本実施例はこれに限定されるものではなく、撮影条件情報以外の要素に基づく複数の劣化関数を予め用意しておいてもよい。また本実施例において、参照画像に作用される複数の劣化関数は、点像分布関数(PSF)または光学伝達関数(OTF)である。ただし、複数の劣化関数として、PSFやOTF以外の関数を用いてもよい。

図5は、本実施例における劣化関数の変数空間の説明図である。図5中の3軸は、光学系におけるズームの状態(ズームZ)、絞りの状態(F値F)、および、像高Hをそれぞれ示している。図5に示されるように、本実施例の補正情報算出部104は、3次元空間の離散的な複数の点に対する劣化関数を有する。ただし、劣化関数は、図5に示される構成とは異なる構成で保持するようにしてもよい。また、3次元空間よりも低次元または多次元の空間に対して劣化関数を保持するようにしてもよい。

本実施例において、劣化関数を決定する波長は、第1画像(撮影画像)の色成分に応じて決定することが好ましい。本実施例では、RGB(Red、Green、Blue)の3色に基づいて画像が表されるため、それぞれの色成分に対応した波長の劣化関数が用意されている。ただし、光学系の色収差を無視しても問題ない場合、複数の波長に応じた劣化関数を保持する必要はない。

また、図4のステップS102で取得される劣化関数は、画像取得部101の光学系とは関係なく独立して取得してもよい。この場合、複数の劣化関数に対して補正情報を算出し、画像補正時に画像取得部101の光学系(撮像光学系)の劣化関数と類似する劣化関数を探索して、その算出結果を用いる。撮像光学系の劣化関数と類似する劣化関数の探索方法としては、劣化関数を画像に見立てて、PSNR(Peak Signal−to−Noise Ratio)やSSIM(Stractural Similarity)などの評価関数を使用する方法がある。

続いてステップS103において、補正情報算出部104は、劣化関数を用いて参照画像を劣化させることにより、劣化画像を生成する。例えば、劣化関数がPSFの場合、参照画像に対してコンボリューションを行うことにより、劣化画像を生成する。また、劣化関数がOTFの場合、参照画像のフーリエ変換との積をとった後に、逆変換を行って劣化画像を生成すればよい。

続いてステップS104において、補正情報算出部104は、ステップS103にて生成された劣化画像に対して、歪曲収差補正(電子歪曲収差補正)を行う。前述のとおり、補正情報は、参照画像と劣化画像とを比較して算出される。すなわち、同一の被写体に対して収差や回折の有無などが異なる2つの画像を比較することにより、補正情報が算出される。しかし、劣化画像の歪曲収差が大きい場合、2つの画像間で被写体空間の対応位置が互いにずれてしまい、正しく補正情報を算出できない可能性がある。

図6は、歪曲収差の影響の説明図である。図6中の一点鎖線は参照画像を示し、破線は負の歪曲収差が存在する劣化画像を示している。図6中の黒塗りの正方形は、参照画像の注目画素である。また、注目画素を中心とした実線の正方形は、参照画像の部分領域である。このとき、参照画像において実線の正方形内に存在する被写体空間の情報は、歪曲収差の影響により、劣化画像では、斜線部で表される領域(部分領域)に存在する。この対応位置関係は、歪曲収差が像高に応じて変化するため、画像内の各領域で変化する。したがって、簡易計算にて注目画素と部分領域との対応位置関係を不変とするには、電子歪曲収差補正を行うことが好ましい。

また、これに代えて、劣化関数から歪曲収差成分を予め差し引いておいてもよい。または、歪曲収差の影響を加味して劣化画像の部分領域を斜線部のように変形して抽出することもできる。ただしこの場合、像高に応じて注目画素と部分領域との対応位置関係を変化させる必要があるため、演算が複雑になる。劣化関数から歪曲収差成分を差し引くか、または、部分領域を変形させる方法を用いる場合、図4のステップS104は不要である。また、劣化関数の歪曲収差成分が小さい場合も、ステップS104は行わなくてよい。

続いて、図4のステップS105において、補正情報算出部104は、劣化関数に基づいて部分領域のタップを決定する。図3(A)に示される斜線部の画素(注目画素)の情報が、劣化関数により図3(B)中の斜線領域(劣化画像の部分領域)へ拡がったとする。このとき、図3(B)中の斜線領域には、図3(A)中の斜線部の画素の情報が散らばっていることになる。このため本実施例では、図3(B)中の斜線領域が含まれるように、部分領域のタップを決定することが好ましい。

部分領域のタップは、劣化関数の拡がりに応じて決定すればよい。例えば、ある閾値Tを設定し、劣化関数の積分値が閾値T以上になること、または、強度がT以上であることなどに応じて、部分領域のタップが決定される。本実施例において、ステップS105は、ステップS102よりも後であって、かつステップS106よりも前であれば、どのタイミングで実行してもよい。また、劣化関数の拡がりを用いずに、予め決定されたタップ数を常に用いるようにしてもよい。このとき、ステップS105は不要となる。

続いてステップS106において、補正情報算出部104は、劣化画像から部分領域を抽出する。本実施例において、劣化画像の情報は、劣化画像の複数の部分領域のそれぞれに関する情報である。そしてステップS107において、補正情報算出部104は、部分領域内の信号を規格化する。信号の規格化は、部分領域内の平均信号値で各信号値を除することにより行われる。この際、加重平均を用いてもよい。ステップS107は、被写体空間の構造と撮像装置100の露出に相関性がないことから行われる。第1画像の明るさは、撮影時の露出が支配的に効いている。しかし、被写体空間が有する周波数成分は、撮影時の露出に依らず一定である。回復対象は周波数に関する情報であるため、部分領域の明るさ成分は除去しても問題ない。また、これにより、クラスタ数を削減することができる。ただし、ステップS108のクラスタリングで用いられる評価関数に明るさを除去する効果が含まれている場合、ステップS107は不要である。

続いてステップS108において、補正情報算出部104は、部分領域の情報分布と劣化関数とに基づいてクラスタを生成する(クラスタリングを行う)。すなわち補正情報算出部104は、劣化画像の情報と複数の劣化関数とに基づいてクラスタリング(グループ分け)を行う(複数のグループに分類する)。クラスタリングの方法(グループ分けの方法)として、例えば、以下の方法が実行される。

まず、劣化関数から第1階層を生成し、さらに第1階層の中において部分領域の情報分布に応じて第2階層を生成する。図7は、クラスタリング(補正情報のテーブル)の説明図である。第1階層は、光学系のズーム、絞りの状態、像高、波長などを離散変数としたPSFにより生成される。この際、変数としてフォーカス位置や被写体距離などを用いてもよい。また、第1階層はOTFなどで生成してもよい。第2階層は、部分領域内の各信号値を二値化して画素の数だけ配列し、値が同じになるものを同一のクラスタと定義する。ただし二値化でなく、あるビット数で再量子化を行ってもよい。

本実施例では、他の方法を用いてクラスタリングを行うこともできる。例えば、第2階層において、SSIMなど、画像の相関に関する評価関数を用いてもよい。2つの部分領域の評価値が所定の条件を満たしている場合、同一のクラスタとなる。SSIMは画像の明るさ、コントラスト、構造についてそれぞれ類似性を判定する評価手法である。この際、明るさ成分を除去することにより、ステップS107の規格化と同等の効果を得ることもできる。または、K平均法などを用いてクラスタリングを行ってもよい。また、クラスタの階層数や、クラスタの構造が階層型であるか否かについても、本実施例に限定されるものではない。

続いてステップS109において、補正情報算出部104は、劣化画像の全画素に対して上記処理(ステップS106〜S108の処理)が完了したか否かを判定する。劣化画像の全画素に対する上記処理が完了している場合、ステップS110に進む。一方、上記処理が未完了の場合、抽出する部分領域を変更してステップS106へ戻り、ステップS106〜S108を実行する。ただし、係数Wの算出に十分なデータ数がクラスタに存在する場合、未処理の画素があってもステップS110に進んでもよい。

そしてステップS110において、補正情報算出部104は、予め用意された全劣化関数に関して、上記処理が完了したか否かを判定する。全劣化関数に関して上記処理が完了している場合、ステップS111に進む。一方、上記処理が未完了の場合、劣化関数を変更してステップS102に戻り、ステップS102〜S109を実行する。ただし、後の画像補正処理で必要な情報が揃っている場合、全劣化関数に対する上記処理が完了していなくてもステップS111に進んでもよい。

続いてステップS111において、補正情報算出部104は、参照画像と劣化画像とを対応させて、複数のクラスタ(複数のグループ)のそれぞれに対する複数の補正係数(補正情報)を算出(取得)する。本実施例において、補正情報算出部104は、式(9)を用いて係数W(補正情報)を算出する。ただし、前述の方法以外の方法を用いて補正情報を算出してもよい。例えば、線形計画法などを用いて補正情報を算出することができる。また、クラスタが階層構造を有する場合、ステップS111は、補正情報算出処理の途中で適宜行っても構わない。例えば、図7中の第1階層において、PSF−1に関するデータが揃い、PSF−mに関するデータの取得途中である場合でも、PSF−1における各クラスタの係数を算出することができる。算出された複数の補正情報は、例えば記憶部106に記憶され、後述の画像補正方法において用いられる。

次に、図8を参照して、本実施例における画像処理部103(画像補正部105)により実行される画像処理方法(画像補正方法)について詳述する。図8は、本実施例における画像処理方法(画像補正方法)のフローチャートである。

まずステップS201において、画像補正部105は、画像取得部101によって取得された第1画像(撮影画像)を取得する。第1画像は、画像取得部101の光学系(撮像光学系)による収差や回折の影響を受けているため、被写体空間に対する周波数情報が減少している。

続いてステップS202において、画像補正部105は、第1画像に対して歪曲収差補正(電子歪曲収差補正)を行う。その理由や詳細に関しては、ステップS104と同様である。本実施例において、撮影条件情報に基づく劣化関数は、歪曲収差成分を含む。このため画像補正部105は、第1画像に対して電子歪曲収差補正を行ってから、後述のように補正情報を選択する。

続いてステップS203において、画像補正部105は、第1画像のなかから注目画素を選択する。そしてステップS204において、画像補正部105は、注目画素に対応する劣化関数(劣化関数の情報)を取得する。このとき、取得される劣化関数は、第1画像の撮影条件情報を用いて決定される。図5に示されるように劣化関数が離散的に用意されている場合、例えば注目画素の座標を図5の空間上へプロットし、最も近い点の劣化関数を取得することが好ましい。また、劣化関数そのものを取得する構成に限定されるものではなく、関数の拡がりとクラスタ(グループ)の第1階層の番号だけを取得するように構成してもよい。本実施例において、劣化関数(撮影条件情報に基づく劣化関数)は、撮像光学系の種類、撮影時における撮像光学系の状態、画像の色成分、第1画像における位置(像高)のうち少なくとも1つに基づいて決定される。

続いてステップS205において、画像補正部105は、ステップS204にて取得した劣化関数の情報に基づいて、部分領域のタップを決定する。すなわち、第1画像の複数の部分領域は、複数の劣化関数の大きさおよび形状に基づいて決定される。ただし、これに代えて、予め決定されたタップを用いてもよい。この場合、ステップS205は不要である。また、ステップS203において、注目画素を選択する代わりに、直接、部分領域を選択してもよい。

続いてステップS206において、画像補正部105は、第1画像(撮影画像)のなかから部分領域を抽出する。そしてステップS207において、画像補正部105は、部分領域内の信号を規格化する。信号の規格化については、ステップS107と同様である。

続いてステップS208において、画像補正部105は、部分領域の情報分布と劣化関数に対応するクラスタ(グループ)の補正情報(各クラスタの補正係数)を読み出す

本実施例において、複数の補正情報は、図4に示されるように、参照画像に複数の劣化関数のそれぞれを作用させて生成された劣化画像の情報と複数の劣化関数とに基づいて分けられたクラスタ(グループ)ごとに算出されている。算出された複数の補正情報は、記憶部106に記憶されている。本実施例において、複数の補正情報は、図4に示されるように予め算出されて記憶部106に記憶されている。ただし、本実施例はこれに限定されるものではない。例えば、ユーザーが撮像装置100を使用しているときに、必要に応じて複数の補正情報を算出(更新)するように構成することもできる。

補正情報算出部104にて用いられた劣化関数とステップS204にて取得された劣化関数とが互いに異なる場合、類似性の高い劣化関数を探索して、対応するクラスタを見つけることができる。その探索方法として、2つの劣化関数を画像に見立てて前述のSSIMを用いる方法などがある。

続いてステップS209において、画像補正部105は、部分領域および補正情報を用いて補正画素を生成する。本実施例において、画像補正部105は、式(1)を用いて補正画素(補正画素の信号値)を生成する。

続いてステップS210において、画像補正部105は、第1画像(撮影画像)の全画素に対する処理を完了したか否かを判定する。全画素に対する処理が完了している場合、ステップS211に進む。一方、全画素に対する処理が未完了の場合、ステップS203に戻り、ステップS203〜S210を実行する。ただし本実施例において、画像補正の対象領域は、第1画像の全体である必要はなく、第1画像の部分領域でもよい。例えば、画像周辺部などの高周波に関する情報が特に失われている領域のみに画像補正を行うように構成してもよい。この場合、指定された領域(所定の部分領域)の処理が完了している場合、ステップS211に進む。

そしてステップS211において、画像補正部105は、補正画素を統合して第2画像を生成する。第2画像は、画像取得部101の光学系(撮像光学系)の収差や回折により失われた周波数成分が回復された画像(回復画像)である。このとき、必要に応じて、アンシャープマスクなどの画像処理を併用してもよい。

本実施例では、被写体空間の距離情報(レンズのピント位置から各被写体までの距離)を劣化関数の変数として用いていない。すなわち、劣化関数において、デフォーカスによるボケは加味されていない。これにより、被写界深度をそのままに擬似的な光学性能の向上が図られており、ユーザーの意図する被写界深度の撮影が行いやすい。ただし、劣化関数に被写体空間の距離情報を組み込むことにより、デフォーカスによるボケも補正し、収差と回折の補正に加えて被写界深度の拡大を図ってもよい。被写体空間の距離情報は、ピント位置を変更して複数回撮影することにより求めてもよいし、または、視差画像から算出してもよい。また、撮像装置100が測距部を有していてもよい。視差画像は、光学系を複数個並べて撮影するか、撮影位置をシフトさせて複数回撮影することにより得られる。測距部は、例えば、赤外光を照射し、その反射光を検知する構造を有する。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像装置および画像処理方法を提供することができる。

次に、図9および図10を参照して、本発明の実施例2について説明する。本実施例は、実施例1の画像処理方法を画像処理システムに適用したものである。図9は、本実施例における画像処理システム200のブロック図である。図10は、画像処理システム200の外観図である。

図9および図10において、画像処理装置202および補正情報算出装置206は、本実施例の画像処理方法を実行するコンピュータ機器である。画像処理装置202は、通信部203を有する。通信部203は、撮像装置201から第1画像(撮影画像)を受信する。また通信部203は、ネットワーク207を介して補正情報算出装置206と接続されている。この接続は、有線または無線のいずれの接続方法を用いてもよい。

補正情報算出装置206で算出された補正情報は、画像処理装置202の記憶部204に保存される。画像補正部205は、撮像装置201で取得された第1画像に対して、撮影条件情報を用いて補正処理を行う。画像補正部205により第1画像を補正して得られた第2画像は、表示装置208、記憶媒体209、出力装置210のいずれか、または複数に出力される。表示装置208は、例えば液晶ディスプレイやプロジェクタなどである。ユーザーは、表示装置208を介して、画像処理途中の画像を確認しながら作業を行うことができる。記憶媒体209は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力装置210は、プリンタなどである。画像処理装置202は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

本実施例の画像処理方法を実現するため、ソフトウェア(画像処理プログラム)を、ネットワークまたはCD−ROMなどの記憶媒体(記憶媒体211、212)を介して画像処理装置202および補正情報算出装置206(情報処理装置)に供給することもできる。このとき画像処理プログラムは、その情報処理装置のコンピュータ(またはCPUやMPUなど)により読み出されて、画像補正部205および補正情報算出装置206の機能を実行する。

本実施例における補正情報算出装置206および画像補正部205による画像処理方法(補正情報算出方法および画像補正方法)のフローチャートは、それぞれ、図4および図8に示されるとおりである。以下の説明において、実施例1と同様の部分については省略する。

図4中のステップS102において、補正情報算出装置206は、劣化関数を取得する。本実施例の補正情報算出装置206には、複数種類の撮像装置が接続可能である。このため、劣化関数が撮像装置201の光学系(撮像光学系)に基づく関数である場合、接続された撮像装置201の種類も、劣化関数を決定する変数となる。なお本実施例において、図4中のステップS111にて補正情報算出装置206により算出された複数の補正情報は、無線または有線のネットワーク207を介して画像処理装置202(通信部203)に送信される。

図8中のステップS204において、画像処理装置202の画像補正部205は、注目画素に対応する劣化関数の情報を取得する。このとき、画像補正部205は、第1画像(撮影画像)の撮影条件情報を用いる。撮影条件情報には、撮像装置201(撮像光学系)の種類、撮影時における絞り、フォーカス位置、焦点距離などが含まれる。本実施例においては、撮影条件情報としてこれらの少なくとも一つを含んでいればよい。撮影条件情報は、第1画像と同一のファイル内に保存される。また画像処理装置202(画像補正部205)は、撮影条件情報を撮像装置201から読み取るように構成してもよい。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な画像処理システムを提供することができる。

次に、図11および図12を参照して、本発明の実施例3について説明する。本実施例は、実施例1の画像処理方法を撮像システムに適用したものである。図11は、本実施例における撮像システム300のブロック図である。図12は、撮像システム300の外観図である。

図11および図12において、サーバー303は通信部304を有し、ネットワーク302を介して撮像装置301と接続されている。この接続は、有線または無線のいずれの接続方法を用いてもよい。通信部304は、撮像装置301から第1画像(撮影画像)を受信するように構成されている。撮像装置301により撮影が行われると、第1画像(撮影画像)は自動的または手動でサーバー303に入力され、記憶部305および画像処理部306に送られる。記憶部305は、第1画像および撮影条件情報(第1画像を撮影したときの撮影条件に関する情報)を記憶する。

画像処理部306の補正情報算出部307および画像補正部308は、本実施例の画像処理方法を実行する。補正情報算出部307は、予め補正情報を算出する。記憶部305は、補正情報算出部307により算出された補正情報(算出結果)を記憶する。画像補正部308は、補正情報および第1画像(撮影画像)を用いて、収差や回折の影響が低減された第2画像を生成する。画像補正部308により生成された第2画像は、撮像装置301へ出力されるか、または、記憶部305に記憶される。

本実施例の画像処理方法を実現するため、ソフトウェア(画像処理プログラム)を、ネットワークまたはCD−ROMなどの記憶媒体(記憶媒体309)を介してサーバー303(情報処理装置)に供給することもできる。このとき画像処理プログラムは、その情報処理装置のコンピュータ(またはCPUやMPUなど)により読み出されて、サーバー303の機能を実行する。

本実施例における補正情報算出部307および画像補正部308による画像処理方法(補正情報算出方法および画像補正方法)のフローチャートは、それぞれ、図4および図8に示されるとおりである。また、本実施例の補正情報算出方法および画像補正方法は、実施例1、2と同様であるため、これらの説明は省略する。本実施例において、撮像装置301により得られた第1画像(撮影画像)は、無線または有線のネットワーク302を介してサーバー303(通信部304)に送信される。

本実施例の構成によれば、撮影画像において収差や回折により失われた周波数成分を回復可能な撮像システムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

100 撮像装置
101 画像取得部
105 画像補正部
106 記憶部

Claims (11)

  1. 撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する画像処理装置であって、
    前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
    前記指示が実行されると、前記画像処理装置に、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
    前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
    前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成させ、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理装置。
  2. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記劣化関数は、歪曲収差成分を含み、
    前記画像処理装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する撮像装置であって、
    前記撮像装置は、前記撮像光学系を介して前記第1画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
    前記指示が実行されると、前記撮像装置に、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
    前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
    前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成させ、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする撮像装置。
  6. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項5に記載の撮像装置。
  7. 前記第1画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項5または6に記載の撮像装置。
  8. 前記劣化関数は、歪曲収差成分を含み、
    前記撮像装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項5乃至7のいずれか1項に記載の撮像装置。
  9. 撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する画像処理方法であって、
    前記画像処理方法は、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
    前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
    前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成するステップと、を有し、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理方法。
  10. コンピュータに、撮像光学系を介して得られた第1画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第2画像を生成する処理を実行させる画像処理プログラムであって、
    前記処理は、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
    前記第1画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
    前記第1画像の部分領域と前記読み出された補正情報から、前記第2画像を構成する補正画素を生成するステップと、を有し、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理プログラム。
  11. 請求項10に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
JP2013063170A 2013-03-26 2013-03-26 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 Active JP6104010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013063170A JP6104010B2 (ja) 2013-03-26 2013-03-26 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013063170A JP6104010B2 (ja) 2013-03-26 2013-03-26 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP14001069.5A EP2785047B1 (en) 2013-03-26 2014-03-21 Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium
CN201410106423.1A CN104079818B (zh) 2013-03-26 2014-03-21 摄像装置、图像处理系统、摄像系统和图像处理方法
US14/225,560 US9225898B2 (en) 2013-03-26 2014-03-26 Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium

Publications (3)

Publication Number Publication Date
JP2014192528A JP2014192528A (ja) 2014-10-06
JP2014192528A5 JP2014192528A5 (ja) 2016-05-19
JP6104010B2 true JP6104010B2 (ja) 2017-03-29

Family

ID=50396833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013063170A Active JP6104010B2 (ja) 2013-03-26 2013-03-26 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Country Status (4)

Country Link
US (1) US9225898B2 (ja)
EP (1) EP2785047B1 (ja)
JP (1) JP6104010B2 (ja)
CN (1) CN104079818B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990698B2 (en) * 2014-12-01 2018-06-05 Canon Kabushiki Kaisha Control apparatus, lens apparatus, and non-transitory computer-readable storage medium that determine data as coefficient data corresponding to an order less than a predetermined order of an approximation function
US10250782B2 (en) * 2015-10-08 2019-04-02 Samsung Electro-Mechanics Co., Ltd. Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF)
CN108605095A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6520999B2 (ja) * 2017-07-31 2019-05-29 ダイキン工業株式会社 生産管理システムおよび生産管理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP4179079B2 (ja) * 2002-08-30 2008-11-12 株式会社ニコン 電子カメラ及びその制御プログラム
AU2005292129A1 (en) * 2004-09-29 2006-04-13 Aol Llc Correction of blotches in component images
JP5136059B2 (ja) * 2005-11-11 2013-02-06 ソニー株式会社 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
US8049798B2 (en) 2005-12-27 2011-11-01 Kyocera Corporation Imaging device and image processing method
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP4872862B2 (ja) 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
JP2012037574A (ja) * 2010-08-03 2012-02-23 Olympus Imaging Corp 電子撮像装置
JP5299383B2 (ja) * 2010-08-20 2013-09-25 株式会社Jvcケンウッド 画像補正装置および画像補正方法
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム
JP5587264B2 (ja) * 2010-11-01 2014-09-10 キヤノン株式会社 調整方法、調整装置、及び、撮像装置の製造方法
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
US8823822B1 (en) * 2011-02-11 2014-09-02 Southern Methodist University Determining phase transfer function
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2013030895A (ja) * 2011-07-27 2013-02-07 Sony Corp 信号処理装置、撮像装置、信号処理方法およびプログラム
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction

Also Published As

Publication number Publication date
CN104079818B (zh) 2018-01-30
JP2014192528A (ja) 2014-10-06
EP2785047A3 (en) 2014-10-15
EP2785047A2 (en) 2014-10-01
EP2785047B1 (en) 2018-06-27
CN104079818A (zh) 2014-10-01
US9225898B2 (en) 2015-12-29
US20140293076A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
US9792668B2 (en) Photographic image acquistion device and method
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
EP2652678B1 (en) Systems and methods for synthesizing high resolution images using super-resolution processes
JP2015211319A (ja) 画像処理装置、その制御方法、および制御プログラム
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
US9398235B2 (en) Apparatus and method for fusing images
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
CN101755448B (zh) 校正曝光期间的成像设备运动
US8350954B2 (en) Image processing apparatus and image processing method with deconvolution processing for image blur correction
JP6080417B2 (ja) 画像処理装置、及び画像処理方法
WO2019105154A1 (en) Image processing method, apparatus and device
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5797016B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5274623B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
JP5132401B2 (ja) 画像処理装置及び画像処理方法
JP6168794B2 (ja) 情報処理方法および装置、プログラム。
JP5725975B2 (ja) 撮像装置及び撮像方法
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
WO2016065991A1 (en) Methods and apparatus for controlling light field capture
JP5409589B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
KR101219412B1 (ko) 화상처리방법, 화상처리장치 및 촬상장치
US8477206B2 (en) Image processing apparatus and image processing method for performing image restoration using restoration filter
JP4186699B2 (ja) 撮像装置および画像処理装置
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170228

R151 Written notification of patent or utility model registration

Ref document number: 6104010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151