JPWO2014136323A1 - 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 - Google Patents
復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 Download PDFInfo
- Publication number
- JPWO2014136323A1 JPWO2014136323A1 JP2015504128A JP2015504128A JPWO2014136323A1 JP WO2014136323 A1 JPWO2014136323 A1 JP WO2014136323A1 JP 2015504128 A JP2015504128 A JP 2015504128A JP 2015504128 A JP2015504128 A JP 2015504128A JP WO2014136323 A1 JPWO2014136323 A1 JP WO2014136323A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- transfer function
- restoration filter
- chromatic aberration
- colors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims description 82
- 238000003384 imaging method Methods 0.000 title claims description 48
- 238000012937 correction Methods 0.000 claims abstract description 284
- 238000012546 transfer Methods 0.000 claims abstract description 254
- 230000004075 alteration Effects 0.000 claims abstract description 214
- 230000003287 optical effect Effects 0.000 claims abstract description 127
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 302
- 239000003086 colorant Substances 0.000 claims description 115
- 230000008569 process Effects 0.000 claims description 52
- 238000003860 storage Methods 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000001514 detection method Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
<デジタルカメラの構成>
図1及び図2において、デジタルカメラ2は、本発明の撮像装置に相当するものである。このデジタルカメラ2のカメラ本体3の前面には、光学系などを含むレンズ鏡筒4、ストロボ発光部5などが設けられている。カメラ本体3の上面には、シャッタボタン6、電源スイッチ7などが設けられている。
画像処理回路29は、本発明の画像処理装置に相当する。この画像処理回路29は、信号調整回路28から入力されるモザイク画像データR1,G1,B1に対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、倍率色収差補正、YC変換処理、点像復元処理等を施して、輝度系画像データY及び色差系画像データCb,Crを生成する(図4参照)。輝度系画像データY及び色差系画像データCb,Crは、メモリ14のVRAM(Video RAM)領域(VRAMを別途設けても可)に一時的に格納される。
図3に戻って、復元フィルタ生成装置11は、デジタルカメラ2の復元処理に用いられる復元フィルタ12を生成する。この復元フィルタ生成装置11は、装置CPU40と、操作部41と、ストレージ43と、通信I/F44とを備えている。
装置CPU40は、操作部41にて復元フィルタ生成操作がなされた場合に、ストレージ43から復元フィルタ生成プログラム46を読み出して実行することで、後述する第1、第2の伝達関数取得部51、52(第1、第2の伝達関数取得手段)、第3〜第5の伝達関数算出部53〜55(第3〜第5の伝達関数算出手段)、補正情報取得部56(補正情報取得手段)、及び復元フィルタ生成部57(復元フィルタ生成手段)として機能し、輝度系画像データYに対応する復元フィルタ12を生成する。尚、装置CPU40の動作の詳細については後述する。
図7は復元フィルタ生成装置11の第1の実施形態を示すブロック図であり、主として図3に示した装置CPU40の機能を示す機能ブロック図である。
図8は復元フィルタ生成装置11の第2の実施形態を示すブロック図であり、主として図3に示した装置CPU40の機能を示す機能ブロック図である。尚、図7に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図9は復元フィルタ生成装置11の第3の実施形態を示すブロック図であり、主として図3に示した装置CPU40の機能を示す機能ブロック図である。尚、図7及び図8に示した第1、2の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図10は復元フィルタ生成装置11の第4の実施形態を示すブロック図であり、主として図3に示した装置CPU40の機能を示す機能ブロック図である。尚、図7に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図11は復元フィルタ生成装置11の第5の実施形態を示すブロック図であり、主として図3に示した装置CPU40の機能を示す機能ブロック図である。尚、図10に示した第4の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
上述の実施形態における復元処理は、特定の撮影条件(例えば、絞り値、F値、焦点距離、レンズ種類、など)に応じて点拡がり(点像ボケ)を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field (Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の点拡がり関数(PSF、OTF、MTF、PTF等)に基づく復元フィルタであって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
図16は、デジタルカメラ2の他の実施形態であるスマートフォン500の外観を示す斜視図である。図16に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、筐体502が、折り畳み構造やスライド機構を有する構成を採用することもできる。
この実施形態のデジタルカメラ2は、復元フィルタ生成装置11により生成された復元フィルタを、復元フィルタ生成装置11の通信I/F44を介してカメラ内のメモリ14に格納するようにしたが、デジタルカメラ2と復元フィルタ生成装置11とが一体化されたものでもよい。この場合、デジタルカメラが復元フィルタも生成し、かつ生成した復元フィルタを使用して復元処理を実施することになる。また、デジタルカメラとしては、レンズ交換式のものでもよく、装着される交換レンズのPSF等を交換レンズとの通信により取得し、取得したPSF等に基づいて復元フィルタを生成するようにしてもよい。
Claims (18)
- 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
前記光学系の点像分布に関する第1の伝達関数を、前記複数色の色毎に取得する第1の伝達関数取得手段と、
前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得手段と、
前記補正情報取得手段により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第1の伝達関数を平行移動させた、第2の伝達関数を取得する第2の伝達関数取得手段と、
前記第2の伝達関数取得手段により取得した前記複数色の色毎の第2の伝達関数に基づいて、前記輝度系画像データに対する第3の伝達関数を算出する第3の伝達関数算出手段と、
前記第3の伝達関数算出手段により算出された第3の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成手段と、
を備えた復元フィルタ生成装置。 - 前記第3の伝達関数算出手段は、前記複数色の色毎の第2の伝達関数を混合して前記輝度系画像データに対する第3の伝達関数を算出する請求項1に記載の復元フィルタ生成装置。
- 前記第3の伝達関数算出手段は、前記複数色の色毎の第2の伝達関数に色毎の重み付け係数を乗算した値の線形和を、前記輝度系画像データに対する第3の伝達関数として算出する請求項2に記載の復元フィルタ生成装置。
- 倍率色収差の補正精度が閾値以下か評価する補正精度評価手段を備え、
前記復元フィルタ生成手段は、前記補正精度評価手段が前記倍率色収差の補正精度が閾値以下と評価した場合は、前記第3の伝達関数算出手段により算出された第3の伝達関数から位相情報を除去し、位相情報を除去した第3の伝達関数に基づいて、周波数復元のみを行う復元フィルタを生成する請求項1から3のいずれか1項に記載の復元フィルタ生成装置。 - 前記第1の伝達関数取得手段により取得した前記複数色の色毎の第1の伝達関数からそれぞれ位相情報を除去し、位相情報を除去した複数色の色毎の第1の伝達関数を混合して前記輝度系画像データに対する第4の伝達関数を算出する第4の伝達関数算出手段と、
倍率色収差の補正精度が閾値以下か評価する補正精度評価手段と、を備え、
前記復元フィルタ生成手段は、前記補正精度評価手段が前記倍率色収差の補正精度が閾値以下と評価した場合は、前記第4の伝達関数算出手段により算出された第4の伝達関数に基づいて、前記輝度系画像データに対する周波数復元のみを行う復元フィルタを生成する請求項1から3のいずれか1項に記載の復元フィルタ生成装置。 - 前記第4の伝達関数算出手段は、前記位相情報を除去した複数色の色毎の第1の伝達関数に色毎の重み付け係数を乗算した値の自乗和の平方根を、前記輝度系画像データに対する第4の伝達関数として算出する請求項5に記載の復元フィルタ生成装置。
- 前記第4の伝達関数算出手段は、前記位相情報を除去した複数色の色毎の第1の伝達関数に色毎の重み付け係数を乗算した値の線形和を、前記輝度系画像データに対する第4の伝達関数として算出する請求項5に記載の復元フィルタ生成装置。
- 前記第1の伝達関数取得手段は、位相を変調させて被写界深度を拡大させるレンズ部を有する前記光学系の複数色の色毎の第1の伝達関数を取得する請求項1から7のいずれか1項記載の復元フィルタ生成装置。
- 倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記複数色の色毎の第1の伝達関数を混合し、前記輝度系画像データに対する第5の伝達関数を算出する第5の伝達関数算出手段と、を備え、
前記復元フィルタ生成手段は、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記第5の伝達関数算出手段により算出された第5の伝達関数に基づいて、前記輝度系画像データに対する復元フィルタを生成する請求項1から8のいずれか1項に記載の復元フィルタ生成装置。 - 倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段を備え、
前記複数色の画像データには、赤(R)、緑(G)、青(B)の各色の画像データが含まれており、
前記復元フィルタ生成手段は、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記第1の伝達関数取得手段により取得した前記複数色の色毎の第1の伝達関数のうちのG色に対応する第1の伝達関数に基づいて、前記輝度系画像データに対する復元フィルタを生成する請求項1から8のいずれか1項に記載の復元フィルタ生成装置。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
請求項1から8のいずれか1項に記載の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、
前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
を備えた画像処理装置。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
請求項9又は10に記載の復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納手段と、
前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ格納手段に格納されている前記復元フィルタを用いて復元処理を施す復元処理手段と、
を備えた画像処理装置。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
請求項1から8のいずれか1項に記載の復元フィルタ生成装置と、
前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ生成装置により生成された前記復元フィルタを用いて復元処理を施す復元処理手段と、
を備えた画像処理装置。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データを取得する画像データ取得手段と、
倍率色収差補正を実施する場合と倍率色収差補正を実施しない場合とを切り替える切替手段と、
前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記光学系により生じる色毎の倍率色収差を、前記画像データ取得手段により取得した複数色の色毎の画像データを拡大又は縮小により補正する倍率色収差補正手段と、
前記切替手段により倍率色収差補正を実施する場合に切り替えられると、前記倍率色収差補正手段により倍率色収差補正された複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成し、前記切替手段により倍率色収差補正を実施しない場合に切り替えられると、前記画像データ取得手段により取得した複数色の色毎の画像データに基づいて輝度に関する画像データである輝度系画像データを生成する画像データ生成手段と、
請求項9又は10に記載の復元フィルタ生成装置と、
前記画像データ生成手段で生成された前記輝度系画像データに対して、前記復元フィルタ生成装置により生成された前記復元フィルタを用いて復元処理を施す復元処理手段と、
を備えた画像処理装置。 - 光学系を有しており、かつ複数色の色毎の画像データを出力する撮像手段と、
請求項11から14のいずれか1項に記載の画像処理装置と、
を備えた撮像装置。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
前記光学系の点像分布に関する第1の伝達関数を、前記複数色の色毎に取得する第1の伝達関数取得工程と、
前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得工程と、
前記補正情報取得工程により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第1の伝達関数を平行移動させた、第2の伝達関数を取得する第2の伝達関数取得工程と、
前記第2の伝達関数取得工程により取得した前記複数色の色毎の第2の伝達関数に基づいて、前記輝度系画像データに対する第3の伝達関数を算出する第3の伝達関数算出工程と、
前記第3の伝達関数算出工程により算出された第3の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成工程と、
を含む復元フィルタ生成方法。 - 光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成するプログラムであって、
前記光学系の点像分布に関する第1の伝達関数を、前記複数色の色毎に取得する第1の伝達関数取得機能と、
前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得機能と、
前記補正情報取得機能により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第1の伝達関数を平行移動させた、第2の伝達関数を取得する第2の伝達関数取得機能と、
前記第2の伝達関数取得機能により取得した前記複数色の色毎の第2の伝達関数に基づいて、前記輝度系画像データに対する第3の伝達関数を算出する第3の伝達関数算出機能と、
前記第3の伝達関数算出機能により算出された第3の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成機能と、
をコンピュータに実現させるための復元フィルタ生成プログラム。 - コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、光学系を有する撮像手段により得られた複数色の色毎の画像データに基づいて生成される輝度に関する画像データである輝度系画像データに対して、前記光学系における点像分布に基づく復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
前記光学系の点像分布に関する第1の伝達関数を、前記複数色の色毎に取得する第1の伝達関数取得工程と、
前記光学系により生じる倍率色収差を前記複数色の色毎の画像データの拡大又は縮小により補正した場合の、当該倍率色収差の補正量又は補正残り量を示す補正情報を、前記複数色の色毎に取得する補正情報取得工程と、
前記補正情報取得工程により取得した前記補正情報に基づいて、前記補正残り量を相殺すべく前記複数色の色毎の第1の伝達関数を平行移動させた、第2の伝達関数を取得する第2の伝達関数取得工程と、
前記第2の伝達関数取得工程により取得した前記複数色の色毎の第2の伝達関数に基づいて、前記輝度系画像データに対する第3の伝達関数を算出する第3の伝達関数算出工程と、
前記第3の伝達関数算出工程により算出された第3の伝達関数に基づいて、前記復元処理を行うための復元フィルタを生成する復元フィルタ生成工程と、
を含む復元フィルタ生成方法を実行する、記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015504128A JP5851650B2 (ja) | 2013-03-04 | 2013-11-13 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013042187 | 2013-03-04 | ||
JP2013042187 | 2013-03-04 | ||
PCT/JP2013/080649 WO2014136323A1 (ja) | 2013-03-04 | 2013-11-13 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
JP2015504128A JP5851650B2 (ja) | 2013-03-04 | 2013-11-13 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5851650B2 JP5851650B2 (ja) | 2016-02-03 |
JPWO2014136323A1 true JPWO2014136323A1 (ja) | 2017-02-09 |
Family
ID=51490868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015504128A Active JP5851650B2 (ja) | 2013-03-04 | 2013-11-13 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9536289B2 (ja) |
JP (1) | JP5851650B2 (ja) |
CN (1) | CN105009563B (ja) |
WO (1) | WO2014136323A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9424629B2 (en) * | 2013-02-01 | 2016-08-23 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
US9674431B2 (en) | 2013-02-01 | 2017-06-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
WO2014136322A1 (ja) * | 2013-03-04 | 2014-09-12 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
JP6042031B2 (ja) * | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
JP6042032B2 (ja) * | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
US10255664B2 (en) * | 2014-07-04 | 2019-04-09 | Sony Corporation | Image processing device and method |
JP2016119532A (ja) * | 2014-12-19 | 2016-06-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6043334B2 (ja) * | 2014-12-22 | 2016-12-14 | 京セラドキュメントソリューションズ株式会社 | 表示装置、画像形成装置、及び、表示方法 |
WO2018025505A1 (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
JP6407330B2 (ja) * | 2017-03-10 | 2018-10-17 | キヤノン株式会社 | 画像投射装置 |
JP6821526B2 (ja) * | 2017-08-15 | 2021-01-27 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、プログラム |
JP7432141B2 (ja) * | 2020-02-03 | 2024-02-16 | セイコーエプソン株式会社 | 画像読取装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225286A (ja) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | 画像撮像装置 |
JP2010140442A (ja) * | 2008-12-15 | 2010-06-24 | Canon Inc | 画像処理装置およびその方法 |
JP2011124692A (ja) * | 2009-12-09 | 2011-06-23 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2012065187A (ja) * | 2010-09-16 | 2012-03-29 | Fujifilm Corp | 撮像装置及び復元ゲインデータ生成方法 |
JP2012129932A (ja) * | 2010-12-17 | 2012-07-05 | Canon Inc | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7218448B1 (en) * | 1997-03-17 | 2007-05-15 | The Regents Of The University Of Colorado | Extended depth of field optical systems |
JP2008172321A (ja) * | 2007-01-09 | 2008-07-24 | Olympus Imaging Corp | 電気的画像回復処理を行う撮像装置 |
US8477206B2 (en) * | 2008-09-30 | 2013-07-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image restoration using restoration filter |
CN102388402B (zh) * | 2010-02-10 | 2015-08-19 | 杜比国际公司 | 图像处理装置及图像处理方法 |
JP5564977B2 (ja) * | 2010-02-22 | 2014-08-06 | ソニー株式会社 | 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム |
WO2011158507A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
JP5204165B2 (ja) * | 2010-08-05 | 2013-06-05 | パナソニック株式会社 | 画像復元装置および画像復元方法 |
JP5414752B2 (ja) * | 2011-08-08 | 2014-02-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム |
-
2013
- 2013-11-13 JP JP2015504128A patent/JP5851650B2/ja active Active
- 2013-11-13 WO PCT/JP2013/080649 patent/WO2014136323A1/ja active Application Filing
- 2013-11-13 CN CN201380074190.5A patent/CN105009563B/zh active Active
-
2015
- 2015-08-27 US US14/837,521 patent/US9536289B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225286A (ja) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | 画像撮像装置 |
JP2010140442A (ja) * | 2008-12-15 | 2010-06-24 | Canon Inc | 画像処理装置およびその方法 |
JP2011124692A (ja) * | 2009-12-09 | 2011-06-23 | Canon Inc | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2012065187A (ja) * | 2010-09-16 | 2012-03-29 | Fujifilm Corp | 撮像装置及び復元ゲインデータ生成方法 |
JP2012129932A (ja) * | 2010-12-17 | 2012-07-05 | Canon Inc | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5851650B2 (ja) | 2016-02-03 |
CN105009563A (zh) | 2015-10-28 |
CN105009563B (zh) | 2018-01-12 |
US20160027155A1 (en) | 2016-01-28 |
US9536289B2 (en) | 2017-01-03 |
WO2014136323A1 (ja) | 2014-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5851650B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 | |
US9633417B2 (en) | Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function | |
JP5864813B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 | |
JP5779724B2 (ja) | 画像処理装置、撮像装置、コンピュータ及びプログラム | |
JP5844940B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 | |
JP5830186B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US9906732B2 (en) | Image processing device, image capture device, image processing method, and program | |
US20170006218A1 (en) | Image processing device, imaging device, image processing method, and image processing program | |
US9892495B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP5870231B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6096382B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US10559068B2 (en) | Image processing device, image processing method, and program processing image which is developed as a panorama | |
JP6042034B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5851649B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 | |
JP5897769B2 (ja) | 撮像装置、キャリブレーションシステム、及びプログラム | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5851650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |