JP6234623B2 - 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム - Google Patents
画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム Download PDFInfo
- Publication number
- JP6234623B2 JP6234623B2 JP2017005372A JP2017005372A JP6234623B2 JP 6234623 B2 JP6234623 B2 JP 6234623B2 JP 2017005372 A JP2017005372 A JP 2017005372A JP 2017005372 A JP2017005372 A JP 2017005372A JP 6234623 B2 JP6234623 B2 JP 6234623B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- optical system
- processing
- unsharp mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 52
- 238000003672 processing method Methods 0.000 title claims description 18
- 230000003287 optical effect Effects 0.000 claims description 75
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 42
- 238000005315 distribution function Methods 0.000 claims description 26
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 14
- 230000004075 alteration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000003707 image sharpening Methods 0.000 description 5
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
数式(1)では、補正信号h(x,y)は定数倍されて入力画像であるf(x,y)に加算されている。数式(1)において、mは定数であり、mの値を変化させることにより、補正量を調整することができる。なお、mは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせた調整係数m(x,y)を用いることにより入力画像の位置に応じて補正量を調整することもできる。また、定数mや調整係数m(x,y)は光学系の焦点距離や絞り値や被写体距離といった撮影条件に応じて異ならせることもできる。定数mの代わりに調整係数m(x,y)を用いることができることは以下の説明においても同様である。
数式(2)の右辺を変形して次式で表すことができる。
ここで、*はコンボリューション(畳み込み積分、積和)、δはデルタ関数(理想点像)である。「デルタ関数」とは、USM(x,y)とタップ数が等しく中心の値が1でそれ以外が0で埋まっているデータである。
ここで、撮影光学系が回転対称な共軸光学系であれば、画像の中心部に対応するPSFは回転対称となる。そのため、画像の中心部については回転対称なUSMを適用することで撮影画像f(x,y)を元の画像I(x,y)に近づける鮮鋭化を行うことができる。補正量は撮影画像とアンシャープマスクでぼかした撮影画像の差分値となるため、精度良く補正するためにはアンシャープマスクUSMは単純な平滑化フィルタを使用するのではなく、よりpsf(x,y)に近い形状のマスクを使用した方がよい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるPSFとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合であっても、撮影光学系のPSFを使用する方が精度良く補正することができる。
実施例2では、数式(1)、(3)により導かれる以下の式を用いて鮮鋭化を実行する。
実施例3では、数式(6)をさらに変形した以下の式を用いて鮮鋭化を実行する。
また、数式(7)は次式のように変形することもできる。
実施例3では、数式(7)を用いて鮮鋭化を実行しているが、数式(8)を用いても同様に鮮鋭化を実行することができる。
画像表示部112は、画像鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。画像表示部112には、高速表示のために簡易処理を行って得られた画像を表示してもよい。
このような補間処理を行うことで、各領域内の任意の像高における補間データを生成することができ、S113おいて生成された複数の画像データから1つの画像データが生成される。このようにして生成された画像データは、像高に応じて異なるPSFを用いて入力画像をフィルタリング処理する場合よりもデータ量を少なくすることができるので、処理速度を改善することができる。
Claims (15)
- 光学系を介した撮像により生成された撮影画像を取得し、 前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記処理手段は、前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタの補間処理を行うことにより前記撮影画像の各像高に対応するフィルタを生成し、前記撮影画像の各像高に対応するフィルタを前記撮影画像に適用することを特徴とする画像処理装置。 - 光学系を介した撮像により生成された撮影画像を取得し、 前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記処理手段は、前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタをそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像の補間処理を行うことを特徴とする画像処理装置。 - 前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、前記2次元のタップのデータが、像高方向および像高方向以外の方向において非対称に分布しているフィルタを含むことを特徴とする請求項1または2に記載の画像処理装置。
- 前記撮影条件は、像高、焦点距離、F値、および被写体距離のうち少なくとも一つを含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記処理手段は、前記撮影画像を構成する複数の色成分のうちの各色成分または特定の色成分に対してアンシャープマスク処理を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記撮影画像は、色成分ごとに離散的に規則配列された画像データであり、
前記処理手段は、補正対象の色成分について補間した画像に対してアンシャープマスク処理を行うことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 光学系が形成した被写体の光学像を光電変換する撮像素子と、
前記撮像素子から得られる撮影画像を処理する画像処理部と、を有し、
前記画像処理部は、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行い、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記画像処理部は、前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタの補間処理を行うことにより前記撮影画像の各像高に対応するフィルタを生成し、前記撮影画像の各像高に対応するフィルタを前記撮影画像に適用することを特徴とする撮像装置。 - 光学系が形成した被写体の光学像を光電変換する撮像素子と、
前記撮像素子から得られる撮影画像を処理する画像処理部と、を有し、
前記画像処理部は、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行い、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記画像処理部は、前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタをそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像の補間処理を行うことを特徴とする撮像装置。 - 前記光学系の撮影条件と前記光学系の点像強度分布関数との関係を記憶する記憶手段を有することを特徴とする請求項8または9に記載の撮像装置。
- 前記光学系を有することを特徴とする請求項8乃至10のいずれか1項に記載の撮像装置。
- 光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
を有し、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタの補間処理を行うことにより前記撮影画像の各像高に対応するフィルタを生成し、前記撮影画像の各像高に対応するフィルタを前記撮影画像に適用することにより前記アンシャープマスク処理を行うことを特徴とする画像処理方法。 - 光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
を有し、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタをそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像の補間処理を行うことにより前記アンシャープマスク処理を行うことを特徴とする画像処理方法。 - コンピュータに、
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
を含む処理を実行させるための画像処理プログラムであって、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタの補間処理を行うことにより前記撮影画像の各像高に対応するフィルタを生成し、前記撮影画像の各像高に対応するフィルタを前記撮影画像に適用することにより前記アンシャープマスク処理が行われることを特徴とする画像処理プログラム。 - コンピュータに、
光学系を介した撮像により生成された撮影画像を取得するステップと、
前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、
を含む処理を実行させるための画像処理プログラムであって、
前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、2次元のタップのデータが回転非対称に分布しているフィルタを含み、
前記撮影画像に設定された複数の領域のそれぞれについて、少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数のフィルタを生成し、該複数のフィルタをそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像の補間処理を行うことにより前記アンシャープマスク処理が行われることを特徴とする画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013211503 | 2013-10-09 | ||
JP2013211503 | 2013-10-09 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178610A Division JP6124849B2 (ja) | 2013-10-09 | 2014-09-03 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017073828A JP2017073828A (ja) | 2017-04-13 |
JP6234623B2 true JP6234623B2 (ja) | 2017-11-22 |
Family
ID=53374473
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178610A Active JP6124849B2 (ja) | 2013-10-09 | 2014-09-03 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
JP2017005372A Active JP6234623B2 (ja) | 2013-10-09 | 2017-01-16 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178610A Active JP6124849B2 (ja) | 2013-10-09 | 2014-09-03 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6124849B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6448526B2 (ja) * | 2015-12-02 | 2019-01-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラム |
JP7155499B2 (ja) | 2017-04-26 | 2022-10-19 | Tdk株式会社 | 積層型電子部品およびその製造方法 |
JP6625144B2 (ja) * | 2018-01-05 | 2019-12-25 | キヤノン株式会社 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置 |
JP7101539B2 (ja) * | 2018-05-22 | 2022-07-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7301601B2 (ja) | 2019-05-24 | 2023-07-03 | キヤノン株式会社 | 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム |
JP7367722B2 (ja) | 2021-03-30 | 2023-10-24 | 株式会社村田製作所 | コイル部品およびその製造方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4577565B2 (ja) * | 2005-03-03 | 2010-11-10 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラム、および撮影装置 |
JP2010219683A (ja) * | 2009-03-13 | 2010-09-30 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8330825B2 (en) * | 2010-02-22 | 2012-12-11 | Eastman Kodak Company | Zoom lens system characterization for image sharpening |
WO2011122284A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP5367053B2 (ja) * | 2011-02-28 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 |
JP5274623B2 (ja) * | 2011-07-04 | 2013-08-28 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
JP5344647B2 (ja) * | 2011-08-01 | 2013-11-20 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
-
2014
- 2014-09-03 JP JP2014178610A patent/JP6124849B2/ja active Active
-
2017
- 2017-01-16 JP JP2017005372A patent/JP6234623B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6124849B2 (ja) | 2017-05-10 |
JP2017073828A (ja) | 2017-04-13 |
JP2015097380A (ja) | 2015-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6234623B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
EP2860694B1 (en) | Image processing apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium | |
US8830351B2 (en) | Image processing method and image processing apparatus for image restoration to reduce a detected color shift | |
CN106170051B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
JP6440766B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP2016081431A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6071966B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP6448526B2 (ja) | 画像処理装置、撮像装置、画像処理プログラム | |
JP6071860B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6562650B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
CN111988517B (zh) | 图像处理装置、镜头装置和图像处理方法 | |
JP6768312B2 (ja) | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 | |
RU2631521C2 (ru) | Устройство обработки изображения, устройство для съемки изображения и способ обработки изображения | |
JP2016201600A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP7101539B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240135508A1 (en) | Image processing method, image processing apparatus, image processing system, imaging apparatus, and storage medium | |
RU2656009C1 (ru) | Устройство обработки изображения, устройство для съемки изображения, способ обработки изображения и постоянный машиночитаемый носитель | |
JP2021027565A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP2020025225A (ja) | 撮像装置、レンズ装置 | |
JP2019087851A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170116 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171024 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6234623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |