JP6486548B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents
画像処理装置、撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6486548B2 JP6486548B2 JP2018501711A JP2018501711A JP6486548B2 JP 6486548 B2 JP6486548 B2 JP 6486548B2 JP 2018501711 A JP2018501711 A JP 2018501711A JP 2018501711 A JP2018501711 A JP 2018501711A JP 6486548 B2 JP6486548 B2 JP 6486548B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- optical system
- point image
- spherical aberration
- image restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 218
- 238000012545 processing Methods 0.000 title claims description 139
- 238000003672 processing method Methods 0.000 title claims description 27
- 230000004075 alteration Effects 0.000 claims description 150
- 230000003287 optical effect Effects 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 81
- 230000006870 function Effects 0.000 description 19
- 238000005286 illumination Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 7
- 229910052753 mercury Inorganic materials 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
<画像処理部の第1の実施形態>
図3は、図2に示したカメラコントローラ28内の画像処理部35の第1の実施形態を示すブロック図である。
次に、復元フィルタ記憶部51Bに記憶される復元フィルタについて説明する。
図8は、図2に示したカメラコントローラ28内の画像処理部35の第2の実施形態を示すブロック図である。尚、図3に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
<画像処理方法の第1の実施形態>
次に、本発明に係る画像処理方法の第1の実施形態について、図9に示したフローチャートにしたがって説明する。
図10は、本発明に係る画像処理方法の第2の実施形態を示すフローチャートである。尚、図10において、図9に示した第1の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
図11は、本発明に係る画像処理方法の第3の実施形態を示すフローチャートである。尚、図11において、図9に示した第1の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
本実施形態では、マシンビジョンシステムに使用される撮像装置10について説明したが、撮像装置10の用途はマシンビジョン用途に限定されない。また、一般のデジタルカメラやデジタルビデオカメラ、監視カメラ等にも適用可能であり、更に小絞りボケが発生しないF値の範囲で使用頻度が多いカメラで効果を得やすい。
12 レンズユニット
16 レンズ
18 絞り
20 光学系操作部
26 撮像素子
28 カメラコントローラ
32 入出力インターフェース
34 デバイス制御部
35 画像処理部
40 照明装置
51、52 点像復元処理部
51A、52A 復元フィルタ処理部
51B 復元フィルタ記憶部
51C 復元フィルタ選択部
52B 点拡がり関数記憶部
52C 復元フィルタ生成部
53 判別部
54 切替スイッチ
54A 第1の入力
54B 第2の入力
54C 可動切片
60 コンピュータ
62 コンピュータ入出力部
64 コンピュータコントローラ
66 ディスプレイ
S10〜S24 ステップ
f 焦点距離
λ 波長
F0 開放F値
F 撮像時のF値
L0 開放時の瞳径
L 撮像時の瞳径
T 瞳径の比
Claims (17)
- 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理部による点像復元処理を行うか否かを判別する判別部と、を備え、
前記点像復元処理部は、前記判別部が点像復元処理を行うと判別した場合のみ前記点像復元処理を行い、
前記判別部は、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第1の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第2の球面収差の比が第2の閾値を越えると、前記点像復元処理部による点像復元処理を行うと判別する画像処理装置。 - 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項1に記載の画像処理装置。
- 前記第2の閾値は、0.5である請求項1又は2に記載の画像処理装置。
- 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理部による点像復元処理を行うか否かを判別する判別部であって、前記撮像条件により変動する前記撮像光学系の球面収差が第1の閾値以上の場合に前記点像復元処理部による点像復元処理を行うと判別する判別部と、を備え、
前記撮像光学系の球面収差は、フリッツゼルニケ多項式の9項により表され、
前記点像復元処理部は、前記判別部が点像復元処理を行うと判別した場合のみ前記点像復元処理を行う画像処理装置。 - 前記第1の閾値は、球面収差を定める波長をλとすると、0.6λである請求項4に記載の画像処理装置。
- 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項4又は5に記載の画像処理装置。
- 前記撮像条件は、前記被写体を照明する光源の種類又は前記光源の波長である請求項1から6のいずれか1項に記載の画像処理装置。
- 前記判別部は、前記撮像条件により変動する前記撮像光学系の球面収差として、前記被写体を照明する光源の種類又は前記光源の波長に対応する前記球面収差を使用する請求項7に記載の画像処理装置。
- 前記撮像光学系は、前記撮像光学系を構成する絞りが少なくとも開放絞りの場合に、前記判別部により前記点像復元処理を行うと判別される前記球面収差を有する請求項1から8のいずれか1項に記載の画像処理装置。
- 請求項1から9のいずれか1項に記載の画像処理装置と、前記撮像部とを備える撮像装置。
- 請求項10に記載の撮像装置は、産業用カメラとして使用される撮像装置。
- 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理を行うか否かを判別するステップと、を含み、
前記点像復元処理を行うステップは、前記判別するステップが前記点像復元処理を行うと判別した場合のみ前記復元フィルタを用いた点像復元処理を行い、
前記判別するステップは、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第1の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第2の球面収差の比が第2の閾値を越えると、前記点像復元処理を行うと判別する画像処理方法。 - 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項12に記載の画像処理方法。
- 前記第2の閾値は、0.5である請求項12又は13に記載の画像処理方法。
- 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理を行うか否かを判別するステップであって、前記撮像条件により変動する前記撮像光学系の球面収差が第1の閾値以上の場合に前記点像復元処理を行うと判別するステップと、を含み、
前記撮像光学系の球面収差は、フリッツゼルニケ多項式の9項により表され、
前記点像復元処理を行うステップは、前記判別するステップが前記点像復元処理を行うと判別した場合のみ前記復元フィルタを用いた点像復元処理を行う画像処理方法。 - 前記第1の閾値は、球面収差を定める波長をλとすると、0.6λである請求項15に記載の画像処理方法。
- 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項15又は16に記載の画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016036197 | 2016-02-26 | ||
JP2016036197 | 2016-02-26 | ||
PCT/JP2017/006420 WO2017146061A1 (ja) | 2016-02-26 | 2017-02-21 | 画像処理装置、撮像装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017146061A1 JPWO2017146061A1 (ja) | 2018-12-13 |
JP6486548B2 true JP6486548B2 (ja) | 2019-03-20 |
Family
ID=59685191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018501711A Active JP6486548B2 (ja) | 2016-02-26 | 2017-02-21 | 画像処理装置、撮像装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10748256B2 (ja) |
JP (1) | JP6486548B2 (ja) |
CN (1) | CN108605095B (ja) |
WO (1) | WO2017146061A1 (ja) |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62210414A (ja) * | 1986-03-12 | 1987-09-16 | Minolta Camera Co Ltd | 焦点検出装置 |
JP2004048332A (ja) * | 2002-07-11 | 2004-02-12 | Honda Motor Co Ltd | カラー撮像装置の較正方法 |
US7110022B2 (en) | 2002-07-11 | 2006-09-19 | Honda Giken Kogyo Kabushiki Kaisha | Image output calibrating system for cameras |
JP2006311472A (ja) * | 2005-03-30 | 2006-11-09 | Kyocera Corp | 撮像装置、撮像システム、および撮像方法 |
RU2295713C2 (ru) * | 2005-04-11 | 2007-03-20 | Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет | Устройство коррекции сферической аберрации |
JP4612869B2 (ja) * | 2005-06-08 | 2011-01-12 | キヤノン株式会社 | 焦点検出装置、撮像装置、および合焦方法 |
EP2221652A4 (en) * | 2007-11-29 | 2010-12-29 | Kyocera Corp | IMAGING DEVICE AND ELECTRONIC APPARATUS |
US8502877B2 (en) * | 2008-08-28 | 2013-08-06 | Kyocera Corporation | Image pickup apparatus electronic device and image aberration control method |
JP2010109625A (ja) * | 2008-10-29 | 2010-05-13 | Kyocera Corp | 撮像装置および電子機器 |
JP4743553B2 (ja) * | 2008-09-29 | 2011-08-10 | 京セラ株式会社 | レンズユニット、撮像装置、および電子機器 |
US8477206B2 (en) * | 2008-09-30 | 2013-07-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image restoration using restoration filter |
TWI525346B (zh) * | 2009-09-01 | 2016-03-11 | 財團法人工業技術研究院 | 具有長焦深之光學成像系統及光學系統 |
JP5455728B2 (ja) * | 2010-03-17 | 2014-03-26 | キヤノン株式会社 | 撮像装置、画像処理装置、及び画像処理方法 |
JP5743772B2 (ja) * | 2011-07-22 | 2015-07-01 | 京セラ株式会社 | 画像処理システム |
JP5656926B2 (ja) * | 2012-06-22 | 2015-01-21 | キヤノン株式会社 | 画像処理方法、画像処理装置および撮像装置 |
JP5653464B2 (ja) | 2013-02-01 | 2015-01-14 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
CN104010115A (zh) * | 2013-02-26 | 2014-08-27 | 刘长江 | 一种可以修正镜头畸变的数码相机 |
JP6104010B2 (ja) | 2013-03-26 | 2017-03-29 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6115350B2 (ja) * | 2013-06-21 | 2017-04-19 | 株式会社リコー | 撮像装置および撮像方法および撮像装置用の結像光学系 |
JP2015004883A (ja) * | 2013-06-21 | 2015-01-08 | 株式会社リコー | 結像光学系および撮像システムおよび撮像方法 |
WO2015146380A1 (ja) | 2014-03-28 | 2015-10-01 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US10181182B2 (en) * | 2014-06-03 | 2019-01-15 | Sony Corporation | Image processing apparatus and image processing method for estimating point spread function |
CN107347249B (zh) | 2015-03-16 | 2021-10-01 | 皇家飞利浦有限公司 | 自动移动检测 |
-
2017
- 2017-02-21 JP JP2018501711A patent/JP6486548B2/ja active Active
- 2017-02-21 WO PCT/JP2017/006420 patent/WO2017146061A1/ja active Application Filing
- 2017-02-21 CN CN201780010884.0A patent/CN108605095B/zh active Active
-
2018
- 2018-08-23 US US16/110,164 patent/US10748256B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2017146061A1 (ja) | 2018-12-13 |
CN108605095A (zh) | 2018-09-28 |
US20180365811A1 (en) | 2018-12-20 |
CN108605095B (zh) | 2021-04-09 |
US10748256B2 (en) | 2020-08-18 |
WO2017146061A1 (ja) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9830689B2 (en) | Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
US8830351B2 (en) | Image processing method and image processing apparatus for image restoration to reduce a detected color shift | |
JP4942216B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びプログラム | |
US8724008B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration | |
JP4818957B2 (ja) | 撮像装置およびその方法 | |
JP2015211319A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6426323B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2013045404A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP4891301B2 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP6486548B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2010086139A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP4818956B2 (ja) | 撮像装置およびその方法 | |
US20220405892A1 (en) | Image processing method, image processing apparatus, image processing system, and memory medium | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN110958382A (zh) | 图像处理方法、图像处理装置、成像装置和存储介质 | |
JP2017126952A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2024063846A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP6552375B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2023119413A (ja) | 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体 | |
JP2016092742A (ja) | 画像処理装置および画像処理方法 | |
JP5197839B2 (ja) | 画像処理方法、画像処理装置、撮像装置、及びプログラム | |
JP2016092676A (ja) | 画像処理装置、撮像装置、カメラシステムおよび画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181025 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181025 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6486548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |