JP5832433B2 - 画像復元装置、撮像装置及び画像復元方法 - Google Patents
画像復元装置、撮像装置及び画像復元方法 Download PDFInfo
- Publication number
- JP5832433B2 JP5832433B2 JP2012527551A JP2012527551A JP5832433B2 JP 5832433 B2 JP5832433 B2 JP 5832433B2 JP 2012527551 A JP2012527551 A JP 2012527551A JP 2012527551 A JP2012527551 A JP 2012527551A JP 5832433 B2 JP5832433 B2 JP 5832433B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- sweep
- image
- psf
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 93
- 238000000034 method Methods 0.000 title claims description 62
- 230000008569 process Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000010408 sweeping Methods 0.000 claims description 11
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 239000000470 constituent Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Description
本発明の実施の形態1に係る撮像装置は、第1範囲のPSFと第2範囲のPSFとを加算することにより、第3範囲のPSFを算出する。これにより、当該撮像装置は、第3範囲のPSFをメモリに記憶しておく必要がないのでメモリに記憶しておくPSFデータの容量を削減できる。
本発明の実施の形態2では、上述した実施の形態1に係る撮像装置100の変形例について説明する。なお、以下では、実施の形態1との相違点を主に説明し、重複する説明は省略する。
101 撮像素子
102 レンズ
103 スイープ範囲決定部
104 スイープ撮像部
110 画像復元装置
111 PSF記憶部
112 PSF算出部
113 画像復元部
121 第1範囲PSF
122 第2範囲PSF
123 第3範囲PSF
124 第4範囲PSF
130 指定範囲
131 スイープ画像
132 復元画像
133 スイープ範囲
Claims (9)
- 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを記憶するPSF記憶部と、
前記2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出部と、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
画像復元装置。 - 前記PSF算出部は、前記第1PSFと前記第2PSFとを加算することにより、前記第3PSFを算出する
請求項1記載の画像復元装置。 - 請求項1又は2記載の画像復元装置と、
前記撮像素子と、
前記レンズと、
前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、
前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える
撮像装置。 - 前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定する
請求項3記載の撮像装置。 - 前記スイープ範囲決定部は、前記指定範囲が、前記第1範囲、前記第2範囲及び前記第3範囲のいずれにも一致しない場合、前記第1範囲、前記第2範囲及び前記第3範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定する
請求項4記載の撮像装置。 - 前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の被写体側の焦点位置を変位させ、
前記被写体側の焦点位置を前記第1範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第2範囲でスイープさせるための前記像面側距離の変位量と等しい
請求項3記載の撮像装置。 - 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元方法であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出ステップと、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元ステップとを含む
画像復元方法。 - 請求項7記載の画像復元方法をコンピュータに実行させるための
プログラム。 - 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する集積回路であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを記憶するPSF記憶部と、
前記2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出部と、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012527551A JP5832433B2 (ja) | 2011-01-31 | 2012-01-30 | 画像復元装置、撮像装置及び画像復元方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011018949 | 2011-01-31 | ||
JP2011018949 | 2011-01-31 | ||
JP2012527551A JP5832433B2 (ja) | 2011-01-31 | 2012-01-30 | 画像復元装置、撮像装置及び画像復元方法 |
PCT/JP2012/000582 WO2012105222A1 (ja) | 2011-01-31 | 2012-01-30 | 画像復元装置、撮像装置及び画像復元方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012105222A1 JPWO2012105222A1 (ja) | 2014-07-03 |
JP5832433B2 true JP5832433B2 (ja) | 2015-12-16 |
Family
ID=46602447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012527551A Active JP5832433B2 (ja) | 2011-01-31 | 2012-01-30 | 画像復元装置、撮像装置及び画像復元方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8767092B2 (ja) |
EP (1) | EP2672696B1 (ja) |
JP (1) | JP5832433B2 (ja) |
CN (1) | CN102804751B (ja) |
WO (1) | WO2012105222A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9897776B2 (en) | 2013-03-15 | 2018-02-20 | Nokia Technologies Oy | Apparatus, method and computer program for capturing images |
JP6236908B2 (ja) * | 2013-06-21 | 2017-11-29 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
JP6318520B2 (ja) | 2013-09-27 | 2018-05-09 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
JP6317635B2 (ja) * | 2014-06-30 | 2018-04-25 | 株式会社東芝 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6654688B2 (ja) | 2016-03-25 | 2020-02-26 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
WO2017217115A1 (ja) * | 2016-06-17 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
WO2020016922A1 (ja) * | 2018-07-17 | 2020-01-23 | オリンパス株式会社 | 撮像システム、処理装置および内視鏡 |
US11422355B2 (en) * | 2020-07-22 | 2022-08-23 | Sartorius Bioanalytical Instruments, Inc. | Method and system for acquisition of fluorescence images of live-cell biological samples |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3905619C2 (de) | 1988-02-23 | 2000-04-13 | Olympus Optical Co | Bildeingabe-/Ausgabevorrichtung |
JP3191928B2 (ja) | 1988-02-23 | 2001-07-23 | オリンパス光学工業株式会社 | 画像入出力装置 |
DE3931934C2 (de) | 1988-10-03 | 1994-11-10 | Olympus Optical Co | Bild-Ein/Ausgabevorrichtung |
GB8917224D0 (en) | 1989-07-27 | 1989-09-13 | Unilever Plc | Dispensing system |
JPH03191928A (ja) | 1989-12-20 | 1991-08-21 | Matsushita Electric Ind Co Ltd | 電気湯沸かし器 |
JP3084130B2 (ja) | 1992-05-12 | 2000-09-04 | オリンパス光学工業株式会社 | 画像入力装置 |
US8005314B2 (en) * | 2005-12-09 | 2011-08-23 | Amnis Corporation | Extended depth of field imaging for high speed object analysis |
JP2004153497A (ja) | 2002-10-30 | 2004-05-27 | Kyocera Corp | ディジタルカメラの自動露出制御システム |
JP2006003803A (ja) * | 2004-06-21 | 2006-01-05 | Olympus Corp | 合焦情報取得装置及び合焦情報取得方法 |
JP4984491B2 (ja) * | 2005-10-31 | 2012-07-25 | 株式会社ニコン | 焦点検出装置および光学システム |
US7711259B2 (en) | 2006-07-14 | 2010-05-04 | Aptina Imaging Corporation | Method and apparatus for increasing depth of field for an imager |
JP5012135B2 (ja) * | 2007-03-28 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | 超深度画像生成装置 |
WO2009120718A1 (en) * | 2008-03-24 | 2009-10-01 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for controlling depth of field in images |
US8131097B2 (en) * | 2008-05-28 | 2012-03-06 | Aptina Imaging Corporation | Method and apparatus for extended depth-of-field image restoration |
CN101373271B (zh) * | 2008-08-15 | 2011-08-10 | 北京泰邦天地科技有限公司 | 一种摄像系统和摄像方法 |
US8289438B2 (en) * | 2008-09-24 | 2012-10-16 | Apple Inc. | Using distance/proximity information when applying a point spread function in a portable media device |
US8593509B2 (en) * | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
JP5869883B2 (ja) * | 2010-06-17 | 2016-02-24 | パナソニック株式会社 | 画像処理装置 |
JP2012005063A (ja) * | 2010-06-21 | 2012-01-05 | Sony Corp | 撮像装置および方法、並びにプログラム |
CN101937561A (zh) * | 2010-09-19 | 2011-01-05 | 华中科技大学 | 一种天基大视场成像点源/斑状目标的图像恢复增强方法 |
JP5976676B2 (ja) * | 2011-01-14 | 2016-08-24 | ソニー株式会社 | レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 |
EP2688284B1 (en) * | 2011-03-14 | 2017-10-25 | Panasonic Corporation | Imaging device, imaging method, integrated circuit, and computer program |
TWI467226B (zh) * | 2011-11-15 | 2015-01-01 | Ind Tech Res Inst | 相位物體顯微系統 |
-
2012
- 2012-01-30 WO PCT/JP2012/000582 patent/WO2012105222A1/ja active Application Filing
- 2012-01-30 US US13/636,385 patent/US8767092B2/en active Active
- 2012-01-30 JP JP2012527551A patent/JP5832433B2/ja active Active
- 2012-01-30 EP EP12742400.0A patent/EP2672696B1/en active Active
- 2012-01-30 CN CN201280000943.3A patent/CN102804751B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2672696A4 (en) | 2015-07-08 |
WO2012105222A1 (ja) | 2012-08-09 |
US8767092B2 (en) | 2014-07-01 |
US20130010160A1 (en) | 2013-01-10 |
EP2672696B1 (en) | 2018-06-13 |
EP2672696A1 (en) | 2013-12-11 |
JPWO2012105222A1 (ja) | 2014-07-03 |
CN102804751A (zh) | 2012-11-28 |
CN102804751B (zh) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5832433B2 (ja) | 画像復元装置、撮像装置及び画像復元方法 | |
JP5173665B2 (ja) | 画像撮影装置およびその距離演算方法と合焦画像取得方法 | |
JP6210333B2 (ja) | 距離測定装置、及び、距離測定方法 | |
JP5367094B2 (ja) | 撮像装置及びその制御方法 | |
JP5588461B2 (ja) | 撮像装置および撮像方法 | |
JP5938281B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP5882898B2 (ja) | 撮像装置、撮像方法、集積回路、コンピュータプログラム | |
JP5618712B2 (ja) | 自動焦点調節装置および撮像装置 | |
US9674420B2 (en) | Lens apparatus and image capturing apparatus | |
JP2011217368A (ja) | 撮像装置、カメラ本体及び交換レンズ | |
US10536624B2 (en) | Image pickup apparatus and image pickup method | |
JP2009111774A (ja) | 撮像装置および画像処理方法 | |
JP6218385B2 (ja) | 交換レンズ及び撮像装置 | |
JP2011053255A (ja) | オートフォーカス装置、オートフォーカス方法及びプログラム | |
JP6305017B2 (ja) | フォーカス制御装置、およびその制御方法 | |
JP6642998B2 (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JP6305016B2 (ja) | フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置 | |
JP6645690B2 (ja) | 自動焦点調節装置、撮像装置、および自動焦点調節方法 | |
JP2018045101A (ja) | 焦点調節装置、焦点調節方法、プログラム | |
JP5581177B2 (ja) | 撮像位置調整装置および撮像装置 | |
JP2013246315A (ja) | オートフォーカスシステムおよびプログラム | |
JP2018110287A (ja) | 撮像装置、その制御方法、プログラム、及び記録媒体 | |
JP2016224357A (ja) | レンズ制御装置、光学機器およびレンズ制御プログラム | |
JP2011114646A (ja) | 追尾装置、焦点調節装置、および、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140930 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141022 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151027 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5832433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |