JP6149717B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP6149717B2 JP6149717B2 JP2013258971A JP2013258971A JP6149717B2 JP 6149717 B2 JP6149717 B2 JP 6149717B2 JP 2013258971 A JP2013258971 A JP 2013258971A JP 2013258971 A JP2013258971 A JP 2013258971A JP 6149717 B2 JP6149717 B2 JP 6149717B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- data
- image
- unit
- tilt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 385
- 238000012545 processing Methods 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 35
- 230000010354 integration Effects 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 31
- 238000005286 illumination Methods 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000006187 pill Substances 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 235000020030 perry Nutrition 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Description
本発明の実施形態に係る撮像装置及び撮像方法について説明するに先立ち、本発明者が行った上記のEDOF技術に関する検討結果について、図1及び図2を参照しながら説明する。図1及び図2は、本発明者によるEDOF技術に関する検討結果について説明するための説明図である。
図1に模式的に示したように、上記特許文献1及び非特許文献1に開示の技術では、TDIカメラに設けられているTDIセンサ(撮像素子)の受光面を、撮像対象とする物体の撮像面に対して傾けている。そのため、撮像素子による積分時間中、撮像素子に対する像の合焦状態は、時間に応じて変化していく。各時刻でのPSFが合成されることで、最終的なPSFが生成されるが、生成されるPSFでは、撮像対象の奥行きが多少変化したとしてもPSFの形状はほとんど変化せず、被写界深度の広い範囲で奥行き不変となる。
図2に模式的に示したように、フォーカススイープ技術では、撮像対象とする物体の撮像面とカメラ等の撮像機器における撮像素子とは、互いに平行となるように設定される。その上で、フォーカススイープ技術では、1フレーム中に撮像素子を光軸方向に一定速度で移動させるという操作が行われる。撮像素子の光軸方向へのシフト操作により、撮像素子に結像する像の合焦状態は、時間に応じて変化していく。各時刻でのPSFが合成されることで、強度が結像円の半径rの逆数に比例する最終的なPSFが生成される。フォーカススイープ技術においても、上記特許文献1及び非特許文献1の技術と同様に、生成されるPSFでは、撮像対象の奥行きが多少変化したとしてもPSFの形状はほとんど変化せず、被写界深度の広い範囲で奥行き不変となる。
以下、本発明の実施形態に係る撮像装置及び撮像方法について、詳細に説明する。
<撮像装置の全体的な構成について>
まず、図3A及び図3Bを参照しながら、本発明の実施形態に係る撮像装置の全体的な構成について説明する。図3A及び図3Bは、本実施形態に係る撮像装置の全体的な構成を模式的に示した説明図である。
次に、図4〜図7を参照しながら、本実施形態に係る撮像装置10が備える撮像部101について、詳細に説明する。図4は、本実施形態に係る撮像装置の撮像部について模式的に示した説明図である。図5〜図7は、本実施形態に係る撮像装置の撮像部を説明するための説明図である。
次に、図5〜図7を参照しながら、撮像部101における撮像素子113及びチルトレンズ115と、撮像対象物の撮像面と、の間に成立する光学的な関係について、詳細に説明する。
次に、図8〜図12Bを参照しながら、本実施形態に係る撮像装置10が備える演算処理部103について、詳細に説明する。図8は、本実施形態に係る撮像装置の演算処理部の構成の一例について説明するためのブロック図である。図9〜図12Bは、本実施形態に係るデータ処理部で実施されるデータ処理について説明するための説明図である。
撮像部101から出力される撮像データに対応する画像は、様々な合焦状態に関する情報を含んだ画像である。この撮像データに対応する画像は、本来撮像されるはずの像に対して、ボケ関数として機能するPSFがコンボリュートされ、場合によっては更にノイズが重畳した画像として捉えることができる。従って、PSFを利用して撮像データに対してデコンボリューション処理を施すことによって、本来撮像されるはずの、被写界深度が拡張された画像を復元することができる。本実施形態に係るデータ処理部155は、このような撮像データ及びPSFを利用したデコンボリューション処理を実施する。
データ処理部155によって実施されるデコンボリューション処理で用いられる各種データのうち撮像データは、撮像部101によって生成されるデータである。従って、データ処理部155がデコンボリューション処理を行うためには、処理に利用するPSFを決めることが求められる。
図9及び図10に例示したように、本実施形態に係るデコンボリューション処理で利用するPSFは、着目している撮像データの大きさで規定される領域の一部分にのみ値を有するものである。従って、PSFを利用する際に、着目する全ての領域に対してデコンボリューション処理を行っても良いが、有意な領域に対してのみデコンボリューション処理を実施することで、処理に要する演算リソースや演算時間等を削減することが可能となる。
次に、以上説明したようなPSFを利用したデータ処理部155におけるデコンボリューション処理について説明する。
先だって説明したように、撮像部101により生成された撮像データに対応する画像は、本来撮像されるはずの像に対して、ボケ関数として機能するPSFがコンボリュートされたものと捉えることができる。従って、撮像データとPSFに対応するデータとをデコンボリューションすることで、最終的に生成したい画像である、被写界深度が拡張された画像(EDOF画像)を得ることができる。
続いて、図13を参照しながら、本実施形態に係る撮像装置10で実施される撮像方法の流れの一例について、簡単に説明する。図13は、本実施形態に係る撮像方法の流れの一例を示した流れ図である。
次に、図14を参照しながら、本発明の実施形態に係る演算処理部103のハードウェア構成の一例について、詳細に説明する。図14は、本発明の実施形態に係る演算処理部103のハードウェア構成の一例を説明するためのブロック図である。
以上説明したように、本発明の実施形態に係る撮像装置及び撮像方法では、TDIカメラの撮像素子の受光面が水平となっているため、視野全体にわたってEDOF効果を得ることが可能となる。また、本発明の実施形態に係る撮像装置及び撮像方法では、露出中に撮像素子を可動させるための可動機構等といった可動部分が無く、装置そのものの信頼性が高い。また、本発明の実施形態に係る撮像装置及び撮像方法では、一般的に用いられるTDIカメラと同じ処理速度で撮像が可能であるため、高速な撮像処理が可能となる。更に、本発明の実施形態に係る撮像装置及び撮像方法では、EDOF効果を得るために特殊な位相板を必要とせず、安価なシステムの構築が可能となる。
実験例1では、本発明の実施形態に係る撮像装置を利用して2種類の物体を撮像し、被写界深度拡張効果が得られているか否かについて、検証を行った。
実験例2では、円柱モデルによる幾何光学シミュレーションを利用して、上記特許文献1及び非特許文献1に記載の手法と、本発明の実施形態に係る撮像装置及び撮像方法との比較を行った。シミュレーション条件は、以下の通りである。
撮像素子:幅方向8192画素×積分段数256段、素子サイズ7μm
撮像レンズ:焦点距離f=50mm、F値=1.4
撮像倍率:1:1
○本発明例
撮像素子の受光面が水平となる条件とし、撮像レンズのチルト角を20°とした。
○比較例
チルト角を0°とし、撮像素子が水平面に対して20°傾斜した条件とした。
なお、図17及び図18において、図中の左側の列に示した一連のグラフが本発明例に対応しており、右側の列に示した一連のグラフが比較例に対応している。また、PSFの幅方向及び積分方向の単位は、画素であり、MTFの幅方向及び積分方向の単位は、ナイキスト周波数である。
本発明例に係るPSF及びMTFは、水平な面上に鋭いピークを示す値が得られており、下段に示したMTFの断面でも、積分方向と幅方向とで、異方性が無いことがわかる。一方、比較例に係るMTFを見ると、本来水平面となるべき部分が波打っており、MTFの断面でも、幅方向と積分方向とで、関数の特性が異なっていることがわかる。これは、撮像素子の受光面が傾斜することによって、本来円形となるべきボケ像が、楕円形となるため、幅方向と積分方向とで解像力が変わってしまうためである。
図18から明らかなように、本発明例に係るPSF及びMTFは、視野の中央部分と同様の形状を有しており、下段に示したMTFの断面でも、積分方向と幅方向とで、異方性が無いことがわかる。一方、比較例に係るPSF及びMTFを見ると、視野の中央部分とは大きく異なる形状を有しており、特に、MTFでは、本来水平面となるべき部分が大きく波打っており、MTFの断面でも、幅方向と積分方向とで、関数の特性が大きく異なっていることがわかる。
すなわち、比較例に対応する条件では、視野の中央部分では、TDIカメラによる積分方向と像の移動方向がほぼ一致しているため、本来のPSFの形状を得ることができる。一方、視野の端部では、図19上段に示したように、TDIカメラによる積分方向と像の移動方向がズレてしまうため、各瞬間でのPSFを合成することで最終的に得られるPSFの形状は、図19右側に示したように、方向のズレを反映したものとなってしまう。そのため、比較例に対応する条件では、視野の中心部分でしかEDOF効果を得ることができない。
101 撮像部
103 演算処理部
111 遅延積分型の撮像機器(TDIカメラ)
113 撮像素子
115 チルトレンズ
117 照明光源
151 撮像制御部
153 データ取得部
155 データ処理部
157 処理結果出力部
159 表示制御部
161 記憶部
Claims (9)
- チルトレンズが装着された遅延積分型の撮像機器を有し、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像部と、
前記撮像部により撮像された撮像データに対してデコンボリューション処理を施すデータ処理部と、
を備え、
前記撮像機器の受光面及びデータシフト方向は、前記撮像対象物の前記搬送方向に対して平行であり、
前記チルトレンズの傾動軸は、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交しており、
前記撮像機器におけるデータシフト速度が前記受光面における像の移動速度と一致するように設定される
ことを特徴とする、撮像装置。 - 撮像する前記撮像対象物における撮像面の法線方向に対応する奥行き範囲を、前記チルトレンズの焦点距離及びチルト角、前記チルトレンズから前記受光面までの距離並びに前記受光面の搬送方向の大きさに基づきシャインプルーフ条件により決まる前方側合焦可能範囲及び後方側合焦可能範囲で規定される被写界深度よりも狭くなるように制限して用いる
ことを特徴とする、請求項1に記載の撮像装置。 - 前記奥行き範囲を、前記被写界深度の1/2以下となるように制限して用いる
ことを特徴とする、請求項2に記載の撮像装置。 - 前記チルトレンズのチルト角を変更することで前記被写界深度を設定し、
前記チルトレンズ又は前記受光面の少なくとも何れかを前記搬送方向に対して平行にシフトさせることで、前記撮像面の法線と前記チルトレンズの主光軸とのなす角度である撮像角度を所定の値に設定する
ことを特徴とする、請求項2又は3に記載の撮像装置。 - 前記撮像部による撮像処理を制御する撮像制御部を更に備え、
前記撮像部は、前記撮像対象物における撮像面に対して照明光を照射する照明光源を更に有しており、
前記撮像対象物の搬送速度が変化する場合、前記撮像制御部は、照明光の強度が前記搬送速度に比例するように前記照明光源を制御する
ことを特徴とする、請求項1〜4の何れか1項に記載の撮像装置。 - 前記データ処理部は、
前記撮像データと点広がり関数とに基づいてデコンボリューション処理を行い、
前記点広がり関数として、予め実測された点広がり関数、シミュレーションにより得られた点広がり関数、又は、所定のモデルを用いて規定された点広がり関数の何れかを利用する
ことを特徴とする、請求項1〜5の何れか1項に記載の撮像装置。 - 前記データ処理部は、半径ゼロの位置で強度が所定の定数となり、かつ、半径ゼロ以外の位置で半径に反比例する強度分布を持つようにした前記点広がり関数を利用する
ことを特徴とする、請求項6に記載の撮像装置。 - 前記所定の定数は、前記撮像対象物のエッジ部におけるリンギングが所定の閾値以下となるように設定される
ことを特徴とする、請求項7に記載の撮像装置。 - チルトレンズが装着された遅延積分型の撮像機器により、所定の搬送方向に搬送される撮像対象物からの光を撮像する撮像ステップと、
前記撮像ステップにて撮像された撮像データに対してデコンボリューション処理を施すデータ処理ステップと、
を含み、
前記撮像ステップでは、前記撮像機器の受光面及びデータシフト方向を、前記撮像対象物の前記搬送方向に対して平行とし、前記チルトレンズの傾動軸を、前記撮像機器の前記受光面に対して平行であり、かつ、前記撮像対象物の前記搬送方向に対して直交するようにし、前記撮像機器におけるデータシフト速度が、前記受光面における像の移動速度と一致するように設定される
ことを特徴とする、撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013258971A JP6149717B2 (ja) | 2013-12-16 | 2013-12-16 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013258971A JP6149717B2 (ja) | 2013-12-16 | 2013-12-16 | 撮像装置及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015115918A JP2015115918A (ja) | 2015-06-22 |
JP6149717B2 true JP6149717B2 (ja) | 2017-06-21 |
Family
ID=53529305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013258971A Active JP6149717B2 (ja) | 2013-12-16 | 2013-12-16 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6149717B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101711849B1 (ko) * | 2015-07-21 | 2017-03-06 | 주식회사 에프에스티 | 내면 영상 획득을 위한 광학 장치 |
JP6742783B2 (ja) * | 2016-04-01 | 2020-08-19 | 株式会社ミツトヨ | 撮像システム及び撮像方法 |
JP6821526B2 (ja) | 2017-08-15 | 2021-01-27 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、プログラム |
KR102087822B1 (ko) * | 2018-04-03 | 2020-03-11 | 성균관대학교 산학협력단 | 소도체 등심 영상 획득기 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11132748A (ja) * | 1997-10-24 | 1999-05-21 | Hitachi Ltd | 多焦点同時検出装置および立体形状検出装置および外観検査装置、並びにその方法 |
US6583865B2 (en) * | 2000-08-25 | 2003-06-24 | Amnis Corporation | Alternative detector configuration and mode of operation of a time delay integration particle analyzer |
JP2011133593A (ja) * | 2009-12-24 | 2011-07-07 | Kyocera Corp | 撮像装置 |
-
2013
- 2013-12-16 JP JP2013258971A patent/JP6149717B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015115918A (ja) | 2015-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10402956B2 (en) | Image-stitching for dimensioning | |
JP5651118B2 (ja) | 画像処理装置および画像処理方法 | |
JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
CN1977526B (zh) | 图像捕捉方法和图像捕捉设备 | |
US9407833B2 (en) | Systems, methods, and media for recording an image using an optical diffuser | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP2014168227A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6149717B2 (ja) | 撮像装置及び撮像方法 | |
JP6319972B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2011159159A (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP2006266848A (ja) | 距離測定装置 | |
CN112351196B (zh) | 图像清晰度的确定方法、图像对焦方法及装置 | |
JP2015121773A (ja) | 撮像装置 | |
JP2015005221A (ja) | 情報処理装置、情報処理方法、及び、コンピュータプログラム | |
JP2019029999A (ja) | 超解像度画像を生成するための画素の較正 | |
JP4752733B2 (ja) | 撮像装置および撮像方法、並びに撮像装置の設計方法 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP2011133360A (ja) | 距離計測装置、距離計測方法、及びプログラム | |
JP5900049B2 (ja) | 被写界深度拡張システム及び被写界深度拡張方法 | |
US10455127B2 (en) | Movement detection device | |
JP6422761B2 (ja) | 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 | |
JP2013232757A (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
US9232132B1 (en) | Light field image processing | |
JP4091455B2 (ja) | 3次元形状計測方法及び3次元形状計測装置並びにその処理プログラムと記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6149717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |