JP7195556B2 - 超解像計測装置および超解像計測装置の作動方法 - Google Patents
超解像計測装置および超解像計測装置の作動方法 Download PDFInfo
- Publication number
- JP7195556B2 JP7195556B2 JP2021543950A JP2021543950A JP7195556B2 JP 7195556 B2 JP7195556 B2 JP 7195556B2 JP 2021543950 A JP2021543950 A JP 2021543950A JP 2021543950 A JP2021543950 A JP 2021543950A JP 7195556 B2 JP7195556 B2 JP 7195556B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- complex amplitude
- super
- optical
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 35
- 238000000034 method Methods 0.000 title claims description 35
- 230000003287 optical effect Effects 0.000 claims description 330
- 238000009792 diffusion process Methods 0.000 claims description 113
- 230000005540 biological transmission Effects 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000009471 action Effects 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000001093 holography Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
図1において、超解像計測装置10は、ステージ11、実光学系12、センサ13、および処理装置14を備える。ステージ11には被計測物体15がセットされる。実光学系12は、ステージ11にセットされた被計測物体15の入力光波を取り込み、センサ13へと導く。センサ13は、実光学系12によって導かれた入力光波の強度と位相を計測して、光複素振幅画像54(図6参照)を出力する。センサ13は、光複素振幅画像54を処理装置14に送信する。処理装置14は、例えばデスクトップ型のパーソナルコンピュータである。処理装置14は、センサ13からの光複素振幅画像54に基づいて、出力画像76(図9参照)を生成する。
F_R{a_R(x、y)}=A_R(X、Y)
と表せる。
A_R(X、Y)×Φ_R(X、Y)
と表せる。ここで、A_R(X、Y)×Φ_R(X、Y)を取得するためには、必ずしもこのランダム拡散板22を用いる方法に限定されず、空間的に位相をランダムに変調した光を被計測物体15に照射して得られる透過光または散乱光を用いてもよい。
F_R{A_R(X、Y)×Φ_R(X、Y)}
と表せる。
Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}}
と表せる。ここで、Rect_R{*}は、部分透過マスク29の透過部35においては*の値を示し、透過部35以外の周辺の遮光部においては0の値を示す。
Φ_R(X、Y)×Φ_V1(X、Y)=1
である。Φ_V1(X、Y)は、本開示の技術に係る「拡散部材の透過関数の位相共役関数」の一例である。
F_V1-1{Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}}}≒A_SR(X、Y)×Φ_R(X、Y)
と表せる。A_SR(X、Y)は、超解像成分を含んでいる。
F_V1-1{A_SR(X、Y)}=a_SR(x、y)
と表せる。
F_V2{b_R(x、y)}=B_R(X、Y)
と表せる。なお、基準画像61は、部分透過マスク29の透過部35に収まるように集光された被計測物体15の入力光波を計測したものであるため、高速フーリエ変換部110に入力される前に、光複素振幅画像54と同じサイズに変更されている。
B_R(X、Y)×Φ_V2(X、Y)
と表せる。
F_V2{B_R(X、Y)×Φ_V2(X、Y)}
と表せる。
Rect_V{F_V2{B_R(X、Y)×Φ_V2(X、Y)}}
と表せる。
F_V1-1{Rect_V{F_V2{B_R(X、Y)×Φ_V2(X、Y)}}}≒B_NSR(X、Y)×Φ_V2(X、Y)
と表せる。B_NSR(X、Y)は、超解像成分を含んでいない。
F_V1-1{B_NSR(X、Y)}=b_NSR(x、y)
と表せる。
Re{a_R(x、y)-b_R(x、y)}≒Re{a_SR(x、y)-b_NSR(x、y)}
Im{a_R(x、y)-b_R(x、y)}≒Im{a_SR(x、y)-b_NSR(x、y)}
である。なお、Re{*}は実数部、Im{*}は虚数部をそれぞれ表す。
O(x、y)=C×{a_SR(x、y)-b_NSR(x、y)}+b_R(x、y)
により得られる。
C2={a_R(x0、y0)}2/{a_SR(x0、y0)}2
規格化定数Cは、RW制御部81によりストレージデバイス65に記憶される。また、規格化定数Cは、RW制御部81によりストレージデバイス65から読み出され、減算部87に出力される。
以下では、上記第1実施形態の超解像計測装置10の数値シミュレーションに基づく実施例1を示す。
図33~図35に示す第2実施形態では、入力光波の拡散特性を変更可能な空間光変調器182を拡散部材として用いる。
O(x、y)=(1/N)×Σ(a_SR(x、y))
と表せる。
図36は、上記第2実施形態の数値シミュレーションによる出力画像76の位相画像76PHの例(位相パターンの変更数N=200)である。この位相画像76PHからも分かるように、基準画像61を用いずとも、出力画像76に生じる画質劣化を十分に低減することができている。
図37および図38に示す第3実施形態では、遮光部202が中央部分に設けられたランダム拡散板201を拡散部材として用いる。
図39は、上記第3実施形態の数値シミュレーションに用いた入力画像50を示す。図39Aは入力画像50の強度画像50AM、図39Bは入力画像50の位相画像50PHをそれぞれ示す。入力画像50は、図20で示した入力画像50と同じく、白地の中心部分と左隅部分にマーク210が付された画像である。
図42~図44に示す第4実施形態では、開口223が中央部分に設けられたランダム拡散板221を拡散部材として用いる。
Claims (13)
- 被計測物体の入力光波を拡散させる拡散部材、および拡散された前記入力光波を部分的に透過させる部分透過マスクを含む実光学系と、
前記部分透過マスクを透過した前記入力光波の強度と位相を計測して光複素振幅画像を出力するセンサと、
前記センサの解像度を超える解像度の成分である超解像成分を含む前記被計測物体の入力光波を、前記光複素振幅画像から再生する計算処理であって、前記拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する仮想光学系と、
を備える超解像計測装置。 - 前記仮想光学系は、前記光複素振幅画像から第1中間画像を生成し、
前記被計測物体の基準画像から第2中間画像を生成し、
前記第1中間画像から前記第2中間画像を減算した画像に基づいて、前記出力画像を生成する請求項1に記載の超解像計測装置。 - 前記実光学系は、
前記拡散部材を経て前記センサに至る、前記光複素振幅画像を得るための光複素振幅画像取得光路と、
前記拡散部材を通さずに前記センサに至る、前記基準画像を得るための基準画像取得光路とを有する請求項2に記載の超解像計測装置。 - 前記光複素振幅画像取得光路の前記拡散部材よりも前記被計測物体側から、前記基準画像取得光路が分岐している請求項3に記載の超解像計測装置。
- 前記光複素振幅画像取得光路の前記拡散部材よりも前記センサ側で、前記基準画像取得光路が合流している請求項4に記載の超解像計測装置。
- 前記基準画像取得光路においては、前記入力光波が前記部分透過マスクの透過部に収まるサイズに集光される請求項5に記載の超解像計測装置。
- 前記光複素振幅画像取得光路と前記基準画像取得光路とは兼用されており、
前記拡散部材および前記部分透過マスクは、前記光複素振幅画像取得光路内に進入した進入位置と、前記光複素振幅画像取得光路から退避した退避位置とに移動され、
前記光複素振幅画像取得光路は、前記拡散部材および前記部分透過マスクが前記退避位置にある場合に、前記基準画像取得光路として機能する請求項3に記載の超解像計測装置。 - 前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板である請求項1から請求項7のいずれか1項に記載の超解像計測装置。
- 前記拡散部材は、前記入力光波の拡散特性を変更可能な空間光変調器であり、
前記センサは、前記空間光変調器により拡散特性が変更された複数種の前記入力光波の強度と位相を計測して、前記入力光波の拡散特性が異なる複数の前記光複素振幅画像を出力し、
前記仮想光学系は、複数の前記光複素振幅画像の各々から中間画像を生成し、複数の前記中間画像を加算平均した画像を、前記出力画像とする請求項1に記載の超解像計測装置。 - 前記実光学系は、前記拡散部材よりも前記被計測物体側、および前記拡散部材よりも前記センサ側に配された、一対のフーリエ変換レンズを含む請求項1に記載の超解像計測装置。
- 前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板であって、前記被計測物体側に配された前記フーリエ変換レンズによる低空間周波数成分をカットする遮光部が、中央部分に設けられたランダム拡散板である請求項10に記載の超解像計測装置。
- 前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板であって、前記被計測物体側に配された前記フーリエ変換レンズによる低空間周波数成分を透過する開口が、中央部分に設けられたランダム拡散板であり、
前記実光学系には、前記開口を透過した前記低空間周波数成分を、前記部分透過マスクの透過部に集光する集光レンズが配されている請求項10に記載の超解像計測装置。 - 被計測物体の入力光波を拡散させる拡散部材、および拡散された前記入力光波を部分的に透過させる部分透過マスクを含む実光学系を用い、
センサによって、前記部分透過マスクを透過した前記入力光波の強度と位相を計測して光複素振幅画像を出力させ、
仮想光学系において、前記センサの解像度を超える解像度の成分である超解像成分を含む前記被計測物体の入力光波を、前記光複素振幅画像から再生する計算処理であって、前記拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する、
超解像計測装置の作動方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160696 | 2019-09-03 | ||
JP2019160696 | 2019-09-03 | ||
PCT/JP2020/018465 WO2021044670A1 (ja) | 2019-09-03 | 2020-05-01 | 超解像計測装置および超解像計測装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021044670A1 JPWO2021044670A1 (ja) | 2021-03-11 |
JP7195556B2 true JP7195556B2 (ja) | 2022-12-26 |
Family
ID=74853161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543950A Active JP7195556B2 (ja) | 2019-09-03 | 2020-05-01 | 超解像計測装置および超解像計測装置の作動方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7195556B2 (ja) |
WO (1) | WO2021044670A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006137326A1 (ja) | 2005-06-20 | 2006-12-28 | Matsushita Electric Industrial Co., Ltd. | 2次元画像表示装置、照明光源及び露光照明装置 |
WO2015068834A1 (ja) | 2013-11-11 | 2015-05-14 | 国立大学法人北海道大学 | 複素振幅像生成装置および複素振幅像生成方法 |
US20190049896A1 (en) | 2017-08-08 | 2019-02-14 | National Taiwan Normal University | Method and Apparatus of Structured Illumination Digital Holography |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4367261B2 (ja) * | 2004-06-30 | 2009-11-18 | 株式会社ニコン | 顕微鏡観察方法、顕微鏡装置、及び画像処理装置 |
JP6230047B2 (ja) * | 2013-08-15 | 2017-11-15 | 国立大学法人北海道大学 | 複素振幅画像表示方法、散乱位相画像生成装置および散乱位相画像生成方法 |
-
2020
- 2020-05-01 WO PCT/JP2020/018465 patent/WO2021044670A1/ja active Application Filing
- 2020-05-01 JP JP2021543950A patent/JP7195556B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006137326A1 (ja) | 2005-06-20 | 2006-12-28 | Matsushita Electric Industrial Co., Ltd. | 2次元画像表示装置、照明光源及び露光照明装置 |
WO2015068834A1 (ja) | 2013-11-11 | 2015-05-14 | 国立大学法人北海道大学 | 複素振幅像生成装置および複素振幅像生成方法 |
US20190049896A1 (en) | 2017-08-08 | 2019-02-14 | National Taiwan Normal University | Method and Apparatus of Structured Illumination Digital Holography |
Non-Patent Citations (3)
Title |
---|
岡本 淳 ほか,空間光変調器を用いた光波制御と光情報処理,電子情報通信学会2019年総合大会講演論文集 エレクトロニクス1,2019年03月19日,C-3-20,131 |
後藤 優太 ほか,仮想位相共役技術を用いた光断層イメージングの特性解析,映像情報メディア学会技術報告,日本,2015年,Vol.39 No.7,9-14 |
後藤 優太 ほか,高密度ホログラフィックメモリに向けた仮想位相共役技術を用いたデジタル画像多重分離の基礎実験,映像情報メディア学会技術報告,(一社)映像情報メディア学会 The Institute of Ima,2018年,Vol.42 No.4,147-152 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021044670A1 (ja) | 2021-03-11 |
WO2021044670A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11558590B2 (en) | Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection | |
JP4664031B2 (ja) | 光パターン形成方法および装置、ならびに光ピンセット装置 | |
Wu et al. | Imaging biological tissue with high-throughput single-pixel compressive holography | |
JP6179902B2 (ja) | デジタルホログラフィ装置およびデジタルホログラフィ再生方法 | |
Ayoub et al. | High speed, complex wavefront shaping using the digital micro-mirror device | |
Bernet et al. | Lensless digital holography with diffuse illumination through a pseudo-random phase mask | |
Zhou et al. | Wirtinger gradient descent optimization for reducing gaussian noise in lensless microscopy | |
Chen et al. | Compact computational holographic display | |
JP7195556B2 (ja) | 超解像計測装置および超解像計測装置の作動方法 | |
Hofmann et al. | Extended holographic wave front printer setup employing two spatial light modulators | |
JP4936959B2 (ja) | ホログラム情報記録再生方法、ならびにホログラム情報記録再生装置、ホログラム情報記録装置、およびホログラム情報再生装置 | |
JP6436753B2 (ja) | 位相差干渉顕微装置 | |
Martínez-León et al. | High-speed single-pixel digital holography with a DMD | |
KR102552799B1 (ko) | 광학 측정 방법 및 광학 측정 시스템 | |
KR102658893B1 (ko) | 홀로그래픽 디스플레이 장치 및 그 장치를 위한 홀로그램 최적화 방법 | |
JP2007178458A (ja) | ホログラム記録方法及び装置 | |
JP6554411B2 (ja) | ホログラム記録装置および方法 | |
Wilm et al. | Highly transparent wave front printed volume holograms realized by amplitude-modulated incoherent pre-illumination | |
JP6434815B2 (ja) | ホログラム装置 | |
Zhang et al. | Band-amplified angle spectrum method for the phase hologram design to achieve high-quality holographic imaging in long distance | |
JP2022135754A (ja) | デジタルホログラフィ再生装置および再生方法 | |
KR20220101940A (ko) | 홀로그램 영상의 평가 장치 및 그 방법 | |
JP2018088297A (ja) | ホログラム記録装置およびホログラム記録方法 | |
Wernicke et al. | Applications of the high resolution optical reconstruction of digital holograms | |
JP2020067356A (ja) | 位相シフトデジタルホログラフィ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7195556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |