JP6781987B2 - 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム - Google Patents

電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム Download PDF

Info

Publication number
JP6781987B2
JP6781987B2 JP2017028245A JP2017028245A JP6781987B2 JP 6781987 B2 JP6781987 B2 JP 6781987B2 JP 2017028245 A JP2017028245 A JP 2017028245A JP 2017028245 A JP2017028245 A JP 2017028245A JP 6781987 B2 JP6781987 B2 JP 6781987B2
Authority
JP
Japan
Prior art keywords
electromagnetic wave
modulation
unit
intensity
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017028245A
Other languages
English (en)
Other versions
JP2018132501A (ja
Inventor
遼一 堀▲崎▼
遼一 堀▲崎▼
谷田　純
純 谷田
禎生 太田
禎生 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
University of Tokyo NUC
Original Assignee
Osaka University NUC
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, University of Tokyo NUC filed Critical Osaka University NUC
Priority to JP2017028245A priority Critical patent/JP6781987B2/ja
Priority to CN201880012120.XA priority patent/CN110998293B/zh
Priority to EP18753550.5A priority patent/EP3584564B1/en
Priority to PCT/JP2018/005237 priority patent/WO2018151206A1/ja
Publication of JP2018132501A publication Critical patent/JP2018132501A/ja
Priority to US16/542,257 priority patent/US11549880B2/en
Application granted granted Critical
Publication of JP6781987B2 publication Critical patent/JP6781987B2/ja
Priority to US18/056,432 priority patent/US11906722B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G01N15/149—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/144—Imaging characterised by its optical setup
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/1447—Spatial selection
    • G01N2015/145—Spatial selection by pattern of light, e.g. fringe pattern

Description

本発明は、電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムに関する。
従来、電磁波を撮像対象に照射し、照射された電磁波が撮像対象によって散乱した電磁波を、領域毎に電磁波を減衰させる大きさが異なるランダムなパターンを持つ散乱板を介して撮像し、撮像画像とランダムなパターンとから、撮像対象によって散乱した電磁波の位相と振幅とを示す複素振幅を生成する技術が知られている（例えば、非特許文献１）。
Ｓｉｎｇｌｅ−ｓｈｏｔ ｐｈａｓｅ ｉｍａｇｉｎｇ ｗｉｔｈ ａ ｃｏｄｅｄ ａｐｅｒｔｕｒｅ（ＯＰＴＩＣＳ ＬＥＴＴＥＲＳ ／ Ｖｏｌ． ３９， Ｎｏ． ２２ ／ Ｎｏｖｅｍｂｅｒ １５， ２０１４）
従来の技術では、複数の画素を備える撮像素子から取得した電磁波の強度の情報に基づいて、電磁波の位相と振幅とを再構成する。しかし、検出する電磁波の周波数によっては複数の画素を備える撮像素子を製造することが難しいという課題があった。
本発明の課題は、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムを提供することにある。
本発明の一態様は、可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出部と、前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調部により加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調部の前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成部と、を備える電磁波検出装置である。
また、本発明の一態様は、上記の電磁波検出装置において、前記生成部は、前記撮像対象のスパース性に基づくスパース拘束演算を行うことにより、前記複素振幅情報を生成する。
また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する。
また、本発明の一態様は、上記の電磁波検出装置において、前記照射部は、前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する。
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部は、ランダムなパターンを有する電磁波変調部である。
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部は、ランダムなパターンを有する電磁波変調部である。
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部には、前記変調の状態を示す第１の状態と、前記第１の状態とは前記変調の状態が異なる第２の状態とが少なくともあり、前記変調後電磁波強度検出部は、前記撮像対象と前記第１の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第１の変調後電磁波の強度と、前記撮像対象と前記第２の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第２の変調後電磁波の強度とを少なくとも検出する。
また、本発明の一態様は、上記の電磁波検出装置において、前記電磁波変調部に含まれる前記複数の領域それぞれについて変調の状態を変化させることによって、前記電磁波変調部にある前記変調の状態を変更する変更部を更に備える。
また、本発明の一態様は、上記の電磁波検出装置において、前記生成部が生成した前記複素振幅情報に基づいて前記撮像対象の位相又は振幅の情報を画像情報として表示する表示部を更に備える。
また、本発明の一態様は、上記の電磁波検出装置と、前記撮像対象としての観察対象が流される流路とを備え、前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出するフローサイトメーターである。
また、本発明の一態様は、可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させる電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調ステップにより加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調ステップの前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成ステップと、を有する電磁波検出方法である。
また、本発明の一態様は、コンピュータに、可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させる電磁波変調ステップと、前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと、前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調ステップにより加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調ステップの前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成ステップと、を実行させるための電磁波検出プログラムである。
本発明によれば、電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラムを提供することができる。
電磁波検出システムの構成の一例を示す図である。 結合強度情報の一例を示す図である。 構造化検出の構成の電磁波検出装置の構成の一例を示す図である。 電磁波検出装置の動作の一例を示す流れ図である。 撮像対象と、可変電磁波変調部と、変調後電磁波強度検出部との位置の関係を示す図である。 行列Ｍの一例を示す図である。 撮像対象の位相及び振幅の情報、撮像対象を顕微鏡によって撮像した撮像画像の一例を示す図である。 構造化照明の構成の電磁波検出装置の構成の一例を示す図である。 固定電磁波変調部に対して相対的に移動する撮像対象を介して変調される変調後電磁波の一例を示す図である。 固定電磁波変調部の変調の状態の一例を示す図である。 撮像対象が移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。 電磁波検出装置の動作の一例を示す流れ図である。 撮像対象が移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。 変調後電磁波の強さを機械学習する電磁波検出装置の構成の一例を示す図である。 電磁波検出装置の動作の一例を示す流れ図である。 固定電磁波変調部の変調の状態を、撮像対象に応じて変更する電磁波検出装置の構成の一例を示す図である。 遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。
以下、図面を参照して電磁波検出装置の実施形態について説明する。
図１は、電磁波検出システム１００の構成の一例を示す図である。
電磁波検出システム１００は、撮像対象ＯＢと電磁波変調部ＭＰとによって変調される電磁波を検出する。電磁波検出システム１００は検出した電磁波の強度と、電磁波変調部ＭＰとに基づいて、撮像対象ＯＢの位相又は振幅の情報を再構成する。
具体的には、電磁波検出システム１００は、照射部ＲＬから照射される電磁波ＥＬを撮像対象ＯＢに対して照射する。この電磁波ＥＬは、可干渉性を有する電磁波である。この電磁波ＥＬは、一部分に可干渉性を有する電磁波であればよい。言い換えると、照射部ＲＬは、コヒーレント光を出射する。照射部ＲＬから照射された電磁波ＥＬは、撮像対象ＯＢによって位相又は振幅が変調される。ここで、変調とは、電磁波の位相又は振幅に変化を与えることである。この撮像対象ＯＢによって変調された電磁波ＦＬは、電磁波変調部ＭＰによって位相又は振幅が変調される。電磁波変調部ＭＰとは、照射される電磁波ＥＬの位相と振幅とのうちの一方又は両方を変調させるものである。電磁波変調部ＭＰは、変調の状態が撮像対象ＯＢに対して相対的に変化する。この、撮像対象と電磁波変調部ＭＰとによって変調された電磁波のことを、変調後電磁波ＳＬとも記載する。
変調後電磁波強度検出部１２は、この変調後電磁波ＳＬの強度を検出する。以下の説明では、変調後電磁波ＳＬの強度を、強度情報とも記載する。変調後電磁波強度検出部１２とは、変調後電磁波の強度を１画素によって検出する検出器である。変調後電磁波強度検出部１２は、検出した強度情報を、電磁波検出装置１０に対して供給する。
電磁波検出装置１０は、変調後電磁波強度検出部１２から強度情報を取得する。電磁波検出装置１０は、強度情報の信号を処理する。電磁波検出装置１０は、処理した結果をフローサイトメーター４０に供給する。フローサイトメーター４０は、電磁波検出装置１０から供給される結果に基づいて、撮像対象ＯＢの分析を行う。以下の説明では、照射部ＲＬから撮像対象ＯＢを介して電磁波変調部ＭＰに電磁波を照射する構成を、構造化検出の構成とも記載する。
また、電磁波検出システム１００は、破線部Ａに含まれる撮像対象ＯＢと、電磁波変調部ＭＰとの配置を入れ替えてもよい。具体的には、照射部ＲＬから照射された電磁波ＥＬを、電磁波変調部ＭＰが変調する。撮像対象ＯＢは、この電磁波変調部ＭＰが変調した電磁波を変調する。変調後電磁波強度検出部１２は、撮像対象ＯＢが変調した変調後電磁波ＳＬを検出する。以下の説明では、照射部ＲＬから電磁波変調部ＭＰを介して撮像対象ＯＢに電磁波を照射する構成を、構造化照明の構成とも記載する。
上述した、構造化検出の構成及び構造化照明の構成では、電磁波ＥＬの進行方向に対して、撮像対象ＯＢ及び電磁波変調部ＭＰは移動しない。言い換えると、構造化検出の構成及び構造化照明の構成では、撮像対象ＯＢと、電磁波変調部ＭＰとの相対的な位置は変化しない。
また、電磁波変調部ＭＰは、変調後電磁波強度検出部１２が変調後電磁波ＳＬの強度を検出中には変化しない。電磁波変調部ＭＰは、変調後電磁波強度検出部１２が変調後電磁波ＳＬの強度の検出後に変化する。
次に、図２を参照して、変調後電磁波強度検出部１２が検出する強度情報の一例について説明する。
図２は、結合強度情報ＤＳＴの一例を示す図である。
図２（ａ）は、複数の強度情報ＤＳと、強度情報ＤＳそれぞれが取得された時刻順に並べたグラフである。図２（ｂ）は、変調の状態ＭＳを出力された時刻順に並べたグラフである。結合強度情報ＤＳＴとは、この図２（ａ）に示す複数の強度情報ＤＳと、図２（ｂ）に示す変調の状態ＭＳとのそれぞれの時刻を対応付けた情報である。
この一例では、結合強度情報ＤＳＴには、強度情報ＤＳ０から強度情報ＤＳ７までの情報が含まれる。変調後電磁波強度検出部１２は、時刻ｔ０のときに強度情報ＤＳ０を検出する。強度情報ＤＳ０を検出したときの電磁波変調部ＭＰは、変調の状態ＭＳ０である。変調後電磁波強度検出部１２は、時刻ｔ０と同様に、時刻ｔ１から時刻ｔ７までの強度情報ＤＳを検出する。また、電磁波変調部ＭＰは、時刻０から時刻ｔ７まで、それぞれ互いに異なる変調の状態ＭＳである。言い換えると、電磁波変調部ＭＰは、変調の状態ＭＳ０から電磁波変調部ＭＰ７までがそれぞれ互いに異なる状態で、電磁波ＥＬの位相と振幅とのうちの一方又は両方を変調させる。
つまり、電磁波変調部ＭＰには、変調の状態ＭＳを示す第１の状態と、第１の状態とは変調の状態ＭＳが異なる第２の状態とがある。
変調後電磁波強度検出部１２は、撮像対象ＯＢと第１の状態の電磁波変調部ＭＰとによって変調される変調後電磁波の強度ＤＳを示す第１の変調後電磁波ＳＬの強度を検出する。また、変調後電磁波強度検出部１２は、撮像対象ＯＢと第２の状態の電磁波変調部ＭＰとによって変調される変調後電磁波の強度ＤＳを示す第２の変調後電磁波ＳＬの強度とを少なくとも検出する。
［第１の実施形態］
［構造化検出の電磁波検出装置の構成］
次に、図３を参照して、電磁波位相振幅生成装置１０が構造化検出の構成の場合の一例について説明する。
図３は、構造化検出の構成の電磁波検出装置１０ａの構成の一例を示す図である。
電磁波検出装置１０ａは、照射部ＲＬと、可変電磁波変調部ＭＰＣと、変更部１１と、変調後電磁波強度検出部１２と、強度信号結合部１３と、生成部１４ａとを備える。
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢに対して照射する。撮像対象ＯＢとは、電磁波検出装置１０ａによって観察される試料である。具体的には、撮像対象ＯＢとは、不透明又は無色透明な生体試料、非生体試料である材料及び素材などである。ここで、電磁波ＥＬとは、可視光線、Ｘ線、電子線、紫外線、赤外線、テラヘルツ波、ミリ波及びマイクロ波のうち少なくとも１つである。なお、上述した電磁波ＥＬは、これに限られず、どのような波長の電磁波であってもよい。この一例では、電磁波が可視光線の場合について説明する。以下の説明では、可視光線を単に光と記載する場合もある。
可変電磁波変調部ＭＰＣは、照射される電磁波の位相と振幅とのうちの一方又は両方を変化させる。可変電磁波変調部ＭＰＣとは、変調の状態が変更可能な電磁波変調部ＭＰである。可変電磁波変調部ＭＰＣとは、具体的には、空間光変調器である。空間光変調器は、上述した可変電磁波変調部ＭＰＣの変調の状態ＭＳを、印加される電流、電圧、電気信号などに応じて変化させる装置である。より具体的には、可変電磁波変調部ＭＰＣは、照射される電磁波を変調する程度が異なる複数の領域を有する。以下の説明では、この複数の領域のことを、パターンとも記載する。この領域は、正方形に分割される。
変更部１１は、可変電磁波変調部ＭＰＣの変調の状態ＭＳを変化させる。変更部１１は、強度信号結合部１３に対して、可変電磁波変調部ＭＰＣの変調の状態ＭＳを示す変調状態情報を供給する。
変調後電磁波強度検出部１２は、変調後電磁波ＳＬを検出する。上述したように、この変調後電磁波ＳＬは、撮像対象ＯＢを介した電磁波ＦＬを、可変電磁波変調部ＭＰＣが変調した電磁波である。変調後電磁波強度検出部１２とは、１画素検出器である。より具体的には、変調後電磁波強度検出部１２とは、単一光検出器である。
変調後電磁波強度検出部１２は、検出した変調後電磁波ＳＬの強度情報を、強度信号結合部１３に対して供給する。
強度信号結合部１３は、変更部１１から変調状態情報を取得する。強度信号結合部１３は、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３は、取得した強度情報ＤＳと変調状態情報とを最新の情報とする結合強度情報ＤＳＴを生成する。強度信号結合部１３は、生成した結合強度情報ＤＳＴを記憶する。強度信号結合部１３は、記憶した結合強度情報ＤＳＴを、生成部１４ａに対して供給する。
生成部１４ａは、複数の変調後電磁波の強度と、この強度を検出した際のそれぞれの変調の状態ＭＳを示す変調状態情報と、この可変電磁波変調部ＭＰＣの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波のうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。具体的には、生成部１４ａは、強度信号結合部１３から結合強度情報ＤＳＴを取得する。生成部１４ａは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。より具体的には生成部１４ａは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。
寄与度情報とは、ある位置に配置された点を光源とする点光源から照射される光が、電磁波変調部ＭＰ上の所定の位置において、変調される程度を示す情報である。具体的には、寄与度情報とは、点光源からの光が照射された電磁波変調部ＭＰＣ上の複数の位置におけるそれぞれのフレネル伝搬のインパルス応答を示す情報である。より具体的には、可変電磁波変調部ＭＰＣの各画素に点光源からの光が照射され、画素毎のそれぞれのフレネル伝搬のインパルス応答を示す情報である。
生成部１４ａは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ａは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ａが生成する画像情報を表示する。
［構造化検出の電磁波検出装置の動作の概要］
次に、図４を参照して、構造化検出の電磁波検出装置１０ａの動作の概要について説明する。
図４は、電磁波検出装置１０ａの動作の一例を示す流れ図Ｓ１である。
撮像対象ＯＢを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部１４ａに対して出力する（ステップＳ１１０）。
変更部１１は、可変電磁波変調部ＭＰＣを、変調の状態ＭＳを変化させる。変更部１１は、この変化させた変調の状態ＭＳを、強度信号結合部１３に対して供給する（ステップＳ１２０）。
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢ及び可変電磁波変調部ＭＰＣに対して照射する（ステップＳ１３０）。
電磁波ＥＬは、撮像対象ＯＢ及び可変電磁波変調部ＭＰＣによって変調される。変調後電磁波強度検出部１２は、この変調された電磁波である変調後電磁波ＳＬを検出する。変調後電磁波強度検出部１２は、この検出した変調後電磁波ＳＬの強度である強度情報ＤＳを、強度信号結合部１３に対して供給する（ステップＳ１４０）。
強度信号結合部１３は、変調後電磁波強度検出部１２から、強度情報ＤＳを取得する。強度信号結合部１３は、変更部１１から、強度情報ＤＳを検出したときの変調の状態ＭＳを取得する。強度信号結合部１３は、取得した強度情報ＤＳと、変調の状態ＭＳとに基づいて、結合強度情報ＤＳＴを生成する。強度信号結合部１３は、生成した結合強度情報ＤＳＴに２回以上の強度情報ＤＳの検出結果が含まれない場合（ステップＳ１５０；ＮＯ）には、ステップＳ１２０からステップＳ１５０までの処理を繰り返す。
強度信号結合部１３は、生成した結合強度情報ＤＳＴに２回以上の強度情報ＤＳの検出結果が含まれる場合（ステップＳ１５０；ＹＥＳ）には、生成部１４ａに対して結合強度情報ＤＳＴを供給する。
生成部１４ａは、強度信号結合部１３から供給される結合強度情報ＤＳＴに基づいて、複素振幅情報を算出する（ステップＳ１６０）。この、複素振幅情報を算出する方法は、後述する。
生成部１４ａは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ａは、生成した振幅の情報に基づいて、撮像対象ＯＢの像を再構成する。生成部１４ａは、再構成した撮像対象ＯＢの像と、上述したステップＳ１１０で撮像した撮像画像とを比較する。
生成部１４ａは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似しない場合（ステップＳ１７０；ＮＯ）には、ステップＳ１６０からの処理を繰り返す。
生成部１４ａは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似する場合（ステップＳ１７０；ＹＥＳ）には、処理を終了する。
なお、上述したステップＳ１２０と、ステップＳ１３０との処理は、どちらを先に処理してもよい。また、ステップＳ１５０では、１回以上の検出結果が結合強度情報ＤＳＴに含まれていればよい。変調後電磁波強度検出部１２は、強度情報ＤＳを予め定められた回数検出してもよい。この予め定められた回数とは、一例として、撮像対象ＯＢに合わせて予め定められた回数であってもよい。
なお、ステップＳ１７０で、再構成した撮像対象ＯＢの像と、撮像画像とを比較する処理は、複素振幅情報を所定の回数算出し、この所定の回数算出された振幅の情報に基づいて、撮像対象ＯＢの像を再構成してもよい。また、ステップＳ１７０は、電磁波検出装置１０ａを操作する人が、表示部２０に表示される撮像対象ＯＢの像を観察し、所望の像が得られたときに、ステップＳ１７０の処理を終了させてもよい。
［構造化検出の構成の複素振幅情報の算出方法］
次に、図５から図７を参照して、上述したステップＳ１６０において、生成部１４ａが複素振幅情報を算出する方法について説明する。
図５は、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係を示す図である。
撮像対象ＯＢと可変電磁波変調部ＭＰＣとの間の距離が、距離ｚ１であって、可変電磁波変調部ＭＰＣと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。以下の説明における距離ｚ１も同様である。
撮像対象ＯＢによって変調された電磁波ＦＬは、距離ｚ１を伝搬する。変調後電磁波ＳＬは、この撮像対象ＯＢによって変調された電磁波ＦＬが可変電磁波変調部ＭＰＣによって変調された電磁波である。この変調後電磁波ＳＬは、距離ｚ２を伝搬する。
生成部１４ａは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ａは、式（１）、式（２）、式（３）及び式（４）から、撮像対象ＯＢの複素振幅情報を生成する。
式（１）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
式（１）に含まれるｆとは、撮像対象ＯＢの複素振幅情報である。以下の数式におけるｆも同様である。
式（１）に含まれるａとは、撮像対象ＯＢによって変調された電磁波が、可変電磁波変調部ＭＰＣに伝搬する途中の、ある平面における複素振幅を示す信号である。以下の数式におけるａも同様である。以下の説明では、このａを、補助平面ａとも記載する。より具体的には、式（１）に含まれるａとは、撮像対象ＯＢから距離ｚ１離れた可変電磁波変調部ＭＰＣの位置において仮定される複素振幅情報である。
式（１）に含まれるＰｚ１とは、撮像対象ＯＢから可変電磁波変調部ＭＰＣまでのフレネル伝搬を示すテープリッツ行列である。以下の数式におけるＰｚ１も同様である。より具体的には、Ｐｚ１は、寄与度情報を行成分とするテープリッツ行列である。
式（２）は、上述した式（１）と同様に、順問題である。
式（２）に含まれる｜ｇ｜２とは、変調後電磁波強度検出部１２が検出した変調後電磁波ＳＬの強度を示す強度情報ＤＳである。この具体的には、強度情報ＤＳとは、変調後電磁波ＳＬの振幅の絶対値を二乗した情報である。以下の数式における｜ｇ｜２も同様である。
式（２）に含まれるｇとは、変調後電磁波強度検出部１２が検出する変調後電磁波ＳＬの位相と振幅とを示す複素振幅情報である。以下の数式におけるｇも同様である。また、以下の説明では、この変調後電磁波強度検出部１２が検出する変調後電磁波ＳＬの位相と振幅とを示す複素振幅情報を、単に複素振幅情報ｇと記載することがある。
式（２）に含まれるＭとは、電磁波変調部ＭＰの変調の状態ＭＳを示す行列である。このＭとは、この実施形態では可変電磁波変調部ＭＰＣの変調の状態ＭＳを示す行列である。このＭについては、後述する。
式（１）に含まれるＰｚ２とは、可変電磁波変調部ＭＰＣから変調後電磁波強度検出部１２までのフレネル伝搬を示す対角行列である。以下の数式におけるＰｚ２も同様である。より具体的には、Ｐｚ２は、寄与度情報を対角成分とする行列である。
上述した、式（１）及び式（２）を解くことにより、複素振幅情報ｇを生成する。この式（１）及び式（２）に示す順問題が、非線形問題であり、容易に解くことができない場合がある。そこで、この一例では、式（３）及び式（４）に示す最適化問題を解くことにより、複素振幅情報ｇを生成する。
式（３）は逆問題、すなわちデータから数理モデルを推定する問題を示す式である。式（３）は、可変電磁波変調部ＭＰＣ上の補助平面ａから、撮像対象ＯＢの複素振幅ｆハットを推定する最適化問題を示す。
式（３）に含まれるΨ［ｆ］とは、スパース拘束である。具体的には、Ψ［ｆ］とは、撮像対象ＯＢの信号を示す情報のスパース性に基づく正則化関数である。式（３）に含まれるτとは、正則のための正則化パラメータである。以下の数式におけるＲ（ｆ）及びτも同様である。
式（３）に含まれるｌ２とは、ｌ２ノルムである。以下の数式におけるｌ２も、同様である。
式（４）は、式（３）と同様に逆問題である。式（４）は、強度情報ＤＳである｜ｇ｜２と、補助平面ａの複素振幅から、変調後電磁波強度検出部１２上の複素振幅ｇハットを推定する。
式（２）に含まれる、Ｒ（ｆ）とは、スパース拘束である。具体的には、Ｒ（ｆ）とは、撮像対象ＯＢの信号を示す情報のスパース性に基づく正則である。式（２）に含まれるτとは、正則のためのパラメータである。以下の数式におけるＲ（ｆ）及びτも同様である。
つまり、生成部１４ａは、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、変調後電磁波ＳＬの複素振幅情報ｇを生成する。なお、生成部１４ａは、スパース拘束演算を公知の手法によって生成する。例えば、生成部１４ａは、公知のスパースソルバーを用いてスパース拘束演算を行う。
［寄与度情報について］
次に、上述したＰｚ１に含まれる寄与度情報について説明する。
上述した式（１）に含まれる寄与度情報は、式（５）によって表すことができる。
ここで、式（５）に含まれるｒ１は、式（６）によって表すことができる。このｒ１は、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣ上のある位置との距離を示す。以下の数式におけるｒ１も同様である。
式（５）に含まれるｈｚ１は、Ｐｚ１に含まれる寄与度情報である。より具体的には、ｈｚ１とは、フレネル伝搬のインパルス応答関数である。上述したように、Ｐｚ１とは、このｈｚ１を行成分とするテープリッツ行列である。
式（５）及び式（６）に含まれるｘとは、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣのある位置とのＸ方向の距離である。以下の数式におけるｘも同様である。
式（５）及び式（６）に含まれるｙとは、変調後電磁波強度検出部１２と、可変電磁波変調部ＭＰＣのある位置とのＹ方向の距離である。以下の数式におけるｙも同様である。
言い換えると、ｘとは、変調後電磁波強度検出部１２からＸ軸方向にｘの距離に配置される画素と、変調後電磁波強度検出部１２との距離である。また、ｙとは、変調後電磁波強度検出部１２からＹ軸方向にｙの距離に配置される画素の位置と、変調後電磁波強度検出部１２との距離である。
次に、上述したＰｚ２に含まれる寄与度情報について説明する。
Ｐｚ２に含まれる寄与度情報は、式（７）によって表すことができる。
式（７）に含まれるｒ２は、式（８）によって表すことができる。このｒ２は、撮像対象ＯＢと、可変電磁波変調部ＭＰＣ上のある位置との距離を示す。以下の数式におけるｒ２も同様である。
式（７）に含まれるｈｚ２は、Ｐｚ２に含まれる寄与度情報である。より具体的には、ｈｚ２とは、フレネル伝搬のインパルス応答関数である。上述したように、Ｐｚ２とは、このｈｚ２を対角成分とする対角行列である。
式（７）及び式（８）に含まれるｘ２とは、撮像対象ＯＢと、可変電磁波変調部ＭＰＣのある位置とのＸ方向の距離である。以下の数式におけるｘ２も同様である。
式（７）及び式（８）に含まれるｙ２とは、撮像対象ＯＢと、可変電磁波変調部ＭＰＣのある位置とのＹ方向の距離である。以下の数式におけるｙ２も同様である。
言い換えると、ｘ２とは、変調後電磁波強度検出部１２からＸ軸方向にｘ２の距離に配置される画素と、撮像対象ＯＢとの距離である。また、ｙ２とは、変調後電磁波強度検出部１２からＹ軸方向にｙ２の距離に配置される画素の位置と、撮像対象ＯＢとの距離である。
［撮像対象ＯＢの複素振幅情報について］
ここで、上述した撮像対象ＯＢの複素振幅情報について説明する。
撮像対象ＯＢの複素振幅情報は、式（９）に示す行列である。
式（９）に含まれるＮとは、生成部１４が再構成する画像の画素数である。以下の数式におけるＮも同様である。
［複素振幅情報ｇについて］
次に、上述した複素振幅情報ｇについて説明する。
複素振幅情報ｇは、式（１０）に示す行列である。
式（１０）に含まれるＫとは、変調後電磁波強度検出部１２が、変調後電磁波ＳＬを検出した回数である。言い換えると、Ｋとは、結合強度情報ＤＳＴに含まれる強度情報ＤＳ及び変調の状態ＭＳの情報の数である。以下の数式におけるＫも同様である。
［電磁波変調部ＭＰについて］
次に、図６を参照して、上述した数式（２）に含まれる行列Ｍについて説明する。
図６は、行列Ｍの一例を示す図である。図６には、電磁波変調部ＭＰが広がる面を直交座標の軸とするＸＹ軸を示してある。
行列Ｍは、電磁波変調部ＭＰ上の各位置における変調の程度を示す行列である。具体的には、行列Ｍとは式（１１）に示す行列である。
図６に示すように、電磁波変調部ＭＰ１は、強度情報ＤＳを１回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰ２は、強度情報ＤＳを２回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰ３は、強度情報ＤＳを３回目に検出したときの変調の状態ＭＳである。電磁波変調部ＭＰｍは、強度情報ＤＳをｍ回目に検出したときの変調の状態ＭＳである。
行列Ｍは、電磁波変調部ＭＰ１から電磁波変調部ＭＰｍまでの、それぞれの電磁波変調部ＭＰの変調の程度を示す値を含む行列である。この変調の程度を示す値とは、例えば、電磁波変調部ＭＰ１から電磁波変調部ＭＰｍが、光の振幅を変調するパターンの場合には、照射された光を通さない０から、光の振幅をそのままにして散乱する１までの数値によって示される値である。変調の程度を示す値とは、光の位相を変調するパターンの場合には、照射された光の位相の変調の程度に応じた０から１までの数値によって示される値である。
行列Ｍの１行目の要素ＭＥ１には、電磁波変調部ＭＰ１の変調の程度を示す値が入力される。具体的には、要素ＭＥ１には、電磁波変調部ＭＰ１の列ＸＡ１から列ＸＡ３までに含まれる各振幅の程度示す値をそれぞれ順に、行方向に走査した値が入力される。ここで、列方向とは、電磁波変調部ＭＰ１の左上を原点とするＸ軸方向である。行方向とは、電磁波変調部ＭＰ１の左上を原点とするＹ軸方向である。
要素ＭＥ２から要素ＭＥｍには、要素ＭＥ１と同様に、それぞれ、電磁波変調部ＭＰ２から電磁波変調部ＭＰｍの変調の程度を示す値が入力される。
［電磁波検出装置の動作の具体例］
［補助平面による解法］
ここまでは、生成部１４ａの動作の概要について説明した。
以下の説明では、生成部１４ａは、オルタネイティングプロジェクションによって、複素振幅情報ｇハットを生成する。
生成部１４ａは、上述した式（３）及び式（４）を交互に演算し、撮像対象ＯＢの複素振幅情報を生成する。具体的には、生成部１４ａは、式（３）を、正則化関数に全変動を用いたＴｗＩＳＴ法により解く。ＴｗＩＳＴ法とは、圧縮センシングの一般的な解法である。生成部１４ａは、式（４）をＧ−Ｓ法によって解くことにより、複素振幅ｇハットを推定する。Ｇ−Ｓ法とは、反復型位相推定法である。
具体的には、生成部１４ａは、式（４）に含まれる複素振幅情報ｇハットに、初期値として仮の値を設定する。初期値としての複素振幅情報ｇハットの仮の値は、どのような値であってもよい。生成部１４ａは、可変電磁波変調部ＭＰＣの位置に補助平面ａを仮定する。生成部１４ａは、この仮置きの補助平面ａを、式（３）に代入する。生成部１４ａは、式（３）を、ＴｗＩＳＴ法によって解くことにより、仮置きのｆハットを生成する。ＴｗＩＳＴ法とは、圧縮センシングの一般的な解法である。
生成部１４ａは、仮置きのｆハットを伝搬させる。生成部１４ａは、伝搬させた仮置きのｆハットを初期値として、式（３）から補助平面ａを生成する。
つまり、生成部１４ａは複素振幅情報ｇの初期値にランダムな値を代入して、Ｇ−Ｓ法により補助平面ａを生成する。生成部１４ａは、生成した補助平面ａを式（３）に代入し、仮置きのｆハットをＴｗＩＳＴ法により生成する。生成部１４ａは、生成した仮置きのｆハットを式（４）に代入し、ランダムな値よりも精度がよい仮置きのｇハットを生成する。
生成部１４ａは、上述した処理を、仮置きのｇハットから再構成した変調後電磁波ＳＬの強度を示す情報から再構成した撮像対象ＯＢの像である再構成画像と、撮像対象ＯＢを撮像した撮像画像とが近似するまで繰り返す。生成部１４ａは、この再構成画像と、撮像画像とが近似する場合には、表示部２０に再構成画像を表示させる。
図７に、生成部１４ａが再構成した撮像対象ＯＢの位相と振幅の情報の一例を示す。
図７は、撮像対象ＯＢの位相及び振幅の情報、撮像対象ＯＢを顕微鏡によって撮像した撮像画像の一例を示す図である。
図７（ａ）は、電磁波検出装置１０ａが再構成した撮像対象ＯＢの振幅の情報を、画像情報にした振幅画像情報ＲＶＡである。図７（ｂ）は、電磁波検出装置１０ａが再構成した撮像対象ＯＢの位相の情報を、画像情報にした位相画像情報ＲＰである。図７（ｃ）は、顕微鏡によって撮像された撮像対象ＯＢの撮像画像ＰＧである。
ここで、図７に示す撮像対象ＯＢは、水と油の混合液である。なお、振幅画像情報ＲＶＡ及び位相画像情報ＲＰの画像サイズは、縦２０６画素、横２０６画素の画像情報である。変調後電磁波強度検出部１２は、強度情報ＤＳを７０００回検出した。
なお、式（１）及び式（２）を解く方法は、上述したＧ−Ｓ法及びＴｗＩＳＴ法のオルタネイティングプロジェクションによる方法に限られない。
［第１の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ａは、照射部ＲＬと、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係が、構造化検出の構成である。この構成により、電磁波検出装置１０ａは、構造化照明の構成と比較して、より遠くの撮像対象ＯＢの複素振幅情報が含まれる信号を取得することに適している。
また、変調後電磁波強度検出部１２は、１画素検出器である。この1画素検出器は、複数の画素を有するイメージセンサよりも多くの種類の波長に対応した検出器がある。この単一光検出器を、所望の波長が検出可能な検出器に変更することにより、電磁波検出装置１０ａは、複数の画素を有するイメージセンサよりも多くの種類の波長を検出することができる。これにより、電磁波検出装置１０ａは、照射部ＲＬから照射される電磁波の周波数に因らずに電磁波の位相と振幅とが含まれる信号を取得することができる。
また、電磁波検出装置１０ａは、生成部１４ａを備える。生成部１４ａは、変調後電磁波強度検出部１２が検出した複数の強度情報ＤＳと、強度情報ＤＳを検出したときの可変電磁波変調部ＭＰＣの変調の状態ＭＳのそれぞれとに基づいて、撮像対象ＯＢの位相又は振幅の情報を生成することができる。これにより、細胞などの撮像対象を、観察のための染色などの処理を行わずに観察することができ、染色コストを抑制することができる。また、染色などによる細胞への影響を抑えることができるため、観察後の細胞を再び生体に戻すことができる。この、低侵襲の観察方法は、再生医療などで求められていた。
また、生成部１４ａは、撮像対象ＯＢの位相の情報を生成する。これにより、光の振幅の情報である撮像画像と比較して、撮像対象ＯＢの屈折率なども観察することができる。
なお、上述した説明では、可変電磁波変調部ＭＰＣが空間光変調器の場合について説明したが、これに限られない。可変電磁波変調部ＭＰＣは、電磁波の振幅と位相とのうちの一方又は両方を変調するものであればよい。つまり、電磁波変調部ＭＰは、ランダムなパターンを有する。このランダムなパターンは、空間周波数上では、位相の変調の程度がランダムなパターンである。また、このランダムなパターンは、空間周波数上では、振幅はほぼ一様に広がるパターンである。この、周波数空間上では位相の変調の程度がランダムかつ振幅はほぼ一様に広がるパターンとは、実空間上では、上述した複数の領域のそれぞれがランダムな変調の程度を有するパターンである。電磁波変調部ＭＰは、どのような変調の状態ＭＳのものであっても、撮像対象ＯＢに因らずに、撮像対象ＯＢの位相又は振幅の情報を再構成することができる。より具体的には、可変電磁波変調部ＭＰＣは、液晶ディスプレイ、机及び紙などであってもよい。変更部１１は、電気信号などにより可変電磁波変調部ＭＰＣの変調の状態ＭＳを変化させることができない場合には、物理的に可変電磁波変調部ＭＰＣとは異なる変調の状態ＭＳを有する電磁波変調部に交換すればよい。この場合には、変更部１１は、交換後の可変電磁波変調部ＭＰＣの変調の状態ＭＳが、操作部３０などから供給されればよい。
また、可変電磁波変調部ＭＰＣは、電磁波の振幅のみを変調にして電磁波の位相を一定にするものであってもよい。可変電磁波変調部ＭＰＣは、電磁波の振幅を一定にして電磁波の位相のみを変調するものであってもよい。可変電磁波変調部ＭＰＣは、電磁波の振幅と位相とを変調するものであってもよい。
［第２の実施形態］
［構造化照明の構成の電磁波検出装置の構成の一例］
次に、図８を参照して、上述した電磁波検出装置１０が、構造化照明の構成の場合の一例について説明する。なお、第１の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図８は、構造化照明の構成の電磁波検出装置１０ｂの構成の一例を示す図である。
電磁波検出装置１０ｂは、照射部ＲＬと、可変電磁波変調部ＭＰＣと、変更部１１と、変調後電磁波強度検出部１２と、強度信号結合部１３と、生成部１４ｂとを備える。
照射部ＲＬから照射された電磁波ＥＬは、可変電磁波変調部ＭＰＣによって変調される。この変調された電磁波とは、電磁波ＭＬである。
強度信号結合部１３は、生成部１４ｂに対して結合強度情報ＤＳＴを供給する。
生成部１４ｂは、強度信号結合部１３から結合強度情報ＤＳＴを取得する。生成部１４ｂは、強度信号結合部１３から取得した結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｂは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｂは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｂが生成する画像情報を表示する。
［構造化検出の構成の電磁波検出装置の動作の概要］
電磁波検出装置１０ｂの動作の一例について説明する。
電磁波検出装置１０ｂは、図４に示す流れ図Ｓ１におけるステップＳ１６０の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。また、本実施形態では、撮像対象ＯＢと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。
［構造化照明の構成の複素振幅情報の算出方法］
次に、上述したステップＳ１６０において、生成部１４ｂが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、可変電磁波変調部ＭＰＣの位置が、撮像対象ＯＢの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面ａを、撮像対象ＯＢ上に配置して計算する。つまり、式（１２）に示すように、補助平面ａと、撮像対象ＯＢの複素振幅とが等しい。
生成部１４ｂは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｂは、式（１２）、式（１３）、式（１４）及び式（１５）から、撮像対象ＯＢの複素振幅情報を生成する。
この式（１３）は、順問題である。式（１３）に含まれるＰｚ２とは、撮像対象ＯＢから変調後電磁波強度検出部１２までのフレネル伝搬を示すテープリッツ行列である。
この式（１４）は、逆問題である。
この式（１５）も、上述した式（１４）と同様に逆問題である。式（１５）に含まれるＰｚ２とは、撮像対象ＯＢから変調後電磁波強度検出部１２までのフレネル伝搬を示すテープリッツ行列である。
［補助平面による解法］
以下の説明では、生成部１４ｂは、オルタネイティングプロジェクションによって、複素振幅情報ｇを生成する。
生成部１４ｂは、補助平面ａを、撮像対象ＯＢと、撮像素子との間に設定する。補助平面ａを仮定すると、式（１３）は、式（１４）及び式（１５）によって表現することができる。補助平面ａは、線形問題を解くことにより生成する。
なお、補助平面ａは、式（１５）に含まれる仮置きのｇハットを逆フレネル変換することにより生成される。つまり、生成部１４ｂは、位相推定問題を解くことにより、複素振幅情報ｇを生成することができる。
生成部１４ｂは、初期値として、複素振幅情報ｇに仮の値を設定する。初期値としての複素振幅情報ｇの仮の値は、どの様な値であってもよい。生成部１４ｂは、仮の値を設定した補助平面ａを式（１５）に代入する。生成部１４ｂは、式（１５）を、Ｇ−Ｓ法によって解くことにより仮置きのｇハットを生成する。Ｇ−Ｓ法とは、反復型位相推定法である。なお、生成部１４ｂは、結合強度情報ＤＳＴに含まれる強度情報ＤＳのそれぞれを、距離ｚ２の位置での複素振幅情報及び補助平面ａの強度によって要素単位で除算する。生成部１４ｂは、要素単位で除算した値を１／２乗した値と、距離ｚ２の位置での複素振幅情報及び補助平面ａを要素単位で乗算することにより、仮置きのｇハットを生成する。生成部１４ｂは、生成した仮置きのｇハットを、逆フレネル変換することにより、仮置きの補助平面ａを生成する。
生成部１４ｂは、仮置きのｆを伝搬させる。生成部１４ｂは、伝搬させた仮置きのｆを初期値として、式（１５）から補助平面ａを生成する。
つまり、生成部１４ｂは複素振幅情報ｇの初期値にランダムな値を代入して、Ｇ−Ｓ法により補助平面ａを生成する。生成部１４ｂは、生成した補助平面ａを式（１４）に代入し、仮置きのｆをＴｗＩＳＴ法により生成する。生成部１４ｂは、生成した仮置きのｆを式（１５）に代入し、ランダムな値よりも精度がよい仮置きのｇハットを生成する。
生成部１４ｂは、上述した処理を、仮置きのｇハットから再構成した変調後電磁波ＳＬの複素振幅ｇに含まれる強度を示す情報と、撮像部１１が撮像対象ＯＢを撮像した撮像画像とが近似するまで繰り返す。
なお、式（１４）及び式（１５）を解く方法は、上述したＧ−Ｓ法及びＴｗＩＳＴ法のオルタネイティングプロジェクションによる方法に限られない。
［第２の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｂは、照射部ＲＬと、撮像対象ＯＢと、可変電磁波変調部ＭＰＣと、変調後電磁波強度検出部１２との位置の関係が、構造化照明の構成である。この構成により、電磁波検出装置１０ｂは、構造化検出の構成と比較して、より撮像対象ＯＢに照射する電磁波ＥＬの強さを弱めることができる。電磁波ＥＬの強さを弱めることにより、撮像対象ＯＢに対する電磁波ＥＬからの影響を抑制することができる。つまり、電磁波検出装置１０ｂは、構造化検出の構成と比較して、より撮像対象ＯＢに対して低い侵襲性である。
［撮像対象ＯＢが固定電磁波変調部ＭＰＳに対して相対的に移動する場合］
次に、図９を参照して、撮像対象ＯＢが、固定電磁波変調部ＭＰＳに対して相対的に移動する場合の、構成の一例について説明する。固定電磁波変調部ＭＰＳとは、変調の状態ＭＳが固定される電磁波変調部である。
図９は、固定電磁波変調部ＭＰＳに対して相対的に移動する撮像対象ＯＢを介して変調される変調後電磁波ＳＬの一例を示す図である。図９には、３次元直交座標系として、ＸＹＺ座標系を示す。本実施形態において、Ｚ軸方向が照射部ＲＬから出射される電磁波の光軸方向である。また、撮像対象ＯＢは、Ｙ軸方向の＋Ｙ方向に移動する。Ｘ軸方向は、フローサイトメーター４０の奥行き方向である。
電磁波検出システム１００ｃは、電磁波検出装置１０と、フローサイトメーター４０とを備える。この一例では、電磁波検出装置１０は、フローサイトメーター４０が備える照射部ＲＬ、固定電磁波変調部ＭＰＳ、変調後電磁波強度検出部１２が、流路Ｆを移動する撮像対象ＯＢと固定電磁波変調部ＭＰＳとが変調した変調後電磁波ＳＬを検出する。固定電磁波変調部ＭＰＳとは、電磁波変調部ＭＰの一例である。また、固定電磁波変調部ＭＰＳとは、変調の状態ＭＳが変化しない電磁波変調部ＭＰである。流路Ｆとは、水溶液と共に、細胞などが流されることにより、固定電磁波変調部ＭＰＳに対して撮像対象ＯＢを相対的に移動させる機構である。この細胞とは、撮像対象ＯＢとしての観察対象である。この流路Ｆには、照射部ＲＬから電磁波ＥＬが照射される。
撮像対象ＯＢは、流路Ｆに沿って移動する。流路Ｆ内の水溶液は、原点から＋Ｙ軸方向に向かって撮像対象ＯＢを移動させる。具体的には、この一例では、撮像対象ＯＢは、＋Ｙ軸方向である向きＭＶに移動する。
変調後電磁波強度検出部１２は、この移動する撮像対象ＯＢと、固定電磁波変調部ＭＰＳとが変調した電磁波を検出する。図９に示す電磁波検出装置１０は、上述した第１の実施形態で説明した構造化検出の構成の場合を示す。この電磁波検出装置１０は、上述した第２の実施形態で説明した構造化照明の構成であってもよい。
次に、図１０を参照して、撮像対象ＯＢが固定電磁波変調部ＭＰＳに対して相対的に移動する場合の、変調の状態ＭＳについて、説明する。
図１０は、固定電磁波変調部ＭＰＳの変調の状態ＭＳの一例を示す図である。なお、図１０に示す固定電磁波変調部ＭＰＳは、図９に示す撮像対象ＯＢを、照射部ＲＬ側からＺ軸方向に向かって見た図である。変調の状態ＭＳは、撮像対象ＯＢの大きさ及び移動速度に応じて変化する。ここでは、撮像対象ＯＢが流路Ｆに沿って＋Ｙ軸方向に移動する場合について説明する。
電磁波検出装置１０は、不図示の相対パターン領域算出部を備える。相対パターン領域算出部は、撮像対象ＯＢと固定電磁波変調部ＭＰＳとの相対位置に基づいて、複素振幅情報の算出に用いるパターンを固定電磁波変調部ＭＰＳのうちから選択する。相対パターン領域算出部は、固定電磁波変調部ＭＰＳのうちから、撮像対象ＯＢの大きさ及び移動速度に応じた変調の状態ＭＳを選択する。相対パターン領域算出部は、選択した変調の状態ＭＳを、不図示の強度信号結合部に対して供給する。具体的には、相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ１に応じた位置を移動している場合には、変調領域ＵＡ１を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。同様に、相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ２に応じた位置を移動している場合には、変調領域ＵＡ２を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。相対パターン領域算出部は、撮像対象ＯＢが変調領域ＵＡ３に応じた位置を移動している場合には、変調領域ＵＡ３を、変調の状態ＭＳを示す変調状態情報として、強度信号結合部に対して供給する。以下の説明では、変調領域ＵＡ１から変調領域ＵＡ３を区別しない場合には、単に変調領域ＵＡとも記載する。
［第３の実施形態］
［撮像対象が移動する場合の構造化検出の電磁波検出装置の構成］
次に、図１１を参照して、撮像対象ＯＢが移動する場合の、構造化検出の電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態及び第２の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１１は、撮像対象ＯＢが移動する場合の、構造化検出の電磁波検出装置の構成の一例を示す図である。
電磁波検出装置１０ｃは、照射部ＲＬと、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、変調後電磁波強度検出部１２と、強度信号結合部１３ｃと、生成部１４ｃとを備える。
相対パターン領域算出部１５ｃには、予め固定電磁波変調部ＭＰＳの変調の状態ＭＳが記憶される。相対パターン領域算出部１５ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。相対パターン領域算出部１５ｃは、変調後電磁波強度検出部１２から取得した強度情報ＤＳと対応する変調領域ＵＡを選択する。相対パターン領域算出部１５ｃは、選択した変調領域ＵＡの変調の状態ＭＳを示す変調状態情報を、強度信号結合部１３ｃに対して供給する。
強度信号結合部１３ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３ｃは、相対パターン領域算出部１５ｃから、この強度情報ＤＳと対応する位置の変調状態情報を取得する。強度信号結合部１３ｃは、取得した強度情報ＤＳと変調状態情報とを最新の情報とする結合強度情報ＤＳＴを生成する。強度信号結合部１３ｃは、生成した結合強度情報ＤＳＴを記憶する。強度信号結合部１３ｃは、記憶した結合強度情報ＤＳＴを、生成部１４ｃに対して供給する。
生成部１４ｃは、強度信号結合部１３ｃから結合強度情報ＤＳＴを取得する。生成部１４ｃは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｃは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｃは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｃが生成する画像情報を表示する。
［撮像対象が移動する場合の構造化検出の電磁波検出装置の動作の概要］
次に、図１２を参照して、撮像対象が移動する場合の構造化検出の電磁波検出装置１０ｃの動作の概要について説明する。
図１２は、電磁波検出装置１０ｃの動作の一例を示す流れ図Ｓ２である。
撮像対象ＯＢを不図示の撮像部によって撮像する。不図示の撮像部は、撮像画像を生成部１４ｃに対して出力する（ステップＳ２１０）。
照射部ＲＬは、電磁波ＥＬを撮像対象ＯＢ及び固定電磁波変調部ＭＰＳに対して照射する（ステップＳ２２０）。
撮像対象ＯＢと、固定電磁波変調部ＭＰＳの相対位置を変化させる（ステップＳ２３０）。具体的には、撮像対象ＯＢは、流路Ｆに流される。
変調後電磁波強度検出部１２は、流路Ｆを流された撮像対象ＯＢと、固定電磁波変調部ＭＰＳとが変調した変調後電磁波ＳＬを検出する（ステップＳ２４０）。変調後電磁波強度検出部１２は、検出した強度情報ＤＳを、強度信号結合部１３ｃに対して供給する。相対パターン領域算出部１５ｃは、検出した強度情報ＤＳに応じた位置の変調状態情報を、強度信号結合部１３ｃに対して供給する。
強度信号結合部１３ｃは、変調後電磁波強度検出部１２から強度情報ＤＳを取得する。強度信号結合部１３ｃは、相対パターン領域算出部１５ｃから変調状態情報を取得する。強度信号結合部１３ｃは、結合強度情報ＤＳＴを生成する。強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したかを判定する。具体的には、強度信号結合部１３ｃは、変調後電磁波強度検出部１２から供給される強度情報ＤＳが示す信号の強さに基づいて、撮像対象ＯＢが検出範囲外に移動したかを判定する。この強度情報ＤＳが示す信号の強さが所定の強さを超える場合には、強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲内にあると判定し、ステップＳ２３０からの処理を繰り返す（ステップＳ２５０；ＮＯ）。
強度情報ＤＳが示す信号の強さが所定の強さを下回る場合には、強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したと判定する（ステップＳ２５０；ＹＥＳ）。
強度信号結合部１３ｃは、撮像対象ＯＢが検出範囲外に移動したと判定した場合には、結合強度情報ＤＳＴを、生成部１４ｃに対して出力する。生成部１４ｃは、強度信号結合部１３ｃから供給される結合強度情報ＤＳＴに基づいて、複素振幅情報を算出する（ステップＳ２６０）。この、撮像対象が移動する場合の複素振幅情報を算出する方法は、後述する。
生成部１４ｃは、算出した複素振幅の情報に基づいて、撮像対象ＯＢの位相又は振幅の情報を生成する。生成部１４ｃは、生成した振幅の情報に基づいて、撮像対象ＯＢの像を再構成する。生成部１４ｃは、再構成した撮像対象ＯＢの像と、上述したステップＳ２１０で撮像した撮像画像とを比較する（ステップＳ２７０）。
生成部１４ｃは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似しない場合（ステップＳ２７０；ＮＯ）には、ステップＳ２６０からの処理を繰り返す。
生成部１４ｃは、この比較の結果、再構成した撮像対象ＯＢの像と、撮像画像とが近似する場合（ステップＳ２７０；ＹＥＳ）には、処理を終了する。
［撮像対象が移動する場合の構造化検出の構成の複素振幅情報の算出方法］
次に、生成部１４ｃが複素振幅情報を算出する方法について説明する。なお、本実施形態では、固定電磁波変調部ＭＰＳと変調後電磁波強度検出部１２との間の距離が、距離ｚ２の場合について説明する。
生成部１４ｃは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調の状態ＭＳとに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｃは、式（１６）及び式（１７）から、撮像対象ＯＢの複素振幅情報を生成する。
式（１６）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
式（１７）は順問題、すなわち数理モデルを使って予測する問題を示す式である。
生成部１４ｃは、式（１６）及び式（１７）を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報ｇを生成することができる。
［第３の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｃは、流路Ｆと、変調後電磁波強度検出部１２と、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、強度信号結合部１３ｃと、生成部１４ｃとを備える。撮像対象ＯＢは、流路Ｆを流されることにより、変調後電磁波強度検出部１２及び固定電磁波変調部ＭＰＳとの相対位置が変化する。変調後電磁波強度検出部１２は、検出した強度情報ＤＳを強度信号結合部１３ｃに対して供給する。相対パターン領域算出部１５ｃは、移動する撮像対象ＯＢと対応する位置の変調領域ＵＡを選択する。相対パターン領域算出部１５ｃは、選択した変調領域ＵＡの変調状態情報を強度信号結合部１３ｃに対して供給する。強度信号結合部１３ｃは、強度情報ＤＳと、選択した変調領域ＵＡの変調状態情報とを対応付けた状態で時刻順に並べた結合強度情報ＤＳＴを生成する。これにより、電磁波検出装置１０ｃは、流路Ｆを移動する撮像対象ＯＢを介して変調される変調後電磁波ＳＬを検出することができる。
電磁波検出装置１０ｃは、検出した変調後電磁波ＳＬの強度情報ＤＳに基づいて、複素振幅情報を算出する。電磁波検出装置１０ｃは、算出した複素振幅情報に基づいて、撮像対象ＯＢの位相又は振幅を生成する。これにより、電磁波検出装置１０ｃは、フローサイトメーターなどの、移動する撮像対象ＯＢの位相又は振幅を生成することができる。
［第４の実施形態］
［撮像対象が移動する場合の構造化照明の電磁波検出装置の構成］
次に、図１３を参照して、撮像対象ＯＢが移動する場合の、構造化照明の電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態、第２の実施形態及び第３の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１３は、撮像対象ＯＢが移動する場合の、構造化照明の電磁波検出装置の構成の一例を示す図である。
電磁波検出装置１０ｄは、照射部ＲＬと、固定電磁波変調部ＭＰＳと、相対パターン領域算出部１５ｃと、変調後電磁波強度検出部１２と、強度信号結合部１３ｃと、生成部１４ｄとを備える。
強度信号結合部１３ｃは、生成部１４ｄに対して結合強度情報ＤＳＴを供給する。
生成部１４ｄは、強度信号結合部１３ｃから結合強度情報ＤＳＴを取得する。生成部１４ｄは、結合強度情報ＤＳＴに基づいて、撮像対象ＯＢの位相又は振幅の情報が含まれる複素振幅を算出する。具体的には、生成部１４ｄは、結合強度情報ＤＳＴと、電磁波変調部ＭＰの変調の寄与度を示す寄与度情報とに基づいて、撮像対象ＯＢからの電磁波ＦＬのうちの少なくとも位相と振幅とを示す複素振幅情報を生成する。生成部１４ｄは、生成した位相又は振幅の情報を、画像情報として表示部２０に表示させる。表示部２０は、生成部１４ｄが生成する画像情報を表示する。
［撮像対象が移動する場合の構造化照明の構成の電磁波検出装置の動作の概要］
電磁波検出装置１０ｄの動作の一例について説明する。
電磁波検出装置１０ｄは、図１２に示す流れ図Ｓ２におけるステップＳ２６０の、複素振幅情報の算出方法が、構造化照明の構成の場合と異なる。
［撮像対象が移動する場合の構造化照明の構成の複素振幅情報の算出方法］
次に、上述したステップＳ２６０において、生成部１４ｄが複素振幅情報を算出する方法について説明する。
構造化照明の場合には、固定電磁波変調部ＭＰＳの位置が、撮像対象ＯＢの位置と同じ位置にあると仮定して計算を行う。具体的には、補助平面ａを、撮像対象ＯＢ上に配置して計算する。
生成部１４ｄは、結合強度情報ＤＳＴに含まれる複数の強度情報ＤＳと、変調状態情報とに基づいて、撮像対象ＯＢのスパース性に基づくスパース拘束演算を行うことにより、撮像対象ＯＢの位相と振幅とを示す情報を生成する。具体的には、生成部１４ｄは、上述した式（１２）及び式（１７）から、撮像対象ＯＢの複素振幅情報を生成する。生成部１４ｄは、式（１２）及び式（１７）を、上述したオルタネイティングプロジェクションによって解くことにより、複素振幅情報ｇを生成することができる。
［第４の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｄは、生成部１４ｄを備える。これにより、電磁波検出装置１０ｄは、撮像対象ＯＢの複素振幅情報を生成することができる。また、電磁波検出装置１０ｄは、構造化照明の構成のため、撮像対象ＯＢに対して照射する電磁波ＥＬの強さを抑えることができる。これにより、撮像対象ＯＢの侵襲性を抑制することができる。
［第５の実施形態］
［変調後電磁波の強さを機械学習する電磁波検出装置の構成］
次に、図１４を参照して、変調後電磁波ＳＬの強さを機械学習する電磁波検出装置の構成ついて説明する。なお、上述した第１の実施形態、第２の実施形態、第３の実施形態及び第４の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１４は、変調後電磁波ＳＬの強さを機械学習する電磁波検出装置の構成の一例を示す図である。
フローサイトメーター４０ｅは、分別部４１と、電磁波検出装置１０ｅを備える。具体的には、フローサイトメーター４０ｅとは、セルソーターである。セルソーターとは、流路Ｆに流される細胞などの試料を、試料の種類ごとに分別する装置である。分別部４１は、電磁波検出装置１０ｅが判定した結果に基づいて、流路Ｆを流れる撮像対象ＯＢを分別する。電磁波検出装置１０ｅは、強度信号結合部１３ｅと、記憶部１６と、判別部１７とを備える。
強度信号結合部１３ｅは、変調後電磁波強度検出部１２から供給される強度情報ＤＳに基づいて、結合強度情報ＤＳＴを生成する。強度信号結合部１３ｅは、機械学習部１６に対して、生成した結合強度情報ＤＳＴを供給する。強度信号結合部１３ｅは、判別部１７に対して、生成した結合強度情報ＤＳＴを供給する。
機械学習部１６は、変調後電磁波強度検出部１２が検出する複数の変調後電磁波の強度を機械学習する。具体的には、機械学習部１６は、強度信号結合部１３ｅから取得する結合強度情報ＤＳＴに基づいて、機械学習する。具体的には、機械学習部１６は、撮像対象ＯＢを介して変調された変調後電磁波ＳＬを、撮像対象ＯＢの位相又は振幅が含まれる信号として、サポートベクターマシンによって機械学習する。この機械学習部１６は、予め教師ありの機械学習済みである。
機械学習部１６は、機械学習した結果を、判別部１７に対して出力する。
判別部１７は、機械学習部１６によって機械学習された結果と変調後電磁波強度検出部１２が検出する複数の強度情報ＤＳとに基づいて、撮像対象ＯＢを判別する。判別部１７は、判定した結果を、分別部４１に対して供給する。
分別部４１は、判別部１７から判定した結果を取得する。分別部４１は、取得した判定結果に基づいて、流路Ｆを流される撮像対象ＯＢを分別する。
［変調後電磁波の強さを機械学習する電磁波検出装置の動作の概要］
次に、図１５を参照して、変調後電磁波の強さを機械学習する電磁波検出装置１０ｅの動作の概要について説明する。
図１５は、電磁波検出装置１０ｅの動作の一例を示す流れ図Ｓ３である。
判別部１７は、強度信号結合部１３ｅから結合強度情報ＤＳＴを取得する（ステップＳ３１０）。ここで、このステップＳ３１０の処理は、撮像対象ＯＢが移動しない場合には、流れ図Ｓ１のステップＳ１２０からステップＳ１５０；ＹＥＳまでの処理を行う。また、このステップＳ３１０の処理は、撮像対象ＯＢが移動する場合には、ステップＳ２２０からステップＳ２５０；ＹＥＳまでの処理を行う。
機械学習部１６は、機械学習結果を判別部１７に対して供給する。判別部１７は、機械学習部１６から機械学習結果を取得する。判別部１７は、結合強度情報ＤＳＴと、機械学習結果とに基づいて、撮像対象ＯＢを判別する（ステップＳ３２０）。判別部１７は、判別した結果を、分別部４１に対して供給する。
分別部４１は、判別部１７から判別結果を取得する。分別部４１は、この判別結果に基づいて、流路Ｆを流される撮像対象ＯＢを分別する（ステップＳ３３０）。
［機械学習部の学習について］
機械学習部１６は、結合強度情報ＤＳＴをサポートベクターマシンによって機械学習する。この学習の一例を説明する。
機械学習部１６は、撮像対象ＯＢである観察対象を識別する情報が入力される。この観察対象を、第１の観察対象とも記載する。より具体的には、第１の観察対象とは、細胞である。この第１の観察対象を識別する情報とは、第１の観察対象の名称などの情報である。機械学習部１６は、この目標観察対象からの位相又は振幅の情報が含まれる結合強度情報ＤＳＴを機械学習する。以下の説明では、この第１の観察対象の機械学習の結果を、第１の機械学習結果とも記載する。
機械学習部１６は、上述した第１の観察対象とは異なる観察対象の情報が入力される。この第１の観察対象とは異なる観察対象を、第２の観察対象とも記載する。より具体的には、第２の観察対象とは、第１の観察対象とは異なる細胞や、ゴミなどである。機械学習部１６は、第２の観察対象からの位相又は振幅の情報が含まれる結合強度情報ＤＳＴを機械学習する。以下の説明では、この第２の観察対象の機械学習の結果を、第２の機械学習結果とも記載する。
機械学習部１６は、第１の機械学習結果と、第２の機械学習結果とに基づいて、撮像対象ＯＢからの結合強度情報ＤＳＴが第１の観察対象からの信号か、第２の観察対象からの信号かを識別する。
［第５の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｅは、強度信号結合部１３ｅと、機械学習部１６と、判別部１７とを備える。機械学習部１６は、強度信号結合部１３ｅから生成される結合強度情報ＤＳＴを機械学習する。判別部１７は、強度信号結合部１３ｅから結合強度情報ＤＳＴを取得する。判別部１７は、機械学習部１６から機械学習結果を取得する。判別部１７は、結合強度情報ＤＳＴと、機械学習結果とに基づいて、撮像対象ＯＢを判別する。つまり、電磁波検出装置１０ｅは、結合強度情報ＤＳＴから、撮像対象ＯＢの位相又は振幅の情報を再構成せずに、撮像対象ＯＢを判別する。電磁波検出装置１０ｅは、検出した複数の強度情報ＤＳに基づいて、位相又は振幅の情報を再構成する時間をかけずに、撮像対象ＯＢを判別することができる。これにより、電磁波検出装置１０ｅは、位相又は振幅の情報を再構成することにより撮像対象ＯＢを判別する装置よりも、短時間で撮像対象ＯＢを判別することができる。この撮像対象ＯＢを判別するまでの時間を短縮できることにより、分別部４１が撮像対象ＯＢを分別するまでに装置の駆動に要する時間や、電位の印加に要する時間までの時間に余裕をもたせることができる。
また、電磁波検出装置１０ｅは、位相又は振幅の情報を再構成せずに撮像対象ＯＢを判別することができるため、位相又は振幅の情報を再構成して撮像対象ＯＢを判別する場合と比較して、より少ない強度情報ＤＳに基づいて、撮像対象ＯＢを判別することができる。これにより、電磁波検出装置１０ｅは、強度情報ＤＳを取得する回数を減らすことができ、高速に撮像対象ＯＢを判別することができる。
また、電磁波検出装置１０ｅは、予め機械学習された結果に基づいて、撮像対象ＯＢとしての観察対象の像を再構成することなく観察対象を判別および分別してもよい。
具体的には、再生医療や細胞治療に向けて生産される細胞の品質管理において、分子標識を用いない細胞判別及び分別のニーズがある。なお、分子標識を用いない細胞判別及び分別とは、細胞に対して蛍光染色などの侵襲性が高い処理をせずに判別及び分類することである。このニーズにおいて、細胞の形態に応じて変調される位相が含まれる強度情報ＤＳを機械学習することにより、フローサイトメトリー上での細胞の迅速な判別および分別を行うことができる。一例として、幹細胞を用いた再生医療においては、未分化細胞と分化細胞との分類に分子標識を用いている。具体的には、幹細胞とは、自分自身を複製する能力と他の複数系統の細胞に分化する能力を兼ね備えた細胞である。より具体的には、幹細胞とは、人工多能性幹細胞（ｉＰＳ細胞）などである。
この幹細胞に対し、電磁波検出装置１０ｅは、まず分子標識を施したトレーニング用細胞群に対してフローサイトメトリー上で計測を行い、分子標識陽性のラベルのついた強度情報ＤＳと、分子標識陰性のラベルのついた強度情報ＤＳとを機械学習する。この場合には、電磁波検出装置１０ｅは、この分子標識を識別することができる構成であればよい。また、電磁波検出装置は、他の装置がこの分子標識を施したトレーニング用細胞群を機械学習した結果を取得する構成であってもよい。
次に、電磁波検出装置１０ｅは、分子標識を施していない細胞群に対してフローサイトメトリー上で判別および分別を行い、最終的に体内へと入れる細胞を集めることができる。つまり、電磁波検出装置１０ｅは、予め侵襲性は高いが、撮像対象ＯＢの判別の精度が高い強度情報ＤＳを機械学習する。電磁波検出装置１０ｅは、この判別の精度が高い機械学習結果に基づいて、分子標識を用いていない細胞を判別及び分別する。これにより、体内に入れる細胞を精度よく分別することができる。
なお、上述した説明では、電磁波検出装置１０ｅをフローサイトメーター４０ｅが備える場合について説明したが、これに限られない。また、フローサイトメーター以外の顕微鏡などの装置が、電磁波検出装置１０ｅを備えてもよい。
また、上述した説明では、電磁波検出装置１０ｅが、構造化検出の構成の場合について説明したが、構造化照明の構成であってもよい。また、撮像対象ＯＢが移動しないものであってもよい。
［第６の実施形態］
［電磁波変調部の変調の状態を撮像対象に応じたパターンに変更する変更部］
次に、図１６から図１７を参照して、電磁波変調部ＭＰの変調の状態ＭＳを、撮像対象ＯＢに応じたパターンに変更する電磁波検出装置１０ｆについて説明する。なお、上述した第１の実施形態、第２の実施形態、第３の実施形態、第４の実施形態及び第５の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図１６は、電磁波変調部ＭＰの変調の状態ＭＳを、撮像対象に応じて変更する電磁波検出装置１０ｆの構成の一例を示す図である。
電磁波検出装置１０ｆは、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備える。
電磁波検出装置１０ｆを操作するユーザは、判別部１７が判定した結果が、正しいか否かを示す判定正否情報を、操作部３０によって入力する。判定結果取得部１８は、この判定正否情報を取得する。判定結果取得部１８は、判定正否情報を変調パターン算出部１９に対して供給する。
記憶部ＳＴには、複数の変調の状態ＭＳが記憶される。
変調パターン算出部１９は、変調の状態ＭＳが互いに異なる電磁波変調部ＭＰを複数算出する。具体的には、変調パターン算出部１９は、判定結果取得部１８から判定正否情報を取得する。変調パターン算出部１９は、判別部１７から、判別部１７が判定した結果を取得する。変調パターン算出部１９は、判定正否情報と、判別部１７が判定した結果とに基づいて、電磁波変調部ＭＰの変調の状態ＭＳに対してスコアを付与する。変調パターン算出部１９は、判別部１７が正しく判定した場合には、高いスコアを付与する。具体的には、変調パターン算出部１９は、１つの変調の状態ＭＳに対して複数回、判別部１７が正しく判定したか否かを判定する。変調パターン算出部１９は、判別部１７が正しく判定した場合には、この変調の状態ＭＳと対応するスコアの値を増加させる。変調パターン算出部１９は、変調の状態ＭＳと、算出されたスコアとを対応付けた状態で、記憶部ＳＴに記憶させる。変調パターン算出部１９は、このスコアを付与する処理を、複数の互いに変調の状態ＭＳが異なる電磁波変調部ＭＰに対して、それぞれ行う。変調パターン算出部１９は、複数の電磁波変調部ＭＰのうちから、スコアが高いパターンを選択する。
より具体的には、変調パターン算出部１９は遺伝的アルゴリズムによって、変調の状態ＭＳが互いに異なる電磁波変調部ＭＰを算出する。
図１７は、遺伝的アルゴリズムによって生成されるパターンの一例を示す図である。
変調パターン算出部１９は、電磁波変調部ＭＰ６１から電磁波変調部ＭＰ６４までの電磁波変調部ＭＰに対して、それぞれスコアを算出する。変調パターン算出部１９は、スコアが高い電磁波変調部ＭＰ６２と、電磁波変調部ＭＰ６５とに基づいて、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰを算出する。変調パターン算出部１９は、スコアが高い電磁波変調部ＭＰの変調の状態ＭＳ同士を変異を加えつつ交叉させることによって算出する。変調パターン算出部１９は、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰに対して、それぞれスコアを算出する。変調パターン算出部１９は、電磁波変調部ＭＰ６５から電磁波変調部ＭＰ６７までの電磁波変調部ＭＰの中からスコアが最も高い電磁波変調部ＭＰ６６を、撮像対象ＯＢに応じた電磁波変調部ＭＰ６８として算出する。変調パターン算出部１９は、この算出した電磁波変調部ＭＰ６８を、変更部１１に対して供給する。
変調パターン算出部１９は、スコアが高いパターンを、変更部１１に対して供給する。変更部１１は、変調パターン算出部１９から供給される電磁波変調部ＭＰに含まれるパターンを、撮像対象ＯＢに応じたパターンに変更する。具体的には、変更部１１は、変調の状態ＭＳを、撮像対象ＯＢに応じたものに変更する。
［第６の実施形態のまとめ］
以上説明したように、電磁波検出装置１０ｆは、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備える。判定結果取得部１８は、判別部１７が判定した結果が正しいか否かを示す正否情報を取得する。変調パターン算出部１９は、判定結果取得部１８が取得する正否情報と、判別部１７の判定結果とに基づいて、撮像対象ＯＢをより多くの回数、正しく判定した電磁波変調部ＭＰを、撮像対象ＯＢに応じた変調の状態ＭＳを含む電磁波変調部ＭＰとする。つまり、電磁波検出装置１０ｆは、撮像対象ＯＢに応じた変調の状態ＭＳを算出する。これにより、電磁波検出装置１０ｆは、撮像対象ＯＢに応じた変調の状態ＭＳを含まない電磁波変調部ＭＰよりも、より正確に撮像対象ＯＢを判別することができる変調の状態ＭＳを含む電磁波変調部ＭＰを算出できる。これにより、電磁波検出装置１０ｆは、精度よく撮像対象ＯＢを判別することができる。
また、上述した説明では、電磁波検出装置１０ｆが、構造化照明の構成の場合について説明したが、構造化検出の構成であってもよい。また、撮像対象ＯＢが移動しないものについて説明したが、移動するものであってもよい。言い換えると、第１の実施形態から第５の実施形態までの電磁波検出装置１０は、判定結果取得部１８と、記憶部ＳＴ、と変調パターン算出部１９とを備えていてもよい。
また、上述した説明では、第１の実施形態から第４の実施形態までは、電磁波検出装置は、撮像対象ＯＢの複素振幅に基づいて、再構成画像を生成する場合について説明したが、必須ではない。第１の実施形態から第４の実施形態までの電磁波検出装置は、変調後電磁波ＳＬを検出できればよい。また、電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの位相のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの振幅の情報のみを再構成してもよい。電磁波検出装置は算出した複素振幅情報から、撮像対象ＯＢの、位相と振幅との両方の情報を再構成してもよい。
なお、上述した第３の実施形態及び第４の実施形態では、相対パターン領域算出部１５ｃは、撮像対象ＯＢの位置に応じた変調領域ＵＡを選択する場合について説明したがこれに限られない。電磁波検出装置１０ｃ及び電磁波検出装置１０ｄは、検出した強度情報ＤＳの時間の長さに応じた変調領域ＵＡを、変調の状態ＭＳのうちから選択してもよい。
なお、上述した第３の実施形態及び第４の実施形態では、撮像対象ＯＢが移動する構成について説明したが、検出側が移動してもよい。具体的には、電磁波検出装置１０ｃ及び電磁波検出装置１０ｄは、移動しない撮像対象ＯＢに対して、固定電磁波変調部ＭＰＳと変調後電磁波強度検出部１２とが移動する構成であってもよい。
上述した説明では、第１の実施形態から第４の実施形態までが備える生成部がスパース拘束演算をして複素振幅情報ｇを生成する場合について説明したが、複素振幅情報ｇは、他の装置が演算してもよい。他の装置とは、ネットワーク上のサーバが稼働するウェブサービスなどである。この場合には、生成部は、複素振幅情報ｇを生成するために必要な情報を他の装置に出力する。生成部は、他の装置が生成した複素振幅情報ｇを取得すればよい。
なお、上述した第１の実施形態から第６の実施形態までの電磁波検出装置は、透過型の光学系又は反射型光学系のいずれであってもよい。透過型の光学系は、上述した図１及び図９に示すように、撮像対象ＯＢからの透過光を観測する。反射型の光学系は、上述した図３、図８、図１１、図１３、図１４及び図１６に示すように、撮像対象ＯＢからの反射光を観測する。また、上述した第１の実施形態から第６の実施形態までの電磁波検出装置は、電磁波変調部ＭＰの反射光を測定してもよい。同様に、第１の実施形態から第６の実施形態までの電磁波検出装置は、電磁波変調部ＭＰの透過光を測定してもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の電磁波検出装置１０、電磁波検出装置１０ａ、電磁波検出装置１０ｂ、電磁波検出装置１０ｃ、電磁波検出装置１０ｄ、電磁波検出装置１０ｅ及び電磁波検出装置１０ｆは内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ…電磁波検出装置、１１…変更部、１２…変調後電磁波強度検出部、１３ａ，１３ｃ，１３ｅ…強度信号結合部、１４ａ，１４ｂ，１４ｃ，１４ｄ…生成部、１５ｃ…相対パターン領域算出部、１６…機械学習部、１７…判別部、１８…判定結果取得部、１９…変調パターン算出部、ＳＴ…記憶部、２０…表示部、３０…操作部、４０，４０ｅ…フローサイトメーター、４１…分別部、
１００…電磁波検出システム、Ｆ…流路、ＲＬ…照射部、ＭＰ，ＭＰ１，ＭＰ２，ＭＰ３，ＭＰ６１，ＭＰ６２，ＭＰ６３，ＭＰ６４，ＭＰ６５，ＭＰ６６，ＭＰ６７，ＭＰ６８，ＭＰｍ…電磁波変調部、ＭＥ１，ＭＥ２，ＭＥ３，ＭＥｍ…要素、ＭＰＣ…可変電磁波変調部、ＭＰＳ…固定電磁波変調部、ＯＢ…撮像対象、ＲＶＡ…振幅画像情報、ＲＰ…位相画像情報、ＰＧ…撮像画像、ＵＡ，ＵＡ１，ＵＡ２，ＵＡ３…変調領域、ＥＬ，ＦＬ，ＭＬ…電磁波、ＳＬ…変調後電磁波

Claims (11)

  1. 可干渉性を有する電磁波を撮像対象に向けて照射する照射部と、
    前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させ、変調の程度が異なる複数の領域を有する電磁波変調部と、
    前記照射部から照射された前記電磁波が、前記撮像対象と前記電磁波変調部とによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出部と、
    前記電磁波変調部により互いに異なった変調が加えられて前記変調後電磁波強度検出部により複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調部により加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調部の前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成部と、
    を備える電磁波検出装置。
  2. 前記生成部は、
    前記撮像対象のスパース性に基づくスパース拘束演算を行うことにより、前記複素振幅情報を生成する
    請求項１に記載の電磁波検出装置。
  3. 前記照射部は、
    前記電磁波変調部を介した前記電磁波を、前記撮像対象に対して照射する
    請求項１に記載の電磁波検出装置。
  4. 前記照射部は、
    前記撮像対象を介した前記電磁波を、前記電磁波変調部に対して照射する
    請求項１に記載の電磁波検出装置。
  5. 前記電磁波変調部は、ランダムなパターンを有する電磁波変調部である
    請求項１から請求項４のいずれか一項に記載の電磁波検出装置。
  6. 前記電磁波変調部には、
    前記変調の状態を示す第１の状態と、前記第１の状態とは前記変調の状態が異なる第２の状態とが少なくともあり、
    前記変調後電磁波強度検出部は、
    前記撮像対象と前記第１の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第１の変調後電磁波の強度と、
    前記撮像対象と前記第２の状態の前記電磁波変調部とによって変調される前記変調後電磁波の強度を示す第２の変調後電磁波の強度と
    を少なくとも検出する
    請求項１から請求項５のいずれか一項に記載の電磁波検出装置。
  7. 前記電磁波変調部に含まれる前記複数の領域それぞれについて変調の状態を変化させることによって、前記電磁波変調部にある前記変調の状態を変更する変更部
    を更に備える請求項６に記載の電磁波検出装置。
  8. 前記生成部が生成した前記複素振幅情報に基づいて前記撮像対象の位相又は振幅の情報を画像情報として表示する表示部を更に備える
    請求項１から請求項７のいずれか一項に記載の電磁波検出装置。
  9. 請求項１から請求項８のいずれか一項に記載の電磁波検出装置と、
    前記撮像対象としての観察対象が流される流路とを備え、
    前記電磁波検出装置の前記照射部は、前記流路に対して前記電磁波を照射し、
    前記変調後電磁波強度検出部は、前記流路に対して照射された前記電磁波を検出する
    フローサイトメーター。
  10. 可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、
    前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させる電磁波変調ステップと、
    前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと、
    前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調ステップにより加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調ステップの前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成ステップと、
    を有する電磁波検出方法。
  11. コンピュータに、
    可干渉性を有する電磁波を撮像対象に向けて照射する照射ステップと、
    前記電磁波又は前記電磁波が前記撮像対象に照射され変調された電磁波の位相と振幅とのうちの少なくとも一方を変調させる電磁波変調ステップと、
    前記照射ステップにおいて照射された前記電磁波が前記撮像対象と前記電磁波変調ステップとによって変調された変調後電磁波の強度を１画素によって検出する変調後電磁波強度検出ステップと、
    前記電磁波変調ステップにより互いに異なった変調が加えられて前記変調後電磁波強度検出ステップにより複数回検出された前記変調後電磁波の強度を示す情報と、当該複数回の強度を検出した際に前記電磁波変調ステップにより加えられたそれぞれの変調の状態を示す情報と、当該電磁波変調ステップの前記変調の寄与度を示す寄与度情報とに基づいて、前記撮像対象からの前記電磁波の少なくとも位相と振幅とを示す複素振幅情報を生成する生成ステップと、
    を実行させるための電磁波検出プログラム。
JP2017028245A 2017-02-17 2017-02-17 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム Active JP6781987B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017028245A JP6781987B2 (ja) 2017-02-17 2017-02-17 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
CN201880012120.XA CN110998293B (zh) 2017-02-17 2018-02-15 电磁波检测装置、流式细胞仪、电磁波检测方法和电磁波检测程序
EP18753550.5A EP3584564B1 (en) 2017-02-17 2018-02-15 Electromagnetic wave detection device, flow cytometer, electromagnetic wave detection method, and electromagnetic wave detection program
PCT/JP2018/005237 WO2018151206A1 (ja) 2017-02-17 2018-02-15 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
US16/542,257 US11549880B2 (en) 2017-02-17 2019-08-15 Electromagnetic wave determining device, flow cytometer, electromagnetic wave determining method, and electromagnetic wave determining program
US18/056,432 US11906722B2 (en) 2017-02-17 2022-11-17 Electromagnetic wave determining device, flow cytometer, electromagnetic wave determining method, and electromagnetic wave determining program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017028245A JP6781987B2 (ja) 2017-02-17 2017-02-17 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020170808A Division JP7090297B2 (ja) 2020-10-08 2020-10-08 電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び機械学習結果

Publications (2)

Publication Number Publication Date
JP2018132501A JP2018132501A (ja) 2018-08-23
JP6781987B2 true JP6781987B2 (ja) 2020-11-11

Family

ID=63170682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017028245A Active JP6781987B2 (ja) 2017-02-17 2017-02-17 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム

Country Status (5)

Country Link
US (2) US11549880B2 (ja)
EP (1) EP3584564B1 (ja)
JP (1) JP6781987B2 (ja)
CN (1) CN110998293B (ja)
WO (1) WO2018151206A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3499201B1 (en) * 2016-08-15 2022-12-07 Osaka University Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program
JP6781987B2 (ja) * 2017-02-17 2020-11-11 国立大学法人大阪大学 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
JP7249140B2 (ja) * 2018-12-12 2023-03-30 浜松ホトニクス株式会社 撮像装置および撮像方法
JPWO2021200960A1 (ja) * 2020-04-01 2021-10-07
JP7090297B2 (ja) * 2020-10-08 2022-06-24 国立大学法人大阪大学 電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び機械学習結果
WO2024023069A1 (en) 2022-07-26 2024-02-01 Trinamix Gmbh Method for determining a characteristic value of an optical system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525862B2 (en) * 1996-10-30 2003-02-25 Photogen, Inc. Methods and apparatus for optical imaging
JP4240386B2 (ja) * 2003-02-21 2009-03-18 エスケーエイ株式会社 被処理流体の変調電磁波処理方法
JP4436091B2 (ja) * 2003-08-22 2010-03-24 財団法人光科学技術研究振興財団 光反応制御装置
JP4735375B2 (ja) 2006-04-04 2011-07-27 株式会社日立製作所 画像処理装置及び動画像符号化方法。
US8184298B2 (en) * 2008-05-21 2012-05-22 The Board Of Trustees Of The University Of Illinois Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization
WO2010032452A1 (ja) * 2008-09-19 2010-03-25 三井造船株式会社 強度変調したレーザ光による蛍光検出装置および蛍光検出方法
WO2010125508A1 (en) * 2009-04-27 2010-11-04 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for retrieval of amplitude and phase of nonlinear electromagnetic waves
WO2011028109A1 (en) * 2009-09-01 2011-03-10 Universiteit Leiden System and method for performing microscopy with light exhibiting an orbital angular momentum
JP5740101B2 (ja) 2010-04-23 2015-06-24 国立大学法人名古屋大学 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP5816415B2 (ja) 2010-04-23 2015-11-18 国立大学法人名古屋大学 細胞評価装置、インキュベータ、プログラム、および、培養方法
US8705031B2 (en) * 2011-02-04 2014-04-22 Cytonome/St, Llc Particle sorting apparatus and method
US9069175B2 (en) * 2011-04-08 2015-06-30 Kairos Instruments, Llc Adaptive phase contrast microscope
US9074978B2 (en) 2011-07-12 2015-07-07 The Regents Of The University Of California Optical space-time coding technique in microfluidic devices
US9220415B2 (en) * 2011-10-25 2015-12-29 Andreas Mandelis Systems and methods for frequency-domain photoacoustic phased array imaging
JP5333570B2 (ja) 2011-12-21 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US9357975B2 (en) * 2013-12-30 2016-06-07 Carestream Health, Inc. Large FOV phase contrast imaging based on detuned configuration including acquisition and reconstruction techniques
JP6230047B2 (ja) * 2013-08-15 2017-11-15 国立大学法人北海道大学 複素振幅画像表示方法、散乱位相画像生成装置および散乱位相画像生成方法
US9518916B1 (en) * 2013-10-18 2016-12-13 Kla-Tencor Corporation Compressive sensing for metrology
JPWO2015068834A1 (ja) * 2013-11-11 2017-03-09 国立大学法人北海道大学 複素振幅像生成装置および複素振幅像生成方法
US9528925B2 (en) 2014-02-14 2016-12-27 Palo Alto Research Center Incorporated Spatial modulation of light to determine object position
US10073025B2 (en) * 2014-03-24 2018-09-11 Colorado State University Research Foundation Method and device for incoherent imaging with coherent diffractive reconstruction
JP6282969B2 (ja) * 2014-10-31 2018-02-21 日本光電工業株式会社 フロー解析装置、フローサイトメータ、及びフロー解析方法
US10761011B2 (en) * 2015-02-24 2020-09-01 The University Of Tokyo Dynamic high-speed high-sensitivity imaging device and imaging method
JP6591909B2 (ja) 2015-07-27 2019-10-16 京セラ株式会社 アンテナモジュール
US10346964B2 (en) * 2016-02-02 2019-07-09 Steven M. Ebstein System for actinic inspection of semiconductor masks
WO2017197271A1 (en) * 2016-05-12 2017-11-16 Bd Biosciences Fluorescence imaging flow cytometry with enhanced image resolution
EP3499201B1 (en) * 2016-08-15 2022-12-07 Osaka University Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program
JP6781987B2 (ja) * 2017-02-17 2020-11-11 国立大学法人大阪大学 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
EP3605406A4 (en) 2017-03-29 2021-01-20 ThinkCyte, Inc. LEARNING RESULTS OUTPUT DEVICE AND LEARNING OUTCOMES OUTPUT PROGRAM

Also Published As

Publication number Publication date
EP3584564A1 (en) 2019-12-25
EP3584564B1 (en) 2024-03-06
WO2018151206A1 (ja) 2018-08-23
US20230213747A1 (en) 2023-07-06
US11906722B2 (en) 2024-02-20
CN110998293B (zh) 2023-06-16
EP3584564A4 (en) 2020-03-18
CN110998293A (zh) 2020-04-10
US11549880B2 (en) 2023-01-10
US20190391066A1 (en) 2019-12-26
JP2018132501A (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
JP6781987B2 (ja) 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
Horstmeyer et al. Diffraction tomography with Fourier ptychography
JP6559555B2 (ja) 光計測方法および装置
Davis et al. Imaging depth and multiple scattering in laser speckle contrast imaging
CN107250716B (zh) 动态高速高灵敏度成像装置及成像方法
Delpiano et al. Performance of optical flow techniques for motion analysis of fluorescent point signals in confocal microscopy
Mallery et al. Dense particle tracking using a learned predictive model
Wang et al. Traction force microscopy by deep learning
JP7090297B2 (ja) 電磁波検出装置、フローサイトメーター、電磁波検出方法、電磁波検出プログラム及び機械学習結果
Abdelazeem et al. Discrimination between normal and cancer white blood cells using holographic projection technique
Oesch et al. Aggregate behavior of branch points: characterization in wave optical simulation
Benisty et al. Review of data processing of functional optical microscopy for neuroscience
Cybulski et al. Spatial information in large-scale neural recordings
Wertheimer et al. Towards machine learning for heterogeneous inverse scattering in 3D microscopy
EP4160319A1 (en) Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program
JP7322683B2 (ja) 画像処理方法、画像生成装置及び画像処理システム
Maraj et al. Measurement instrumentation and selected signal processing techniques for anomalous diffusion analysis
Mavaddat et al. Simulation of biomedical signals and images using Monte Carlo methods for training of deep learning networks
Unterberger et al. Coupled 3D evolutionary reconstruction technique for multi-simultaneous measurements
Miller et al. Computational speckle contrast optical tomography
Therese et al. Melanoma detection on skin lesion images using k-means algorithm and SVM classifier
Driscoll et al. Cell morphological motif detector for high-resolution 3D microscopy images
Olmos et al. Lossless temporal contrast analysis of laser speckle images from periodic signals
Haeffele et al. An optical model of whole blood for detecting platelets in lens-free images
Jourlin Metrics Based on Logarithmic Laws

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20170317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6781987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250