JP7268205B2 - 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム - Google Patents

情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム Download PDF

Info

Publication number
JP7268205B2
JP7268205B2 JP2021570647A JP2021570647A JP7268205B2 JP 7268205 B2 JP7268205 B2 JP 7268205B2 JP 2021570647 A JP2021570647 A JP 2021570647A JP 2021570647 A JP2021570647 A JP 2021570647A JP 7268205 B2 JP7268205 B2 JP 7268205B2
Authority
JP
Japan
Prior art keywords
information processing
observation target
phase
target object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570647A
Other languages
English (en)
Other versions
JPWO2021145035A1 (ja
Inventor
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021145035A1 publication Critical patent/JPWO2021145035A1/ja
Application granted granted Critical
Publication of JP7268205B2 publication Critical patent/JP7268205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02083Interferometers characterised by particular signal processing and presentation
    • G01B9/02087Combining two or more images of the same region
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N2015/025Methods for single or grouped particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N2015/0294Particle shape
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1454Optical arrangements using phase shift or interference, e.g. for improving contrast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454Arrangement for recovering hologram complex amplitude
    • G03H2001/0458Temporal or spatial phase shifting, e.g. parallel phase shifting method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0875Solving phase ambiguity, e.g. phase unwrapping
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/10Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12Phase modulating object, e.g. living cell

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Dispersion Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Sustainable Development (AREA)
  • Cell Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示の技術は、情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムに関する。
観察対象物体の微細な表面凹凸形状を計測する方法として、光干渉計測法が知られている。光干渉計測法は、まず、観察対象物体によって回折された照明光である物体光と、観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、物体光と参照光との位相差の二次元分布である位相差画像を求める。そして、求めた位相差画像に基づいて、観察対象物体の形状として、照明光の照射方向に沿う観察対象物体の高さを求める方法である。
位相差画像の画素値は、arctanの関数として求められる。このため、位相差画像の画素値は、arctanの値域である-π~πの範囲に折り畳まれて(ラッピングされて)求められる。このため、例えば実際の位相差は5π/4であっても、求められる画素値はπ/4というように、画素値だけでは実際にどういった位相差であるのかがよく分からない。したがって、このように-π~πの範囲に画素値が折り畳まれて求められることによって、位相差画像には、所々で画素値に±2π程度の位相とびが生じる場合がある。
こうした位相とびがあると、観察対象物体の高さを正しく求めることができない。そこで、観察対象物体の高さを求めるに先立ち、位相差画像の位相とびがある部分に2πを加算したり減算したりして、位相を繋ぎ合わせる処理が行われる。こうした位相を繋ぎ合わせる処理は、位相接続と呼ばれる(あるいは位相アンラッピングとも呼ばれる)。位相接続は、位相差画像における位相接続の最適な経路を選択する等して試行錯誤を繰り返しながら行われるため、相応の時間が掛かる。
特開2006-284186号公報には、観察対象物体のおおよその形状を実際に計測しておき、この計測結果を参照して、位相差画像に対して位相接続を施す技術が記載されている。特開2006-284186号公報に記載の技術によれば、観察対象物体のおおよその形状の計測結果が有力な手掛かりとなるので、何の情報もなく位相接続を施す場合と比べて、位相接続の処理時間を短縮することができる。
しかしながら、特開2006-284186号公報では、観察対象物体のおおよその形状を計測するための機構が必要となる。また、計測時間が余計に掛かる。
本開示の技術は、観察対象物体のおおよその形状を計測するための特別な機構を必要とせず、かつ、余計な計測時間を掛けることなく、位相接続の処理時間を短縮することが可能な情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムを提供することを目的とする。
上記目的を達成するために、本開示の情報処理装置は、観察対象物体によって回折された照明光である物体光と、観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、物体光と参照光との位相差の二次元分布である位相差画像を求め、位相差画像に基づいて、観察対象物体の形状を求める処理を行う情報処理装置において、少なくとも1つのプロセッサを備え、プロセッサは、観察対象物体に関する物体関連情報を取得し、物体関連情報と、観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、取得した物体関連情報に対応した形状プロファイルを読み出し、読み出した形状プロファイルを参照して、位相差画像に対して位相接続を施す。
プロセッサは、干渉縞画像から観察対象物体の存在領域を抽出し、存在領域に対して選択的に位相接続を施すことが好ましい。
プロセッサは、観察対象物体の形状の算出結果を表示する制御を行うことが好ましい。
プロセッサは、干渉縞画像から、観察対象物体の任意の断層面を表す再生画像を生成し、再生画像に観察対象物体の形状の算出結果を重畳表示することが好ましい。
観察対象物体の形状は、照明光の照射方向に沿う観察対象物体の高さであることが好ましい。
観察対象物体は培養中の細胞であることが好ましい。この場合、プロセッサは、細胞の培養容器の底面から培養面までの高さに関する培養面高さ関連情報を取得することが好ましい。
物体関連情報は、細胞の種類および細胞の培養条件であることが好ましい。この場合、培養条件は、培養日数、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度のうちの少なくともいずれか1つを含むことが好ましい。
本開示の情報処理装置の作動方法は、観察対象物体によって回折された照明光である物体光と、観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、物体光と参照光との位相差の二次元分布である位相差画像を求め、位相差画像に基づいて、観察対象物体の形状を求める処理を行う情報処理装置の作動方法において、観察対象物体に関する物体関連情報を取得する取得ステップと、物体関連情報と、観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、取得ステップにおいて取得した物体関連情報に対応した形状プロファイルを読み出す読み出しステップと、読み出しステップにおいて読み出した形状プロファイルを参照して、位相差画像に対して位相接続を施す位相接続ステップと、を備える。
本開示の情報処理装置の作動プログラムは、観察対象物体によって回折された照明光である物体光と、観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、物体光と参照光との位相差の二次元分布である位相差画像を求め、位相差画像に基づいて、観察対象物体の形状を求める処理を行う情報処理装置の作動プログラムにおいて、観察対象物体に関する物体関連情報を取得する取得部と、物体関連情報と、観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、取得部において取得した物体関連情報に対応した形状プロファイルを読み出す読み出し部と、読み出し部において読み出した形状プロファイルを参照して、位相差画像に対して位相接続を施す位相接続部として、コンピュータを機能させる。
本開示の技術によれば、観察対象物体のおおよその形状を計測するための特別な機構を必要とせず、かつ、余計な計測時間を掛けることなく、位相接続の処理時間を短縮することが可能な情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムを提供することができる。
デジタルホログラフィシステムを示す図である。 計測装置を示す図である。 撮像素子の撮像面付近における物体光および透過光の様子、並びに干渉縞画像を示す図である。 干渉縞の成り立ちを説明するための図であり、図4Aは干渉縞の明部の成り立ち、図4Bは干渉縞の暗部の成り立ちをそれぞれ示す。 計測装置において干渉縞画像を得る様子を示す図であり、図5Aはシフト量0の場合、図5Bはシフト量π/2の場合、図5Cはシフト量πの場合、図5Dはシフト量3π/2の場合をそれぞれ示す。 位相差画像の成り立ちを示す図である。 細胞の高さを示す図である。 情報処理装置を構成するコンピュータを示すブロック図である。 情報処理装置のCPUを示すブロック図である。 情報入力画面を示す図である。 形状プロファイルテーブルを示す図である。 培養面高さテーブルを示す図である。 処理部の詳細を示す図である。 位相差画像生成部および位相接続部の処理の詳細を示す図である。 位相接続を説明するための図である。 実際の位相接続の様子を示す図である。 高さ算出部の処理の詳細を示す図である。 計測結果表示画面を示す図である。 情報処理装置の処理手順を示すフローチャートである。 本開示の技術の効果を説明するための図であり、図20Aは形状プロファイルを参照しない場合、図20Bおよび図20Cは形状プロファイルを参照する場合をそれぞれ示す。 物体関連情報の別の例を示す図である。 細胞の存在領域を抽出し、存在領域に対して選択的に位相接続を施す第2実施形態を示す図である。 干渉縞画像から再生画像を生成する第3実施形態を示す図である。 生成部による演算処理の概要を示す図である。 第3実施形態の計測結果表示画面を示す図である。
[第1実施形態]
図1において、デジタルホログラフィシステム2は、情報処理装置10と計測装置11とで構成される。情報処理装置10は、例えばデスクトップ型のパーソナルコンピュータである。情報処理装置10には計測装置11が接続されている。計測装置11には細胞12の培養容器13が導入される。細胞12は、本開示の技術に係る「観察対象物体」の一例である。なお、本明細書において、「細胞」とは、1個で独立して存在している細胞はもちろん、複数個の細胞が塊として存在している細胞塊も含む。
図2において、計測装置11は、光源20、ステージ21、および撮像素子22を備えている。光源20は、例えばレーザーダイオード(LD;Laser Diode)である。あるいは、光源20は、発光ダイオード(LED;Light Emitting Diode)とピンホールの組み合わせである。光源20は、ステージ21上に載置された培養容器13に向けてコヒーレント光23を出射する。コヒーレント光23は、細胞12および培養容器13に入射する。コヒーレント光23は、本開示の技術に係る「照明光」の一例である。なお、矢印で示すZ方向は、コヒーレント光23の照射方向である。
図3に示すように、細胞12および培養容器13に入射したコヒーレント光23は、細胞12および培養容器13によって回折された物体光30と、細胞12および培養容器13を経ずに透過した透過光31とに分かれる。物体光30と透過光31とは、撮像素子22の撮像面32上で干渉し、干渉縞33を生じる。撮像素子22は、この干渉縞33を撮像し、干渉縞画像34を出力する。透過光31は、本開示の技術に係る「参照光」の一例である。
干渉縞画像34の各画素の画素値は、干渉縞33の強度Iである。すなわち、干渉縞画像34は、干渉縞33の強度Iの二次元分布である。干渉縞33の強度Iは、物体光30と透過光31との位相差をφとして、次式(1)で表される。
I(X、Y)=A+Bcosφ(X、Y)・・・(1)
なお、A、Bは定数である。また、(X、Y)は、干渉縞画像34の各画素のX座標およびY座標である。
図4にも示すように、物体光30および透過光31を表す線のうち、実線は物体光30および透過光31の最大振幅の波面を示す。対して破線は物体光30および透過光31の最小振幅の波面を示す。撮像面32上に示す白点35は、物体光30および透過光31の波面が揃って強め合う部分である(図4A参照)。この白点35の部分は、干渉縞33においては明部36として現れる。対して、撮像面32上に示す黒点37は、物体光30および透過光31の波面が半波長分ずれて弱め合う部分である(図4B参照)。この黒点37の部分は、干渉縞33においては暗部38として現れる。
図5に示すように、計測装置11においては、物体光30と透過光31の光路差をπ/2ずつシフトさせ、その都度、撮像素子22から干渉縞画像34を出力させる。具体的には、図5Aに示すシフト量0、図5Bに示すシフト量π/2、図5Cに示すシフト量π、および図5Dに示すシフト量3π/2の計4回、光源20によるコヒーレント光23の照射と、撮像素子22による干渉縞画像34の撮像とを行う。これにより、図5Aに示すシフト量0の場合の第1干渉縞画像34A、図5Bに示すシフト量π/2の場合の第2干渉縞画像34B、図5Cに示すシフト量πの場合の第3干渉縞画像34C、および図5Dに示すシフト量3π/2の場合の第4干渉縞画像34Dが得られる。第1干渉縞画像34A、第2干渉縞画像34B、第3干渉縞画像34C、および第4干渉縞画像34Dは、物体光30と透過光31の光路差が異なるため、同じ細胞12および培養容器13であっても、干渉縞33の明部36と暗部38の幅が異なる(図14参照)。
このように、物体光30と透過光31の光路差を規定量シフトさせつつ、干渉縞画像34を出力させる方法は、位相シフト法と呼ばれる。特に、上記のように規定量をπ/2とし、計4枚の干渉縞画像34を得る方法は、4ステップ法と呼ばれる。なお、以下の説明では、特に区別する必要がない場合は、第1干渉縞画像34A、第2干渉縞画像34B、第3干渉縞画像34C、および第4干渉縞画像34Dを、まとめて干渉縞画像34という。
第1干渉縞画像34Aに映る干渉縞33の強度I_1(X、Y)は、次式(2)で表される。
I_1(X、Y)=A+Bcosφ(X、Y)・・・(2)
同様に、第2干渉縞画像34Bに映る干渉縞33の強度I_2(X、Y)、第3干渉縞画像34Cに映る干渉縞33の強度I_3(X、Y)、および第4干渉縞画像34Dに映る干渉縞33の強度I_4(X、Y)は、次式(3)、(4)、(5)で表される。
I_2(X、Y)=A+Bcos{φ(X、Y)+(π/2)}・・・(3)
I_3(X、Y)=A+Bcos{φ(X、Y)+π}・・・(4)
I_4(X、Y)=A+Bcos{φ(X、Y)+(3π/2)}・・・(5)
式(3)、(4)、(5)は、次式(3A)、(4A)、(5A)に書き換えられる。
I_2(X、Y)=A-Bsinφ(X、Y)・・・(3A)
I_3(X、Y)=A-Bcosφ(X、Y)・・・(4A)
I_4(X、Y)=A+Bsinφ(X、Y)・・・(5A)
図6において、式(2)、(3A)、(4A)、(5A)より、次式(6)が導き出される。
{I_4(X、Y)-I_2(X、Y)}/{I_1(X、Y)-I_3(X、Y)}=tanφ(X、Y)・・・(6)
したがって、物体光30と透過光31との位相差φ(X、Y)は、次式(7)で表される。
φ(X、Y)=arctan{I_4(X、Y)-I_2(X、Y)}/{I_1(X、Y)-I_3(X、Y)}・・・(7)
つまり、位相差φ(X、Y)は、第1干渉縞画像34A~第4干渉縞画像34Dの干渉縞33の強度I_1(X、Y)~I_4(X、Y)を用いた単純な計算から求めることができる。こうして求めた位相差φ(X、Y)を、干渉縞画像34の画素に対応する画素の画素値とすることで、位相差φの二次元分布である位相差画像40が得られる。
図7に示すように、コヒーレント光23の照射方向Zに沿う細胞12の高さH(X、Y)は、次式(8)で表される。
H(X、Y)={λφ(X、Y)/4π}-h・・・(8)
なお、λはコヒーレント光23の波長であり、例えば640nmである。また、hは、ステージ21に載置される培養容器13の底面13Aから、細胞12が培養される培養容器13の培養面13Bまでの高さ(以下、単に培養面高さという)83(図9参照)である。このように、位相差φ(X、Y)等が分かれば、細胞12の高さH(X、Y)を求めることができる。なお、細胞12の高さH(X、Y)は、本開示の技術に係る「観察対象物体の形状」の一例である。
図8において、情報処理装置10を構成するコンピュータは、ストレージデバイス50、メモリ51、CPU(Central Processing Unit)52、通信部53、ディスプレイ54、および入力デバイス55を備えている。これらはバスライン56を介して相互接続されている。
ストレージデバイス50は、本開示の技術に係る「記憶部」の一例である。ストレージデバイス50は、情報処理装置10を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス50は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス50には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ51は、CPU52が処理を実行するためのワークメモリである。CPU52は、ストレージデバイス50に記憶されたプログラムをメモリ51へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。CPU52は、本開示の技術に係る「プロセッサ」の一例である。
通信部53は、LAN(Local Area Network)等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ54は各種画面を表示する。情報処理装置10を構成するコンピュータは、各種画面を通じて、入力デバイス55からの操作指示の入力を受け付ける。入力デバイス55は、キーボード、マウス、タッチパネル等である。
図9において、情報処理装置10のストレージデバイス50には、作動プログラム60が記憶されている。作動プログラム60は、コンピュータを情報処理装置10として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム60は、本開示の技術に係る「情報処理装置の作動プログラム」の一例である。ストレージデバイス50には、干渉縞画像34、形状プロファイルテーブル61、培養面高さテーブル62、および細胞12の高さH(X、Y)の算出結果(以下、高さ算出結果という)63も記憶される。
作動プログラム60が起動されると、情報処理装置10を構成するコンピュータのCPU52は、メモリ51等と協働して、リードライト(以下、RW(Read Write)と略す)制御部70、取得部71、処理部72、および表示制御部73として機能する。
RW制御部70は、ストレージデバイス50への各種データの記憶、およびストレージデバイス50内の各種データの読み出しを制御する。例えば、RW制御部70は、計測装置11からの干渉縞画像34を受け取り、ストレージデバイス50に記憶する。また、RW制御部70は、干渉縞画像34をストレージデバイス50から読み出し、処理部72に出力する。
取得部71は、入力デバイス55を介してユーザにより入力される、物体関連情報80と培養面高さ関連情報81を取得する。物体関連情報80は、観察対象物体である細胞12に関する情報である。培養面高さ関連情報81は、培養面高さ83に関する情報である。取得部71は、物体関連情報80と培養面高さ関連情報81をRW制御部70に出力する。
RW制御部70は、取得部71からの物体関連情報80に対応した形状プロファイル82を、ストレージデバイス50の形状プロファイルテーブル61から読み出す。つまり、RW制御部70は、本開示の技術に係る「読み出し部」の一例である。RW制御部70は、形状プロファイル82を処理部72に出力する。
また、RW制御部70は、取得部71からの培養面高さ関連情報81に対応した培養面高さ83を、ストレージデバイス50の培養面高さテーブル62から読み出す。RW制御部70は、培養面高さ83を処理部72に出力する。
処理部72は、干渉縞画像34、形状プロファイル82、および培養面高さ83に基づいて、細胞12の高さH(X、Y)を算出する。処理部72は、高さ算出結果63をRW制御部70に出力する。
RW制御部70は、処理部72からの高さ算出結果63をストレージデバイス50に記憶する。また、RW制御部70は、高さ算出結果63をストレージデバイス50から読み出し、表示制御部73に出力する。
表示制御部73は、ディスプレイ54への各種画面の表示を制御する。各種画面には、物体関連情報80と培養面高さ関連情報81を入力する画面である情報入力画面90(図10参照)、高さ算出結果63を表示する画面である計測結果表示画面130(図18参照)等が含まれる。
図10に示すように、情報入力画面90には、3つのプルダウンメニュー91、92、および93が設けられている。プルダウンメニュー91は、物体関連情報80として、細胞12の種類を選択入力するためのGUI(Graphical User Interface)である。プルダウンメニュー92は、物体関連情報80として、培養日数を選択入力するためのGUIである。プルダウンメニュー93は、培養面高さ関連情報81として、培養容器13の種類を選択入力するためのGUIである。なお、培養日数は、本開示の技術に係る「培養条件」の一例である。
ユーザは、プルダウンメニュー91~93を操作して所望の選択肢を選択し、OKボタン94を選択する。これにより、物体関連情報80と培養面高さ関連情報81が取得部71において取得される。なお、図10では、細胞12の種類にA細胞、培養日数に1日目、培養容器13の種類にA容器がそれぞれ選択入力された場合を例示している。
図11において、形状プロファイルテーブル61には、細胞12の種類と培養日数毎に、形状プロファイル82が登録されている。すなわち、形状プロファイルテーブル61には、物体関連情報80と形状プロファイル82とが関連付けて記憶されている。形状プロファイル82は、当該培養日数、当該種類の細胞12が培養された場合に想定される細胞12の典型的な形状を示すデータである。より詳しくは、形状プロファイル82は、細胞12の高さを含む三次元的なサイズを示すデータである。例えば形状プロファイル82には、細胞12の最大高さ、細胞12のX方向およびY方向の幅、細胞12に凹みがある場合はその深さと幅等、細胞12の三次元的なサイズに関する数値が含まれる。
例えばヒトの赤血球の場合は中央部分が数μm凹んでいる、間葉系幹細胞の場合は核の領域が10μm程度と厚く、細胞質の領域が数μm程度と薄い等、細胞12の種類によってその形状は異なる。また、培養日数といった培養条件が異なれば、細胞12の形状も当然ながら異なってくる。形状プロファイル82は、こうした細胞12の形状の特徴を表したデータである。
図12において、培養面高さテーブル62には、培養容器13の種類毎に、培養面高さ83が登録されている。
図13において、処理部72は、位相差画像生成部100、位相接続部101、および高さ算出部102を有する。位相差画像生成部100は、位相差画像40を生成する。位相接続部101は、位相差画像40に対して位相接続を施す。高さ算出部102は、位相接続後の位相差画像40P(図14参照)に基づいて、細胞12の高さH(X、Y)を算出する。
図14に示すように、位相差画像生成部100には、第1干渉縞画像34A~第4干渉縞画像34Dが入力される。位相差画像生成部100は、図6で示したように、第1干渉縞画像34A~第4干渉縞画像34Dから位相差画像40を生成する。位相差画像生成部100は、位相差画像40を位相接続部101に出力する。
位相差画像40の画素値である位相差φ(X、Y)は、式(7)で示したようにarctanの関数である。このため、位相差φ(X、Y)は、位相差画像40のある行Ysにおける位相差φ(X、Ys)のグラフに示すように、-π~πの範囲に折り畳まれて求められ、所々で±2π程度の位相とびが生じている。位相接続部101は、こうした位相とびがある位相差φ(X、Y)を繋ぎ合わせる位相接続を、位相差画像40に対して施す。この際、位相接続部101は、形状プロファイル82を参照する。位相接続部101は、位相接続後の位相差画像40Pを高さ算出部102に出力する。
図15に示すように、位相接続部101は、原理的には以下のようにして位相接続を行う。図15では、位相差画像40の各画素110において、位相接続を開始する画素110Sの画素値である位相差φSを基準として、X方向に沿う経路111を辿った先の画素110Eの位相差φEを求める場合を例に説明する。この場合、画素110Eの位相差φEは、画素110Sの位相差φSと、画素110S以外の、経路111で繋がれた隣接する2つの画素110の位相差φの差分Δφの総和とを加算することで得られる。すなわち、画素110Eの位相差φEは、次式(9)で表される。
φE=φS+ΣΔφ・・・(9)
ただし、Δφは、経路111で繋がれた隣接する2つの画素110のうちの画素110S側の画素110の位相差をφi、画素110E側の画素110の位相差をφjとした場合、φj-φiの値によって、次式(10)、(11)、(12)のように変化する。すなわち、
-π<φj-φi≦πの場合、Δφ=φj-φi・・・(10)
φj-φi≦-πの場合、Δφ=φj-φi+2π・・・(11)
φj-φi>πの場合、Δφ=φj-φi-2π・・・(12)
式(10)の場合は、経路111で繋がれた隣接する2つの画素110において位相とびが生じていない。このため、φj-φiをそのままΔφとして採用する。対して式(11)、(12)の場合は、経路111で繋がれた隣接する2つの画素110において位相とびが生じている。このため、φj-φiに2πを加算または減算する。
このように、位相接続は、経路111で繋がれた隣接する2つの画素110の位相差φの差分Δφを次々と加算していく処理である。このため、経路111の途中でΔφの算出を誤ると、位相差φEの算出結果に影響を及ぼす。したがって、実際には、位相接続部101は、図15で示した直線的な経路111ではなく、図16に示すように、Δφの算出を誤る可能性がある箇所120を避けた経路111を選択する。こうした位相接続の最適な経路を選択する方法としては、例えば最小全域木(MST;Minimum Spanning Tree)法が用いられる。
図17において、高さ算出部102は、位相接続部101からの位相接続後の位相差画像40P、および培養面高さ83に基づいて、細胞12の高さH(X、Y)を算出する。高さ算出部102は、高さ算出結果63をRW制御部70に出力する。
図18に示すように、計測結果表示画面130には、情報表示領域131と計測結果表示領域132とが設けられている。情報表示領域131には、情報入力画面90を通じて入力された細胞12の種類、培養日数、および培養容器13の種類が表示される。計測結果表示領域132には、細胞12の高さH(X、Y)の三次元カラーマップ133が表示される。三次元カラーマップ133は、細胞12の形状を三次元的に表し、高さH(X、Y)が同じ箇所に同じ色を付したものである。三次元カラーマップ133の高さH(X、Y)のゼロ点は、培養容器13の培養面13Bである。計測結果表示画面130は、確認ボタン134が選択された場合に表示が消える。
次に、上記構成による作用について、図19のフローチャートを参照して説明する。情報処理装置10において作動プログラム60が起動されると、図9で示したように、情報処理装置10のCPU52は、RW制御部70、取得部71、処理部72、および表示制御部73として機能される。
まず、図10で示した情報入力画面90を通じて、ユーザにより入力された物体関連情報80と培養面高さ関連情報81が、取得部71において取得される(ステップST100)。本例においては、物体関連情報80は、細胞12の種類と培養日数である。また、培養面高さ関連情報81は、培養容器13の種類である。物体関連情報80および培養面高さ関連情報81は、取得部71からRW制御部70に出力される。なお、ステップST100は、本開示の技術に係る「取得ステップ」の一例である。
RW制御部70によって、取得部71からの物体関連情報80に対応した形状プロファイル82が、ストレージデバイス50の形状プロファイルテーブル61から読み出される。同様に、RW制御部70によって、取得部71からの培養面高さ関連情報81に対応した培養面高さ83が、ストレージデバイス50の培養面高さテーブル62から読み出される(ステップST110)。形状プロファイル82および培養面高さ83は、RW制御部70から処理部72に出力される。なお、ステップST110は、本開示の技術に係る「読み出しステップ」の一例である。
計測装置11においては、図5で示したように、物体光30と透過光31の光路差がπ/2ずつシフトされ、その都度、撮像素子22から第1干渉縞画像34A~第4干渉縞画像34Dが出力される。第1干渉縞画像34A~第4干渉縞画像34Dは、計測装置11から情報処理装置10に送信され、RW制御部70によりストレージデバイス50に記憶される(ステップST120)。
RW制御部70によって、第1干渉縞画像34A~第4干渉縞画像34Dがストレージデバイス50から読み出され、処理部72に出力される(ステップST130)。処理部72では、図14で示したように、位相差画像生成部100によって、第1干渉縞画像34A~第4干渉縞画像34Dから、位相差画像40が生成される(ステップST140)。位相差画像40は、位相差画像生成部100から位相接続部101に出力される。
図14~図16で示したように、位相接続部101によって、形状プロファイル82が参照されつつ、位相差画像40に対して位相接続が施される(ステップST150)。位相接続後の位相差画像40Pは、位相接続部101から高さ算出部102に出力される。なお、ステップST150は、本開示の技術に係る「位相接続ステップ」の一例である。
図17で示したように、高さ算出部102によって、位相差画像40Pおよび培養面高さ83に基づいて、細胞12の高さH(X、Y)が算出される(ステップST160)。高さ算出結果63は、高さ算出部102からRW制御部70に出力され、RW制御部70によってストレージデバイス50に記憶される。
RW制御部70によって、高さ算出結果63がストレージデバイス50から読み出され、表示制御部73に出力される。そして、表示制御部73によって、図18で示した計測結果表示画面130がディスプレイ54に表示され、高さ算出結果63を示す三次元カラーマップ133がユーザの閲覧に供される(ステップST170)。
以上説明したように、情報処理装置10のCPU52の取得部71は、観察対象物体である細胞12に関する物体関連情報80を取得する。RW制御部70は、取得した物体関連情報80に対応した形状プロファイル82を、ストレージデバイス50の形状プロファイルテーブル61から読み出す。処理部72の位相接続部101は、細胞12の高さH(X、Y)を求めるに先立ち、読み出した形状プロファイル82を参照して、位相差画像40に対して位相接続を施す。このため、従来の特開2006-284186号公報のように、細胞12のおおよその形状を計測するための特別な機構を必要とせず、かつ、余計な計測時間を掛けることなく、位相接続の処理時間を短縮することが可能となる。
図20は、位相接続の処理時間を短縮することが可能、という本開示の技術の効果を説明するための図である。まず、図20Aに示すように、形状プロファイル82を参照しない場合、位相接続部101は、Δφの算出および経路111の選択に関わる処理1~処理Mを、何の指針もなく網羅的に実施しなければならない。対して図20Bに示すように、本開示の技術では、形状プロファイル82を参照することで、位相接続部101は、Δφの算出および経路111の選択に関わる処理1~処理Mのうちの一部の処理、例えば処理1~処理3を実施するだけで済む。あるいは図20Cに示すように、位相接続部101は、形状プロファイル82に応じて処理の優先順位を決める。そして、優先順位にしたがって処理を実施し、上位の処理、例えば1位~3位の処理1~処理3を実施した時点で、位相接続が満足のいく結果となったので、位相接続を終了する。このため、位相接続の処理時間を短縮することが可能となる。
CPU52は、細胞12の高さ算出結果63を表示する制御を行う。このため、高さ算出結果63をユーザに知らしめることができる。
細胞培養の分野は、iPS(Induced Pluripotent Stem)細胞等の出現により、最近脚光を浴びている。このため、培養中の細胞12を詳細に解析する技術が要望されている。本開示の技術では、観察対象物体を培養中の細胞12としている。したがって、本開示の技術は、最近の要望に応えることができる技術であるといえる。
CPU52は、培養面高さ83に関する培養面高さ関連情報81を取得する。このため、細胞12の高さH(X、Y)の基準を培養面13Bに定めることができ、細胞12の高さH(X、Y)をより正確に算出することができる。
物体関連情報80は、細胞12の種類および細胞の培養条件である。このため、細胞12の種類および細胞の培養条件に見合った形状プロファイル82を得ることができる。
なお、物体関連情報に含める細胞の培養条件は、例示した培養日数に限らない。図21に示す物体関連情報140のように、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度を含んでいてもよい。培地は細胞12の成長に必要な栄養素を与えるため、培地の種類は細胞12の成長を左右する重要なパラメータである。培養環境の温度、および二酸化炭素濃度も、値によって細胞12の成長を促進したり阻害したりするため、重要なパラメータである。培養日数も、言うまでもなく細胞12の形状に関わる重要なパラメータである。このため、培養日数、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度を培養条件に含めておけば、より詳細かつ正確な形状プロファイル82を得ることができる。なお、この場合、形状プロファイルテーブルの項目にも、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度が追加される。
物体関連情報に含める細胞の培養条件は、上記で例示した培養日数、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度のうちの少なくともいずれか1つを含んでいればよい。また、これらの他に、培養液の種類、pH、浸透圧、培養環境の酸素濃度等をさらに加えてもよい。
培養面高さ関連情報81は、培養容器13の型番等でもよい。また、培養面高さ関連情報81は、培養面高さ83そのものでもよい。この場合、培養面高さテーブル62は不要である。
[第2実施形態]
上記第1実施形態では、位相差画像40の全体に対して位相接続を施す例を示したが、これに限らない。図22に示す第2実施形態のように、細胞12の存在領域151に対して選択的に位相接続を施してもよい。
図22において、第2実施形態の情報処理装置10のCPU52は、上記の各部70~73、100~102に加えて、領域抽出部150として機能する。領域抽出部150は、干渉縞画像34から細胞12の存在領域151を抽出する。領域抽出部150は、例えば、干渉縞画像34に映る干渉縞33の中心CPを中心とする、予め定められたサイズの正方形状の領域を、細胞12の存在領域151として抽出する。領域抽出部150は、存在領域151の座標情報を位相接続部101に出力する。位相接続部101は、存在領域151に対応する位相差画像40の領域に対して選択的に位相接続を施す。
このように、第2実施形態では、領域抽出部150は、干渉縞画像34から細胞12の存在領域151を抽出し、位相接続部101は、存在領域151に対して選択的に位相接続を施す。このため、位相接続の処理時間をさらに短縮することができる。
[第3実施形態]
上記第1実施形態では、高さ算出結果63の表示方法として三次元カラーマップ133を例示したが、これに限らない。図23~図25に示す第3実施形態のように、細胞12の任意の断層面166を表す再生画像161に、高さ算出結果63を重畳表示してもよい。
図23において、第3実施形態の情報処理装置10のCPU52は、上記の各部70~73、100~102に加えて、生成部160として機能する。生成部160は、例えばフーリエ反復位相回復法による演算処理等の周知の演算処理を用いて、干渉縞画像34から再生画像161を生成する。生成部160は、再生画像161を表示制御部73に出力する。
図24に、生成部160による演算処理の概要を示す。生成部160は、まず、干渉縞画像34から再生画像群165を生成する。再生画像群165は、複数枚の再生画像161の集まりである。これら複数枚の再生画像161はそれぞれ、Z方向に沿う細胞12および培養容器13の高さ(厚み)方向に、等間隔で並んだ各断層面166を表す画像である。
生成部160は、再生画像群165の複数枚の再生画像161の中から、最もピントが合った1枚の再生画像161を選択する。生成部160は、選択した再生画像161を表示制御部73に出力する。なお、最もピントが合った再生画像161を選択する方法としては、複数枚の再生画像161のそれぞれのコントラスト値を算出し、コントラスト値が最も高い再生画像161を、最もピントが合った再生画像161として選択する方法等を採用することができる。
図25に示すように、第3実施形態の計測結果表示画面170の計測結果表示領域132には、三次元カラーマップ133の代わりに、再生画像161が表示される。そして、再生画像161には、細胞12の高さH(X、Y)に応じた色が付されている。つまり、再生画像161に高さ算出結果63が重畳表示されている。計測結果表示領域132には、細胞12の高さH(X、Y)と色の対応関係を示すカラーバー171が表示されている。
このように、第3実施形態では、生成部160は、干渉縞画像34から再生画像161を生成し、表示制御部73は、再生画像161に高さ算出結果63を重畳表示する。このためユーザは、再生画像161と併せて高さ算出結果63を確認することができ、細胞12の解析が捗る。
培養面高さ関連情報81は、必ずしも取得しなくてもよい。培養面高さ関連情報81を取得しない場合は、培養面高さ83を含めた高さH(X、Y)+hを、細胞12の高さとして算出する。
観察対象物体の形状は、例示のZ方向に沿う高さH(X、Y)に限らない。高さH(X、Y)に代えて、あるいは加えて、X方向およびY方向の幅であってもよい。
位相シフト法の例として4ステップ法を挙げたが、これに限らない。3ステップ法、5ステップ法、7ステップ法等を用いてもよい。また、位相シフト法にも限らない。照明光を白色光とし、対物レンズをZ方向に移動させつつ、複数枚の干渉縞画像34を撮像する垂直走査法を用いてもよい。また、参照光の参照面を傾斜させてキャリア縞を生じさせる方法を用いてもよい。
観察対象物体は例示の細胞12に限らない。細菌、ウイルス等を観察対象物体としてもよい。また、物体光は、観察対象物体を透過した物体光30に限らず、観察対象物体を反射した物体光でもよい。さらに、光源20からのコヒーレント光23を、ビームスプリッタ等を用いて物体光用と参照光用とに分光してもよい。また、照明光はコヒーレント光23でなくてもよく、観察に耐え得る干渉縞33が生じるものであればよい。
情報処理装置10を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置10を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、RW制御部70、取得部71、および表示制御部73の機能と、処理部72の機能とを、2台のコンピュータに分散して担わせる。この場合は2台のコンピュータで情報処理装置10を構成する。
このように、情報処理装置10のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム60等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記各実施形態において、例えば、RW制御部70、取得部71、処理部72、表示制御部73、位相差画像生成部100、位相接続部101、高さ算出部102、領域抽出部150、および生成部160といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム60)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU52に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 観察対象物体によって回折された照明光である物体光と、前記観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、前記物体光と前記参照光との位相差の二次元分布である位相差画像を求め、前記位相差画像に基づいて、前記観察対象物体の形状を求める処理を行う情報処理装置において、
    少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    前記観察対象物体に関する物体関連情報を取得し、
    前記物体関連情報と、前記観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、取得した前記物体関連情報に対応した前記形状プロファイルを読み出し、
    読み出した前記形状プロファイルを参照して、前記位相差画像に対して位相接続を施す、
    情報処理装置。
  2. 前記プロセッサは、
    前記干渉縞画像から前記観察対象物体の存在領域を抽出し、
    前記存在領域に対して選択的に前記位相接続を施す請求項1に記載の情報処理装置。
  3. 前記プロセッサは、前記観察対象物体の形状の算出結果を表示する制御を行う請求項1または請求項2に記載の情報処理装置。
  4. 前記プロセッサは、
    前記干渉縞画像から、前記観察対象物体の任意の断層面を表す再生画像を生成し、
    前記再生画像に前記観察対象物体の形状の算出結果を重畳表示する請求項3に記載の情報処理装置。
  5. 前記観察対象物体の形状は、前記照明光の照射方向に沿う前記観察対象物体の高さである請求項1から請求項4のいずれか1項に記載の情報処理装置。
  6. 前記観察対象物体は培養中の細胞である請求項1から請求項5のいずれか1項に記載の情報処理装置。
  7. 前記プロセッサは、前記細胞の培養容器の底面から培養面までの高さに関する培養面高さ関連情報を取得する請求項6に記載の情報処理装置。
  8. 前記物体関連情報は、前記細胞の種類および前記細胞の培養条件である請求項6または請求項7に記載の情報処理装置。
  9. 前記培養条件は、培養日数、培地の種類、培養環境の温度、および培養環境の二酸化炭素濃度のうちの少なくともいずれか1つを含む請求項8に記載の情報処理装置。
  10. 観察対象物体によって回折された照明光である物体光と、前記観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、前記物体光と前記参照光との位相差の二次元分布である位相差画像を求め、前記位相差画像に基づいて、前記観察対象物体の形状を求める処理を行う情報処理装置の作動方法において、
    前記観察対象物体に関する物体関連情報を取得する取得ステップと、
    前記物体関連情報と、前記観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、前記取得ステップにおいて取得した前記物体関連情報に対応した前記形状プロファイルを読み出す読み出しステップと、
    前記読み出しステップにおいて読み出した前記形状プロファイルを参照して、前記位相差画像に対して位相接続を施す位相接続ステップと、
    を備える情報処理装置の作動方法。
  11. 観察対象物体によって回折された照明光である物体光と、前記観察対象物体を経ない参照光との干渉縞の強度の二次元分布である干渉縞画像から、前記物体光と前記参照光との位相差の二次元分布である位相差画像を求め、前記位相差画像に基づいて、前記観察対象物体の形状を求める処理を行う情報処理装置の作動プログラムにおいて、
    前記観察対象物体に関する物体関連情報を取得する取得部と、
    前記物体関連情報と、前記観察対象物体の形状を示す形状プロファイルとが関連付けて記憶された記憶部から、前記取得部において取得した前記物体関連情報に対応した前記形状プロファイルを読み出す読み出し部と、
    前記読み出し部において読み出した前記形状プロファイルを参照して、前記位相差画像に対して位相接続を施す位相接続部として、
    コンピュータを機能させる情報処理装置の作動プログラム。
JP2021570647A 2020-01-17 2020-10-12 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム Active JP7268205B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020006381 2020-01-17
JP2020006381 2020-01-17
PCT/JP2020/038539 WO2021145035A1 (ja) 2020-01-17 2020-10-12 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
JPWO2021145035A1 JPWO2021145035A1 (ja) 2021-07-22
JP7268205B2 true JP7268205B2 (ja) 2023-05-02

Family

ID=76864123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570647A Active JP7268205B2 (ja) 2020-01-17 2020-10-12 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20220341727A1 (ja)
EP (1) EP4092376A4 (ja)
JP (1) JP7268205B2 (ja)
WO (1) WO2021145035A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284186A (ja) 2005-03-31 2006-10-19 Lasertec Corp 測定装置及び測定方法
JP2015102532A (ja) 2013-11-28 2015-06-04 オリンパス株式会社 三次元形状測定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005021034B4 (de) * 2005-05-06 2012-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Kultivierung einer Zellkultur in einem automatisierten Zellkultursystem sowie automatisiertes Zellkultursystem
JP4867236B2 (ja) * 2005-08-24 2012-02-01 マツダ株式会社 塗布状態の検出装置
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method
JP6695746B2 (ja) * 2016-06-27 2020-05-20 株式会社キーエンス 測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284186A (ja) 2005-03-31 2006-10-19 Lasertec Corp 測定装置及び測定方法
JP2015102532A (ja) 2013-11-28 2015-06-04 オリンパス株式会社 三次元形状測定装置

Also Published As

Publication number Publication date
EP4092376A1 (en) 2022-11-23
WO2021145035A1 (ja) 2021-07-22
EP4092376A4 (en) 2023-06-21
JPWO2021145035A1 (ja) 2021-07-22
US20220341727A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
EP2527928A1 (en) Generation method for complex amplitude in-line hologram and image recording device using said method
JP6860064B2 (ja) 細胞観察装置
Rothberg Numerical simulation of speckle noise in laser vibrometry
JP2008122565A (ja) ホログラフィによる画像記録装置および画像記録方法
JP2006105983A (ja) 物体の形状測定方法および装置
JP2013231716A (ja) 干渉測定法およびデジタルホログラフィ顕微鏡
US20210240134A1 (en) Holographic reconstruction apparatus and method
JP2005283683A (ja) デジタルホログラフィ装置及びデジタルホログラフィを用いた像再生方法
JP2010521701A (ja) 矯正視界を有する三次元シーンを再構成する方法、及び装置
KR102345277B1 (ko) 삼차원 계측장치
JP7268205B2 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
KR20190137733A (ko) 결함 검출 방법 및 장치
JP2014021128A (ja) 断層映像生成方法及び断層映像生成装置
JP6950813B2 (ja) 細胞観察装置
JP2015518582A (ja) 顕微鏡の稼働時に実施する方法および顕微鏡
Xu et al. Radial Hilbert transform for phase retrieval using two-wavelength three-frame phase-shifting interferometry
Kulkarni et al. Three-dimensional displacement measurement from phase signals embedded in a frame in digital holographic interferometry
JP6760477B2 (ja) 細胞観察装置
JP6014449B2 (ja) レーザー走査顕微鏡装置
JP6629649B2 (ja) 観察装置および観察方法
Rodrigo et al. Wavefield imaging via iterative retrieval based on phase modulation diversity
JP2018072111A (ja) 光画像計測装置、光画像計測方法
Lobera et al. Tilted illumination in-line holographic velocimetry: Improvements in the axial spatial resolution
WO2019043953A1 (ja) 細胞観察装置
JP6632327B2 (ja) 画像生成方法、画像生成装置、画像生成プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7268205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150