JP6886306B2 - 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム - Google Patents

位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム Download PDF

Info

Publication number
JP6886306B2
JP6886306B2 JP2017017994A JP2017017994A JP6886306B2 JP 6886306 B2 JP6886306 B2 JP 6886306B2 JP 2017017994 A JP2017017994 A JP 2017017994A JP 2017017994 A JP2017017994 A JP 2017017994A JP 6886306 B2 JP6886306 B2 JP 6886306B2
Authority
JP
Japan
Prior art keywords
phase
region
phase distribution
axis direction
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017017994A
Other languages
English (en)
Other versions
JP2018124215A (ja
Inventor
石渡　裕
裕 石渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017017994A priority Critical patent/JP6886306B2/ja
Priority to US15/863,153 priority patent/US10775603B2/en
Publication of JP2018124215A publication Critical patent/JP2018124215A/ja
Application granted granted Critical
Publication of JP6886306B2 publication Critical patent/JP6886306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラムに関する。
従来から、位相差顕微鏡や微分干渉顕微鏡などを用いて生体細胞等の位相物体の位相分布を算出して位相物体を可視化することで、位相物体を観察する技術が知られている。また、位相物体内での光の散乱による位相量の減衰分を補償することで、位相分布を高い精度で算出する技術も知られている。このような技術は、例えば、特許文献１に記載されている。
特開２００１−２７２６０３号公報
細胞が立体的な集合体を形成したスフェロイドやコロニーなどのような比較的大きな位相物体を観察対象物とする場合、減衰した位相量を補償する技術は特に効果的であり、当該技術の更なる改善が求められている。
以上のような実情を踏まえ、本発明の一側面に係る目的は、位相物体の位相分布を高精度に算出する技術を提供することである。
本発明の一態様に係る位相分布算出方法は、位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正し、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係る位相分布算出方法は、位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正し、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の一態様に係る評価方法は、上記態様に記載の位相分布算出方法で前記第１の位相分布を補正することで第２の位相分布を算出し、前記第２の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記３次元領域中から第１の比較対象領域を特定し、前記第２の位相分布と前記第１の閾値よりも小さな位相量である第２の閾値とに基づいて、前記３次元領域中から第２の比較対象領域を特定し、前記第１の比較対象領域と前記第２の比較対象領域の比較結果に基づいて、前記位相物体を評価する。
本発明の一態様に係る画像処理装置は、顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記画像処理装置は、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の一態様に係る画像処理システムは、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、前記画像処理装置は、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の一態様に係るプログラムは、顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、前記画像処理装置を、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出する手段、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正する手段、として機能させ、前記第１の位相分布を補正する手段は、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定する手段と、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、前記減衰特性を算出する手段は、前記物体領域と前記注目領域との面積比率を算出する手段と、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む。
本発明の別の態様に係る画像処理装置は、顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記画像処理装置は、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係る画像処理システムは、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、前記画像処理装置は、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、前記第１の位相分布を補正することは、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記３次元領域中から選択された計測領域前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係るプログラムは、顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、前記画像処理装置を、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出する手段、前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正する手段、として機能させ、前記第１の位相分布を補正する手段は、前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定する手段と、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、前記減衰特性を算出する手段は、前記計測領域と前記注目領域との面積比率を算出する手段と、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む。
上記の態様によれば、位相物体の位相分布を高精度に算出することができる。
画像処理システム１００の構成を例示した図である。 顕微鏡装置２０の構成を例示した図である。 画像処理装置３０の構成を例示した図である。 補正位相分布算出処理のフローチャートの一例である。 画像取得処理のフローチャートの一例である。 位相分布算出処理のフローチャートの一例である。 位相物体を側面から見た図である。 撮像領域Ｐ１の位相量のヒストグラムである。 撮像領域Ｐ２の位相量のヒストグラムである。 位相分布補正処理のフローチャートの一例である。 補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した図である。 補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。 補正後における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。 位相分布補正処理のフローチャートの別の例である。 位相分布補正処理のフローチャートの更に別の例である。 位相物体評価処理のフローチャートの一例である。 位相物体評価処理のフローチャートの別の例である。
［第１の実施形態］
図１は、画像処理システム１００の構成を例示した図である。図２は、顕微鏡装置２０の構成を例示した図である。図３は、画像処理装置３０の構成を例示した図である。図１から図３を参照しながら、画像処理システム１００の構成について説明する。
本実施形態に係る画像処理システム１００は、生体細胞等の位相物体の画像を取得し、取得した画像を処理することで、位相物体を可視化し評価するシステムである。画像処理システム１００は、図１に示すように、顕微鏡装置２０と、顕微鏡装置２０で取得した画像を処理する画像処理装置３０と、画像処理装置３０で処理された画像を表示する表示装置４０と、入力装置（キーボード５１、マウス５２）を備えている。
顕微鏡装置２０は、図１に示すように、位相物体であるサンプルＳの画像を取得する顕微鏡本体１と、顕微鏡本体１を制御する制御装置１４と、を備えている。顕微鏡本体１は、図２に示すように、位相分布を像強度分布に変換する光学系１ａと、光学系１ａに含まれている光学素子を動かす複数の駆動装置（駆動装置１５、１６、１７、１８）と、撮像装置１３を備えている。制御装置１４は、顕微鏡本体１と一体的に構成されてもよく、顕微鏡本体１とは別体であってもよい。
光学系１ａは、照明系と、ステージ８と、検出系を備えている。照明系には、光源２と、レンズ３と、視野絞り４と、像コントラスト変化ユニット５と、ノマルスキープリズム６と、コンデンサレンズ７が含まれる。像コントラスト変化ユニット５は、偏光子５ａとλ／４板５ｂを有している。検出系には、対物レンズ９、ノマルスキープリズム１０、検光子１１、及び結像レンズ１２が含まれる。撮像装置１３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサを備えるカメラである。複数の駆動装置は、例えば、ステッピングモータなどのモータである。
光源２から出射した光は、レンズ３及び視野絞り４を介して入射する偏光子５ａで直線偏光に変換され、λ／４板５ｂで円偏光又は楕円偏光に変換される。その後、光はノマルスキープリズム６で常光線と異常光線とに分離されて、コンデンサレンズ７によりステージ８上に配置されたサンプルＳに照射される。サンプルＳを透過した常光線と異常光線は、対物レンズ９を介して入射するノマルスキープリズム１０で合成される。合成された光は、検光子１１を介して入射した結像レンズ１２によってＣＣＤカメラ１３の受光面に集光し、サンプルＳの微分干渉像を形成する。このようにして微分干渉像が得られる。
常光線と異常光線は、サンプルＳにおいてわずかに異なる位置に入射する。この位置ずれ量をシアー量といい、位置ずれの方向をシアー方向という。駆動装置１６、駆動装置１８は、ノマルスキープリズム６、ノマルスキープリズム１０を回転させる装置である。制御装置１４が駆動装置１６及び駆動装置１８を制御することで、顕微鏡装置２０は、シアー方向の異なる微分干渉像を得ることができる。
異なる位置からサンプルＳに入射した常光線と異常光線は、サンプルＳの厚みや屈折率が異なる位置を通過することになる。このため、常光線と異常光線の間の光路長差によってノマルスキープリズム１０で合成された光に位相差が生じる。この位相差はリターデーションともいう。駆動装置１５は、偏光子５ａを回転させる装置である。制御装置１４が駆動装置１５を制御することで、顕微鏡装置２０は、ノマルスキープリズム６へ入射した時点における光の位相差（リタデーション）を変更することができる。これにより、撮像装置１３へ入射した時点における光の位相差（リタデーション）も変化するため、微分干渉像の像コントラストを変更することができる。
駆動装置１７は、ステージ８を光学系１ａの光軸方向に移動させる装置である。制御装置１４が駆動装置１７を制御することで、顕微鏡装置２０は、光学系１ａの焦点位置を光学系１ａの光軸方向に異なるサンプルＳ内の複数の位置に順次移動させて、それら複数の位置の各々で光学系１ａを介して微分干渉像を取得することができる。
画像処理装置３０は、例えば、標準的なコンピュータである。画像処理装置３０は、図３に示すように、プロセッサ３１、メモリ３２、入出力インターフェース３３、ストレージ３４、及び、可搬記録媒体３６が挿入される可搬記録媒体駆動装置３５を備え、これらがバス３７によって相互に接続されている。
プロセッサ３１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などであり、プログラムを実行してプログラムされた処理、例えば、後述する補正位相分布算出処理、位相物体評価処理などを行う。メモリ３２は、例えば、ＲＡＭ（Random Access Memory）であり、プログラムの実行の際に、ストレージ３４または可搬記録媒体３６に記録されているプログラムまたはデータを一時的に記憶する。
入出力インターフェース３３は、画像処理装置３０以外の装置（例えば、顕微鏡装置２０、表示装置４０、キーボード５１、マウス５２など）と信号をやり取りする回路である。ストレージ３４は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記録に用いられる。可搬記録媒体駆動装置３５は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体３６を収容するものである。可搬記録媒体３６は、ストレージ３４を補助する役割を有する。ストレージ３４及び可搬記録媒体３６は、それぞれプログラムを記録した非一過性のコンピュータ読取可能媒体の一例である。
なお、図３に示す構成は、画像処理装置３０のハードウェア構成の一例であり、画像処理装置３０はこの構成に限定されるものではない。画像処理装置３０は、汎用装置ではなく専用装置であってもよい。画像処理装置３０は、プログラムを実行するプロセッサの代わりに又は加えて、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電気回路を備えてもよく、それらの電気回路により、後述する処理が行われてもよい。
表示装置４０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイである。表示装置４０は、タッチパネルを備えてもよく、その場合、表示装置４０は、入力装置としても機能する。
図４は、補正位相分布算出処理のフローチャートの一例である。図５は、画像取得処理のフローチャートの一例である。図６は、位相分布算出処理のフローチャートの一例である。図７は、位相物体であるサンプルＳを側面から見た図である。図８Ａは、撮像領域Ｐ１の位相量のヒストグラムである。図８Ｂは、撮像領域Ｐ２の位相量のヒストグラムである。図９は、位相分布補正処理のフローチャートの一例である。図１０Ａは、補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した図である。図１０Ｂは、補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。図１０Ｃは、補正後における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。図４から図１０Ｃを参照しながら、画像処理システム１００で行われる処理について説明する。
図４に示す補正位相分布算出処理は、位相物体であるサンプルＳの位相分布を高精度に算出する処理であり、画像取得処理（ステップＳ１０）、位相分布算出処理（ステップＳ２０）、位相分布補正処理（ステップＳ３０）の３つの処理を含んでいる。なお、画像取得処理は、顕微鏡装置２０で行われ、位相分布算出処理及び位相分布補正処理は、画像処理装置３０で行われる。
画像処理システム１００は、補正位相分布算出処理を開始すると、顕微鏡装置２０で画像取得処理を行う（ステップＳ１０）。画像取得処理では、顕微鏡装置２０は、図５に示すように、まず、像コントラストの異なる複数の画像を取得する（ステップＳ１１）。
より詳細には、制御装置１４は、シアー方向が基準方向に対して４５°方向になるように、駆動装置１６、駆動装置１８にノマルスキープリズム６、ノマルスキープリズム１０を回転させる。その後、制御装置１４は、駆動装置１５に偏光板５ａを回転させることによりノマルスキープリズム６へ入射した時点でのリターデーションを±θ、０に順番に変化させて、撮像装置１３に像コントラストの異なる３枚の微分干渉画像I1(−θ)、I1(０)、I1(θ)を取得させる。さらに、制御装置１４は、シアー方向が基準方向に対して−４５°方向になるように、駆動装置１６、駆動装置１８にノマルスキープリズム６、ノマルスキープリズム１０を回転させる。その後、制御装置１４は、駆動装置１５に偏光板５ａを回転させることによりノマルスキープリズム６へ入射した時点でのリターデーションを±θ、０に順番に変化させて、撮像装置１３に再び像コントラストの異なる３枚の微分干渉画像I2(−θ)、I2(０)、I2(θ)を取得させる。撮像装置１３が取得した微分干渉画像は、画像処理装置３０へ送信され、画像処理装置３０のストレージ３４に格納される。
次に、顕微鏡装置２０は、光学系１ａの焦点位置を光軸方向に移動する（ステップＳ１２）。ここでは、制御装置１４が駆動装置１７にステージ８を光軸方向に所定距離Δｚだけ移動させることで、焦点位置が光軸方向に移動する。
焦点位置の移動が完了すると、顕微鏡装置２０は、移動後の焦点位置が位相分布を算出する所定の３次元領域内か否かを判定する（ステップＳ１３）。そして、顕微鏡装置２０は、焦点位置が所定の３次元領域外になるまで、ステップＳ１１からステップＳ１３の処理を繰り返し、その後、画像取得処理を終了する。これにより、顕微鏡装置２０によって、光学系１ａの焦点位置が光軸方向にΔｚずつ異なる位相物体Ｓ内の複数の位置に順次移動し、それら複数の位置の各々で光学系１ａを介して像コントラストの異なる複数の微分干渉画像が取得される。なお、所定の３次元領域は、位相分布を算出する対象とする領域として予め設定された領域である。
画像取得処理が終了すると、画像処理システム１００は、画像処理装置３０で位相分布算出処理を行う（ステップＳ２０）。位相分布算出処理では、画像処理装置３０は、図６に示すように、まず、同じ焦点位置で取得された複数の微分干渉画像をストレージ３４からメモリ３２へ読み出す（ステップＳ２１）。
次に、画像処理装置３０は、位相成分画像を生成する（ステップＳ２２）。ここでは、プロセッサ３１は、ステップＳ２１で読み出した取得した複数の微分干渉画像を用いて以下の演算を行うことで、規格化された位相成分画像をシアー方向毎に生成する。ここで、Def1、Def2は、規格化された位相成分画像である。
Def1=｛I1(θ)−I1(−θ)｝／｛I1(θ)＋I1(−θ)−I1(0)｝
Def2=｛I2(θ)−I2(−θ)｝／｛I2(θ)＋I2(−θ)−I2(0)｝
規格化された位相分布画像を形成することにより、位相物体内の吸収による強度変化の影響を小さくすることができる。
その後、画像処理装置３０は、規格化された位相成分画像Def1、Def2を空間周波数で分解する（ステップＳ２３）。ここでは、画像処理装置３０は、サイズの異なる複数のカーネルを用いることで、規格化された位相成分画像を、空間周波数が最も低い背景成分の画像と、サンプルＳ内部で屈折した光によって生成される屈折成分の画像と、サンプルＳ内部の構造で回折した光によって生成される空間周波数が最も高い構造成分の画像とに分解する。
より詳細には、プロセッサ３１は、規格化された位相成分画像Def1、Def2のそれぞれに対して、平均化領域（カーネルサイズ）が100x100の平均化フィルターで平均化処理を数回行い、背景成分の画像BG1、BG2を生成する。さらに、プロセッサ３１は、規格化された位相成分画像Def1、Def2のそれぞれから背景成分の画像BG1、BG2を差し引く。さらに、プロセッサ３１は、その結果得られた視野ムラなどの外乱が除去された画像(Def1−BG1)、(Def2−BG2)のそれぞれに対して、平均化領域（カーネルサイズ）が20x20の平均化フィルターで平均化処理を数回行い、屈折成分の画像GR1、GR2を生成する。さらに、プロセッサ３１は、規格化された位相成分画像Def1、Def2から背景成分の画像BG1、BG2と屈折成分の画像GR1、GR2を差し引き、構造成分の画像ST1(=Def1−BG1−GR1)、ST2(=Def2−BG2−GR2)を生成する。
空間周波数で分解されると、画像処理装置３０は、位相分布を算出する（ステップＳ２４）。ここでは、画像処理装置３０は、まず、構造成分の画像ST1、ST2に光学系１ａの合焦状態における光学伝達関数（OTF）を用いてデコンボリューション処理を行い、物体の微細構造を表す構造成分の位相分布PhS1、PhS2を算出する。その後、画像処理装置３０は、構造成分の位相分布PhS1、PhS2を合成して、新たな位相分布を算出する。
なお、構造成分の位相分布PhS1、PhS2は、同じ物体（サンプルＳ）に対して異なるシアー方向を設定して算出した構造成分の位相分布である。このため、それぞれのシアー方向に対して略垂直な構造に関する位相分布以外は類似している。この点を利用して、構造成分の位相分布PhS1、PhS2に例えば位相限定相関法を適用して２つの画像間の相対的な位置ずれ量（δx、δy）を算出してもよい。算出した相対的な位置ずれ量を用いて構造成分の位相分布PhS1、PhS2間の位置ずれを補正した後に合成し、位相分布を算出してもよい。
位相分布の算出が完了すると、画像処理装置３０は、プロセッサ３１から全ての焦点位置の微分干渉画像を読み出したか否かを判定する（ステップＳ２５）。全ての焦点位置の微分干渉画像が読み出されていない場合には、画像処理装置３０は、ステップＳ２１の焦点位置の次の焦点位置で取得された複数の微分干渉画像をストレージ３４からメモリ３２へ読み出す（ステップＳ２６）。
その後、画像処理装置３０は、全ての焦点位置の微分干渉画像が読み出されるまで、ステップＳ２２からステップＳ２６の処理を繰り返し、位相分布算出処理を終了する。これにより、画像処理装置３０によって、顕微鏡装置２０が光軸方向に異なる複数の位置で取得した複数の微分干渉画像に基づいて、複数の画像に対応する所定の３次元領域の位相分布が算出される。なお、以降では、図６に示す位相分布算出処理で算出された３次元領域の位相分布を第１の位相分布と記す。
ところで、図２に示す倒立型の顕微鏡装置で図７に示すサンプルＳの画像を取得する場合を例にすると、焦点位置Ｚ２で取得した画像は、サンプルＳの表面（底面）からより離れた位置で取得した画像であるので、焦点位置Ｚ１で取得した画像よりも光の散乱の影響を大きく受ける。このため、図６に示す位相分布算出処理で算出された第１の位相分布は、焦点位置Ｚ２において散乱の影響により焦点位置Ｚ１に比べて大きく減衰した位相量を示す。
位相物体であるサンプルＳが生体細胞等である場合、細胞内でミトコンドリアなどの細胞小器官は一様に分布しているとみなし得る。このため、図８Ａ及び図８Ｂに示すように、ヒストグラムＨ１の形状とヒストグラムＨ２の形状は、散乱による減衰の影響を受けることなく、また、サンプルＳの形状によらず、ほぼ相似になる。なお、ヒストグラムＨ１は、図７に示す焦点位置Ｚ１で取得した画像から算出される位相量のヒストグラムであり、ヒストグラムＨ２は、焦点位置Ｚ２で取得した画像から算出される位相量のヒストグラムである。一方、散乱による位相量の減衰は、両ヒストグラムの分布位置を異ならせる。なお、細胞に一様に分布するミトコンドリアなどの特定の構造に対応する位相量を閾値Ｔ１とするとき、このヒストグラムの分布位置の違いは、ヒストグラムに占める閾値Ｔ１以上の位相量の割合の違いとして算出することができる。
細胞による散乱は弱散乱であり、Lambert-Beer則に従って位相量（位相分布）が減衰することを考慮すると、閾値Ｔ１以上の位相量の割合の違いと焦点位置間の距離（図７に示す距離ｄ）に基づいて減衰特性を算出することが可能であり、これにより、散乱による減衰の影響を見積もることができる。このため、画像処理システム１００では、位相分布算出処理が終了すると、画像処理装置３０が、位相物体内での光の散乱による位相量の減衰分が補償されるように、第１の位相分布を補正する位相分布補正処理を行う（ステップＳ３０）。
位相分布補正処理では、画像処理装置３０は、図９に示すように、まず、所定の３次元領域から物体領域を特定する（ステップＳ３１）。なお、所定の３次元領域とは、顕微鏡装置２０で取得した複数の画像に対応する領域である。ここでは、プロセッサ３１は、位相分布算出処理で算出された第１の位相分布に基づいて、所定の３次元像領域中からサンプルＳが存在する物体領域を特定する。例えば、位相物体であるサンプルＳが存在しない領域では位相量が極めて小さな値となることを利用して、プロセッサ３１は、第１の位相分布から所定値以上の位相量を有する領域を抽出し、抽出した領域を物体領域と特定してもよい。
物体領域が特定されると、画像処理装置３０は、所定の３次元領域から注目領域を特定する（ステップＳ３２）。なお、注目領域とは、サンプルＳ中の特定の構造に対応する位相量である閾値Ｔ１以上の位相量を有する領域であり、例えば、サンプルＳ中のミトコンドリアに対応する位相量以上の位相量を有する領域である。閾値Ｔ１は、ステップＳ３１で用いる所定値よりも大きな位相量を示している。ここでは、プロセッサ３１は、位相分布算出処理で算出された第１の位相分布と閾値Ｔ１とに基づいて、注目領域を特定する。
物体領域と注目領域が特定されると、画像処理装置３０は、サンプルＳの減衰特性を算出する（ステップＳ３３）。ここでは、プロセッサ３１は、ステップＳ３２で特定した注目領域の光軸方向（深さ方向）の変化に基づいて、サンプルＳの減衰特性を算出する。より具体的には、プロセッサ３１は、まず、物体領域と注目領域との面積比率をサンプル底面からの距離毎に算出する。物体領域と注目領域との面積比率とは、物体領域に占める注目領域の割合であり、“注目領域の面積÷物体領域の面積”で算出される。その後、プロセッサ３１は、算出した面積比率の光軸方向の変化に基づいて、サンプルＳの減衰特性を算出する。なお、正立顕微鏡の場合には、基準面はサンプル底面ではなくサンプル上面となるため、サンプル上面からの距離毎に面積比率を算出すればよい。
図１０Ａの線Ｌ１は、サンプルＳの底面からの距離毎に算出した面積比率をプロットしたものである。なお、図１０Ａに示すサンプルＳの底面からの距離が小さいほど、図７に示すｚ位置も小さくなる。サンプルＳの底面から遠くなるほど、光の散乱の影響を大きく受けることになる。このため、底面からの距離によらず一定の割合で存在すると考えられる注目領域が、底面からの距離が長くなるほど小さくなり、その結果、線Ｌ１に示すように、面積比率が小さくなる。
サンプルＳでの散乱は弱散乱であり、Lambert-Beer則に従って位相量（位相分布）が減衰するため、深さ方向に距離ｄだけ異なる２点での位相量ΦＺ１、ΦＺ２は、下式（１）で表される関係を有する。なお、ｋは位相量に関するサンプルＳの減衰特性を示す係数（以降、位相減衰係数と記す。）である。
ΦＺ２＝ΦＺ１×ｅｘｐ（−ｋｄ） ・・・（１）
式（１）における位相量は、物体領域と注目領域との面積比率に置き換え可能である。このため、深さ方向に距離ｄだけ異なる２点での面積比率ＳＲＺ１、ＳＲＺ２は、下式（２）で表される関係を有する。
ＳＲＺ２＝ＳＲＺ１×ｅｘｐ（−ｋｄ） ・・・（２）
つまり、面積比率は、式（２）に示すように、サンプルＳの位相減衰係数ｋに応じて光軸方向に指数関数的に変化する。この特性を利用することで、プロセッサ３１は、位相減衰係数ｋを算出する。プロセッサ３１は、底面からの距離毎に算出した面積比率に対して、例えば、最小二乗法等を適用して式（２）に示す関係を有する近似関数を算出することで、位相減衰係数ｋを算出してもよい。なお、図１０Ａの線Ｌ２は、プロセッサ３１によって算出された近似関数を示している。
なお、式（１）、式（２）は、ｄが小さい場合には、指数関数を展開して下式のように近似することが可能である。
ΦＺ２＝ΦＺ１（１−ｋｄ） ・・・（１−１）
ＳＲＺ２＝ＳＲＺ１（１−ｋｄ） ・・・（２−１）
つまり、面積比率は、式（２−１）に示すように、局所的にはサンプルＳの位相減衰係数ｋに応じて光軸方向に直線的に変化するとみなすことができる。図１０Ｂは、図１０Ａに示す拡大範囲を拡大した図であり、図１０Ｂでは、線Ｌ２がおよそ直線で表されている。
最後に、画像処理装置３０は、減衰特性に基づいて物体領域の位相量を補正する（ステップＳ３４）。ここでは、プロセッサ３１は、ステップＳ３３で算出した減衰特性に基づいて、所定の３次元領域のうちのステップＳ３１で特定された物体領域の位相量を補正する。より具体的には、プロセッサ３１は、減衰特性に基づいて算出される底面からの距離毎の位相量の減衰分を補償するように、物体領域の位相量を補正する。これは、近似関数である線Ｌ２を底面からの距離に寄らず一定値を示す近似関数である線Ｌ４に変換することにより行われる。なお、図１０Ｃの線Ｌ４が示す一定値は、図７に示すサンプルＳの底面における面積比率に相当する。これにより、図１０Ｃの線Ｌ３に示すように、面積比率が底面からの距離によらずサンプルＳの底面における比率に近づき、ほぼ一定になる。
以上のように、画像処理装置３０が図９に示す位相分布補正処理を行うことで、３次元領域中から特定された注目領域の光軸方向の変化に基づいて第１の位相分布が補正されて、散乱による位相量の減衰が抑制された第２の位相分布が算出される。
本実施形態に係る画像処理システム１００によれば、図４に示す補正位相分布算出処理を行うことで、散乱による位相量の減衰の影響を補正により小さく抑えることができる。このため、位相物体の位相分布を高精度に算出することができる。従って、例えば、細胞が立体的な集合体を形成したスフェロイドやコロニーなどのような比較的大きな位相物体を観察対象物とする場合であっても、位相物体を良好に可視化することができる。
さらに、第２の位相分布に基づいて位相物体を可視化した画像を表示することで、例えば、多能性細胞の良否判断の精度が向上する、多能性細胞のコロニー内の変質を３次元的に評価できる、スフェロイド内の各細胞の観察が可能となる、などの効果が期待できる。また、スフェロイド内の細胞の変性や壊死などの検出精度が向上する、スフェロイド上部細胞（つまり、スフェロイドの深部）の画像が従来に比べて強調されてはっきりと観察できる、などの効果も期待できる。
図１１は、位相分布補正処理のフローチャートの別の例である。画像処理システム１００では、図９に示す位相分布補正処理の代わりに、図１１に示す位相分布補正処理が行われてもよい。
図１１に示す位相分布補正処理は、図９に示す位相分布補正処理と同様に、画像処理装置３０により行われる。まず、画像処理装置３０は、所定の３次元領域から物体領域を特定する（ステップＳ４１）。ステップＳ４１の処理は、図９のステップＳ３１と同様である。
次に、画像処理装置３０は、計測領域の選択を受け付ける（ステップＳ４２）。ここでは、システムの利用者が、ステップＳ４１で特定された物体領域中からキーボード５１、マウス５２を用いて計測領域を選択し、画像処理装置３０が、利用者の操作を検出して選択された計測領域を特定する。なお、選択した計測領域が狭すぎると、計測領域にサンプルＳ中のある特定の構造のみが含まれてしまうことがあり、サンプルＳを代表する領域として相応しくない場合がある。このため、画像処理装置３０は、選択された計測領域が狭すぎる場合には、利用者に再設定を促すようにしてもよい。
計測領域が選択されて特定されると、画像処理装置３０は、計測領域から注目領域を特定する（ステップＳ４３）。ここでは、プロセッサ３１は、第１の位相分布と第１の閾値Ｔ１とステップＳ４２で選択された計測領域とに基づいて、計測領域中から注目領域を特定する。なお、注目領域とは、閾値Ｔ１以上の位相量を有する領域であり、例えば、サンプルＳ中のミトコンドリアに対応する位相量以上の位相量を有する領域である。
計測領域と注目領域が特定されると、画像処理装置３０は、サンプルＳの減衰特性を算出する（ステップＳ４４）。ここでは、プロセッサ３１は、ステップＳ４３で算出した注目領域の光軸方向（深さ方向）の変化に基づいて、サンプルＳの減衰特性を算出する。より具体的には、プロセッサ３１は、まず、計測領域と注目領域との面積比率をサンプルＳの底面からの距離毎に算出する。計測領域と注目領域との面積比率とは、計測領域に占める注目領域の割合であり、“注目領域の面積÷計測領域の面積”で算出される。その後、プロセッサ３１は、算出した面積比率の光軸方向の変化に基づいて、サンプルＳの減衰特性を算出する。なお、減衰特性は、例えば、上述した位相減衰係数として算出される。
最後に、画像処理装置３０は、減衰特性に基づいて物体領域の位相量を補正する（ステップＳ４５）。ステップＳ４５の処理は、図９のステップＳ３４の処理と同様である。
図１１に示す位相分布補正処理は、物体領域の一部である計測領域と計測領域中の注目領域との面積比率から減衰特性を算出する点が、図９に示す位相分布補正処理とは異なる。減衰特性の算出に用いられる面積比率は、閾値Ｔ１に対応する特定の構造が一様に分布している領域とその領域中の注目領域との面積比率であればよい。従って、本実施形態に係る画像処理システム１００によれば、図９に示す位相分布補正処理の代わりに、図１１に示す位相分布補正処理が行割れた場合であっても、位相量の減衰の影響を補正により小さく抑えて、位相物体の位相分布を高精度に算出することができる。
図１２は、位相分布補正処理のフローチャートの更に別の例である。画像処理システム１００では、図９に示す位相分布補正処理の代わりに、図１２に示す位相分布補正処理が行われてもよい。
図１２に示す位相分布補正処理は、図９に示す位相分布補正処理と同様に、画像処理装置３０により行われる。まず、画像処理装置３０は、所定の３次元領域から物体領域を特定する（ステップＳ５１）。ステップＳ５１の処理は、図９のステップＳ３１と同様である。ただし、ステップＳ５１で特定した物体領域は、以降では、注目領域としても特定される。
次に、画像処理装置３０は、物体領域（注目領域）の平均位相量をサンプルＳの底面からの距離毎に算出する（ステップＳ５２）。ここでは、プロセッサ３１は、第１の位相分布とステップＳ５１で算出した物体領域とに基づいて、物体領域の平均位相量を底面からの距離毎に算出する。
平均位相量が算出されると、画像処理装置３０は、サンプルＳの減衰特性を算出する（ステップＳ５３）。ここでは、プロセッサ３１は、ステップＳ５２で算出した物体領域の平均位相量の光軸方向（深さ方向）の変化に基づいて、サンプルＳの散乱係数を算出する。なお、ステップＳ５２で算出した物体領域の平均位相量は、上述した式（１）及び式（１−１）に示す位相量に相当し、ひいては式（２）及び式（２−１）の面積比率に相当する。このため、ステップＳ５３では、面積比率の光軸方向の変化の代わりに、平均位相量の光軸方向の変化を用いる点を除き、図９のステップＳ３３と同様の手順で、減衰特性を算出することができる。
最後に、画像処理装置３０は、減衰特性に基づいて物体領域の位相量を補正する（ステップＳ５４）。ステップＳ５４の処理は、図９のステップＳ３４の処理と同様である。
本実施形態に係る画像処理システム１００によれば、図９に示す位相分布補正処理の代わりに、図１２に示す位相分布補正処理が行われた場合であっても、位相量の減衰の影響を補正により小さく抑えて、位相物体の位相分布を高精度に算出することができる。
図１３は、位相物体評価処理のフローチャートの一例である。画像処理システム１００は、高精度に算出された位相分布に基づいて位相物体を評価してもよい。以下、図１３を参照しながら、サンプルＳが多能性細胞であるiPS細胞を含む位相物体である場合を例に、位相物体であるサンプルＳの多能性を評価する位相物体評価処理について説明する。
なお、人工多能性を持つように誘導された体細胞である未分化のiPS細胞では、通常の体細胞とは、ミトコンドリアの形態、数量が異なる。また、iPS細胞でも、分化誘導後は、ミトコンドリアの形態、数量は、通常の体細胞におけるミトコンドリアの形態、数量に近くなる。このため、iPS細胞を含む位相物体の多能性は、未分化のiPS細胞と分化誘導後のiPS細胞及び他の体細胞との割合や、それらの分布状況によって評価することができる。
画像処理システム１００は、位相物体評価処理を開始すると、補正位相分布算出処理を行い、第２の位相分布を算出する（ステップＳ６１）。ステップＳ６１の処理は、図４に示す補正位相分布算出処理と同様である。
次に、画像処理システム１００は、閾値Ｔ１に基づいて、所定の３次元領域中から第１の比較対象領域を特定する（ステップＳ６２）。ここでは、プロセッサ３１は、ステップＳ６１で算出した第２の位相分布と閾値Ｔ１に基づいて、第１の比較対象領域を特定する。なお、閾値Ｔ１は、細胞に一様に分布するミトコンドリアなどの特定の構造に対応する位相量であり、より詳細には、iPS細胞ではない通常の体細胞におけるミトコンドリアに対応する位相量である。なお、未分化のiPS細胞におけるミトコンドリアに対応する位相量は、閾値Ｔ１よりも小さい。また、第１の比較対象領域とは、所定の３次元領域のうちの閾値Ｔ１以上の位相量を有する領域であり、多能性を有しない細胞（つまり、通常の体細胞及び分化誘導後のiPS細胞）が存在する領域である。
さらに、画像処理システム１００は、閾値Ｔ２に基づいて、所定の３次元領域中から第２の比較対象領域を特定する（ステップＳ６３）。ここでは、プロセッサ３１は、ステップＳ６１で算出した第２の位相分布と閾値Ｔ２に基づいて、第２の比較対象領域を特定する。なお、閾値Ｔ２は、閾値Ｔ１よりも小さな位相量であり、例えば、未分化のiPS細胞におけるミトコンドリアに対応する位相量である。また、第２の比較対象領域とは、所定の３次元領域のうちの閾値Ｔ２以上の位相量を有する領域であり、細胞（通常の体細胞、未分化のiPS細胞、分化誘導後のiPS細胞を含む）が存在する領域である。
最後に、画像処理システム１００は、第１の比較対象領域と第２の比較対象領域の比較結果に基づいて、サンプルＳを評価する（ステップＳ６４）。ここでは、プロセッサ３１は、まず、第１、第２の比較対象領域のサイズを算出して、さらに、第１の比較対象領域のサイズと第２の比較対象領域のサイズの比率を算出する。なお、サイズとは、大きさのことであり、例えば、面積又は体積のことである。サイズの比率とは、第２の比較対象領域に対する第１の比較対象領域の割合のことであり、“第１の比較対象領域のサイズ÷第２の比較対象領域のサイズ”で算出される。その後、算出したサイズの比率に基づいて、サンプルＳを評価する。例えば、比率が高いほど多能性を有しない細胞の存在割合が大きく、多能性が低いと判断することができる。このため、プロセッサ３１は、比率に基づいてサンプルＳの多能性の高低を判定してもよい。また、プロセッサ３１は、判定結果を表示装置４０へ出力し表示してもよい。また、プロセッサ３１は、第２の位相分布に基づいて可視化したサンプルＳの画像上で、第１の比較対象領域と第２の比較対象領域を識別可能に表示してもよい。
本実施形態に係る画像処理システム１００によれば、図１３に示す位相物体評価処理を行うことで、サンプルＳの位相分布を高い精度で算出することできる。また、複数の閾値を用いることで壊死などによってコロニー内で細胞が存在しない領域を誤って評価対象に加えてしまうことを防止することができる。従って、サンプルＳの位相分布に基づいて、サンプルＳを正しく評価することができる。
以上では、サンプルＳの多能性を評価する例を示したが、位相物体評価処理で評価する対象は、サンプルＳの多能性に限らない。異なる位相量を示す複数の閾値に基づいて、サンプルＳを様々な観点から評価することができる。例えば、閾値Ｔ１を通常の体細胞におけるミトコンドリアに対応する位相量に設定し、閾値Ｔ２にガン細胞におけるミトコンドリアに対応する位相量を設定しても良い。これらの閾値に基づいて、第１の比較対象領域のサイズと第２の比較対象領域のサイズの比率を算出することで、細胞のガン化の進行度合いを評価してもよい。また、閾値には、ミトコンドリアに限らず、任意の細胞小器官に対応する位相量が設定されてもよい。また、第１の比較対象領域のサイズと第２の比較対象領域のサイズの比率は、体積比率であっても面積比率であってもよい。例えば、所定の３次元領域中の特定の断面に注目し、注目した断面中における第１、第２の比較対象領域の面積比率を算出することで、位相物体の多能性等を評価してもよい。
また、第１、第２の比較対象領域を所定の３次元領域から特定する例を示したが、例えば、細胞単位で、第１、第２の比較対象領域を特定しても良い。この場合、サンプルＳ単位ではなく、細胞単位で多能性等を評価することができる。
［第２の実施形態］
図１４は、本実施形態に係る位相物体評価処理のフローチャートの一例である。なお、本実施形態に係る画像処理システム（以降、単に画像処理システムと記す）の構成は、画像処理システム１００と同様である。画像処理システムは、画像処理装置３０が位相分布補正処理を行わない点が、画像処理システム１００とは異なる。以下、図１４を参照しながら、本実施形態に係る位相物体評価処理について説明する。
画像処理システムは、位相物体評価処理を開始すると、顕微鏡装置２０が画像取得処理を行い（ステップＳ７１）、画像処理装置３０が位相分布算出処理を行う（ステップＳ７２）。これにより、第１の位相分布が算出される。なお、ステップＳ７１、ステップＳ７２の処理は、それぞれ、図４のステップＳ１０、ステップＳ２０の処理と同様である。
その後、画像処理システムは、閾値Ｔ１に基づいて、所定の３次元領域中から第１の比較対象領域を特定し（ステップＳ７３）、閾値Ｔ２に基づいて、所定の３次元領域中から第２の比較対象領域を特定する（ステップＳ７４）。ここで、閾値Ｔ１、閾値Ｔ２は、それぞれ、例えば、iPS細胞ではない通常の体細胞におけるミトコンドリアに対応する位相量、未分化のiPS細胞におけるミトコンドリアに対応する位相量である。また、閾値Ｔ２は、閾値Ｔ１よりも小さな位相量である。なお、ステップＳ７３、ステップＳ７４の処理は、それぞれ、図１３のステップＳ６２、ステップＳ６３の処理と同様である。
最後に、画像処理システムは、第１の比較対象領域と第２の比較対象領域の比較結果に基づいて、サンプルＳを評価する（ステップＳ７５）。ステップＳ７５の処理は、図１３のステップＳ６４の処理と同様である。
本実施形態に係る画像処理システムによっても、複数の閾値が用いられるため、壊死などによってコロニー内で細胞が存在しない領域を誤って評価対象に加えてしまうことを防止することができる。従って、図１３に示す位相物体評価処理を行うことで、サンプルＳの位相分布に基づいてサンプルＳを正しく評価することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。位相分布算出方法、評価方法、画像処理装置、及び、画像処理システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。例えば、図２には、サンプルＳの構造（位相分布）を像強度分布として撮像素子の受光面に投影する微分干渉顕微鏡の光学系１ａを例示したが、顕微鏡装置の光学系は位相分布を像強度分布に変換する光学系であればよく、例えば、位相差顕微鏡の光学系であってもよい。
１・・・顕微鏡本体、２・・・光源、３・・・レンズ、４・・・視野絞り、５・・・像コントラスト変化ユニット、５ａ・・・偏光子、５ｂ・・・λ／４板、６、１０・・・ノマルスキープリズム、７・・・コンデンサレンズ、８・・・ステージ、９・・・対物レンズ、１１・・・検光子、１２・・・結像レンズ、１３・・・撮像装置、１４・・・制御装置、１５、１６、１７、１８・・・駆動装置、２０・・・顕微鏡装置、３０・・・画像処理装置、３１・・・プロセッサ、３２・・・メモリ、３３・・・入出力インターフェース、３４・・・ストレージ、３５・・・可搬記録媒体駆動装置、３６・・・可搬記録媒体、３７・・・バス、４０・・・表示装置、５１・・・キーボード、５２・・・マウス、１００・・・画像処理システム、Ｈ１、Ｈ２・・・ヒストグラムＬ１、Ｌ２、Ｌ３、Ｌ４・・・線、Ｓ・・・サンプル

Claims (12)

  1. 位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
    前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正し、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記物体領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする位相分布算出方法。
  2. 位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
    前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正し、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記計測領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする位相分布算出方法。
  3. 請求項１又は請求項２に記載の位相分布算出方法において、
    前記第１の閾値は、ミトコンドリアに対応する位相量である
    ことを特徴とする位相分布算出方法。
  4. 請求項１又は請求項２に記載の位相分布算出方法において、
    前記第１の位相分布を補正することは、さらに、
    前記第１の位相分布に基づいて、前記３次元領域中から前記物体領域を前記注目領域として特定することを含み、
    前記減衰特性を算出することは、前記注目領域の平均位相量の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することを含む
    ことを特徴とする位相分布算出方法。
  5. 請求項１又は請求項２に記載の位相分布算出方法で前記第１の位相分布を補正することで第２の位相分布を算出し、
    前記第２の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記３次元領域中から第１の比較対象領域を特定し、
    前記第２の位相分布と前記第１の閾値よりも小さな位相量である第２の閾値とに基づいて、前記３次元領域中から第２の比較対象領域を特定し、
    前記第１の比較対象領域と前記第２の比較対象領域の比較結果に基づいて、前記位相物体を評価する
    ことを特徴とする評価方法。
  6. 請求項５に記載の評価方法において、
    前記位相物体を評価することは、
    前記第１の比較対象領域のサイズと前記第２の比較対象領域のサイズの比率を算出することと、
    前記算出したサイズの比率に基づいて、前記位相物体を評価することと、を含む
    ことを特徴とする評価方法。
  7. 顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、
    前記顕微鏡装置は、
    位相分布を像強度分布に変換する光学系を備え、
    前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
    前記画像処理装置は、
    前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記物体領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする画像処理装置。
  8. 位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、
    前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、
    前記画像処理装置は、
    前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記物体領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする画像処理システム。
  9. 顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、
    前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、
    前記画像処理装置を、
    前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出する手段、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正する手段、として機能させ、
    前記第１の位相分布を補正する手段は、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値とに基づいて、前記注目領域を特定する手段と、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、
    前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、
    前記減衰特性を算出する手段は、
    前記物体領域と前記注目領域との面積比率を算出する手段と、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む
    ことを特徴とするプログラム。
  10. 顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、
    前記顕微鏡装置は、
    位相分布を像強度分布に変換する光学系を備え、
    前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
    前記画像処理装置は、
    前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記計測領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする画像処理装置。
  11. 位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、
    前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、
    前記画像処理装置は、
    前記複数の画像に対応する３次元領域の第１の位相分布を算出し、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正するように構成され、
    前記第１の位相分布を補正することは、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定することと、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記３次元領域中から選択された計測領域前記注目領域を特定することと、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
    前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
    前記減衰特性を算出することは、
    前記計測領域と前記注目領域との面積比率を算出することと、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
    ことを特徴とする画像処理システム。
  12. 顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、
    前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、
    前記画像処理装置を、
    前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する３次元領域の第１の位相分布を算出する手段、
    前記第１の位相分布に基づいて前記３次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第１の位相分布を補正する手段、として機能させ、
    前記第１の位相分布を補正する手段は、
    前記第１の位相分布に基づいて、前記３次元領域中から前記３次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、
    前記第１の位相分布と前記位相物体内の特定の構造に対応する位相量である第１の閾値と前記３次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定する手段と、
    前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、
    前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、
    前記減衰特性を算出する手段は、
    前記計測領域と前記注目領域との面積比率を算出する手段と、
    前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む
    ことを特徴とするプログラム。
JP2017017994A 2017-02-02 2017-02-02 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム Active JP6886306B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017017994A JP6886306B2 (ja) 2017-02-02 2017-02-02 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム
US15/863,153 US10775603B2 (en) 2017-02-02 2018-01-05 Phase distribution calculation method, evaluation method, and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017017994A JP6886306B2 (ja) 2017-02-02 2017-02-02 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム

Publications (2)

Publication Number Publication Date
JP2018124215A JP2018124215A (ja) 2018-08-09
JP6886306B2 true JP6886306B2 (ja) 2021-06-16

Family

ID=62979776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017017994A Active JP6886306B2 (ja) 2017-02-02 2017-02-02 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム

Country Status (2)

Country Link
US (1) US10775603B2 (ja)
JP (1) JP6886306B2 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610897A (en) * 1992-08-31 1997-03-11 Canon Kabushiki Kaisha Optical information reproducing apparatus
JP3292314B2 (ja) * 1992-09-11 2002-06-17 キヤノン株式会社 光学的検出装置
US5751475A (en) 1993-12-17 1998-05-12 Olympus Optical Co., Ltd. Phase contrast microscope
JP3540352B2 (ja) 1993-12-17 2004-07-07 オリンパス株式会社 位相差顕微鏡
JP3943620B2 (ja) 1995-04-24 2007-07-11 オリンパス株式会社 微分干渉顕微鏡
JP4673955B2 (ja) * 2000-03-24 2011-04-20 オリンパス株式会社 光学装置
US9008406B2 (en) * 2009-10-09 2015-04-14 Kawasaki Jukogyo Kabushiki Kaisha Method and apparatus for discriminating undifferentiated pluripotent stem cells, and automated culture method and system
JP5740101B2 (ja) 2010-04-23 2015-06-24 国立大学法人名古屋大学 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP5814684B2 (ja) 2010-09-03 2015-11-17 オリンパス株式会社 位相物体の可視化方法及び可視化装置
MX346624B (es) * 2011-09-13 2017-03-27 Koninklijke Philips Nv Sistema y metodo para la deteccion de anormalidades en una muestra biologica.
JP6124774B2 (ja) * 2013-03-22 2017-05-10 オリンパス株式会社 位相分布計測方法、及び、位相分布計測装置

Also Published As

Publication number Publication date
US10775603B2 (en) 2020-09-15
JP2018124215A (ja) 2018-08-09
US20180217369A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
US7929044B2 (en) Autofocus searching method
US9400254B2 (en) Method and device for measuring critical dimension of nanostructure
JP7568639B2 (ja) 設定可能焦点オフセットによって試料表面を追跡するための自動焦点調節システム
US10563177B2 (en) Evaluating a pluripotent stem cell based on a region of a phase distribution image having a phase amount less than a threshold phase amount of a mitochondrion in a somatic cell
CN108254295B (zh) 一种定位与表征球形微粒的方法及其装置
US9915919B2 (en) Microscope, method and computer program for obtaining quantitative phase images by means of digital holographic microscopy
CN107113370A (zh) 图像捕获装置及图像捕获方法
JPWO2020066041A1 (ja) 顕微鏡システム
WO2020258434A1 (zh) 一种基于tie的相位成像方法、装置及可读存储介质
JP2023542619A (ja) 試料のデジタル画像の品質管理のためのコンピュータ実装方法
CN106153579A (zh) 测量装置、测量方法和程序
WO2011052172A1 (ja) 撮像装置およびそれを用いた測距装置
JP6886306B2 (ja) 位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム
US20200412961A1 (en) Apparatus and method for controlling apparatus
WO2019021621A1 (ja) 試料観察装置及び試料観察方法
JP2015102694A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
TWI751184B (zh) 產生一樣本之三維(3-d)資訊之方法及三維(3-d)量測系統
AU2011265379A1 (en) Single shot image based depth mapping
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
KR101195370B1 (ko) 초점 정보 제공 장치 및 초점 조절 장치
JP2008111726A (ja) ３次元位相計測方法とそれに使われる微分干渉顕微鏡
Kwon et al. Numerical phase-detection autofocusing method for digital holography reconstruction processing
US11972590B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
JP2002221665A (ja) 収束光偏光顕微鏡装置および収束光偏光顕微鏡観察方法
JP4496149B2 (ja) 寸法測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210203

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210514

R151 Written notification of patent or utility model registration

Ref document number: 6886306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250