JPWO2015104763A1 - 分析システム、分析プログラム及び分析方法 - Google Patents

分析システム、分析プログラム及び分析方法 Download PDF

Info

Publication number
JPWO2015104763A1
JPWO2015104763A1 JP2015556639A JP2015556639A JPWO2015104763A1 JP WO2015104763 A1 JPWO2015104763 A1 JP WO2015104763A1 JP 2015556639 A JP2015556639 A JP 2015556639A JP 2015556639 A JP2015556639 A JP 2015556639A JP WO2015104763 A1 JPWO2015104763 A1 JP WO2015104763A1
Authority
JP
Japan
Prior art keywords
reference position
moving image
analysis system
feature amount
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015556639A
Other languages
English (en)
Other versions
JP6578950B2 (ja
Inventor
志織 大島
志織 大島
松居　恵理子
恵理子 松居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015104763A1 publication Critical patent/JPWO2015104763A1/ja
Application granted granted Critical
Publication of JP6578950B2 publication Critical patent/JP6578950B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】観察対象物の三次元的かつ経時的状態の分析に適した分析システム、分析プログラム及び分析方法を提供すること。【解決手段】本技術に係る分析システムは、特徴量算出部と、基準位置算出部とを具備する。特徴量算出部は、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する。基準位置算出部は、特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する。【選択図】図１

Description

本技術は、顕微鏡によって撮像された動画像から観察対象物の状態を分析する分析システム、分析プログラム及び分析方法に関する。
近年、心筋細胞等の動きのある細胞の三次元培養が盛んになっている（例えば、非特許文献１）。三次元培養は、細胞群が二次元的に単層を形成する二次元培養とは異なり、三次元的に接続された細胞群を得ることが可能であり、実際の生体内に近い状態の細胞群を得ることができる。
このような三次元培養された細胞を観察対象物として観察する上で、観察対象物の状態の三次元的な認識（三次元認識）を実現することが求められる。三次元認識を実現する方法としては、走査型の二光子励起レーザー顕微鏡や共焦点レーザー顕微鏡等の走査型顕微鏡システムを利用する方法がある。走査型顕微鏡システムでは、レーザーの焦点位置を光軸方向に変動させながら二次元的に走査することにより、観察対象物の三次元認識が実現されている。（例えば特許文献１）。
また、顕微鏡を利用して撮像された画像に対して画像処理を施すことにより、三次元認識を行うことも実現されている。例えば、焦点面を検出するオートフォーカス機能や全焦点画像の生成機能を利用して、観察対象物の三次元的な像を得ることが可能となっている。
特開２００５−１２８０８６号公報
Three-dimensional cell culture:the missing link in drug discovery.,Drug Discov Today. 2013 Mar;18(5-6):240-9.
三次元培養された細胞は上述のように生体内に近い状態であり、その状態を経時的に観察することができれば、多くの情報を得ることが可能である。しかしながら、走査型顕微鏡システムを利用して三次元認識を行う場合、レーザーを点で走査するため、高速化が困難であり、観察対象物の経時的変化を観察するには不適当である。また、レーザー照射によって細胞にダメージを与える可能性があり、細胞の生理的状態を阻害するおそれがある。
画像処理を利用する方法であっても、特定の焦点距離において撮像した静止画を利用して観察対象物の三次元的な像が生成される。即ち、観察対象物の瞬間的な状態を観察することは可能であるが、観察対象物の経時的変化を観察するには不適当である。
以上のような事情に鑑み、本技術の目的は、観察対象物の三次元的かつ経時的状態の分析に適した分析システム、分析プログラム及び分析方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る分析システムは、特徴量算出部と、基準位置算出部とを具備する。
上記特徴量算出部は、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する。
上記基準位置算出部は、上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する。
この構成によれば、特徴量算出部が、動きの位相が等しい動画像を特長量の算出対象とすることによって、各焦点位置において撮像された動画像が異なる時間帯に撮像されたものであっても、焦点方向における動きの把握が可能となる。また、基準位置算出部が、基準位置を算出することにより、観察対象物の焦点方向における動きの定量的な評価が可能となる。加えて、分析システムは画像処理によって分析を行うことが可能であり、レーザー等を観察対象物に照射する必要がないため、観察対象物の生理的状態を阻害することなく分析が可能となっている。
上記分析システムは、上記複数の動画像のそれぞれについて、動きを解析する動き解析部と、上記動き解析部による動き解析結果を利用して、上記複数の動画像の位相を合わせる位相合わせ部とをさらに具備してもよい。
複数の動画像を異なる焦点位置において撮像する場合、各動画像の撮像時間は相違するため、単に複数の動画像について解析を行っても、焦点方向における観察対象物の動きを把握することはできない。これに対し上記構成では、位相合わせ部が複数の動画像の間で位相を合わせるため、焦点位置及び撮像時間が異なる複数の動画像から焦点方向における観察対象物の動きを把握することが可能となる。
上記動き解析部は、上記複数の動画像のそれぞれについて、観察対象物の拍動に起因する拍動タイミングを抽出し、上記位相合わせ部は、上記拍動タイミングが上記複数の動画像の間で一致するように上記複数の動画像の位相を合わせてもよい。
観察対象物が心筋細胞等の拍動を生じるものである場合、その拍動は各動画像における動きとして表れる。このため、動き解析部は、動きの特徴的な点を拍動タイミングとして抽出することが可能であり、位相合わせ部は当該拍動タイミングを利用して複数の動画像の位相を合わせることが可能となる。
上記特徴量は輝度差分であり、上記基準位置算出部は、上記輝度差分に基づいて上記基準位置を算出してもよい。
動画像に含まれる観察対象物は輝度差分を利用して検出することが可能である。したがって、特徴量算出部が輝度差分を特徴量として算出することにより、基準位置算出部が当該特徴量を利用して基準位置を算出することが可能となる。
上記基準位置算出部は、焦点方向において上記輝度差分が最大となる位置を上記基準位置としてもよい。
焦点方向において輝度差分が最大となる位置は、動画像の撮像の際に最も焦点が合っている位置であるため、当該位置から観察対象物の焦点方向における配置を把握することが可能となる。したがって、焦点方向において輝度差分が最大となる位置を基準位置として利用することが可能である。
上記基準位置算出部は、焦点方向における上記輝度差分の相関関係に基づいて上記基準位置を推定してもよい。
動画像の撮像に利用する光学顕微鏡の焦点深度が観察対象物の厚み変動より小さい場合や動画像が撮像された焦点位置の間隔が観察対象物の厚み変動より小さい場合には、基準位置の算出に輝度差分最大値を利用すると分解能が不足する。このような場合であっても基準位置算出部は、輝度差分の相関関係を利用して基準位置を推定することが可能である。
上記分析システムは、上記基準位置の時間変動に基づいて上記焦点方向の動きを定量化し、画像化する結果提示部をさらに具備してもよい。
この構成によれば、観察対象物の焦点方向の動きが可視化されるため、ユーザが観察対象物の状態を視覚的に把握することが可能となる。
上記目的を達成するため、本技術の一形態に係る分析プログラムは、特徴量算出部と、基準位置算出部とを具備する。
上記特徴量算出部は、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する。
上記基準位置算出部は、上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する。
上記目的を達成するため、本技術の一形態に係る分析方法は、特徴量算出部が、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する。
基準位置算出部が、上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する。
以上のように、本技術によれば、観察対象物の三次元的かつ経時的状態の分析に適した分析システム、分析プログラム及び分析方法を提供することが可能である。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施形態に係る分析システムの構造を示す模式図である。 同分析システムの動画像撮像部による観察試料の撮像態様を示す模式図である。 同分析システムの動画像撮像部によって撮像される動画像の位置関係を示す模式図である。 同分析システムの動画像撮像部によって撮像される動画像の例である。 同分析システムの動作を示すフローチャートである。 同分析システムの動き解析部による解析結果の模式図である。 同分析システムの位相合わせ部による位相合わせの模式図である。 同分析システムの特徴量算出部によって算出された特徴量を表す動画像の例である。 同分析システムの基準位置算出部によって設定される算出領域の位置関係を示す模式図である。 同分析システムの基準位置算出部によって設定される算出領域を示す模式図である。 同分析システムの特徴量算出部によって算出された、一つの算出領域における輝度差分を拍動タイミング毎に表したグラフである。 同分析システムの特徴量算出部によって算出された、別の算出領域における輝度差分を拍動タイミング毎に表したグラフである。 同分析システムの基準位置算出部による基準位置の算出方法を示す模式図である。 同分析システムの基準位置算出部によって算出された、一つの算出領域における基準位置を示すグラフである。 同分析システムの基準位置算出部によって算出された、別の算出領域における基準位置を示すグラフである。 算出領域と観察対象物の位置関係を示す模式図である。 同分析システムの結果提示部によって提示される結果提示画像の例である。 同分析システムの結果提示部によって提示される結果提示画像の例である。 同分析システムの動画像撮像部によって撮像される動画像の例である。 同分析システムの特長量算出部によって算出された各算出領域における特徴量を表したグラフである。 同分析システムの基準位置算出部によって算出された各算出領域における基準位置を表したグラフである。 同分析システムの特長量算出部によって算出された、一つの算出領域における特徴量を表したグラフである。 同分析システムの特長量算出部によって算出された、別の算出領域における特徴量を表したグラフである。 同分析システムの基準位置算出部による基準位置の推定方法を示すグラフである。
[分析システムの構成及び動作]
本技術の実施形態に係る分析システムについて説明する。図１は、本実施形態に係る分析システム１００の構成を示す模式図である。
同図に示すように、分析システム１００は、動画像撮像部１１０及び画像処理ユニット１２０を有する。動画像撮像部１１０は、明視野顕微鏡、位相差顕微鏡等の光学顕微鏡であり、画像処理ユニット１２０はパーソナルコンピュータ等の情報処理装置であるものとすることができる。なお、画像処理ユニット１２０は、動画像撮像部１１０と一体的に構成されているものであってもよい。
図１には、観察試料Ｓを示す。観察試料Ｓは特に限定されないが、培養液と共に細胞が収容されているものとすることができ、例えば三次元培養された心筋細胞であるものとすることができる。以下、この細胞が、観察対象物であるものとし、観察対象物Ｐとする。詳細は後述するが、分析システム１００は、観察対象物Ｐの規則的な動き(拍動等）を利用して観察対象物Ｐの分析を行う。このため、規則的な動きを生じる細胞（細胞群を含む）や生体組織を分析システム１００の観察対象物Ｐとすることができる。
動画像撮像部１１０は、観察試料Ｓを撮像し、複数の動画像を生成する。動画像撮像部１１０は、少なくとも顕微鏡光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を備え、顕微鏡光学系を介して観察試料Ｓの動画像を撮像するものとすることができる。ここで、動画像撮像部１１０は、動画像の撮像を行う焦点位置（観察試料Ｓにおける焦点面の位置）を変更可能なものとする。図２は、動画像撮像部１１０が動画像の撮像を行う焦点位置を示す模式図である。
同図に示すように、動画像撮像部１１０は、複数の焦点位置（例として焦点位置Ｆ１〜Ｆ３）で観察試料Ｓを撮像する。以下の説明において、焦点方向（顕微鏡光学系の光軸方向）をＺ方向とし、Ｚ方向に直交する一方向をＸ方向、Ｚ方向及びＸ方向に直交する方向をＹ方向とする。動画像を撮像する焦点位置の数は特に限定されず、観察対象物Ｐの大きさ等に応じて適宜変更することができる。焦点位置の間隔は、Ｚ方向において一定間隔であることが好適であり、例えば数μｍ間隔であるものとすることができる。なお、焦点位置の間隔は、小さいほど後述する基準Ｚ位置算出の精度が向上する。また、焦点位置の間隔は、顕微鏡光学系の分解能以下であっても意味があり、例えば顕微鏡光学系の分解能が２μｍである場合に焦点位置の間隔が１μｍであっても精度が向上する。
動画像撮像部１１０は、一つの焦点位置について一定時間の動画像を撮像し、焦点位置をＺ方向に移動させた後、再び一定時間の動画像を撮像し、これを所定回数繰返す。即ち、各焦点位置において撮像された動画像（以下、撮像動画像）は異なる時間に撮像された動画像である。なお、動画像撮像部１１０は焦点位置を焦点方向（Ｚ方向）にのみ移動させ、他の方向（Ｘ方向及びＹ方向）には移動させないものとすることができる。
図３は、撮像動画像の位置関係を示す模式図であり、焦点位置Ｆ１〜Ｆ３でそれぞれ撮像された撮像動画像Ｇ１〜Ｇ３を示す。同図に示すように、観察試料Ｓの同一領域（Ｘ−Ｙ座標が同一の領域）について、複数の焦点位置で撮像動画像が撮像される。即ち、撮像動画像はＺ−ｓｔａｃｋ動画像である。撮像動画像の数は特に限定されず、観察対象物Ｐの大きさ等に応じて適宜変更することができる。図４は、撮像動画像Ｇ１〜Ｇ３の例である。動画像撮像部１１０は、撮像動画像と、その撮像された焦点位置を画像処理ユニット１２０に出力する。
画像処理ユニット１２０は、図１に示すように、動画像取得部１２１、動き解析部１２２、位相合わせ部１２３、特徴量算出部１２４、基準位置算出部１２５及び結果提示部１２６を有する。これらの各構成は、ハードウェアとソフトウェアの協働によって実現された機能的構成であるものとすることができる。図５は、画像処理ユニット１２０の動作を示すフローチャートである。
動画像取得部１２１は、動画像撮像部１１０から異なる焦点位置で撮像された複数の撮像動画像を取得する（Ｓｔ１０１）。動画像取得部１２１はこの際、各撮像動画像が撮像された焦点位置を撮像動画像と共に取得するものとする。また、動画像取得部１２１は、ネットワークやストレージを介して撮像動画像を取得してもよい。動画像取得部１２１は、複数の撮像動画像と、各撮像動画像が撮像された焦点位置を動き解析部１２２に供給する。
動き解析部１２２は、各撮像動画像において動きを解析する（Ｓｔ１０２）。具体的には、動き解析部１２２は、各撮像動画像の画素毎に、あるいは複数の画素を含む画素群毎にＸ−Ｙ方向の動きベクトルを算出する。動きベクトルの算出は例えばブロックマッチングによってすることができる。動き解析部１２２は、算出した動きベクトルの動き量や動き速度から各撮像動画像の動きを解析するものとすることができる。
図６は、撮像動画像についての動き解析結果の例を示すグラフである。上述のように観察対象物Ｐは規則的な動き（拍動）を有するものであるため、解析結果には各撮像動画像に含まれる観察対象物Ｐの動きの規則性が表れる。動き解析部１２２は、動きの特徴的な点を拍動タイミング(図中数字）として抽出する。特徴的な点は例えば図６に示すように動き量の極大点及び極小点とすることができる。
以下の説明においては、図６に示す拍動タイミング１〜５を利用する。拍動タイミングの数は特に限定されないが、例えば観察対象物Ｐが心筋細胞である場合には、動き解析部は５つの拍動タイミングを抽出するものとすることができる。この他にも動き解析部１２２は、観察対象物Ｐの種類(拍動の種類）に応じて拍動タイミングを決定することができる。
位相合わせ部１２３は、動き解析部１２２による動きの解析結果を利用して、撮像動画像の位相を合わせる（Ｓｔ１０３）。図７は、位相合わせ部１２３による位相合わせを示す模式図であり、各撮像動画像Ｇ１〜Ｇ３から算出された動きｇ１〜ｇ３を示す。上述のように動画像撮像部１１０は、各焦点位置において、一定時間の動画像を撮像する。このため、図７（ａ）に示すように各焦点位置において撮像された撮像動画像の撮像時間(動きｇ１〜ｇ３の抽出時間）は互いに異なる。
ここで、位相合わせ部１２３は図７（ｂ）に示すように、拍動タイミングを利用して各撮像動画像の位相を合わせる。具体的には、動画像撮像部１１０は、一つの撮像動画像と他の撮像動画像の拍動タイミングが揃うように各撮像動画像のタイミングを合わせる。位相合わせ部１２３は、位相を一致させた複数の撮像動画像を特徴量算出部１２４に供給する。
特徴量算出部１２４は、各撮像動画像について特徴量を算出する（Ｓｔ１０４）。特徴量は、動画像の特徴を表す量であり、例えば輝度差分（隣接する又は周囲の画素との輝度の差分）であるものとすることができる。図８は、特徴量算出部１２４による輝度差分の算出結果である輝度差分動画像Ｐ１〜Ｐ３を示す。輝度差分動画像Ｐ１〜Ｐ３は、撮像動画像Ｇ１〜Ｇ３からそれぞれ算出された輝度差分の動画像である。撮像動画像Ｇ１〜Ｇ３は動画像であるため、輝度差分も時間と共に変動する。
輝度差分の算出はコントラスト法とも呼ばれ、撮像動画像においてコントラストが高い部分を検出することが可能である。同図に示すように特徴量算出部１２４は、各撮像動画像から特徴量を算出する。なお、特徴量算出部１２４は、輝度差分以外の特徴量を算出してもよく、一つの撮像動画像から複数種の特徴量を算出してもよい。
基準位置算出部１２５は、Ｚ方向における観察対象物についての基準位置を算出する（Ｓｔ１０５）。具体的には、基準位置算出部１２５は、各撮像動画像について算出領域を指定する。図９は、各撮像動画像Ｇ１〜Ｇ３について指定された算出領域Ｌを示す模式図である。同図に示すように、基準位置算出部１２５は、各撮像動画像Ｇ１〜Ｇ３の所定領域に算出領域Ｌを設定する。
ここで、基準位置算出部１２５は、同図に示すように各撮像動画像についてＺ方向に同一の領域（Ｘ座標及びＹ座標が同一の領域）を算出領域Ｌとすることができる。なお、基準位置算出部１２５は、各撮像動画像について複数の算出領域Ｌを設定してもよく、各撮像動画像の全体を一つの算出領域Ｌとして設定してもよい。図１０は、撮像動画像Ｇ１〜Ｇ３について設定された算出領域Ｌ１及びＬ２を示す。なお、図１０の撮像倍率は対物レンズ２０倍であり、算出領域Ｌ１は心筋細胞（観察対象物Ｐ）の細胞体中央部を含む領域であり、算出領域Ｌ２は細胞体周縁部を含む領域である。
基準位置算出部１２５は、設定した算出領域Ｌ毎に、それに含まれる動画像領域から算出した特徴量を利用して、「基準Ｚ位置」を求める。図１１は算出領域Ｌ１における輝度差分を拍動タイミング毎に表したグラフである。同グラフの横軸はＺ位置であり、即ち、撮像動画像が撮像された焦点位置である。Ｚ位置が小さい方が観察対象物Ｐの下側（浅い焦点位置）である(図２参照）。図１２は算出領域Ｌ２における輝度差分を拍動タイミング毎に表したグラフである。基準位置算出部１２５は、図１１や図１２に示したような算出領域毎の特徴量から、基準Ｚ位置を求める。
具体的には、基準位置算出部１２５は、各算出領域における輝度差分が最大となるＺ位置を基準Ｚ位置とすることができる。図１３は、図１１に示すグラフにおける基準Ｚ位置の算出方法を示す図である。基準位置算出部１２５は、算出領域毎に輝度差分を平均化（ローパスフィルタ）して、輝度差分が最も大きくなるＺ位置を算出し、基準Ｚ位置とすることができる。また、基準位置算出部１２５は、輝度差分値からＺ位置を推定してもよい。Ｚ位置の推定については後述する。
図１４は、算出領域Ｌ１における輝度差分を、拍動タイミングとＺ位置に対して濃淡で表したグラフであり、図１５は、算出領域Ｌ２における輝度差分を、拍動タイミングとＺ位置に対して濃淡で表したグラフである。図１４及び図１５において、基準Ｚ位置を線Ｍで示す。
図１４及び図１５を比較すると、算出領域Ｌ１における基準Ｚ位置は算出領域Ｌ２における基準Ｚ位置より深いＺ位置である。また、図１１及び図１２に示すように算出領域Ｌ１と算出領域Ｌ２における輝度差分は拍動タイミングによる輝度差分の傾向が異なる。算出領域Ｌ１においては拍動タイミング１、５の輝度差分は小さく、拍動タイミング３の輝度差分が最も大きい。これに対して算出領域Ｌ２においては拍動タイミング１、５の輝度差分が大きく、拍動タイミング３の輝度差分は最も小さい。これは、図１４及び図１５においても、領域形状の違いとして表れている。
図１６は観察対象物Ｐの動きを表す模式図である。図１１及び図１２に示すように、拍動タイミング２〜３では算出領域Ｌ１の輝度差分は大きくなり、算出領域Ｌ２の輝度差分は小さくなる。これは、観察対象物Ｐの中央部（算出領域Ｌ１に相当）が盛り上がることによってコントラストが増大し、一方で観察対象物Ｐの周辺部（算出領域Ｌ２に相当）は引っ張られて薄くなることによってコントラストが減少することが要因であると考えられる。また動きに関しては、観察対象物Ｐは基準Ｚ位置を中心としてＺ方向に運動していると考えられる。
そしてこのような観察対象物ＰのＺ方向における動きは、図１４及び図１５に示すように基準Ｚ位置の差異として捉えることが可能である。即ち、基準位置算出部１２５が基準Ｚ位置を算出することにより、Ｚ方向における観察対象物動きを定量的に把握することが可能である。基準位置算出部１２５は、基準Ｚ位置の経時的な変化を記録することで、Ｚ方向の動き変化を定量化することができる。また基準位置算出部１２５は、同輝度の場所をＺ方向にたどることによって、Ｚ方向の動き変化を定量化することも可能である。基準位置算出部１２５は、基準Ｚ位置や定量化の結果を結果提示部１２６に供給する。
結果提示部１２６は、Ｚ方向の観察対象物Ｐの動きを定量化して画像を生成し、ユーザに提示する（Ｓｔ１０６）。具体的には、結果提示部１２６は、撮像動画像を分割した領域毎に、定量化したＺ方向の動きを重畳させ、結果提示画像を生成することができる。図１７は、結果提示画像の例である。同図に示す結果提示画像は、Ｚ方向＋に動いている領域を白色で示し、Ｚ方向−に動いている領域を黒色で示したものである。これにより、例えば細胞の中央部と周縁部で拍動タイミング毎にＺ方向における動き方向が異なること等を可視化することができる。
また、結果提示部１２６は、特徴量算出部１２４によって算出された特徴量を提示してもよい。図１８は、各撮像動画像から算出された輝度差分を、撮像動画像のＸＹＺ座標に沿ってＸＹＺ方向に配置したものである。これにより結果提示部１２６は、特徴量を立体的に提示することが可能である。
分析システム１００は以上のような動作を行う。位相合わせ部１２３が撮像動画像の拍動タイミングを利用して撮像動画像の位相を合わせることにより、異なる焦点位置において撮像された撮像動画像から、観察対象物ＰのＺ方向における動きについての情報を得ることが可能となる。また、基準位置算出部１２５が基準Ｚ位置を算出することにより、観察対象物ＰのＺ方向の動きについて定量的に評価することが可能であるため、分析システム１００は観察対象物Ｐの三次元的かつ経時的状態の分析に適している。加えて分析システム１００は撮像動画像に対する画像処理によって上記Ｚ方向の定量的評価が可能であり、レーザー等を照射する必要がないため、観察対象物Ｐの生理的状態を阻害することなく分析が可能となっている。
[コロニー様細胞に対する適用]
上記分析システム１００の説明では、細胞の中央部と周縁部によるＺ方向の動きの差異について例示したが、分析システム１００はコロニー様細胞について適用することも可能である。
図１９は、コロニー様心筋細胞を撮像した撮像動画像Ｇを示す。上述のように撮像動画像Ｇは、複数の焦点位置で撮像された動画像であり、図１９はそのうちの一つの動画像である。上述のよう動画像取得部１２１が撮像動画像Ｇを含む複数の動画像を取得し、動き解析部１２２及び位相合わせ部１２３によって撮像動画像の位相が合わされる。特徴量算出部１２４は、各撮像動画像について特徴量を算出する。
基準位置算出部１２５は、撮像動画像Ｇにおいて算出領域を設定する。図１９に算出領域Ｌ１〜Ｌ５を示す。各算出領域は、コロニーを形成する複数の細胞を含むものとすることができる。基準位置算出部１２５は、各算出領域に毎に、それに含まれる画素から算出した特徴量を利用して基準Ｚ位置を求める。
基準位置算出部１２５は、動画像撮像部１１０の対物レンズの焦点深度又は焦点間隔（図２参照）のうち大きい方が観察対象物Ｐの厚み変動より小さい場合、輝度差分最大値を算出することができる。一方で、基準位置算出部１２５は、動画像撮像部１１０の対物レンズの焦点深度又は焦点間隔（図２参照）のうち大きい方が観察対象物Ｐの厚み変動より大きい場合、分解能が不足する。
この場合、基準位置算出部１２５は、輝度差分最大値を推定することができる。例えば対物レンズの焦点深度が３．３５μｍ、焦点位置の間隔が４μｍである場合、厚み変動が４μｍ以上の場合、輝度差分最大値が算出できるが、それ以下の場合には輝度差分最大値の推定が必要となる。
図２０は、算出領域Ｌ１〜Ｌ５の拍動タイミング１における輝度差分を表したグラフである。算出領域Ｌ１〜Ｌ５のそれぞれにおける輝度差分最大値を白丸で示す。基準位置算出部１２５は、算出領域Ｌ１〜Ｌ５において輝度差分が最大となるＺ位置をその算出領域の基準Ｚ位置とすることができる。なお、同図において、算出領域Ｌ１の輝度差分最大値をＡ、基準Ｚ位置をＢとして示すが、他の算出領域Ｌについても同様である。
図２１は、図２０に示す基準Ｚ位置を算出領域毎に表したグラフであり、縦軸は基準Ｚ位置（図１９中Ｂ）である。算出領域Ｌ１と算出領域Ｌ５では基準Ｚ位置に３０μｍの差があることがわかる。
基準位置算出部１２５は、観察対象物Ｐの拍動による厚み変動（Ｚ方向変動）を算出することも可能である。図２２は算出領域Ｌ１における拍動タイミング１〜３の輝度差分を示し、図２３は算出領域Ｌ３における拍動タイミング１〜３の輝度差分を示す。算出領域Ｌ１では拍動タイミングによる輝度差分の差異はほとんどみられないが、算出領域Ｌ３では拍動タイミングによる輝度差部の差異が生じている。これは、算出領域Ｌ２における観察対象物ＰのＺ方向の動きが、算出領域Ｌ１における観察対象物ＰのＺ方向の動きより大きいためと考えられる。しかしながら輝度差分の拍動タイミングによる差異が小さいため、最大値を算出することは困難である。
この場合、基準位置算出部１２５は、輝度差分最大値ではなく、輝度差分値自体から基準Ｚ位置を推定することができる。図２４は、輝度差分値からの基準Ｚ位置を推定を示すグラフである。同図に示すように基準位置算出部１２５は、輝度差分が最大値となるＺ位置(横軸、図１９中Ｂ）と、輝度差分最大値（縦軸、図１９中Ａ）に相関がある領域（算出領域Ｌ１〜Ｌ４）において、輝度差分値から基準Ｚ位置を直接推定することができる。
[撮像動画像について]
上述のように特徴量算出部１２４は、位相合わせ部１２３によって位相が合わされた撮像動画像に対して特徴量を算出するとしたが、撮像動画像は位相が合っていればよく、必ずしも位相合わせ部１２３によって位相が合わされたものでなくてもよい。
即ち、観察対象物Ｐの拍動タイミングが予めわかっていれば、その拍動タイミングに合わせて動画像撮像部１１０が異なる焦点位置において動画像を撮像することにより、位相が合っている撮像動画像を生成することが可能である。また、任意の撮像時間で撮像された撮像動画像のうち、拍動タイミングに合わせてフレームを切り出すことにより、位相が合っている撮像動画像を生成してもよい。いずれの場合であっても、撮像動画像の位相が合っていれば本技術を適用することが可能である。
なお、本技術は以下のような構成もとることができる。
（１）
観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する特徴量算出部と、
上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する基準位置算出部と
を具備する分析システム。
（２）
上記（１）に記載の分析システムであって、
上記複数の動画像のそれぞれについて、動きを解析する動き解析部と、
上記動き解析部による動き解析結果を利用して、上記複数の動画像の位相を合わせる位相合わせ部と
をさらに具備する分析システム。
（３）
上記（１）又は（２）に記載の分析システムであって、
上記動き解析部は、上記複数の動画像のそれぞれについて、観察対象物の拍動に起因する拍動タイミングを抽出し、
上記位相合わせ部は、上記拍動タイミングが上記複数の動画像の間で一致するように上記複数の動画像の位相を合わせる
分析システム。
（４）
上記（１）から（３）のいずれか一つに記載の分析システムであって、
上記特徴量は輝度差分であり、
上記基準位置算出部は、上記輝度差分に基づいて上記基準位置を算出する
分析システム。
（５）
上記（１）から（４）のいずれか一つに記載の分析システムであって、
上記基準位置算出部は、焦点方向において上記輝度差分が最大となる位置を上記基準位置とする
分析システム。
（６）
上記（１）から（５）のいずれか一つに記載の分析システムであって
上記基準位置算出部は、焦点方向における上記輝度差分の相関関係に基づいて上記基準位置を推定する
分析システム。
（７）
上記（１）から（６）のいずれか一つに記載の分析システムであって
上記基準位置の時間変動に基づいて上記焦点方向の動きを定量化し、画像化する結果提示部
をさらに具備する分析システム。
（８）
観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する特徴量算出部と、
上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する基準位置算出部と
を具備する分析プログラム。
（９）
特徴量算出部が、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出し、
基準位置算出部が、上記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する
分析方法。
１００…分析システム
１１０…動画像撮像部
１２０…画像処理ユニット
１２１…動画像取得部
１２２…動き解析部
１２３…位相合わせ部
１２４…特徴量算出部
１２５…基準位置算出部
１２６…結果提示部

Claims (9)

  1. 観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する特徴量算出部と、
    前記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する基準位置算出部と
    を具備する分析システム。
  2. 請求項１に記載の分析システムであって、
    前記複数の動画像のそれぞれについて、動きを解析する動き解析部と、
    前記動き解析部による動き解析結果を利用して、前記複数の動画像の位相を合わせる位相合わせ部と
    をさらに具備する分析システム。
  3. 請求項２に記載の分析システムであって、
    前記動き解析部は、前記複数の動画像のそれぞれについて、観察対象物の拍動に起因する拍動タイミングを抽出し、
    前記位相合わせ部は、前記拍動タイミングが前記複数の動画像の間で一致するように前記複数の動画像の位相を合わせる
    分析システム。
  4. 請求項１に記載の分析システムであって、
    前記特徴量は輝度差分であり、
    前記基準位置算出部は、前記輝度差分に基づいて前記基準位置を算出する
    分析システム。
  5. 請求項４に記載の分析システムであって、
    前記基準位置算出部は、焦点方向において前記輝度差分が最大となる位置を前記基準位置とする
    分析システム。
  6. 請求項４に記載の分析システムであって、
    前記基準位置算出部は、焦点方向における前記輝度差分の相関関係に基づいて前記基準位置を推定する
    分析システム。
  7. 請求項１に記載の分析システムであって、
    前記基準位置の時間変動に基づいて前記焦点方向の動きを定量化し、画像化する結果提示部
    をさらに具備する分析システム。
  8. 観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出する特徴量算出部と、
    前記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する基準位置算出部と
    を具備する分析プログラム。
  9. 特徴量算出部が、観察対象物を含む試料が異なる焦点位置で撮像された複数の動画像であって、各動画像の動きの位相が等しい複数の動画像に対して、各動画像における特徴量を算出し、
    基準位置算出部が、前記特徴量に基づいて、焦点方向における観察対象物についての基準位置を算出する
    分析方法。
JP2015556639A 2014-01-07 2014-12-18 分析システム、分析プログラム及び分析方法 Expired - Fee Related JP6578950B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014000843 2014-01-07
JP2014000843 2014-01-07
PCT/JP2014/006327 WO2015104763A1 (ja) 2014-01-07 2014-12-18 分析システム、分析プログラム及び分析方法

Publications (2)

Publication Number Publication Date
JPWO2015104763A1 true JPWO2015104763A1 (ja) 2017-03-23
JP6578950B2 JP6578950B2 (ja) 2019-09-25

Family

ID=53523622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556639A Expired - Fee Related JP6578950B2 (ja) 2014-01-07 2014-12-18 分析システム、分析プログラム及び分析方法

Country Status (4)

Country Link
US (1) US10535137B2 (ja)
EP (1) EP3076219B1 (ja)
JP (1) JP6578950B2 (ja)
WO (1) WO2015104763A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276158B2 (ja) 2014-09-30 2018-02-07 富士フイルム株式会社 細胞撮像装置および方法
US20190162712A1 (en) * 2016-06-21 2019-05-30 Sony Corporation Information processing apparatus, information processing method, and program
CN112513707B (zh) * 2018-04-17 2023-05-26 克莫麦特公司 对象的描绘
CN110866906B (zh) * 2019-11-12 2022-07-08 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093378A (ja) * 2001-07-09 2003-04-02 Siemens Ag コンピュータトモグラフィのための方法およびコンピュータトモグラフィ装置
WO2004109228A1 (ja) * 2003-06-09 2004-12-16 Sumitomo Osaka Cement Co.,Ltd. 三次元形状測定装置
WO2005122901A1 (ja) * 2004-06-16 2005-12-29 Hitachi Medical Corporation 放射線断層像撮像装置
JP2012531933A (ja) * 2009-06-30 2012-12-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非ｅｃｇの生体同期収集による三次元胎児心臓撮像方法を用いた超音波画像診断システム及び方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774856B2 (ja) * 1986-10-16 1995-08-09 オリンパス光学工業株式会社 自動焦点調節方法
US7142703B2 (en) * 2001-07-17 2006-11-28 Cedara Software (Usa) Limited Methods and software for self-gating a set of images
US7139415B2 (en) * 2001-12-05 2006-11-21 The Regents Of The University Of California Robotic microscopy systems
US7756305B2 (en) * 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
US7194124B2 (en) * 2002-04-09 2007-03-20 University Of Iowa Research Foundation Reconstruction and motion analysis of an embryo
WO2004074500A2 (en) * 2003-02-21 2004-09-02 University Of Manitoba Method of monitoring genomic instability using 3d microscopy and analysis
US7415148B2 (en) * 2003-08-04 2008-08-19 Raytheon Company System and method for detecting anomalous targets including cancerous cells
US20050053267A1 (en) * 2003-09-05 2005-03-10 Varian Medical Systems Technologies, Inc. Systems and methods for tracking moving targets and monitoring object positions
JP4756819B2 (ja) * 2003-10-21 2011-08-24 オリンパス株式会社 走査型顕微鏡システム
US7388976B2 (en) * 2004-03-09 2008-06-17 Siemens Medical Solutions Usa, Inc. Time-based system to link periodic X-ray images
US7372984B2 (en) * 2004-05-05 2008-05-13 California Institute Of Technology Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences
WO2007037439A1 (ja) * 2005-09-29 2007-04-05 Olympus Corporation 焦点位置決定方法、焦点位置決定装置、微弱光検出装置及び微弱光検出方法
JP5307539B2 (ja) * 2006-05-31 2013-10-02 オリンパス株式会社 生体試料撮像方法および生体試料撮像装置
US7916304B2 (en) * 2006-12-21 2011-03-29 Howard Hughes Medical Institute Systems and methods for 3-dimensional interferometric microscopy
US20100195868A1 (en) * 2007-05-31 2010-08-05 Lu Peter J Target-locking acquisition with real-time confocal (tarc) microscopy
WO2009115108A1 (en) * 2008-03-19 2009-09-24 Ruprecht-Karls-Universität Heidelberg A method and an apparatus for localization of single dye molecules in the fluorescent microscopy
US8184298B2 (en) * 2008-05-21 2012-05-22 The Board Of Trustees Of The University Of Illinois Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization
WO2010044870A1 (en) * 2008-10-14 2010-04-22 The Burnham Institute For Medical Research Automated scanning cytometry using chromatic aberration for multiplanar image acquisition
DE102008059788B4 (de) * 2008-12-01 2018-03-08 Olympus Soft Imaging Solutions Gmbh Analyse und Klassifizierung insbesondere biologischer oder biochemischer Objekte auf Basis von Zeitreihen-Bildern, anwendbar bei der zytometrischen Time-Lapse-Zellanalyse in der bildbasierten Zytometrie
EP2411964A1 (en) * 2009-03-27 2012-02-01 Koninklijke Philips Electronics N.V. Synchronization of two image sequences of a periodically moving object
US8599383B2 (en) * 2009-05-06 2013-12-03 The Regents Of The University Of California Optical cytometry
CN102906789B (zh) * 2010-03-29 2017-05-17 索尼公司 数据处理装置、数据处理方法、图像处理装置和方法以及程序
JP5531710B2 (ja) * 2010-03-29 2014-06-25 ソニー株式会社 記録装置および記録方法
US11105686B2 (en) * 2010-05-10 2021-08-31 University of Pittshurgh-Of the Commonwealth System of Higher Education Spatial-domain low-coherence quantitative phase microscopy
US8611621B2 (en) * 2010-09-08 2013-12-17 Given Imaging Ltd. System and method for automatic detection of in vivo contraction video sequences
JP5745919B2 (ja) * 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
US9557549B2 (en) * 2011-12-09 2017-01-31 Massachusetts Institute Of Technology Systems and methods for self-referenced quantitative phase microscopy
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images
US9930241B2 (en) * 2012-06-07 2018-03-27 Sony Corporation Image processing apparatus, image processing program, and image processing method
SG11201503293VA (en) * 2012-10-30 2015-05-28 California Inst Of Techn Fourier ptychographic imaging systems, devices, and methods
EP2929508A1 (en) * 2012-12-07 2015-10-14 Canon Kabushiki Kaisha Image generating apparatus and image generating method
CN105026977B (zh) * 2013-03-13 2017-09-08 索尼公司 信息处理装置、信息处理方法和信息处理程序
JP6160187B2 (ja) * 2013-04-09 2017-07-12 ソニー株式会社 分析装置、分析プログラム及び分析システム
JP2016530567A (ja) * 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
US10061111B2 (en) * 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
WO2015117115A1 (en) * 2014-02-03 2015-08-06 President And Fellows Of Harvard College Three-dimensional super-resolution fluorescence imaging using airy beams and other techniques
US10247672B2 (en) * 2014-09-29 2019-04-02 Howard Hughes Medical Institute Non-linear structured illumination microscopy
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093378A (ja) * 2001-07-09 2003-04-02 Siemens Ag コンピュータトモグラフィのための方法およびコンピュータトモグラフィ装置
WO2004109228A1 (ja) * 2003-06-09 2004-12-16 Sumitomo Osaka Cement Co.,Ltd. 三次元形状測定装置
WO2005122901A1 (ja) * 2004-06-16 2005-12-29 Hitachi Medical Corporation 放射線断層像撮像装置
JP2012531933A (ja) * 2009-06-30 2012-12-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非ｅｃｇの生体同期収集による三次元胎児心臓撮像方法を用いた超音波画像診断システム及び方法

Also Published As

Publication number Publication date
EP3076219A4 (en) 2017-08-30
US20170039713A1 (en) 2017-02-09
EP3076219A1 (en) 2016-10-05
US10535137B2 (en) 2020-01-14
WO2015104763A1 (ja) 2015-07-16
EP3076219B1 (en) 2020-04-08
JP6578950B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
JP5576739B2 (ja) 画像処理装置、画像処理方法、撮像装置及びプログラム
JP6578950B2 (ja) 分析システム、分析プログラム及び分析方法
CN104101294B (zh) 分析装置、分析程序以及分析系统
JP6467813B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP5464279B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP2014188223A (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2019505836A5 (ja)
US20130194403A1 (en) Endoscope apparatus, image processing method, and information storage device
JP2014203038A5 (ja)
FR3057068B1 (fr) Dispositif d'observation d'un echantillon et procede d'observation d'un echantillon
JPWO2013183233A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP6029293B2 (ja) 走査型電子顕微鏡の画像処理装置、および、走査方法
JP2016051167A (ja) 画像取得装置およびその制御方法
TWI554740B (zh) 高速三維成像之光學系統
WO2013185936A1 (en) Apparatus and method for estimating a property of a surface using speckle imaging
JP5259348B2 (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP2008090071A5 (ja)
JP2014154981A5 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
US11256078B2 (en) Continuous scanning for localization microscopy
JP2016206228A (ja) 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム
JP2008111726A5 (ja)
JP6658926B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP7452702B2 (ja) 学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190812

R151 Written notification of patent or utility model registration

Ref document number: 6578950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees