JP6996709B2 - 画像処理方法、画像判定方法、プログラムおよび記録媒体 - Google Patents

画像処理方法、画像判定方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6996709B2
JP6996709B2 JP2018015378A JP2018015378A JP6996709B2 JP 6996709 B2 JP6996709 B2 JP 6996709B2 JP 2018015378 A JP2018015378 A JP 2018015378A JP 2018015378 A JP2018015378 A JP 2018015378A JP 6996709 B2 JP6996709 B2 JP 6996709B2
Authority
JP
Japan
Prior art keywords
image
region
embryo
image processing
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018015378A
Other languages
English (en)
Other versions
JP2019133429A (ja
Inventor
靖 黒見
正嘉 小林
徹也 大林
拓也 会田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Tottori University
Original Assignee
Screen Holdings Co Ltd
Tottori University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Tottori University filed Critical Screen Holdings Co Ltd
Priority to JP2018015378A priority Critical patent/JP6996709B2/ja
Priority to EP19747001.6A priority patent/EP3748580B1/en
Priority to PCT/JP2019/003106 priority patent/WO2019151302A1/ja
Priority to CN201980009540.7A priority patent/CN111630564A/zh
Priority to US16/966,488 priority patent/US11710237B2/en
Publication of JP2019133429A publication Critical patent/JP2019133429A/ja
Application granted granted Critical
Publication of JP6996709B2 publication Critical patent/JP6996709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1429Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Description

この発明は、胚を断層撮像することで得られる胚の三次元像に対応するデータから、胚を評価するユーザに有用な情報を提供するための画像処理技術に関するものである。
例えば不妊治療を目的とした生殖補助医療においては、体外で受精させ一定期間培養した胚(受精卵)を胎内に戻すことが行われる。しかしながら、その成功率は必ずしも高くなく、患者の精神的および経済的な負担も大きい。この問題を解決するために、培養される胚の状態を的確に判断する方法が模索されている。
従来、胚培養が良好に進行しているか否かの評価については、例えば顕微鏡観察により医師や胚培養士が目視で行うことが一般的である。その判断指標として例えばVeeck分類やGardner分類などが広く用いられているが、これらは胚の形態学的特徴に対するおおよその判断基準を示したものにすぎず、最終的な評価は評価者の主観的判断に依存しているのが現状である。このため、客観的かつ定量的な評価を可能とするための技術が求められる。
例えば特許文献1では、光干渉断層撮像(光コヒーレンストモグラフィ、Optical Coherence Tomography;OCT)等の非侵襲の断層撮像技術を応用して胚の品質を評価する技術が提案されている。この技術では、OCT撮像により得られる断層画像から胚の三次元像が再構成される。そして、その三次元像に基づき、胚の形態学的基準としての割球の数、その規則性、フラグメンテーション率等の基準を用いて胚の品質が評価される。
特開2017-521067号公報
上記文献には、OCT撮像で得られる三次元像に基づき胚の評価が可能であることが記載され、胚を種々の方向から見た三次元像の例が開示されているものの、具体的な像の加工や定量的な指標の算出については述べられていない。すなわち、この従来技術は、これまでの目視観察に供されていた顕微鏡像のような二次元像を単に三次元像に置き換えたものにすぎない。このため、従来の二次元像を用いるケースに比べれば胚の評価作業をより効果的に支援することができるものの、OCT撮像結果から得られる情報が十分有効に活用されているとは言えない。
例えば、上記したVeeck分類やGardner分類などでは、胚に含まれる細胞の大きさや形状がよく揃っていることが良質の胚の条件とされている。このためには、胚を構成する個々の細胞のそれぞれについて、その大きさや形状を個別に評価するための定量的な指標が撮像データから求められればユーザにとって便宜である。しかしながら、上記従来技術は、例えば胚表面の透明体を消去して内部の細胞を露出させた表示態様やそれを回転させ種々の方向から観察できるようにした表示態様が例示されるものの(例えば図5A~図5I)、上記した評価のための定量化に資するものではない。
このように、OCT撮像による得られる断層画像およびそれから再構成される三次元像は、例えば胚の内部構造等、胚の評価のために有用な多くの情報を提供することができる可能性を有しているが、そのための具体的なデータ処理方法についてはこれまで確立されるに至っていない。
この発明は上記課題に鑑みなされたものであり、OCT撮像により得られるデータから定量的な情報を求めるのに適したデータ処理方法を提供することで、ユーザによる胚の評価作業を効果的に支援することを目的とする。
この発明の一の態様は、上記目的を達成するため、培養された胚を光干渉断層撮像して求められた、前記胚の三次元像に対応する原画像データを取得する工程と、前記原画像データに基づき、前記三次元像を複数の領域に領域分割する工程とを備え、前記領域分割する工程では、前記三次元像に対しLocal Thickness演算を実行して前記三次元像に含まれるオブジェクトの大きさを指標する指標値を求め、該指標値が所定の第1閾値より大きい領域と小さい領域とに前記三次元像を分割し、分割された領域の各々を、Watershedアルゴリズムにより分割する画像処理方法である。
また、この発明の他の一の態様は、上記各工程をコンピュータに実行させるためのプログラムである。また、この発明の他の一の態様は、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体である。
詳しくは後述するが、胚、特に哺乳類の受精卵は、その外形が概ね球形であり、またその内部も、概ね球形ないし楕円体である細胞が複数集まった構造となっている。このような胚を構成する個々の細胞を個別に評価するためには、各細胞がどのように空間領域を占めているか、言い換えれば三次元空間における細胞間の境界を画定する必要がある。
このような境界の画定は、OCT画像のような三次元像に対する領域分割処理によって実施することが可能である。例えば、公知の画像処理アルゴリズムであるWatershed(分水嶺)アルゴリズムを利用することができる。しかしながら、本願発明者の知見によれば、Watershedアルゴリズムによる領域分割の結果が、三次元像から熟練者が判定する細胞の境界と乖離したものとなるケースが多い。胚の三次元像においては、卵割により形成される細胞の数が多くなるにしたがって細胞の境界が次第に明瞭でなくなってくることや、極体や不完全な細胞分裂によって生じた微小な構造体(例えばフラグメント)や画像ノイズなどが含まれること等が、誤判定の原因になっているものと考えられる。
そこで、本発明では、細胞同士の境界や、細胞と細胞以外の比較的小さな構造体との境界を明確にするために、Local Thickness演算と呼ばれる画像処理の一手法を用いる(特に三次元像に適用されるとき、3D Local Thickness演算ともいう)。この3D Local Thickness演算では、三次元像中のオブジェクトに内接する球の半径の大きさに基づいてオブジェクトが階調表現される。例えば、比較的大きな構造を有するオブジェクトは高い階調で表される一方、比較的小さなオブジェクトはより低い階調で表される。このようにオブジェクトの大きさに依存する値(この場合は階調値)を指標値として利用すれば、細胞などに対応する比較的大きなオブジェクトとフラグメントなどに対応する微小なオブジェクトとの区別が可能となり、また細胞同士の境界が明瞭となる。このため、こうして分割される領域に対しさらにWatershedアルゴリズムによる領域分割を実行すれば、実際の細胞等の境界により合致した分割結果を得ることができる。
このため、上記の画像処理方法による分割された領域のうち、比較的大きなものを個々の細胞として個別に評価することで、その形状や大きさ等を定量的に示す種々の指標値を求めることが可能になる。例えば、Local Thickness演算により得られる指標値が所定の第1閾値より大きいか小さいかで、細胞に対応する領域とそれ以外の領域とを区別することが可能である。
また、この発明の他の一の態様は、上記した画像処理方法により、胚の三次元像を複数の領域に分割し、前記複数の領域のうち前記指標値が前記第1閾値より大きい第1領域を割球の集合体と判定する画像判定方法である。これにより、胚において比較的大きな構造体である細胞と、極体やフラグメント等の比較的小さな構造体とを区別し、それぞれの三次元形状等の特徴を定量的に求めて、胚の評価に供することが可能となる。
上記のように、本発明によれば、培養された胚をOCT撮像することにより得られるデータから、胚を構成する個々の細胞の評価に必要な定量的な情報を求めることが可能になる。
断層撮像を行うための画像処理装置の構成例を示す原理図である。 この画像処理装置における撮像原理を説明する図である。 OCT装置の具体的構成例を示す図である。 処理対象となる胚の代表的な構造を例示する図である。 この実施形態の画像処理方法を示すフローチャートである。 大きな構造体と小さな構造体とを分離する処理の原理を示す図である。 胚盤胞への適用例を示す図である。 領域分割による個々の細胞の分離を模式的に示す図である。 細胞の楕円体近似を模式的に示す図である。 濃度ヒストグラムの例を示す図である。
以下、本発明に係る画像処理方法の具体的な実施形態について説明する。本実施形態は、培養容器に担持された培地(培養液)中で培養された胚を、光干渉断層撮像(Optical Coherence Tomography;OCT)技術によって断層撮像し、これにより得られたデータに基づき、胚を構成する細胞の定量的情報を出力するものであり、ユーザ(具体的には医師または胚培養士)による胚の評価作業を支援するための本発明に係る画像処理方法を具現化したものである。例えば不妊治療を目的とする受精卵の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の画像処理方法を適用することができる。
最初に、断層画像を撮像するための画像処理装置の構成と、当該画像処理装置による撮像原理とについて説明する。その後に、撮像により取得されたデータを用いて二次元マップを作成する画像処理について説明する。
図1は断層撮像を行うための画像処理装置の構成例を示す原理図である。この画像処理装置1は、培地中で培養された胚を被撮像物として断層撮像し、得られた断層画像を画像処理して、被撮像物の立体像を作成する。以下の各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面を表す。また、Z軸が鉛直軸を表し、より詳しくは(-Z)方向が鉛直下向き方向を表している。
画像処理装置1は保持部10を備えている。保持部10は、ガラス製または樹脂製の透明な底部を持つディッシュやプレートと呼ばれる培養容器11を、その開口面を上向きにして略水平姿勢に保持する。容器11には予め適宜の培地Mが所定量注入されており、培地中では容器11の底部111に試料Sp(ここでは胚)が培養されている。図1では1つの試料Spのみが記載されているが、1つの容器11内で複数の試料Spが培養されていてもよい。
保持部10により保持された容器11の下方に、撮像ユニット20が配置される。撮像ユニット20には、被撮像物の断層画像を非接触、非破壊(非侵襲)で撮像することが可能な光干渉断層撮像(Optical Coherence Tomography;OCT)装置が用いられる。詳しくは後述するが、OCT装置である撮像ユニット20は、被撮像物への照明光を発生する光源21と、ビームスプリッタ22と、物体光学系23と、参照ミラー24と、分光器25と、光検出器26とを備えている。
また、画像処理装置1はさらに、装置の動作を制御する制御ユニット30と、撮像ユニット20の可動機構を制御する駆動制御部40とを備えている。制御ユニット30は、CPU(Central Processing Unit)31、A/Dコンバータ32、信号処理部33、3D復元部34、インターフェース(IF)部35、画像メモリ36およびメモリ37を備えている。
CPU31は、所定の制御プログラムを実行することで装置全体の動作を司り、CPU31が実行する制御プログラムや処理中に生成したデータはメモリ37に保存される。A/Dコンバータ32は、撮像ユニット20の光検出器26から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部33は、A/Dコンバータ32から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の断層画像を作成する。3D復元部34は、撮像された複数の断層画像の画像データに基づいて、撮像された胚の三次元像(3D像)を作成する機能を有する。信号処理部33により作成された断層画像の画像データおよび3D復元部34により作成された三次元像の画像データは、画像メモリ36により適宜記憶保存される。
インターフェース部35は画像処理装置1と外部との通信を担う。具体的には、インターフェース部35は、外部機器と通信を行うための通信機能と、ユーザからの操作入力を受け付け、また各種の情報をユーザに報知するためのユーザインターフェース機能とを有する。この目的のために、インターフェース部35には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス351と、信号処理部33により作成された断層画像や3D復元部34により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部352とが接続されている。
また、CPU31は駆動制御部40に制御指令を与え、これに応じて駆動制御部40は撮像ユニット20の可動機構に所定の動作を行わせる。次に説明するように、駆動制御部40により実行される撮像ユニット20の走査移動と、光検出器26による受光光量の検出との組み合わせにより、被撮像物である試料Sp(具体的には胚)の断層画像が取得される。
図2はこの画像処理装置における撮像原理を説明する図である。より具体的には、図2(a)は撮像ユニット20における光路を示す図であり、図2(b)は試料Spの断層撮像の様子を模式的に示す図である。前記したように、撮像ユニット20は光干渉断層撮像(OCT)装置として機能するものである。なお、ここでは説明のために試料Spを略球形として表示しているが、実際の撮像において試料Spの形状は特に限定されない。
撮像ユニット20では、例えば発光ダイオードまたはスーパールミネッセントダイオード(SLD)などの発光素子を有する光源21から、広帯域の波長成分を含む低コヒーレンス光ビームL1が出射される。光ビームL1はビームスプリッタ22に入射して分岐し、破線矢印で示すように一部の光L2が容器11に向かい、一点鎖線矢印で示すように一部の光L3が参照ミラー24に向かう。
容器11に向かった光L2は、物体光学系23を経て容器11に入射する。より具体的には、ビームスプリッタ22から出射される光L2は、物体光学系23を介して容器底部111に入射する。物体光学系23は、ビームスプリッタ22から容器11に向かう光L2を容器11内の試料Spに収束させる機能と、試料Spから出射される反射光を集光してビームスプリッタ22に向かわせる機能とを有する。図では物体光学系23は単一の対物レンズにより代表的に表されているが、複数の光学素子が組み合わされたものであってもよい。
物体光学系23は、駆動制御部40に設けられた焦点調整機構41により、Z方向に移動可能に支持されている。これにより、被撮像物に対する物体光学系23の焦点位置がZ方向に変更可能となっている。物体光学系23の光軸は鉛直方向と平行であり、したがって平面状の容器底部111に垂直である。また、物体光学系23への照明光の入射方向は光軸と平行であり、その光中心が光軸と一致するように、物体光学系23の配置が定められている。
試料Spが光L2に対する透過性を有するものでなければ、容器底部111を介して入射した光L2は試料Spの表面で反射される。一方、試料Spが光L2に対してある程度の透過性を有するものである場合、光L2は試料Sp内まで進入してその内部の構造物により反射される。光L2として例えば近赤外線を用いることで、入射光を試料Sp内部まで到達させることが可能である。試料Spからの反射光は散乱光として種々の方向に放射される。そのうち物体光学系23の集光範囲内に放射された光L4が、物体光学系23で集光されてビームスプリッタ22へ送られる。
参照ミラー24は、駆動制御部40に設けられたミラー駆動機構42により、その反射面を光L3の入射方向に対し垂直姿勢に、しかも、該入射方向に沿った方向(図ではY方向)に移動可能に支持されている。参照ミラー24に入射した光L3は反射面で反射されて、入射光路を逆向きに辿るように進む光L5としてビームスプリッタ22に向かう。この光L5が参照光となる。ミラー駆動機構42により参照ミラー24の位置が変更されることにより、参照光の光路長が変化する。
試料Spの表面もしくは内部の反射面で反射された反射光L4と、参照ミラー24で反射された参照光L5とは、ビームスプリッタ22を介して光検出器26に入射する。このとき、反射光L4と参照光L5との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくOCT撮像技術は、フーリエドメイン(Fourier Domain)OCT(FD-OCT)と称される。
この実施形態の撮像ユニット20は、ビームスプリッタ22から光検出器26に至る干渉光の光路上に分光器25が設けられている。分光器25としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器25により波長成分ごとに分光されて光検出器26に受光される。
光検出器26が検出した干渉光に応じて光検出器26から出力される干渉信号をフーリエ変換することで、試料Spのうち、光ビームL2の入射位置における深さ方向、つまりZ方向の反射光強度分布が求められる。容器11に入射する光ビームL2をX方向に走査することで、XZ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とする試料Spの断層画像を作成することができる。以下、本明細書では、X方向へのビーム走査によってXZ平面と平行な断面における1つの断層画像Itを取得する一連の動作を、1回の撮像と称することとする。
また、Y方向におけるビーム入射位置を多段階に変更しながら、その都度断層画像の撮像を行うことで、図2(b)に示すように、試料SpをXZ平面と平行な断面で断層撮像した多数の断層画像Itを得ることができる。Y方向の走査ピッチを小さくすれば、試料Spの立体構造を把握するのに十分な分解能の画像データを得ることができる。X方向およびY方向へのビーム走査は、例えば図示しないガルバノミラー等の光路を変化させる光学部品を用いてビーム入射位置をXY方向に変化させる方法、試料Spを担持する容器11と撮像ユニット20とのいずれかをXY方向に移動させてこれらの相対位置を変化させる方法などにより実現可能である。
なお、上記の原理説明では、撮像ユニット20において光源21からの光を照明光と参照光とに分岐させる分波機能、および信号光と参照光とを合成して干渉光を生じさせる機能がビームスプリッタ22により実現されている。一方、近年では、OCT装置においてこのような分波・合波機能を担うものとして、以下に例示するような光ファイバカプラが用いられる場合がある。
図3はOCT装置の具体的構成例を示す図である。なお、理解を容易にするために、以下の説明では、上記した原理図の構成と同一のまたは相当する構成に同一符号を付すものとする。その構造および機能は、特に説明のない限り上記原理図のものと基本的に同じであり、詳しい説明は省略する。また、光ファイバカプラによる干渉光を検出するOCT撮像原理も基本的に上記と同じであるので、詳しい説明を省略する。
図3(a)に示す構成例では、撮像ユニット20aは、ビームスプリッタ22に代わる分波・合波器として光ファイバカプラ220を備えている。光ファイバカプラ220を構成する光ファイバの1つ221は光源21に接続されており、光源21から出射される低コヒーレンス光は、光ファイバカプラ220により2つの光ファイバ222,223への光に分岐される。光ファイバ222は物体系光路を構成する。より具体的には、光ファイバ222の端部から出射される光はコリメータレンズ223を介して物体光学系23に入射する。被撮像物からの反射光(信号光)は物体光学系23、コリメータレンズ223を介して光ファイバ222に入射する。
他の光ファイバ224は参照系光路を構成する。より具体的には、光ファイバ224の端部から出射される光はコリメータレンズ225を介して参照ミラー24に入射する。参照ミラー24からの反射光(参照光)はコリメータレンズ225を介して光ファイバ224に入射する。光ファイバ222を伝搬する信号光と光ファイバ224を伝搬する参照光とが光ファイバカプラ220において干渉し、干渉光が光ファイバ226および分光器25を介して光検出器26に入射する。光検出器26により受光された干渉光から被撮像物における反射光の強度分布が求められることは上記原理通りである。
図3(b)に示す例でも、撮像ユニット20bに光ファイバカプラ220が設けられる。ただし光ファイバ224は使用されず、光ファイバ222から出射される光の光路に対してコリメータレンズ223およびビームスプリッタ227が設けられる。そして、前述の原理通り、ビームスプリッタ227により分岐される2つの光路にそれぞれ物体光学系23、参照ミラー24が配置される。このような構成ではビームスプリッタ227により信号光と参照光とが合成され、それにより生じた干渉光が光ファイバ222,226を通って光検出器26へ導かれる。
これらの例では、図2(a)の原理図では空間中を進行する各光の光路の一部が光ファイバに置き換えられているが動作原理は同じである。これらの例においても、焦点調整機構41が物体光学系23を容器11に対し接近・離間方向に移動させることにより、被撮像物に対する物体光学系23の焦点深さを調整することが可能である。また、ミラー駆動機構42が参照ミラー24を光の入射方向に沿って移動させることにより、参照光の光路長を変更可能である。
以下、この画像処理装置1を用いた画像処理方法について詳説する。画像処理装置1の構成は、上記したビームスプリッタを用いるもの、光ファイバカプラを用いるもののいずれであっても適用可能である。また、断層画像を撮像するための撮像装置としては上記したFD-OCT撮像装置に限定されず、例えばタイムドメインOCT(TD-OCT)撮像装置など他の撮像原理に基づくものも適用可能である。以下の画像処理方法では、試料Spおよびその周囲を含む三次元空間内の各位置に入射した照明光の反射光が信号光とされ、三次元空間内の位置と、当該位置からの信号光の光量に対応する信号の強度とを対応付けたデータが使用される。したがって、このようなデータを取得することのできる撮像方法であればよい。
図4は処理対象となる胚の代表的な構造を例示する図である。画像処理装置1が、例えば不妊治療を目的として利用されるとき、体外受精されたヒト受精卵の培養の初期段階のものが画像処理装置1の撮像対象物となる。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。本実施形態の画像処理方法は、例えば受精直後から胚盤胞期における胚を観察するのに好適な情報をユーザに提供するものである。
図4(a)は初期段階(例えば4細胞期から桑実胚期)の胚の構造を模式的に示すものである。胚E1の外形は概ね球形である。その表面は透明帯と呼ばれるゼリー状の糖タンパク質の層Zで覆われており、その内部に受精卵が細胞分裂することで生じる複数の細胞Cが含まれる。培養が良好に進行する状態では、図4(a)に示すように、透明帯Zの内部は比較的大きな細胞Cにより占められており、卵割が進むにつれてその数は増えてゆく。Veeck分類によると、それらの細胞は揃っていることが望ましいとされている。一方、培養の状態が良好でない場合、図4(b)に示すように、胚E2において細胞Cの大きさが不揃いであったり、卵割により生成される細胞C以外にフラグメントと呼ばれる微小な断片が生じたりすることがある。なお、図4(b)では細胞Cの大きさのばらつきとフラグメントFとが共に発生した状態を示しているが、これらの一方のみが出現することもある。
いずれにしても、胚の状態としては図4(a)に示すものよりも劣っていると言える。したがって、桑実胚までの初期胚においては、卵割により形成される各細胞Cの大きさが揃っているか、各細胞Cの表面が滑らかであるか、フラグメントFが生じているか等が、培養状態を評価するための指標となり得る。
図4(c)および図4(d)は胚盤胞期における胚の内部構造を模式的に示すものである。このうち図4(c)は状態が良好な胚E3を示し、図4(d)はこれより状態の劣る胚E4を示している。胚盤胞期においては、図4(c)に示すように、卵割の進んだ細胞Cが胚の表面に薄い層として並び栄養外胚葉Tを形成する。栄養外胚葉Tで囲まれる内部空間は、胞胚腔Bとよばれる空洞が生じる。また、内部空間の一部に、多数の細胞Cが密集した内細胞塊Iが形成される。
状態のよい胚E3では、栄養外胚葉Tが多数の細胞Cにより密に形成され、また内細胞塊Iも比較的多くの細胞Cにより密に構成される。一方、これより状態の劣る胚E4では、栄養外胚葉Tがより少ない細胞Cで疎に形成されたり、内細胞塊Iが少ない細胞で構成され小さいものとなったりすることがある。したがって、栄養外胚葉Tの厚さや密度、内細胞塊Iの大きさや密度により、胚の培養状態を指標することができる。
図5はこの実施形態の画像処理方法を示すフローチャートである。なお、以下に示す一連の処理のうち、ステップS101は、画像処理装置1とは別に準備された適宜のインキュベータ内で実施される。また、ステップS102以降の処理については、画像処理装置1に設けられたCPU31がメモリ37に予め記録された制御プログラムを実行することにより実現されるが、これに限定されない。
例えば、図5のステップS103以降については、一般的な演算機能および画像出力機能を有するコンピュータ装置によって実行することが可能であり、これらの処理については、画像処理装置1とは別のコンピュータ装置が画像処理装置1からOCT撮像データを受け取って処理する構成であってもよい。このようにすれば、画像処理装置1のCPU31は撮像に特化された処理のみを実行すればよいこととなり、その処理負荷が軽減される。
以下、具体的な処理の内容を説明する。最初に、評価の対象となる胚が適宜の培養環境下で培養される(ステップS101)。培養された胚は、適宜のタイミングで、画像処理装置1によりOCT撮像される(ステップS102)。撮像により得られたデータ、具体的には胚およびその周囲を含む三次元空間の各位置からの反射光強度を表すデータが、原信号データとしてメモリ37または画像メモリ36に保存される。この原信号データを用い、三次元空間における座標位置ごとの画素データ(ボクセルデータ)を作成することにより、特許文献1に示されたような胚の三次元像を構成し画像として出力することが可能である。作成されたボクセルデータは原画像データとして画像メモリ36に保存される。
後の処理のために三次元像が二値化される(ステップS103)。例えば、ボクセルデータにより表される各画素のうち、画素値(輝度値)が予め定められた閾値を超える画素を「1」、画素値が閾値より小さい画素を「0」と表すことで、三次元像は各位置の輝度に応じて二値化される。原画像データを可視化したOCT画像では、撮像範囲に含まれる三次元空間のうち反射光強度の高い、つまり光を反射する物質の密度が高い領域が高輝度で表される一方、物質の密度が低く反射光強度の低い領域は低輝度で表される。三次元像を二値化することで、物質の密度が一定の値以上である領域とそれ以外の領域とを区分することができる。
前記したように、胚の三次元像においては卵割により形成された割球の他に、透明帯、栄養外胚葉、フラグメント等の構造体が含まれ得る。胚を詳細に評価する上で、これらを識別する必要がある。この目的のために、まず三次元像に含まれる構造体間の境界を画定させる。このような境界の画定には、三次元空間における領域分割を実行する画像処理アルゴリズム、例えば公知のWatershed(分水嶺)アルゴリズムを利用することが可能である。Watershedアルゴリズムでは、二値化された三次元像の凸部と凹部との境界が領域の境界として特定される。
しかしながら、OCT撮像により得られた胚の三次元像においては、Watershedアルゴリズムによる分割結果が実際の胚構造と合致しないケースが多い。本願発明者の知見によれば、これは比較的大きな構造を有する割球の細胞同士の境界の不明瞭さや、割球の周囲に分布する、透明帯、栄養外胚葉、フラグメント等のより小さな構造を有する構造体や、画像ノイズの影響と考えられる。そこで、Watershedアルゴリズムによる領域分割に先立って、三次元像における微小な構造体をより大きな構造体から分離するための処理を実行する。具体的には、以下の原理に基づく処理が実行される。
ここでは、図4(b)に示した胚E4を対象とする場合を例として説明する。図4(b)に示すように、胚E4の像は、卵割により形成される複数の細胞C、その周囲に分布するフラグメントFおよびこれらの取り囲む透明帯Zを含む。
以下、二値化された三次元像において構造体が占める空間領域を「構造体内部空間」と称する。また、三次元像における構造体の表面、つまり上記した構造体内部空間とその周囲の空間との境界である曲面を、「構造体表面」と称する。また、以下では、理解を容易にするために三次元像を一の断面で切断した二次元画像を用いて処理の説明を行うが、実際の画像処理はボクセルデータにより表される三次元画像に対して行われる。
図6は大きな構造体と小さな構造体とを分離する処理の原理を示す図である。図6(a)は、図4(b)に示す胚E2の二値化画像に相当する二次元画像である。この処理の基本原理は、図6(b)に示すように、二値化画像を内接球(二次元画像では内接円)の集合体としてモデル化し、適宜の閾値(本発明の「第1閾値」)より大きい半径の内接球で表される領域(以下、「第1領域」という)と閾値より小さい半径の内接球で表される領域(以下、「第2領域」という)とに区分する、という考え方である。なお、内接球の半径が閾値と等しいケースを第1領域、第2領域のいずれに含めるかは任意である。このようなモデルでは、細胞Cおよびその凝集塊のように比較的大きな構造体は比較的大きな半径の内接球の集合体として表される一方、透明帯ZやフラグメントF等の小さな構造体はより小さな半径の内接球の集合体として表される。したがって、内接球の半径の大きさによって構造体を区分することで上記目的が達成される。例えば、図6(b)に示す閾値Rth以下の半径の内接球で表される構造体を消去すれば、図6(c)に示すように、大きな構造を有する細胞の集合体に対応する領域のみを抽出することができる。
原理的には、次のような演算により構造体のモデル化が可能である。構造体内部空間の各点のうち、当該点を中心として構造体表面に内接する内接球の半径が最大となる、言い換えれば構造体表面までの距離が最大である点を見出す。中心および半径により、このときの内接球を特定することができる。このような点は必ずしも1つとは限らない。次に、既に特定された内接球に含まれない構造体内部空間の各点のうち、当該点を中心として構造体表面に内接する内接球の半径が最大となる点を見出す。これを構造体内部空間の全ての点が少なくとも1つの内接球に含まれるまで繰り返すことで、構造体が内接球の集合体として表されることになる。
このような演算を収束させるには長い時間が必要である。より短時間で同様の結果を得られる演算方法として、例えばLocal Thickness演算アルゴリズムが提唱されており(例えば、“Computing Local Thickness of 3D Structures with ImageJ”, Robert P. Dougherty and Karl-Heinz Kunzelmann, Microscopy & Microanalysis 2007 Meeting, August 5-9, Broward County Convention Center, Ft. Lauderdale, Florida)、本実施形態にもこれを適用することが可能である。この演算では、画像中のオブジェクトの各点について、当該点を含み構造体表面に内接する球のうち半径が最大であるものが探索される。そして、内接球の半径が大きいほど当該点に対して高いスコアが与えられる。演算結果は、スコアの高い点ほど高い階調値(輝度値)となるような表示態様で出力される。
このように、Local Thickness演算では、三次元像中のオブジェクトが、当該オブジェクトに内接する球の半径の大きさに応じた階調値で表現される。そのため、比較的大きなオブジェクトは比較的高い階調値(輝度値)に、比較的小さなオブジェクトは比較的低い階調値(輝度値)に階調変換される。この階調値(輝度値)を、オブジェクトを区別するための指標値として利用すれば、細胞などの比較的大きなオブジェクトとフラグメントなどの微小なオブジェクトとの区別が可能になるだけでなく、細胞同士の境界が明瞭となり、領域間の適切な分割が可能となる。
例えば図6(d)に示すように、内接球の半径が最大値Rmaxである点に対して最大階調値Gmaxが割り当てられ、内接球の半径が小さいほど階調値も小さくなるように、構造体内部空間の各点に階調値が割り当てられる。したがって、Local Thickness演算によって求められた各点の階調値に対し、内接球半径が閾値Rthであるときの階調値に対応する閾値Gthを設定し、これより大きい階調値が割り当てられた点は比較的大きな構造に含まれる第1領域の内部に存在する一方、これより小さい階調値が割り当てられた点は比較的小さな構造に含まれる第2領域の内部に存在するとみなすことができる。
前記したように、卵割により形成される細胞Cおよびそれらの凝集体または割球やその集合体は比較的大きな構造を有する。すなわち、上記処理で第1領域に区分された領域は、細胞または割球やその集合体が占める領域であると判定することができる。一方、第2領域に区分された領域は、細胞凝集塊とは異なる構造体、すなわち透明帯ZあるいはフラグメントFが占める領域であると判定することができる。
透明帯Zは胚の表面を覆う連続した薄い層である一方、フラグメントFは割球やその集合体から遊離した小さな塊である。このことから、第2領域に区分される領域のうち、例えば球形度が適宜の閾値(本発明の「第2閾値」)より大きい領域をフラグメントFと判定することができる。また、球形度が小さい領域のうち一定以上の体積を有するものが透明帯Z,それ以外を画像ノイズによる擬似的な構造体であると判定することができる。このように、微小な構造体を割球やその集合体から分離することで、その三次元像から形状やサイズ等の定量的情報を求めることが可能となる。
これにより、それらの構造体についての評価に有用な情報をユーザに提供することが可能となる。例えば、フラグメントの数、大きさ等は、Veeck分類に基づく胚の分類作業を効果的に支援するための情報となる。
図7は胚盤胞への適用例を示す図である。図4(c)にも示したように、胚盤胞E3では、薄い細胞の層である栄養外胚葉Tの内部に比較的大きな構造体である内細胞塊Iが存在している。このため、図7(a)に示すように、栄養外胚葉Tは半径の小さな内接球の集合体として表される一方、内細胞塊Iはより大きな内接球の集合体として表される。このため、図7(b)に実線で示すように、こうしてモデル化された二値化画像から半径の大きな内接球で表される領域を切り出せば内細胞塊Iに対応する領域を抽出することができる。一方、半径の小さな内接球で表される領域を切り出せば、栄養外胚葉Tに対応する領域を抽出することができる。
図5に戻って、本実施形態の画像処理方法の説明を続ける。二値化画像に対し上記原理に基づく演算処理、例えばLocal Thickness演算を行うことで(ステップS104)、二値化画像中のオブジェクトは割球の集合体に対応する領域(第1領域)とそれ以外の領域(第2領域)とに区分される。これにより、上記したようにそれぞれの領域を個別に定量的情報で表現することが可能となる。細胞の集合体に含まれる割球を個々に評価する目的においては、これらのうち第1領域が処理対象となる。
すなわち、内接球の半径が閾値Rthより小さい第2領域を二値化画像から除去することで(ステップS105)、割球の集合体に対応する第1領域のみが残る。この第1領域に対しWatershedアルゴリズムによる領域分割処理を実行することで(ステップS106)、割球の集合体を構成する個々の細胞が分離される。誤差の原因となるフラグメントFが除去されているため、Watershedアルゴリズムによって個々の細胞間の境界を精度よく画定することが可能である。なお、Local Thickness演算アルゴリズムおよびWatershedアルゴリズムは、いずれも汎用の画像処理ソフトウェアのライブラリとして既に実用化されたものである。
こうして三次元空間において各細胞が占める領域が特定されれば、個々の細胞のサイズ、例えば体積や表面積を容易に求めることができる(ステップS107)。例えば、割球の集合体を構成する各細胞の体積のばらつきは、Veeck分類に基づき胚の状態の良否を判定するための指標として利用することができる。
また、各細胞をより詳細に評価するために、細胞の形状に対応する指標値を導入することが可能である。個々の細胞は、独立した状態であれば概ね球形を示すと考えられる。しかしながら、複数の細胞が集まった割球の集合体では、特に他の細胞と接する部分において変形が生じる。また、胚培養の現場では細胞の表面が滑らかである方がよいとの知見もあり、このような形状に関する特徴を定量的に表現することが望まれる。
そこで、この実施形態では、1つの細胞として特定された個々の領域を楕円体に近似し(ステップS108)、各細胞の表面と近似楕円体の表面との乖離の程度を定量化して表すことで、このような要求に応えられるようにしている。具体的には次の通りである。なお、ここでは互いに接した状態の2つの細胞について考えるが、より多くの細胞が互いに接している割球の集合体についても同様に考えることが可能である。
図8は領域分割による個々の細胞の分離を模式的に示す図である。また、図9は細胞の楕円体近似を模式的に示す図である。図8(a)に示すように、領域分割前の状態の二値化画像では2つの細胞C1、C2が一体のものとなっている。Watershedアルゴリズムによる領域分割処理を実行することで、図8(b)および図8(c)に示すように、2つの細胞C1、C2の境界が画定され、両者は三次元空間において独立したものとして分離される。図8(c)において、実線は他の細胞と接することなく露出した細胞の表面(以下「露出表面」という)の輪郭を示し、点線は領域分割処理によって画定された細胞間の境界を示す。
こうして分割された細胞は全体として球形または楕円体をなしていると考えられるが、他の細胞と接していた部分では大きく変形している場合がある。そこで、分割された領域の表面のうち、他の細胞とは接していなかった露出表面の情報のみを使って楕円体近似を行う。こうすることにより、細胞の変形に起因する誤差を抑えることができる。
具体的には、まず露出表面の抽出を行う。すなわち、分割された細胞の領域の二値化画像を1画素分膨張処理し、分割前の二値化画像における割球の集合体の周囲領域との間での画素ごとの論理積に相当する画像を作成する。このようにすると、1画素分の厚さを有する露出表面の像が得られる。分割処理により作成された境界面は元の割球の集合体の内部に含まれていたものであるため、論理積の結果には現れない。
こうして得られた露出表面の形状から近似楕円体を求める。具体的には、露出表面に含まれる各点の空間座標(x,y,z)と、楕円体の一般式である下式:
Ax2+By2+Cz2+Dxy+Exz+Fyz+Gx+Hy+Iz+J=0
から、例えば最小二乗法によって各定数A~Jを求めることにより、当該領域を近似する楕円体を特定することができる。図9(a)に点線で示すように、細胞C1に対応する近似楕円体E1は、実線で示される細胞C1の露出表面の形状を近似したものであり、点線で示される、領域分割によって作成された境界とは必ずしも一致しない。すなわち、近似楕円体E1は、他の細胞との接触による細胞C1の変形による影響を受けない。細胞C2に対応する近似楕円体E2についても同様である。
このように、個々の細胞を楕円体によって近似的に表すことにより、その形状を表すパラメータ、例えば長軸および短軸の長さ、体積、扁平率、長軸の方向等によって、細胞の形状を定量的に表すことができる。これにより、個別の細胞の形状の評価および複数の細胞間での形状の比較等を容易に、かつ定量的に行うことが可能となる。
細胞C1の露出表面においても、凹凸のある表面と近似楕円体E1の表面とは完全には一致しない。ただし、細胞の状態が良好で表面が滑らかであれば、近似楕円体の表面と露出表面との乖離は小さいと考えられる。すなわち、細胞の露出表面と近似楕円体の表面との乖離の程度を表す数値は、細胞の状態を定量的に指標する値となり得る。
このような指標値を導出するために、細胞表面の各点の座標を極座標により表すこととする。撮像対象物に対しXY方向へのビーム走査で取得される原画像データ(ボクセルデータ)では、XYZ座標系で三次元空間内の各位置が表されている。しかしながら、細胞の概略形状は楕円体で表すことができるから、細胞の形状をより端的に表現するためには、細胞の中心を原点とする球座標で各位置を表す方が好ましい。そこで、図9(b)に示すように、XYZ直交座標系から、動径rおよび2つの偏角θ、φを座標変数とするrθφ球座標系への座標変換を行う。
よく知られているように、直交座標系における点Pの座標(x,y,z)と球座標系における点Pの座標(r,θ,φ)との間には、原点Oが共通であれば下式:
x=r・sinθ・cosφ
y=r・sinθ・sinφ
z=r・cosθ
の関係がある。
具体的には、先に求められた近似楕円体の重心を球座標系の原点Oとする。この原点Oは、原画像データにおけるXYZ直交座標系の原点と一致する必要はない。そして、適宜の変換処理により直交座標から球座標への座標変換を行う(ステップS109)。このように座標変換を行うことにより、XYZ直交座標系で特定される三次元空間内の各位置が、rθφ球座標系で表されることになる。楕円体の重心は、例えば楕円体の長軸または短軸を表す線分の中点とすることができる。
このような座標変換により、細胞C1(C2)の露出表面および近似楕円体E1(E2)の表面の各点の座標は極座標により表される。図9(c)および図9(d)に示すように、1つの動径方向における細胞C1(C2)の露出表面と近似楕円体E1(E2)の表面との距離Δrを求めると、この距離Δrは当該方向における細胞と楕円体との乖離度を表す値となる。つまり、距離Δrが小さければ細胞の表面と楕円体の表面との乖離は小さく、大きいほど乖離が顕著であると言える。
細胞C1全体としての近似楕円体E1に対する乖離度を表すには、例えば露出表面の全体について動径方向ごとに上記と同様に距離Δrを求め、その最大値、最大値と最小値との差、絶対値の積分値等を指標値とすることができる(ステップS110)。位置を球座標で表したことにより、このような細胞とその近似楕円体との間の定量的な比較演算を簡単に行うことが可能になっている。これらの指標値は、細胞の歪みの程度を表したものといえる。このような指標値が小さいほど、細胞はその表面が滑らかで歪みが小さく、良好な細胞であると推定することができる。
上記のように、個々の構造体の形状面での評価は、OCT撮像により得られる三次元像を二値化した二値化画像に基づいて行うことが可能である。一方、個々の構造体の内部における充実の程度やその均一性を評価するためには、構造体の密度の違いに起因する三次元オブジェクトの濃淡に関わる情報が必要である。
ここで、上記のように個々の細胞およびその他の構造体が個別の領域に分割された二値化画像を、原画像データで表される濃淡を含む三次元像に対するマスクとして作用させれば、原画像に含まれる三次元オブジェクトを、領域ごとに個別に切り出すことが可能である。すなわち、原画像と、領域分割された二値化画像との画素ごとの論理積に相当する画像を作成することで(ステップS111)、原画像を領域分割した画像が得られる。また、原画像中の三次元オブジェクトを、上記した領域分割により画定された境界で分割することによっても同様の結果が得られる。
これにより、分割された個々の領域においては、その濃淡は当該領域内の各画素の画素値(輝度値)によって表される。この情報を用いて、その内部構造を個別に評価することが可能となる。例えば、分割された領域内の平均濃度は当該領域内の物質の平均密度を表す指標値であり、例えば核を含む細胞とこれを含まないフラグメント等との識別に役立つ情報となる。また例えば分割された各領域につき、その内部の輝度値に基づき濃度ヒストグラムを作成すれば(ステップS112)、内部構造を推定するのに有用な情報を得ることが可能になる。1つの領域全体について濃度ヒストグラムを作成すれば、当該領域全体の性質を表すことができる。また、1つの領域のうち一部について濃度ヒストグラムを作成することで、領域内部の構造をより詳細に示すことが可能となる。
図10は濃度ヒストグラムの例を示す図である。図10(a)は、領域分割により画定された細胞C1の内部の2つの領域R1,R2についての濃度ヒストグラムの例を示す。領域R1についての濃度ヒストグラムでは、比較的低い濃度域に幅の狭いピークが現れており、この領域が物質密度の低い例えば空洞であると推定することができる。一方、領域R2からは比較的高い濃度域に幅の広いピークが現れており、物質が高濃度かつ局在して含まれていることが示される。例えば細胞内の小器官が集中している領域や細胞分裂のための動きが活発な領域においてこのような傾向が見られる。
また、細胞内の核の領域とその他の領域との間でも、濃度ヒストグラムに大きな違いが生じると考えられる。このように、濃度ヒストグラムを求めることにより、例えばピークの位置、高さ、幅など細胞の内部構造に関する手がかりとなる情報をユーザに提供することが可能になる。
このような濃度ヒストグラムを求める手法は、胚盤胞の評価にも有用なものである。すなわち、図10(b)に示すように、胚盤胞では薄い栄養外胚葉Tの内部に内細胞塊Iが形成されているが、状態の良い胚では内細胞塊Iが多数の細胞で密に構成されているのに対し、そうでない胚の内細胞塊では、細胞数が少ないあるいは密度が低い疎な状態である場合がある。領域分割により特定された内細胞塊Iについて濃度ヒストグラムを求めたとき、状態の良い胚では、図10(b)下部のグラフにおいて実線で示すようにピークの広がりが小さいのに対し、状態の良くない胚では、破線で示すようにピークの広がりが大きくなる。このように、内細胞塊Iについても、ピークの位置、高さ、幅などを指標する情報を胚の評価に用いることができる。例えばこれらの指標値をGardner分類に適用することで、従来は主観的判断に頼っていた分類を定量的に行うことが可能となる。
以上のように、この実施形態では、胚をOCT撮像することにより得られる三次元像から、細胞、フラグメント等の各種の構造体に対応する領域を個別に特定することが可能である。こうして特定された領域ごとにその特徴を定量的に示す指標値を算出することで、各領域の評価に有用な情報が客観的な数値として得られる。このような指標値を例えば表示部352に表示する等の態様でユーザに提供することで、この実施形態では、ユーザによる胚の評価作業を効果的に支援することが可能である。
また、三次元像に含まれる構造体としては、割球、細胞、フラグメント等種々の種類のものが含まれ得るが、こうして求められる指標値に対して予め適宜の閾値を設定しておけば、構造体がどの種類のものかを自動的に判定する画像判定方法として実施することが可能となる。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置1は、試料SpをOCT撮像する機能、および撮像データから出力画像を作成し出力する機能を有するものである。しかしながら、本発明の画像処理方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた撮像データを取得したコンピュータ装置によって実行することも可能である。これを可能とするために、図5の各処理ステップのうちステップS102ないしS112をコンピュータ装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。
このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを記録したコンピュータ読み取り可能な記録媒体を配布することによっても可能である。また、既存のOCT撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
また例えば、上記実施形態では、割球の集合体を構成する細胞を個別に評価する目的に供するために、Local Thickness演算で区分された領域のうちフラグメント等に該当する第2領域を消去する処理が実行されている。しかしながら、例えばフラグメントを詳しく観察する目的のために、第2領域を残して第1領域を消去することも可能である。また、第1領域と第2領域とを個別に表す画像が作成されてもよい。
また例えば、上記した実施形態における画像処理(図5)では、胚の三次元像を領域分割するための処理(ステップS104~S106)、分割された領域のサイズ算出(ステップS107)、個々の細胞を楕円体近似する処理(ステップS108)、細胞の表面を極座標により表現する処理(ステップS109)、細胞と近似楕円体との乖離度を求める処理(ステップS110)、領域内の濃度分布を求める処理(ステップS111~S112)がこの順番で実行される。しかしながら、これらの全てが実行されることは必須でなく、目的に応じ必要な処理が適宜選択されて実行されてもよい。また、実行順序も上記に限定されるものではない。
また、上記実施形態は、OCT撮像により得られる三次元像から、ユーザによる評価作業に有用な各種の定量的情報を提示するものであり、ユーザによるそれらの情報の利用形態については、上記に例示したものに限定されず任意である。
以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法においては、Local Thickness演算により三次元像内の各点に与えられる階調値を指標値としてもよい。一般ユーザが利用可能な態様で公開されているLocal Thickness演算アルゴリズムでは、オブジェクトの大きさが階調値によって表現される。このような階調値を、上記した処理における指標値として好適に適用することが可能である。
また例えば、領域分割する工程は、複数の領域の間における境界を画定し、原画像データが表す三次元像を画定された境界で複数に分割するように構成されてもよい。これらの境界で三次元像中のオブジェクトを分割することで、割球の個々の細胞およびその他の構造物を互いに分離し個別に評価することが可能となる。
また例えば、分割された領域について、当該領域の表面のうち他の領域と接していない露出表面を楕円体近似するように構成されてもよい。細胞は不定形であるが概ね楕円体形状を有しており、細胞を楕円体近似することでその形状を具体的な数値として表すことが可能になる。この場合、他の細胞と接している部分では細胞の表面が変形しているため、そのような変形の少ない露出表面を楕円体近似することで、表面の変形に起因する誤差を低減することができる。
この場合、例えば、楕円体近似により求められた近似楕円体の表面と露出表面との乖離度を指標する指標値がさらに算出されてもよい。近似楕円体は細胞の理想的な形状を示すものと言えるので、これからの乖離の大きさは細胞の歪みの大きさや表面の凹凸の大きさを示すものである。このような形状に関する特徴を定量的に示す指標値があれば、ユーザによる評価作業に有用なものとなる。
さらに、例えば、露出表面および近似楕円体の表面の各位置の座標を近似楕円体の重心を原点とする極座標によって表し、同一動径上にある露出表面上の点と近似楕円体の表面上の点との距離に基づき指標値が求められてもよい。楕円体の重心から見た細胞と近似楕円体との距離は、それらの間の乖離度を端的に表す情報となる。
また例えば、分割された領域内の画素各々の画素値のヒストグラムを算出するようにしてもよい。このような構成によれば、細胞の内部構造を定量化した情報を作成することが可能である。
また、この発明に係る画像判定方法は、上記方法により胚の三次元像を複数の領域に分割し、そのうち指標値が第1閾値より大きい第1領域を割球の集合体と判定するように構成することができる。胚において正常な割球は他の構造体に比べて大きな構造を有していると考えられる。したがって、比較的大きな構造と推定される第1領域を割球の集合体と判定することは極めて合理的である。
この場合、第1領域からさらに分割された1つの領域を1つの細胞と判定してもよい。第1領域を複数の細胞からなる割球と見なしたとき、それをさらに分割した個々の領域は、それぞれ1つの細胞に対応すると考えるのが妥当である。
また例えば、指標値が第1閾値より小さい第2領域に区分された領域のうち球形度が第2閾値より大きい領域をフラグメントと判定してもよい。フラグメントは細胞に比べて構造が小さいが、一定の球形度を有している。したがって、第2領域に区分される領域のうち比較的高い球形度の領域をフラグメントと見なすことで、フラグメントとその他の構造体とを区別することが可能になる。
この発明は、培養された胚の状態を評価する作業を支援する目的に適用することが可能であり、例えば不妊治療における体外受精、人工授精の成功確率を高めるために利用することができる。
1 画像処理装置
10 保持部
20 撮像ユニット
21 光源
22 ビームスプリッタ
24 基準ミラー
26 光検出器
30 制御ユニット
33 信号処理部
34 3D復元部
352 表示部
Sp 試料

Claims (12)

  1. 培養された胚を光干渉断層撮像して求められた、前記胚の三次元像に対応する原画像データを取得する工程と、
    前記原画像データに基づき、前記三次元像を複数の領域に領域分割する工程と
    を備え、
    前記領域分割する工程では、
    前記三次元像に対しLocal Thickness演算を実行して前記三次元像に含まれるオブジェクトの大きさを指標する指標値を求め、該指標値が所定の第1閾値より大きい領域と小さい領域とに前記三次元像を分割し、
    分割された領域の各々を、Watershedアルゴリズムにより分割する、
    画像処理方法。
  2. 前記Local Thickness演算により前記三次元像内の各点に与えられる階調値を前記指標値とする請求項1に記載の画像処理方法。
  3. 前記領域分割する工程では、前記複数の領域の間における境界を画定し、前記原画像データが表す前記三次元像を画定された境界で複数に分割する請求項1または2に記載の画像処理方法。
  4. 分割された前記領域について、当該領域の表面のうち他の領域と接していない露出表面を楕円体近似する請求項1ないし3のいずれかに記載の画像処理方法。
  5. 前記楕円体近似により求められた近似楕円体の表面と前記露出表面との乖離度を指標する指標値を算出する請求項4に記載の画像処理方法。
  6. 前記露出表面および前記近似楕円体の表面の各位置の座標を前記近似楕円体の重心を原点とする極座標によって表し、同一動径上にある前記露出表面上の点と前記近似楕円体の表面上の点との距離に基づき前記指標値を求める請求項5に記載の画像処理方法。
  7. 分割された前記領域内の画素各々の画素値のヒストグラムを算出する請求項1ないし6のいずれかに記載の画像処理方法。
  8. 請求項1ないし7のいずれかに記載の画像処理方法により、前記胚の三次元像を複数の領域に分割し、前記複数の領域のうち前記指標値が前記第1閾値より大きい第1領域を割球の集合体と判定する画像判定方法。
  9. 前記第1領域から分割された1つの領域を1つの細胞と判定する請求項8に記載の画像判定方法。
  10. 前記指標値が前記第1閾値より小さい第2領域から分割された領域のうち、球形度が第2閾値より大きい領域をフラグメントと判定する請求項8または9に記載の画像判定方法。
  11. コンピュータに、
    培養された胚を光干渉断層撮像して求められた、前記胚の三次元像に対応する原画像データを取得する工程と、
    前記原画像データに基づき、前記三次元像を複数の領域に領域分割する工程と
    を備え、
    前記領域分割する工程では、
    前記三次元像に対しLocal Thickness演算を実行して前記三次元像に含まれるオブジェクトの大きさを指標する指標値を求め、該指標値が所定の第1閾値より大きい領域と小さい領域とに前記三次元像を分割し、
    分割された領域の各々を、Watershedアルゴリズムにより分割する、
    画像処理を実行させるためのプログラム。
  12. 請求項11に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
JP2018015378A 2018-01-31 2018-01-31 画像処理方法、画像判定方法、プログラムおよび記録媒体 Active JP6996709B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018015378A JP6996709B2 (ja) 2018-01-31 2018-01-31 画像処理方法、画像判定方法、プログラムおよび記録媒体
EP19747001.6A EP3748580B1 (en) 2018-01-31 2019-01-30 Image processing method, program and recording medium
PCT/JP2019/003106 WO2019151302A1 (ja) 2018-01-31 2019-01-30 画像処理方法、プログラムおよび記録媒体
CN201980009540.7A CN111630564A (zh) 2018-01-31 2019-01-30 图像处理方法、程序及记录介质
US16/966,488 US11710237B2 (en) 2018-01-31 2019-01-30 Image processing method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018015378A JP6996709B2 (ja) 2018-01-31 2018-01-31 画像処理方法、画像判定方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2019133429A JP2019133429A (ja) 2019-08-08
JP6996709B2 true JP6996709B2 (ja) 2022-01-17

Family

ID=67478725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018015378A Active JP6996709B2 (ja) 2018-01-31 2018-01-31 画像処理方法、画像判定方法、プログラムおよび記録媒体

Country Status (5)

Country Link
US (1) US11710237B2 (ja)
EP (1) EP3748580B1 (ja)
JP (1) JP6996709B2 (ja)
CN (1) CN111630564A (ja)
WO (1) WO2019151302A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7382289B2 (ja) 2020-06-19 2023-11-16 株式会社Screenホールディングス 画像処理方法、プログラムおよび記録媒体
KR102530717B1 (ko) 2020-06-19 2023-05-09 가부시키가이샤 스크린 홀딩스 화상 처리 방법, 프로그램 및 기록 매체
EP3949830A1 (en) * 2020-08-05 2022-02-09 Leica Microsystems Inc. Control system for an oct imaging system, oct imaging system and method for imaging
JP2022143662A (ja) 2021-03-18 2022-10-03 株式会社Screenホールディングス 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置
CN117716227A (zh) * 2021-04-27 2024-03-15 多伦多纳米仪器有限公司 用于检测并对其他生物结构和胚泡的细胞结进行3d成像的系统和方法
JP2023018827A (ja) * 2021-07-28 2023-02-09 株式会社Screenホールディングス 画像処理方法、プログラムおよび記録媒体
JP2023035518A (ja) 2021-09-01 2023-03-13 株式会社Screenホールディングス 画像処理方法、コンピュータープログラムおよび記録媒体
EP4145389A1 (en) 2021-09-01 2023-03-08 SCREEN Holdings Co., Ltd. Image processing method, fertilized egg evaluation method, computer program and recording medium
JP2023125282A (ja) 2022-02-28 2023-09-07 株式会社Screenホールディングス 解析方法および解析装置
WO2024062953A1 (ja) * 2022-09-22 2024-03-28 株式会社レゾナック 画像処理方法及び画像処理プログラム
JP2024046836A (ja) * 2022-09-26 2024-04-05 株式会社Screenホールディングス 分類方法およびコンピュータプログラム
CN115511831B (zh) * 2022-09-27 2023-04-04 佳木斯大学 一种组织胚胎病理切片的数据分析处理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338191A (ja) 2005-05-31 2006-12-14 Olympus Corp 画像処理装置及び領域分割プログラム
JP2015130806A (ja) 2014-01-09 2015-07-23 大日本印刷株式会社 成育情報管理システム及び成育情報管理プログラム
JP2016146132A (ja) 2015-02-09 2016-08-12 学校法人日本大学 形状特徴抽出方法、形状特徴抽出処理装置、形状記述方法及び形状分類方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515143B2 (en) * 2009-01-09 2013-08-20 Dai Nippon Printing Co., Ltd. Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method
WO2010151221A1 (en) * 2009-06-25 2010-12-29 Phase Holographic Imaging Phi Ab Analysis of ova or embryos with digital holographic imaging
JP6000699B2 (ja) 2012-07-05 2016-10-05 オリンパス株式会社 細胞分裂過程追跡装置、及び細胞分裂過程追跡プログラム
EP3164483B1 (en) 2014-07-01 2020-01-08 Institut National de la Sante et de la Recherche Medicale (INSERM) Methods for three dimensional reconstruction and determining the quality of an embryo
GB201810634D0 (en) * 2018-06-28 2018-08-15 Vitrolife As Methods and apparatus for assessing embryo development

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338191A (ja) 2005-05-31 2006-12-14 Olympus Corp 画像処理装置及び領域分割プログラム
JP2015130806A (ja) 2014-01-09 2015-07-23 大日本印刷株式会社 成育情報管理システム及び成育情報管理プログラム
JP2016146132A (ja) 2015-02-09 2016-08-12 学校法人日本大学 形状特徴抽出方法、形状特徴抽出処理装置、形状記述方法及び形状分類方法

Also Published As

Publication number Publication date
EP3748580A4 (en) 2021-10-27
US11710237B2 (en) 2023-07-25
US20210056704A1 (en) 2021-02-25
EP3748580A1 (en) 2020-12-09
EP3748580B1 (en) 2024-04-17
JP2019133429A (ja) 2019-08-08
WO2019151302A1 (ja) 2019-08-08
CN111630564A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
JP6996709B2 (ja) 画像処理方法、画像判定方法、プログラムおよび記録媒体
JP6867629B2 (ja) 画像処理方法、プログラムおよび記録媒体
KR102580984B1 (ko) 화상 처리 방법, 프로그램 및 기록 매체
JP6762810B2 (ja) 画像処理装置および画像処理方法
Coppola et al. Digital holographic microscopy for the evaluation of human sperm structure
US20230324296A1 (en) Observation device and observation method
US20230063443A1 (en) Image processing method and recording medium
US9052180B2 (en) Spatial light interference tomography
US20220301155A1 (en) Fertilized egg development stage determination method, recording medium, imaging method and imaging apparatus
JP7382289B2 (ja) 画像処理方法、プログラムおよび記録媒体
JP6864313B2 (ja) 化学物質の評価方法
JP2023035517A (ja) 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体
US20230061181A1 (en) Image processing method, fertilized egg evaluation method and recording medium
JP2022143660A (ja) 画像処理方法、プログラムおよび記録媒体、ならびに画像処理装置
JP2019174322A (ja) 試料容器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6996709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150