JPWO2011004568A1 - 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 - Google Patents

Abstract

受精卵観察において観察対象の受精卵とそれ以外の異物とを判別し、受精卵を自動で認識する手段を提供する。撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップ（Ｓ１）と、観察画像に写し込まれた複数の物体を抽出するステップ（Ｓ２）と、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップ（Ｓ１１，Ｓ２１，Ｓ３１）と、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するステップ（Ｓ８）と、物体に対する識別結果を出力するステップ（Ｓ９）とをコンピュータに実現させる。

Description

本発明は、受精卵観察において取得された観察画像から受精卵と異物とを自動判別する画像処理手段、及びこれを利用した受精卵の製造方法に関する。

近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。

特開２００４−２２９６１９号公報

このような装置において、培養容器中の培地には観察対象の受精卵以外に、ゴミや気泡等の異物が混入している。それら異物は受精卵と似た外観を持つことがあるため、観察画像において受精卵と異物とを混同しやすく、単純な画像処理では受精卵の自動認識をすることは困難であった。

本発明は、上記のような課題に鑑みてなされたものであり、受精卵観察において観察対象の受精卵とそれ以外の異物とを判別し、受精卵を自動で認識する手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた複数の物体を抽出し、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法が提供される。

本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップと、観察画像に写し込まれた複数の物体を抽出するステップと、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップと、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するステップと、物体に対する識別結果を出力するステップとをコンピュータに実現させることを特徴とする受精卵観察の画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、複数の物体を撮影する撮像装置と、撮像装置により撮影された観察画像から複数の物体を抽出し、複数の物体の中から受精卵を識別する画像解析部と、画像解析部により判断された識別結果を外部に出力する出力部とを備え、画像解析部が、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置が提供される。

本発明を例示する第４の態様に従えば、所定の環境条件で受精卵を培養し、受精卵が存在する培養容器中から、上記構成の画像処理装置を用いて受精卵を識別することを特徴とする受精卵の製造方法が提供される。

本発明を例示する第５の態様に従えば、所定の環境条件で受精卵を培養し、受精卵が存在する培養容器中において、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた複数の物体を抽出し、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、培養容器中の複数の物体の中から受精卵を識別することを特徴とする受精卵の製造方法が提供される。

このような受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法によれば、受精卵の属性に応じた複数の特徴量に基づいて物体を判別する画像処理により、観察画像に含まれる複数の物体の中から受精卵を的確に識別することが可能になる。

画像処理プログラムの概要を示すフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 （Ａ）は培養容器を示す平面図であり、（Ｂ）はディッシュを示す斜視図である。 受精卵とそれ以外の異物との特徴を説明するための図である。 オブジェクトの抽出を行う輪郭抽出処理の状況を例示する図である。 受精卵と異物との輪郭内側の輝度値の違いを説明するための図である。 外輪帯及び内輪帯の平均輝度値を算出するときのマスク生成処理の状況を例示した図である。 観察画像における収縮マスク領域を説明するための図である。 画像処理装置の概要構成を示すブロック図である。 受精卵の製造方法の概要を示すフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。

培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ_２ガスやＮ_２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。

ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。

培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、直径約３５ｍｍの５つのディッシュ１０ａと、ディッシュ１０ａを保持するホルダ１０ｂとを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵ａは、フェノールレッドなどのｐＨ指示薬が入った培地ドロップＤとともに各ディッシュ１０ａに注入される。ディッシュ１０ａの底面には、ピペット等により滴下された２０μｌ程度の培地ドロップＤが１〜複数個形成されており（図４（Ｂ）では１個のみを図示）、培地ドロップＤはディッシュ１０ａ内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＤ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵ａが１個ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。

搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。

観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図１０を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。

第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。

マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。

顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用（例えば２倍観察用）と高倍観察用（例えば１０倍観察用）との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。

画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して画像解析を施し、画像中に存在するオブジェクトの特徴量算出や、各々の特徴量に応じたスコア算出、総合スコアに基づく受精卵の決定等の画像処理を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。

制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。

以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、培養容器１０内における受精卵の生育状態等の観察を実行するため、観察対象である受精卵と、それ以外のゴミや気泡等の異物（非対称物）とを判別する機能を備えている。すなわち、培養容器１０内の培地ドロップＤには、受精卵の他にもゴミや気泡等の他のオブジェクトが混入しており、それらは受精卵と似た外観を持つことがあり観察において混同しやすいため、画像処理装置１００では、受精卵とそれ以外の異物とを判別して観察対象たる受精卵を自動で認識する機能を有している。

ここで、培地ドロップＤ内の混入物は、ゴミ（培地の残りかす）、オイル粒（ディッシュ１０ａ内に充填されるミネラルオイルＯが培地に入り込んだもの）、及び気泡（ガス）に大別される。このとき、図５にも示すように、受精卵、ゴミ、オイル粒、及び気泡の各々は次のような特徴を持っている。

（受精卵の特徴）
受精卵は、その輪郭部に膜（透明帯）が存在する、外形が球形状を有している、輪郭内部に卵細胞が存在している、という特徴を持つ。

（ゴミの特徴）
ゴミは、その輪郭部に透明帯が存在しない、位相差画像では輪郭部にハロが現れる、輪郭内部の構造は不定である、という特徴を持つ。

（オイル粒、気泡の特徴）
オイル粒および気泡は、位相差画像では輪郭部が暗く内部は明るい、外形が球形状や楕円形状である、輪郭内部の構造が少ない、という特徴を持つ。

これらの特徴を簡単にまとめると、受精卵と異物との属性の差異として、受精卵は異物よりも円形度が高い、受精卵は輪郭部に透明帯を持っている、受精卵には内部構造（卵細胞）が必ず存在する、という特徴がある。

そこで、取得した観察画像から観察対象である受精卵を認識するために、画像特徴量として、３つの特徴量（すなわち以下に詳述する、Ｉ．輪郭の円形度、II．輪郭の外側と内側の輝度差、III．輪郭内部のテクスチャ特徴量）を受精卵と異物との判別に利用する。

画像処理装置１００による受精卵観察の画像処理方法は、観察ユニット５の観察視野内に位置する物体を撮像装置により撮影した画像を取得し、これらの画像に写し込まれた物体（オブジェクト）の像を抽出して上記３つの特徴量を算出し、この特徴量に基づき得点付け（スコア算出）を行った結果、これら３つの特徴量について最も高いスコアを示すものが受精卵であると決定するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。なお、以降の説明では、第２照明部５２及び顕微観察系５５等によって構成される位相差顕微鏡によって撮影される位相差画像（顕微観察画像）に基づいて受精卵の観察を行う場合を例示する。

（オブジェクトの抽出）
受精卵の識別処理に先立って、撮像装置５５ｃにより撮影された観察画像（位相差画像）に対して、ＬｅｖｅｌＳｅｔ法などの輪郭抽出手法を適用して画像内に含まれる物体（受精卵及びゴミ等の異物の領域、オブジェクトとも称する）の最外輪郭を抽出し、その輪郭に囲まれた閉じた領域をオブジェクトとして抽出する。図６は輪郭抽出処理の様子を示す図であり、撮像装置５５ｃにより撮影され取得された観察画像（Ａ）に対し、（Ｂ）に示す２値画像のように複数のオブジェクトを抽出する。

（オブジェクトのラベリング）
こうしてセグメント化された各オブジェクト（の２値画像）に対して、固有のラベルを付与するラベリングを施す。ラベリング処理では、ラベル付けとともにオブジェクト（抽出した輪郭に囲まれた領域）の面積が算出される。そこで、観察画像に写し込まれる受精卵（例えば、人間の受精卵の場合には直径約１００μｍ）の像の大きさは画像取得条件（観察倍率等）によりほぼ決まっていることから、判別の対象となり得るオブジェクトの面積の上限値と下限値とを予め設定しておき、この設定範囲から外れるオブジェクトについてはラベル付けの対象（受精卵の判別候補）から除外する。

（オブジェクトの特徴量抽出）
ラベリングを施した各オブジェクトについて、以下に詳述する、Ｉ．輪郭の円形度、II．輪郭の外側と内側の輝度差、III．輪郭内部のテクスチャ特徴量、の３つの特徴量をそれぞれ算出する。

１．輪郭の円形度（特徴量１）
観察対象の受精卵は球形状（断面が真円に近い）であることを利用して、各オブジェクトの円形度を特徴量１として用いる。オブジェクトの円形度とはオブジェクトの円形の度合いを判定するための尺度であり、例えば、画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を示すエッジを検出した後、オブジェクトごとに自身の重心から輪郭までの最短距離と最長距離とを算出し、次式（α）より求められる。
輪郭の円形度
＝（重心から輪郭までの最短距離）／（重心から輪郭までの最長距離） …（α）
これにより求められる円形度は０〜１の範囲内の数値として算出され、重心から輪郭までの距離が均等な円形となるほど１に近い数値を示す。つまり、１に近い円形度を示すオブジェクトほど受精卵としてのスコアが高いことになる（受精卵である可能性が高い）。なお、輪郭の円形の度合いを示す別の指標としては、形状の複雑度（輪郭の周囲長²／面積）や、二次モーメントを利用した離心率などが例示される。

２．輪郭の外側と内側の輝度差（特徴量２）
観察対象の受精卵の輪郭部には透明帯と称される透明な薄膜が存在する。図７に示す顕微観察系５５による観察画像では、この透明帯の画像は培地ドロップＤ等の背景に近い輝度値を持つため、輪郭の外側と内側との輝度値の差は小さい。それに対して、オイル粒と気泡の輪郭内側は外側の背景に対して暗く、位相差画像ではゴミの輪郭内側はハロによって明るくなる傾向があるため、輪郭の外側と内側との輝度値の差は大きい。そこで、透明帯の特徴を利用し、特徴量２として、オブジェクトにおける輪郭外側の輪帯部（外輪帯）と輪郭内側の輪帯部（内輪帯）との平均輝度値（例えば８ビット階調の場合に０〜２５５）の差を用いて、輝度差を次式（β）により求める。
輪郭の外側と内側の輝度差
＝（２５５−｜内輪帯平均輝度値−外輪帯平均輝度値｜）／２５５ …（β）

図８は、外輪帯及び内輪帯の平均輝度値を算出するときのマスク生成処理の状況を例示した図であり、これらの輝度値算出の際には、上述の処理で得られた画像（ラベリングが施された２値画像）を利用する。まず、各オブジェクトの２値画像（ラベル画像）に対して膨張及び収縮処理を施して、この膨張及び収縮した領域を示す２種類のマスク画像（膨張マスクＭ１、収縮マスクＭ２）をオブジェクトごとに用意する。次いでオブジェクトごとに、その重心を一致させた状態で２つのマスク画像Ｍ１，Ｍ２と元となる原ラベル画像との領域の差分を演算し、これらの略リング状の差分画像を、オブジェクトの輪郭に対して外側及び内側の領域を示す外側差分マスクＭ３及び内側差分マスクＭ４として生成する。この２つの差分マスクＭ３，Ｍ４の領域に対応する観察画像（撮像装置５５ｃにより撮像された位相差画像）の領域内の輝度値の平均をそれぞれ算出し、これを外輪帯平均輝度値及び内輪帯平均輝度値とする。これらを上記式（β）に代入することで、特徴量２として、輪郭の外側と内側の輝度差が求められる。内輪帯平均輝度値と外側帯平均輝度値との間の差が小さいオブジェクトほど１に近い数値が得られ、受精卵としてのスコアが高いといえる（受精卵である可能性が高い）。

３．輪郭内部のテクスチャ特徴量（特徴量３）
観察対象の受精卵の内部には卵細胞が収まっており、画像的にはテクスチャ（内部テクスチャ）が存在すると考えられる。これに対して、オイル粒、気泡には内部構造が存在しない。よって、各オブジェクトの内部構造を検出することにより、受精卵と、オイル粒及び気泡との差別化を図ることができる。内部構造を検出するためのオブジェクトの領域については、図９に示すように、上記処理で生成した収縮マスクＭ２を利用して、観察画像内における自身の収縮マスクＭ２に対応した画像領域（以下、「収縮マスク領域」とも称する）を対象として扱う。オブジェクト内部のテクスチャ特徴量としては、収縮マスク領域内の画像全体におけるエッジ強度（階調変化の強度）の平均値を用いる（次式（γ）を参照）。エッジ強度については、各オブジェクトの収縮マスク領域の画像に対して、例えば３×３マトリクスや５×５マトリクスなどで示されるラプラシアンフィルタ等の微分フィルタを適用した畳み込み演算により画素単位で求める。
輪郭内部のテクスチャ特徴量
＝収縮マスク領域内のエッジ強度の総和／収縮マスク領域内の画素数 …（γ）
ここでエッジ強度としては、輝度の階調変化の方向を考慮して正値となるエッジ強度のみを利用し、負値となるエッジ強度については無効なエッジ（エッジ強度＝０）として取り扱う。また、エッジ強度の平均を求めるために、収縮マスク領域内に含まれる画素数を用いる。そして、このようにオブジェクトごとに収縮マスク領域内のエッジ強度を画素単位で算出して得られた平均値を、収縮マスク領域内の画素数で特徴量３であるオブジェクト内部のテクスチャ特徴量が求まる。

以上の３つの特徴量はラベリングされたオブジェクトごとに与えられており、これを基に受精卵を決定する

（受精卵の判別）
まず、（Ｉ）明らかに受精卵とは異なる特徴を持つオブジェクトをしきい値にてリジェクトする。次に、（II）各特徴量の単位やスケーリングが相違することを考慮して３つの特徴量を正規化し、正規化して得られた各スコア１，２，３の総和を総合スコアとして各オブジェクトについて得点付けを行う。１つの培地ドロップＤに対して注入される受精卵は１つであることから、最も高い総合スコアを持つオブジェクトが受精卵であると決定する。この具体的な手法について以下に例示する。

（Ｉ：しきい値によるリジェクト）
受精卵ではないオブジェクトが持つ特徴量には次のような傾向がある。オイル粒及び気泡については、特徴量２（内外輝度差）と特徴量３（内部テクスチャ）とが小さいという傾向。ゴミについては、特徴量１（円形度）と特徴量２（内外輝度差）とが小さいという傾向。そこで、予めしきい値を定めておき、明らかに外れた特徴量を持つオブジェクトについては、このしきい値によってリジェクトしておき、得点付け（スコア）による誤検出を防止する。このとき、特徴量３の輪郭内部のテクスチャ特徴量に関しては、その値（エッジ強度の平均値）そのものを用いるのではなく、ラベリングされた全オブジェクトにおけるエッジ強度平均値の最大値に対する割合（エッジ強度平均値／エッジ強度平均値の最大値）を利用する。これは、特徴量３については、画像のコントラストによってエッジ強度が極端に大きくなったり小さくなったりと変化するため、一定のしきい値を設けること自体に意味がなくなるからであり、コントラストの影響を取り除くため、全オブジェクトの画像間で正規化をする。また、内部テクスチャが存在しない場合（例えば、気泡のみが写し込まれた場合など）には、本来エッジ強度が全体的に小さく現れるところ、正規化を行うことにより全てのオブジェクトについて特徴量３が大きくなり過ぎる虞があるため、予め許容値を定めておき、エッジ強度平均値の最大値がこの許容値を下回ったときには、特徴量３については全てをリジェクトする。

（II：特徴量のスケール正規化）
特徴量１〜３に対してスケールの正規化を行って、各特徴量を共通のスケール（例えば０〜１のスケール）に変換する。具体的には、各特徴量について以下のような上下限を設定し、
特徴量１（円形度） ：下限＝特徴量１のしきい値、上限＝特徴量１の最大値
特徴量２（内外輝度差） ：下限＝特徴量２のしきい値、上限＝特徴量２の最大値
特徴量３（内部テクスチャ）：下限＝０、上限＝特徴量３の最大値
その上下限内の範囲をフルスケールとして各特徴量の正規化を行う。なお、特徴量３については、観察画像のコントラストに依存するという特質を有するのでしきい値を設けるのが難しいため、その下限値を０とするとともに、上限値については上記の許容値を下回る際には０として、特徴量３のスコア付けは行わない。

そして、正規化されて共通のスケールに変換された各特徴量をスコア１，２，３とし、それらの総和となる総合スコアを算出する。
総合スコア＝スコア１＋スコア２＋スコア３
その結果、総合スコアが培地ドロップＤ内で最大となるオブジェクトを受精卵と決定する。

以上説明したような受精卵の判別手法によれば、観察画像内に観察対象となる受精卵以外の他の複数のオブジェクトが存在する場合でも、受精卵と他のオブジェクトとを区別するための複数の特徴量を用いて、それを基に受精卵らしさの度合いを示すスコアを算出し、このスコアの高さにより受精卵と異物とを明確に分離して受精卵を認識することが可能になる。

なお、各スコアに基づく受精卵の決定手法については、各スコア１〜３の単なる総和としての総合スコアによる順位付けの他にも、例えば、各スコア１〜３に対する重み付けをそれぞれ変えた総合スコアを算出して受精卵を決定したり、各スコア１〜３ごとに順位付けをして順位の総和の最も小さいオブジェクトを受精卵であると判断したり、スコア１，２で上位となったオブジェクトのうちでスコア３の最も高いものを受精卵であると判断する、などの手法が例示される。また、総合スコアがしきい値を超えたものを受精卵として認識する構成であってもよい。

（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図１０を併せて参照しながら説明する。ここで、図１は受精卵判別の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図１０は受精卵判別の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。

画像処理装置１００は、撮像装置５５ｃにより観察対象の受精卵が撮影された観察画像を取得して記憶する画像記憶部１１０と、観察画像を解析して観察画像に写し込まれたオブジェクトが受精卵であるか否かを判断する画像解析部１２０と、画像解析部１２０によりオブジェクトごとに算出された３つの特徴量を各オブジェクトに付与されるラベルと対応付けて記憶する特徴量記憶部１３０と、画像解析部１２０により解析された判断結果を外部に出力する出力部１４０とを備え、画像解析部１２０により判断されたオブジェクトが受精卵であるか否かの識別結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。

既述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の受精卵観察が行われる。具体的には、ＣＰＵ６１は、搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態では顕微観察系５５の光軸上に配置）し、第２照明部５２を用いた顕微観察系５５による観察画像（位相差画像）を撮像装置５５ｃにより撮影させる。

画像処理装置１００は、始めに撮像装置５５ｃにより撮影された観察画像（位相差画像）をステップＳ１において取得し、この取得した観察画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。

ステップＳ２では、撮像装置５５ｃから取得された観察画像（位相差画像）に対し、画像解析部１２０においてＬｅｖｅｌＳｅｔ法などの輪郭抽出処理が実行され、図６（Ｂ）に示したように、観察画像に含まれるオブジェクトが抽出される。

ステップＳ３では、輪郭が抽出された観察画像（２値画像）の各オブジェクトに対してラベリングが施される。ラベリング処理においては、受精卵の像の面積として適正な範囲（上下限値）が設定されており、輪郭が抽出されたオブジェクトの領域ごとに面積が算出され、この設定範囲を超える領域面積を持つオブジェクトについては受精卵の判別候補から除外し、この設定範囲内に収まる領域面積を持つオブジェクトのみについて受精卵の判別候補として固有のラベルをそれぞれ付与する。

次いで、画像解析部１２０により受精卵の画像特徴量として、各オブジェクトについて、輪郭の円形度、輪郭の外側と内側の輝度差、及び輪郭内部のテクスチャ特徴量を算出する（ステップＳ４）。画像解析部１２０は、オブジェクトごとに付与した固有のラベルと、以下において算出される３つの特徴量とを対応付けて特徴量記憶部１３０に記録する。

輪郭の円形度（特徴量１）を求める処理フローＦ１０において、画像解析部１２０はラベル画像からオブジェクトの重心を算出し、この重心から輪郭（エッジ）までの距離において、重心から輪郭までの最長距離に対する最短距離の割合を輪郭の円形度として算出する（ステップＳ１１）。

輪郭の外側と内側の輝度差（特徴量２）を求める処理フローＦ２０において、画像解析部１２０は、ラベル画像からオブジェクトごとに膨張マスクＭ１と収縮マスクＭ２との２つのマスク画像をそれぞれ生成した上で、この２つのマスク画像Ｍ１，Ｍ２と元のラベル画像との差分から差分マスクＭ３，Ｍ４をそれぞれ生成する。そして、撮像装置５５ｃによって撮像された観察画像において外側差分マスクＭ３の領域と内側差分マスクＭ４の領域とに対応する領域内の輝度値の平均をそれぞれ求め、上記式（β）を用いて、輪郭の外側と内側の輝度差を算出する（ステップＳ２１）。

輪郭内部のテクスチャ特徴量（特徴量３）を求める処理フローＦ３０において、ステップＳ２１で生成した収縮マスクＭ２を用い、撮像装置５５ｃによって撮像された観察画像について微分フィルタを適用させて、収縮マスクＭ２に対応した領域（収縮マスク領域）内のエッジ強度の平均を輪郭内部のテクスチャ特徴量として算出する（ステップＳ３１）。

画像解析部１２０は、オブジェクトごとに算出して特徴量記憶部１３０に記録した各特徴量に対して、各特徴量と予め設定されたしきい値とを比較し、しきい値によるリジェクトをそれぞれ行う（ステップＳ１２，Ｓ２２，Ｓ３２）。そして、しきい値を満足する３つの特徴量を持つオブジェクトのみを受精卵候補とみなす。なお、前述したように、コントラストの影響により特徴量が大きく変化しないように、輪郭内部のテクスチャ特徴量（特徴量３）については、全オブジェクト中における輝度平均の最大値に対する割合として扱う。

続いて、所定の上下限値の範囲をフルスケールとして各特徴量に対してスケールの正規化を行って（ステップＳ５）、共通のスケールに変換された各特徴量をスコア１，２，３として求める（ステップＳ６）。ステップＳ７では、オブジェクトごとにスコア１，２，３の総和からなる総合スコアを算出し、総合スコアをソートする（得点の大きい順に並べ替える）。この総合スコアが最大となるラベルのオブジェクトを観察対象の受精卵と認識し（ステップＳ８）、最終的には、このラベルを持つオブジェクトが受精卵であるとの判定結果が出力部１４０から出力される（ステップＳ９）。

出力部１３０から出力された判定結果は、操作盤７の表示パネル７２に表示され、観察画像中で最も高い総合スコアを持つオブジェクトに受精卵を示す表示がされる。

具体的な表示方法として、例えば、受精卵であることを示す記号（例えば「Ｊ」）を付加して表示したり、受精卵とそれ以外の異物とを異なる色相や輝度で表示したり、異物を塗りつぶして表示したり、異物を除去した画像を表示する等により、受精卵とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部１４０から出力される上記のような判別データを、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、受精卵の生育状態を観察するための基礎データとして用いたりするように構成することができる。

これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、観察中の（または既に観察画像の取得を終了した）各画像に含まれるオブジェクトが受精卵であるか否かを直ちに判断することができる。また、このようにして受精卵とそれ以外の異物とが判別されたデータを用いることにより、受精卵の生育状態を効率的に観察することが可能になる。

次に、受精卵の製造方法について図１１を追加参照して概要説明する。まず、ステップＳ１１０において、受精卵を培地ドロップＤと共に培養容器１０（ディッシュ１０ａ）内に注入し、この培養容器１０を受精卵の培養に適した環境条件に維持された培養室２内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット６において培養室２内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。

ステップＳ１２０では、培養容器１０内の受精卵の観察として、前述した画像処理のステップＳ１〜Ｓ９（図１を参照）を実行して、観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器１０（ディッシュ１０ａ）内において、１個の培地ドロップＤに対して受精卵が各１個ずつ識別される。

続いて、ステップＳ１３０では、培地ドロップＤごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで分裂し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても分裂するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。

ステップＳ１４０では、上記選別した受精卵（胚盤胞と称される状態にまで成長した良好な受精卵）を採取して、例えばマイナス１９６℃の液体窒素の中で凍結保存する。そして、この受精卵（胚盤胞）は所定の周期のときに母体へ戻される（胚移植される）。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期（４細胞期胚、８細胞期胚）の状態で保存してもよい。

以上説明したように、本実施形態の画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される受精卵観察の画像処理方法及び画像処理装置１００、並びに受精卵の製造方法によれば、撮像した観察画像内に写し込まれる複数のオブジェクトの中から観察対象である受精卵を的確に認識することが可能である。

なお、上述の実施形態では、輪郭の円形度、輪郭の外側と内側の輝度差、及び輪郭内部のテクチャ特徴量、の３つの特徴量に基づいて受精卵を認識する処理方法を例示したが、本発明はこの実施形態に限定されるものではなく、他の特徴量（形状特徴量やテクスチャ特徴量など）に基づいて受精卵を認識する方法や、更に別の特徴量を付加して４つ、５つ、…の特徴量に基づいて受精卵を認識する方法に適用しても、同様の効果を得ることができる。例えば、観察倍率の比較的低い画像に基づいてオブジェクトの輪郭部の輝度値や、オブジェクト内部の輝度の分散値などを新たな特徴量として、上記３つの特徴量のうちの１つと入れ替えて用いた構成や、上記３つの特徴量に付加して４つ、５つの特徴量として構成してもよい。

また、上述したように、本実施形態に例示する観察ユニット５の顕微観察系５５においては、観察倍率が対物レンズ等のレンズ設定に応じて変倍可能に構成されており、観察画像から求められる特徴量には、低倍画像（低倍位相差画像）においてより顕著に現れる特徴量と、高倍画像（高倍位相差画像）においてより顕著に現れる特徴量とがある。本実施形態で例示した３つの特徴量については、数値化やテクスチャの検出が可能なように解像度の高い高倍画像に基づいて求められるのが望ましく、上記した新たな特徴量としての輪郭内部の輝度値については、輝度変化が顕著に現れる低倍画像に基づいて求められるのが望ましい。ここで、高倍画像とは例えば観察倍率１０倍や２０倍などの画像であり、低倍画像とは例えば観察倍率２倍程度の画像であり、観察対象の受精卵、卵細胞、胚などの大きさ等に応じて適宜な倍率を用いることができる。

さらに、上述の実施形態では、培地ドロップＤ内に注入される１個の受精卵ａを識別処理する構成を例示したが、本発明はこの実施形態に限定されるものではなく、培地ドロップＤに注入される複数の受精卵ａ全てを識別するように構成してもよい。例えば、総合スコアに対して、予め受精卵識別のしきい値を設定しておき、このしきい値を超えるオブジェクトを受精卵であると判別したり、培地ドロップＤに注入される受精卵ａの個数だけ予め設定しておき、その個数に応じた総合スコアの上位のオブジェクトを受精卵であると認識したりする構成としてもよい。

ＢＳ 培養観察システム ＧＰ 画像処理プログラム
ａ 受精卵 ５ 観察ユニット
６ 制御ユニット ７ 操作盤
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １４０ 出力部

Claims (18)

1. 観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、
   前記観察画像に写し込まれた前記複数の物体を抽出し、
   前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、
   算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法。
2. 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項１に記載の受精卵観察の画像処理方法。
3. 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項１または２に記載の受精卵観察の画像処理方法。
4. 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項１または２に記載の受精卵観察の画像処理方法。
5. 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項１または２に記載の受精卵観察の画像処理方法。
6. コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
   前記撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップと、
   前記観察画像に写し込まれた前記複数の物体を抽出するステップと、
   前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップと、
   算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別するステップと、
   前記物体に対する識別結果を出力するステップとを
   前記コンピュータに実現させることを特徴とする受精卵観察の画像処理プログラム。
7. 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項６に記載の受精卵観察の画像処理プログラム。
8. 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項６または７に記載の受精卵観察の画像処理プログラム。
9. 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項６または７に記載の受精卵観察の画像処理プログラム。
10. 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項６または７に記載の受精卵観察の画像処理プログラム。
11. 複数の物体を撮影する撮像装置と、
    前記撮像装置により撮影された観察画像から前記複数の物体を抽出し、前記複数の物体の中から受精卵を識別する画像解析部と、
    前記画像解析部により判断された識別結果を外部に出力する出力部とを備え、
    前記画像解析部が、前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置。
12. 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項１１に記載の受精卵観察の画像処理装置。
13. 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項１１または１２に記載の受精卵観察の画像処理装置。
14. 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項１１または１２に記載の受精卵観察の画像処理装置。
15. 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項１１または１２に記載の受精卵観察の画像処理装置。
16. 所定の環境条件で受精卵を培養し、
    受精卵が存在する培養容器中から、請求項１１〜１５のいずれかに記載の画像処理装置を用いて受精卵を識別することを特徴とする受精卵の製造方法。
17. 所定の環境条件で受精卵を培養し、
    受精卵が存在する培養容器中において、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、
    前記観察画像に写し込まれた前記複数の物体を抽出し、
    前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、
    算出された前記複数の特徴量に基づいて、前記培養容器中の前記複数の物体の中から受精卵を識別することを特徴とする受精卵の製造方法。
18. 識別された受精卵を所定の選別基準に基づいて選別し、
    選別された受精卵を前記培養容器中から採取して保存することを特徴とする請求項１６又は１７に記載の受精卵の製造方法。

Images