WO2021200002A1

WO2021200002A1 - 顕微鏡システム、投影ユニット、及び、検卵支援方法

Info

Publication number: WO2021200002A1
Application number: PCT/JP2021/009684
Authority: WO
Inventors: 拓人山根; 敏征服部; 伸介金木; 勇大尾原
Original assignee: オリンパス株式会社
Priority date: 2020-03-31
Filing date: 2021-03-10
Publication date: 2021-10-07
Also published as: JPWO2021200002A1; EP4130842A1; EP4130842A4; CN115552309A

Abstract

顕微鏡システム１は、顕微鏡１０と、ステージ１１に置かれた容器４０内に収容された卵胞液５０の撮影画像を取得する撮影装置１５と、撮影装置１５で取得した撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置１００と、顕微鏡１０の光路上の像面に形成される卵胞液５０の光学画像上に、画像処理装置１００で生成された補助画像を重畳する重畳装置である投影装置１７と、を備える。

Description

顕微鏡システム、投影ユニット、及び、検卵支援方法

　本明細書の開示は、顕微鏡システム、投影ユニット、及び、検卵支援方法に関する。

　晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は年々増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ　Ｒｅｐｒｏｄｕｃｔｉｖｅ　Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。

　ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ　ｖｉｔｒｏ　ｆｅｒｔｉｌｉｚａｔｉｏｎ）や、卵細胞質内精子注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ　ｓｐｅｒｍ　ｉｎｊｅｃｔｉｏｎ）に代表される顕微授精など、ヒトから取り出した卵子と精子を体外で受精させる技術の総称であり、採取した精子を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。

　ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精に好適な顕微鏡が記載されている。

国際公開第２０１２／１５０６８９号

　ところで、卵子と精子を体外で受精させるＡＲＴでは、予め母体から卵子を取り出す必要がある。このため、医師が卵巣内の卵胞から卵胞液を採取し（これを採卵という。）、胚培養士が採取された卵胞液から卵子を見つけ出して回収する（これを検卵という）、といった作業が行われる。

　採卵のためには、患者は医療機関へ通院しなければならない。さらに、医療機関では、膣から卵巣に採卵針が穿刺され、それによって卵巣から卵胞液が採取される。このように、採卵は、患者に肉体的にも精神的にも大きな負担を強いることになる。また、一回当たりの採卵で採取可能な卵子数も限られている。このため、不妊治療患者にとって卵子は貴重であり、医療機関には、採卵において採取された卵胞液から卵子を見逃すことなく回収することが求められる。

　その一方で、採卵において採取された卵胞液中の卵子を見逃すことなく見つけ出して回収することは容易ではない。これは、卵胞から採取された卵胞液には卵子以外にも様々な細胞が含まれているためである。このため、卵子を正しく認識して回収することは熟練者であっても必ずしも容易ではなく、経験の浅い胚培養士にとっては困難な作業である。

　また、検卵には実体顕微鏡が用いられるため、卵子を含む卵胞液は、検卵中インキュベータから取り出されて室内の雰囲気下で暴露される。卵子が暴露される期間は短ければ短いほどよいため、胚培養士には、検卵を可能な限り素早く、且つ、確実に行うことが求められる。

　以上のような実情を踏まえ、本発明の一側面に係る目的は、検卵における卵子の探索を支援する技術を提供することである。

　本発明の一態様に係る顕微鏡システムは、顕微鏡と、前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得する撮影装置と、前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える。

　本発明の一態様に係る投影ユニットは、顕微鏡に装着して使用される投影ユニットであって、前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える。

　本発明の一態様に係る検卵支援方法は、顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得し、前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成し、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、生成された前記補助画像を重畳することを含む。

　上記の態様によれば、検卵における卵子の探索を支援することができる。

顕微鏡システム１の構成を示した図である。画像処理装置１００の構成を例示した図である。顕微鏡１０の光学系の構成を例示した図である。第１の実施形態に係る学習処理の一例を示したフローチャートである。学習用データセットの作成画面の一例を示した図である。学習用データセットに含まれる画像を例示した図である。第１の実施形態に係る検卵支援処理の一例を示したフローチャートである。第１の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の一例である。接眼レンズ１９から見える画像の別の例である。第２の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。第３の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。学習用データセットの作成画面の別の例を示した図である。学習用データセットの作成画面の更に別の例を示した図である。第４の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。第５の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム２の構成を示した図である。第６の実施形態に係る検卵支援処理の一例を示したフローチャートである。顕微鏡システム３の構成を示した図である。第７の実施形態に係る検卵支援処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。第８の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム４の構成を示した図である。第９の実施形態に係る検卵支援処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム５の構成を示した図である。第１０の実施形態に係る検卵支援処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム６の構成を示した図である。第１１の実施形態に係る補助画像生成処理の一例を示したフローチャートである。接眼レンズ１９から見える画像の更に別の例である。接眼レンズ１９から見える画像の更に別の例である。接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム７の構成を示した図である。顕微鏡システム８の構成を示した図である。

［第１の実施形態］
　図１は、顕微鏡システム１の構成を示した図である。図２は、画像処理装置１００の構成を例示した図である。図３は、顕微鏡１０の光学系の構成を例示した図である。顕微鏡システム１は、接眼レンズ１９を覗いて試料を観察するためのシステムである。顕微鏡システム１が観察対象とする試料は、例えば、容器４０に収容された卵胞液５０であり、顕微鏡システム１は、例えば、不妊治療の一工程である検卵に用いられる。

　顕微鏡システム１は、少なくとも、顕微鏡１０と、撮影装置１５と、重畳装置の一例である投影装置１７と、画像処理装置１００と、を備えている。顕微鏡システム１は、顕微鏡１０の光学系によって卵胞液５０の光学画像が形成されている像面に、投影装置１７を用いて補助画像を投影することによって、光学画像上に補助画像を重畳する。補助画像には、卵子の存在が推定される領域（以降、推定領域と記す。）を特定する情報が含まれている。なお、補助画像は、撮影装置１５が撮影した卵胞液の撮影画像に基づいて画像処理装置１００によって作成される。

　これにより、接眼レンズ１９を覗いて卵胞液を観察している顕微鏡システム１の利用者は、接眼レンズ１９から目を離すことなく推定領域の情報を得ることができるため、卵子を短時間で比較的容易に探し出すことが可能となる。従って、顕微鏡システム１によれば、利用者の検卵における卵子を探索する作業を支援することができる。

　以下、図１から図３を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、撮影装置１５と投影装置１７とを備える顕微鏡１０と、画像処理装置１００と、を備えている。

　顕微鏡１０は、卵胞液５０が収容された容器４０が載置されるステージ１１と、レボルバ１３に装着された対物レンズ１２と、結像レンズ１８と、接眼レンズ１９を備えている。対物レンズ１２と結像レンズ１８は、卵胞液５０の光学画像を像面に形成する。接眼レンズ１９は、像面に形成された光学画像をさらに拡大する。顕微鏡システム１の利用者は、接眼レンズ１９を用いることで光学画像が拡大された虚像を観察する。

　顕微鏡１０は、また、対物レンズ１２と結像レンズ１８の間の光路上に配置されたスプリッタ１４と、スプリッタ１４で分岐した光路上に配置された撮影装置１５と、を備えている。スプリッタ１４は、例えば、ハーフミラーなどであるが、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。撮影装置１５は、例えば、撮像素子を備えるデジタルカメラであり、卵胞液５０の撮影画像を取得する。撮像素子は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの二次元イメージセンサである。

　顕微鏡１０は、さらに、対物レンズ１２と結像レンズ１８の間の光路上に配置されたスプリッタ１６と、スプリッタ１６で分岐した光路上に配置された投影装置１７と、を備えている。スプリッタ１６は、例えば、ハーフミラーなどであるが、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。投影装置１７は、例えば、反射型の液晶デバイスを用いたプロジェクタ、透過型の液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタなどである。投影装置１７は、顕微鏡１０の光路上の像面に画像処理装置１００で生成された補助画像を投影する。なお、投影装置１７は、像面に補助画像を投影することで、像面に形成される卵胞液５０の光学画像上に補助画像を重畳する重畳装置の一例である。

　画像処理装置１００は、撮影装置１５で取得した撮影画像に基づいて補助画像を生成する。画像処理装置１００は、補助画像の生成に関連する機能的構成要素として、画像解析部１１０と、画像生成部１２０と、記憶部１３０を備えている。

　画像解析部１１０は、撮影画像に対して卵子を対象とする物体検出を含む画像解析を行う。具体的には、画像解析部１１０は、例えば、記憶部１３０に記憶されている学習済みモデルを用いて物体検出を行う。学習済みモデルのアルゴリズムは、特に限定しないが、例えば、ＳＳＤ、ＹＯＬＯ、ＦａｓｔｅｒＲ－ＣＮＮなどの深層学習モデルであってもよい。

　画像生成部１２０は、画像解析部１１０の画像解析の結果に基づいて、卵子の存在が推定される領域（推定領域）を特定する情報を含む補助画像を生成する。具体的には、画像生成部１２０は、推定領域にバウンディングボックスを有する画像を補助画像として生成する。

　記憶部１３０は、入力画像に対する卵子の位置を学習した学習済みモデルを記憶する。即ち、学習済みモデルは、卵子に分類された対象を検出し、少なくとも卵子の位置情報を出力する。より具体的には、学習済みモデルは、卵子の位置情報と、卵子の確からしさを示す分類の確率（ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｃｏｎｆｉｄｅｎｃｅ）と、を出力する。

　画像処理装置１００は、汎用のコンピュータであっても、専用のコンピュータであってもよい。画像処理装置１００は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、画像処理装置１００は、プロセッサ１０１と、記憶装置１０２と、入力装置１０３と、出力装置１０４と、通信装置１０５と、を備えてもよく、それらが互いにバス１０６によって接続されてもよい。

　プロセッサ１０１は、ハードウェアを含んでもよく、ハードウェアは例えば、デジタル信号を処理するための回路およびアナログ信号を処理するための回路のうちの少なくとも１つを含んでもよい。プロセッサ１０１は、例えば、回路基板上に、１つまたは複数の回路デバイス（例えば、ＩＣ）または１つまたは複数の回路素子（例えば、抵抗器、コンデンサ）を含むことができる。プロセッサ１０１は、ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）であってもよい。また、プロセッサ１０１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む様々なタイプのプロセッサが使用されてもよい。プロセッサ１０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有するハードウェア回路であってもよい。プロセッサ１０１は、アナログ信号を処理するための増幅回路、フィルタ回路などを含むことができる。プロセッサ１０１は、記憶装置１０２に記憶されているプログラムを実行することで、上述した画像解析部１１０及び画像生成部１２０として機能する。

　記憶装置１０２は、メモリ及び／又はその他の記憶装置を含んでもよい。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）であってもよい。メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの半導体メモリであってもよい。記憶装置１０２は、例えば、レジスタ、ハードディスク装置のような磁気記憶装置、光学ディスク装置のような光学記憶装置、内部または外部ハードディスクドライブ、ソリッドステート記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、他の光学または磁気ディスク記憶装置、または、他の記憶装置であってもよい。記憶装置１０２は、プロセッサ１０１によって実行されるプログラム、学習済みモデル、その他のデータを記憶し、上述した記憶部１３０として機能する。なお、記憶装置１０２は、非一時的なコンピュータ可読記憶媒体の一例である。

　入力装置１０３は、顕微鏡システム１の利用者（例えば、胚培養士）が操作する装置である。入力装置１０３は、例えば、キーボード、マウス、タッチパネル、音声入力装置、フットペダルなどであり、入力装置１０３に対する操作に応じた操作信号をプロセッサ１０１へ出力する。

　出力装置１０４は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、ＬＥＤマトリクスパネルなどの表示装置である。出力装置１０４は、さらに、音声を出力するスピーカーなどの音声出力装置、光を出力するランプやライトなどの発光装置、振動を出力するバイブレータなどの振動装置などを含んでもよい。

　通信装置１０５は、顕微鏡１０やその他の装置とデータをやり取りする装置である。通信装置１０５は、有線でデータをやり取りする通信装置であってもよく、無線でデータをやり取りする通信装置であってもよい。記憶装置１０２に記憶されるプログラムや学習済みモデルは、通信装置１０５がインターネット経由で他の装置から取得したものであってもよい。

　なお、顕微鏡１０を用いて行う検卵は、比較的低い観察倍率で胚培養士が接眼レンズ１９を覗き込みながら行う作業である。このため、顕微鏡１０は、低倍率下で対象を立体的に観察可能な実体顕微鏡であることが望ましい。より具体的には、例えば、図３に示すように、スプリッタ１４ａと撮影装置１５ａとスプリッタ１６ａと投影装置１７ａと結像レンズ１８ａと接眼レンズ１９ａを含む左目系と、スプリッタ１４ｂと撮影装置１５ｂとスプリッタ１６ｂと投影装置１７ｂと結像レンズ１８ｂと接眼レンズ１９ｂを含む右目系と、を有する双眼実体顕微鏡であることが望ましい。

　図４は、本実施形態に係る学習処理の一例を示したフローチャートである。図５は、学習用データセットの作成画面の一例を示した図である。図６は、学習用データセットに含まれる画像を例示した図である。以下、図４から図６を参照しながら、記憶部１３０に記憶されている学習済みモデルを構築するための学習処理について説明する。なお、図４に示す学習処理は、画像処理装置１００とは別のコンピュータで行われてもよく、画像処理装置１００は、完成した学習済みモデルをネットワーク経由や記録媒体経由で取得してもよい。

　図４に示す処理が開始されると、図５に示すウィンドウＷ１が表示される。図５に示すウィンドウＷ１は、学習用データセットの作成画面であり、ウィンドウＷ１には、卵胞液の画像ファイルを選択する領域Ｒ１と、領域Ｒ１で選択された画像ファイルに対応する卵胞液の画像を表示する領域Ｒ２と、が含まれている。

　学習済みモデルを構築する作業者が領域Ｒ１にリストされている複数の画像ファイルから１つの画像ファイルを選択すると、コンピュータは、選択した画像ファイルに対応する卵胞液の静止画を領域Ｒ２に表示する（ステップＳ１）。なお、作業者は、例えば、経験豊富な胚培養士などである。その後、作業者は、領域Ｒ２に表示されている静止画から卵子を見つけ出して、図５に示すように、卵子を含む領域に矩形のボックスＢを付して、ファイルを保存する操作を行う。作業者の保存操作を検出すると、コンピュータは、学習用データセットを作成する（ステップＳ２）。具体的には、コンピュータは、領域Ｒ２に表示されている画像から矩形のボックスＢで囲まれた領域を切り出して、学習用データセットに追加する。ステップＳ１とステップＳ２が複数の静止画に対して繰り返し行われることで、十分な量の学習用データセットが準備される。

　なお、卵子は卵胞内では卵丘細胞に取り囲まれているが、卵胞内から吸引される採卵時などに卵丘細胞が剥がれ落ちてしまうことがある。従って、検卵時に見つかる卵子は、卵丘細胞に取り囲まれているものもあれば、卵丘細胞が剥がれ落ち卵子を取り囲む放射冠がむき出しになっているものもある。このため、学習用データセットに含まれる画像には、卵丘細胞に取り囲まれた卵子の画像と、卵丘細胞から剥がれた卵子の画像と、の両方が含まれていることが望ましい。

　なお、図６に示すデータセットＤＳに含まれるデータＤ１は、卵丘細胞が剥がれた卵子の画像の一例である。卵子Ｅ１の周りを透明帯Ｅ２と放射冠Ｅ３が取り囲んでいる様子が写っている。一方、データＤ２は、卵丘細胞に取り囲まれた卵子の画像の一例である。卵子Ｅ１（透明帯Ｅ２、放射冠Ｅ３）が卵丘細胞Ｅ４に取り囲まれている様子が写っている。

　十分な量の学習用データセットが準備されると、コンピュータは、学習用データセットを用いて、卵子を対象として物体検出を行うモデルに学習させる（ステップＳ３）。つまり、モデルを訓練し、検証し、テストする。なお、ステップＳ２で作成されたデータセットは、訓練データ兼検証データと、テストデータと、に分けてもよい。その場合、訓練データ兼検証データを、クロスバリデーション（交差検証）を用いて訓練と検証の両方に使用されることが望ましい。なお、訓練データとは、モデルの訓練に使用されるデータであり、検証データとは、モデルの検証に使用されるデータである。また、テストデータとは、モデルのテストに使用されるデータである。

　コンピュータは、以上の処理をモデルがテストをクリアするまで繰り返し、クリアすると、つまり、学習が終了すると、図４の処理を終了する。図４の処理が行われることで、十分に訓練され、一定の性能が保証された学習済みモデルを得ることができる。得られた学習済みモデルは、画像処理装置１００の記憶部１３０に記憶される。

　図７は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図８は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図９は、接眼レンズ１９から見える画像の一例である。以下、図７から図９を参照しながら、顕微鏡システム１で行われる検卵支援方法について説明する。

　図７に示す検卵支援処理は、顕微鏡システム１の利用者が、ステージ１１に卵胞液５０が収容された容器４０を配置し、検卵を開始することによって開始される。

　図７に示す検卵支援処理が開始されると、顕微鏡システム１は、まず、光学画像を像面に投影する（ステップＳ１１）。ここでは、対物レンズ１２と結像レンズ１８を含む光学系が、卵胞液５０からの光に基づいて、顕微鏡１０の光路上に、例えば、図９に示すような、卵胞液５０の光学画像Ｏ１を形成する。

　顕微鏡システム１は、ステップＳ１１と同時に、撮影画像を取得する（ステップＳ１２）。ここでは、撮影装置１５は、卵胞液５０からの光に基づいて卵胞液の撮影画像を取得し、撮影画像を画像処理装置１００へ出力する。

　その後、顕微鏡システム１は、図８に示す補助画像生成処理を行う（ステップＳ１３）。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ２１）。ここでは、画像解析部１１０が、撮影画像を入力画像として学習済みモデルに入力することで、卵子を対象とする物体検出を行う。

　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有する画像を補助画像として生成し（ステップＳ２２）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果に基づいて、補助画像Ａ１を生成する。より具体的には、画像生成部１２０は、物体検出において対象の位置情報とともに画像解析部１１０から出力される分類の確率が閾値以上の対象のみを卵子と判断してもよく、閾値以上の分類の確率を有する対象が存在する領域にバウンディングボックスを有する補助画像Ａ１を生成してもよい。図９に示す補助画像Ａ１には、物体検出による卵子が存在すると推定された２つの領域にバウンディングボックスが形成された様子が示されている。

　補助画像生成処理を終了すると、顕微鏡システム１は、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、光学画像Ｏ１が形成された像面にステップＳ１３で生成された補助画像Ａ１を投影し、それによって、光学画像Ｏ１上に補助画像Ａ１を重畳する。

　これにより、顕微鏡システム１の利用者である胚培養士は、接眼レンズ１９を覗くことで、図９に示すような、光学画像Ｏ１と補助画像Ａ１が重畳した画像を見ながら、卵子を探索することができる。このため、経験の浅い胚培養士であっても、卵丘細胞から離れて孤立した卵子など、見落としがちな卵子を確実に発見することができる。従って、顕微鏡システム１によれば、検卵における卵子の探索を支援することができる。

　なお、図９では、物体検出により卵子が存在すると推定された推定領域にバウンディングボックスを有する補助画像Ａ１を例示したが、補助画像は、推定領域を特定する情報を含んでいればよい。そのため、矩形のバウンディングボックスの代わりに、推定領域を、例えば丸など任意の形状で囲んでもよい。また、推定領域を囲む代わりに、矢印などで推定領域を指し示すなど、その他の方法で、卵子が存在する領域を特定してもよい。

　図１０は、接眼レンズ１９から見える画像の別の例である。図９では、推定領域を特定する情報のみを含む補助画像Ａ１を例示したが、画像解析部１１０から出力される情報には、対象の位置情報に加えて、分類の確率が含まれるのが通常である。このため、画像生成部１２０は、対象の位置情報に加えて分類の確率を用いて補助画像を生成してもよく、補助画像は、例えば、図１０に示すように、推定領域を特定する情報（バウンディングボックス）に加えて、卵子として分類された確率の情報を含んでもよい。図１０に示す補助画像Ａ２の場合、１つ目のバウンディングボックス内の卵子は９５％の確率で卵子に分類されたこと、２つ目のバウンディングボックス内の卵子は８０％の確率で卵子に分類されたことが示されている。図１０に示すように、分類の確率が表示されることで、胚培養士は、卵子を探索するときに、自身の初期の見解と分類の確率とを踏まえて卵子か否かについての最終的な判断を下すことができる。また、分類の確率の高いものから優先して確認することで、検卵時間の短縮も期待できる。

［第２の実施形態］
　図１１は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１２は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出に加えて、撮影画像よりも前に取得された別の撮像画像内で検出された卵子の現在位置を推定する物体追跡を行う点が、図１に示す顕微鏡システム１とは異なっている。即ち、本実施形態では、画像解析部１１０は、物体検出と物体追跡とを含む画像解析を行う。また、本実施形態に係る検卵支援処理は、図８に示す補助画像生成処理の代わりに、図１１に示す補助画像生成処理を含む点を除き、図７に示す検卵支援処理と同様である。以下、図１１及び図１２を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。

　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１１に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ３１）。この処理は、図８のステップＳ２１と同様である。

　次に、画像処理装置１００は、以前に検出された卵子の現在位置を推定する（ステップ３２）。ここでは、画像解析部１１０は、卵子を対象とする物体追跡を行う。具体的には、画像解析部１１０は、最新の撮影画像を含む複数フレームの撮影画像に基づいて、卵子の現在位置を推定する。また、画像解析部１１０は、物体検出において出力された分類の確率が閾値以上の対象のみを卵子と判断してもよく、卵子と判断された対象のみを物体追跡の対象としてもよい。なお、物体追跡の具体的方法は特に限定しないが、追跡対象が他の物体の背後に隠れてしまうオクルージョンに対してロバストな方法が採用されることが望ましい。例えば、カルマンフィルタやパーティクルフィルタなどを用いて卵子の現在位置を推定してもよい。また、容器のオプティカルフローを算出し、算出したオプティカルフローから卵子の現在位置を推定してもよい。

　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、且つ、推定した現在位置を含む領域に第２のバウンディングボックスを有する画像を補助画像として生成し（ステップＳ３３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果と物体追跡結果とに基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１２に示すように、視野内の卵子が全て物体検出で検出されている間は、矩形のバウンディングボックスのみを有する補助画像（補助画像Ａ１１、補助画像Ａ１２）を生成し、一部の卵子が他の細胞の背後に隠れてしまった場合には、矩形のバウンディングボックスと扇形のバウンディングボックスを有する補助画像（補助画像Ａ１３）を生成してもよい。なお、矩形のバウンディングボックスは、物体検出で推定された推定領域を示し、扇形のバウンディングボックスは、物体追跡で推定された卵子の現在位置を含む領域を示している。

　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。これにより、利用者が容器を動かした結果、一部の卵子が他の細胞の背後に隠れてしまった場合であっても、例えば、図１２に示すように、隠れた卵子の存在を見逃すことなく利用者に通知することができる。なお、図１２は、容器を動かすことで像面に形成される光学画像が光学画像Ｏ１１、光学画像Ｏ１２、光学画像Ｏ１３のように変化したときに、像面に投影される補助画像が補助画像Ａ１１、補助画像Ａ１２、補助画像Ａ１３のように変化した様子を示している。

　本実施形態においても、補助画像が投影されるため、胚培養士は、見落としがちな卵子を確実に発見することができる。従って、本実施形態に係る顕微鏡システムによっても、顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。

　また、検卵中、胚培養士は、容器を動かして視野を別の場所へ移動する、容器を振って他の細胞の背後に隠れた卵子を動かす、などの作業を行うことがある。このような作業によって卵子が容器内で移動することで新たに卵子を物体検出によって検出することができる場合がある一方で、これまで検出されていた卵子が他の細胞の背後に隠れて見えなくなってしまうこともある。本実施形態に係る顕微鏡システムによれば、卵子を対象とした物体追跡が行われるため、隠れた卵子の存在も利用者に通知することができる。このため、本実施形態に係る顕微鏡システムによれば、検卵における卵子の探索をさらに強力に支援することができる。

［第３の実施形態］
　図１３は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１４は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出に加えて物体追跡を行う点は、第２の実態形態に係る顕微鏡システムと同様である。顕微鏡システムは、視野内の卵子の存在に加えて、視野外に移動した卵子の存在も利用者に通知する点が、第２の実施形態に係る顕微鏡システムとは異なっている。より具体的には、顕微鏡システムは、図１１に示す補助画像生成処理の代わりに、図１３に示す補助画像生成処理を含む検卵支援処理を行う。以下、図１３及び図１４を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。

　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１３に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出し（ステップＳ４１）、以前に検出された卵子の現在位置を推定する（ステップ４２）。これらの処理は、図１１のステップＳ３１とステップＳ３２の処理と同様である。

　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、推定した視野内の現在位置を含む領域に第２のバウンディングボックスを有し、且つ、推定した視野外の現在位置の方向を指す情報を有する画像を補助画像として生成し（ステップＳ４３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果と物体追跡結果とに基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１４に示すように、卵子が全て物体検出で検出されている間は、矩形のバウンディングボックスのみを有する補助画像（補助画像Ａ２１、補助画像Ａ２２）を生成し、一部の卵子が他の細胞の背後に隠れてしまった場合には、矩形のバウンディングボックスと扇形のバウンディングボックスを有する補助画像（補助画像Ａ２３）を生成し、一部の卵子が視野外へ移動してしまった場合には、矩形のバウンディングボックスと矢印マークを有する補助画像（補助画像Ａ２４）を生成する。なお。矢印マークは、物体追跡で推定された視野外の現在位置の方向を指す情報の一例であり、視野外の卵子が存在する方向を表す情報の一例である。

　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。これにより、利用者が容器を動かした結果、一部の卵子が他の細胞の背後に隠れてしまった場合や視野外に移動してしまった場合であっても、例えば、図１４に示すように、隠れた卵子や視野外の卵子の存在を見逃すことなく利用者に通知することができる。なお、図１４は、容器を動かすことで像面に形成される光学画像が光学画像Ｏ２１、光学画像Ｏ２２、光学画像Ｏ２３、光学画像Ｏ２４のように変化したときに、像面に投影される補助画像が補助画像Ａ２１、補助画像Ａ２２、補助画像Ａ２３、補助画像Ａ２４のように変化した様子を示している。

　本実施形態においても、補助画像が投影されるため、胚培養士は、見落としがちな卵子を確実に発見することができる。また、本実施形態に係る顕微鏡システムによれば、卵子を対象とした物体追跡が行われるため、隠れた卵子の存在や視野外へ移動した卵子の存在も利用者に通知することができる。このため、本実施形態に係る顕微鏡システムによれば、検卵における卵子の探索をさらに強力に支援することができる。

［第４の実施形態］
　図１５は、学習用データセットの作成画面の別の例を示した図である。図１６は、学習用データセットの作成画面の更に別の例を示した図である。図１７は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１８は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出によって、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出する点が、図１に示す顕微鏡システム１とは異なっている。また、本実施形態に係る検卵支援処理は、図８に示す補助画像生成処理の代わりに、図１７に示す補助画像生成処理を含む点を除き、図７に示す検卵支援処理と同様である。

　まず、図１５及び図１６を参照しながら、本実施形態に係る顕微鏡システムの記憶部１３０に記憶されている学習済みモデルを構築するための学習処理について説明する。学習処理の手順は、基本的には、図４に示す手順と同様である。このため、図４に示す手順との相違点に注目して学習処理について説明する。

　本実施形態では、作業者は、図１５に示すウィンドウＷ２上で、領域Ｒ２に表示されている静止画から卵子を見つけ出して卵子を含む領域に矩形のボックスＢを付した後に、さらに、検卵における採取対象としての推奨度を判断して推奨度情報を入力欄Ｃに入力する。そして、作業者の保存操作を検出すると、コンピュータは、領域Ｒ２に表示されている画像から矩形のボックスＢで囲まれた領域を切り出し、入力された推奨度情報に応じたクラスの画像として、学習用データセットに追加する。なお、作業者によって入力される推奨度情報は、卵子の成熟度情報であってもよく、例えば、ＧＶ期卵である変性卵を示す“ＧＶ”、ＭＩ期卵である未成熟卵を示す“ＭＩ”、ＭＩＩ期卵である成熟卵を示す“ＭＩＩ”を含んでもよい。さらに、作業者は、例えば、過熟卵、中等度成熟卵、異常卵などを区別して、推奨度情報を入力してもよい。

　このようにして得られたデータセットを用いて学習することで、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出する学習済みモデルを構築することができる。これにより、記憶装置１０２には、入力画像に対する少なくとも卵子の位置と卵子の複数のクラスとを学習した学習済みモデルが記憶される。なお、図１６に示すように、卵子を含む領域に矩形のボックスＢを付したことが検出されると、学習用データセットの作成画面（ウィンドウＷ２）上に、成熟度の異なる卵子のサンプル画像を含む領域Ｒ３が表示されてもよい。このようなサンプル画像を表示することで、作業者による卵子の推奨度の判断を支援してもよい。

　次に、図１７及び図１８を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。

　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１７に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ５１）。この処理は、図８のステップＳ２１の処理と同様である。

　その後、画像処理装置１００は、推定領域に卵子のクラスが付されたバウンディングボックスを有する画像を補助画像として生成し（ステップＳ５２）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果に基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１８に示すように、矩形のバウンディングボックスの近くに卵子のクラスを特定する情報（ＧＶ、ＭＩ、ＭＩＩ）を有する補助画像Ａ３１を生成する。

　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、例えば、図１８に示すように、光学画像Ｏ３１上に補助画像Ａ３１を重畳する。これにより、顕微鏡システムによれば、推定領域とともにその領域に存在する卵子の推奨度も利用者に通知することができる。このため、例えば、全ての卵子を採取する必要がない場合などに、採取すべき卵子の選別を容易に行うことが可能となる。

　なお、本実施形態では、卵子のクラスを特定する文字情報を表示することで推奨度を利用者に通知する例を示したが、例えば、卵子のクラスに応じた色でバウンディングボックスを作成することで推奨度を利用者に通知してもよい。また、卵子のクラスに応じた形状でバウンディングボックスを作成することで推奨度を利用者に通知してもよい。

［第５の実施形態］
　図１９は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図２０は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が物体検出で検出された卵子の大きさを算出する点が、第４の実施形態に係る顕微鏡システムとは異なる。また、顕微鏡システムは、図１７に示す補助画像生成処理の代わりに、図１９に示す補助画像生成処理を含む検卵支援処理を行う。以下、図１９及び図２０を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。

　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１９に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ６１）。この処理は、図８のステップＳ２１の処理と同様である。

　次に、画像処理装置１００は、卵子の大きさを算出する（ステップＳ６２）。ここでは、画像解析部１１０は、例えば、物体検出で検出した推奨領域の面積から卵子の大きさを算出してもよい。また、推奨領域を取り囲むバウンディングボックスの大きさから卵子の大きさを算出してもよい。なお、大きさは、直径など長さの単位で算出されてもよく、面積の単位で算出されてもよい。

　その後、画像処理装置１００は、推定領域に卵子のクラスと大きさが付されたバウンディングボックスを有する画像を補助画像として生成し（ステップＳ６３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、例えば、図２０に示すように、矩形のバウンディングボックスの近くに卵子のクラスを特定する情報（ＧＶ、ＭＩ、ＭＩＩ）と卵子の大きさを特定する情報（９０μｍ、１００μｍ、１２０μｍ）を有する補助画像Ａ４１を生成する。

　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、例えば、図２０に示すように、光学画像Ｏ４１上に補助画像Ａ４１を重畳する。これにより、顕微鏡システムによれば、推定領域とともにその領域に存在する卵子の推奨度と大きさを利用者に通知することができる。このため、例えば、全ての卵子を採取する必要がない場合などに、採取すべき卵子の選別を容易に行うことが可能となる。

　なお、本実施形態に係る顕微鏡システムは、さらに、物体追跡を行ってもよい。その場合、物体検出で検出された卵子と物体追跡で現在位置が推定された卵子で表示態様を異ならせてもよい。例えば、図２１に示すように、物体検出で検出された卵子については、推奨度情報（クラス）と大きさを表示してもよく、物体追跡によって現在位置が推定された卵子については、推奨度情報（クラス）のみを表示してもよい。なお、図２１には、光学画像Ｏ５１上に補助画像Ａ５１が重畳された様子が示されている。また、補助画像Ａ５１には、物体検出で検出された卵子にはクラスと大きさが付され、物体追跡で存在が推定された卵子にはクラスのみが付されている。

［第６の実施形態］
　図２２は、顕微鏡システム２の構成を示した図である。図２３は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。顕微鏡システム２は、物体検出での卵子の検出を報知する報知装置２００を備える点が、顕微鏡システム１とは異なっている。報知装置２００は、例えば、音声を出力するスピーカーなどの音声出力装置、光を出力するランプやライトなどの発光装置、振動を出力するバイブレータなどの振動装置などである。また、顕微鏡システム２は、図７に示す検卵支援処理の代わりに、図２３に示す検卵支援処理を行う。以下、図２２及び図２３を参照しながら、顕微鏡システム２で行われる検卵支援方法について説明する。

　図２３に示すステップＳ７１からステップＳ７４の処理は、図７に示すステップＳ１１からステップＳ１４の処理と同様である。ステップＳ７４で補助画像が重畳されると、画像処理装置１００は、ステップＳ７３の物体検出において卵子が検出されたか否かを判定し（ステップＳ７５）、卵子が検出されたと判定されると（ステップＳ７５ＹＥＳ）、報知装置２００が物体検出での卵子の検出を報知する（ステップＳ７６）。報知方法は、特に限定しないが、報知装置２００は、例えば、注意を喚起するために警告音などを発してもよく、注意を喚起するために光を発光してもよい。また、音声で卵子の検出を報知してもよい。なお、画像処理装置１００の出力装置１０４が報知装置２００を兼ねてもよい。

　本実施形態に係る顕微鏡システム２によっても、第１の実施形態に係る顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。また、補助画像を投影することによって利用者へ視覚的に卵子の存在を報知することに加えて、報知装置２００で卵子検出を報知することで、より確実に利用者に卵子の存在を知らせることができる。

［第７の実施形態］
　図２４は、顕微鏡システム３の構成を示した図である。図２５は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図２６は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム３は、顕微鏡１０の代わりに顕微鏡２０を備える点が顕微鏡システム１とは異なっている。また、顕微鏡２０は、撮影装置２１を備える点が顕微鏡１０とは異なっている。なお、撮影装置２１は、容器４０を含むステージ１１上方の空間の撮影画像（第２の撮影画像）の動画を取得し録画する装置であり、第２の撮影装置である。撮影装置２１は、主に胚培養士のステージ１１上での作業を撮影する目的で設置されている。顕微鏡システム３は、図７に示す検卵支援処理の代わりに、図２５に示す検卵支援処理を行う。以下、図２４から図２６を参照しながら、本実施形態に係る顕微鏡システム３で行われる検卵支援方法について説明する。

　図２５に示すステップＳ８１、ステップＳ８２、ステップＳ８４の処理は、図７に示すステップＳ１１からステップＳ１３の処理と同様である。顕微鏡システム３は、ステップＳ８３において、撮影装置２１でステージ１１上方の空間の第２の撮影画像を取得する。なお、ここでは、静止画ではなく動画を撮影する。ステップＳ８４で補助画像が生成されると、画像処理装置１００は、ステップＳ８４での物体検出において卵子が検出されたか否かを判定し（ステップＳ８５）、卵子が検出されていないと判定されると（ステップＳ８５ＮＯ）、投影装置１７を制御して、投影装置１７が光学画像上に補助画像を重畳する（ステップＳ８６）。なお、ステップＳ８６の処理は、図７に示すステップＳ１４の処理と同様である。一方、画像処理装置１００は、卵子が検出されたと判定されると（ステップＳ８５ＹＥＳ）、投影装置１７を制御して、投影装置１７が光学画像上に補助画像と第２の撮影画像の動画を重畳する（ステップＳ８７）。つまり、画像処理装置１００の制御下で、撮影装置２１が、物体検出で卵子が検出された時刻のフレームを含む第２の撮影画像の動画を録画し、投影装置１７が、図２６に示すように、録画した動画Ａ６２を補助画像Ａ６１とともに光学画像Ｏ６２に重畳する。なお、図２６は、卵子が検出されない光学画像Ｏ６１から卵子が検出された光学画像Ｏ６２に像面に形成される光学画像が変化したときに、卵子検出直前の胚培養士の作業が記録された動画Ａ６２が補助画像Ａ６１とともに表示されている様子を示している。

　本実施形態に係る顕微鏡システム３によっても、第１の実施形態に係る顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。また、顕微鏡システム３では、卵子を検出するために胚培養士が行った作業の詳細、例えば、容器の傾け方や動かし方などの情報が動画を用いて胚培養士に提供される。このため、顕微鏡システム３によれば、胚培養士に卵子を発見するための望ましい作業手順などを学ぶ機会を提供することができる。

［第８の実施形態］
　図２７は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図２８は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出と物体追跡に加えて、卵胞液５０から卵子が採取されたことを認識する処理を行う点が、第３の実態形態に係る顕微鏡システムと異なっている。また、顕微鏡システムは、図１３に示す補助画像生成処理の代わりに、図２７に示す補助画像生成処理を含む検卵支援処理を行う。以下、図２７及び図２８を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。

　図２７に示すステップＳ９１の処理は、図１３に示すステップＳ４１の処理と同様である。次に、画像処理装置１００は、卵子の採取を検出する（ステップＳ９２）。具体的には、画像解析部１１０は、撮影装置１５で撮影された撮影画像の動画に基づいて、卵胞液５０から卵子が採取されたことを認識する処理を行う。さらに、画像処理装置１００は、以前に検出された卵子の現在位置を推定する（ステップＳ９３）。ステップＳ９３の処理は、ステップＳ９２で採取された卵子を追跡対象から除外する点を除き、図１３に示すステップＳ４２の処理と同様である。

　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、推定した視野内の現在位置を含む領域に第２のバウンディングボックスを有し、推定した視野外の現在位置の方向を指す矢印マークを有し、且つ、検卵状況を表す情報を含む画像を補助画像として生成し（ステップＳ９４）、補助画像生成処理を終了する。補助画像に含まれる検卵状況を表す情報は、例えば、図２８に示すように、検出された卵子数と採取済み卵子数を含むことが望ましい。

　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。なお、図２８には、ピペットで卵子を採取する前後の様子が示されている。卵子採取前の光学画像Ｏ７１には、検出卵子数４、採取済み卵子数０を示す補助画像Ａ７１が重畳されているのに対して、卵子採取後の光学画像Ｏ７２には、検出卵子数３、採取済み卵子数１を示す補助画像Ａ７２が重畳されている。このように、顕微鏡システムによれば、採取された卵子数が自動的にカウントされて検卵状況が補助画像を用いて利用者の視野内に提供される。このため、利用者は、採取すべき卵子数（つまり、検出された卵子数）と現在までに採取済みの卵子数とを、常に確認しながら検卵作業を行うことができる。

［第９の実施形態］
　図２９は、顕微鏡システム４の構成を示した図である。図３０は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図３１は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム４は、識別装置３００を備える点が顕微鏡システム１とは異なっている。また、識別装置３００は、例えば、ＱＲコード（登録商標）リーダーなどであり、容器４０に付加された識別情報を取得する装置である。顕微鏡システム４は、図７に示す検卵支援処理の代わりに、図３０に示す検卵支援処理を行う。以下、図２９から図３１を参照しながら、本実施形態に係る顕微鏡システム４で行われる検卵支援方法について説明する。

　顕微鏡システム４は、まず、識別情報を取得する（ステップＳ１０１）。ここでは、胚培養士は例えば、容器４０をステージ１１に配置する前に、容器４０に付された識別ラベル（ＱＲコード）を識別装置３００に近づける。これにより、識別装置３００が識別ラベルを読み取って、識別情報を取得する。なお、識別情報には、容器４０内の卵胞液５０の提供者の情報、又は、提供者の情報が格納されている場所を示すリンク情報が含まれている。取得した識別情報は、識別装置３００から画像処理装置１００へ出力される。

　次に、顕微鏡システム４は、ステップＳ１０２からステップＳ１０４の処理を行う。なお、ステップＳ１０２からステップＳ１０４の処理は、図７に示すステップＳ１１からステップＳ１３の処理と同様である。

　さらに、顕微鏡システム４は、第２の補助画像を生成する（ステップＳ１０５）。ここでは、画像生成部１２０は、ステップＳ１０１で取得した識別情報に基づいて、例えば、図３１に示すような、卵胞液５０の提供者の情報を含む第２の補助画像Ａ８２を生成する。なお、第２の補助画像Ａ８２は、識別情報に基づいて生成される点が、撮影画像に基づいて生成される補助画像とは異なっている。第２の補助画像Ａ８２には、卵胞液５０の提供者のＩＤ、氏名、卵胞液５０を採取した卵胞（卵巣）の位置、卵胞液５０の採取の順番、採取量などの情報が含まれている。

　最後に、顕微鏡システム４は、光学画像上に補助画像と第２の補助画像を重畳し（ステップＳ１０６）、図３０に示す処理を終了する。なお、図３１には、光学画像Ｏ８１と補助画像Ａ８１と第２の補助画像Ａ８２が重畳した様子が示されている。このように、顕微鏡システム４によれば、検卵中に患者情報を確認することができるため、試料の取り違えなどを未然に防止することができる。

［第１０の実施形態］
　図３２は、顕微鏡システム５の構成を示した図である。図３３は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図３４は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム５は、検出装置４００を備える点が顕微鏡システム１とは異なっている。また、検出装置４００は、例えば、容器４０がステージ１１に置かれたことを検出するセンサなどであり、検卵の開始を検出する装置である。顕微鏡システム５は、図７に示す検卵支援処理の代わりに、図３３に示す検卵支援処理を行う。以下、図３２から図３４を参照しながら、本実施形態に係る顕微鏡システム５で行われる検卵支援方法について説明する。

　まず、容器４０がステージ１１に置かれたことを検出装置４００が検出すると、顕微鏡システム５は、タイマでの測定を開始する（ステップＳ１１１）。なお、タイマは、例えば、プロセッサ１０１に含まれていてもよく、所定のイベントを検知してからの経過時間を計測する。この例では、タイマは、検出装置４００からの検出信号を検知してからの経過時間を計測する。

　次に、顕微鏡システム５は、ステップＳ１１２からステップＳ１１４の処理を行う。なお、ステップＳ１１２及びステップＳ１１３の処理は、図７に示すステップＳ１１及びステップＳ１２の処理と同様である。また、ステップＳ１１４の処理は、図２７に示す補助画像生成処理と同様である。

　さらに、顕微鏡システム５は、第３の補助画像を生成する（ステップＳ１１５）。ここでは、画像生成部１２０は、例えば、図３４に示すような、タイマで計測された経過時間を含む第３の補助画像Ａ９２を生成する。なお、第３の補助画像Ａ９２は、タイマでの計測結果に基づいて生成される点が、撮影画像に基づいて生成される補助画像とは異なっている。

　最後に、顕微鏡システム５（投影装置１７）は、光学画像上に補助画像と第３の補助画像を重畳し（ステップＳ１１６）、図３３に示す処理を終了する。なお、図３４には、光学画像Ｏ９１と補助画像Ａ９１と第３の補助画像Ａ９２が重畳した様子が示されている。このように、顕微鏡システムによれば、利用者は、検卵開始からの経過時間を常に確認しながら検卵作業を行うことができる。

　なお、本実施形態では、検卵の開始を検出装置４００で自動的に検出する例を示したが、検卵の開始は、例えば、入力装置１０３からの操作信号に基づいて検出されてもよい。即ち、入力装置１０３が検出装置４００として機能としてもよい。

［第１１の実施形態］
　図３５は、顕微鏡システム６の構成を示した図である。図３６は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図３７から図３９のそれぞれは、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム６は、卵子の検出を報知する報知装置２００（第１の報知装置）に加えて推奨操作を報知する第２の報知装置５００を備える点と、画像解析部１１０が物体検出に加えて推奨操作を推定する処理を行う点が顕微鏡システム２とは異なっている。第２の報知装置５００は、例えば、音声を出力するスピーカーなどの音声出力装置である。また、顕微鏡システム６は、図２３に示す検卵支援処理において、図３６に示す補助画像生成処理を行う点が、顕微鏡システム２とは異なる。以下、図３５から図３９を参照しながら、顕微鏡システム６で行われる検卵支援方法について説明する。

　顕微鏡システム６は、図２３に示すステップＳ７２の処理を終了すると、図３６に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ１２１）。この処理は、図８のステップＳ２１の処理と同様である。

　次に、画像処理装置１００は、撮影画像から推奨操作を推定する（ステップＳ１２２）。ここでは、画像解析部１１０が、撮影画像に基づいて検卵中に行うべき推奨操作を推定する。この処理は、例えば、学習済みモデルによって実現されてもよい。例えば、図３７に示すような光学画像Ｏ１０１が得られる状況では、泡が多く卵子を見つけ出すことが難しい。このため、画像解析部１１０は、容器４０を振る操作を推奨操作として推定してもよい。また、例えば、図３８に示すような光学画像Ｏ１１１が得られる状況では、画像のコントラストが低く卵子を見つけ出すことが難しい。このため、画像解析部１１０は、焦準部を操作してフォーカスを調整する操作を推奨操作として推定してもよい。また、例えば、検卵開始から所定時間以上経過している状況では、許容される検卵時間を超えているため、画像解析部１１０は、現在の卵胞液５０での検卵中止を推奨操作として推定してもよい。

　その後、画像処理装置１００は、ステップＳ１２２で推奨操作が推定されたか否かを判定する（ステップＳ１２３）。推奨操作が推定されなかった、つまり、推奨操作がない場合には（ステップＳ１２３ＮＯ）、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有する画像を補助画像として生成し（ステップＳ１２４）、補助画像生成処理を終了する。なお、ステップＳ１２４の処理は、図８のステップＳ２２の処理と同様である。

　推奨操作が推定された、つまり、推奨操作がある場合には（ステップＳ１２３ＹＥＳ）、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、且つ、推奨操作を表す情報を含む画像を補助画像として生成し（ステップＳ１２５）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、容器４０を振る操作が推奨操作として推定されている場合であれば、例えば、図３７に示す補助画像Ａ１０１を生成する。また、画像生成部１２０は、フォーカスを調整する操作が推奨操作として推定されている場合であれば、例えば、図３８に示す補助画像Ａ１１１を生成する。また、画像生成部１２０は、検卵を中止する操作が推奨操作として推定されている場合であれば、例えば、図３９に示す補助画像Ａ１２２を生成する。

　その後、顕微鏡システム６（投影装置１７）は、光学画像上に補助画像を重畳する。これにより、図３７から図３９に示すように、推奨操作が利用者に通知される。さらに、顕微鏡システム６は、卵子が検出された場合には報知装置２００を用いて卵子の検出を報知し、推奨操作が推定された場合には第２の報知装置５００を用いて推奨操作を報知する。これにより、利用者は、より確実に推奨操作を認識することができる。

　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び、検卵支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

　図４０は、顕微鏡システム７の構成を示した図である。上述した実施形態では、対物レンズ１２と接眼レンズ１９の間の光路から分岐した光路上に配置された投影装置１７を例示したが、補助画像を重畳する装置は、図４０に示すように、対物レンズ１２と接眼レンズ１９の間の光路上に配置されてもよい。顕微鏡システム７は、光学画像が形成される像面上に表示装置３１を含む顕微鏡３０と、画像処理装置１００と、を備えている。表示装置３１は、透過型の画像表示装置であり、像面上に直接補助画像を表示することで、光学画像上に補助画像を重畳する重畳装置の一例である。顕微鏡システム７によっても、顕微鏡システム１と同様に、検卵における利用者による卵子の探索を支援することができる。

　図４１は、顕微鏡システム８の構成を示した図である。上述した実施形態では、撮影装置１５と投影装置１７が顕微鏡１０に設けられ、顕微鏡１０から独立した画像処理装置１００が撮影装置１５と投影装置１７とデータをやり取りすることで、補助画像を光学画像上に重畳する例を示したが、撮影装置と投影装置と画像処理装置は、図４１に示すように、一体に構成されてもよい。

　図４１に示すように、顕微鏡６０の顕微鏡本体７０と鏡筒８０との間に装着される投影ユニット６００が撮影装置１５と投影装置１７と画像処理装置（画像解析部１１０、画像生成部１２０、記憶部１３０）を備えてもよい。このような投影ユニット６００を用いることで、既存の顕微鏡に補助画像を重畳する機能を容易に追加することが可能となる。

１～８・・・顕微鏡システム、１０、２０、３０、６０・・・顕微鏡、１１・・・ステージ
、１２・・・対物レンズ、１５、１５ａ、１５ｂ、２１・・・撮影装置、１７、１７ａ、１７ｂ・・・投影装置、１８、１８ａ、１８ｂ・・・結像レンズ、１９・・・接眼レンズ、３１・・・表示装置、４０・・・容器、５０・・・卵胞液、７０・・・顕微鏡本体、８０・・・鏡筒、１００・・・画像処理装置、１０１・・・プロセッサ、１０２・・・記憶装置、１１０・・・画像解析部、１２０・・・画像生成部、１３０・・・記憶部、２００・・・報知装置、３００・・・識別装置、４００・・・検出装置、５００・・・第２の報知装置、６００・・・投影ユニット

Claims

　顕微鏡と、
　前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得する撮影装置と、
　前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、
　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える
ことを特徴とする顕微鏡システム。
　請求項１に記載の顕微鏡システムにおいて、
　前記画像処理装置は、
　　前記撮影画像に対して卵子を対象とする物体検出を含む画像解析を行う画像解析部と、
　　前記画像解析の結果に基づいて、前記補助画像を生成する画像生成部と、を備える
ことを特徴とする顕微鏡システム。
　請求項１に記載の顕微鏡システムにおいて、
　前記画像処理装置は、
　　前記撮影画像に対して卵子を対象とする物体検出と、前記撮影画像よりも前に取得された別の撮像画像内で検出された卵子の現在位置を推定する物体追跡と、を含む画像解析を行う画像解析部と、
　　前記画像解析の結果に基づいて、前記補助画像を生成する画像生成部と、を備える
ことを特徴とする顕微鏡システム。
　請求項３に記載の顕微鏡システムにおいて、
　前記補助画像は、前記物体追跡で推定された卵子の現在位置が前記顕微鏡の視野外にあるとき、さらに、前記視野外の卵子の存在を表す情報を含む
ことを特徴とする顕微鏡システム。
　請求項４に記載の顕微鏡システムにおいて、
　前記視野外の卵子の存在を表す情報は、前記視野外の卵子が存在する方向を表す情報を含む
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、
　前記画像解析部は、前記物体検出によって、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出し、
　前記補助画像は、さらに、前記存在が推定される卵子のクラスを特定する情報を含む
ことを特徴とする顕微鏡システム。
　請求項６に記載の顕微鏡システムにおいて、
　前記複数のクラスは、成熟卵を示すクラスと、未成熟卵を示すクラスと、変性卵を示すクラスを含む
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項７のいずれか１項に記載の顕微鏡システムにおいて、さらに、
　前記物体検出での卵子の検出を報知する第１の報知装置を備える
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項８のいずれか１項に記載の顕微鏡システムにおいて、
　前記画像解析は、さらに、前記撮影画像に基づいて検卵中に行うべき推奨操作を推定する処理を含み、
　前記顕微鏡システムは、さらに、推定された推奨操作を報知する第２の報知装置を備える
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、
　前記画像解析は、さらに、前記撮影装置で撮影された撮影画像の動画に基づいて、前記卵胞液から卵子が採取されたことを認識する処理を含む
ことを特徴とする顕微鏡システム。
　請求項１０に記載の顕微鏡システムにおいて、
　前記補助画像は、さらに、検出された卵子数と、採取済み卵子数と、を含む検卵状況を表す情報を含む
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
　前記容器を含む前記ステージ上方の空間の第２の撮影画像の動画であって、前記物体検出で卵子が検出された時刻のフレームを含む第２の撮影画像の動画を録画する第２の撮影装置を備える
ことを特徴とする顕微鏡システム。
　請求項１２に記載の顕微鏡システムにおいて、　
　前記重畳装置は、前記光学画像上に前記補助画像と前記第２の撮影画像の動画とを重畳する
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
　前記容器に付加された識別情報を取得する識別装置と、を備え、
　前記画像生成部は、前記識別情報に基づいて前記卵胞液の提供者の情報を含む第２の補助画像を生成し、
　前記重畳装置は、前記光学画像上に前記補助画像と前記第２の補助画像とを重畳する
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項１４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
　所定のイベントを検知してからの経過時間を計測するタイマを備え、
　前記画像生成部は、前記タイマで計測された経過時間を含む第３の補助画像を生成し、
　前記重畳装置は、前記光学画像上に前記補助画像と前記第３の補助画像とを重畳する
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
　前記画像処理装置は、さらに、入力画像に対する少なくとも卵子の位置を学習した学習済みモデルを記憶する記憶部を備え、
　前記画像解析部は、前記記憶部に記憶されている前記学習済みモデルを用いて前記物体検出を行う
ことを特徴とする顕微鏡システム。
　請求項２乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
　前記画像処理装置は、さらに、入力画像に対する少なくとも卵子の位置と前記卵子の複数のクラスとを学習した学習済みモデルを記憶する記憶部を備え、
　前記画像解析部は、前記記憶部に記憶されている前記学習済みモデルを用いて前記物体検出を行う
ことを特徴とする顕微鏡システム。
　請求項１乃至請求項１７のいずれか１項に記載の顕微鏡システムにおいて、
　前記顕微鏡は、接眼レンズを備える実体顕微鏡である　　
ことを特徴とする顕微鏡システム。
　顕微鏡に装着して使用される投影ユニットであって、
　前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、
　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える
ことを特徴とする投影ユニット。
　顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得し、
　取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成し、
　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、生成された前記補助画像を重畳する
ことを特徴とする検卵支援方法。