WO2022163268A1

WO2022163268A1 - 制御装置、制御システム及び制御方法

Info

Publication number: WO2022163268A1
Application number: PCT/JP2021/048294
Authority: WO
Inventors: 知之大月
Original assignee: ソニーグループ株式会社
Priority date: 2021-01-29
Filing date: 2021-12-24
Publication date: 2022-08-04
Also published as: JP2022116438A; US20240103260A1

Abstract

制御装置（７）は、眼内にインプラントを留置するための手術における顕微鏡画像を取得する取得部（７１）と、取得部（７１）の取得結果に基づいて、術野の状況を推定する推定部（７２）と、推定部（７２）の推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像制御する撮像制御部（７３）と、を備える。

Description

制御装置、制御システム及び制御方法

　本開示は、制御装置、制御システム及び制御方法に関する。

　眼科疾患の治療等にインプラントが用いられることが知られている（例えば特許文献１を参照）。

国際公開第２０１８／２０７４６６号

　可視光の透過しない組織に隠れる形で留置されるインプラントの確認には、例えば断層画像が用いられる。インプラントを適切に含む断層画像を得るための撮像箇所の特定等に課題が残る。

　本開示の一側面は、インプラントを適切に含む断層画像の撮像を可能にする制御装置、制御システム及び制御方法を提供する。

　本開示の一側面に係る制御装置は、眼内にインプラントを留置するための手術における顕微鏡画像を取得する取得部と、取得部の取得結果に基づいて、術野の状況を推定する推定部と、推定部の推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像制御する撮像制御部と、を備える。

　本開示の一側面に係る制御システムは、眼内にインプラントを留置するための手術における顕微鏡画像及び断層画像を撮像する撮像部と、制御装置と、を備え、制御装置は、撮像部によって撮像された顕微鏡画像を取得する取得部と、取得部の取得結果に基づいて、術野の状況を推定する推定部と、推定部の推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像部を制御する撮像制御部と、を含む。

　本開示の一側面に係る制御方法は、制御装置が、眼内にインプラントを留置するための手術における顕微鏡画像を取得することと、制御装置が、取得結果に基づいて、術野の状況を推定することと、制御装置が、推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像制御することと、を含む。

実施形態に係る制御システムの概略構成の例を示す図である。制御システムの詳細構成の例を示す図である。制御装置の概略構成の例を示す図である。取得部が取得する顕微鏡画像の例を模式的に示す図である。取得部が取得する顕微鏡画像の例を模式的に示す図である。インプラントの開口部の位置の推定の例を模式的に示す図である。インプラントの開口部の位置の推定の例を模式的に示す図である。インプラントの開口部の位置の推定の例を模式的に示す図である。インプラントの開口部の位置の推定の例を模式的に示す図である。断層画像の撮像の制御の例を模式的に示す図である。断層画像の撮像の制御の例を模式的に示す図である。断層画像の撮像の制御の例を模式的に示す図である。断層画像の撮像の制御の例を模式的に示す図である。断層画像の撮像の制御の例を模式的に示す図である。断層画像の例を模式的に示す図である。断層画像の例を模式的に示す図である。断層画像の例を模式的に示す図である。断層画像の例を模式的に示す図である。制御装置において実行される処理の例を示すフローチャートである。装置のハードウェア構成の例を示す図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。

　以下に示す項目順序に従って本開示を説明する。
　　１．序
　　２．実施形態
　　３．ハードウェア構成の例
　　４．変形例
　　５．効果の例

１．序
　開示される技術は、眼科手術に用いられる。眼科手術の例は、眼科疾患の治療である。そのような手術には、インプラントが用いられることがある。インプラントは適切な位置に留置する必要があるが、可視光の透過しない組織に隠れる形で留置されるインプラントに関しては、隠れている部分が適切な形で留置されているかを肉眼や可視光による顕微鏡観察で確かめることがでない。そのような部分も含め多くの組織を透視することのできる断層撮像装置を用いて、インプラントが適切に留置されているか否かが確認される。しかしながら、既存の手法では、インプラントの留置状況を簡便かつ効率よく断層撮像することができない。この課題は、開示されるいくつかの技術によって対処されうる。なお、本開示において、「撮像」は、「撮影」を含む意味であってよい。

２．実施形態
　図１は、実施形態に係る制御システムの概略構成の例を示す図である。例示される制御システム１は、ベッドＢに横たわっている患者の眼の手術に用いられる手術システムである。制御システム１のユーザの例は、医師等の術者、術者をサポート等する医療スタッフである。

　手術には、顕微鏡装置が用いられる。顕微鏡装置の構成要素のうち、図１には、対物レンズ３１、接眼レンズ５及びＵＩ部４２（この例ではモニタ等として描かれている）に符号が付されている。術者は、接眼レンズ５を覗き、また、必要に応じてＵＩ部４２に表示される情報も参照しながら、手術部位を例えば拡大観察して手術を行う。手術部位は、この例では、患者の眼である。なお、ＵＩ部４２は、顕微鏡装置とは別の構成要素（例えば別体）であってもよい。

　制御システム１は、上述の顕微鏡装置（対物レンズ３１、接眼レンズ５及び提示部４１等）の他に、制御装置７を含む。制御装置７は、制御システム１の全体制御を行う。詳細は後に図２以降を参照して説明する。

　図２は、制御システムの詳細構成の例を示す図である。制御システム１は、これまで説明した対物レンズ３１、接眼レンズ５、ＵＩ部４２（顕微鏡装置の構成要素の例）及び制御装置７の他に、光源２と、観察光学系３と、提示部４１と、正面画像撮像部６１と、断層画像撮像部６２とを含む。

　光源２は、手術対象の領域に照明光を照射し、術野を照明する。照明された術野からの光の少なくとも一部（観察光）が、観察光学系３の対物レンズ３１に入射する。この例では、観察光学系３は、対物レンズ３１及び図示しないレンズ等、並びにハーフミラー３２を含む。対物レンズ３１に入射した観察光の一部（例えば略半分）はハーフミラー３２を透過し、さらに提示部４１も透過して（理由は後述する）、接眼レンズ５に入射する。観察光の残部は、ハーフミラー３２で反射し、正面画像撮像部６１に到達する。

　接眼レンズ５は、観察光を集光し、術野の光学像を結像させる。結像された術野の光学像が、接眼レンズ５を覗く術者によって観察される。

　提示部４１及びＵＩ部４２について説明する。これらは、制御システム１のユーザ（術者等）との間で情報のやり取りを行うユーザインタフェースの例である。

　提示部４１は、観察光学系３を覗いている術者に情報を提示する。この例では、提示部４１は、観察光学系３と接眼レンズ５との間に設けられる透過型の表示デバイスである。したがって、上述のように、ハーフミラー１４からの観察光が、提示部４１を透過して接眼レンズ５に入射する。手術サポートに供することのできる情報（画像等）が、提示部４１によって提示（表示）される。術者は、術野を観察して手術を行うとともに、必要に応じて、提示部４１によって提示される情報を参照する。

　ＵＩ部４２は、ユーザに情報を提示したり、ユーザ操作を受け付けたりする。ＵＩ部４２は、先の図１に例示されるようなモニタ、図示しない操作盤（コントローラ、リモートコントローラ等）等を含んで構成される。モニタはタッチパネルであってよく、その場合、操作盤の機能の一部又は全部がモニタによって実現されうる。他にも、スピーカ、マイク、ランプ（回転灯、表示灯等）等、ユーザとの間で情報のやり取りを行うためのさまざまな要素がＵＩ部４２に含まれてよい。

　正面画像撮像部６１及び断層画像撮像部６２について説明する。これらは、手術に関するさまざまな画像を取得する画像撮像部の例である。

　正面画像撮像部６１は、正面画像を撮像する。正面画像は、手術部位を正面から観察した画像であり、例えば患者の眼を略眼軸方向から撮像した画像である。正面画像は、術野画像に相当し得る。正面画像撮像部６１は、例えばビデオカメラ等を含んで構成される。

　断層画像撮像部６２は、断層画像を撮像する。断層画像は、手術部位の断面画像、例えば患者の眼における眼軸方向と略平行な方向の断面の画像である。断層画像撮像部６２は、例えば光干渉断層計（ＯＣＴ：Optical　Coherence　Tomography）、シャインプルークカメラ等を含んで構成される。例えば、赤外光を用いて、干渉原理により、断層画像が取得される。その際の赤外光の光路と、観察光学系３内の観察光の光路の一部とが共通化されてよい。

　制御装置７は、制御システム１全体の動作を制御する。制御に必要な情報は、制御装置７と他の構成要素との間で適宜送受信される。例えば、制御装置７は、光源２を制御することによって、照明の位置、輝度等を調節する。制御装置７は、観察光学系３を制御することによって、観察の位置、倍率等を調節する。制御装置７は、提示部４１を制御することによって、手術サポートに供することのできる情報（画像等）を術者に提示する。制御装置７は、ＵＩ部４２を制御することによって、ユーザ操作を受け付けたり、手術サポートに供することのできる情報（画像等）を術者等に提示したりする。制御装置７は、正面画像撮像部６１及び断層画像撮像部６２を制御することによって、正面画像及び断層画像を撮像する。

　以上説明したような制御システム１は、例えば眼科インプラントの留置手術に適用される。一例として、以下では、脈絡膜上腔に留置するＭＩＧＳ（低侵襲緑内障手術）用インプラントの手術を例に挙げて説明する。

　脈絡膜上腔に留置するインプラントは、前房からの房水の流出路の１つである脈絡膜上腔への房水排出量を増やすことにより眼圧を下げ、緑内障の進行を抑制することを目的とする。インプラントが適切に留置されれば、脈絡膜上腔におさまって目的の機能を発揮する（例えば後述の図１８を参照）。一方で、インプラントの留置位置が強膜側や硝子体腔側にずれると、目的の機能を発揮しないのみならず、傷害の原因となりうる。したがって、術者によるインプラントの留置が適切に行われたことの確認に関する需要がある。

　これまでは、ＯＣＴ等の断層撮像を行う際に目的とするような断層画像を簡便かつ効率的に取得する方法が存在しなかった。この課題が、開示される技術によって対処されうる。術者がインプラントの留置を確認するのに好適な断層画像として、例えばインプラント長手方向に沿った断層画像（例えば後述の図１８）が撮像され提示されてよい。ただし、術者の嗜好等に応じて、インプラント短手方向に沿った断層画像（例えば後述の図１６）が撮像されてもよいし、他のさまざまな方向に沿った断層画像が撮像されてもよい。いずれの断層画像も、制御システム１（より具体的には後述の制御装置７の推定部７２）によってインプラントの留置位置が推定されることで撮像可能になる。

　図３は、制御装置の概略構成の例を示す図である。制御装置７は、取得部７１と、推定部７２と、撮像制御部７３とを含む。

　取得部７１は、顕微鏡画像を取得する。顕微鏡画像は、この例では、眼内にインプラントを留置するための手術における顕微鏡画像（術野画像）である。インプラントは、例えば隅角領域に挿入され、留置される。この場合、インプラントは、可視光の透過しない組織に隠れる形で留置されることになる。顕微鏡画像は、正面画像撮像部６１の撮像画像であってよい。

　図４及び図５は、取得部が取得する顕微鏡画像の例を模式的に示す図である。図４に例示される顕微鏡画像には、切開創Ｃに術具Ｔが挿入されている状態の術野が示される。切開創Ｃは、インプラントを眼内に刺し入れるために、ナイフ等によって形成される。図５に例示される顕微鏡画像には、インプラントが隅角領域に挿入されている状態の術野が示される。眼上に配置された隅角鏡によって隅角領域が視認できるようになっており、挿入されたインプラントの開口部Ｏが観察される。隅角鏡の縁が、縁ＭＥとして図示される。開口部Ｏは、インプラントの挿入方向後側端の開口部である。

　図３に戻り、取得部７１は、断層画像も取得する。断層画像は、断層画像撮像部６２の撮像画像であってよい。断層画像の取得については後に改めて説明する。

　推定部７２は、取得部７１の取得結果（顕微鏡画像、さらには必要に応じて断層画像）に基づいて、術野の状況を推定する。推定には、必要に応じて画像認識等の処理が用いられる。画像認識には、種々の公知の画像認識エンジン、画像認識モデル（学習済みモデル等）等が用いられてよい。

　一実施形態において、推定部７２は、インプラントの位置を推定する。例えば、推定部７２は、隅角領域におけるインプラントの開口部Ｏの位置を推定することによって、インプラントの位置を推定する。後述するさまざまな推定手法が採用可能である。インプラントの種類、術者の手術スタイル等に応じて推定の難易度が変化したり、それに適した推定手法が存在したりする。したがって、高い推定精度が得られやすい推定手法が、適宜選択され、採用されてよい。具体的な推定手法のいくつかの例について述べる。

　図６～図９は、インプラントの開口部の位置の推定の例を模式的に示す図である。例示される顕微鏡画像には、開瞼器Ｅによって眼が開かれた状態に固定されている状態の術野が示される。

　図６に示される例では、推定部７２は、隅角領域のうち、角膜中心を挟んで切開創とは反対側の位置にある隅角領域Ｒを、開口部Ｏの位置として推定する。インプラント挿入領域が、切開創Ｃとは、角膜中心を挟んで反対側に位置する場合が少なくないからである。なお、図６において、角膜中心を通る線が、一点鎖線で示される。

　図７に示される例では、推定部７２は、隅角領域のうち、インプラントＩが眼内に刺し入れられているとき（刺入時）のインプラントＩの進行方向の延長線上（一点鎖線で図示）に位置する隅角領域Ｒを、開口部Ｏの位置として推定する。インプラント挿入領域に向かってインプラントＩが刺し入れられる場合が少なくないからである。

　図８に示される例では、推定部７２は、隅角領域のうち、刺入時にインプラントＩ（の例えば刺入方向前側端部）が接触した隅角領域を、開口部Ｏの位置として推定する。インプラントＩが接触した角膜領域が、インプラント挿入領域となる可能性が高いからである。

　図９に示される例では、推定部７２は、隅角領域のうち、開瞼器Ｅの配置に応じて定められる隅角領域Ｒを、開口部Ｏの位置として推定する。開瞼器の配置と、インプラント挿入領域との間に一定の関係がある場合が少なくないからである。例えば、開瞼器の向きから推定される隅角領域のうちの鼻側方向に位置する隅角領域、鼻下側方向に位置する隅角領域等が、インプラント挿入領域であってよい。

　この例では、開瞼器Ｅは、開瞼状態を維持するように、固定箇所Ｅ１～固定箇所Ｅ４の４箇所で固定する。眼を正面視したときに、固定箇所Ｅ１は、瞼の左上に対応する。固定箇所Ｅ２は、瞼の右上に対応する。固定箇所Ｅ３は、瞼の左下に対応する。固定箇所Ｅ４は、瞼の右下に対応する。この例では、固定箇所Ｅ１と固定箇所Ｅ３との間に対応する位置が、インプラント挿入領域であり、したがって、推定部７２は、その位置を、開口部Ｏの位置として推定する。なお、開瞼器Ｅの配置とインプラント挿入領域との関係は、眼が右眼及び左眼のいずれであるか、術者の手術スタイル等によって異なり得る。

　図示しないが、推定部７２は、隅角領域のうち、顕微鏡画像中の特定の方向に位置する隅角領域を、開口部の位置として推定してよい。顕微鏡画像（術野画像）の向きと、インプラント挿入領域との間に一定の関係がある場合が少なくないからである。例えば、顕微鏡画像中の上方に位置する隅角領域が、開口部の位置として推定される。なお、開瞼器Ｅの配置とインプラント挿入領域との関係は、術者の手術スタイル等によって異なり得る。

　図示しないが、インプラントの開口部が顕微鏡画像に示されている場合（例えば図５に示されるような顕微鏡画像の場合）には、当然ながら、推定部７２は、その開口部を、インプラントの開口部の位置として推定（この場合は検出ともいえる）してよい。

　ところで、顕微鏡画像等として観察される術野の状態は、手術中にさまざまに変化する。例えば、眼の位置、姿勢（向き）等が変化し、それに応じて、観察される術野の状態も変化する。また、特定の眼の部位が視認できたり視認できなかったりし、それに応じて、観察される術野の状態も変化する。

　一実施形態において、推定部７２は、異なる観察状態で撮像された複数の顕微鏡画像に基づいて、術野の状況を推定する。例えば、推定部７２は、複数の顕微鏡画像それぞれに示される眼の部位のパターンマッチングを行う。パターンマッチングの例は、血管、虹彩等のパターンを用いて、異なる時間に撮像された顕微鏡画像に示される眼同士のマッチングである。推定部７２は、そのようなパターンマッチングに基づいて、それぞれの時間での（各観察状態での）眼の位置及び姿勢を推定し、眼に対する術具、インプラント等の相対位置関係の推定結果を一貫した座標系で管理してよい。推定部７２は、一貫した座標系で管理され推定された眼の位置及び姿勢に基づいて、術野の状況を推定してよい。これにより、観察状態の変化に適応した推定が可能になる。

　観察状態の変化の具体例について述べる。隅角領域へのインプラントの挿入及び留置は、隅角鏡を用いて行われる。最初は、隅角鏡なしで開始され、その後、隅角鏡が設置され、隅角を観察しながらインプラントが挿入され、留置される。その後、インプラントの留置位置確認を行うことが多い。留置位置確認は、（１）隅角鏡が設置された状態、（２）隅角鏡が撤去され眼の顕微鏡鏡筒に対する姿勢が変化していない状態、（３）さらに眼の顕微鏡鏡筒に対する姿勢が変化した状態等で行われる。それぞれにおける眼の姿勢を、上述のようなパターンマッチングを用いて把握することにより、（１）～（３）の全ての状態に対して、適切な術野状況推定、さらにはその推定結果に基づく断層の撮像（後述）が行えるようになる。

　例えば、多くの術者は、隅角鏡を設置する前に、ナイフ等で切開創を作成し、その切開創から、インプラント挿入用術具をインプラントの装着された状態で挿入する。その後、前房を通過しながら、途中位置で隅角鏡を設置する。隅角鏡を設置しないと、角膜と空気の界面から光が出て来ないために、隅角の観察ができないからである。最終的に、インプラント留置領域（隅角領域）における強膜岬の下部に到達し、この位置から脈絡膜上腔にインプラントを挿入して留置する。最終的な留置の後で、開口部Ｏの顕微鏡画像における視認が上述のパターンマッチング（位置合わせ）用の血管や虹彩の視認性の高い状態で実現できれば、開口部Ｏの位置の推定精度が最も高くなると想定される。ただし、術者の手術の方法等により、術野の見え方が大きく変化するため、開口部Ｏの位置の推定に、本開示で説明されるようなさまざまな方法を準備しておくことが望ましい。

　図示しないが、推定部７２は、ユーザ操作によって指定されたタイミングで、術野の状況を推定してよい。術野の状況推定には、多くの処理コストがかかり、また、術野の状況推定は、術野の種々の状態によってその難易度が変化する。術者が、状況推定が容易でかつ後の断層撮像にとって有効な情報の得られるタイミングで、フットスイッチや音声等で推定実施指示が得られれば、処理コストを低減して他の処理（例えば画質改善）に処理リソースを割り当てながら、高精度な推定結果に基づく高精度なインプラントの位置の確認（検出）が可能になる。有効な情報の得られるタイミングの例は、血管や虹彩にフォーカスのあっている状態での、眼を正面から捉えているタイミング、隅角鏡設置のために眼を傾けているタイミング、隅角鏡を設置したタイミング等である。ユーザ操作は、例えばＵＩ部４２によって受け付けられる。

　図３に戻り、撮像制御部７３は、推定部７２の推定結果に基づいて、断層画像が撮像されるように撮像を制御する。具体的に、撮像制御部７３は、インプラントが含まれる断層画像が断層画像撮像部６２によって撮像されるように、断層画像撮像部６２を制御する。取得部７１が、撮像された断層画像を取得する。インプラントの開口部Ｏの位置が推定されているので、その位置から想定されるインプラントを含むように、断層画像が撮像される。インプラントの断層画像は、先に述べたように、インプラントが適切に挿入、留置されていることの検出、確認等（インプラントの位置の検出）に用いられる。インプラントの種類等に応じて、断層画像の断層方向によってインプラントの検出効率が変化しうるので、検出効率を上げやすい撮像手法が適宜選択され採用されてよい。具体的な撮像手法のいくつかの例について述べる。

　図１０～図１４は、断層画像の撮像の制御の例を模式的に示す図である。例示される顕微鏡画像には、先に説明した図６～図９と同様に、開瞼器Ｅによって眼が開かれた状態に固定されているときの術野が示される。

　図１０及び図１１に例示される制御は、インプラントの延在方向と交差する方向を層方向とする断層画像の撮像を目的とする。図１０に示される例では、撮像制御部７３は、想定されるインプラントＩ（破線で図示）の延在方向と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する。そのように撮像される断層画像の層方向を、層方向Ｆ１と称し図示する。インプラントの延在方向には例えばインプラントＩが眼内に刺し入れられているとき（刺入時）のインプラントＩの進行方向や切開創と推定開口部Ｏを結ぶ方向等を用いることができる。この例では、層方向Ｆ１の複数の断層画像が撮像されるように、層方向Ｆ１と直交する方向に走査が行われる。

　図１１に示される例では、撮像制御部７３は、隅角領域の接線方向を層方向とする断層画像が撮像されるように、撮像制御する。そのように撮像される断層画像の層方向を、層方向Ｆ２と称し図示する。この例では、層方向Ｆ２の複数の断層画像が撮像されるように、層方向Ｆ２と直交する方向に走査が行われる。

　図１２及び図１３に例示される制御は、インプラントの延在方向を層方向とする断層画像の撮像を目的とする。図１２に示される例では、撮像制御部７３は、想定されるインプラントＩ（破線で図示）の延在方向を層方向とする断層画像が撮像されるように、撮像制御する。そのように撮像される断層画像の層方向を、層方向Ｆ３と称し図示する。インプラントの延在方向には例えばインプラントＩが眼内に刺し入れられているとき（刺入時）のインプラントＩの進行方向や切開創と推定開口部Ｏを結ぶ方向等を用いることができる。この例では、層方向Ｆ３の複数の断層画像が撮像されるように、層方向Ｆ３と直交する方向に走査が行われる。

　図１３に示される例では、撮像制御部７３は、隅角領域の接線と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する。そのように撮像される断層画像の層方向を、層方向Ｆ４と称し図示する。この例では、層方向Ｆ４の複数の断層画像が撮像されるように、層方向Ｆ４と直交する方向に走査が行われる。

　図１４に示される例では、撮像制御部７３は、層方向の異なる複数の断層画像が層方向を回転させる方向の走査によって撮像されるように、撮像制御する。そのように撮像される断層画像の層方向を、層方向Ｆ５と称し図示する。回転の中心には例えば推定開口部Ｏの位置を用いてもよい。

　例えば以上のようにして、インプラントを含みうるように、さまざまな断層方向の断層画像が撮像される。断層画像のいくつかの例について、図１５～図１８を参照して説明する。

　図１５～図１８は、断層画像の例を模式的に示す図である。図１５に示される例では、インプラントＩの延在方向と交差する方向を断層画像の層方向とする撮像が行われる。理解を容易にするために、断層においてインプラントＩが存在する部分が太線で図示される。層方向Ｆのうち、断層位置αにおける層方向Ｆの断層画像が、図１６に例示される。図１７に示される例では、インプラントＩの延在方向を断層画像の層方向とする撮像が行われる。例えば、層方向Ｆのうち、断層位置βにおける層方向Ｆの断層画像が、図１８に例示される。これらの断層画像中のインプラントＩの位置を検出することで、インプラントＩの留置位置を検出することがきる。断層画像中のインプラントＩの留置位置の検出（確認）は、手術の公知の画像認識処理等によって行われてもよいし、ＵＩ部４２のモニタに表示された断層画像をユーザが確認することによって行われてもよい。

　断層画像によるインプラントの留置位置の検出精度をさらに向上させるために、撮像済み断層画像に基づいて、さらなる撮像制御が撮像制御部７３によって行われてよい。撮像制御部７３は、撮像済み断層画像にインプラントが含まれていないと推定される場合には、さらなる断層画像が撮像されるように、撮像制御する。例えば、撮像済み断層画像に対する画像認識処理によってインプラントが検出されなかったり、検出されるものの適切に撮像されていなかったりする場合に、撮像済み断層画像にインプラントが含まれていないと推定される。この推定判断は、自動で行われてもよいし、ユーザ操作を介して行われてもよい。

　さらなる断層画像を撮像する場合、撮像制御部７３は、撮像済み断層画像の撮像対象位置に隣接する位置の断層画像が撮像されるように、撮像制御してよい。或いは、推定部７２が別の推定手法によって開口部Ｏの位置を推定し、撮像制御部７３がその推定結果に基づいて撮像制御を行ってもよい。このような処理は、インプラントの位置が適切に検出されるまで繰り返し実行されてよい。

　開口部Ｏの推定位置が１つしかないと、推定が外れた場合にインプラントの位置が検出できないが、上述のように隣接する位置の断層画像を撮像したり、別の推定結果に基づいて断層画像を撮像したり（複数の推定を組み合わせたり）することで、インプラントの位置を確実に検出することができる。

　撮像制御部７３は、断層画像にインプラントが含まれる程度が大きくなるにつれて、複数の断層画像の走査の間隔が狭くなるように、撮像制御してよい。順次走査を細かくすることにより、効率的にかつ精度良くインプラントの位置を検出することができる。

　以上説明した制御システム１によれば、制御装置７の推定部７２が、例えば術開始時からインプラント留置結果確認時までの顕微鏡画像に基づき、インプラント（特にＭＩＧＳインプラント）の開口部Ｏの位置を推定する。撮像制御部７３の制御によって、推定された開口部Ｏの位置の近傍において、断層位置を走査して断層画像が撮像される。取得部７１が、撮像された断層画像を取得する。撮像制御部７３が、断層画像に関する画像認識等により、インプラントの留置位置を検出する。必要に応じて、撮像制御部７３が検出した留置位置に関する断層画像が撮像されるようにさらに制御する。このようにして、インプラントが適切に留置されたか否かを簡便かつ効率的に確認できるようになる。

　図１９は、制御装置において実行される処理（制御方法、制御装置の作動方法）の例を示すフローチャートである。具体的な処理はこれまで説明したとおりであるので、説明は繰り返さない。

　ステップＳ１において、制御装置７が、顕微鏡画像を取得する。制御装置７の取得部７１が、これまで説明したように、顕微鏡画像を取得する。

　ステップＳ２において、制御装置７が、術野の状況を推定する。制御装置７の推定部７２が、先のステップＳ１での取得結果（例えば顕微鏡画像）に基づいて、術野の状況（例えばインプラントの開口部Ｏの位置）を推定する。

　ステップＳ３において、制御装置７が、推定結果に基づいて、撮像制御する。制御装置７の撮像制御部７３が、先のステップＳ３での推定結果に基づいて、インプラントを含む断層画像が撮像されるように、断層画像撮像部６２を制御する。

３．ハードウェア構成の例
　図２０は、装置のハードウェア構成の例を示す図である。これまで説明した制御装置７は、例えば、コンピュータを制御装置７として機能させるソフ卜ウェア（プログラム）によって実現されてよい。

　コンピュータにおいて、ＣＰＵ(Central　Processing　Unit)３０１、ＲＯＭ(Read　Only　Memory)３０２、ＲＡＭ(Random　Access　Memory)３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記録部３０８、通信部３０９及びドライブ３１０が接続されている。

　入力部３０６は、キーボード、マウス、マイクロフォン、撮像素子等よりなる。出力部３０７は、ディスプレイ、スピーカ等よりなる。記録部３０８は、ハードディスクや不揮発性のメモリ等よりなる。通信部３０９は、ネッ卜ワークインタフェース等よりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体３１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、ＲＡＭ３０３にロードして実行することにより、これまで説明した制御装置７の制御が実行される。

　コンピュータ（ＣＰＵ３０１)が実行するプログラムは、例えば、パッケージメディア等としてリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、口一カルエリアネットワーク、インタ一ネッ卜、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記録部３０８に、あらかじめインストールしておくことができる。

４．変形例
　開示される技術は上記実施形態に限定されない。いくつかの変形例について説明する。

　上記実施形態では脈絡膜上腔に留置するＭＩＧＳ用インプラントについて主に説明を行ったが、インプラントは他のさまざまなＭＩＧＳ用インプラントであってもよい。他のＭＩＧＳ用インプラントの例は、前房と結膜下をつなぐインプラント、線維柱帯をバイパスするインプラント、シュレム菅を拡げるインプラント等である。

　また、上記実施形態では、インプラントが、ＭＩＧＳ（低侵襲緑内障手術）用インプラントである例について説明した。ただし、インプラントは、他のさまざまな眼科手術用のインプラントであってもよい。他の手術の例は、網膜硝子体手術等である。

　制御システム１の構成要素、制御装置７の構成要素等は、別個の筐体に収納され、ネットワークを介して接続されていてもよい。例えば、１つの機能をネットワークを介して複数の装置で分担、共同して処理するような、クラウドコンピューティング構成が採用されてもよい。

５．効果の例
　以上説明した制御装置７は、例えば次のように特定される。図１～図３等を参照して説明したように、制御装置７は、取得部７１と、推定部７２と、撮像制御部７３と、を備える。取得部７１は、眼内にインプラントを留置するための手術における顕微鏡画像を取得する。推定部７２は、取得部７１の取得結果に基づいて、術野の状況を推定する。撮像制御部７３は、推定部７２の推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像制御する。

　上記の制御装置７によれば、例えば顕微鏡画像に基づいて術野の状況が推定され、その推定結果に基づいて、インプラントを含む断層画像が撮像される。したがって、インプラントを適切に含む断層画像の撮像が可能になる。

　図４及び図５等を参照して説明したように、手術は、インプラントを隅角領域に挿入して留置するための手術（例えばＭＩＧＳ）であり、推定部７２は、隅角領域におけるインプラントの挿入方向後側端の開口部Ｏの位置を推定してよい。これにより、可視光の透過しない組織に隠れる形で留置されるインプラントを含む断層画像を撮像することができる。

　図６等を参照して説明したように、推定部７２は、隅角領域のうち、角膜中心を挟んで切開創とは反対側の位置にある隅角領域を、インプラントの開口部Ｏの位置として推定してよい。図７等を参照して説明したように、推定部７２は、隅角領域のうち、インプラントＩが眼内に刺し入れられているときのインプラントＩの進行方向の延長線上に位置する隅角領域を、インプラントＩの開口部Ｏの位置として推定してよい。図８等を参照して説明したように、推定部７２は、隅角領域のうち、インプラントＩが眼内に刺し入れられているときにインプラントＩが接触した隅角領域を、インプラントＩの開口部Ｏの位置として推定してよい。図９等を参照して説明したように、推定部７２は、隅角領域のうち、開瞼器Ｅの配置に応じて定められる隅角領域を、インプラントの開口部Ｏの位置として推定してよい。推定部７２は、隅角領域のうち、顕微鏡画像中の特定の方向に位置する隅角領域を、インプラントの開口部Ｏの位置として推定してよい。例えばこのようなさまざまな推定手法を用いて、開口部Ｏの位置を推定することができる。

　図１０、図１５及び図１６等を参照して説明したように、撮像制御部７３は、想定されるインプラントＩの延在方向と直交する方向を層方向（例えば層方向Ｆ１）とする断層画像が撮像されるように、撮像制御してよい。図１１、図１５及び図１６等を参照して説明したように、撮像制御部７３は、隅角領域の接線方向を層方向（例えば層方向Ｆ２）とする断層画像が撮像されるように、撮像制御してよい。図１２、図１７及び図１８等を参照して説明したように、撮像制御部７３は、想定されるインプラントＩの延在方向を層方向（例えば層方向Ｆ３）とする断層画像が撮像されるように、撮像制御してよい。図１３、図１７及び図１８等を参照して説明したように、撮像制御部７３は、隅角領域の接線と直交する方向を層方向（例えば層方向Ｆ４）とする断層画像が撮像されるように、撮像制御してよい。これらの撮像は、同じ層方向の複数の断層画像が層方向と直交する方向の走査によって撮像されるように、撮像制御されてよい。図１４等を参照して説明したように、撮像制御部７３は、層方向の異なる複数の断層画像が層方向（例えば層方向Ｆ５）を回転させる方向の走査によって撮像されるように、撮像制御してよい。例えばこのようなさまざまな撮像手法を用いて、インプラントを含む断層画像を撮像することができる。

　撮像制御部７３は、撮像済み断層画像にインプラントが含まれていないと推定される場合には、撮像済み断層画像の撮像対象位置に隣接する位置の断層画像が撮像されるように、撮像制御してよい。これにより、インプラントの位置を確実に検出（確認）することができる。

　撮像制御部７３は、断層画像にインプラントが含まれる程度が大きくなるにつれて、複数の断層画像の走査の間隔が狭くなるように、撮像制御してよい。これにより、効率的にかつ精度良くインプラントの位置を検出することができる。

　推定部７２は、異なる観察状態で撮像された複数の顕微鏡画像それぞれに示される眼の部位のパターンマッチングに基づいて推定される各観察状態での眼の位置及び姿勢に基づいて、術野の状況を推定してよい。これにより、観察状態の変化に適応した推定が可能になる。

　推定部７２は、ユーザ操作によって指定されたタイミングで、前記術野の状況を推定してよい。これにより、例えば、処理コストを低減して他の処理（例えば画質改善）に処理リソースを割り当てながら、高精度の推定結果に基づく高精度なインプラントの位置の検出が可能になる。

　図１～図３等を参照して説明した制御システム１も、本開示の一態様である。制御システム１は、眼内にインプラントを留置するための手術における顕微鏡画像及び断層画像を撮像する撮像部（例えば正面画像撮像部６１及び断層画像撮像部６２）と、制御装置７と、を備える。制御装置７は、撮像部によって撮像された顕微鏡画像を取得する取得部７１と、取得部７１の取得結果に基づいて、術野の状況を推定する推定部７２と、推定部７２の推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像部を制御する撮像制御部７３と、を含む。このような制御システム１によっても、これまで説明したように、インプラントを適切に含む断層画像の撮像が可能になる。

　図１９等を参照して説明した制御方法も、本開示の一態様である。制御方法は、制御装置７が、眼内にインプラントを留置するための手術における顕微鏡画像を取得すること（ステップＳ１）と、制御装置７が、取得結果に基づいて、術野の状況を推定すること（ステップＳ２）と、制御装置７が、推定結果に基づいて、インプラントを含む断層画像が撮像されるように撮像制御すること（ステップＳ３）と、を含む。このような制御方法によっても、これまで説明したように、インプラントを適切に含む断層画像の撮像が可能になる。

　なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。

　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　眼内にインプラントを留置するための手術における顕微鏡画像を取得する取得部と、
　前記取得部の取得結果に基づいて、術野の状況を推定する推定部と、
　前記推定部の推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように撮像制御する撮像制御部と、
　を備える、
　制御装置。
（２）
　前記手術は、前記インプラントを隅角領域に挿入して留置するための手術であり、
　前記推定部は、隅角領域における前記インプラントの挿入方向後側端の開口部の位置を推定する、
　（１）に記載の制御装置。
（３）
　前記推定部は、隅角領域のうち、角膜中心を挟んで切開創とは反対側の位置にある隅角領域を、前記インプラントの前記開口部の位置として推定する、
　（２）に記載の制御装置。
（４）
　前記推定部は、隅角領域のうち、前記インプラントが眼内に刺し入れられているときの前記インプラントの進行方向の延長線上に位置する隅角領域を、前記インプラントの前記開口部の位置として推定する、
　（２）又は（３）に記載の制御装置。
（５）
　前記推定部は、隅角領域のうち、前記インプラントが眼内に刺し入れられているときに前記インプラントが接触した隅角領域を、前記インプラントの前記開口部の位置として推定する、
　（２）～（４）のいずれかに記載の制御装置。
（６）
　前記推定部は、隅角領域のうち、開瞼器の配置に応じて定められる隅角領域を、前記インプラントの前記開口部の位置として推定する、
　（２）～（５）のいずれかに記載の制御装置。
（７）
　前記推定部は、隅角領域のうち、前記顕微鏡画像中の特定の方向に位置する隅角領域を、前記インプラントの前記開口部の位置として推定する、
　（２）～（６）のいずれかに記載の制御装置。
（８）
　前記撮像制御部は、想定される前記インプラントの延在方向と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する、
　（１）～（７）のいずれかに記載の制御装置。
（９）
　前記撮像制御部は、隅角領域の接線方向を層方向とする断層画像が撮像されるように、撮像制御する、
　（１）～（７）のいずれかに記載の制御装置。
（１０）
　前記撮像制御部は、想定される前記インプラントの延在方向を層方向とする断層画像が撮像されるように、撮像制御する、
　（１）～（７）のいずれかに記載の制御装置。
（１１）
　前記撮像制御部は、隅角領域の接線と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する、
　（１）～（７）のいずれかに記載の制御装置。
（１２）
　前記撮像制御部は、同じ層方向の複数の断層画像が層方向と直交する方向の走査によって撮像されるように、撮像制御する、
　（１）～（１１）のいずれかに記載の制御装置。
（１３）
　前記撮像制御部は、層方向の異なる複数の断層画像が層方向を回転させる方向の走査によって撮像されるように、撮像制御する、
　（１）～（１１）のいずれかに記載の制御装置。
（１４）
　前記撮像制御部は、撮像済み断層画像に前記インプラントが含まれていないと推定される場合には、前記撮像済み断層画像の撮像対象位置に隣接する位置の断層画像が撮像されるように、撮像制御する、
　（１）～（１３）のいずれかに記載の制御装置。
（１５）
　前記撮像制御部は、断層画像に前記インプラントが含まれる程度が大きくなるにつれて、複数の断層画像の走査の間隔が狭くなるように、撮像制御する、
　（１）～（１４）のいずれかに記載の制御装置。
（１６）
　前記推定部は、異なる観察状態で撮像された複数の顕微鏡画像それぞれに示される眼の部位のパターンマッチングに基づいて推定される各観察状態での眼の位置及び姿勢に基づいて、術野の状況を推定する、
　（１）～（１５）のいずれかに記載の制御装置。
（１７）
　前記推定部は、ユーザ操作によって指定されたタイミングで、前記術野の状況を推定する、
　（１）～（１６）のいずれかに記載の制御装置。
（１８）
　眼内にインプラントを留置するための手術における顕微鏡画像及び断層画像を撮像する撮像部と、
　制御装置と、
　を備え、
　前記制御装置は、
　　前記撮像部によって撮像された顕微鏡画像を取得する取得部と、
　　前記取得部の取得結果に基づいて、術野の状況を推定する推定部と、
　　前記推定部の推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように前記撮像部を制御する撮像制御部と、
　を含む、
　制御システム。
（１９）
　制御装置が、眼内にインプラントを留置するための手術における顕微鏡画像を取得することと、
　前記制御装置が、取得結果に基づいて、術野の状況を推定することと、
　前記制御装置が、推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように撮像制御することと、
　を含む、
　制御方法。

　　１　制御システム
　　２　光源
　　３　観察光学系
　４１　提示部
　４２　ＵＩ部
　　５　接眼レンズ
　６１　正面画像撮像部
　６２　断層画像撮像部
　　７　制御装置
　７１　取得部
　７２　推定部
　７３　撮像制御部
３０１　ＣＰＵ
３０２　ＲＯＭ
３０３　ＲＡＭ
３０４　バス
３０５　入出力インタフェース
３０６　入力部
３０７　出力部
３０８　記録部
３０９　通信部
３１０　ドライブ
３１１　リムーバブル記録媒体

Claims

　眼内にインプラントを留置するための手術における顕微鏡画像を取得する取得部と、
　前記取得部の取得結果に基づいて、術野の状況を推定する推定部と、
　前記推定部の推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように撮像制御する撮像制御部と、
　を備える、
　制御装置。
　前記手術は、前記インプラントを隅角領域に挿入して留置するための手術であり、
　前記推定部は、隅角領域における前記インプラントの挿入方向後側端の開口部の位置を推定する、
　請求項１に記載の制御装置。
　前記推定部は、隅角領域のうち、角膜中心を挟んで切開創とは反対側の位置にある隅角領域を、前記インプラントの前記開口部の位置として推定する、
　請求項２に記載の制御装置。
　前記推定部は、隅角領域のうち、前記インプラントが眼内に刺し入れられているときの前記インプラントの進行方向の延長線上に位置する隅角領域を、前記インプラントの前記開口部の位置として推定する、
　請求項２に記載の制御装置。
　前記推定部は、隅角領域のうち、前記インプラントが眼内に刺し入れられているときに前記インプラントが接触した隅角領域を、前記インプラントの前記開口部の位置として推定する、
　請求項２に記載の制御装置。
　前記推定部は、隅角領域のうち、開瞼器の配置に応じて定められる隅角領域を、前記インプラントの前記開口部の位置として推定する、
　請求項２に記載の制御装置。
　前記推定部は、隅角領域のうち、前記顕微鏡画像中の特定の方向に位置する隅角領域を、前記インプラントの前記開口部の位置として推定する、
　請求項２に記載の制御装置。
　前記撮像制御部は、想定される前記インプラントの延在方向と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、隅角領域の接線方向を層方向とする断層画像が撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、想定される前記インプラントの延在方向を層方向とする断層画像が撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、隅角領域の接線と直交する方向を層方向とする断層画像が撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、同じ層方向の複数の断層画像が層方向と直交する方向の走査によって撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、層方向の異なる複数の断層画像が層方向を回転させる方向の走査によって撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、撮像済み断層画像に前記インプラントが含まれていないと推定される場合には、前記撮像済み断層画像の撮像対象位置に隣接する位置の断層画像が撮像されるように、撮像制御する、
　請求項１に記載の制御装置。
　前記撮像制御部は、断層画像に前記インプラントが含まれる程度が大きくなるにつれて、複数の断層画像の走査の間隔が狭くなるように、撮像制御する、
　請求項１に記載の制御装置。
　前記推定部は、異なる観察状態で撮像された複数の顕微鏡画像それぞれに示される眼の部位のパターンマッチングに基づいて推定される各観察状態での眼の位置及び姿勢に基づいて、術野の状況を推定する、
　請求項１に記載の制御装置。
　前記推定部は、ユーザ操作によって指定されたタイミングで、前記術野の状況を推定する、
　請求項１に記載の制御装置。
　眼内にインプラントを留置するための手術における顕微鏡画像及び断層画像を撮像する撮像部と、
　制御装置と、
　を備え、
　前記制御装置は、
　　前記撮像部によって撮像された顕微鏡画像を取得する取得部と、
　　前記取得部の取得結果に基づいて、術野の状況を推定する推定部と、
　　前記推定部の推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように前記撮像部を制御する撮像制御部と、
　を含む、
　制御システム。
　制御装置が、眼内にインプラントを留置するための手術における顕微鏡画像を取得することと、
　前記制御装置が、取得結果に基づいて、術野の状況を推定することと、
　前記制御装置が、推定結果に基づいて、前記インプラントを含む断層画像が撮像されるように撮像制御することと、
　を含む、
　制御方法。