JP7088176B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本技術は、眼科手術に利用可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、眼に対する手術においてＯＣＴ（Optical Coherence Tomography：光干渉断層計）の利用が進んでいる。ＯＣＴは、手術対象の眼に近赤外光を照射し、眼の各組織による反射波を再構成して像を生成する技術であり、特定の断層面における断層画像等の断層情報が得られる（例えば、特許文献１参照）。

手術（例えば、角膜内皮移植）は、順に進行する複数の手技（例えば、創口作成後、グラフト挿入、続いて間隙除去）によって構成される場合が多いが、術中の断層情報の取得方法、提示方法や、施術に関連するＧＵＩ（Graphical User Interface）の提示方法は多くの場合手技に応じて適切なものが異なる。

特開２０１６－７３４０９号公報

上記のようにＯＣＴを利用する手術では手技に応じて、断層情報の取得方法、提示方法及びＧＵＩの提示方法を適切に選択する必要がある。ここで、一般的に手技の流れは手術に応じて定型化されているものが多いが、従来は断層情報取得方法、断層情報提示方法及びＧＵＩの提示方法を個別に選択するしか方法がなかった。またその選択手順も手技の流れを考慮しないために煩雑であり、総合的にみてユーザにとって手間のかかる作業であった。さらに、手術又は手技によっては、適切な断層情報取得方法、断層情報提示方法及びＧＵＩの提示方法が存在しなかった。

以上のような事情に鑑み、本技術の目的は、手技に応じて適切な動作を実行することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、眼を撮像した画像である正面画像に対して画像認識を実行する画像認識部と、表示情報を生成する表示情報生成部と、選定された手技に応じて、眼の断層情報を取得する断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する制御部とを具備する。

この構成によれば、手技に応じた動作モードで画像処理装置が動作し、断層情報の取得、断層情報の提示又はＧＵＩの提示が行われるため、術者による施術を補助することが可能となる。

制御部は、ユーザによる指示を受けて手技を選定してもよい。

ユーザによる指示は、フットスイッチ等の操作機器による指示であってもよく、後述するような画像撮像装置の視野における術具の位置を利用した指示であってもよい。

上記制御部は、ユーザによる指示と、眼を撮像した画像である正面画像に対する状況認識に基づいて手技を選定してもよい。

制御部はユーザによる指示に加え、正面画像の特性又は画像認識結果を利用した状況認識に基づいて手技を選定することができる。例えば制御部は、ユーザによって術式が指示されると、その術式に含まれる手技を状況認識によって選定することが可能である。

上記制御部は、眼を撮像した画像である正面画像に対する状況認識に基づいて手技を選定してもよい。

制御部は、状況認識のみによって手技を選定することも可能である。

上記制御部は、上記画像認識部による認識結果を利用してユーザによる指示を判断してもよい。

この構成によればユーザは正面画像の視野範囲内で所定の動作を行うことにより、制御部に手技を選定させることが可能となり、入力機器を操作する必要がないため利便性を向上させることができる。不潔領域に触れる必要がないことに加え、術具を離すことなく選定を行えることが特に有用である。

上記制御部は、上記画像認識部による認識結果を利用して状況認識を行ってもよい。

制御部は、画像認識部による認識結果（正面画像に含まれる術具や眼の部位）に基づいて状況認識を行い、手技を選定することが可能である。

上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の先端の位置に基づいてユーザによる指示を判断してもよい。

この構成によれば、ユーザは正面画像の視野範囲内で術具を所定の位置に移動させることによって手技を指定することが可能となる。

上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の種類を特定し、上記術具の種類に基づいて状況認識を行ってもよい。

この構成によれば、ユーザが正面画像の視野範囲内に術具が入るようにすることによって、制御部が当該術具が利用される手技を選定することが可能となる。

上記制御部は、上記術具の種類と上記正面画像の特徴に基づいて状況認識を行ってもよい。

制御部は、正面画像の特徴（明るさの分布等）に基づいて術式を特定し、術具の種類によって当該術式に含まれる手技を選定することが可能である。

上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の形状に基づいて断層情報を取得する断層面の位置である断層位置を決定してもよい。

制御部は、術具の形状（例えば術具の長手方向）を基準として断層位置を決定することができる。術具に対する具体的な断層位置は手技に応じて設定することができる。

上記画像認識部は、上記正面画像に含まれる眼の部位を認識し、
上記制御部は、上記正面画像に含まれる眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定する

制御部は、眼の部位（例えば角膜中心）を基準として断層位置を決定することができる。
眼の部位に対する具体的な断層位置は手技に応じて設定することができる。

上記画像認識部は、上記正面画像に含まれる術具と眼の部位を認識し、
上記制御部は、上記正面画像に含まれる術具の形状と眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定してもよい。

制御部は、術具の形状と眼の部位(例えば角膜中心と術具先端を結ぶ線）を基準として断層位置を決定することができる。術具及び眼の部位に対する具体的な断層位置は手技に応じて設定することができる。

上記表示情報生成部は、上記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の位置である断層位置に基づいて上記表示情報における上記断層情報の位置を変更してもよい。

この構成によれば、手技に応じて所定の位置に断層情報が配置された表示情報をユーザに提示することが可能となる。

上記表示情報生成部は、上記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の向きに基づいて上記表示情報における上記断層情報の向きを変更してもよい。

この構成によれば、手技に応じて所定の向きに断層情報が配置された表示情報をユーザに提示することが可能となる。

上記画像認識部は、上記断層情報に対して画像認識を実行し、
上記制御部は、上記画像認識部による上記断層情報に対する画像認識結果に基づいて施術によって形成された切開縁を検出してもよい。

この構成によれば、視認性が低い眼の部位（例えば水晶体前嚢）の切開縁を検出し、ユーザに提示ことが可能となる。

上記画像認識部は、上記正面画像において眼の部位を認識し、
上記制御部は、上記画像認識によって検出された眼の部位に基づいて、上記切開縁の上記正面画像における位置を特定し、
上記表示情報生成部は、上記制御部によって特定された位置に上記切開縁を表す画像を重畳させた表示情報を生成してもよい。

この構成によれば、検出された切開縁を表す画像が正面画像に重畳して表示されるため、ユーザは正面画像を参照して切開縁を把握することが可能となる。

上記表示情報生成部は、上記正面画像に断層情報を取得する断層面の位置を示す断層線の端点を示す画像を重畳させた表示情報を生成してもよい。

断層位置を正面画像において示す際、一般には断層線の画像を表示するが、断層線の画像によって正面画像の視認性が低下する場合がある。このため、断層線の端点を示す画像（例えば矢印等）を正面画像に重畳させ、断層線の提示と正面画像の視認性を確保することが可能である。

上記表示情報生成部は、上記正面画像に断層情報を取得する断層面の位置を示す断層線を表す加工を施して表示情報を生成してもよい。

この構成によれば、正面画像に対する加工(例えば、輝度や色の飽和度の変更）によって断層線を提示することが可能である。加工は、正面画像において断層線に相当する領域に施してもよく、断層線に相当しない領域に施してもよい。

上記目的を達成するため、本技術の一形態に係る画像処理方法は、画像認識部が、眼を撮像した画像である正面画像に対して画像認識を実行し、
表示情報生成部が、表示情報を生成し、
制御部が、選定された手技に応じて、眼の断層情報を取得する断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する。

上記目的を達成するため、本技術の一形態に係る画像処理システムは、断層情報取得装置と、正面画像撮像装置と、画像処理装置とを具備する。
上記断層情報取得装置は、眼の断層情報を生成する断層情報取得部を備える。
上記正面画像撮像装置は、眼を撮像して正面画像を生成する正面画像取得部を備える。
上記画像処理装置は、上記正面画像に対して画像認識を実行する画像認識部と、表示情報を生成する表示情報生成部と、選定された手技に応じて、上記断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する制御部とを備える。

以上のように、本技術によれば、手技に応じて適切な動作を実行することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施形態に係る画像処理システムの模式図である。 同画像処理システムが備える画像情報取得部の模式図である。 同画像処理システムの正面画像取得部が取得する正面画像の例である。 同画像処理システムの断層情報取得部が取得する断層情報の例である。 同情報処理システムの制御部が利用する、術式において実行される手技を示す表である。 同画像処理システムの動作を示すフローチャートである。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムにおける手技の指定方法を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置で取得された断層情報の例である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置で取得された断層情報の例である。 同画像処理システムによって検出された切開縁を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定される断層位置の深さ範囲を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって設定されるボリュームデータが取得される範囲を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 特定の術式での一般的な断層画像を示す模式図である。 同画像処理システムによって設定された断層位置を示す模式図である。 同画像処理システムによって提示される断層位置を示す画像の模式図である。 同画像処理システムによって提示される断層位置を示す画像の模式図である。 同画像処理システムによって提示される断層位置の深さを示す画像の模式図である。 同画像処理システムによって提示される断層位置の深さを示す画像の模式図である。 同画像処理システムによって提示される表示情報の模式図である。 同画像処理システムによって提示される表示情報の模式図である。 同画像処理システムによって提示される表示情報の模式図である。 同画像処理システムによって断層情報が取得される範囲を示す模式図である。 同画像処理システムによって断層情報が取得される範囲を示す模式図である。 同画像処理システムによって取得される、断層画像から構成される動画を示す模式図である。 同画像処理システムによって取得されるボリュームデータ及びボリュームデータから生成される断層画像の模式図である。 同画像処理システムが備える画像処理装置のハードウェア構成を示す模式図である。

本技術の実施形態に係る画像処理システムについて説明する。

［画像処理システムの構成］
図１は、本実施形態に係る画像処理システム１００の構成を示すブロック図である。同図に示すように、画像処理システム１００は、画像情報取得部１０１、画像認識部１０２、インターフェース部１０３、制御部１０４、表示情報生成部１０５及び表示部１０６を具備する。また、画像認識部１０２、インターフェース部１０３、制御部１０４及び表示情報生成部１０５は画像処理装置１２０の機能的構成である。

画像情報取得部１０１は、施術対象の眼の画像情報を取得する。図２は、画像情報取得部１０１の構成を示すブロック図である。同図に示すように画像情報取得部１０１は、正面画像取得部１０１１と断層情報取得部１０１２を備える。

正面画像取得部１０１１は、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor)等の撮像素子と任意の光学系を備え、制御部１０４による制御を受けて施術対象の眼の画像(以下、正面画像）を撮像することが可能な正面画像撮像装置の機能的構成である

断層情報取得部１０１２は、ＯＣＴ（Optical Coherence Tomography：光干渉断層計）又はシャインプルーフカメラを備え、制御部１０４による制御を受けて施術対象の眼の断層情報を撮像することが可能な断層情報取得装置の機能的構成である。

断層情報取得装置がＯＣＴである場合、断層情報取得部１０１２は、指定された断層面の断層画像を取得してもよいし、眼の広範囲の断層情報をボリュームデータとして取得しておき、同ボリュームデータにおいて指定された位置の断層画像を合成するようにしてもよい。また、断層情報取得部１０１２は、一定時間範囲において取得した連続する断層画像を動画として取得してもよい。

画像情報取得部１０１は、取得した正面画像及び断層情報を画像認識部１０２及び表示情報生成部１０５に供給する。

画像認識部１０２は、画像情報取得部１０１によって取得された画像情報（正面画像又は断層情報）に対して画像認識処理を実行する。詳細は後述するが、画像認識部１０２は、画像情報に含まれる物体像（術具又は眼球の部位の像等）や切開縁を認識することができる。画像認識部１０２は、エッジ検出やパターンマッチング等の方法によって画像認識を実行することができ、そのアルゴリズムは特に限定されない。画像認識部１０２は、認識結果を制御部１０４に供給する。

インターフェース部１０３は、ユーザによる入力を受け付け、あるいは他の手術機器との通信を行う。インターフェース部１０３は取得した情報を制御部１０４に供給する。

制御部１０４は、各部の制御を行う。詳細は後述するが、制御部１０４はユーザによる入力又は画像認識部１０２による画像認識結果等に基づいて手技を選定し、選定した手技に応じた動作モードによって断層情報取得部１０１２や表示情報生成部１０５を制御する。

表示情報生成部１０５は、制御部１０４による制御に従い、画像情報取得部１０１から供給される画像情報の加工等を行い、表示情報を生成する。例えば表示情報生成部１０５は、後述するメニューや断層位置を正面画像に重畳させて表示情報を生成することができる。表示情報生成部１０５は生成した表示情報を表示部１０６に供給する。

表示部１０６は表示情報生成部１０５から供給された表示情報をディスプレイ等の表示装置に表示させユーザに提示する。

［正面画像及び断層画像について］
図３は、正面画像取得部１０１１が取得する正面画像（以下、正面画像Ｇ）の例であり、図４は、断層情報取得部１０１２が取得する断層画像（以下、断層画像Ｆ）の例である。図４に示す断層画像は、図３に示す断層面の位置（以下、断層位置Ｐ）において取得された画像である。

これらの図に示すように、眼球は、角膜３０１、虹彩３０２、水晶体３０３及び強膜３０４等の組織で構成されている。水晶体３０３の表面において虹彩３０２の間が瞳孔３０５であり、角膜３０１の外周が角膜輪部３０６である。角膜３０１の両端には隅角３０７が位置する。水晶体３０３の表面側には膜状の前嚢３０３ａがあり、背面側には膜状の後嚢３０３ｂがある。また、図３に示すように、正面画像Ｇには開瞼器により広げられた目蓋３０８や血管３０９が含まれている。なお、角膜３０１は透明であるため、図３には表されていない。

［画像処理システムの動作］
図５は、画像処理システム１００の手技に応じた動作モードを示す表である。同図に示すように、術式には、ＰＥＡ（phacoemulsification and aspiration：超音波水晶体乳化吸引術）、ＰＰＶ（pars plana vitrectomy：経毛様体扁平部硝子体切除）、ＥＲＭ（epi-retinal membrane：網膜上膜）除去、ＭＩＧＳ（minimally invasive glaucoma surgery：低侵襲緑内障手術）、Ｄｅｖｉｃｅ１設置、ＤＳＡＥＫ（Descemet's stripping automated endothelial keratoplasty：角膜内皮移植）等がある。

同図に示すように、各術式は複数の手技によって構成されている。例えばＰＥＡであれば、創口（術具挿入用の口）作成（１－１）、前嚢切開（１－２）、溝堀り（１－３）、核分割（１－４）及び核吸引（１－５）の各手技が順に進行する。また、ＰＰＶのうちＥＲＭ除去では、ＰＥＡの各手技が実施された後、硝子体切除（２－２）及び膜剥離（２－３）が順に進行する。なお、ここに示す術式及び手技は一例であり、画像処理システム１００は他の術式及び手技に対して利用することも可能である。

図６は、画像処理システム１００の動作を示すフローチャートである。同図に示すように、制御部１０４は、手技を選定する（Ｓｔ１０１）。制御部１０４は、正面画像の画像情報を利用した状況認識に基づいて手技を選定することができる。

また、制御部１０４は、ユーザによる指示を受けて手技を選定してもよく、ユーザの指示と状況認識の両方に基づいて手技を選択してもよい。この詳細については後述する。

続いて、制御部１０４は、手技の選定結果に応じた動作モードを設定する（Ｓｔ１０２）。各手技の動作モード（図５参照）では、当該手技の実施に適した各部の動作態様が予め定められている。動作モードには、断層情報取得部１０１２による断層情報の取得方法、表示情報生成部１０５による断層情報の提示方法又はＧＵＩ（Graphical User Interface）の提示方法が含まれている。

例えば、手技の選定ステップ（Ｓｔ１０１）においてＰＥＡの創口作成（１－１）が選定された場合、制御部１０４は創口作成に対して定められている動作モードで動作するように画像処理システム１００の各部を制御する。各手技に対応する動作モードでの画像処理システム１００の具体的な動作については後述する。

制御部１０４は、ユーザから終了指示を受け取った場合（Ｓｔ１０３：Ｙｅｓ）、動作を終了し、ユーザから終了指示を受け取らなかった場合（Ｓｔ１０３：Ｎｏ）、上記動作を繰り返し実行する。

［手技の選定について］
手技の選定ステップ（Ｓｔ１０１）の詳細について説明する。上記のように制御部１０４は、ユーザの指示及び状況認識のいずれか一方又は両方に基づいて手技を認定する。

制御部１０４は、ユーザの指示を受けて手技を選定することができる。表示情報生成部１０５は表示部１０６に手技をメニュー表示することができ、ユーザはフットスイッチ等の入力装置を介して手技を指定することができる。制御部１０４は、ユーザによって指定された手技を選定することができる。

また、制御部１０４は、正面画像に対する画像認識部１０２による認識結果を利用してユーザの指示を判断してもよい。画像認識部１０２は正面画像に含まれる術具を認識し、その認識結果を制御部１０４に供給する。制御部１０４は、正面画像における術具の先端位置を利用してユーザが指定する手技を判断し、その手技を選定することができる。

また、制御部１０４は、正面画像に対する状況認識によって手技を選定することができる。状況認識とは、正面画像の特徴又は画像認識部１０２による画像認識結果を利用した状況の認識である。正面画像の特徴には、正面画像周縁部と正面画像中心部の明るさの違い、正面画像全体の明るさ、正面画像の色の分布等が挙げられる。

また、制御部１０４は、正面画像又は断層情報に対する画像認識部１０２による認識結果を利用して状況判断を行うこともできる。具体的には制御部１０４は、正面画像に含まれる術具の種類、術具と眼の部位の距離、術具先端の動きの速度等から状況認識を行うことができる。

さらに制御部１０４は、正面画像の特徴と画像認識部１０２による画像認識結果の両方を利用して状況認識を行ってもよい。具体的には制御部１０４は、正面画像の特徴から術式を認識し、当該術式に含まれる手技を画像認識部１０２による認識結果を用いて特定することが可能である。制御部１０４は例えば、正面画像周辺部が暗いことに基づいて（ライトガイドで眼内の一部が照らされている状況）網膜硝子体手術を認識し、正面画像内に内境界膜用の鑷子が存在していることを認識した場合、網膜硝子体手術における膜処理の手技を選定することができる。

以下、制御部１０４による手技の選定の具体例を説明する。

（ユーザ指示に基づく手技の選定）
図７乃至図９は、ユーザ指示に基づく手技の選定を示す模式図であり、網膜硝子体手術の一種である、黄斑上膜（ＥＲＭ）に対する硝子体切除術（ＰＰＶ）における膜剥離の手技の選定の例である。

表示情報生成部１０５は制御部１０４による制御に従って、図７乃至図９に示すような表示情報を生成し、表示部１０６に表示させている。図７乃至図９に示すように、表示情報には正面画像取得部１０１１によって撮像された正面画像Ｇと、メニュー（図中Ｍ）が含まれている。

ユーザはフットスイッチ等の入力装置を用いてメニューＭから項目を選択することができる。図７乃至図９では選択されている項目を枠Ｓで示す。同図に示すように、まずユーザは疾患の種類として「網膜硝子体」を選択する。すると、制御部１０４は、図８に示すように「網膜硝子体」に含まれる術式をメニューＭに表示させる。

続いてユーザはメニューＭから術式の黄斑上膜に対する硝子体切除術（図中「ＰＰＶ ＥＲＭ」）を選択する。制御部１０４は、図９に示すようにＰＰＶ ＥＲＭに含まれる手技（図５参照）をメニューＭとして表示させる。

続いてユーザはフットスイッチ等の入力装置を用いてメニューＭから膜剥離を選択する。これにより制御部１０４は、手技「膜剥離」を選定し、膜剥離の動作モードを設定する。図９では、膜剥離に適した動作モードでの断層位置Ｐが示されている。

（ユーザ指示及び状況認識に基づく手技の選定）
図１０乃至図１２は、ユーザ指示及び状況認識に基づく手技の選定を示す模式図であり、白内障手術の一種である超音波水晶体乳化吸引術（ＰＥＡ）における創口作成の手技の選定の例である。

表示情報生成部１０５は制御部１０４による制御に従って、図１０乃至図１２に示すような表示情報を生成し、表示部１０６に表示させている。図１０乃至図１２に示すように、表示情報には正面画像取得部１０１１によって撮像された正面画像（図中Ｇ）と、メニュー（図１２を除く、図中Ｍ）が含まれている。

図１０に示すようにユーザは、メニューＭから項目（図中枠Ｓで示す）を選択することができる。ここで、ユーザは術具Ｔの先端位置によって項目を選択することができる。図１０に示すようにユーザは術具Ｔの先端位置を選択したい項目（図中「白内障」）のボックス内に移動させる。制御部１０４は、画像認識部１０２による術具Ｔの物体認識により、術具Ｔの先端とメニューＭの位置関係を把握することができる。

ユーザは、術具Ｔの先端を特定の項目のボックス内に移動させてフットスイッチによる確定指示を行い、又は術具Ｔの先端を特定の項目のボックス内に一定時間以上留める等の方法によって項目を選択することができる。

図１０に示すように、ユーザは疾患の種類として「白内障」を選択すると、制御部１０４は図１１に示すように白内障に含まれる術式をメニューＭとして表示させる。続いてユーザはメニューＭから術式のＰＥＡを選択する。ユーザは、上述のように術具Ｔの先端位置によってメニューＭの項目を選択することができる。

制御部１０４は、ＰＥＡが選択されると制御部１０４は画像認識部１０２による画像認識結果を取得する。制御部１０４は、ＰＥＡにおいて利用される可能性がある術具と画像認識結果を比較し、認識された術具を特定する。制御部１０４は特定された術具が利用される手技を選定する。制御部１０４は、図１２に示すように創口作成用の術具Ｔが認識されていることから手技として創口作成を選定し、創口作成の動作モードを設定する。

（状況認識に基づく手技の選定）
図１３は、状況認識に基づく手技の選定を示す模式図であり、網膜硝子体手術の一種である、黄斑上膜（ＥＲＭ）に対する硝子体切除術（ＰＰＶ）における膜剥離の手技の選定の例である。

制御部１０４は、正面画像Ｇの特徴と画像認識部１０２による画像認識結果によって手技を選定する。具体的には、制御部１０４は、正面画像Ｇの画像周辺部が暗い（図中斜線領域）ことから術中の手術は網膜硝子体手術であると判断することがきる。また、制御部１０４は、画像認識部１０２による術具Ｔ及び眼球部位の認識結果を用いて、術具Ｔが内境界膜剥離用の鑷子であること、術具Ｔ先端が網膜に近いこと、術具Ｔ先端が黄斑部に近いこと、及び術具Ｔ先端の動きが遅いことから膜剥離の術中の手技は膜剥離であると推定することができる。これにより制御部１０４は、手技「膜剥離」を選定し、膜剥離の動作モードを設定する。

以上のように制御部１０４は、ユーザの指示及び状況認識のいずれか一方又は両方に基づいて手技を選定することができる。なお、どのように選択を行うかは製造者が予め決めて供給してもよく、複数の選択肢を用意して術者の嗜好に基づいていずれかを予め選択することも可能である。

また、制御部１０４は各術式に含まれる個々の手技（図５参照）を上述の方法によってそれぞれ選定してもよく、上述の方法で特定の手技を選定した後は、術式の進行に伴って手技を選定してもよい。例えばＰＥＡにおいて創口作成を完了後、術者がその旨の指示入力を行うと、制御部１０４は創口作成の次の手技である前嚢切開を選定することが可能である。

［動作モードについて］
動作モード設定ステップ（Ｓｔ１０２）の詳細について説明する。上記のように制御部１０４は、手技を選定すると、当該手技の実施に適した動作モードで動作するように断層情報取得部１０１２及び表示情報生成部１０５のいずれか一方又は両方を制御する。

各手技に対応する動作モードには、断層情報の取得方法、断層情報の提示方法及びＧＵＩの提示方法が含まれている。

断層情報の取得方法では、制御部１０４は、正面画像において画像認識部１０２によって認識された術具の形状に基づいて断層情報を取得する断層面の位置を決定することができる。例えば制御部１０４は、術具の長手方向に沿った面を断層面とし、あるいは術具の長手方向に対して一定角度で交差する面を断層面とすることができる（図１３参照）。

また、制御部１０４は、正面画像において画像認識部１０２によって認識された眼の部位に基づいて断層情報を取得する断層面の位置を決定することができる。例えば制御部１０４は、特定の手技において注視される部位を通過する面を断層面とし(図１６参照）、又は特定の部位を中心とする面を断層面とすることができる（図１４参照）。

さらに制御部１０４は、正面画像において画像認識部１０２によって認識された術具と眼の部位に基づいて断層情報を取得する断層面の位置を決定することができる。例えば制御部１０４は、術具及び眼の特定の部位を通過する面を断層面とすることができる(図１２参照）。

制御部１０４は、ユーザによる指示入力を受けて断層面の位置を固定し、あるいは固定を解除することも可能である。また、制御部１０４は、ユーザによる指示入力を受けて断層面の位置を微調整し、又は断層面を術具や眼の部位に追随させてもよい。

制御部１０４は、どのような方法で断層情報を取得するかを選定した手技に応じて決定し、決定した取得方法で断層情報を取得するように断層情報取得部１０１２を制御する。断層情報は断層画像に限られず、断層面をずらして連続的に撮像した断層画像から生成されるボリュームデータであってもよく、断層画像から構成される動画であってもよい。個々の手技に対応する断層情報の取得方法については後述する。

断層情報の提示方法では、制御部１０４は、表示情報生成部１０５が断層情報を含む表示情報を生成する際に、断層面の位置に基づいて断層情報の位置を変更するように表示情報生成部１０５を制御することができる(図３９参照）。また、制御部１０４は、断層面の向きに基づいて断層情報の向きを変更するように表示情報生成部１０５を制御することができる（図３８参照）。

また、制御部１０４は、断層情報に対する画像認識部１０２の認識結果から施術によって形成された切開縁を検出し、この切開縁を表す画像を正面画像に重畳させて表示情報を生成するように表示情報生成部１０５を制御することができる（図１８参照）。

制御部１０４は、正面画像に対する画像認識部１０２の認識結果から正面画像に含まれる術具の位置に基づいて断層位置を決定し、この断層位置に応じて変化する断層情報を含む表示情報を生成するように表示情報生成部１０５を制御することができる（図３９参照）。

制御部１０４は、一定時間範囲に渡って断層画像を記録した動画を取得するように断層情報取得部１０１２を制御し、この動画を提示するように表示情報生成部１０５を制御することができる（図４２参照）。

制御部１０４は、画像認識部１０２によって認識された術具の位置に基づいて一定時間範囲に渡って断層画像を取得するように断層情報取得部１０１２を制御し、その断層画像群からボリュームデータを作成することができる。制御部１０４は、当該ボリュームデータを提示するように表示情報生成部１０５を制御することができる(図４３参照）。個々の手技に対応する断層情報の提示方法については後述する。

ＧＵＩの提示方法では、制御部１０４は、正面画像に断層面の位置を示す断層線の端点を示す画像を重畳させた表示情報を生成するように表示情報生成部１０５を制御することができる(図３３参照）。また、制御部１０４は、正面画像に、断層面の位置を示す断層線を表す加工を施して表示情報を生成するように表示情報生成部１０５を制御することができる（図３４参照）。

断層線を表す加工は、断層線に相当する画像領域に対する加工であってもよく、断層線に相当する画像領域以外の画像領域に対する加工であってもよい。制御部１０４は表示情報生成部１０５に加工する領域の色の飽和度及び輝度のレベルの少なくとも一方を変化させることにより断層線を表す加工を施すことができる。

また、制御部１０４は、断層情報や眼の模式図に対して深さ方向の断層面の位置を含む表示情報を生成するように表示情報生成部１０５を制御することができる（図３５及び図３６参照）。個々の手技に対応するＧＵＩの提示方法については後述する。

［手技に応じた動作モードについて］
画像処理システム１００においては上述のようにして制御部１０４が手技を選定し、手技に応じた動作モードを設定する。以下ではそれぞれの手技に対応する動作モードについて説明する。

＜断層取得方法について＞
[術式：白内障ＰＥＡ]
（創口作成）
創口作成では眼外から角膜３０１（図４参照）の中心の方向に向かって切開を行う。このため制御部１０４は、図１２に示すように正面画像における断層位置Ｐを術具Ｔ先端と角膜中心（図中Ａ）を結ぶ面とし、面の長さは両端で少し延ばす。深さ方向の断層位置Ｐは、例えば隅角３０７の高さを中心とする。制御部１０４は、この断層位置Ｐの断層画像を取得するように断層情報取得部１０１２を制御する。これにより断層画像を参照して術具の挿入確度が適切であるか否か、創口が完全に形成されているか否か等を容易に把握することが可能となる。

（前嚢切開１）
図１４は、前嚢切開での正面画像Ｇにおける断層位置Ｐを示す模式図である。前嚢切開時には前嚢３０３ａの視認性が悪く、切開がどこまで進んだかわかりにくい。このため、制御部１０４は、図１４に示すように、角膜中心Ａを中心とする直径３～４ｍｍ程度の円を断層位置Ｐとして、矢印の始点から終点までを走査するように断層情報取得部１０１２を制御する。深さ方向の断層位置Ｐは例えば前嚢３０３ａの高さを中心とする。図１５は、断層位置Ｐについて取得された断層画像である。同図に示すように切開終了範囲（前嚢３０３ａが剥離された範囲）を分かりやすくすることができる。

（前嚢切開２）
図１６は、前嚢切開での正面画像Ｇにおける断層位置Ｐを示す模式図である。前嚢切開時には、前嚢３０３ａの視認性が悪いため、切開終了範囲のみではなく、切開の縁が角膜中心からどのような距離にあるかを確認したい場合もある。このため、制御部１０４は、図１６に示すように、角膜中心Ａから角膜輪部３０６を結ぶ面を断層位置Ｐとし、この線を矢印Ｌで示すように角膜中心Ａを中心として周期的に回転させる。深さ方向の断層位置Ｐは例えば前嚢３０３ａの高さを中心とする。制御部１０４は、回転する断層位置Ｐの各角度での断層画像を取得するように断層情報取得部１０１２を制御する。

図１７は、断層位置Ｐ（回転するうちの一角度の断層位置Ｐ）について取得された断層画像Ｆである。同図に示すように、前嚢３０３ａの切開縁（図中Ｋ）が分かりやすくなっている。また、制御部１０４は、断層画像Ｆに対する画像認識部１０２の認識結果から、各角度で撮像された断層画像Ｆにおいて切開縁を検出し、合成することも可能である。制御部１０４は、合成した切開縁を正面画像Ｇに重畳させるように表示情報生成部１０５を制御してもよい。図１８は、各角度の切開縁Ｋを合成し、重畳させた正面画像Ｇを示す。

なお、制御部１０４は図１６に示すように断層位置Ｐを回転させず、術具先端の長手方向に沿った面を断層位置Ｐとしてもよい。

（溝堀り）
図１９は、溝掘りでの正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。溝掘りでは術具の長手方向に沿って手前から奥まで術具を進め、水晶体３０３の核を掘り進める。この際に深さ情報の不足から誤って後嚢３０３ｂ(図４参照）に術具を進め、破損させてしまうことがある。このため、制御部１０４は、図１９に示すように、術具Ｔの先端を通過し、術具Ｔの長手方向に沿った面を断層位置Ｐ１とする。

さらに、制御部１０４は、同図に示すように術具Ｔの先端を通過し、術具Ｔの長手方向に直交する面を断層位置Ｐ２としてもよい。断層位置Ｐ１及びＰ２の範囲はおよそ角膜輪部３０６から反対側の角膜輪部３０６までが好適である。深さ方向の断層位置Ｐ１及びＰ２は、例えば後嚢３０３ｂの頂点（図４中、水晶体３０３下向きに凸の頂点）の高さが断層面の下端の少し上となるようにする。

制御部１０４は、この断層位置Ｐ１及びＰ２の断層画像を取得するように断層情報取得部１０１２を制御する。これにより術具Ｔと後嚢３０３ｂの位置関係が分かりやすくなり、後嚢３０３ｂの破損を防止することが可能となる。

（核分割）
図２０は、核分割での正面画像Ｇにおける断層位置Ｐを示す模式図である。核分割ではＰｈａｃｏ ｔｉｐ（Phacoemulsification Tip：水晶体乳化チップ）とフックの双方が十分に深い位置にあることが重要であるが、意図せず浅い位置にある状態で分割を試行して失敗することがある。このため、制御部１０４は、図２０に示すようにＰｈａｃｏ ｔｉｐＴ２とフックＴ１の双方の先端を通る面を断層位置Ｐとする。深さ方向の断層位置Ｐは、例えば両術具の深さ位置の平均が断層面の中心となるようにする。

制御部１０４は、この断層位置Ｐの断層画像を取得するように断層情報取得部１０１２を制御する。これにより断層画像においてＰｈａｃｏ ｔｉｐとフックの水晶体における深さを分かりやすくすることができる。

（核吸引）
核吸引では術具先端と水晶体３０３の位置関係の把握が重要となる。このため、制御部１０４は、図１９に示すように術具Ｔの先端を通過し、術具Ｔの長手方向に沿って伸びる面を断層位置Ｐ１とし、術具Ｔの先端を通過し、術具Ｔの長手方向と一定角度（例えば９０度）で交差する面を断層位置Ｐ２とする。深さ方向の断層位置Ｐ１及びＰ２は、例えば術具先端位置の深さを中心とする。また、後嚢３０３ｂの頂点（図４中、水晶体３０３の下向きに凸の頂点）の高さが断層面の下端の少し上となるようにしてもよい。

制御部１０４は、この断層位置Ｐの断層画像を取得するように断層情報取得部１０１２を制御する。これにより断層画像において術具先端と水晶体３０３の位置関係の把握を容易とすることができる。

[術式：網膜硝子体手術]
（硝子体切除）
図２１は、硝子体切除での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。硝子体切除では術具の先端は比較的広い範囲を移動する。このため、制御部１０４は、図２１に示すように術具Ｔの先端を通過し、術具Ｔの長手方向に沿って伸びる面を断層位置Ｐ１とし、術具Ｔの先端を通過し、術具Ｔの長手方向と一定角度（例えば９０度）で交差する面を断層位置Ｐ２とする。深さ方向の断層位置Ｐ１及びＰ２は、例えば術具先端位置の深さを中心とする。

ここで制御部１０４は、断層位置の深さ方向の動きを別の方法で制御することもできる。図２２は、深さ方向の断層位置を示す模式図である。同図に示すように、網膜３１０の深さを基準に複数の深さ範囲（Ｄ１～Ｄ９）が定義されている。制御部１０４は、各深さ範囲の中心の深さと術具先端の深さを比較し、中心の深さが術具先端の深さに最も近い深さ範囲を断層位置とする。

制御部１０４は、この断層位置の断層画像を取得するように断層情報取得部１０１２を制御する。これにより術具先端の深さがわずかに変化しても断層位置の深さは変化せず、断層画像にておいて術具先端と網膜の位置関係を分かりやすくすることができる。

（膜処理１）
図２３は、膜処理での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。膜処理では術具先端と網膜の深さの関係を把握したい場合がある。このため、制御部１０４は、図２３に示すように術具Ｔの先端を通過し、術具Ｔの長手方向に沿って伸びる面を断層位置Ｐ１とし、術具Ｔの先端を通過し、術具Ｔの長手方向と一定角度（例えば９０度）で交差する面を断層位置Ｐ２とする。深さ方向の断層位置Ｐ１及びＰ２は、例えば網膜の表面深さが断層面の下端の少し上となるようにする。

制御部１０４は、この断層位置Ｐの断層画像を取得するように断層情報取得部１０１２を制御する。これにより、断層画像において術具先端と網膜の位置関係を分かりやすくすることができる。

（膜処理２）
図２４は、膜処理での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。膜処理では、特定の部分（例えば黄斑部３１１の位置）を常に注視しておきたい場合がある。このため、制御部１０４は、上記「膜処理１」の手法で断層位置Ｐ１及びＰ２を術具先端に追随させ、断層位置Ｐ１及びＰ２が注視対象の位置に導かれた後に、フットスイッチ等による指示を受けて断層位置Ｐ１及びＰ２を注視対象の位置（図では黄斑部中心窩３１１ａ）に固定することができる。図２４は術具の移動後にも注視対象の位置に固定された断層位置Ｐ１及びＰ２を示す。

（膜処理３）
図２５は、膜処理での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。上記膜処理２の場合において、断層位置Ｐ１及びＰ２の微調整を行いたい場合がある。このため、制御部１０４は、フットスイッチ等による指示を受けて断層位置Ｐ１及びＰ２の位置や向きを微調整することができる。図２５の例では図２４の状態から断層位置Ｐ１及びＰ２の向きが微調整されている。

（膜処理４）
図２６は、膜処理での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。上記膜処理２又は膜処理３の場合において、眼の動きによって断層位置Ｐ１及びＰ２が注視対象の位置からずれてしまう場合がある。このため、制御部１０４は、フットスイッチ等による指示を受けて画像処理により注視対象の位置をトラッキングし、断層位置Ｐ１及びＰ２を注視対象の位置に追随させてもよい。図２６の例では図２５の状態から正面画像Ｇにおける注視対象（黄斑部３１１）の位置がずれているが、断層位置Ｐ１及びＰ２は注視対象に追随して移動している。

（膜処理５）
図２７は、膜処理での正面画像Ｇにおける断層位置Ｐ１及びＰ２を示す模式図である。膜処理では注視対象は黄斑部や視神経乳頭などの眼の特定の部位となることが多い。そこで制御部１０４は、フットスイッチ等による指示を受けて眼の特定の部位を基準として予め定められた断層位置Ｐ１及びＰ２を用いてもよい。図２７の例では黄斑部中心窩３１１ａを中心とし、中心窩３１１ａと視神経乳頭３１２の中心を結ぶ面を断層位置Ｐ１、断層位置Ｐ１に直交する面を断層位置Ｐ２としている。

[術式：緑内障]
（ＭＩＧＳ１）
図２８は、ＭＩＧＳでの正面画像Ｇにおける断層位置Ｐを示す模式図である。ＭＩＧＳ（低侵襲緑内障手術）では、繊維柱帯をバイパスするインプラント等を留置する際には施術位置の繊維柱帯部分の把握が重要である。施術位置へのアクセスは対角部分に作成した創口３０１ａを介して行われる。制御部１０４は、創口３０１ａの位置をトラッキングしておき、その位置と対角の位置となる繊維柱帯付近に、小さなボリューム状の断層情報（連続的に撮像された断層画像から構成されたボリュームデータ）が取得されるように断層位置Ｐを設定する。

深さ方向の断層位置Ｐは例えば繊維柱帯の高さ（隅角３０７）が中心となるようにする。制御部１０４は、この断層位置Ｐのボリュームデータを取得するように断層情報取得部１０１２を制御する。これにより、施術位置の繊維柱帯部分の把握が容易となる。

（ＭＩＧＳ２）
図２９は、ＭＩＧＳでの眼とボリュームデータ取得位置の関係を示す模式図である。ＭＩＧＳで広範囲の繊維柱帯にアクセスする手技の際等おいて制御部１０４は、図２９に示すように繊維柱帯の全周３６０°分を含むリング状（例えばドーナツ状）の断層位置Ｐにおいてボリュームデータを取得するようにしてもよい。

[術式：角膜内皮移植]
（ＤＳＡＥＫ）
図３０は、ＤＳＡＥＫでの正面画像Ｇにおける断層位置Ｐを示す模式図である。同図に示すようにＤＳＡＥＫ（角膜内皮移植）では移植片を患者に移植する際、患者の角膜と移植片の間の隙間を棒状の術具Ｔによって撫でることで減らしていくが、隙間がなくなったか否かを確認するには撫で終わった部分の確認を行う必要がある。同図において術具Ｔの進行方向を矢印で示す。図３１は、一般的な固定断層（図３０中、断層位置Ｑ）で取得される断層画像の例であり、角膜３０１及び移植片３１３を含む。

制御部１０４は、図３０に示すように、棒状の術具Ｔと平行に、術具Ｔに少し遅れる方向で離れた位置を断層位置Ｐとする。深さ方向の断層位置Ｐは、例えば角膜内面の頂点（図４において上に凸の頂点）の位置が断層画像における上端の少し下となるようにする。制御部１０４は、この断層位置Ｐの断層画像を取得するように断層情報取得部１０１２を制御する。これにより、断層画像において角膜と移植片の隙間を確認しやすくなる。

（顕微鏡倍率に基づくスケール決定）
制御部１０４は、正面画像取得部１０１１用の顕微鏡の倍率が変更された場合には、その拡大倍率に応じて断層位置Ｐを調整してもよい。図３２は断層位置Ｐ１及びＰ２の調整を示す模式図である。顕微鏡の倍率が図３２（ａ）から図３２(ｂ)のように拡大されると、制御部１０４は正面画像Ｇにおいて断層位置Ｐ１及びＰ２が占める範囲が変化しないようにスケールを調整することができる。また、制御部１０４は、図３２（ｃ）に示すように正面画像Ｇにおいて画枠に対して断層位置Ｐ１及びＰ２が占める範囲が変化しないように断層位置Ｐ１及びＰ２のスケールを調整してもよい。

（フィルタ）
術具先端や眼の部位の検出結果が時間方向で誤差により微小に変動することがある。また、術具先端等の動きが不連続に変化することがある。上記のような場合には、制御部１０４は術具先端等の検出位置に対して時間方向の平滑化フィルタを適用することで断層位置Ｐのばらつきを抑えることができる。フィルタのオン、オフは図７や図１０のようにメニュー表示を用いて選択してもよいし、フットスイッチなどを用いて選択してもよい。

＜断層取得位置の提示について＞
（正面画像における断層取得位置の提示）
上記のように表示情報生成部１０５は制御部１０４による制御を受けて断層位置を正面画像に重畳させ、表示情報を生成する。これまでの説明のように正面画像に断層位置を表す断層線を表示(図９参照）してもよいが、この線によって術野視認性が低減する場合もある。このため、表示情報生成部１０５は、図３３に示すように断層線の端点付近に断層位置を示す画像Ｒを重畳させてもよい。この画像Ｒは同図に示すような矢印形状であってもよく、他の形状であってもよい。

また、表示情報生成部１０５は、画像Ｒの表示に加え、図３４に示すように正面画像において断層線に相当する範囲Ｄを無彩色とすることができる。反対に表示情報生成部１０５は、範囲Ｄのみを有彩色とし、それ以外の領域を無彩色としてもよい。この他にも表示情報生成部１０５は、範囲Ｄとそれ以外の領域で画像加工の方法を異なるものとすることにより、断層位置を示すことが可能である。加工方法の例としては、色の飽和度又は輝度のレベルを変化させることが挙げられる。

（断層位置の深さの提示）
表示情報生成部１０５は、断層位置の深さを示す表示情報を生成することができる。図３５及び図３６は、断層位置の深さを示す画像の例である。表示情報生成部１０５は、図３５に示すように、眼を表す画像（例えば模式図）にインジケーターＢを配置し、断層の相対深さを線状に表現することができる。また、表示情報生成部１０５は、図３６に示すように、眼を表す画像（例えば模式図）に断層の相対位置を図形Ｃで表現することもできる。

＜断層情報の提示について＞
表示情報生成部１０５は、正面画像と断層画像を含む画像を表示情報として生成することができる。図３７乃至図３９は、正面画像Ｇ、断層画像Ｆ１及び断層画像Ｆ２を含む画像である。断層画像Ｆ１は断層位置Ｐ１において取得され、断層画像Ｇ２は断層位置Ｐ２において取得された断層画像である。

（一般的な提示方法）
図３７に示すように、断層の位置や向きによらず固定の位置や角度（多くの場合には画像周縁に対して垂直や水平）で断層画像が配置されることが一般的である。

(断層面の向きの反映）
表示情報生成部１０５は、図３８に示すように、断層の向きと断層画像の向きを揃える(断層位置Ｐ１と断層画像Ｆ１の周縁を平行とし、断層位置Ｐ２と断層画像Ｆ２の周縁を平行とする）ことで、断層位置と断層画像の対応関係をわかりやすくすることができる。

(断層面の位置の反映）
また、図４０は表示情報に配置される断層画像の範囲を示す模式図である。図４０（ａ）に示す範囲Ｈ１は、図３９（ａ）に示す断層画像Ｆ１として取得される範囲であり、図４０（ｂ）に示す範囲Ｈ２は図３９（ｂ）に示す断層画像Ｆ１として取得される範囲である。

制御部１０４は、術具Ｔの先端位置に応じて断層位置Ｐ１で図４０（ａ）に示すように範囲Ｈ１の断層画像を断層情報取得部１０１２に取得させる。その後、制御部１０４は術具Ｔの先端位置が移動すると断層位置Ｐ１で図４０（ｂ）に示すように範囲Ｈ２の断層画像を断層情報取得部１０１２に取得させる。表示情報生成部１０５は例えば、断層位置Ｐ１の術具長手方向での位置に応じて正面画像Ｇにおける断層画像Ｆ１の提示位置を移動させる。例えば図３９（ａ）から図３９（ｂ）への変化のように術具が長手方向の奥に進む場合、断層画像Ｆ１の提示位置を奥に進んだ距離の分だけ正面画像Ｇ上で左に移動させる。

これにより、表示情報生成部１０５は、術具Ｔの長手方向に伸びる断層位置Ｐ１の断層画像Ｆ１は大きな断層画像の一部をウィンドウで抜き出して提示しているかのような断層画像の動画を提示することが可能となる。例えばＰＥＡにおける溝掘りにおいて図１９を用いて説明した断層画像の取得方法から、断層の取得範囲の部分のみ術具先端位置から一定距離の範囲とするように変更した方法において図４０に示すような提示方法を用いると、術具長手方向の断層取得範囲を小さくしても十分な情報を得ることができるようになる。

この結果として断層取得の時間あたりの枚数を増やすことができるようになり、時間的に密な観察ができるようになる。この効果は図４１に示すように断層画像の取得範囲Ｈを小さくすると更に大きくなる。

（ＤＳＡＥＫ１）
図３０及び図３１において説明したように、ＤＳＡＥＫにおいて、患者角膜と移植片との間隙を削除する手技における断層情報取得方法において、術者が十分に間隙を削減できたと判断した後に間隙の様子を確認したい場合がある。図４２は、表示情報として表示される動画の模式図である。制御部１０４は、図４２に示すように、例えば、手技において術具で角膜を撫でる最後の一撫でについて前述の方法で取得した断層画像を保持しておき、表示情報生成部１０５はこれを動画として再生することができる。これにより術者が間隙の様子を容易に確認することが可能となる。

（ＤＳＡＥＫ２）
図４３（ａ）は断層情報取得部１０１２によって取得されるボリュームデータの例であり、図４３（ｂ）は、同ボリュームデータから生成された断層画像の例である。制御部１０４は、同様に最後の一撫でに関する断層画像を保持しておき、これをもとに図４３（ａ）に示すようなボリュームデータを生成することができる。また、制御部１０４は、同ボリュームデータから術者の指示などに従って図４３（ｂ）に示すように任意の断層画像を表示させることで、術者が間隙の様子を容易に確認することが可能となる。

＜補足＞
（深さ位置の予測）
制御部１０４は、術具先端の深さを断層画像における術具先端位置から求めることができるが、断層画像中に術具先端が含まれない場合には、過去の断層画像における先端位置の動きなどから予測により求めることも可能である。制御部１０４は、最後に断層画像に術具先端が存在した際の深さを現在の術具先端の深さとしてもよいし、深さ方向の速度等も考慮して予測しても良い。

制御部１０４は、眼の各部位の深さとして、断層画像中に当該部位が存在していればその深さを用いることができる。制御部１０４は、断層画像中に当該部位が存在していない場合には過去の深さからの予測や、断層画像中に存在する他の部位の深さと、他の部位と当該部位の深さの関係（断層像での実測、術前計測、一般的な平均値など）からの予測等により求めることも可能である。深さの基準として好適な眼の部位は、角膜頂、隅角、前嚢頂、後嚢頂、網膜、脈絡膜及び強膜等が挙げられる。

（走査パラメータの設定）
制御部１０４は、図１６において説明したように断層位置を走査する場合、ユーザによる操作入力を受けて術具先端、角膜輪部等の眼の特定部位等からの走査位置（中心等）のオフセット等を術前および術中に随時変更することが可能である。また、制御部１０４は、ユーザによる操作入力を受けて走査の長さを術前および術中に随時変更することができる。

（類似基準位置の利用）
上記説明における角膜中心は瞳孔中心により置き換えてもよい。

（断層情報の利用目的）
上記説明においては主に取得した断層をユーザへの提示に用いているが、断層情報からの危険検出など、他の目的に用いることも可能である。

（動作モードの指定方法）
画像処理システム１００における動作モードの選択は、上記のように制御部１０４が選定した手技に対応する動作モードを選択することを基本とする。さらに画像処理システム１００は直接にユーザが動作モードの指定を行えるような構成を有していてもよく、断層取得の方法や断層位置の提示方法、断層画像の提示方法などを個別に直接指定できる構成を有していてもよい。

＜ハードウェア構成＞
図４４は、画像処理装置１２０のハードウェア構成を示す模式図である。同図に示すように画像処理装置１２０はハードウェア構成として、ＣＰＵ１２１、メモリ１２２、ストレージ１２３及び入出力部（Ｉ／Ｏ）１２４を有する。これらはバス１２５によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１２１は、メモリ１２２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１２２に格納する。ＣＰＵ１２１はマイクロプロセッサであるものとすることができる。

メモリ１２２はＣＰＵ１２１によって実行されるプログラム及びデータを格納する。メモリ１２２はＲＡＭ（Random Access Memory）であるものとすることができる。

ストレージ１２３は、プログラムやデータを格納する。ストレージ１２３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。

入出力部１２４は画像処理装置１２０に対する入力を受け付け、また画像処理装置１２０の出力を外部に供給する。入出力部１２４は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。

画像処理装置１２０のハードウェア構成はここに示すものに限られず、画像処理装置１２０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

なお、本技術は以下のような構成もとることができる。

（１）
眼を撮像した画像である正面画像に対して画像認識を実行する画像認識部と、
表示情報を生成する表示情報生成部と、
選定された手技に応じて、眼の断層情報を取得する断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する制御部と
を具備する画像処理装置。

（２）
上記(１)に記載の画像処理装置であって、
上記制御部は、ユーザによる指示を受けて手技を選定する
画像処理装置。

（３）
上記(１)に記載の画像処理装置であって、
上記制御部は、ユーザによる指示と、上記正面画像に対する状況認識に基づいて手技を選定する
画像処理装置。

（４）
上記(１)に記載の画像処理装置であって、
上記制御部は、上記正面画像に対する状況認識に基づいて手技を選定する
画像処理装置。

（５）
上記（２)又は（３）に記載の画像処理装置であって、
上記制御部は、上記画像認識部による認識結果を利用してユーザによる指示を判断する
画像処理装置。

（６）
上記（３)又は（４）に記載の画像処理装置であって、
請求項３又は４に記載の画像処理装置であって、
上記制御部は、上記画像認識部による認識結果を利用して状況認識を行う
画像処理装置。

（７）
上記(５)に記載の画像処理装置であって、
上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の先端の位置に基づいてユーザによる指示を判断する
画像処理装置。

（８）
上記（６）に記載の画像処理装置であって、
上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の種類を特定し、上記術具の種類に基づいて状況認識を行う
画像処理装置。

（９）
上記（８）に記載の画像処理装置であって、
上記制御部は、上記術具の種類と上記正面画像の特徴に基づいて状況認識を行う
画像処理装置。

（１０）
上記（１）乃至（９）のいずれか一つに記載の画像処理装置であって、
上記画像認識部は、上記正面画像に含まれる術具を認識し、
上記制御部は、上記正面画像に含まれる術具の形状に基づいて断層情報を取得する断層面の位置である断層位置を決定する
画像処理装置。

（１１）
上記（１）乃至（９）のいずれか一つに記載の画像処理装置であって、
請求項１に記載の画像処理装置であって、
上記画像認識部は、上記正面画像に含まれる眼の部位を認識し、
上記制御部は、上記正面画像に含まれる眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定する
画像処理装置。

（１２）
上記（１）乃至（９）のいずれか一つに記載の画像処理装置であって、
上記画像認識部は、上記正面画像に含まれる術具と眼の部位を認識し、
上記制御部は、上記正面画像に含まれる術具の形状と眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定する
画像処理装置。

（１３）
上記（１）乃至（１２）のいずれか一つに記載の画像処理装置であって、
上記表示情報生成部は、上記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の位置である断層位置に基づいて上記表示情報における上記断層情報の位置を変更する
画像処理装置。

（１４）
上記（１）乃至（１３）のいずれか一つに記載の画像処理装置であって、
上記表示情報生成部は、上記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の向きに基づいて上記表示情報における上記断層情報の向きを変更する
画像処理装置。

（１５）
上記（１）乃至（１４）のいずれか一つに記載の画像処理装置であって、
請求項１に記載の画像処理装置であって、
上記画像認識部は、上記断層情報に対して画像認識を実行し、
上記制御部は、上記画像認識部による上記断層情報に対する画像認識結果に基づいて施術によって形成された切開縁を検出する
画像処理装置。

（１６）
上記（１５）に記載の画像処理装置であって、
上記画像認識部は、上記正面画像において眼の部位を認識し、
上記制御部は、上記画像認識によって検出された眼の部位に基づいて、上記切開縁の上記正面画像における位置を特定し、
上記表示情報生成部は、上記制御部によって特定された位置に上記切開縁を表す画像を重畳させた表示情報を生成する
画像処理装置。

（１７）
上記（１）乃至（１６）のいずれか一つに記載の画像処理装置であって、
上記表示情報生成部は、上記正面画像に断層情報を取得する断層面の位置を示す断層線の端点を示す画像を重畳させた表示情報を生成する
画像処理装置。

（１８）
上記（１）乃至（１７）のいずれか一つに記載の画像処理装置であって、
上記表示情報生成部は、上記正面画像に断層情報を取得する断層面の位置を示す断層線を表す加工を施して表示情報を生成する
画像処理装置。

（１９）
画像認識部が、眼を撮像した画像である正面画像に対して画像認識を実行し、
表示情報生成部が、表示情報を生成し、
制御部が、選定された手技に応じて、眼の断層情報を取得する断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する
画像処理方法。

（２０）
眼の断層情報を生成する断層情報取得部を備える断層情報取得装置と、
眼を撮像して正面画像を生成する正面画像取得部を備える正面画像撮像装置と、
上記正面画像に対して画像認識を実行する画像認識部と、表示情報を生成する表示情報生成部と、選定された手技に応じて、上記断層情報取得部及び上記表示情報生成部の少なくとも一方を制御する制御部とを備える画像処理装置と
を具備する画像処理システム。

１００…画像処理システム
１０１…画像情報取得部
１０２…画像認識部
１０３…インターフェース部
１０４…制御部
１０５…表示情報生成部
１０６…表示部
１０１１…正面画像取得部
１０１２…断層情報取得部

Claims (16)

1. 眼を撮像した画像である正面画像に対して画像認識を実行する画像認識部と、
   表示情報を生成する表示情報生成部と、
   ユーザによる指示又は前記正面画像の特徴に基づいて、順に進行する複数の手技からなる術式を選定し、
   選定した前記術式に応じて前記表示情報生成部を制御して生成させた表示情報に対して行われるユーザの指示、及び、前記画像認識部による画像認識結果の少なくとも一方に基づいて、前記複数の手技から１つの手技を選定し、
   選定した手技に応じた動作モードで動作するように、眼の断層情報を取得する断層情報取得部及び前記表示情報生成部の少なくとも一方を制御し、
   ユーザからの手技の完了の指示に基づいて、次の手技に応じた動作モードで動作するように、前記断層情報取得部及び前記表示情報生成部の少なくとも一方を制御する
   制御部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記動作モードには、断層情報の取得方法、断層情報の提示方法及びＧＵＩ（Graphical User Interface）の提示方法が含まれる
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記制御部は、前記画像認識部による認識結果を利用してユーザによる指示を判断する
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画像認識部は、前記正面画像に含まれる術具を認識し、
   前記制御部は、前記正面画像に含まれる術具の先端の位置に基づいてユーザによる指示を判断する
   画像処理装置。
5. 請求項１又は２に記載の画像処理装置であって、
   前記画像認識部は、前記正面画像に含まれる術具を認識し、
   前記制御部は、前記正面画像に含まれる術具の種類を特定し、前記術具の種類に基づいて前記複数の手技から１つの手技を選定する
   画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置であって、
   前記画像認識部は、前記正面画像に含まれる術具を認識し、
   前記制御部は、前記正面画像に含まれる術具の形状に基づいて断層情報を取得する断層面の位置である断層位置を決定する
   画像処理装置。
7. 請求項１から５のいずれか一項に記載の画像処理装置であって、
   前記画像認識部は、前記正面画像に含まれる眼の部位を認識し、
   前記制御部は、前記正面画像に含まれる眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定する
   画像処理装置。
8. 請求項１から５のいずれか一項に記載の画像処理装置であって、
   前記画像認識部は、前記正面画像に含まれる術具と眼の部位を認識し、
   前記制御部は、前記正面画像に含まれる術具の形状と眼の部位に基づいて断層情報を取得する断層面の位置である断層位置を決定する
   画像処理装置。
9. 請求項１から８のいずれか一項に記載の画像処理装置であって、
   前記表示情報生成部は、前記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の位置である断層位置に基づいて前記表示情報における前記断層情報の位置を変更する
   画像処理装置。
10. 請求項１から９のいずれか一項に記載の画像処理装置であって、
    前記表示情報生成部は、前記断層情報取得部によって取得された断層情報を含む表示情報を生成し、断層情報を取得する断層面の向きに基づいて前記表示情報における前記断層情報の向きを変更する
    画像処理装置。
11. 請求項１から１０のいずれか一項に記載の画像処理装置であって、
    前記画像認識部は、前記断層情報に対して画像認識を実行し、
    前記制御部は、前記画像認識部による前記断層情報に対する画像認識結果に基づいて施術によって形成された切開縁を検出する
    画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記画像認識部は、前記正面画像において眼の部位を認識し、
    前記制御部は、前記画像認識によって検出された眼の部位に基づいて、前記切開縁の前記正面画像における位置を特定し、
    前記表示情報生成部は、前記制御部によって特定された位置に前記切開縁を表す画像を重畳させた表示情報を生成する
    画像処理装置。
13. 請求項１から１２のいずれか一項に記載の画像処理装置であって、
    前記表示情報生成部は、前記正面画像に断層情報を取得する断層面の位置を示す断層線の端点を示す画像を重畳させた表示情報を生成する
    画像処理装置。
14. 請求項１から１３のいずれか一項に記載の画像処理装置であって、
    前記表示情報生成部は、前記正面画像に断層情報を取得する断層面の位置を示す断層線を表す加工を施して表示情報を生成する
    画像処理装置。
15. 画像認識部が、眼を撮像した画像である正面画像に対して画像認識を実行し、
    表示情報生成部が、表示情報を生成し、
    制御部が、
    ユーザによる指示又は前記正面画像の特徴に基づいて、順に進行する複数の手技からなる術式を選定し、
    選定した前記術式に応じて前記表示情報生成部を制御して生成させた表示情報に対して行われるユーザの指示、及び、前記画像認識部による画像認識結果の少なくとも一方に基づいて、前記複数の手技から１つの手技を選定し、
    選定した手技に応じた動作モードで動作するように、眼の断層情報を取得する断層情報取得部及び前記表示情報生成部の少なくとも一方を制御し、
    ユーザからの手技の完了の指示に基づいて、次の手技に応じた動作モードで動作するように、前記断層情報取得部及び前記表示情報生成部の少なくとも一方を制御する
    画像処理方法。
16. 眼の断層情報を生成する断層情報取得部を備える断層情報取得装置と、
    眼を撮像して正面画像を生成する正面画像取得部を備える正面画像撮像装置と、
    前記正面画像に対して画像認識を実行する画像認識部と、表示情報を生成する表示情報生成部と、制御部とを備える画像処理装置と
    を具備する画像処理システムであって、
    前記制御部は、
    ユーザによる指示又は前記正面画像の特徴に基づいて、順に進行する複数の手技からなる術式を選定し、
    選定した前記術式に応じて前記表示情報生成部を制御して生成させた表示情報に対して行われるユーザの指示、及び、前記画像認識部による画像認識結果の少なくとも一方に基づいて、前記複数の手技から１つの手技を選定し、
    選定した手技に応じた動作モードで動作するように、眼の断層情報を取得する断層情報取得部及び前記表示情報生成部の少なくとも一方を制御し、
    ユーザからの手技の完了の指示に基づいて、次の手技に応じた動作モードで動作するように、前記断層情報取得部及び前記表示情報生成部の少なくとも一方を制御する
    画像処理システム。

Images