JP6275904B1 - 口腔内治療支援システムおよび口腔内治療支援方法 - Google Patents

Abstract

【課題】治療の効率化を図り、かつ、施術者の経験値を底上げ可能な口腔内治療支援システム等を提供する。【解決手段】タッチパネル型ＰＣ１０と、歯科用インスツルメント２０と、カメラ３０と、ＨＭＤ装置４０と、携帯端末５０とを備える口腔内治療支援システムであって、タッチパネル型ＰＣは、カメラが撮影した、患者の口腔内の根管を含む２次元静止画像である現実画像データを取得し、ＨＭＤ装置に表示させ、施術者が当初は視認可能だった根管が術中に視認できなくなった場合であっても患者の現状の歯の撮像データに基づいて、所定の記憶媒体に蓄積されている過去のデータから統計的に２次元又は３次元の予測画像データを予測して取得し、追従角度が前記許容値の範囲内に戻った場合には、携帯端末は、ＨＭＤ装置に表示される各画像を同様に表示し、自端末に対する施術者の操作を受け付けて、各画像を拡大又は縮小して表示させる口腔内治療支援システム。【選択図】図１

Description

本発明は、治療箇所を撮像して口腔内治療を支援する技術に関する。

口腔内治療に際して、施術者である歯科医師にとって根管は視認し難くその直接観察が困難な場合がある。
しかし、施術者は根管を含む治療箇所のイメージを把握して治療を進行する必要があるため、経験値の少ない施術者でも、安全に正確に治療ができるようにすべく、これまで種々の解決手法が提案されている。

例えば、関連技術として、撮像モジュールと装着部とを備え、装着部により歯科治療用撮像装置がヘッド部の底部又は側部に装着されると、撮像モジュールによる撮像軸と回転切削工具の回転軸とが略平行になり、高価なイメージガイドを用いないで、構成の簡易化を図り、また、撮像モジュールはヘッド部の底部又は側部に位置しかつ撮像モジュールによる撮像軸と回転切削工具の回転軸とが略平行であり、さらに、撮像軸と回転軸とが略平行であっても、撮像モジュールの撮像範囲は有限の視野角を有し、撮像モジュールにより回転切削工具の先端を撮像することができ、治療箇所をより確実に撮像することができる技術がある（特許文献１参照）。

また、関連技術として、歯髄室及び根管を含む、患者の歯の３次元コンピュータモデルを、治療されるべき患者の歯として、歯の少なくとも一つの２Ｄグレイ値画像及び／又は歯の口腔内可視部分の少なく一部の表面情報と、各タイプの歯の統計的な数値化された形状モデルとを組み合わせることによって作製する技術がある（特許文献２参照）。

特許第５０８５７３２号公報 特表２０１４−５２９４５１号公報

しかし、歯科の根管治療特有の問題として、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）視認できなくなるケースがある。そのような場合に、最初に視認可能だった根管の箇所の直近のリアルで正確な画像を最大限活用し、かつ、必要なタイミングでのみ根管の位置を過去の蓄積データから予測した画像を表示する具体的な技術は提供されていなかった。
なお、従来の単に視認不可の根管の箇所をバーチャルで表示しようとする技術とは異なり、本願発明は、最初に視認可能だった根管の箇所の直近のリアルで正確な画像を最大限活用する点にポイントがあり、従来の単なるバーチャル表示を追求する技術を開示する公報等にはいわゆる阻害要因が内在することとなる。

本発明の目的は、極小のカメラを歯科用の種々のインストルメント（器具）上に設置し、ＨＭＤ（ヘッドマウントディスプレイ）装置に、撮像した口腔内画像を表示させて治療の効率化を図り、そのサポートとしてＡＩを盛り込むことで施術者の経験値を底上げ可能な口腔内治療支援システム等を提供することにある。

本発明の口腔内治療支援システムは、
タッチパネル型ＰＣと、歯科用インスツルメントと、カメラと、ＨＭＤ装置と、携帯端末とを備え、前記タッチパネル型ＰＣは前記歯科用インスツルメントに設けられたカメラと有線接続され、前記ＨＭＤ装置は前記携帯端末と有線接続され、前記タッチパネル型ＰＣは前記携帯端末と無線接続される口腔内治療支援システムであって、
前記タッチパネル型ＰＣは、
前記カメラが撮影した、前記歯科用インスツルメントを用いて治療される患者の口腔内の根管を含む２次元静止画像である現実画像データを取得し、
前記カメラが撮影した、前記患者の口腔内の根管を含む実像の画像を前記携帯端末を介して前記ＨＭＤ装置に表示させ、
自動認識により又は自装置のタッチパネルに対する施術者の操作を受け付けて、前記実像の画像に重畳して自装置に表示されている前記現実画像データに対して、追従のためのマーカーを設定することができ、
前記現実画像データを、前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させ、
施術者が当初は視認可能だった前記根管が術中に視認できなくなった場合であっても前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させ、
術中又は術前に前記カメラが撮像した前記患者の現状の歯の撮像データに基づいて、所定の記憶媒体に蓄積されている過去の症例における歯の撮像データとのマッチングにより類似する２次元又は３次元の予測画像データを選択して取得し、
前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従させている際に、前記患者の歯と前記カメラのなす角度によって定まる追従角度が許容値を超えた場合には、前記予測画像データを前記実像の画像に重畳および追従して表示させ、
前記追従角度が前記許容値の範囲内に戻った場合には、再び前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して表示させ、
前記携帯端末は、
前記ＨＭＤ装置に表示される各画像と同じ画像を表示し、自端末に対する施術者の操作を受け付けて、前記各画像を拡大又は縮小して表示させる。

このように構成することにより、歯科用インスツルメントに極小のファイバースコープカメラ等を設置し、ＨＭＤ装置に、撮像した口腔内画像を表示させるので、施術者は作業野を間近に見ることができ治療の効率化を図ることができる。
また、ＨＭＤ装置を使用するので、通常の視線方向に映像が提示され、従来の口腔内カメラのように特に表示装置を見ようとして姿勢変更等することなく、自然な姿勢で治療を実施することができる。
また、施術者がスマートフォンやタブレット端末等の携帯端末を使用するので、白衣のポケットに入れておいての操作も可能となり、光学ズームではなく、デジタルズームによる拡大表示等が可能となる。
また、現状の患者の歯の撮像データを用いて、過去のデータから統計的に２次元・３次元の画像を予測して表示するので、経験値の少ない施術者でも、先達の膨大な症例を引き出して有効活用することによって、実質的に施術者の経験値を底上げでき、経験値の高い治療ができるようになる。
また、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）根管が視認できなくなる場合、追従角度が許容値超えた時点で閲覧モードからＡＩモードへ切り替えられるので、最初に視認可能だった根管の箇所の直近のリアルで正確な画像を最大限活用し、かつ、必要なタイミングでのみ根管の位置を予測して表示することができる。
また、閲覧モードでタッチパネル型ＰＣから施術者が手指操作で追従マーキング可能であるので、簡易かつ確実に追従（トラッキング）を実現することができる。

本発明の口腔内治療支援方法は、
タッチパネル型ＰＣと、歯科用インスツルメントと、カメラと、ＨＭＤ装置と、携帯端末とであって、前記タッチパネル型ＰＣは前記歯科用インスツルメントに設けられたカメラと有線接続され、前記ＨＭＤ装置は前記携帯端末と有線接続され、前記タッチパネル型ＰＣは前記携帯端末と無線接続されるものを利用した口腔内治療支援方法であって、
前記タッチパネル型ＰＣが、
前記カメラが撮影した、前記歯科用インスツルメントを用いて治療される患者の口腔内の根管を含む２次元静止画像である現実画像データを取得するステップと、
前記カメラが撮影した、前記患者の口腔内の根管を含む実像の画像を前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
自動認識により又は自装置のタッチパネルに対する施術者の操作を受け付けて、前記実像の画像に重畳して自装置に表示されている前記現実画像データに対して、追従のためのマーカーを設定するステップと
前記現実画像データを、前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
施術者が当初は視認可能だった前記根管が術中に視認できなくなった場合であっても前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
術中又は術前に前記カメラが撮像した前記患者の現状の歯の撮像データに基づいて、所定の記憶媒体に蓄積されている過去の症例における歯の撮像データとのマッチングにより類似する２次元又は３次元の予測画像データを選択して取得するステップと、
前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従させている際に、前記患者の歯と前記カメラのなす角度によって定まる追従角度が許容値を超えた場合には、前記予測画像データを前記実像の画像に重畳および追従して表示させるステップと、
前記追従角度が前記許容値の範囲内に戻った場合には、再び前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して表示させるステップとを有し、
前記携帯端末が、
前記ＨＭＤ装置に表示される各画像と同じ画像を表示し、自端末に対する施術者の操作を受け付けて、前記各画像を拡大又は縮小して表示させるステップを有する。

本発明によれば、治療の効率化を図り、かつ、施術者の経験値を底上げ可能な口腔内治療支援システム等を提供することができる。

本発明の実施の形態に係る口腔内治療支援システムの構成を示す図である。 本発明の実施の形態に係る口腔内治療支援システムにおけるタッチパネル型ＰＣの機能ブロック図である。 本発明の実施の形態に係る口腔内治療支援システムにおけるＨＭＤ装置の表示画像のイメージを示す図である。特に、図４は根管が視認できなくなる場合（一部を含む）の模式図であり、図５は追従角度が許容値を超えた場合の表示画像のイメージの模式図であるが、図面上は図３と同等角度で表した。 本発明の実施の形態に係る口腔内治療支援システムにおけるＨＭＤ装置の表示画像のイメージを示す根管が視認できなくなる場合（一部を含む）の模式図である。 本発明の実施の形態に係る口腔内治療支援システムにおけるＨＭＤ装置の表示画像のイメージを示す図であり、追従角度が許容値を超えた場合の表示画像のイメージの模式図であるが、図面上は図３と同等角度で表した。 本発明の実施の形態に係る口腔内治療支援システムにおけるマーキングを説明する図である。 本発明の実施の形態に係る口腔内治療支援システムの処理動作を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しつつ説明する。
なお、以下では主として根管治療を行う場合を例として説明するが、本発明の適用範囲は、根管治療に限られるものではなく広く歯科治療等に適用可能である。

〔システム構成〕
図１に示すように、本実施の形態における口腔内治療支援システムＳは、タッチパネル型ＰＣ（パーソナル・コンピュータ）１０、歯科用インストルメント２０、患者の口腔内等を撮像する小型のカメラ３０、カメラ３０に接続されたケーブル３１、施術者の顔部に取り付けられるＨＭＤ装置（ヘッドマウント型ディスプレイ装置）４０、ＨＭＤ装置４０に接続されたケーブル４１、携帯端末５０から構成されている。
これらのハードウェアは一定の性能基準を満たす市販品から自由に選択されることであってよい。したがって、ハードウェアの維持費用ついても、既存の汎用品を使用することにより、従来の高額システムのように、治療ごとに機材を購入することがないため、コスト削減が可能となる。

タッチパネル型ＰＣ１０は、中央演算処理装置（ＣＰＵ）、メモリ、ＨＤＤ、キーボート、マウス、タッチパネル等の入力装置及び液晶表示装置や有機ＥＬ表示装置等で構成され制御ユニットから出力される画像信号に基づいて画像を出力表示する所定の表示部を備えている周知の情報処理装置である。処理落ちしない程度の一定以上の処理能力が必要であり、ノート型が好ましい。なお、タッチパネル型ＰＣ１０と同様の処理を実行することができる情報処理装置が広く適用可能である。
タッチパネル型ＰＣ１０は、所定のプログラムをインストールすることにより実現される。そのプログラムは、メモリに記憶されている。なお、そのプログラムは、周知の各種記憶媒体に記憶することができる。

図２にタッチパネル型ＰＣ１０の機能ブロック図を示す。
タッチパネル型ＰＣ１０は、実像取得部１１、現実画像データ取得部１２、閲覧モード実現部１３、マーキング部１４、追従部１５、予測画像データ取得部１６、追従角度判定・モード切替部１７、ＡＩモード実現部１８およびグリッド表示部１９を備えている。各部はＣＰＵ等により実現されることであってよい。

タッチパネル型ＰＣ１０は、自装置の所定の表示部およびＨＭＤ装置４０に（以下、単に「ＨＭＤ装置４０に」という場合がある。）、カメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に対して、術中又は術前に作成された患者の口腔内の根管を含む２次元静止画像である「現実画像データ」１２０を重ね合わせ（オーバーレイ、重畳）るように、かつ、追従するように座標変換処理を行って表示させることができる。実像の画像１１０には、追従するためのマーカーとなる所定の歯の形状部位等も含まれ、タッチパネル型ＰＣ１０においてその位置座標（すなわち３次元位置座標（並進：Ｘ，Ｙ，Ｚ））およびその位置座標における姿勢（すなわち、マーカーの向きや傾斜状態などの姿勢）が測定される。なお、グリッド表示により実像の画像１１０と「現実画像データ」１２０の重畳度合いを、Ｘ軸・Ｙ軸方向への一致率（％）を含めて表示し、完全に重畳させるための画像位置修正の作業の便宜を図ることであってもよい。
すなわち、タッチパネル型ＰＣは、「閲覧モード」として、例えば、孔として見えている状態の根管を術中又は術前にカメラ３０が撮像して静止画を取得し、その現状の患者の歯の「現実画像データ」１２０をＨＭＤ装置４０に表示させる。そして、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）根管が視認できなくなる場合であっても、上記の孔として見えている状態の根管の「現実画像データ」１２０を引き続きリアルの根管が視認できなくなっている状態の術中の歯の実像の画像１１０に重畳および追従して透過的（スライダーアイコンにより透過度を調整可能であってもよい。）にＨＭＤ装置４０に表示させる（図３参照）。したがって、根管の位置情報という重要な指標を術部の実像の画像に重畳および追従して表示することができる。
また、重畳および追従表示のために、後述する施術者による特別なマーキング操作は不要にて患者の歯牙そのもの等を自動認識してマーカーとすることに基づいて追従（トラッキング）することであってもよいが、タッチパネル型ＰＣ１０は、「閲覧モード」では、例えば、図６に示すように、自装置の所定の表示部のタッチパネルに対する施術者等の手指操作を受け付けて、術中の歯の実像の画像１１０に重畳および追従して透過的に表示されている「現実画像データ」１２０に対して、簡易かつ確実に追従を実現するためのマーキング（マーカーを設定すること）が可能としてもよい。なお、マーカー設定部分の表示は透明で既存の他の画像の表示を妨げない形式であってもよい。
手動でマーキングの確定操作を行い、その位置姿勢（スケール、回転、移動など）のデータを基準とした３次元での画像への変換行列などがタッチパネル型ＰＣ１０に記憶される。なお、この変換行列は、マーカーの３次元位置姿勢に対する画像の３次元位置姿勢との相対的な関係を紐付けて示す情報（３次元位置関係情報）であり、角度が変わっても相対位置がわかる（串刺しのイメージ）。

また、タッチパネル型ＰＣ１０は、「ＡＩモード」時に利用する、「予測画像データ」１３０を術中又は術前にカメラ３０が撮像した患者の現状の歯の撮像データに基づいて、過去のデータから統計的に患者の口腔内の根管を含む２次元（又は３次元）静止画像を予測して準備しておく。「予測画像データ」１３０は、具体的には、画像処理により、ＨＳＶによる反転画像、グレースケール、エッジ画像等で画像を変化させ、画像から自動抽出特徴付けを行い、さらに画像全体のテクスチャ解析より抽出した２００以上の特徴量を統合し機械学習の１つの手法であるＳＶＭ(Support Vector Machine)を利用して過去のデータとのマッチング等に基づいて算出される。なお、単に過去のデータから類似画像を表示することであってもよく、その際、複数種類のデータを合成したり、複数種類のデータを並列して表示することであってもよい。また、予め術前に撮影したおいた患者の歯の撮像データ（ＣＴ画像等を含む。）に基づいてもよいが、術中の患者の現状の歯をカメラ３０が撮像してその撮像データに基づく場合には、事前の撮影負担が軽減される。

タッチパネル型ＰＣ１０は、「閲覧モード」で、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）根管が視認できなくなる場合であっても、孔が見えている状態の根管の「現実画像データ」１２０を引き続きリアルの根管が視認できなくなっている状態の術中の歯の実像の画像１１０に重畳および追従して透過的にＨＭＤ装置４０に表示させる（図４参照）が、追従角度が許容値を超えた場合には、「現実画像データ」１２０の有効性が低下するので、「閲覧モード」から「ＡＩモード」へ切り替え、追従角度に応じた「予測画像データ」１３０を術中の歯の実像の画像１１０に重畳および追従して透過的にＨＭＤ装置４０に表示させる（図５参照）。逆に、追従角度が許容値内に戻った場合には、「ＡＩモード」から「閲覧モード」へ切り替え、再び「現実画像データ」１２０をＨＭＤ装置４０に表示させることであってもよい。なお、「予測画像データ」１３０は「現実画像データ」１２０に置換可能に予めサイズや重畳位置（マーカー位置を含む）が調整されている。

また、タッチパネル型ＰＣ１０は、ＨＭＤ装置４０に表示させる、例えば、グリッド表示（例えば、予め画面全体に２次元で緑線の表示をさせ三本おきに太線とし、基本線一本を赤線で表示させる。）につき、自装置の所定の表示部のタッチパネルに対する手指操作で位置を修正したり、画像の拡大・縮小に合わせてピッチを可変としてもよい。

なお、タッチパネル型ＰＣ１０の所定の表示部に表示される画像が同様にＨＭＤ装置４０に画像として出力される。したがって、施術者が術中にＨＭＤ装置４０により見ている画像を、施術者以外の手術スタッフ等にも所定の表示部に表示される画像により見ることができ、手術の様子が確認可能となっている。

歯科用インスツルメント２０には、種々のものが含まれるが根管拡大用の先端部の器具であるファイルは回転式のものと超音波式のものの両方を含む。施術者の手によって把持可能な長尺状に形成されており、端部からケーブルが延出している。

カメラ３０は、歯科用インスツルメント２０に装着して使用されるファイバースコープカメラであり、歯科用インスツルメント２０に、例えば装着部を介して脱着可能に設けられ、特注で径１ｍｍまで小さくできる。ファイバースコープカメラは、グラスファイバーにより全体が自在に曲がり、施術者の手や足による操作に応じてフレキシブルに変形し、必ずしも歯科用インスツルメント４０のヘッド部近傍の底部又は側部にカメラレンズ部が位置する関係になくてもよく、上部や軸部その他の部位に設けられることであってもよい。また、ライト機能が併存していてもよい。なお、必ずしもカメラの撮像軸と回転切削工具（歯科用インスツルメント４０）の回転軸とが略平行になる姿勢で着脱可能に装着されるものではない。
カメラ３０は、患者の口腔内の術部の実像の画像１１０を撮像してケーブル３１を介してタッチパネル型ＰＣ１０に出力する。なお、タッチパネル型ＰＣ１０と無線接続される携帯端末５０を介してＨＭＤ装置４０にその撮像した画像が表示されることとなる。

ＨＭＤ装置４０は、タッチパネル型ＰＣ１０から出力される、カメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に対して、「現実画像データ」１２０や「予測画像データ」１３０を重畳して透過的に表示されたものを見るための両目メガネ型（片目型もある。）の光学透過型の装置であり、施術者の顔部に装着して使用される。
施術者は、術中に、従来のようにＰＣのモニター画像と見比べる必要がなくなり、時間短縮等が図られる。
なお、施術者の実視野にて術部等の生の実像もシースルーで直接的に見ることができる光学透過型であるので、視線を少し変更することにより直接視による情報をも得ることができ、例えば、患者が苦痛を感じているか否か等を患者の表情から読み取ることができる。
ＨＭＤ装置４０は、ケーブル４１のような有線で携帯端末５０と接続されている。有線のため処理による遅延がなく、リアルタイム性を実現することができる。現時点の技術水準では無線の場合では０．５秒などの遅延が生じるため採用しないが、将来的にコスト的にも見合う高い処理能力を実現するＨＷが登場した際には無線であってもよい。なお、リアルタイムの画像とは、画像を見て手術を行うのに支障を生じ得ない範囲で即時性を満たせばよく、完全な時間の一致を要求するものではない。
ＨＭＤ装置４０は、ディスプレイ機能のみとし、ＣＰＵ等を備えない構成とすれば軽量化が実現される。

携帯端末５０は、例えば、スマートフォンやタブレット端末等の情報処理装置である。上述のとおりＨＭＤ装置４０と有線接続され、また、タッチパネル型ＰＣ１０と無線接続（例えばＷｉ−Ｆｉ）される。携帯端末５０は、小型であるので施術者の白衣のポケット等に収納可能で便利である。携帯端末５０への施術者の手指等によるタッチパネル操作等を受け付けてＨＭＤ装置４０に表示される各種の画像のデジタルズーム機能による拡大・縮小表示や位置移動表示が可能となり、肉眼では識別困難な、０．１ｍｍなどのレベルであっても施術者は認識ができることとなる。また、携帯端末５０に対する操作に応じて、視認性向上のため、画像背景の明暗、画像の明度・透明度・解像度などのパラメーターを調整可能であってもよい。携帯端末５０に対する操作に応じて「閲覧モード」と「ＡＩモード」の開始・終了や切り替えが実行されることであってもよい。携帯端末には任意のＯＳ上で動作する所定のアプリケーションがインストールされるものとする。

次に、図７を参照して本実施の形態に係る口腔内治療支援システムＳの処理フローを詳細に説明する。

まず、タッチパネル型ＰＣ１０の実像取得部１１は、ＨＭＤ装置４０にカメラ３０が撮影した患者の口腔内の術部の実像の画像１１０を表示させる（ステップＳ５０１）。

次に、タッチパネル型ＰＣ１０の現実画像データ取得部１２は、術中にカメラ３０が撮像した患者の口腔内の根管を含む２次元画像である「現実画像データ」１２０を取得する（ステップＳ５０２）。なお、「現実画像データ」１２０は術前にカメラ３０が撮像することであってもよい。

次に、タッチパネル型ＰＣ１０の閲覧モード実現部１３は、術部の実像の画像１１０に「現実画像データ」１２０を重ね合わせ（オーバーレイ、重畳）るように表示させる（図３参照）「閲覧モード」とする（ステップＳ５０３）。追従するためのマーカーとして所定の歯の形状部位等を自動認識して用いることでも、又は、タッチパネル型ＰＣ１０のマーキング部１８は、例えば、図６に示すように、自装置の所定の表示部のタッチパネルに対する手指操作で、追従のためのマーキングが可能であり、タッチパネル型ＰＣ１０においてその位置座標（すなわち３次元位置座標（並進：Ｘ，Ｙ，Ｚ））およびその位置座標における姿勢（すなわち、マーカーの向きや傾斜状態などの姿勢）が測定される。
術中においてはこのマーカーをタッチパネル型ＰＣ１０の追従部１５が追従（トラッキング）し、カメラ３０が撮影した患者の口腔内の術部の実像の画像１１０内のマーカーの３次元位置姿勢が、リアルタイムにＰＣ１０に入力され、ＰＣ１０はマーカーの３次元位置姿勢に変化が無いかの計測判断を極めて短い間隔（リアルタイム）で繰り返し行い、カメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に、現実画像データ１２０を重ね合わせるように、マーカーとの３次元的位置関係を保ちながら座標変換処理を行って、リアルタイムで重畳した、例えば、図３に示すような画像を出力してＨＭＤ装置４０に表示させる。
すなわち、患者および施術者の体動等により術部の実像の画像１１０に含まれるマーカーの位置に変化が生じた場合でもその動きに合わせて現実画像データ１２０の位置も追従して補正されて表示される。例えば、ＰＣ１０は、基準位置に対する変化量を算出し、算出した変化量に基づき補正する。基準位置の座標が（ｘ、ｙ、ｚ）であり、変化量が（Δｘ、Δｙ、Δｚ）である場合、座標を、（ｘ＋Δｘ、ｙ＋Δｙ、ｚ＋Δｚ）に補正する。

そして、タッチパネル型ＰＣ１０の閲覧モード実現部１３は、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）視認できなくなる場合であっても、上記の孔として見えている状態の根管の「現実画像データ」１２０を引き続きリアルの根管が視認できなくなっている状態の術中の歯の実像の画像１１０に重畳および追従して透過的にＨＭＤ装置４０に表示させ（図４参照）、「閲覧モード」のままとする（ステップＳ５０４）。したがって、根管の位置情報という重要な指標を術部の実像の画像に重畳および追従して表示することができる。

次に、タッチパネル型ＰＣ１０の予測画像データ取得部１６は、「ＡＩモード」時に利用する、「予測画像データ」１３０を術中カメラ３０が撮像した患者の現状の歯の撮像データに基づいて、所定（クラウド上を含む）のサーバや記憶媒体等に蓄積されている過去の治療時等のデータから統計的に２次元（又は３次元）の静止画像を予測して取得しておく（ステップＳ５０５）。「予測画像データ」１３０は、具体的には、画像処理により、ＨＳＶによる反転画像、グレースケール、エッジ画像等で画像を変化させ、画像から自動抽出特徴付けを行い、さらに画像全体のテクスチャ解析より抽出した２００以上の特徴量を統合し機械学習・ＡＩの１つの手法であるＳＶＭ(Support Vector Machine)を利用して過去のデータとのマッチング等に基づいて近似するものが算出・取得される。なお、予め術前に撮影したおいた患者の歯の撮像データ（ＣＴ画像等を含む。）に基づいてもよいが、術中の患者の現状の歯をカメラ３０が撮像してその撮像データに基づく場合には、事前の撮影負担が軽減されるという顕著なメリットが生じる。

そして、タッチパネル型ＰＣ１０は、「閲覧モード」で、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）根管が視認できなくなる場合であっても、孔が見えている状態の根管の「現実画像データ」１２０を引き続きリアルの根管が視認できなくなっている状態の術中の歯の実像の画像１１０に重畳および追従して透過的にＨＭＤ装置４０に表示させるが、タッチパネル型ＰＣ１０の追従角度判定・モード切替部１７は、追従角度が許容値（例えばＺ軸で角度１０度）を超えた場合には、「現実画像データ」１２０の有効性が低下するので、「閲覧モード」から「ＡＩモード」へ切り替え、タッチパネル型ＰＣ１０のＡＩモード実現部１８により追従角度に応じた「予測画像データ」１３０を術中の歯の実像の画像１１０に重畳および追従して透過的にＨＭＤ装置４０に表示させる（図５参照）「ＡＩモード」とし、逆に、追従角度が許容値内に戻った場合には、「ＡＩモード」から「閲覧モード」へ切り替え、再び「現実画像データ」をＨＭＤ装置４０に表示させる（図３参照）（ステップＳ５０６）。例えば、タッチパネル型ＰＣ１０は、基準位置に対する変化量を算出し、算出した変化量に基づき追従角度（特にｚ軸）が許容値内か否かを判断する。基準位置の座標が（ｘ、ｙ、ｚ）であり、変化量が（Δｘ、Δｙ、Δｚ）である場合、許容値、（ｚ´）内か否かを判断する。なお、「予測画像データ」１３０として追従角度に応じて複数のものが準備されており、追従角度によって適切なものに切り替えられることであってもよい。また、「予測画像データ」１３０として、単に過去のデータから類似画像を表示することであってもよく、その際、複数種類のデータを合成したり、複数種類のデータを並列して表示することであってもよい。

また、タッチパネル型ＰＣ１０のグリッド表示部１９は、ＨＭＤ装置４０にグリッド（仮想の格子線）を付加して表示することであってもよい（ステップＳ５０７）。例えば、予め画面全体に２次元で緑線の表示をさせ三本おきに太線とし、基本線一本を赤線で表示させる。自装置の所定の表示部のタッチパネルに対する手指操作で位置を修正したり、画像の拡大・縮小に合わせてピッチ・サイズ調整、グリッド数調整が可能であってもよい。バーチャルで施術者の目の前にグリッドを表示させることができ、グリッドをガイドとし、歯を削る際などに、平行性の確認が容易になる。

上記の本実施の形態によれば、治療の効率化を図り、かつ、施術者の経験値を底上げ可能である。診断経験の少ない者（例えば新人口腔外科医）であっても、経験豊富な施術者に近いレベル（又はそれ以上のレベル）で、正確な治療・手術を行うことが可能となっている。
また、歯科用インスツルメントに極小のファイバースコープカメラ等を設置し、ＨＭＤ装置に、撮像した口腔内画像を表示させるので、施術者は作業野を間近に見ることができ治療の効率化を図ることができる。
また、ＨＭＤを使用するので、通常の視線方向に映像が提示され、従来の口腔内カメラのように特に表示装置を見ようとして姿勢変更等することなく、自然な姿勢で治療を実施することができる。
また、施術者がスマートフォンやタブレット端末等の携帯端末を使用するので、白衣のポケットに入れておいての操作も可能となり、光学ズームではなく、デジタルズームにより拡大表示が可能となる。
また、現状の患者の歯の撮像データを用いて、過去のデータから統計的に２次元の画像を予測して表示するので、経験値の少ない施術者でも、先達の膨大な症例を引き出して有効活用することによって、実質的に施術者の経験値を底上げでき、経験値の高い治療ができるようになる。
また、施術者が当初は視認可能だった根管が術中に種々の原因から（例えば、歯肉に覆われて）根管が視認できなくなる場合、追従角度が許容値超えた時点で閲覧モードからＡＩモードへ切り替えられるので、最初に視認可能だった根管の箇所の直近のリアルで正確な画像を最大限活用し、かつ、必要なタイミングでのみ根管の位置を予測して表示することができる。
また、ＡＩモードでタッチパネル型ＰＣから施術者が手指操作で追従マーキング可能であるので、簡易かつ確実に追従（トラッキング）を実現することができる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、各装置等の機能を実現するためのプログラムを各装置等に読込ませて実行することにより各装置等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭ又は光磁気ディスクなどを介して、又は伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。

Ｓ 口腔内治療支援システム
１０ タッチパネル型ＰＣ
２０ 歯科用インストルメント
３０ カメラ
３１ ケーブル
４０ ＨＭＤ装置
４１ ケーブル
５０ 携帯端末
１１０ 実像の画像
１２０ 現実画像データ
１３０ 予測画像データ

Claims (2)

1. タッチパネル型ＰＣと、歯科用インスツルメントと、カメラと、ＨＭＤ装置と、携帯端末とを備え、前記タッチパネル型ＰＣは前記歯科用インスツルメントに設けられたカメラと有線接続され、前記ＨＭＤ装置は前記携帯端末と有線接続され、前記タッチパネル型ＰＣは前記携帯端末と無線接続される口腔内治療支援システムであって、
   前記タッチパネル型ＰＣは、
   前記カメラが撮影した、前記歯科用インスツルメントを用いて治療される患者の口腔内の根管を含む２次元静止画像である現実画像データを取得し、
   前記カメラが撮影した、前記患者の口腔内の根管を含む実像の画像を前記携帯端末を介して前記ＨＭＤ装置に表示させ、
   自動認識により又は自装置のタッチパネルに対する施術者の操作を受け付けて、前記実像の画像に重畳して自装置に表示されている前記現実画像データに対して、追従のためのマーカーを設定することができ、
   前記現実画像データを、前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させ、
   施術者が当初は視認可能だった前記根管が術中に視認できなくなった場合であっても前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させ、
   術中又は術前に前記カメラが撮像した前記患者の現状の歯の撮像データに基づいて、所定の記憶媒体に蓄積されている過去の症例における歯の撮像データとのマッチングにより類似する２次元又は３次元の予測画像データを選択して取得し、
   前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従させている際に、前記患者の歯と前記カメラのなす角度によって定まる追従角度が許容値を超えた場合には、前記予測画像データを前記実像の画像に重畳および追従して表示させ、
   前記追従角度が前記許容値の範囲内に戻った場合には、再び前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して表示させ、
   前記携帯端末は、
   前記ＨＭＤ装置に表示される各画像と同じ画像を表示し、自端末に対する施術者の操作を受け付けて、前記各画像を拡大又は縮小して表示させる
   口腔内治療支援システム。
2. タッチパネル型ＰＣと、歯科用インスツルメントと、カメラと、ＨＭＤ装置と、携帯端末とであって、前記タッチパネル型ＰＣは前記歯科用インスツルメントに設けられたカメラと有線接続され、前記ＨＭＤ装置は前記携帯端末と有線接続され、前記タッチパネル型ＰＣは前記携帯端末と無線接続されるものを利用した口腔内治療支援方法であって、
   前記タッチパネル型ＰＣが、
   前記カメラが撮影した、前記歯科用インスツルメントを用いて治療される患者の口腔内の根管を含む２次元静止画像である現実画像データを取得するステップと、
   前記カメラが撮影した、前記患者の口腔内の根管を含む実像の画像を前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
   自動認識により又は自装置のタッチパネルに対する施術者の操作を受け付けて、前記実像の画像に重畳して自装置に表示されている前記現実画像データに対して、追従のためのマーカーを設定するステップと
   前記現実画像データを、前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
   施術者が当初は視認可能だった前記根管が術中に視認できなくなった場合であっても前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して前記携帯端末を介して前記ＨＭＤ装置に表示させるステップと、
   術中又は術前に前記カメラが撮像した前記患者の現状の歯の撮像データに基づいて、所定の記憶媒体に蓄積されている過去の症例における歯の撮像データとのマッチングにより類似する２次元又は３次元の予測画像データを選択して取得するステップと、
   前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従させている際に、前記患者の歯と前記カメラのなす角度によって定まる追従角度が許容値を超えた場合には、前記予測画像データを前記実像の画像に重畳および追従して表示させるステップと、
   前記追従角度が前記許容値の範囲内に戻った場合には、再び前記現実画像データを前記根管が視認できなくなっている状態の前記実像の画像に重畳および追従して表示させるステップとを有し、
   前記携帯端末が、
   前記ＨＭＤ装置に表示される各画像と同じ画像を表示し、自端末に対する施術者の操作を受け付けて、前記各画像を拡大又は縮小して表示させるステップを有する
   口腔内治療支援方法。