本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
<実施形態1>
[スキャナシステム10の概略]
図1~図3を参照しながら、実施形態1にかかるスキャナシステム10の概略について説明する。図1は、実施形態1にかかるスキャナシステム10の全体構成を示す模式図である。図2は、実施形態1にかかるスキャナシステム10の適用例を示す模式図である。図3は、実施形態1にかかるスキャナシステム10を適用可能なシステムの全体構成を示す模式図である。
図1を参照して、実施形態1にかかるスキャナシステム10は、三次元スキャナ200と、識別装置100と、ディスプレイ300とを備える。三次元スキャナ200は、内蔵された三次元カメラによってスキャン対象の三次元データ122を取得する。具体的には、三次元スキャナ200は、口腔内をスキャンすることで、三次元データ122として、口腔内の形状を構成する複数の点のそれぞれの位置情報(縦方向,横方向,高さ方向の各軸の座標)を、光学センサなどを用いて取得する。あるいは、三次元スキャナ200は、口腔内の印象取得によって作成された模型に対してスキャンすることで、三次元データとして、スキャン対象部分を構成する複数の点のそれぞれの位置情報(たとえば、縦方向に沿ったX軸,横方向に沿ったY軸,高さ方向に沿ったZ軸の座標)を、光学センサなどを用いて取得する。識別装置100は、三次元スキャナ200によって取得された三次元データ122に基づき、任意の視点からの歯牙などの像を含む二次元画像、またはホログラムなどによる立体的な歯牙などの画像を含む三次元画像を生成し、生成した三次元画像をディスプレイ300に表示する。
実施形態1にかかるスキャナシステム10は、識別装置100が有するAI(人工知能:Artificial Intelligence)を利用して、三次元スキャナ200によって取得された三次元データ122に基づき、病変部位を自動的に識別する処理を実行するように構成されている。「病変部位を識別する」とは、三次元データ122に対応する部位が病変部位であるか否かを識別すると共に、病変部位である場合は当該病変部位の病変内容を識別することを意味する。なお、以下では、識別装置100による三次元データ122に対応する部位がどのような部位であるかを識別する処理を「識別処理」とも称する。
なお、「病変部位」は、口腔内の異常がある部位であって、たとえば、う蝕された部位、歯周病の症状が見られる部位を含む。また、「病変部位」は、実際に病気であると診断を受ける部位だけに限らず、歯石がたまっている部位のように病気を引き起こしそうな部位を含み得る。
図2を参照して、ユーザ1が三次元スキャナ200を用いて対象者2の口腔内の生体部位をスキャンすると、三次元データ122が識別装置100に入力される。識別装置100は、入力された三次元データ122およびニューラルネットワークを含む推定モデルに基づき、入力された三次元データ122に対応する部位がどのような部位であるかを識別する識別処理を実行する。実施形態1においては、識別装置100は、三次元データ122に対応する生体部位が病変部位であるか否かを識別すると共に、病変部位である場合は病変の種類(以下、「病変内容」ともいう)を識別する識別処理を実行する。
「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含む。たとえば、「推定モデル」は、入力データである病変部位の三次元データと、当該三次元データに対応する病変部位の病変内容を示す正解データとを含む教師データを利用してパラメータが最適化される。また、教師データは、病変部位ではない健康な生体部位の三次元データと、当該三次元データが病変部位ではないことを示す正解データとを含み得る。
なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
図2を参照して、スキャナシステム10を適用可能な場面について説明する。ユーザ1は、スキャナシステム10を用いることで、対象者2が有する歯牙を含む三次元形状のデータ(以下、「三次元データ」とも称する)を取得できる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム10を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム10の対象となる者であればいずれであってもよい。
識別装置100によって学習済モデルを用いて識別処理が実行されると、その識別結果が、ディスプレイ300に出力される。
ディスプレイ300は、識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか1つを表示する。
識別装置100は、三次元データ122および識別結果に基づいて、識別結果が反映された口腔内の三次元画像を生成してディスプレイ300に出力する。たとえば、識別装置100は、病変内容に応じた色で病変部位をディスプレイ300に表示することで、識別結果を三次元画像に反映する。
三次元スキャナ200は、補綴物などをデジタル設計することに利用されてきた。識別装置100は、三次元データから口腔内の病変内容を識別することで、三次元スキャナ200に対して病変内容を識別するという新たな用途を提供できる。
たとえば、口腔内の病変内容が識別され、その識別結果が出力されることで、ユーザ1は、スキャンをしながら判断した自身の診察結果と識別結果とを比較しながらカルテの入力を行うことができる。また、自身の診察結果と識別結果とが異なり、病変部位を再度確認する場合であっても、ユーザ1は、ディスプレイ300に表示された識別結果を確認することで、口腔内における病変部位のおおよその位置を把握できる。その結果、対象者2が口を開いている時間を短くでき、対象者2の負担を軽減できる。
また、スキャンした後にユーザ1が診療をする場合も、病変部位があるのか否かという診察を補助する情報を得られるため、ユーザ1の個人の能力による診察結果の差を減らすことができる。
また、ユーザ1は、識別結果の反映された三次元画像をディスプレイ300に表示させながら、対象者2に診察結果を説明できる。これにより、対象者2は、自身の歯の状態を客観的に確認できる。
図1および図3を参照して、識別装置100による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置500に出力されてもよい。
たとえば、図3に示すように、スキャナシステム10は、複数のローカルA~Cのそれぞれに配置されている。たとえば、ローカルAおよびローカルBは歯科医院であり、当該歯科医院の院内において、ユーザ1である術者や歯科助手は、スキャナシステム10を利用して対象者2である患者の歯牙および歯肉を少なくとも含む口腔内の三次元データを取得する。また、ローカルCは歯科大学であり、当該歯科大学において、ユーザ1である先生や生徒は、対象者2である被験者の口腔内の三次元データを取得する。ローカルA~Cのそれぞれで取得されたスキャン情報(三次元データ,識別結果)は、ネットワーク5を介して、ローカルDである歯科技工所および管理センターに配置されたサーバ装置500に出力される。
なお、識別装置100による識別結果と、ユーザ1による診察結果とが一致しない場合、ユーザ1は、カルテに入力するなどして、当該識別結果を修正する場合がある。このような場合に、ローカルA~Cの各々に配置されたスキャナシステム10は、修正前の識別結果と、修正後の識別結果との両方をスキャン情報に含めてサーバ装置500に出力してもよい。また、ローカルA~Cの各々に配置されたスキャナシステム10は、修正前の識別結果を含めることなく、修正後の識別結果をスキャン情報に含めてサーバ装置500に出力してもよい。
歯科技工所においては、歯科技工士などが、ローカルA~Cのそれぞれから取得したスキャン情報に基づき、対象者2の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置500が、ローカルA~Cのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。
なお、サーバ装置500は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルA~Cのうちのいずれかのローカル内にサーバ装置500が配置されてもよい。また、1つのローカル内に複数の識別装置100が配置されてもよく、さらに、当該1つのローカル内に当該複数の識別装置100と通信可能なサーバ装置500が配置されてもよい。また、サーバ装置500は、クラウドサービスの形態で実現されてもよい。
歯科技工所においては、ローカルA~Cのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク5を介して管理センターに送信されてもよいし、あるいは、CD(Compact Disc)およびUSB(Universal Serial Bus)メモリなどのリムーバブルディスク550を介して管理センターに送られてもよい。
なお、ネットワーク5を介さずに、ローカルA~Cのそれぞれからも、リムーバブルディスク550を介してスキャン情報が管理センターに送られてもよい。また、ローカルA~Cのそれぞれの間においても、ネットワーク5またはリムーバブルディスク550を介してスキャン情報を互いに送り合ってもよい。
各ローカルA~Cの識別装置100は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して病変内容を識別する。各ローカルA~Cの識別装置100は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態においては、サーバ装置500も推定モデルを保持している。サーバ装置500は、各ローカルA~Cの識別装置100および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルA~Cの識別装置100に当該学習済モデルを配布する。
また、各ローカルA~Cの識別装置100は、ユーザ1により識別結果が修正された場合、修正後の識別結果を正解データとして、各自の推定モデルについて再度学習してもよい。
なお、本実施の形態においては、各ローカルA~Cの識別装置100およびサーバ装置500のいずれも学習処理を実行する形態であるが、各ローカルA~Cの識別装置100のみが学習処理を実行する形態、あるいはサーバ装置500のみが学習処理を実行する形態であってもよい。なお、サーバ装置500のみが学習処理を実行する形態である場合、各ローカルA~Cの識別装置100が保持する推定モデル(学習済モデル)は、各ローカルA~Cの識別装置100で共通化される。
また、サーバ装置500が識別装置100における識別処理の機能を有していてもよい。たとえば、各ローカルA~Cは、取得した三次元データをサーバ装置500に送信し、サーバ装置500は、各ローカルA~Cから受信したそれぞれの三次元データに基づき、それぞれにおける病変内容の識別結果を算出してもよい。そして、サーバ装置500は、それぞれの識別結果を各ローカルA~Cに送信し、各ローカルA~Cは、サーバ装置500から受信した推定結果をディスプレイなどに出力してもよい。このように、各ローカルA~Cとサーバ装置500とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置500が推定モデル(学習済モデル)を保持してさえいれば、各ローカルA~Cは、推定モデル(学習済モデル)を保持することなく推定結果を得ることができる。
このように、本実施の形態に係るスキャナシステム10によれば、識別装置100が有するAIを利用して、三次元スキャナ200によって取得された三次元データに基づき病変内容が識別される。
なお、以下では、各ローカルA~Cに配置されたスキャナシステム10の識別装置100について説明するものの、サーバ装置500は、識別装置100が実行可能な処理を同様に実行できるものとして、サーバ装置500が実行する処理については説明を省略する。また、実施形態2および実施形態3についても同様に、サーバ装置500は、識別装置100a,識別装置100bの各々が実行可能な処理を同様に実行できるものとする。
[識別装置100のハードウェア構成]
図4を参照しながら、実施形態1にかかる識別装置100のハードウェア構成の一例を説明する。図4は、実施形態1にかかる識別装置100のハードウェア構成を示す模式図である。識別装置100は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図4に示すように、識別装置100は、主なハードウェア要素として、スキャナインターフェース102と、ディスプレイインターフェース103と、周辺機器インターフェース105と、メディア読取装置107と、PCディスプレイ108と、メモリ109と、ストレージ110と、演算装置130とを備える。
スキャナインターフェース102は、三次元スキャナ200を接続するためのインターフェースであり、識別装置100と三次元スキャナ200との間のデータの入出力を実現する。
ディスプレイインターフェース103は、ディスプレイ300を接続するためのインターフェースであり、識別装置100とディスプレイ300との間のデータの入出力を実現する。ディスプレイ300は、たとえば、LCD(Liquid Crystal Display)または有機ELD(Electroluminescence)ディスプレイなどで構成される。
周辺機器インターフェース105は、キーボード601およびマウス602などの周辺機器を接続するためのインターフェースであり、識別装置100と周辺機器との間のデータの入出力を実現する。
メディア読取装置107は、リムーバブルディスク550に格納されているスキャン情報などの各種データを読み出す。
PCディスプレイ108は、識別装置100専用のディスプレイである。PCディスプレイ108は、たとえば、LCDまたは有機ELディスプレイなどで構成される。なお、実施形態1においては、PCディスプレイ108は、ディスプレイ300と別体であるが、ディスプレイ300と共通化されてもよい。
メモリ109は、演算装置130が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ109は、たとえば、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。
ストレージ110は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ110は、たとえば、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
ストレージ110は、スキャン情報112と、病変推定モデル114(学習済モデル115)と、学習用データセット116と、色分類データ118と、識別用プログラム120と、学習用プログラム121と、OS(Operating System)127とを格納する。
スキャン情報112は、三次元スキャナ200によって取得された三次元データ122と、当該三次元データ122に基づき実行された識別処理による病変内容を示す識別結果124とを含む。識別結果124は、識別処理に用いられた三次元データ122に関連付けられてストレージ110に格納される。学習用データセット116は、病変推定モデル114の学習処理に用いられる一群の学習用データである。色分類データ118は、学習用データセット116の生成および学習処理に用いられるデータである。識別用プログラム120は、識別処理を実行するためのプログラムである。学習用プログラム121は、病変推定モデル114の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
演算装置130は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置130は、たとえば、CPU(Central Processing Unit)132、FPGA(Field-Programmable Gate Array)134、およびGPU(Graphics Processing Unit)136などで構成される。
[識別装置100による識別処理]
図5および図6を参照しながら、実施形態1にかかる識別装置100による識別処理の一例を説明する。図5は、実施形態1にかかる識別装置100の機能構成を示す模式図である。図6は、実施形態1にかかる識別装置100による識別処理を説明するための模式図である。
図5に示すように、識別装置100は、識別処理にかかる機能部として、入力部1102と、病変識別部1132と、出力部1103とを有する。これらの各機能は、識別装置100の演算装置130がOS127および識別用プログラム120を実行することで実現される。
入力部1102には、三次元スキャナ200によって取得された三次元データが入力される。病変識別部1132は、入力部1102に入力された三次元データに基づき、病変推定モデル114(学習済モデル115)を用いて、入力された三次元データに対応する部位の病変内容を識別する識別処理を実行する。病変内容を識別する識別処理は、実質的には、三次元データに対応する部位が病変部位であるか否かを識別する処理と共に、病変部位である場合は当該病変部位がどのような病変であるかを識別する処理とを含む。
病変推定モデル114は、第1ニューラルネットワーク(Neural Network:NNW)1142と、当該第1NNW1142によって用いられるパラメータ1144とを含む。パラメータ1144は、第1NNW1142による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。出力部1103は、病変識別部1132による識別結果を、ディスプレイ300に出力する。
ここで、図6に示すように、入力部1102に入力される三次元データには、口腔内の形状を構成する各点における三次元の位置情報と、口腔内の形状を構成する各点における色情報とが含まれる。実施形態1にかかる識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、口腔内の予め定められた位置を原点として、X軸、Y軸、Z軸の各軸における絶対位置の座標を含む。原点は、たとえば、測定開始時の所定の測定点を原点としてもよい。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。
う蝕が進むことで形成された孔のように、病気が進行することで形状が大きく変化しているような場合、ユーザ1は、一見して病変部位を識別できる。しかし、初期のう歯、また、わずかに欠けている部位などは、一見しては分からないこともある。また、歯周病は、歯肉の腫れや垂れ下がりなどから診断される。そのため、歯周病の診断は、ユーザ1の知見によりばらつきが生じることもある。
そこで、AIを利用することで、診断のばらつきを減らすことができるとともに、一見しては分からない病変部位についても、病変部位の特徴を見出すことができる。
また、ユーザ1は、う蝕の形状を三次元で確認できるため、口腔内を観察する場合に比べて、切削範囲の検討、治療方法の検討などを行いやすい。また、識別装置100は、病変内容と病変部位とを識別することで、う蝕の形状を推定できる。そのため、識別装置100は、う蝕の形状に基づいて切削範囲を自動で設定し、設定した切削範囲を表示した口腔内(歯牙)の三次元データ上に表してディスプレイ300に表示することができる。また、識別装置100は、病変内容と病変部位とを識別することで、治療方法を自動で提案できる。
また、識別装置100が歯石またはプラークなどを識別してディスプレイ300に表示すると、ユーザ1は、対象者2に対して対象者2の歯の状態を三次元的に分かり易く説明することができ、歯の磨き方の指導などを容易に行うことができる。
また、ユーザ1は、ディスプレイ300に表示された口腔内の三次元画像を確認することで、歯肉と歯牙との隙間の距離を三次元的に認識できるため、歯周病の進行度合いを診断しやすい。また、歯周病の進行度合いは、識別装置100によって、歯肉と歯牙との距離などに基づいて推定されてもよい。そして、識別装置100は、推定した歯周病の進行度合いをディスプレイ300に表示してもよい。
また、歯周病の初期症状として、歯肉の腫れがある。歯肉の腫れは、ユーザ1が見逃し易い症状である。そこで、識別装置100が歯肉の形状の特徴(腫れ)に基づいて歯周病の初期症状が現れている部位を識別することで、歯周病の早期発見が実現される。
図5に示すように、病変推定モデル114は、第1NNW1142を含む。第1NNW1142においては、入力部1102に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、第1NNW1142においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、第1NNW1142においては、その計算および判定の結果が識別結果として出力層から出力される。なお、第1NNW1142による計算および判定については、三次元データに基づき三次元データに対応する部位の病変内容を識別できるものであれば、いずれの手法が用いられてもよい。
病変推定モデル114の第1NNW1142においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。実施形態1においては、3次元画像に特化した識別処理を行う識別用プログラム120として、たとえば、VoxNet、3DShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、第1NNW1142の仕組みには既存のものが適用されてもよい。
このような構成において、識別装置100は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、病変内容ごとの特徴を病変推定モデル114の第1NNW1142を用いて抽出し、抽出した特徴に基づき、当該病変内容を識別できる。なお、識別装置100は、第1NNW1142を用いて病変部位の特徴に加えて、健常な生体部位の特徴を抽出し、抽出結果に基づいて病変部位であるか否かを識別してもよい。
実施形態1においては、識別装置100は、第1NNW1142を用いて病変内容ごとの特徴を抽出し、抽出した特徴から病変内容を識別するものとする。
[学習用データの生成]
図7および図8を参照しながら、学習用データの生成の一例を説明する。図7は、実施形態1にかかる学習用データの生成を説明するための模式図である。図8は、実施形態1にかかる学習用データの一例を説明するための模式図である。
図7に示すように、まず、三次元スキャナ200によって三次元データが取得される(STEP1)。三次元スキャナ200によって取得された三次元データには、当該三次元データに対応する口腔内の形状を構成する各点における三次元の位置情報と、各点における色情報(RGB値)とが含まれる。三次元スキャナ200によって取得された三次元データに基づき三次元画像が生成されると、図7(a)に示すように実際の色が付された歯牙を含む三次元画像が生成される。
次に、後述する各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、実施形態1においては、三次元データに対応する3次元画像がグレースケール化される(STEP2)。3次元画像のグレースケール化は、ユーザ1(この場合、学習用データを生成するメーカの技術者または製造工場の作業者など)によって行われる。三次元画像がグレースケール化されると、図7(b)に示すようにグレースケール化された三次元画像が生成される。また、三次元画像のグレースケール化に応じて、三次元データに対応する各点における色情報(RGB値)がグレースケールに対応する値に変更される。
次に、三次元データに対応する三次元画像に含まれる各部位に対して予め定められた色が塗布されることで各部位が病変内容に応じた色で色分けされる(STEP3)。塗布する色は、部位ごとに予め割り当てられている。割り当て内容は、色分類データ118としてストレージ110内に格納されている。また、図7に示す例では、病変のない部位に対して、いずれの病変内容に対しても割り当てられていない白色が塗布されたものとする。色分類データ118には、病変のない部位に対して割り当てられる色に関する情報が含まれていてもよい。
各部位に対する色の塗布は、ユーザ1(特に、歯科医師、歯科技工士などの歯科の知識を有する者など)によって行われる。具体的には、ユーザ1は、自身の知見に基づき三次元画像に含まれる各部位に病変があるか否か、および病変がある場合は病変内容を識別し、識別した部位に対応する色を、色分類データ118を参照しながら特定し、特定した色を当該部位の画像に塗布する。
たとえば、ユーザ1は、三次元画像に含まれる部位が健常な生体部位であると識別すると、当該部位の画像に白色を塗布する。また、三次元画像に含まれる部位が初期のう歯であると識別すると、当該部位の画像に色Aを塗布する。また、三次元画像に含まれる部位が歯周病であると識別すると、当該部位(歯肉)の画像に色Cを塗布する。三次元画像に含まれる各歯牙および歯肉に対して色が塗布されると、図7(c)および図8に示すように各部位に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では色A、Cがハッチングで表されている。
また、各部位の色分けに応じて、三次元データに対応する歯牙の各点における色情報(RGB値)が塗布された色に対応する値に変更される。これにより、三次元データに対応する各点に対して、予め定められた色情報(RGB値)が関連付けられる。
各部位に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態1にかかる学習用データにおいては、識別処理で参照される位置情報に対して、当該位置情報がいずれの部位に対応する位置情報であるかを示す色情報が関連付けられる(ラベリングされる)。このような学習用データを複数生成し、生成した複数の学習用データの集まりが学習用データセット116として、識別装置100に保持される。
なお、実施形態1においては、ユーザ1が自身の知見に基づき手作業で三次元画像に含まれる各部位に色を塗布しているが、対象者2のカルテなどを確認しながらユーザ1が手作業で三次元画像に含まれる各部位に色を塗布してもよい。また、一部の作業をソフトウェアで補うことも可能である。
また、実施形態1においては、ノイズ除去処理としてグレースケール化が行われたが、ノイズ除去処理は、行われなくともよく、また、グレースケール化とは別の処理によって実現されてもよい。
なお、正解データである識別情報として色情報を各位置情報に対応付けたが、識別情報は、色情報に限られない。たとえば、色を塗布することで正解データを入力した上で、入力された正解データを色情報とは異なる別の識別情報に変換することで学習用データを作成してもよい。この場合、RGB値よりもデータ量の低い情報を正解データとすることが好ましい。これにより、色を塗布するという直感的に分かりやすい作業でユーザ1に正解データを対応付けさせることができるとともに、学習用データのデータ量を減らすことができる。
なお、図7および図8に示した正解データの生成方法は、一例である。たとえば、病変部位であると識別した部位だけに、病変内容に応じた色を塗布し、色が塗布されていない部位の三次元データは、正解データとして利用しないようにしてもよい。
また、図8の色分類データ118に示した病変内容の分類は、一例である。たとえば、歯牙について、異常なし、初期のう歯、治療が必要なう歯の3つに分類する例を示したが、当該分類に対する、臨床現場で用いられる進行度を示すC0~C4という5段階の指標で分類してもよい。同様に、歯肉について、異常なし、歯周病ありの2つに分類する例を示したが、歯周病をさらに進行度を示す複数の段階に分類してもよい。具体的には、歯肉炎、軽度歯周炎、中度歯周炎、重度歯周炎に分類してもよい。
[識別装置100の学習処理]
図9を参照しながら、識別装置100が実行する学習処理について説明する。図9は、実施形態1にかかる識別装置100が実行する病変用の学習処理の一例を説明するためのフローチャートである。図9に示す各ステップは、識別装置100の演算装置130がOS127および学習用プログラム121を実行することで実現される。
図9に示すように、識別装置100は、学習用データセット116の中から、学習に用いる学習用データを選択する(S1)。なお、識別装置100は、学習用データセット116の中から、一の学習用データを選択しても、複数の学習用データを選択してもよい。また、識別装置100は、学習用データを自動で選択するものに限らず、ユーザ1が選択した学習用データを学習処理に用いてもよい。
識別装置100は、選択した学習用データに含まれる三次元データの位置情報を病変推定モデル114に入力する(S2)。このとき、識別装置100は、三次元データにラベリングされた正解データは入力しない。識別装置100は、病変推定モデル114を用いて三次元データの特徴を抽出し、三次元データに対応する部位の病変内容を識別する識別処理を実行する(S3)。
識別装置100は、識別処理による識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、病変推定モデル114のパラメータ1144を更新する(S4)。
たとえば、識別装置100は、入力された位置情報に基づき識別した結果、当該入力された位置情報が示す部位に対応する色情報を推定する。識別装置100は、学習用データに含まれる当該入力された位置情報が示す部位に対応する色情報(正解データ)と、自身が推定した色情報とを比較し、一致すれば病変推定モデル114のパラメータ1144を維持する一方で、不正解であれば両者が一致するように病変推定モデル114のパラメータ1144を更新する。
次に、識別装置100は、全ての学習用データに基づき学習したか否かを判定する(S5)。識別装置100は、全ての学習用データに基づき学習していない場合(S5でNO)、S1の処理に戻る。
一方、識別装置100は、全ての学習用データに基づき学習した場合(S5でYES)、学習済みの病変推定モデル114を学習済モデル115として記憶し(S6)、本処理を終了する。
このように、識別装置100は、学習用データに含まれる三次元データに関連付けられた色情報を正解データとして、当該三次元データを用いた識別処理による識別結果に基づき、病変推定モデル114を学習することで、学習済モデル115を生成する。
[識別装置100のサービス提供処理]
図10を参照しながら、識別装置100が実行するサービス提供処理について説明する。図10は、実施形態1にかかる識別装置100が実行するサービス提供処理の一例を説明するためのフローチャートである。図10に示す各ステップは、識別装置100の演算装置130がOS127および識別用プログラム120を実行することで実現される。サービス提供処理が実行されることで、三次元スキャナ200によって取得された三次元データに対する識別結果の関連付けがされる。
図10に示すように、識別装置100は、所定の点に対応する三次元データが入力されたか否かを判定する(S11)。たとえば、識別装置100は、ストレージ110に識別結果と関連付けられてない三次元データが格納されている場合に、所定の点に対応する三次元データが入力されたと判定する。
識別装置100は、三次元スキャナ200から三次元データが送られるとストレージ110に当該三次元データを格納していく。サービス提供処理は、任意の呼出サイクルで実行され、ストレージ110に格納されたすべての三次元データに対して識別結果の関連付けがされるまで繰り返し実行される。ストレージ110に格納されたすべての三次元データに対して識別結果の関連付けがされると、識別装置100は、所定の点に対応する三次元データが入力されていないと判断して(S11でNO)、サービス提供処理を終了する。
一方、識別装置100は、所定の点に対応する三次元データが入力された場合(S11でYES)、三次元データ(位置情報)を学習済モデル115に入力し、当該学習済モデル115を用いて病変内容を識別する識別処理を実行する(S12)。
識別装置100は、識別処理によって得られた識別結果を、S11で入力された三次元データに関連付ける(S13)。具体的には、識別装置100は、三次元データに含まれる位置情報に対して、識別結果を示す色情報(色A,B,C・・・、または白色を示す色情報)を関連付ける。これにより、入力された三次元データに対応する点に対して、当該点に対応する部位の状態(病変部位があるか否か、病変内容)を示す識別結果が関連付けられる。
識別装置100は、関連付けの結果を外部(たとえば、ディスプレイ300)に出力する(S14)。具体的には、入力された三次元データに対応する点に対する関連付けの結果がディスプレイ300に表示される。その後、識別装置100は、本処理を終了する。
[測定中にディスプレイ300に出力される表示の一例]
図11および図12を参照して、測定中にディスプレイ300に出力される表示の一例を説明する。図11は、測定中の出力例を示す図である。図12は、測定中の出力例の変形例を示す図である。
識別装置100は、サービス提供処理を実行して、所定の点に対応する三次元データが入力されたタイミングで、識別結果に基づく当該三次元データに対する関連付けを行う。ユーザ1は、三次元スキャナ200を口腔内で徐々に動かしながら、順々にスキャンしていく。そのため、識別装置100は、三次元スキャナ200が動かされて新たな三次元データを取得すると、取得した各三次元データに対応する複数の点のそれぞれに識別結果を関連付ける。識別結果が関連付けた三次元データは、関連付けられた識別結果を示す態様でディスプレイ300に出力される。
たとえば、図11(a)に示すように、病変のない歯牙をスキャンすると、スキャンして得られた各三次元データに対応する複数の点のそれぞれが、白色で表示される。なお、図11(a)において、便宜上、白色で出力された点を、三角形で表している。
その後、新たに初期のう歯がスキャンされると、図11(b)に示すように、スキャンして得られた各三次元データに対応する複数の点のうち、初期のう歯に対応する三次元データは、色Aの点(図中の黒丸の点)で表示される一方、健常な生体部位に対応する三次元データは、白色の点(図中の三角形の点)で表される。なお、図11には示していないものの、治療が必要なう歯、歯周病といった、他の病変内容の病変部位に対応する三次元データは、各々の病変内容に応じた色の点で表示される。
なお、識別装置100は、三次元データに対応する複数の点を、それぞれ、点でディスプレイ300に表示するものとしたが、得られた三次元データをポリゴンメッシュを用いてディスプレイ300に表示してもよい。ポリゴンメッシュとは、たとえば、三角形および四角形など、ポリゴンを画面上に配置することでオブジェクトを表示する手法である。
具体的には、図12に示すように、識別装置100は、入力された三次元データに対応する複数の点を、ポリゴンに置き換えることで、当該複数の点に識別結果を関連付けた結果をディスプレイ300に表示してもよい。
このように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ300に表示されるため、ユーザ1は、入力されたタイミングで入力された三次元データに対応する部位の病変内容を確認できる。また、識別装置100は、病変部位と、病変部位ではない生体部位とを別々の表示態様でディスプレイ300に表示するため、病変部分と、健常な部分との境目を分かり易くユーザ1に示すことができる。
なお、三次元スキャナ200による口腔内のスキャンが開始した当初においては、得られた三次元データの数が少ないため、識別装置100は、三次元データに基づいて識別結果を出すことができない。そのため、識別装置100は、関連付けができていないこと、すなわち識別結果が出せていないことを示す態様で三次元データに対応する画像(点またはポリゴン)をディスプレイ300に表示してもよい。そして、三次元スキャナ200による口腔内のスキャンが進み、得られた三次元データの数が増えたタイミングで、再度、サービス提供処理を実行して、識別結果を出すことを試みるようにしてもよい。この場合、識別装置100は、識別結果が出せた場合には、既に表示していた三次元データに対応する画像の表示態様を識別結果に応じた態様に切り替える。
以上のように、実施形態1にかかる識別装置100は、AIを利用することで、人の目では識別し難い病変の特徴を見いだし、人による診断のばらつきを減らすことができる。
<実施形態2>
図13~図20を参照して、実施形態2にかかる識別装置100aについて説明する。実施形態1において、ユーザ1は、識別結果を参照することでカルテを生成するものとした。実施形態2にかかる識別装置100aは、識別結果に従い、さらにカルテを自動的に生成してもよい。
識別装置100aは、識別装置100と比較して、病変内容を識別することに加えて、歯牙の種類の識別を行う。これにより、識別装置100aは、病変部位に対応する歯牙の種類を推定する。このように、識別装置100aは、病変部位に対応する歯牙の種類を推定することで、対象者2のカルテを生成できる。
なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、上顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯といったような各歯牙の種類を意味する。
[測定中に機能する構成]
図13は、実施形態2にかかるスキャナシステム10aの測定中に機能する機能構成を示す模式図である。図13を参照して、スキャナシステム10aは、識別装置100に替えて識別装置100aを備える点で実施形態1にかかるスキャナシステム10と異なる。また、識別装置100aは、歯牙種識別部1134をさらに備え、さらに、三次元データに加えてプロファイルデータ119が識別処理に利用される点で、実施形態1にかかる識別装置100と異なる。
プロファイルデータ119は、対象者2の年齢、性別、人種、身長、体重、および居住地といったプロファイルを示す情報である。なお、プロファイルデータ119は、必ずしも必要な情報ではなく、歯牙の種類を識別する際の精度を上げるために利用される情報である。また、プロファイルデータ119は、初診の際に対象者2から得られる情報であって、カルテの情報に含まれる。
歯牙種識別部1134は、入力部1102に入力された三次元データと、プロファイルデータ119とに基づき、歯牙種推定モデル114a(学習済モデル115a)を用いて、歯牙の種類を識別する。歯牙種推定モデル114aは、第2NNW1142aと、当該第2NNW1142aによって用いられるパラメータ1144aとを含む。なお、第2NNW1142aおよびパラメータ1144aは、上記実施形態1において説明した第1NNW1142およびパラメータ1144と共通するため、説明を省略する。
歯牙に病変がある場合に、歯牙に孔が空くほどう蝕が進んだ病変部位は、う蝕が進む前の歯牙とは形状の特徴などが異なる。そのため、病変部位をスキャンして得られた三次元データに基づいて歯牙種識別部1134が歯牙の種類を識別する識別処理をした場合、歯牙の種類を識別できないことがある。本実施の形態において、識別装置100aは、歯牙種識別部1134によって歯牙の種類が識別できなかった場合に、入力部1102に入力された三次元データに対応する部位が病変部位であるとして、病変識別部1132が病変内容を識別する識別処理を実行する。
出力部1103は、歯牙種識別部1134および病変識別部1132の各々による識別結果をディスプレイ300に出力する。
また、識別装置100aが備えるストレージ110には、三次元データ122と、三次元データ122に対応する部位の歯牙の種類を示す識別結果124aと、三次元データ122に対応する病変内容を示す識別結果124とが格納される。
[測定後に機能する構成]
図14および図15を参照して、カルテの生成にかかる機能について説明する。図14は、実施形態2にかかる識別装置100aの測定後にカルテを生成する際に機能する機能構成を示す模式図である。図15は、病変部位の歯牙の種類を推定する方法を説明するための模式図である。
図14を参照して、測定後にカルテを生成する際の機能として、識別装置100aは、歯牙種推定部1152およびカルテ生成部1156を備える。
歯牙種推定部1152は、病変部位に対応する歯牙の種類を推定する。「病変部位に対応する歯牙」とは、歯牙そのものに病変がある場合は当該歯牙のことを意味し、歯肉に病変がある場合は当該歯肉に設けられた(歯肉に隣接した)歯牙のことを意味する。歯牙種推定部1152は、歯牙に病変がある場合には、病変がある歯牙あるいは隣接する歯牙の種類から、当該病変がある歯牙の種類を推定する。また、歯牙種推定部1152は、歯肉に病変がある場合には、当該歯肉に隣接する歯牙(歯肉に設けられた歯牙)を病変部位に対応する歯牙とする。
カルテ生成部1156は、歯牙種推定部1152が推定した病変部位に対応する歯牙の種類と、識別結果124が示す病変内容とに基づいて、カルテ150を生成する。
カルテ150には、プロファイルデータ119から特定される対象者2の基本情報を示すプロファイル表示領域152と、病変部位に対応する歯牙の種類が示される歯牙種表示領域154と、表示されている歯牙の病変内容が示されるコメント表示領域156と、歯式が示される歯式表示領域158とを含む。なお、カルテ生成部1156は、歯式表示領域158に、歯式に変えて、または歯式とともに、三次元データに基づいて任意の視点からみた加工部位を含めた歯牙の像を含む二次元画像を表示してもよい。
図15を参照して、病変部位に対応する歯牙の種類を推定する方法を具体的に説明する。なお、図15に示す例では、病変が歯牙にあるものとして説明する。まず、三次元スキャナ200によって三次元データが取得される(STEP1)。次に、識別装置100aは、歯牙種識別部1134による識別処理によって歯牙の種類を識別する(STEP2)。たとえば、図15のSTEP2に示す例では、識別装置100aは、下顎右側および上顎右側に位置する各歯牙の種類を識別している。具体的には、識別装置100aは、識別処理によって、下顎右側については第二大臼歯、第一大臼歯、第二小臼歯、および第一小臼歯を、上顎右側については第二大臼歯、第二小臼歯、および第一小臼歯を、それぞれ特定する。
ここで、口腔内に孔が空く程う蝕の進んだ歯牙がある場合、識別装置100aの病変識別部1132は識別処理によって、う蝕の進んだ歯牙(病変部位に対応する歯牙)の種類を識別することができないことがある。しかし、歯牙種識別部1134は、病変部位に対応する歯牙に隣り合う隣接歯牙および、病変部位に対応する歯牙に対向する対向歯牙については、識別処理によってその種類を推定できる。歯牙種推定部1152は、隣接歯牙および対向歯牙の種類に基づいて、病変部位に対応する歯牙の種類を推定する(STEP3)。
たとえば、図15のSTEP3に示す例では、歯牙種識別部1134は、上顎右側において第二大臼歯と第二小臼歯との間の病変部位に対応する歯牙の種類について識別できない。しかし、歯牙種識別部1134は、上顎右側において第二大臼歯および第二小臼歯を少なくとも識別している。そのため、歯牙種推定部1152は、それらの間の歯牙が上顎右側の第一大臼歯であると推定できる。あるいは、歯牙種識別部1134は、病変部位に対応する歯牙に対向する下顎右側の第一大臼歯を少なくとも識別している。そのため、歯牙種推定部1152は、下顎右側の第一大臼歯に対向する歯牙が上顎右側の第一大臼歯であると推定できる。
なお、上述したように、歯肉に病変がある場合には、歯牙種推定部1152は、歯肉に隣接した歯牙の種類を、病変部位に対応する歯牙の種類として推定する。
[歯牙種推定モデル114a(学習済モデル115a)の生成]
図16~図18を参照して、学習済モデル115aを生成するための学習処理について説明する。図16は、実施形態2にかかる学習用データセット116aの一例を説明するための模式図である。図17は、実施形態2にかかる学習用データセット116aに基づく学習済モデル115aの生成を説明するための模式図である。図18は、実施形態2にかかる識別装置100aが実行する歯牙種用の学習処理の一例を説明するためのフローチャートである。なお、病変推定モデル114の学習済モデル115を生成するための学習処理は、実施形態1において説明した学習済モデル115を生成するための学習処理(図9参照)と共通するため、説明を省略する。
歯牙の種類を識別するために学習用データを生成する際に、ユーザ1(特に、歯科医師、歯科技工士などの歯科の知識を有する者など)は、三次元画像を確認しながら歯牙の種類を識別し、識別した歯牙の種類に応じた色を三次元画像に塗布することで、位置情報と識別情報とを対応付ける。なお、塗布する色は、歯牙の種類ごとに予め割り当てられている。割り当て内容は、色分類データ118aとしてストレージ110内に格納されている。
たとえば、ユーザ1は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。三次元画像に含まれる各歯牙に対して予め定められた色が塗布されると、図16に示すように各歯牙に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では各色がハッチングで表されている。
各歯牙に対して予め定められた色情報(識別情報)が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報(識別情報)とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態2にかかる歯牙種推定モデル114aの学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる(ラベリングされる)。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット116aとして、識別装置100aに保持される。
なお、実施形態2においては、ユーザ1が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出できる。
図17に示すように、学習用データセット116aは、当該学習用データセット116aを生成する際にスキャン対象となった対象者2のプロファイルに基づきカテゴリごとに分類できる。たとえば、年齢(未成年者,現役世代,高齢者)、性別(男性,女性)、人種(アジア人,欧米人,アフリカ系)、身長(150cm未満,150以上)、体重(50kg未満,50kg以上)、および居住地(日本在住,日本以外に在住)のそれぞれに対して、該当する対象者2の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと(この場合は3歳ごと)、具体的には、0歳~3歳、4歳~6歳、7歳~9歳、…といったように、より詳細に層別できる。
識別装置100aは、カテゴリごとに分類できる複数の学習用データセット116aを用いて歯牙種推定モデル114aを学習させることで、学習済モデル115aを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて歯牙種推定モデル114aを学習させればよい。
一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、実施形態2のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別できる学習済モデルを生成できる。
図18に示すように、識別装置100aは、学習済モデル115aを生成するために歯牙種用の学習処理を実行する。歯牙種用の学習処理は、利用する推定モデルが歯牙種推定モデル114aである点、および、歯牙種推定モデル114aに入力する情報が三次元データの位置情報に加えて、学習用データを生成する際にスキャン対象となった対象者2のプロファイルデータを入力する(S2a)点で、実施形態1にかかる識別装置100が実行する病変用の学習処理(図9参照)と異なる。
具体的に、識別装置100aは、学習用データセット116aの中から、学習に用いる学習用データを選択する(S1a)。識別装置100aは、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者2のプロファイルデータを歯牙種推定モデル114aに入力する(S2a)。識別装置100は、三次元データに対応する歯牙の特徴に基づき、歯牙種推定モデル114aを用いて当該歯牙の種類を識別する識別処理を実行する(S3a)。識別処理において、識別装置100は、三次元データに加えてプロファイルデータに基づき、歯牙種推定モデル114aを用いて当該歯牙の種類を識別する。
識別装置100aは、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、歯牙種推定モデル114aのパラメータ1144aを更新する(S4a)。
次に、識別装置100aは、全ての学習用データに基づき学習したか否かを判定する(S5a)。識別装置100aは、全ての学習用データに基づき学習していない場合(S5aでNO)、S1aの処理に戻る。
一方、識別装置100aは、全ての学習用データに基づき学習した場合(S5aでYES)、学習済みの歯牙種推定モデル114aを学習済モデル115aとして記憶し(S6a)、本処理を終了する。
このように、識別装置100aは、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する識別情報(たとえば、色情報)を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、歯牙種推定モデル114aを学習することで、学習済モデル115aを生成できる。
さらに、識別装置100aは、学習処理において、学習用データに加えてプロファイルデータを考慮して歯牙種推定モデル114aを学習するため、対象者2のプロファイルを考慮した学習済モデル115aを生成できる。
なお、正解データである識別情報として色情報を各位置情報に対応付けたが、識別情報は、歯牙の名称または歯牙の番号など、色情報とは異なる情報であってもよい。
[サービス提供処理]
図19は、実施形態2にかかる識別装置100aが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態2にかかる識別装置100aが実行するサービス提供処理は、S12に代わりS121~S126が実行される点で、図10に示した実施形態1にかかる識別装置100が実行するサービス提供処理と異なる。以下、識別装置100が実行するサービス提供処理と異なる点を中心に説明する。
識別装置100aは、所定の点に対応する三次元データが入力された場合(S11でYES)、プロファイルデータがあるか否かを判定する(S121)。識別装置100aは、プロファイルデータがない場合(S121でNO)、三次元データ(位置情報)を学習済みの歯牙種推定モデル114a(学習済モデル115a)に入力する(S123)。一方、識別装置100aは、プロファイルデータがある場合(S121でYES)、三次元データ(位置情報)およびプロファイルデータを学習済みの歯牙種推定モデル114a(学習済モデル115a)に入力する(S122)。
S122およびS123のあと、識別装置100aは、三次元データに対応する歯牙の特徴に基づき、学習済の歯牙種推定モデル114a(学習済モデル115a)を用いて当該歯牙の種類を識別する識別処理を実行する(S124)。このとき、S122でプロファイルデータが学習済モデル115aに入力されていた場合、識別装置100aは、三次元データに加えてプロファイルデータに基づき、学習済モデル115aを用いて当該歯牙の種類を識別する。
識別装置100aは、歯牙の種類を識別できたか否かを判定する(S125)。識別できたか否かは、たとえば、パラメータ1144aに含まれる判定値と計算結果との比較に基づいて判断される。
識別装置100aは、歯牙の種類を識別できた場合(S125においてYES)、S13以降の処理を実行する。一方、識別装置100aは、歯牙の種類を識別できなかった場合(S125においてNO)、S126の処理を実行してからS13以降の処理を実行する。
歯牙の種類を識別できなかった場合(S125においてNO)、識別装置100aは、三次元データを学習済の病変推定モデル114(学習済モデル115)に入力し、当該学習済モデル115を用いて病変内容を識別する識別処理を実行する(S126)。
S125およびS126のあと、識別装置100aは、識別結果を、S11で入力された三次元データに関連付ける(S13)。たとえば、識別装置100aは、歯牙の種類が識別できた場合、三次元データに含まれる位置情報に対して、識別結果124a(歯牙の種類を示す識別結果)を示す色情報(赤色、緑色などを示す色情報)を関連付ける。一方、歯牙の種類を識別できず、病変内容を識別できた場合、識別装置100aは、三次元データに含まれる位置情報に対して、識別結果124(病変内容を示す識別結果)を示す色情報(色A,色Bなどを示す色情報)を関連付ける。
識別装置100aは、関連付けの結果を外部(たとえば、ディスプレイ300)に出力する(S14)。具体的には、入力された三次元データに対応する点に対して、当該点に対応する部位に対する関連付けの結果がディスプレイ300に表示される。その後、識別装置100aは、本処理を終了する。たとえば、図11および図12に示した測定中の出力例のように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ300に表示される。
以上のように、実施形態2において、識別装置100aは、歯牙種識別部1134が歯牙の種類を識別できなかった場合に、病変識別部1132による病変内容を識別する処理を実行し、歯牙種識別部1134が歯牙の種類を識別できた場合には、病変識別部1132による病変内容を識別する処理を実行しない。
図19に示したサービス提供処理において、識別装置100aは、歯牙の種類を識別できなかった場合に、S126において、病変部位ではないと識別した場合には、S13において、識別できなかったことを示す情報を三次元データに対応付けるようにしてもよい。
[カルテ生成処理]
図20は、実施形態2にかかる識別装置100aが実行するカルテ生成処理の一例を説明するためのフローチャートである。カルテ生成処理は、三次元スキャナ200による三次元データの取得が完了した後であって、当該三次元データに対する識別処理(サービス提供処理)が完了したときに行われる。
カルテ生成処理において、識別装置100aは、病変部位に対応する歯牙種を推定し、推定した歯牙種に対応付けて病変内容をカルテとして出力する。
図20を参照して、識別装置100aは、歯牙種の推定がされていない病変部位があるか否かを判定する(S21)。歯牙種の推定がされていない病変部位がないと判定した場合(S21においてNO)、すなわち、すべての病変部位に対して、当該病変部位に対応する歯牙種の推定がされたと判定した場合、識別装置100aは、S25の処理を実行して、カルテ生成処理を終了する。
歯牙種の推定がされていない病変部位があると判定した場合(S21においてYES)、識別装置100aは、病変部位の三次元データに基づき、当該病変部位に隣接する歯牙の種類を識別結果124a(歯牙の種類を示す識別結果)から取得する(S22)。
識別装置100aは、取得した歯牙の種類から、病変部位に対応する歯牙の種類を推定する(S23)。このとき、上述したように、識別装置100aは、病変部位が歯肉であるか、歯牙であるかに応じて、病変部位に対応する歯牙の種類を推定する方法を異ならせる。識別装置100aは、当該病変部位の病変内容を識別結果124(病変内容を示す識別結果)から取得し、取得した病変内容と推定した歯牙の種類とを対応付けてカルテに反映する(S24)。識別装置100aは、カルテに反映したのち、S21の処理を実行し、すべての病変部位に対して歯牙の種類を推定するまでS22~S24を繰り返したのち、カルテを出力する(S25)。たとえば、識別装置100aは、図14に示したカルテ150をディスプレイ300に表示したり、あるいは、カルテ150を印刷したりする。
以上のように、実施形態2においては、病変内容が識別され、さらに病変部位に対応する歯牙の種類が推定される。そして、識別された病変内容と、推定された歯牙の種類とが対応付けて出力されることで、カルテが自動的に生成される。
<実施形態3>
図21~図26を参照して、実施形態3にかかる識別装置100bについて説明する。識別装置100bは、歯牙種の識別および病変部位の識別に加えて、加工部位の識別を行う。なお、「加工部位を識別する」とは、三次元データ122に対応する部位が加工部位であるか否かを識別すると共に、加工部位である場合に当該加工部位の種類を識別することを意味する。
なお、「加工部位」は、口腔内の生体部位に対して治療を施すために加工された部位を意味する。また、「口腔内の生体部位」には、歯牙だけに限られず、歯肉部分を含み得る。加工部位には、歯牙に対して補綴物または人工歯を取り付けた部位に限られず、顎骨に対してインプラント体を取り付けた部位を含み得る。また、加工部位には、インプラント体、または補綴物といった人工的に生成した物が取り付けられた部位に限らず、支台歯や窩洞形成歯のように天然歯を削った部位を含み得る。
[測定中に機能する構成]
図21は、実施形態3にかかるスキャナシステム10bの測定中に機能する機能構成を示す模式図である。図21を参照して、スキャナシステム10bは、識別装置100aに替えて識別装置100bを備える点で実施形態2にかかるスキャナシステム10aと異なる。また、識別装置100bは、加工種識別部1136をさらに備える点で、実施形態2にかかる識別装置100aと異なる。加工種識別部1136は、入力部1102に入力された、三次元データに基づき、加工種推定モデル114b(学習済モデル115b)を用いて、加工部位の種類を識別する。
加工種推定モデル114bは、第3NNW1142bと、当該第3NNW1142bによって用いられるパラメータ1144bとを含む。加工種推定モデル114bは、入力データである加工部位の三次元データと、当該三次元データに対応する加工部位の種類を示す正解データとを含む教師データを利用してパラメータが最適化される。
ここで、表1に、加工部位の種類を示す。表1に示すように、加工部位の種類は、大分類として、たとえば、「インプラント」、「窩洞形成歯」、「支台歯」、および「補綴物」などを含む。「インプラント」は、歯根部分に相当する「インプラント体」および支台部分に相当する「アバットメント」などに分類され得る。また、「インプラント体」および「アバットメント」は、どのような補綴物が取り付けられるかによって、分類され得る。「支台歯」および「窩洞形成歯」は、さらに、どのような補綴物が取り付けられるかによって、分類され得る。「補綴物」は、さらに、インレー、アンレー、クラウン、ブリッジ、ベニア、デンチャーなどに分類され得る。
すなわち、「加工部位」は、任意に細分化することができ、「支台歯」、「窩洞形成歯」、「補綴物」、および「インプラント」というように分類してもよく、また、「支台歯」、「窩洞形成歯」、「補綴物」、および「インプラント」の各々をさらに細分化して分類してもよい。すなわち、加工部位の分類方法は、任意に設計可能である。
加工部位の分類方法は、任意に設計可能である。そのため、教師データに含まれる加工部位の種類を示す情報は、特定の分類方法によって分類された種類に加えて、さらに別の分類方法によって分類された場合の種類を含んでいてもよい。たとえば、加工部位の種類を示す情報は、「支台歯」と、「インレー適用の支台歯」とを含んでいてもよい。
また、加工部位は、治療中の加工部位と、治療が完了している加工部位とに大別することもできる。そこで、正解データは、加工部位の種類を示す情報に加えて、「治療中」であるのか「治療済み」であるのかを特定可能な情報を含んでいてもよい。
また、加工部位の種類によって、歯牙に施されている治療内容が異なる。そこで、正解データは、加工部位の種類を示す情報に加えて、「治療内容」を示す情報を含んでいても良い。
また、教師データは、加工部位ではない生体部位(たとえば、天然歯、歯肉)の三次元データと、当該三次元データが加工部位ではないことを示す正解データとを含み得る。
出力部1103は、病変識別部1132、歯牙種識別部1134、および加工種識別部1136の各々による識別結果をディスプレイ300に出力する。
また、識別装置100bが備えるストレージ110には、三次元データ122と、三次元データ122に対応する部位の歯牙の種類を示す識別結果124aと、三次元データ122に対応する部位の病変内容を示す識別結果124と、三次元データ122に対応する加工部位の種類を示す識別結果124bとが格納される。
[測定後に機能する構成]
図22を参照して、カルテの生成にかかる機能について説明する。図22は、測定後にカルテを生成する際に機能する識別装置100bの機能構成を示す模式図である。
図22を参照して、測定後にカルテを生成する際の機能として、識別装置100bは、治療推定部1154をさらに備える点で実施形態2にかかる識別装置100aと異なる。
なお、歯牙種推定部1152は、病変部位に対応する歯牙の種類に加えて、加工部位に対応する歯牙の種類を推定する。歯牙種推定部1152は、病変部位または加工部位に対応する歯牙あるいは隣接する歯牙の種類から、当該病変部位または当該加工部位に対応する歯牙の種類を推定する。「加工部位に対応する歯牙」とは、補綴物が取り付けられた歯牙に限らず、天然歯の代わりに人工歯が取り付けられている場合には元の天然歯の歯牙を意味する。また、「加工部位に対応する歯牙」とは、インプラントが取り付けられている場合には当該インプラントを取り付ける前に存在していた歯牙を意味する。
治療推定部1154は、加工部位の種類を示す識別結果124bに基づいて、当該加工部位に施された治療内容を推定する。
加工種識別部1136は、三次元データに対応する部位の加工部位の種類を識別する。生体部位に対する加工は、治療のために行われる。そのため、加工部位の種類と、治療内容とは対応関係にある。加工部位の種類と治療内容との関係を表2に示す。
表2を参照して、「加工部位」は、治療途中の加工部位と、治療済の加工部位とに分類できる。たとえば、「インプラント」、「窩洞形成歯」および「支台歯」は、治療中の加工部位であり、「補綴物」は、治療済の加工部位である。加工部位の種類と治療内容の種類とは互いに対応しているため、治療推定部1154は、加工部位の種類を示す識別結果124bに基づいて対象者2に対して行われた治療内容を推定できる。また、加工部位は、治療途中の加工部位と治療済の加工部位とに分類される。そのため、治療推定部1154は、加工部位の種類を示す識別結果124bに基づいて治療の途中であるのか、あるいは治療が完了しているのかを推定できる。
治療推定部1154は、表2に示すようなテーブルを参照して治療内容を推定してもよく、また、加工部位の種類を示す識別結果124bを入力値としてディープラーニングを行うことで識別結果124bに対応する治療内容を推定してもよい。治療内容の推定をディープラーニングで行う場合、治療推定部1154は、加工部位の種類に対して正解データとして治療内容を対応付けた教師データを利用してパラメータを最適化させたニューラルネットワークを利用して治療内容を推定する。
カルテ生成部1156は、歯牙種推定部1152が推定した病変部位に対応する歯牙の種類および識別結果124が示す病変内容、ならびに歯牙種推定部1152が推定した加工部位に対応する歯牙の種類および治療推定部1154が推定した当該加工部位に施された治療内容に基づいて、カルテ150を生成する。
カルテ150には、プロファイルデータ119から特定される対象者2のプロファイルを示すプロファイル表示領域152と、加工部位または病変部位に対応する歯牙の種類が示される歯牙種表示領域154と、表示されている歯牙の病変内容または表示されている歯牙に施された治療内容が示されるコメント表示領域156と、歯式が示される歯式表示領域158とを含む。
なお、加工部位に対応する歯牙の種類を推定する方法は、上記実施形態2において説明した病変部位に対応する歯牙の種類を推定する方法と共通するため、説明を省略する。
[加工種推定モデル114b(学習済モデル115b)の生成]
図23および図24を参照して、学習済モデル115bを生成するための学習処理について説明する。図23は、実施形態3にかかる学習用データセット116bに基づく学習済モデル115bの生成を説明するための模式図である。図24は、実施形態3にかかる識別装置100bが実行する加工種用の学習処理の一例を説明するためのフローチャートである。なお、歯牙種推定モデル114aの学習済モデル115a、および病変推定モデル114の学習済モデル115を生成するための学習処理は、上記実施形態において説明した学習処理と共通するための、説明を省略する。
図23を参照して、加工部位の種類を識別するために学習用データを生成する際に、ユーザ1(特に、歯科医師、歯科技工士などの歯科の知識を有する者など)は、三次元画像を確認しながら、加工部位であるか否か、および加工部位である場合は加工部位の種類を識別し、識別した加工部位の種類に応じた色を三次元画像に塗布することで、位置情報と識別情報とを対応付ける。なお、塗布する色は、加工部位の種類ごとに予め割り当てられている。割り当て内容は、色分類データ118bとしてストレージ110内に格納されている。
たとえば、ユーザ1は、三次元画像に含まれる部位が加工の施されていない生体部位であると識別すると、当該部位の画像に白色を塗布する。また、ユーザ1は、三次元画像に含まれる部位がインプラントであると識別すると、当該部位の画像に色aを塗布する。また、ユーザ1は、三次元画像に含まれる部位が補綴物であると識別すると、当該部位の画像に色bを塗布する。三次元画像に含まれる各歯牙および歯肉に対して色が塗布されると、図23に示すように各部位に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では色a、bがハッチングで表されている。
位置情報に、正解データとして加工部位の種類を示す色情報(識別情報)が対応付けられると、三次元データには、位置情報と、塗布された色に対応する色情報(識別情報)とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態3にかかる加工種推定モデル114bの学習用データにおいては、識別処理で参照される位置情報に対して、加工部位の種類に対応する色情報が関連付けられる(ラベリングされる)。さらに、三次元データに対応する加工部位の範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、同じ種類の加工部位に対応する位置情報には、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット116bとして、識別装置100bに保持される。
なお、実施形態3においては、ユーザ1が自身の知見に基づき手作業で三次元画像に含まれる各部位に色を塗布しているが、対象者2の治療歴などを確認しながらユーザ1が手作業で三次元画像に含まれる各部位に色を塗布してもよい。また、一部の作業をソフトウェアで補うことも可能である。たとえば、治療歴に基づいて塗布する色が自動で選択されるような構成であってもよい。
識別装置100bは、このようにして生成された1または複数の学習用データセット116bを用いて加工種推定モデル114bを学習させることで、学習済モデル115bを生成する。
図24に示すように、識別装置100bは、学習済モデル115bを生成するために加工種用の学習処理を実行する。加工種用の学習処理は、利用する推定モデルが加工種推定モデル114bである点で実施形態1にかかる識別装置100が実行する病変用の学習処理(図9参照)と異なる。
具体的には、識別装置100bは、学習用データセット116bの中から、学習に用いる学習用データを選択する(S1b)。識別装置100bは、選択した学習用データに含まれる三次元データの位置情報を加工種推定モデル114bに入力する(S2b)。識別装置100bは、加工種推定モデル114bを用いて三次元データの特徴を抽出し、三次元データに対応する部位の加工部位の種類を識別する識別処理を実行する(S3b)。
識別装置100bは、識別処理による識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、加工種推定モデル114bのパラメータ1144bを更新する(S4b)。
次に、識別装置100bは、全ての学習用データに基づき学習したか否かを判定する(S5b)。識別装置100bは、全ての学習用データに基づき学習していない場合(S5bでNO)、S1bの処理に戻る。
一方、識別装置100bは、全ての学習用データに基づき学習した場合(S5bでYES)、学習済みの加工種推定モデル114bを学習済モデル115bとして記憶し(S6b)、本処理を終了する。
[サービス提供処理]
図25は、実施形態3にかかる識別装置100bが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態3にかかる識別装置100bが実行するサービス提供処理は、S127がさらに実行される点で、図19に示した実施形態2にかかる識別装置100aが実行するサービス提供処理と異なる。以下、実施形態2にかかる識別装置100aが実行するサービス提供処理と異なる点を中心に説明する。
識別装置100bは、歯牙の種類を識別できなかった場合(S125においてNO)、三次元データを学習済の病変推定モデル114(学習済モデル115)に入力し、当該学習済モデル115を用いて病変内容を識別する識別処理を実行する(S126)。
また、識別装置100bは、三次元データを学習済の加工種推定モデル114b(学習済モデル115b)に入力し、当該学習済モデル115bを用いて加工部位の種類を識別する識別処理を実行する(S127)。
S125およびS127のあと、識別装置100bは、識別結果を、S11で入力された三次元データに関連付ける(S13)。たとえば、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、S126において病変内容を識別できなかった一方、S127において加工部位の種類を識別できた場合、識別装置100bは、三次元データに含まれる位置情報に対して、識別結果124bを示す色情報(色a、色bなどを示す色情報)を関連付ける。また、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、S126において病変内容を識別でき、S127において加工部位の種類を識別できなかった場合、識別装置100bは、三次元データに含まれる位置情報に対して、識別結果124を示す色情報(色A、色Bなどを示す色情報)を関連付ける。また、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、S126において病変内容を識別でき、かつ、S127において加工部位の種類を識別できた場合、識別装置100bは、三次元データに含まれる位置情報に対して、識別結果124を示す色情報(色A、色Bなどを示す色情報)および識別結果124bを示す色情報(色a、色bなどを示す色情報)を関連付ける。
そして、識別装置100bは、関連付けの結果を外部(たとえば、ディスプレイ300)に出力する(S14)。具体的には、入力された三次元データに対応する点に対して、当該点に対応する部位に対する関連付けの結果がディスプレイ300に表示される。その後、識別装置100bは、本処理を終了する。たとえば、図11および図12に示した測定中の出力例のように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ300に表示される。なお、三次元データに含まれる位置情報に対して、2つの識別結果(たとえば、病変内容を示す識別結果124と、加工部位の種類を示す識別結果124b)が関連付けられた場合には、2色で交互に点滅するような態様でディスプレイ300に表示されてもよい。
以上のように、実施形態3において、識別装置100bは、三次元データに対応する部位の歯牙の種類を識別したのち、歯牙の種類を識別できなかった場合には、当該部位に施された病変内容を識別する識別処理と当該部位の治療内容を識別する識別処理とを実行する。
[カルテ生成処理]
図26は、実施形態3にかかる識別装置100bが実行するカルテ生成処理の一例を説明するためのフローチャートである。実施形態3にかかる識別装置100bが実行するカルテ生成処理は、S241~S245がさらに実行される点で、図20に示した実施形態2にかかる識別装置100aが実行するカルテ生成処理と異なる。以下、実施形態2にかかる識別装置100aが実行するカルテ生成処理と異なる点を中心に説明する。
識別装置100bは、すべての病変部位に対して歯牙の種類を推定するまでS22~S24を繰り返し、すべての病変部位に対して歯牙の種類を推定したと判定すると(S21においてNO)、S241以降の処理を実行する。
識別装置100bは、歯牙種および治療内容の推定がされていない加工部位があるか否かを判定する(S241)。歯牙種および治療内容の推定がされていない加工部位がないと判定した場合(S241においてNO)、すなわち、すべての加工部位に対して、当該加工部位に対応する歯牙種の推定と、治療内容の推定とがされたと判定した場合、識別装置100bは、S25の処理を実行して、カルテ生成処理を終了する。
歯牙種および治療内容の推定がされていない加工部位があると判定した場合(S241においてYES)、識別装置100bは、加工部位の三次元データに基づき、当該加工部位に隣接する歯牙の種類を識別結果124a(歯牙の種類を示す識別結果)から取得する(S242)。
識別装置100bは、取得した歯牙の種類から、加工部位に対応する歯牙の種類を推定する(S243)。識別装置100bは、当該加工部位の種類を示す識別結果124bに基づいて、当該加工部位に施された治療内容を推定する(S244)。識別装置100aは、推定した治療内容と推定した歯牙の種類とを対応付けてカルテに反映する(S245)。識別装置100bは、カルテに反映したのち、S241の処理を実行し、すべての病変部位に対して歯牙の種類および治療内容を推定するまでS242~S245を繰り返したのち、カルテを出力する(S25)。たとえば、識別装置100aは、図22に示したカルテ150をディスプレイ300に表示したり、あるいは、カルテ150を印刷したりする。
上記カルテ生成処理において、識別装置100bは、病変部位および加工部位ごとに歯牙の種類を推定した。なお、識別装置100bは、三次元データ122ごとに歯牙の種類を推定してもよい。実施形態3において、一の三次元データに対して、当該三次元データに対応する部位が病変部位であり、かつ加工部位であると識別されることもある。そのような場合に、病変部位および加工部位ごとに歯牙の種類を推定すると、処理が重複してしまうことになる。そこで、識別装置100bは、歯牙の種類を識別できなかった三次元データ122について、隣接する歯牙の種類を識別できた三次元データ122に基づいて、歯牙の種類を推定してもよい。
なお、実施形態3において、治療推定部1154は、測定後に機能するとした。なお、治療推定部1154が実行する処理は、図25に示したサービス提供処理に組み込まれていてもよい。たとえば、識別装置100bは、S127を実行した後に、得られた識別結果に基づいて治療内容を推定する処理を実行してもよい。
以上のように、実施形態3にかかる識別装置100bは、病変部位に加えて加工部位の識別も行う。そのため、識別装置100bは、より正確な識別処理を実行できるとともに、ユーザ1に多くの情報を提供できる。
たとえば、インプラント体や歯牙に形成された窩洞部のように、治療途中の状態であれば、ユーザ1は、一見して、加工部位を識別できる。しかし、歯科の分野では、審美性の確保という観点から、天然歯と遜色のない審美性の優れた加工部品の開発が進んでいる。そのため、治療完了後の状態で加工部位をユーザ1の目で識別することが徐々に難しくなっている。
人工物と天然物とでは、人の目で識別しにくいものの、表面の凹凸、全体的な形状に僅かな差異が生まれる場合がある。また、歯に補綴物を被せている場合には、補綴物が被さっていない場合と比べて、歯肉と補綴物との境目の形状に差異が生まれる場合がある。
実施形態3において、AIを利用することで、人の目で識別し難い加工物の特徴を見出すことができる。そして、ユーザ1の知見という、人によってばらつきのある情報に頼ることなく、精度良く加工部位を識別できる。また、加工部位の種類が識別されることにより、ユーザ1のカルテ入力を補助することができ、初診時の診察を容易にできる。
また、補綴物は、被せる範囲、被せ方などによって、複数に分類される。窩洞部や支台歯に被せる補綴物の種類は、窩洞部および支台歯の形状などによって異なり、行う治療内容が異なることがある。また、被せられた補綴物の種類によって、治療経過も変わる。しかし、補綴物の種類を識別するためには、ユーザ1の高い知見が必要である。また、ユーザ1は、狭い口腔内を観察して識別する必要があり、対象者2への負担も大きくなる。
取り付けられた補綴物の種類、および窩洞部または支台歯に取り付ける補綴物の種類など、加工部位の種類をより細かく識別できると、より細やかな診察を実現できる。
[変形例]
<識別処理の変形例>
実施形態1にかかる識別装置100は、三次元データに対応する部位の病変内容を識別した。なお、識別装置100は、実施形態2および実施形態3のように、歯牙の種類を識別する識別処理を実行して、歯牙の種類に基づいて病変部位に対応する歯牙の種類を推定してもよい。
実施形態2にかかる識別装置100aは、歯牙の種類を識別する識別処理を実行して、歯牙の種類を識別できなかった場合に、三次元データに対応する部位を病変部位であると識別して、病変内容を識別する識別処理を実行した。
なお、識別装置100aは、病変内容を識別する識別処理を実行したのち、病変部位ではないと識別した場合に歯牙の種類を識別する識別処理を実行してもよい。
また、識別装置100aは、得られた各三次元データに対して、歯牙の種類を識別する識別処理および病変内容を識別する識別処理の両方の処理を実行して、2つの識別結果を得るようにしてもよい。この場合に、歯牙種推定部1152は、歯牙種を識別できなかった部位に対応する歯牙の種類を隣接する歯牙の種類に基づいて推定するようにしてもよい。識別結果を得るための各処理を実行する順番は、予め定められていればよく、歯牙種に関する識別結果124aからでも、病変内容を示す識別結果124からでもどちらでもよい。また、識別結果を得るための各処理をタスク制御で実行してもよい。
実施形態3にかかる識別装置100bは、歯牙の種類を識別する識別処理を実行して、歯牙の種類を識別できなかった場合に、病変内容を識別する識別処理および加工部位の種類を識別する識別処理を実行した。なお、識別装置100bは、歯牙の種類を識別する識別処理、病変内容を識別する識別処理および加工部位の種類を識別する識別処理のそれぞれを実行して、3つの識別結果を得てもよい。
また、識別装置100bは、病変内容を識別できず、かつ、加工部位の種類を識別することができなかった場合に、歯牙の種類を識別する識別処理を実行してもよい。
一の三次元データに対して複数の識別結果を得る場合に、識別結果を得るための各処理を実行する順番は、予め定められていればよく、どのような順番で実行されてもよいし、タスク制御で実行してもよい。
また、実施形態2において、識別装置100aは、2つの推定モデル(歯牙種推定モデル114a、病変推定モデル114)を用いて歯牙の種類および病変内容を識別した。なお、識別装置100aは、1つの推定モデルを用いて、歯牙の種類および病変内容を識別する構成であってもよい。同様に、実施形態3にかかる識別装置100bは、3つの推定モデルを用いて、3種類の事項を識別したが、1つまたは2つの推定モデルを用いて3種類の事項を識別してもよい。また、実施形態3にかかる識別装置100bは、加工種推定モデル114bで加工部位の種類を識別したのち、加工部位の種類に基づいて治療内容を推定した。なお、識別装置100bは、1つの推定モデルを用いて、加工部位の種類および治療内容を推定してもよい。
また、実施形態3において、識別装置100bは、加工部位と加工部位に施された治療内容を識別するとした。なお、これらに加えて、加工部位に用いられた部品の材質、または、インプラントメーカーの品番を識別するための構成を備えていてもよい。
<学習用データセットの変形例>
上記実施形態1~実施形態3のいずれにおいても、三次元データに含まれる位置情報に基づいて識別処理が行われた。なお、位置情報に加えてさらに色情報を用いて識別処理が行われてもよい。図27は、変形例にかかる学習用データセットの一例を説明するための模式図である。位置情報に加えて色情報を学習済モデルに入力して識別結果を得る場合、図27に示すように、学習用データにも色情報を含めて学習処理が実行される。学習処理においては、推定モデルに対して位置情報に加えて色分け前の色情報が入力されることで、各部位の実際の色も考慮された上で学習済モデルが生成される。
歯周病の初期症状として、歯肉の腫れや、歯肉の色の変化がある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できるため、より正確に歯周病の識別を行うことができる。また、う蝕の初期症状として、歯牙できる白い斑点(ホワイトスポット)がある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できることで、より精度良くう蝕を識別できる。
また、補綴物は、通常、審美性および機能性の観点から、天然歯と遜色のない形状で歯牙に取り付けられる。そのため、形状の特徴が現れる位置情報だけでは、入力された三次元データに対応する部位が補綴物に対応する部位であるか否かを十分に識別することが難しい場合もある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できることで、より精度良く加工部位を識別できる。
上記実施形態1~実施形態3のいずれにおいても、対象者2の口腔内をスキャンすることで学習用データセットを生成した。なお、病変部位を識別するために利用される学習用データセットは、病変部位だけを切り取ったものであってもよい。
図28は、変形例にかかる学習用データセットを説明するための図である。たとえば、学習用データセットは、病変部位だけをスキャンして得られる三次元データを用いて生成されてもよい。たとえば、学習用データセットは、初期のう歯だけをスキャンして得られる三次元データを集め、集めた三次元データから生成されてもよい。また、学習用データセットは、歯周病と診断される歯肉だけをスキャンして得られる三次元データを集め、集めた三次元データから生成されてもよい。識別装置は、病変ごとに生成した各学習用データセットを推定モデルに入力することで学習済モデルを生成してもよい。
<カルテ生成部の変形例>
上記実施形態2および実施形態3において、カルテ生成部1156は、歯牙種推定部1152が推定した歯牙種と、病変内容を示す識別結果124または治療推定部1154が識別結果124bに基づいて推定した治療内容とに基づいてカルテ150を生成した。なお、カルテ生成部1156は、カルテ150という最終成果物を生成する必要はなく、たとえば、ユーザ1によるカルテの入力をアシストする機能を提供するものであってもよい。具体的には、加工部位または病変部位であると識別した部位を示す情報(たとえば、歯牙種)を出力し、ユーザ1にカルテ150の入力を促すようにしてもよい。
<サービス提供処理の変形例>
実施形態1~実施形態3にかかる識別装置は、図10,図19,図25に示すように、サービス提供処理において学習処理を実行するものではない。しかし、図29に示すように、識別装置は、サービス提供処理において学習処理を実行するものであってもよい。識別装置は、所謂、協調学習(Federated Learning)を行うものであってもよい。
図29は、変形例に係る識別装置100cが実行するサービス提供処理の一例を説明するためのフローチャートである。図29に示すS11~S14の処理は、図10に示すS11~S14の処理と同じであるため、図29においては、S11~S14の処理についての詳細な説明を省略する。なお、以下では、実施形態1にかかる識別装置100がサービス提供処理において学習処理を実行するものとして説明する。
図29に示すように、識別装置100cは、S11~S14の処理によって、入力された三次元データに対応する点に対して、当該点に対応する部位の状態(病変部位があるか否か、病変内容)を示す識別結果に基づく当該点に対する関連付けの結果を出力した後、サービス提供時学習処理を実行する。具体的には、識別装置100cは、S14の後、誤り訂正のための正解データが入力されたか否かを判定する(S15)。たとえば、識別装置100cは、S12によって得られた識別結果(病変部位があるか否か、病変内容)が、実際にスキャン対象であった部位からユーザ1が判断する判断結果と異なる場合において、実際にスキャン対象であった部位に対するユーザ1の判断結果である正解データをユーザ1が入力することで誤りを訂正したか否かを判定する。
識別装置100cは、誤り訂正のための正解データが入力されなかった場合(S15でNO)、本処理を終了する。一方、識別装置100cは、誤り訂正のための正解データが入力された場合(S15でYES)、識別結果と正解データとに基づき報酬を付与する(S16)。
たとえば、識別結果と正解データとの解離度が小さければ小さいほど、付与する報酬として値の小さいマイナスポイントを与え、両者の解離度が大きければ大きいほど、付与する報酬として値の大きいマイナスポイントを与えればよい。なお、報酬はマイナスポイントに限らず、プラスポイントであってもよい。
報酬を与える方法は、任意に設計可能である。一例として、識別装置100cは、識別結果と正解データとで炎症の度合い(う蝕の進行度合い、または歯肉炎の進行度合い)が小さければ解離度が小さく、値の小さいマイナスポイントを与えてもよい。一方、識別装置100cは、識別結果と正解データとで炎症の度合い(う蝕の進行度合い、または歯肉炎の進行度合い)が大きければ解離度が大きく、値の大きなマイナスポイントを与えてもよい。
識別装置100cは、付与した報酬に基づき、学習済モデル115のパラメータ1144を更新する(S17)。たとえば、識別装置100cは、報酬として付与したマイナスポイントが0に近づくように学習済モデル115のパラメータ1144を更新する。その後、識別装置100cは、本処理を終了する。
なお、病変内容だけを識別するサービス提供処理中に実行される学習処理について説明したが、識別装置は、実施形態2および実施形態3に示した複数の事項(病変内容と歯牙の種類、病変内容と歯牙の種類と加工部位の種類)を識別するサービス提供処理中であっても学習処理を実行可能である。
たとえば、病変内容と歯牙の種類とを識別するサービス提供処理において、歯牙の種類が識別された識別結果に対して別の歯牙の種類の正解データが入力された場合、識別装置は、歯牙の種類を示す識別結果124aと正解データとに基づいて歯牙種推定モデル114aのパラメータ1144aを更新する。この場合、一例として、識別装置は、識別結果124aとして出力した歯牙と、正解データとして入力された歯牙とが隣接していれば、値の小さいマイナスポイントを与え、両者が離れていれば、値の大きいマイナスポイントを与える。
他の例として、病変内容と歯牙の種類と加工部位の種類とを識別するサービス提供処理において、識別された加工内容に対して別の加工内容の正解データが入力された場合、識別装置は、加工内容を示す識別結果124bと正解データとに基づいて加工種推定モデル114bのパラメータ1144bを更新する。この場合、一例として、識別装置は、識別結果と正解データとで大分類(表1参照)が共通していれば値の小さいマイナスポイントを与え、小分類および大分類の両方が異なれば値の大きいマイナスポイントを与える。また、識別装置は、識別結果と正解データとの組み合わせとして考えられる複数種類の組み合わせの各々に対して予め設定された報酬の大きさに基づいて、報酬を与えてもよい。また、識別装置は、このようなルールに従った報酬の付与方法と、複数種類の組み合わせの各々に対して予め報酬を設定しておく付与方法とを組み合わせた方法で、報酬を与えても良い。
また、複数の推定モデルを備える識別装置は、識別結果と正解データとの組み合わせに応じて再学習させる推定モデルを選択してもよい。たとえば、識別結果と正解データとがいずれも病変内容に関する事項であれば、識別装置は、病変推定モデル114のパラメータ1144を更新する処理を実行する。識別結果と正解データとがいずれも歯牙種に関する事項であれば、識別装置は、歯牙種推定モデル114aのパラメータ1144aを更新する処理を実行する。識別結果と正解データとがいずれも加工内容に関する事項であれば、識別装置は、加工種推定モデル114bのパラメータ1144bを更新する処理を実行する。また、識別装置は、病変推定モデル114のパラメータ1144と、歯牙種推定モデル114aのパラメータ1144aと、加工種推定モデル114bのパラメータ1144bとの中から複数のパラメータを更新してもよい。
このように、変形例に係る識別装置は、サービス提供処理においても学習処理を実行するため、ユーザ1が使用すればするほど識別処理の精度が向上し、より精度良く加工部位の種類、歯牙の種類、または病変内容を識別することができる。このような処理は、所謂、協調学習の一種である。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。