JP7188826B1 - Ａｉ画像診断装置および歯科用ｏｃｔ画像診断装置 - Google Patents

Abstract

【課題】歯科医師がＯＣＴ画像を歯科診断・治療に有効に活用できるようにする。【解決手段】ＡＩ画像診断装置１は、歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データが入力され、入力された３次元の歯牙画像データを解析する装置であって、診断対象の３次元の歯牙画像データを構成する各２次元の断層画像データを学習済みモデル１０に順次入力することで、当該学習済みモデル１０の実行処理結果として、入力した断層画像データにおける傷病等の特徴部と特定される箇所に関するデータである傷病情報データを、３次元の歯牙画像データの各断層画像データについてそれぞれ取得し、取得した傷病情報データを用いて、入力された３次元の歯牙画像データ内から傷病を検出するモデル実行部１１を備え、学習済みモデル１０は、過去に歯科用ＯＣＴ装置で撮影された複数の受診者の３次元の歯牙画像データの学習により構築されている。【選択図】図１

Description

本発明は、ＡＩ画像診断装置に係り、特に歯科用のＯＣＴ装置で撮影された画像を用いるＡＩ画像診断装置および歯科用ＯＣＴ画像診断装置に関する。

現在、歯科界では、2000年にＦＤＩ（国際歯科連盟）によって提唱されたM.I.の治療法が大きく浸透してきている。M.I.とは、ミニマルインターベンション（Minimal Intervention）の略であり、最小限の侵襲によるう蝕治療のことを意味する。歯科用ＯＣＴ（Optical Coherence Tomography）装置は、Ｘ線被曝が無く、高分解能かつ高感度で歯牙の断層画像を得ることができるため、歯科用ＯＣＴ画像診断装置は、M.I.を実践するための有効な診断装置であると考えられている。

例えば特許文献１に記載されたＯＣＴ装置は、高解像度の被写体画像の保存を前提とした計測撮影モードと、低解像度の被写体画像をリアルタイムの動画として表示装置に高速に表示するプレビュー撮影モードと、を備えている。また、特許文献２に記載されたＯＣＴ装置は、２次元走査機構によって、歯牙における光照射面において第１スキャンの方向を、水平方向（横）に走査させる横スキャンと、垂直方向（縦）に走査させる縦スキャンとを切り替えて撮影を行うことができる。

特許第５８２７０２４号公報 特許第６７１２１０６号公報

ＯＣＴ装置は、高分解能かつ高感度で歯牙の内部を画像化できる特徴がある。反面、高感度であるため、う蝕以外の歯牙内部の性状変化も画像化されてしまい、歯牙の構造及び歯科用ＯＣＴ画像の特徴を理解しないと、ＯＣＴ画像での診断が難しい。つまり、ＯＣＴ画像による診断の経験を積んだ歯科医師でなければ、ＯＣＴ画像を、歯科診断・治療に有効活用することができない。一方、症状が悪化する前にまたは予防的に早期処置治療を行うことでM.I.の治療法を実現するため、ＯＣＴ画像による診断の経験が浅い歯科医師を含めた、歯科医師が、ＯＣＴ画像を、歯科診断・治療に有効活用できるようにすることが望まれている。

本発明は、前記した事情に鑑みてなされたものであり、歯科医師がＯＣＴ画像を歯科診断・治療に有効活用できるＡＩ画像診断装置および歯科用ＯＣＴ画像診断装置を提供することを課題とする。

前記課題を解決するために、本発明に係るＡＩ画像診断装置は、歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データが入力され、入力された前記３次元の歯牙画像データを解析するＡＩ画像診断装置であって、診断対象の３次元の歯牙画像データを構成する各２次元の断層画像データを学習済みモデルに順次入力することで、当該学習済みモデルの実行処理結果として、入力した前記断層画像データにおける傷病等の特徴部と特定される箇所に関するデータである傷病情報データを、前記３次元の歯牙画像データの各断層画像データについてそれぞれ取得し、取得した前記傷病情報データを用いて、入力された前記３次元の歯牙画像データ内から傷病を検出し、前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された複数の受診者の３次元の歯牙画像データの学習により構築されていることを特徴とする。

本発明によれば、ＯＣＴ画像による診断の経験が浅い歯科医師を含めた、歯科医師が、歯科診断・治療の際、有効に歯科用ＯＣＴ画像診断装置を活用できるようになる。
また、本発明によれば、ＡＩ画像診断を使用して、衛生士が、事前に歯科用ＯＣＴ画像診断装置でスクリーニングすることで、歯科医師の診察時間を減らすことができる。

本発明の実施形態に係るＡＩ画像診断装置の機能ブロック図である。 学習に用いる教師データを生成する作業の概念図である。 学習段階において学習済みモデルを構築する作業の概念図である。 本発明の実施形態に係るＡＩ画像診断装置の画像解析処理の流れを示すフローチャートである。 学習済みモデルの構築処理の流れを示すフローチャートである。 （ａ）～（ｃ）は教師データの例をそれぞれ示している。 第１の学習済みモデルの利用段階を示す概念図であって、（ａ）は入力データ、（ｂ）は解析された画像、（ｃ）は出力データをそれぞれ示している。 第２の学習済みモデルの利用段階を示す概念図であって、入力データおよび２つの出力データをそれぞれ示している。 歯科用ＯＣＴ装置で取得された３Ｄ画像データのＡ断面の断層画像データの例をそれぞれ示している。 歯科用ＯＣＴ装置の動作の概念図であって、（ａ）は３Ｄ画像データの表示画面、（ｂ）は横スキャンの場合の臼歯の模式図、（ｃ）は縦スキャンの場合の臼歯の模式図をそれぞれ示している。 第１の学習済みモデルを備えるＡＩ画像診断装置の動作例の概念図であって、（ａ）は傷病情報データ、（ｂ）はグラフ化された類似度をそれぞれ示している。 第１の学習済みモデルを備えるＡＩ画像診断装置の動作例の概念図であって、（ａ）は傷病のエリア、（ｂ）はエリアの代表点をそれぞれ示している。 第１の学習済みモデルを備えるＡＩ画像診断装置の動作例の概念図であって、（ａ）はエリア名と歯牙の初期表示画面、（ｂ）は指定されたエリアの表示画面をそれぞれ示している。 第２の学習済みモデルを備えるＡＩ画像診断装置の動作例の概念図であって、（ａ）は入力データおよび３つの出力データ、（ｂ）は再構成された３Ｄ画像データをそれぞれ示している。 第２の学習済みモデルを備えるＡＩ画像診断装置の動作例の概念図であって、（ａ）は傷病の名称と歯牙の初期表示画面、（ｂ）は指定された傷病の再構成された３Ｄ画像が重畳された歯牙の表示画面をそれぞれ示している。 本発明の実施形態に係るＡＩ画像診断装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 本発明の実施形態に係る歯科用ＯＣＴ画像診断装置の機能ブロック図である。

本発明に係るＡＩ画像診断装置を実施するための形態について図面を参照して詳細に説明する。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするために誇張していることがある。

［ＡＩ画像診断装置の構成］
本発明の実施形態に係るＡＩ画像診断装置の構成について図１を参照して説明する。
ＡＩ画像診断装置１は、歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データが入力され、入力された３次元の歯牙画像データを解析する装置である。以下、歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データ（ボリュームデータ）を、ＯＣＴ３Ｄ画像と呼称する。ＡＩ画像診断装置１に入力するＯＣＴ３Ｄ画像は、診断画像である。

ＡＩ画像診断装置１は、モデル実行部１１を備えている。モデル実行部１１は、診断対象の３次元の歯牙画像データを構成する各２次元の断層画像データを学習済みモデル１０に順次入力することで、当該学習済みモデル１０の実行処理結果として、傷病情報データを、３次元の歯牙画像データの各断層画像データについてそれぞれ取得し、取得した傷病情報データを用いて、入力された３次元の歯牙画像データ内から傷病を検出する。傷病情報データは、入力した断層画像データにおける傷病等の特徴部と特定される箇所に関するデータである。

学習済みモデル１０は、過去に歯科用ＯＣＴ装置で撮影された複数の受診者の３次元の歯牙画像データの学習により構築されている。学習済みモデル１０は、後記するように、教師データを用いた学習段階で構築される。ＡＩ画像診断装置１は、学習済みモデル１０の利用段階において、入力されるＯＣＴ３Ｄ画像（診断画像）をもとに画像診断を行う。なお、詳細は後記するが、学習済みモデル１０が傷病情報データを出力する方法としては、数値（傷病等の位置座標）を出力してもよいし、または、画像（傷病等の可視化された位置）を出力してもよい。

モデル実行部１１は、ＯＣＴ３Ｄ画像（診断画像）の１つの断層画像データを学習済みモデル１０に入力し、解析結果として、その断層画像データの傷病情報データを取得する。モデル実行部１１は、１つの断層画像データ中に複数の傷病を検出した場合、それぞれについて、傷病情報データを取得する。モデル実行部１１は、１つの断層画像データ中に傷病を検出しなかった場合も、傷病を検出しなかったことを示す類似度０等の情報を有する傷病情報データを取得する。モデル実行部１１は、ＯＣＴ３Ｄ画像（診断画像）のすべての断層画像データを学習済みモデル１０に入力し、解析結果として、それぞれの断層画像データに対応した傷病情報データを取得する。なお、診断画像は例えば数百の断層画像データから構成されている。図１に示す解析結果１３Ａは、このすべての断層画像データについての解析結果を指している。検出結果１３Ｂは、モデル実行部１１が、解析結果１３Ａに基づき、診断画像内から検出した傷病の情報である。なお、解析結果１３Ａや検出結果１３Ｂは、学習済みモデル１０の出力内容によって異なっており、学習済みモデルの具体例を説明するときに、そのモデルに応じた解析結果１３Ａや検出結果１３Ｂを併せて説明する。

ＡＩ画像診断装置１は、ＯＣＴ３Ｄ画像（診断画像）を、液晶ディスプレイ等の表示装置１５に表示させるビューアとして機能する表示制御部１２を備えていてもよい。表示制御部１２は、ユーザが操作するマウスやキーボード等の入力装置１４から、ユーザが決定または選択した情報（以下、選択情報という）を受け付け、ＯＣＴ３Ｄ画像（診断画像）および検出結果１３Ｂに基づいて所定の画像を、液晶ディスプレイ等の表示装置１５に表示させるビューアとして機能する。なお、ユーザの操作による選択情報および表示装置１５に表示される所定の画像は、学習済みモデル１０の出力内容によって異なっており、学習済みモデル１０の具体例を説明するときに、そのモデルに応じた選択情報や画像を併せて説明する。

［学習段階］
次に、学習段階として、教師データの生成、および、モデル構築について図２および図３を参照して説明する。
図２は、学習に用いる教師データを生成する作業の概念図である。図２に示すコンピュータ２０は、ＣＰＵ（Central Processing Unit）２１と、記憶装置２２と、を備えており、ビューアとして機能する。ＣＰＵ２１は、記憶装置２２に記憶されたプログラムに基づき作動し、また、入力装置２４、および、表示装置２５を制御する。記憶装置２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等を備え、断層画像データにラベル付けするために必要なソフトウェア等の各種プログラムを記憶する。入力装置２４は、ユーザの指示を入力するものであり、マウスやキーボード等で構成されている。表示装置２５は、断層画像を表示するものであり、例えば液晶ディスプレイで構成されている。表示装置２５の画面上には、ウィンドウ、アイコン、ボタン等が表示され、操作者（歯科医師）はそれらを入力装置２４で選択する操作を行うことができる。

操作者（歯科医師）は、ビューア（コンピュータ２０）を使用して、歯科用ＯＣＴ装置で撮影された歯牙画像（ＯＣＴ３Ｄ画像）の断層画像を確認しながら、傷病の画像（傷病の特徴部）を探す。操作者（歯科医師）は、傷病の特徴部を見つけた断層画像に、傷病の特徴部を分類するためにラベル付けを行う。すなわち、例えば傷病の名称等の入力操作を行って作成したラベル、または、予め用意された複数のラベルの中から選択したラベルを断層画像データに付加することで教師データを作成し、保存する。このようなラベル付けを行う作業をアノテーションという。図２および図３に示す教師データ３０は、ラベル付けが済んだ断層画像の集合体、例えば１０００個の断層画像の集合体を模式的に示している。

教師データは、Ａ断面の断層画像データ、Ｌ断面の断層画像データ、Ｓ断面の断層画像データ、en-face画像データ、および、連続した数枚の断層画像データからなる３次元画像データのうちの少なくとも１つを含むことができる。ここで、Ａ，Ｌ，Ｓは、互いに異なる断面の方向を表している。具体的には、Ａ断面は、歯牙においてＯＣＴのレーザ光が照射される照射方向であるＡ軸方向に対して直交するＢ軸方向と前記Ａ軸方向との両方の軸方向で特定される平面に平行な断面である。Ｌ断面は、Ａ軸方向およびＢ軸方向にそれぞれ直交するＶ軸方向と前記Ａ軸方向との両方の軸方向で特定される平面に平行な断面である。Ｓ断面は、Ｂ軸方向とＶ軸方向との両方の軸方向で特定される平面に平行な断面である。en-face画像データは、ＯＣＴのレーザ光が照射された歯牙の表面の情報と、Ａ軸方向の情報とを合成した画像データである。このen-face画像データには、外表面に本来表れない内部情報も合成されている。
また教師データは、Ａ断面の断層画像データおよびＬ断面の断層画像データを少なくとも含むことが好ましい。傷病1箇所につき、断面は、Ａ断面とＬ断面とＳ断面の３画像あるので、これら３つの断層画像データにラベル付けし、３つとも教師データとすることができる。

教師データに付加するラベルには、傷病の名称を入力する。断層画像における傷病の特徴部（以下、傷病特徴部という）は、傷病の画像のことであり、例えば、初期う蝕（Ｃe）、う蝕（Ｃ1以上）、２次う蝕、根面う蝕、亀裂、破折、咬耗のうちの少なくとも１つの傷病を示す画像である。

教師データに付加するラベルには、傷病の名称の他に、歯牙の種類を入力してもよい。歯牙の種類は、例えば、臼歯、切歯、犬歯に大別することができる。また、別の観点では永久歯と乳歯に分けることもできる。これら歯牙の種類として、歯式を用いることもできる。例えばＦＤＩ方式（Two-digit system）の歯式であれば、２桁の数字を入力するだけで、それが、永久歯なのか乳歯なのか識別され、かつ、臼歯なのか切歯なのか犬歯なのかが識別可能である。歯牙は、種類によって、外観形状、内部構造が異なっているので、教師データに付加するラベルに、歯牙の種類を入力することで、よりいっそう、傷病の有無等の適切な判断をすることが可能になる。

また、教師データに付加するラベルには、画像データの種類を入力してもよい。画像データの種類としては、Ａ断面の断層画像、Ｌ断面の断層画像、Ｓ断面の断層画像、en-face画像、３Ｄ画像を挙げることができる。これらは、例えばＡ、Ｌ、Ｓ、en、３Ｄのように２文字以内で識別可能である。

さらに、教師データに付加するラベルに、傷病以外の名称を含めてもよい。この場合、操作者（歯科医師）は、断層画像中において傷病以外の特徴部（以下、非傷病特徴部という）として例えば歯垢の画像を見つけると、ラベルには、傷病以外の名称として歯垢を入力する。断層画像における非傷病特徴部は、傷病以外の画像のことであり、例えば、メタル、セラミック、レジン、歯垢（プラーク）、唾液による泡、の少なくとも１つを示す画像である。これらは傷病以外の画像であるが、教師データに付加するラベルに、傷病以外の名称を入力することで、よりいっそう、傷病の有無等の適切な判断をすることが可能になる。

図３は、学習段階において学習済みモデルを構築する作業の概念図である。図３に示すモデル構築器４０は、ＣＰＵ４１と、記憶装置４２と、を備えており、学習器として機能する。ＣＰＵ４１は、記憶装置４２に記憶されたモデル構築処理プログラム４３に基づき作動する。モデル構築処理プログラム４３は、ニューラルネットワークなどの機械学習アルゴリズムを実行するプログラムを模式的に示している。モデル構築器４０に教師データ３０を入力して訓練することで、学習済みモデル１０を構築することができる。
なお、教師データ３０を作成する際、操作者（歯科医師）は、断層画像から、特徴部（傷病等の画像）を見つけ、そこにラベル付けを行った。これに対して、学習済みモデルは、入力された断層画像から、特徴部（傷病等の画像）を見つけ、傷病情報データを出力する。

［ＡＩ画像診断装置の動作］
次に、ＡＩ画像診断装置１による画像解析処理の流れについて図４を参照（適宜図１参照）して説明する。図４は、ＡＩ画像診断装置１の画像解析処理の流れを示すフローチャートである。図４に示すように、まず、図示しない歯科用ＯＣＴ装置が、診断画像（ボリュームデータ）を取得する（ステップＳ１）。そして、ＡＩ画像診断装置１は、モデル実行部１１によって、学習済みモデル１０に診断画像の断層画像データを入力する（ステップＳ２）。なお、診断画像の断層画像データは、外部装置からその都度取得したものを入力してもよいし、ＡＩ画像診断装置１の記憶装置に格納しておいたものを入力してもよい。

そして、学習済みモデル１０は、断層画像を解析し、断層画像内で見つかった傷病について、例えば傷病の名称、中心座標、類似度等を解析結果として出力し（ステップＳ３）、モデル実行部１１は、解析結果を取得する（ステップＳ４）。そして、モデル実行部１１は、全ての断層の解析が終了したか否かを判別する（ステップＳ５）。まだ解析していない断層がある場合（ステップＳ５：Ｎｏ）、モデル実行部１１は、ステップＳ２へ戻る。一方、全ての断層の解析が終了した場合（ステップＳ５：Ｙｅｓ）、モデル実行部１１は、これまでに取得した解析結果１３Ａを基に、診断画像（ボリュームデータ）中の、傷病の検出結果１３Ｂを決定する（ステップＳ６）。そして、ＡＩ画像診断装置１は、表示制御部１２を備えている場合、入力装置１４からユーザの選択情報を受け付け、表示制御部１２によって、検出結果１３Ｂを基に、ユーザによって選択された傷病を診断画像（ボリュームデータ）から探索して、傷病のある断層画像を表示装置１５に表示する（ステップＳ７）。

［学習済みモデル構築処理］
次に、一例として、教師データの生成と、学習済みモデル構築と、を一連の作業として行う場合の処理の流れについて図５を参照（適宜図２および図３参照）して説明する。図５は、学習済みモデルの構築処理の流れを示すフローチャートである。図５に示すように、まず、ビューアとして機能するコンピュータ２０は、ＯＣＴ画像を取得する（ステップＳ１１）。このＯＣＴ画像は、教師用データを生成するために予め撮影されたＯＣＴ３Ｄ画像の断層画像の生データである。この断層画像データは、外部装置からその都度取得してもよいし、コンピュータ２０の記憶装置２２に格納しておいてもよい。そして、操作者（歯科医師）が、ビューアで、断層画像を確認しながら、傷病を探す（ステップＳ１２）。そして、操作者（歯科医師）は、傷病を見つけた断層画像について、傷病毎に分類したラベルの入力、歯牙種類（歯式）の入力を行い、ラベル付けをした断層画像データを教師データ３０として保存する（ステップＳ１３）。そして、教師データ３０をモデル構築器４０に入力してモデルを訓練する（ステップＳ１４）。モデルの構築が完了したら（ステップＳ１５：Ｙｓｅ）、そのときのモデルが学習済みモデル１０として構築されて処理を終了する。一方、モデルの構築が完了していなければ（ステップＳ１５：Ｎｏ）、ステップＳ１１に戻る。なお、ステップＳ１４の処理は、例えは１０００個のラベル付けがなされた断層画像に対する訓練が終わるまで繰り返される。

［学習済みモデルの出力方法］
以下、傷病情報データとして、数値（傷病等の位置座標）を出力する学習済みモデル１０を、第１の学習済みモデルと呼称し、画像（傷病等の可視化された位置）を出力する学習済みモデル１０を、第２の学習済みモデルと呼称し、順次説明する。

＜第１の学習済みモデル＞
第１の学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病特徴部が存在する断層画像データを第１の教師データとして用い、入力された断層画像データから、傷病特徴部を探索し、傷病情報データを出力するように機械学習を行って構築されたものである。
傷病情報データは、少なくとも、特徴部の名称、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度が最も高い点における座標を示す中心位置、および、前記中心位置を示す点に付与された類似度を含む。傷病情報データの「特徴部の名称」は、例えば初期う蝕やう蝕等であり、前記した教師データに付加するラベルに入力する名称と同様である。「類似度」は、傷病の画像と類似する度合いであって、傷病と一致する確率を示す。

学習段階において、モデル構築器４０（図３）に教師データ３０を入力し、訓練されることで第１の学習済みモデル（学習済みモデル１０）が構築される。図６（ａ）～図６（ｃ）は、学習段階で使用される教師データの例を示す。図６（ａ）に示す教師データは、断層画像に楕円形の印１０１と、印１０２とが付加されている。印１０１は、教師データの生成段階において、歯科医師が、臼歯の断層画像中に見つけた傷病を取り囲むように付加したもので、見つけた傷病に「う蝕」のラベルを入力したことを示している。印１０２は、同様に見つけた傷病に付加したもので、「初期う蝕」のラベルを入力したことを示している。図６（ｂ）に示す教師データは、傷病以外の画像の例である。印１０３は、臼歯の断層画像中に見つけた傷病以外の画像に付加したもので、「レジン」のラベルを入力したことを示している。図６（ｃ）に示す教師データの印１０４は、前歯の断層画像中に見つけた傷病に付加したもので、「根面う蝕」のラベルを入力したことを示している。

次に、利用段階における第１の学習済みモデルの入出力データについて図７を参照して説明する。図７（ａ）は、診断対象の断層画像データの一例を示している。この断層画像１１０を第１の学習済みモデルに入力して解析された画像の模式図を図７（ｂ）に示し、このとき第１の学習済みモデルから出力される傷病情報データの例を図７（ｃ）に示す。図７（ｂ）の概念図は、図７（ａ）に示す断層画像１１０の拡大図であって、傷病と推定される画像が検出されたエリア１１１，１１２と、横軸（Ｘ軸）および縦軸（Ｙ軸）と、が付加されている。縦軸および横軸の目盛りは位置座標を示す。一例として診断画像を構成する断層総数は４００としている。図７（ｃ）に示す傷病情報データは、エリア１１１の画像が、類似度７０％で初期う蝕であると判定され、初期う蝕の類似度が最も高い点の座標（３１０，１９５）が中心位置として求められていることを示す。同様に、エリア１１２の画像は類似度９０％でう蝕であると判定されていることを示す。

第１の学習済みモデルは、１つの断層画像データ内に、複数の傷病を発見した場合は、傷病それぞれについて、上記傷病情報データを出力する。
第１の学習済みモデルは、診断画像に同じ種類の傷病を発見した場合、区別が付く名称を付ける。例えばう蝕であれば、「う蝕_01」「う蝕_02」のように区別してもよい。
第１の学習済みモデルは、１枚の断層画像データ内を探索することで傷病を判定することが可能であるが、連続した前後数枚の断層画像データを用いて探索した結果から傷病を判定することもできる。
ＡＩ画像診断装置１のモデル実行部１１は、傷病情報データを第１の学習済みモデルから取得する。

上記第１の学習済みモデルは、傷病特徴部が存在する断層画像データを第1の教師データとして用いた機械学習を行って構築されたものであると説明したが、傷病特徴部が存在する断層画像データと非傷病特徴部が存在する断層画像データとを教師データとして用いてもよい。この変形例の場合、第１の学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病特徴部が存在する断層画像データと非傷病特徴部が存在する断層画像データとを第２の教師データとして用い、入力された断層画像データから、傷病特徴部および非傷病特徴部を探索し、傷病情報データを出力するように機械学習を行って構築されたものとなる。

＜第２の学習済みモデル＞
第２の学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病特徴部が存在する断層画像データを第１の教師データとして用い、入力された断層画像データから、傷病特徴部を探索し、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度を画素値に置き換えた画像データである一致度を表した画像を生成することで、当該特徴部の位置を可視化して出力するように機械学習を行って構築されたものである。傷病情報データは、少なくとも、特徴部の名称、および、一致度を表した画像を含む。一致度を表した画像とは、傷病の類似度を画素値（明るさを表す数値）に置き換えた画像データである。第２の学習済みモデルは、類似度が高いほど画素値を大きくする（明るくする）。つまり、一致度を表した画像は、傷病と推定される部分が明るく、傷病と推定されない部分は暗い画像である。

学習段階において、モデル構築器４０（図３）に教師データ３０を入力し、訓練されることで第２の学習済みモデル（学習済みモデル１０）が構築される。図６（ａ）～図６（ｃ）は、学習段階で使用される教師データの例を示す。

次に、利用段階における第２の学習済みモデルの入出力データについて図８を参照して説明する。図８に示す断層画像１２０は、診断対象の断層画像データの一例を示している。この断層画像１２０を第２の学習済みモデルに入力したときに出力される一致度を表した画像は、断層画像１２０の右側に示す２枚の画像である。図８において上に配置された出力画像は、初期う蝕１２１の一致度を表した画像であり、下に配置された出力画像は、う蝕１２２の一致度を表した画像である。

第２の学習済みモデルは、１枚の断層画像データ内を探索することで傷病を判定することが可能であるが、連続した前後数枚の断層画像データを用いて探索した結果から傷病を判定することもできる。

ＡＩ画像診断装置１のモデル実行部１１は、第２の学習済みモデルから取得した３次元の歯牙画像データの各断層画像データについての傷病情報データに基づいて、傷病情報データに含まれる特徴部の名称を選択情報として決定し、傷病情報データに含まれる一致度を表した画像を特徴部の名称毎に再構成することで当該特徴部の３次元の画像を生成し、生成した特徴部の３次元の画像を３次元の歯牙画像データ内の傷病の検出結果１３Ｂとする。

第２の学習済みモデルは、特徴部との類似度を画素値に置き換える際、類似度が予め設定された閾値より小さい画素の画素値を０に変換する処理をして一致度を表した画像を生成するようにしてもよい。この場合、ＡＩ画像診断装置１のモデル実行部１１は、一致度を表した画像として、類似度が閾値より小さい画素の画素値を０に変換する処理がなされた画像を第２の学習済みモデルから取得する。このようにすることで、傷病が発見された断層画像において当該傷病との類似度が低い箇所は全て真っ黒になった画像が一致度を表す画像として出力される。したがって、一致度を表す画像が見やすくなる。

上記第２の学習済みモデルは、傷病特徴部が存在する断層画像データを第1の教師データとして用いた機械学習を行って構築されたものであると説明したが、傷病特徴部が存在する断層画像データと非傷病特徴部が存在する断層画像データとを教師データとして用いてもよい。この変形例の場合、第２の学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病特徴部が存在する断層画像データと非傷病特徴部が存在する断層画像データとを第２の教師データとして用い、入力された断層画像データから、傷病特徴部および非傷病特徴部を探索し、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度を画素値に置き換えた画像データである一致度を表した画像を生成することで、当該特徴部の位置を可視化して出力するように機械学習を行って構築されたものとなる。

［実施例１］
次に、ＡＩ画像診断装置１が、入力するＯＣＴ３Ｄ画像（診断画像）から前記第１の学習済みモデルを用いて傷病を検出する例（実施例１）について説明する。実施例１のＡＩ画像診断装置１のモデル実行部１１は、第１の学習済みモデルから取得した３次元の歯牙画像データの各断層画像データについての傷病情報データに基づいて、断層位置と特徴部の類似度との関係を特徴部毎にグラフ化して、グラフ上で連続した断層位置において類似度が所定の閾値を超える領域を求め、各領域それぞれに選択情報として領域の名称を決定し、領域の名称が決定されたそれぞれの領域に、特徴部の名称、領域内で最も高い類似度が付与された点を有する断層位置、および、最も高い類似度が付与された点を有する断層位置における中心位置を、領域の名称と関連付けることで３次元の歯牙画像データ内の傷病の検出結果を生成する。

そして、実施例１のＡＩ画像診断装置１が表示制御部１２を備えている場合、表示制御部１２は、ユーザ操作により選択情報である領域の名称が入力されると、モデル実行部１１によって生成された傷病の検出結果１３Ｂに基づいて、入力された３次元の歯牙画像データから、当該領域の名称に対応する断層画像データを抽出し、当該断層画像を含む歯牙画像を表示装置１５に表示させる。

具体的には、実施例１のＡＩ画像診断装置１のモデル実行部１１は、歯科用ＯＣＴ装置で取得した３Ｄ画像データのＡ断面の断層画像データを、前方から後方に向かって（前後方向）順番に、第１の学習済みモデルに入力する。第１の学習済みモデルに順番に入力されるＡ断面の断層画像データの例を図９に示す。図９に示す断層画像データや、学習段階の教師データは、歯科用ＯＣＴ装置において高解像度の被写体画像の保存を前提とした計測撮影モードで撮影されたものである。なお、モデル実行部１１は、Ａ断面のすべての断層画像データを順番に第１の学習済みモデルに入力してもよいが、数枚おきに第１の学習済みモデルに入力してもよい。このようにすることで、高速に処理することができる。

歯科用ＯＣＴ装置で撮影された３Ｄ画像をディスプレイに表示した画面例を図１０（ａ）に示す。図１０（ａ）において左の画像は３Ｄ画像である。図１０（ａ）において右側に４分割して示す４つの画像は、それぞれ、Ａ断面の断層画像（左上）、Ｌ断面の断層画像（右上）、Ｓ断面の断層画像（右下）、en-face画像（左下）である。

学習段階において、教師データとする画像に、Ａ断面の断層画像およびＬ断面の断層画像を含む場合、利用段階において、ユーザは、横スキャンにより構築された断層画像と、縦スキャンにより構築された断層画像のいずれかを選択することができるので、使い勝手が良くなる。

横スキャンおよび縦スキャンについて図１０（ｂ）および図１０（ｃ）を参照して説明する。歯科用ＯＣＴ装置は、歯牙にレーザ光を照射することで多数のデータ取得ポイントを有するＡスキャンデータ１３１を１ラインずつ取得する。歯科用ＯＣＴ装置は、横スキャンによる撮影時には、図１０（ｂ）に示すように、複数のＡスキャンデータ１３１をＢ軸方向に沿って３Ｄ座標空間に書き込むことで、Ａ断面の断層画像データ１３２Ａを得て、この断層画像データ１３２ＡをＶ軸方向に積層することで３Ｄ画像データ１３０を構築する。歯科用ＯＣＴ装置は、縦スキャンによる撮影時には、図１０（ｃ）に示すように、複数のＡスキャンデータ１３１をＶ軸方向に沿って３Ｄ座標空間に書き込むことで、Ｌ断面の断層画像データ１３２Ｌを得て、この断層画像データ１３２ＬをＢ軸方向に積層することで３Ｄ画像データ１３０を構築する。例えば、根面う蝕や歯肉の診断をする場合、横スキャンよりも縦スキャンを使用する方が好適である。なお、詳細は特許文献２に記載されているので、これ以上の説明は省略する。

実施例１のＡＩ画像診断装置１のモデル実行部１１は、例えば、ユーザ操作により、横スキャンと縦スキャンのいずれかの指示を受け付け、横スキャンの指示を受け付けると第１の学習済みモデルにＡ断面の断層画像データを入力し、また、縦スキャンの指示を受け付けると第１の学習済みモデルにＬ断面の断層画像データを入力して、第１の学習済みモデルの演算処理を実行させる。または、モデル実行部１１は、例えば、入力された３次元の歯牙画像データに含まれる歯科用ＯＣＴ装置で撮影されたときのスキャン方向の情報を判定し、横スキャンの情報が含まれると判定すると第１の学習済みモデルにＡ断面の断層画像データを入力し、また、縦スキャンの情報が含まれると判定すると第１の学習済みモデルにＬ断面の断層画像データを入力して、第１の学習済みモデルの演算処理を実行させるようにしてもよい。
第１の学習済みモデルは、入力された断層画像データから傷病を見つけ、傷病情報データ（特徴部の名称、中心位置、類似度）を出力する。図１１は、一例として診断画像を構成する断層総数を４００として全ての断層画像データについて、第１の学習済みモデルで解析を行って取得した傷病情報データの例である。

図１１（ａ）は、全４００断層のうち、断層２０枚目、１００枚目、２００枚目、３００枚目に関する傷病情報データをそれぞれ示している。この例では、全断層を通じて、傷病として、初期う蝕、う蝕、亀裂が見つかっているが、例えば、２０枚目の断層画像データには、これらの傷病が発見されなかった。

実施例１のＡＩ画像診断装置１のモデル実行部１１が、これら全断層画像データについての傷病情報データに基づいて、特徴部毎に断層位置と特徴部の類似度との関係を求めたグラフの一例を図１１（ｂ）に示す。図１１（ｂ）において横軸は断層位置を示し、縦軸は類似度（％）を示す。太線は初期う蝕（Ｃｅ）、破線はう蝕（Ｃ１以上）、点線は亀裂をそれぞれ示している。破線のグラフや点線のグラフは、１つのピークを有する形状のグラフである。これに対し、太線（う蝕）のグラフは、２つのピークを有する形状のグラフとなっており、２カ所のう蝕が発見された可能性がある。

実施例１のＡＩ画像診断装置１のモデル実行部１１は、図１２（ａ）に示すように、グラフ上で連続した断層位置において類似度が所定の閾値を超える領域ａ１，ａ２，ａ３，ａ４を求め、各領域それぞれに選択情報として領域の名称を決定する。この例では、類似度の閾値を６０として、領域の境界を決定した。領域ａ１の名称は、「初期う蝕_１」、領域ａ２の名称は、「う蝕_１」、領域ａ３の名称は、「亀裂_１」、領域ａ４の名称は、「初期う蝕_２」とする。これら領域の名称は、実施例１のＡＩ画像診断装置１の表示制御部１２の処理において、選択情報として用いられる。

実施例１のＡＩ画像診断装置１のモデル実行部１１は、領域の名称が決定されたそれぞれの領域内で最も高い類似度が付与された点を有する断層位置、および、最も高い類似度が付与された点を有する断層位置における中心位置をその領域の代表点として、領域の名称（選択情報）と関連付けることで３次元の歯牙画像データ内の傷病の検出結果１３Ｂ（図１参照）を生成する。検出結果１３Ｂの一例を図１２（ｂ）に示す。図１２（ｂ）において、例えば領域の名称が「初期う蝕_１」のデータは、領域ａ１内における初期う蝕の中心位置が、断層位置１００の断層画像データの座標（１５２，１０２）に在ることを表している。

実施例１のＡＩ画像診断装置１が表示制御部１２を備えている場合、表示制御部１２（ＯＣＴ３Ｄビューア）に、ＯＣＴ３Ｄ画像データ（診断画像）、及び、図１２（ｂ）に示す検出結果１３Ｂ（傷病の領域の代表点データ）を入力する。これにより、実施例１の表示制御部１２は、診断画像を表示装置１５に表示させると共に、第１の学習済みモデルが出力する傷病情報データにおける特徴部の名称（傷病の名称）に基づいてモデル実行部１１で決定した領域の名称を選択情報として列挙して表示装置１５に表示させる。このときの領域の名称と歯牙の初期表示画面を図１３（ａ）に示す。ＯＣＴ画像を表示するビューアでは、Ａ断面の断層画像、Ｌ断面の断層画像、およびＳ断面の断層画像には、切断面を示す直交する２つの直線が表示され、３Ｄ画像にはその切断面が立体的に表示される。そして、断層画像中の切断面を示す直線の位置を変更することにより、目的とする断層の抽出を簡単に行うことができる。図１３（ａ）では、歯牙の表示画面の右側に領域の名称が４つ表示されている。

この初期画面表示を見たユーザが、マウス等の入力装置１４を用いて領域の名称（選択情報）として例えば「う蝕 １」を選択する操作（クリック）を行うと、実施例１の表示制御部１２は、検出結果１３Ｂ（傷病の領域の代表点データ）から、当該領域の名称と関連付けられた傷病（う蝕 １）の領域の断層位置と中心位置とを探索し、探索して得られた断層位置、中央位置に切断面を移動した断層画像を図１３（ｂ）のように表示する。図１３（ｂ）は、図１３（ａ）の初期画面表示から遷移した画面表示を示している。図１３（ａ）および図１３（ｂ）において符号１４１は、Ａ断面の断層画像の表示領域を指している。図１３（ｂ）のＡ断面の断層画像は、図１３（ａ）のＡ断面の断層画像（初期画像）とは異なり、う蝕が存在する断層画像である。同様に、図１３（ｂ）には、Ｌ断面の断層画像およびＳ断面の断層画像においても、う蝕が存在する断層画像が表示されている。

表示装置１５のディスプレイに表示中の画像が、どの傷病の画像であるのかをユーザに報知するようにしてもよい。図１３（ｂ）の表示画面では、ユーザが選択した領域の名称（選択情報）のボタン１４２の枠を太線で強調表示したが、選択中のボタンの色を変更してもよい。

本実施例（実施例１）では、入力するＯＣＴ３Ｄ画像が歯科用ＯＣＴ装置の計測撮影モードで取得されたものとして説明を行ったが、これ以外に、歯科用ＯＣＴ装置のプレビュー撮影モードで取得したＯＣＴ３Ｄ画像を用いることも可能である。特許文献１に記載の歯科用ＯＣＴ装置は、プレビュー撮影モードにおいて、被写体画像をリアルタイムの動画として表示装置に高速に表示する。例えば、実施例１のＡＩ画像診断装置１は、前記歯科用ＯＣＴ装置から、プレビュー撮影モードで撮影中の３Ｄ画像データ（ビデオメモリ内のデータ）を取得する。そして、実施例１のＡＩ画像診断装置１は、モデル実行部１１によって、取得した撮影中の３Ｄ画像データを構成する断層画像データを第１の学習済みモデルに順次入力することで、同様に、第1の学習済みモデルから傷病情報データを取得して傷病を検出することができる。

［実施例２］
次に、ＡＩ画像診断装置１が、入力するＯＣＴ３Ｄ画像（診断画像）から前記第２の学習済みモデルを用いて傷病を検出する例（実施例２）について説明する。実施例２のＡＩ画像診断装置１のモデル実行部１１は、歯科用ＯＣＴ装置で取得した３Ｄ画像データのＡ断面の断層画像データを、前方から後方に向かって（前後方向）順番に、第２の学習済みモデルに入力する。第２の学習済みモデルに順番に入力されるＡ断面の断層画像データの例を図９に示す。なお、実施例２のモデル実行部１１は、Ａ断面のすべての断層画像データを順番に第２の学習済みモデルに入力してもよいが、数枚おきに第２の学習済みモデルに入力してもよい。このようにすることで、高速に処理することができる。

実施例２のＡＩ画像診断装置１のモデル実行部１１も、例えば、ユーザ操作により、横スキャンと縦スキャンのいずれかの指示を受け付けることによって、第２の学習済みモデルに対して入力するデータを、Ａ断面の断層画像データとするか、Ｌ断面の断層画像データとするかを切り替えるように構成することができる。または、入力されたＯＣＴ３Ｄ画像に含まれる撮影時のスキャン方向の情報を判定することによって、第２の学習済みモデルに対して入力するデータを、Ａ断面の断層画像データとするか、Ｌ断面の断層画像データとするかを切り替えるように構成することができる。
第２の学習済みモデルは、入力された断層画像データから傷病を見つけ、傷病情報データ（特徴部の名称、および、一致度を表した画像）を出力する。

実施例２のＡＩ画像診断装置１のモデル実行部１１は、例えば診断画像を構成する断層総数を４００として全ての断層画像データについて、第２の学習済みモデルで解析を行って、それぞれの断層画像データ内で画像を構成する各点に特徴部との類似度を付与し、全断層画像データを通じて、傷病として、初期う蝕、う蝕、亀裂を発見していることとする。なお、これら発見された特徴部の名称は、実施例２のＡＩ画像診断装置１の表示制御部１２の処理において、選択情報として用いられる。

第２の学習済みモデルは、例えば図１４（ａ）に示す断層画像１５０が入力されると、特徴部毎に、一致度を表した画像を出力する。すなわち、第２の学習済みモデルは、初期う蝕１５１の一致度を表した画像と、う蝕１５２の一致度を表した画像と、亀裂の一致度を表した画像１５３の３枚の一致度を表した画像を出力する。なお、亀裂の一致度を表した画像１５３が単なる真っ黒な画像となっているのは、このとき入力された断層画像１５０には亀裂が見つからなかったためである。

第２の学習済みモデルは、全ての断層画像データについて解析を行い、傷病の名称毎（特徴部の名称毎）に、断層総数と同じ枚数の一致度を表した画像を生成する。実施例２のＡＩ画像診断装置１のモデル実行部１１は、第２の学習済みモデルから一致度を表した画像を取得し、傷病の名称毎（特徴部の名称毎）に一致度を表した画像を再構成して３次元の画像データを生成する。モデル実行部１１が、例えば、全断層画像データについてのう蝕の一致度を表した画像を再構成すると、う蝕のみのボリュームデータ１５４（図１４（ｂ）参照）を生成することができる。再構成により生成した特徴部の３次元の画像は、入力するＯＣＴ３Ｄ画像データ（診断画像）内の傷病の検出結果１３Ｂ（図１参照）の一例である。

実施例２のＡＩ画像診断装置１が表示制御部１２を備えている場合、表示制御部１２（ＯＣＴ３Ｄビューア）に、ＯＣＴ３Ｄ画像データ（診断画像）、及び、図１４（ｂ）に示すようなボリュームデータ（検出結果１３Ｂ）を入力する。これにより、実施例２の表示制御部１２は、診断画像を表示装置１５に表示させると共に、第２の学習済みモデルで検出した特徴部の名称を選択情報として列挙して表示装置１５に表示させる。このときの特徴部の名称と歯牙の初期表示画面を図１５（ａ）に示す。図１５（ａ）では、歯牙の表示画面の右側に特徴部の名称が３つ表示されている。

この初期画面表示を見たユーザが、マウス等の入力装置１４を用いて特徴部の名称（選択情報）として例えば「う蝕」を選択する操作（クリック）を行うと、実施例２の表示制御部１２は、ＯＣＴ３Ｄ画像データ（診断画像）に、当該特徴部（う蝕）の３次元の画像を図１５（ｂ）のように重畳表示させ、う蝕を可視化する。図１５（ｂ）は、図１５（ａ）の初期画面表示から遷移した画面表示を示しており、符号１６１は、Ａ断面の断層画像の表示領域を指している。図１５（ｂ）には、３Ｄ画像表示領域の歯牙に、う蝕のみのボリュームデータ１５４（図１４（ｂ）参照）が重畳されていることが分かる。このとき、実施例２の表示制御部１２は、う蝕のみのボリュームデータを、断層画像にも重畳表示する。すなわち、Ａ断面の断層画像、Ｌ断面の断層画像およびＳ断面の断層画像に、一致度を表した画像を重畳して表示する。

図１５に示す例では、１画面に１つの特徴部を表示したが、１画面に複数の特徴部を表示してもよいし、特徴部毎に色分けしてもよい。表示装置１５のディスプレイに表示中の特徴部の３次元の画像が、どの傷病の画像であるのかをユーザに報知するようにしてもよい。図１５（ｂ）の表示画面では、ユーザが選択した特徴部の名称（選択情報）のボタン１６２の枠を太線で強調表示したが、選択中のボタンの色を変更してもよい。

実施例２によれば、ＯＣＴ３Ｄ画像データに傷病特徴部の３次元の画像を重畳表示することで、傷病の位置や広がりが、視覚的、定量的（面積、体積）に把握しやすくなる。
また、学習段階において教師データに付加するラベルに、歯垢（傷病以外の物）を含めて第２の学習済みモデルを構築している場合、歯牙のＯＣＴ３Ｄ画像データに歯垢の特徴部の３次元の画像を重畳表示することができる。一般的に、歯磨き指導は、歯垢染色剤で歯垢を染色して、磨き残しを確認して行われている。染色剤は衣服に付着すると、色が落ちなくなるため、注意が必要である。これに対して、実施例２によれば、歯垢（プラーク）の付着状態を可視化し、定量的に捉えることができるため、染色剤を使うとことなく歯磨き（ブラッシング）指導に用いることができる。

［ハードウェア構成］
次に、本実施形態に係るＡＩ画像診断装置１の機能を実現するコンピュータの一例を示すハードウェア構成について図１６を参照して説明する。コンピュータ２００は、ＣＰＵ２０１と、記憶装置２０２と、入出力ＩＦ（Interface）２０３と、画像データ入力用ＩＦ２０４と、を有する。

ＣＰＵ２０１は、記憶装置２０２に記憶されたプログラムに基づき作動し、制御部（図１に示す、モデル実行部１１、表示制御部１２）による制御を行う。ＣＰＵ２０１は、入出力ＩＦ２０３を介して、マウスやキーボード等の入力装置１４、および、液晶ディスプレイ等の表示装置１５を制御する。ＣＰＵ２０１は、入出力ＩＦ２０３を介して、入力装置１４からデータを取得するともに、生成したデータを表示装置１５へ出力する。なお、プロセッサとしてＣＰＵ２０１とともに、ＧＰＵ（Graphics Processing Unit）等を用いても良い。

記憶装置２０２は、ＲＯＭ、ＲＡＭ、ＨＤＤ等を備える。記憶装置２０２は、コンピュータ２００の起動時にＣＰＵ２０１により実行されるブートプログラム、コンピュータ２００のハードウェアに係るプログラム等を記憶する。記憶装置２０２は、ＣＰＵ２０１により実行されるプログラム（学習済みモデル実行プログラム、ビューアプログラム）および当該プログラムによって使用されるデータ等を記憶する。

画像データ入力用ＩＦ２０４は、通信ＩＦやメディアＩＦ等を備える。画像データ入力用ＩＦ２０４は、例えば通信網を介して他の装置から画像データを受信してＣＰＵ２０１へ出力したり、記録媒体に格納された画像データを読み取り、記憶装置２０２を介してＣＰＵ２０１へ出力したりする。例えば、コンピュータ２００が実施形態に係るＡＩ画像診断装置１として機能する場合、ＣＰＵ２０１は、ＲＡＭ上にロードされた学習済みモデル実行プログラムおよびビューアプログラムを実行することによりＡＩ画像診断装置１の機能を実現する。

［歯科用ＯＣＴ画像診断装置］
次に、本発明の実施形態に係る歯科用ＯＣＴ画像診断装置について図１７を参照して説明する。歯科用ＯＣＴ画像診断装置２は、歯科用ＯＣＴ装置３に、ＡＩ画像診断装置１を搭載して構成されている。ＡＩ画像診断装置１については既に説明した通りなので、説明を省略する。歯科用ＯＣＴ装置３は、歯牙の画像を撮影するために必要な各種構成を備える。歯科用ＯＣＴ装置３は、例えば、ＯＣＴ光源、ＯＣＴ光源から出射されたレーザー光を分岐した測定光および参照光のそれぞれの光学系、測定光を走査（スキャン）する２次元走査機構、歯牙からの反射光と参照光とを合波した光を検出する検出器、制御部等が含まれる。このような構成は従来公知であり、例えば特許文献１や特許文献２に記載されたＯＣＴ装置を採用することもできる。歯科用ＯＣＴ画像診断装置２によれば、撮影から画像診断までを一貫して行うことができる。

以上、本発明の実施形態に係るＡＩ画像診断装置および歯科用ＯＣＴ画像診断装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。例えば、図１および図１７のＡＩ画像診断装置１は、表示制御部１２や表示装置１５を備えていることとしたが、いずれも必須構成ではない。この場合、別に設けたビューアに、ＡＩ画像診断装置に入力するＯＣＴ３Ｄ画像（診断画像）やＡＩ画像診断装置で検出する傷病の検出結果等を表示すればよい。

１ ＡＩ画像診断装置
２ 歯科用ＯＣＴ画像診断装置
３ 歯科用ＯＣＴ装置
１０ 学習済みモデル
１１ モデル実行部
１２ 表示制御部
１３Ａ 解析結果
１３Ｂ 検出結果
１４ 入力装置
１５ 表示装置
２０ コンピュータ
２１ ＣＰＵ
２２ 記憶装置
２４ 入力装置
２５ 表示装置
３０ 教師データ
４０ モデル構築器
４１ ＣＰＵ
４２ 記憶装置
４３ モデル構築処理プログラム

Claims (13)

1. 歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データが入力され、入力された前記３次元の歯牙画像データを解析するＡＩ画像診断装置であって、
   診断対象の３次元の歯牙画像データを構成する各２次元の断層画像データを学習済みモデルに順次入力することで、当該学習済みモデルの実行処理結果として、入力した前記断層画像データにおける傷病等の特徴部と特定される箇所に関するデータである傷病情報データを、前記３次元の歯牙画像データの各断層画像データについてそれぞれ取得し、取得した前記傷病情報データを用いて、入力された前記３次元の歯牙画像データ内から傷病を検出するモデル実行部を備え、
   前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された複数の受診者の３次元の歯牙画像データの学習により構築されていることを特徴とするＡＩ画像診断装置。
2. 前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病の特徴部である傷病特徴部が存在する断層画像データを教師データとして用い、入力された断層画像データから、傷病特徴部を探索し、前記傷病情報データを出力するように機械学習を行って構築されたものであり、
   前記傷病情報データは、少なくとも、特徴部の名称、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度が最も高い点における座標を示す中心位置、および、前記中心位置を示す点に付与された類似度を含み、
   前記モデル実行部は、前記学習済みモデルから取得した前記３次元の歯牙画像データの各断層画像データについての前記傷病情報データに基づいて、断層位置と前記特徴部の類似度との関係をグラフ化して、前記特徴部毎に、グラフ上で連続した断層位置において類似度が所定の閾値を超える領域を求め、各前記領域それぞれに選択情報として領域の名称を決定し、前記領域の名称が決定されたそれぞれの領域に、特徴部の名称、領域内で最も高い類似度が付与された点を有する断層位置、および、前記最も高い類似度が付与された点を有する断層位置における前記中心位置を、前記領域の名称と関連付けることで前記３次元の歯牙画像データ内の傷病の検出結果を生成する
   ことを特徴とする請求項１に記載のＡＩ画像診断装置。
3. 前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病の特徴部である傷病特徴部が存在する断層画像データと傷病以外の特徴部である非傷病特徴部が存在する断層画像データとを教師データとして用い、入力された断層画像データから、傷病特徴部および非傷病特徴部を探索し、前記傷病情報データを出力するように機械学習を行って構築されたものであり、
   前記傷病情報データは、少なくとも、特徴部の名称、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度が最も高い点の座標を示す中心位置、および、前記中心位置を示す点に付与された類似度を含み、
   前記モデル実行部は、前記学習済みモデルから取得した前記３次元の歯牙画像データの各断層画像データについての前記傷病情報データに基づいて、断層位置と前記特徴部の類似度との関係を特徴部毎にグラフ化して、グラフ上で連続した断層位置において類似度が所定の閾値を超える領域を求め、各前記領域それぞれに選択情報として領域の名称を決定し、前記領域の名称が決定されたそれぞれの領域に、特徴部の名称、領域内で最も高い類似度が付与された点を有する断層位置、および、前記最も高い類似度が付与された点を有する断層位置における前記中心位置を、前記領域の名称と関連付けることで前記３次元の歯牙画像データ内の傷病の検出結果を生成する
   ことを特徴とする請求項１に記載のＡＩ画像診断装置。
4. ユーザ操作により前記選択情報である前記領域の名称が入力されると、前記モデル実行部によって生成された前記傷病の検出結果に基づいて、前記入力された３次元の歯牙画像データから、当該領域の名称に対応する断層画像データを抽出し、当該断層画像を含む歯牙画像を表示装置に表示させる表示制御部を備える
   ことを特徴とする請求項２または請求項３に記載のＡＩ画像診断装置。
5. 前記モデル実行部が前記学習済みモデルに順次入力する２次元の断層画像データは、歯科用ＯＣＴ装置で撮影中の３次元の歯牙画像データを構成する断層画像データである
   ことを特徴とする請求項２から請求項４のいずれか一項に記載のＡＩ画像診断装置。
6. 前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病の特徴部である傷病特徴部が存在する断層画像データを教師データとして用い、入力された断層画像データから、傷病特徴部を探索し、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度を画素値に置き換えた画像データである一致度を表した画像を生成することで、当該特徴部の位置を可視化して出力するように機械学習を行って構築されたものであり、
   前記傷病情報データは、少なくとも、特徴部の名称、および、前記一致度を表した画像を含み、
   前記モデル実行部は、前記学習済みモデルから取得した前記３次元の歯牙画像データの各断層画像データについての前記傷病情報データに基づいて、前記傷病情報データに含まれる前記特徴部の名称を選択情報として決定し、前記傷病情報データに含まれる前記一致度を表した画像を前記特徴部の名称毎に再構成することで当該特徴部の３次元の画像を生成し、生成した特徴部の３次元の画像を前記３次元の歯牙画像データ内の傷病の検出結果とする
   ことを特徴とする請求項１に記載のＡＩ画像診断装置。
7. 前記学習済みモデルは、過去に歯科用ＯＣＴ装置で撮影された３次元の歯牙画像データを構成する断層画像データで、傷病の特徴部である傷病特徴部が存在する断層画像データと傷病以外の特徴部である非傷病特徴部が存在する断層画像データとを教師データとして用い、入力された断層画像データから、傷病特徴部および非傷病特徴部を探索し、当該断層画像データ内で画像を構成する各点に付与された当該特徴部との類似度を画素値に置き換えた画像データである一致度を表した画像を生成することで、当該特徴部の位置を可視化して出力するように機械学習を行って構築されたものであり、
   前記傷病情報データは、少なくとも、特徴部の名称、および、前記一致度を表した画像を含み、
   前記モデル実行部は、前記学習済みモデルから取得した前記３次元の歯牙画像データの各断層画像データについての前記傷病情報データに基づいて、前記傷病情報データに含まれる前記特徴部の名称を選択情報として決定し、前記傷病情報データに含まれる前記一致度を表した画像を前記特徴部の名称毎に再構成することで当該特徴部の３次元の画像を生成し、生成した特徴部の３次元の画像を前記３次元の歯牙画像データ内の傷病の検出結果とする
   ことを特徴とする請求項１に記載のＡＩ画像診断装置。
8. ユーザ操作により前記選択情報である特徴部の名称が入力されると、前記モデル実行部によって生成された前記傷病の検出結果に基づいて、前記入力された３次元の歯牙画像データに、当該特徴部の名称に対応して生成された前記特徴部の３次元の画像を重畳して表示装置に表示させる表示制御部を備える
   ことを特徴とする請求項６または請求項７に記載のＡＩ画像診断装置。
9. 前記学習済みモデルは、前記特徴部との類似度を画素値に置き換える際、類似度が予め設定された閾値より小さい画素の画素値を０に変換する処理をして前記一致度を表した画像を生成し、
   前記モデル実行部は、前記一致度を表した画像として、類似度が前記閾値より小さい画素の画素値を０に変換する処理がなされた画像を前記学習済みモデルから取得する
   ことを特徴とする請求項６から請求項８のいずれか一項に記載のＡＩ画像診断装置。
10. 前記教師データは、
    歯牙においてＯＣＴのレーザ光が照射される照射方向であるＡ軸方向に対して直交するＢ軸方向と前記Ａ軸方向との両方の軸方向で特定される平面に平行なＡ断面の断層画像データ、
    前記Ａ軸方向および前記Ｂ軸方向にそれぞれ直交するＶ軸方向と前記Ａ軸方向との両方の軸方向で特定される平面に平行なＬ断面の断層画像データ、
    前記Ｂ軸方向と前記Ｖ軸方向との両方の軸方向で特定される平面に平行なＳ断面の断層画像データ、
    ＯＣＴのレーザ光が照射された歯の表面の情報と、前記Ａ軸方向の情報とを合成した画像データであるen-face画像データ、および、
    連続した数枚の断層画像データからなる３次元画像データのうちの少なくとも１つを含む
    ことを特徴とする請求項２から請求項９のいずれか一項に記載のＡＩ画像診断装置。
11. 前記モデル実行部は、ユーザ操作により、横スキャンと縦スキャンのいずれかの指示を受け付け、前記横スキャンの指示を受け付けると前記学習済みモデルに前記Ａ断面の断層画像データを入力し、また、前記縦スキャンの指示を受け付けると前記学習済みモデルに前記Ｌ断面の断層画像データを入力して、前記学習済みモデルの演算処理を実行させる
    ことを特徴とする請求項１０に記載のＡＩ画像診断装置。
12. 前記モデル実行部は、入力された３次元の歯牙画像データに含まれる歯科用ＯＣＴ装置で撮影されたときのスキャン方向の情報を判定し、横スキャンの情報が含まれると判定すると前記学習済みモデルに前記Ａ断面の断層画像データを入力し、また、縦スキャンの情報が含まれると判定すると前記学習済みモデルに前記Ｌ断面の断層画像データを入力して、前記学習済みモデルの演算処理を実行させる
    ことを特徴とする請求項１０に記載のＡＩ画像診断装置。
13. 歯科用ＯＣＴ装置に、請求項１から請求項１２のいずれか一項に記載のＡＩ画像診断装置を搭載したことを特徴とする歯科用ＯＣＴ画像診断装置。

Images