JP7586826B2 - 自動歯カルテ作成システムを訓練するための方法および装置 - Google Patents

Description

本発明は、歯カルテ作成の技術分野に関し、より詳細には、自動歯カルテ作成システムを訓練するための方法および装置、例えば、ニューラルネットワークに基づく歯カルテ作成システムなどの、人工知能に基づく自動歯カルテ作成システムを訓練するための方法および装置に関する。

歯科カルテは、歯および支持構造の系統的診断、追跡、治療において歯科医を支援する。歯科医による画像の格納および表示のための電子機器の一般的な使用により、必要に応じて表示および更新できるデジタル歯科カルテが広く使用されている。

米国特許第８，４１６，９８４号に記載されている方法など、患者から取得したいくつかのタイプのデジタル画像のいずれかの分析から取得された情報を使用して、患者の電子歯科カルテを自動生成する方法が存在する。この方法は、取得した画像データに従って、撮像された各歯の位置を、歯の状態（例えば、修復および治療）を特徴付ける記号で表す患者用のテンプレート歯科カルテを生成することを可能にする。

図１ａは、患者の歯科カルテ１００の描写であり、各歯は、記号１０５などの記号によって表されている。歯科カルテ１００は、画像の分析を使用して、患者の歯の画像から生成され得る。歯科カルテ１００は、歯の数、相対的な歯の大きさ、検出された歯の輪郭および角度、ならびに全体的な歯の状態、歯の色、歯または歯の特定の表面の修復およびその他の治療のような、患者に特有の特徴を示し得る。

図示のように、異なるタイプの画像が歯の描写に関連付けられ得る。取得される画像は、可視光画像（ＶＬ）、紫外線画像（ＵＶ）、赤外光画像（ＩＲ）、蛍光画像（Ｆ）、ＯＣＴ（光コヒーレンストモグラフィー）画像、Ｘ線画像（Ｘ）、ＣＢＣＴ（歯科用コーンビームコンピュータ断層撮影）処理でボリューム画像を形成するために使用される画像投影、輪郭画像、３Ｄメッシュ画像、および超音波画像を含む１つ以上の画像タイプまたはモダリティの画像であり得る。

画像が取得され、対応する歯に関連付けられているかどうかを示し、以前の修復および治療に関する情報または周囲の歯茎または周囲の骨に関する情報など、対応する歯に関する特定の情報を与えるために、歯の記号を適切に強調表示または他の方法でマークすることができる。

画像はいつでも、通常は患者が歯科医との予約をするたびに、歯科カルテに追加することができる。同様に、歯の情報はいつでも更新することができる。

図１ｂに示すように、歯科医はポインティングデバイスを使用して、歯に関連する画像または情報項目にアクセスしたり、新しい画像を歯にリンクしたり、歯に関する新しい情報項目を入力したりできる。例えば、歯科医は、マウスで制御されるポインタ１１０を使用してウィンドウ１１５を開き、テキストフィールド１２０で参照される歯２に関連する注記を編集または修正することができる。

米国特許第８，４１６，９８４号明細書

そのような歯科カルテは非常に効率的であることが証明されているが、それらを改善し、それらの関連性を改善し、それらが構築される方法を改善するための継続的な必要性がある。

本発明は、前述の懸念の１つ以上に対処するために考案された。

本発明の第１の態様によれば、通信ネットワークを介して複数の歯科情報システムに接続された自動歯科カルテ作成システムを訓練するためのコンピュータ方法であって、歯科情報システムのそれぞれは、電子歯科カルテを生成するように構成されており、生成された電子歯科カルテのそれぞれは、デジタル画像と対応するデジタル画像の少なくとも一部を特徴付ける関連する情報項目とを含み、
前記情報項目は、
根とクラウンの下にある部分について、歯が存在するかどうか、根尖周囲病変、根管かどうか、根内の支柱、骨量減少、強直、副鼻腔感染症、および洞床の腫れ、
並びに、クラウンレベルの部分について、復元するかどうか、３Ｄの内側～遠位の修復範囲、クラウンと素材の種類、修復中のライナー、修復中の崩壊、および隣接歯間崩壊、
並びに、レントゲン写真では検出できない特徴について、頬側～舌側の修復範囲、骨折、修復物周辺の漏れ、および修復物周辺のエナメルの破砕、
のうちの少なくとも１つの項目を含み、
このコンピュータ方法は、
通信ネットワークを介して、複数の歯科情報システムによって生成された複数の電子歯科カルテを取得するステップであって、複数の電子歯科カルテは、複数の患者に関連している、ステップと、
取得された電子歯科カルテのそれぞれについて、
歯または関心領域を描写する画像の少なくとも一部を抽出し、描写された歯または描写された関心領域を特徴付ける少なくとも対応する情報項目を取得する、ステップと、
抽出された画像の少なくとも一部と対応する情報項目とを訓練データセットに格納するステップと、
訓練データセットを使用して自動歯科カルテ作成システムを訓練するステップと、
を含むことを特徴とする、コンピュータ方法、が提供される。

本発明の方法によれば、自動歯科カルテ作成システムは、信頼できる電子歯科カルテを生成および／または更新するように訓練され得る。

実施形態によれば、本方法は、画像の少なくとも一部が抽出される画像をフィルタリングするステップをさらに含む。

実施形態によれば、歯または関心領域を描写する画像の抽出された少なくとも一部は、歯または関心領域を特徴付ける取得された情報項目に基づいて自動的に抽出される。

実施形態によれば、本方法は、画像の少なくとも一部が抽出される画像のタイプを取得するステップをさらに含み、取得された画像のタイプは、画像の対応する少なくとも一部に関連して訓練データセットに格納される。

実施形態によれば、本方法は、抽出された画像の少なくとも一部を識別するステップをさらに含み、画像の少なくとも一部は、画像の少なくとも一部が識別される画像に関連する情報項目に応じて識別される。

実施形態によれば、電子歯科カルテの少なくとも１つは、少なくとも同じ歯または同じ関心領域を描写するいくつかのタイプの画像を含み、訓練データセットがいくつかのタイプの画像のそれぞれの少なくとも一部を含むように、抽出するステップおよび格納するステップが繰り返される。そのようなタイプは、紫外線画像タイプ、可視光画像タイプ、赤外線画像タイプ、ＯＣＴ画像タイプ、Ｘ線画像タイプ、ＣＢＣＴ画像タイプ、超音波画像タイプ、蛍光画像タイプ、および／または３Ｄメッシュ画像タイプを含み得る。

実施形態によれば、自動歯科カルテ作成システムは、少なくとも１つの人工ニューラルネットワークを含み得る人工知能エンジンを含む。

実施形態によれば、複数の電子歯科カルテのうちの電子歯科カルテのそれぞれは、通信ネットワークを介してサーバーから取得され、サーバーは、複数の電子歯科カルテのうちの電子歯科カルテを生成した歯科情報システムとは異なる。

本発明の第２の態様によれば、歯または関心領域を描写する画像の少なくとも一部にカルテデータを自動的に割り当てるためのコンピュータ方法であって、
歯または関心領域を描写する画像の少なくとも一部を取得するステップと、
上述の方法に従って訓練された自動歯科カルテ作成システムを使用して、描写された歯または関心領域を特徴付ける情報項目を画像の少なくとも一部に割り当てるステップと、を含むコンピュータ方法が提供される。

本発明による方法の少なくとも一部は、コンピュータで実施することができる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの側面を組み合わせた実施形態（これらはすべて、本明細書では一般に「回路」、「モジュール」もしくは「システム」と呼ばれ得る）の形態をとることができる。さらに、本発明は、媒体に具体化されたコンピュータ使用可能なプログラムコードを有する任意の有形の表現媒体に具体化されたコンピュータプログラム製品の形態をとることができる。

本発明はソフトウェアで実施することができるので、本発明は、任意の適切なキャリア媒体上のプログラム可能な装置に提供するためのコンピュータ可読コードとして具体化することができる。有形のキャリア媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスなどのような記憶媒体を含み得る。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または、例えばマイクロ波もしくはＲＦ信号などの電磁信号、などの信号を含み得る。

本発明の他の特徴および利点は、添付の図面を参照して、非限定的な例示的な実施形態の以下の説明から明らかになるであろう。

患者の歯科カルテを表した図である。 患者の歯科カルテを表した図である。 本発明の実施形態を実行することができる、通信ネットワークを介して複数の歯科情報システムに接続された自動歯科カルテ作成システムを訓練するためのコンピューティング装置を示す図である。 本発明の１つ以上の実施形態を実施するための、図２に示されるコンピューティング装置の概略ブロック図である。 電子歯科カルテおよび／または電子歯科カルテの一部が生成される、図２の歯科情報システムのうちの１つなどの歯科情報システムを示す概略図である。 自動歯カルテ作成システムのステップを示す図である。 電子歯科カルテを生成するために図５に示されているようなＡＩエンジンで実行されるステップの例を示す図である。 そのようなＡＩエンジンを訓練するためのステップの例を示す図である。

以下は、本発明の特定の実施形態の詳細な説明であり、同じ参照番号がいくつかの図のそれぞれにおける構造の同じ要素を識別する図面を参照する。

以下の図面および本文では、同様の構成要素は同様の参照番号で示され、既に説明した構成要素および構成要素の配置または相互作用に関する同様の説明は省略されている。「第１」、「第２」などの用語は、それらが使用される場合、必ずしも序数または優先関係を示すわけではなく、単にある要素を別の要素からより明確に区別するために使用され得る。

図２は、本発明の実施形態を実行することができる、通信ネットワーク２１５を介して複数の歯科情報システム２１０－１～２１０－３に接続された自動歯科カルテ作成システム２０５を訓練するためのコンピューティング装置２００を示す。図示の例によれば、コンピューティング装置２００は、記憶装置２２０にさらに接続されている。

コンピューティング装置２００および自動歯科カルテ作成システム２０５は、互いに直接接続されているか、通信ネットワーク２１５または別の通信ネットワーク、例えばプライベートネットワークを介して接続されている２つの異なる装置であり得る。コンピューティング装置２００および自動歯科カルテ作成システム２０５はまた、同じ装置に統合することができる。

説明のために、３つの歯科情報システムおよび１つの記憶装置のみが示されていることに留意されたい。しかしながら、コンピューティング装置２００は、数百もしくは数千の歯科情報システムおよび／または数百もしくは数千の記憶装置に接続され得ることが理解されるべきである。

実施形態によれば、各歯科情報システムは、患者の歯科画像を取得し、電子歯科カルテを生成するように構成される。取得された画像は、可視光画像（ＶＬ）、紫外線画像（ＵＶ）、赤外線画像（ＩＲ）、ＯＣＴ画像、蛍光画像（Ｆ）、Ｘ線画像（Ｘ）、ＣＢＣＴ（歯科用コーンビームコンピュータ断層撮影）処理でボリューム画像を形成するために使用される画像投影、輪郭画像、３Ｄメッシュ画像、および超音波画像を含む、異なるタイプまたはモダリティの画像であり得る。生成された電子歯科カルテは、患者の歯に関する情報を提供する、患者の歯に関する画像および関連する情報項目を含む。画像および関連する情報はどちらも同期している。

電子歯科カルテまたは電子歯科カルテの一部は、歯科情報システムから直接、またはそれらが以前に保管されていた記憶装置２２０などの１つ以上の記憶装置から入手することができる。

実施形態によれば、歯科情報システムは、同じテンプレートまたは互換性のあるテンプレートに基づいて電子歯科カルテを生成し、同じ記号は同じ意味を有し、その結果、それらはソフトウェアの一部によって自動的に復号され得る。説明のために、電子歯科カルテは、各歯科情報システム内にインストールされた同じソフトウェアアプリケーション、または各歯科情報システムによってアクセスされる同じソフトウェアアプリケーションによって生成される（例えば、ソフトウェアアプリケーションがサービスとして提供される場合）。

さらに特定の実施形態によれば、歯科情報システムのそれぞれは、生成された電子歯科カルテまたは生成された電子歯科カルテの一部を遠隔装置、例えば遠隔記憶装置または情報システムに転送することができる。好ましくは、生成された電子歯科カルテ（または生成された電子歯科カルテの一部）は匿名化した後転送され、この場合、生成された電子歯科カルテ（または生成された電子歯科カルテの一部）が関連付けられている患者を特定することはできない。

図３は、本発明の１つ以上の実施形態を実施するため、特に図５、図６ａ、および図６ｂを参照して説明したステップまたはステップの一部を実行するための、図２に示すコンピューティング装置２００の概略ブロック図である。

コンピューティング装置２００は、
－ ＣＰＵと表記される、マイクロプロセッサなどの中央処理装置３０５と、
－ 本発明の実施形態の方法の実行可能コードを格納するための、ＲＡＭと表記されるランダムアクセスメモリ３１０、および本発明の実施形態による自動歯カルテ作成システムを訓練するための方法を実施するために必要な変数およびパラメータを記録するように構成されたレジスタであって、そのメモリ容量が、例えば拡張ポートに接続された任意のＲＡＭによって拡張することができる、レジスタと、
－ 本発明の実施形態を実施するためのコンピュータプログラムを記憶するための、ＲＯＭと表記される読み取り専用メモリ３１５と、
－ ユーザーからの入力の受信、ユーザーへの情報の表示、および／または外部装置との間のデータの受信／送信のために使用することができるユーザーインターフェースおよび／または入力／出力インターフェース３３０と、
－ 遠隔装置との間で、特に、歯科情報システム２１０－１～２１０－３および／または記憶装置２２０から、および自動歯科カルテ作成システム２０５にデータを送受信するためにデジタルデータを送受信できる通信ネットワークに通常接続されているネットワークインターフェース３２０と、に接続された通信バスを備えている。ネットワークインターフェース３２０は、単一のネットワークインターフェースであり得るか、または一連の異なるネットワークインターフェース（例えば、有線および無線インターフェース、または異なる種類の有線もしくは無線インターフェース）から構成され得る。データパケットは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ３０５で実行されているソフトウェアアプリケーションの制御下で受信のためにネットワークインターフェースから読み取られる。

コンピューティング装置２００の通信バスは、任意で、大容量記憶装置として使用されるＨＤと表記されるハードディスク３２５に接続され得る。

実行可能コードは、読み取り専用メモリ３１５、ハードディスク３２５、または例えばディスクなどの着脱式デジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行される前に、ハードディスク３２５などのコンピューティング装置２００の記憶手段の１つに記憶されるべく、ネットワークインターフェース３２０を介して通信ネットワークによって受信され得る。

中央処理装置３０５は、本発明の実施形態による１つ以上のプログラムの命令またはソフトウェアコードの一部の実行を制御および指示するように構成され、命令は前述の記憶手段の１つに記憶される。電源を入れた後、ＣＰＵ３０５は、ソフトウェアアプリケーションに関連するメインＲＡＭメモリ３１０からの命令を、例えばＲＯＭ３１５またはハードディスク３２５からロードした後に実行することができる。そのようなソフトウェアアプリケーションは、ＣＰＵ３０５によって実行されると、本明細書に開示されたアルゴリズムのステップが実行されるようにする。

本明細書に開示されるアルゴリズムの任意のステップは、ＰＣ（「パーソナルコンピュータ」）、ＤＳＰ（「デジタルシグナルプロセッサ」）もしくはマイクロコントローラ、または、ＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）やＡＳＩＣ（「特定用途向け集積回路」）などのマシンまたは専用構成要素によってハードウェアに実装されるその他のものなどのプログラム可能なコンピューティングマシンによる一連の命令またはプログラムの実行によってソフトウェアに実装され得る。

実施形態によれば、自動歯科カルテ作成システム２０５の概略ブロック図は、コンピューティング装置２００の概略ブロック図と同様である。

図４は、電子歯科カルテおよび／または電子歯科カルテの一部を生成する、図２の歯科情報システム２１０－１～２１０－３のうちの１つなどの歯科情報システムを示す概略図である。

図示のように、歯科情報システム２１０は、Ｘ線撮像装置４００、口腔内カメラなどのデジタルカメラ４０５、または、歯の構造のボリューム画像を生成するための歯科用コーンビームコンピュータ断層撮影（ＣＢＣＴ）システム４１０であり得る少なくとも１つの撮像装置を含む。超音波または他の撮像タイプを使用する装置など、他のタイプの撮像装置を使用して、歯および支持構造、歯茎、および関連組織の画像を取得することもできる。さらに、歯科情報システム２１０を操作するために、様々なタイプの診断測定機器も提供され得る。

引き続き図４を参照すると、撮像装置から画像データを取得、処理、および格納するためのコンピュータまたは他のタイプの専用論理プロセッサなどのホストプロセッサ４１５もまた、撮像結果を表示するための１つ以上のディスプレイ４２５とともに、歯科情報システム２１０の一部である。ホストプロセッサ４１５は、１つ以上の画像捕捉装置と、および任意で、任意の数の自動測定装置とデータ通信している。さらに、ホストプロセッサ４１５はまた、内部に、またはネットワーク化されたホストまたはサーバー上に格納された、患者記録のデータベースとデータ通信することができ、例えば、磁気、光学、または他のデータ記憶媒体を使用する装置など、長期記憶に使用される不揮発性メモリ記憶装置であり得るコンピュータクセス可能なメモリ４２０も提供される。

さらに、ホストプロセッサ４１５は、遠隔装置との間で、特に、コンピューティング装置２００、自動歯科カルテ作成システム２０５、および／または記憶装置２２０との間でデータを送受信するためにデジタルデータを送受信することができる通信ネットワーク２１５に通常接続されているネットワークインターフェース４３０を備えている。ネットワークインターフェース４３０は、単一のネットワークインターフェースであり得るか、または一連の異なるネットワークインターフェース（例えば、有線および無線インターフェース、または異なる種類の有線もしくは無線インターフェース）から構成され得る。

異なる歯科情報システムが同様の撮像装置、例えば同様のＸ線撮像装置または同様の口腔内カメラを使用し得るが、これらの装置は異なる製造業者からのものであり得るか、または異なる設定に従って設定され得ることに留意されたい。結果として、これらの装置によって生成される画像は、それらが同じ対象物（例えば、同じ歯）を描写する場合でも、異なって見える可能性がある。したがって、異なる歯科情報システムによって生成された電子歯科カルテの一部は、類似しているはずであるが、実際にはわずかに異なる場合がある。

図５は、自動歯カルテ作成システムのステップを示している。

図示のように、第１のステップ（ステップ５００）は、患者の歯の画像、例えば、１つの口腔外パノラマ画像および１つ以上の歯のいくつかの画像、例えば、Ｘ線画像、可視光画像、紫外線画像、赤外線画像、ＯＣＴ画像、蛍光画像、およびＣＢＣＴ画像、を取得することを目的としている。

次に、これらの画像は、歯科カルテ情報（符号５１０）を使用して電子歯科カルテを生成するために処理される（ステップ５０５）。取得された画像の処理は、例えば、１つ以上の人工ニューラルネットワークを含む人工知能（ＡＩ）エンジンに基づくことができる。人工ニューラルネットワークは、教師あり学習に基づく教師ありニューラルネットワークであり得る。教師あり学習では、入力サンプルと関連するラベルの訓練セットをニューラルネットワークに提示する必要がある（各ラベルは出力の対象物を描写する）。対応するラベルのセットは、専門家によってニューラルネットワークとは別に実行される事前の分類に従って決定され得る。歯科カルテ情報は、パラメータ値のセット（例えば、レイヤーとノードの数、重み値など）としてＡＩエンジンに符号化できる。

実施形態によれば、口腔外パノラマ画像は、異なるタイプの他の画像によって、および画像上に表される歯を特徴付ける情報項目によって補足される基本的な電子歯科カルテを生成するために使用される。

点線の矢印で示唆されているように、電子歯科カルテは、新しい画像を処理することによって、および／または以前に処理された画像を新しい学習ステップにさらに処理することによって（すなわち、新しい情報を考慮して）いつでも自動的に更新され得る。

図６ａは、電子歯科カルテを生成するために図５に示されているようなＡＩエンジンで実行されるステップの例を示し、図６ｂは、そのようなＡＩエンジンを訓練するためのステップの例を示す。

図６ａに示されているステップは、図２の自動歯科カルテ作成システム２０５などの自動歯科カルテ作成システムで実行することができ、図６ｂに示されるステップは、同じシステムまたは異なるシステム、例えば、図２のコンピューティング装置２００において実行され得る。

ＡＩエンジンは、特定のＡＩ技術、例えばファジー論理または人工ニューラルネットワーク、ＡＩ技術の組合せ、またはＡＩ技術と従来の技術との組合せ、例えばニューラルネットワークと所定の規則との組合せに基づくことができる。

電子歯科カルテを生成または更新するために処理される画像が取得された後（ステップ６００）、画像は好ましくはフィルタリングされる（ステップ６０５）。そのようなフィルタリングステップは、例えば、画素値が所定のフォーマット（例えば、ＹＵＶ）に従って、所定の解像度に従って、所定のバイト数（例えば、１成分あたり３バイト、１バイト）でコード化されるように、取得された画像を正規化するステップを含み得る。さらに、正規化ステップは、輝度および範囲拡張などのパラメータを調整するステップを含み得る。フィルタリングステップはまた、画像強調および画像平滑化などの画像処理を含み得る。

次に、取得された画像のタイプが判定される（ステップ６１０）。取得された画像のタイプは、例えば、取得された画像に関連するそのソースまたはパラメータを識別することによって、またはよく知られた方法に従って後者を分析することによって、自動的に判定されることが好ましい。

特定の実施形態によれば、取得された画像をフィルタリングするステップは、フィルタリングが画像のタイプに適合されるように、そのタイプの判定後に実行される。

次に、取得された画像（ステップ６１５）において歯が識別され、画像内に描写された歯の数、画像内のそれらの位置、それらの大きさ、およびそれらの形状が判定される。このようなステップは、訓練後にＡＩエンジンを使用して、セグメンテーションステップなどの前処理ステップの有無にかかわらず実行できる。実施形態によれば、歯は、グローバルインデックスを使用してインデックス付けまたは番号付けされ、その結果、画像で表される歯と別の画像で表される同じ歯との間にリンクが確立され得る。このようなグローバルインデックスは、既知の電子歯科カルテで使用されているものと同じであり得る。

一実施形態によれば、歯の識別および番号付けは、境界ボックス（例えば、長方形のボックスまたはより正確な輪郭を有するボックス）を使用することによって実行される。境界ボックスは、それぞれに含まれる歯の数を識別するために、パノラマ画像上の長方形のボックスを識別することによって、大まかな画像セグメンテーションを含み得る。

このような境界ボックスは、ＡＩエンジンの暗黙のルールを使用することによって、例えば、取得した画像の一部を人工ニューラルネットワークの入力として使用することによって判定できる。後者は、適切な訓練の後、歯の描写を識別し、したがって、識別された歯の周りの境界ボックスを判定することができる。

さらに、セグメンテーションは、あいまいな状況を明確にするために、次のような明示的なルールを実装する場合がある（必要な場合）。
－ 「長方形のボックスには、所定の距離（１ｍｍなど）を超えてはならないオーバーラップがある場合がある」、および
－ 「１つの弧に対応する長方形のボックスの中心は、空間的変動が小さい曲線を表す必要がある（つまり、歯はほとんど線または曲率の少ない曲線に沿って整列する）」。

同様に、歯の番号付けアルゴリズムは、次のような暗黙的または明示的なルールを実装する場合がある。
－ 「咬合中のパノラマ画像では、歯の数は所定の自然な順序に従う」、
－ 「下顎の歯は上顎に現れない」、および
－ 「上顎はボックスのサブセットで構成され、補完的なボックスのグループで構成される下顎の上に配置される」。

歯の位置に関する情報は、特に、取得された画像が患者の歯のサブセットを含み、そこから患者の口内における歯の位置を導き出すことが不可能ではないにしても困難である場合、画像分析以外の手段によって提供され得ることに留意されたい。例えば、歯の位置に関する情報は、ユーザーから、または画像を撮影するときにユーザーに与えられる指示から取得することができる（ステップ６２０）。

次に、識別された歯は分類され、または特徴付けられる（ステップ６２５）。

そのような分類／特徴付けステップは、好ましくは、学習段階中に取得された電子歯科カルテから取得された情報を使用することによって、例えば、歯の描写を分類するために使用される、以前に訓練された人工ニューラルネットワークの入力として孤立した歯の描写を使用することによって実行される。人工ニューラルネットワークの出力は、孤立した歯の描写を特徴付ける１つ以上の情報項目である。

繰り返し、このようなステップは、次のような一連のルールと閾値とを使用して補足できる。
－ 「強い飽和信号はおそらく金属の特徴である」、
－ 「金属を検出する機能により、アマルガム、インプラント、金属製クラウン、金属製ブラケット、根管などを含む可能性が高くなる」、および
－ 「骨の根の深さは、歯の喪失につながる可能性のある骨の喪失があるかどうかを決定する」。

分類／特性評価ステップの目的は、１つ以上の情報項目を識別された歯に関連付けることである。そのような情報項目は、例えば、以下のものであり得る。
－ 根とクラウンの下にある部分について
・歯が存在するかどうか、
・根尖周囲病変、
・根管かどうか、
・根内の支柱、
・骨量減少、
・強直、
・副鼻腔感染症、および
・洞床の腫れ、
－ クラウンレベルの部分について
・復元するかどうか、
・３Ｄの内側～遠位の修復範囲（頬側～舌側の範囲を決定するのが困難）、
・クラウンと素材の種類（磁器、磁器溶融金属、すべて金属）、
・修復中のライナー（アマルガムまたは複合材料からのＸ線写真では異なるグレースケールとして表示される）、
・修復中の崩壊、および
・隣接歯間崩壊、
－ レントゲン写真では検出できない特徴について
・頬側～舌側の修復範囲、
・骨折、
・修復物周辺の漏れ、および
・修復物周辺のエナメルの破砕。

当然、他の情報項目は、歯および／または歯のグループに関連付けられ得る。

分類／特徴付けステップは、例えば、各境界ボックスに含まれる信号を正規化された平均的な歯の描写にスケーリングおよび整列させるために、いくつかの前処理を含み得ることにも留意されたい。これは、平均的な歯の描写と比較して、近心／遠位、咬合／頬などの配置情報を定義するのに役立ち得る。

歯が分類／特徴付けられると、対応する電子歯科カルテが生成される（現在の歯が新しい患者に関連付けられた第１の画像の最初のものである場合）か、分類／特徴付けに応じて更新される（ステップ６３０）。実施形態によれば、画像は格納され（まだ格納されていない場合）、現在の歯に関連する情報項目は、例えばそのグローバルインデックスを使用して、この歯に関連して格納される。

これらのステップは、処理されるすべての画像に対して、取得された画像で識別されたすべての歯に対して繰り返される（ステップ６３５および６４０）。

上記のように、使用されるＡＩエンジンは、ローカリゼーションタスクおよび／または分類および特徴付けタスクのために、畳み込みニューラルネットワークおよび深層学習技術などの人工ニューラルネットワークを使用することができる。

図６ａを参照することによって説明される処理は、典型的には患者の歯の画像のセットから、電子歯科カルテを作成するときに、ならびに、患者の歯の新しい画像が撮影されるか、歯科医が患者の歯に介入および／または監視するたびに実行され得る。

実施形態によれば、歯の識別および／または分類に使用される、図５および図６ａを参照して説明されているようなＡＩエンジンの訓練は、低レベルのエラー（これらのエラーは通常、画像の解釈に向けられている）を含む大量の電子歯科カルテを使用して行われる。これらの電子カルテは、自動歯科カルテ作成システムの訓練に使用するために送信される前または後に匿名化されることが好ましい。

信頼性のために、自動歯科カルテ作成システムを訓練するために使用される電子カルテは、好ましくは、開業医によって生成された、開業医によって制御された、または信頼できるシステムによって、異なる場所で、異なる歯科情報システムを使用して自動的に生成された電子カルテである。それらは共通のフォーマットを共有しており、情報システムが画像とこれらの画像に表されている歯に関連する情報項目とを自動的に取得することを可能にする。

電子歯科カルテは、歯科情報システムから、および／または歯科情報システムによって生成された電子歯科カルテが格納されているサーバーから取得することができる。

少なくとも１つの電子歯科カルテが取得された後（ステップ６５０）、電子歯科カルテは、患者の歯を描写する画像を取得するために（ステップ６５５）、取得された画像のタイプを取得するために（ステップ６６０）、および取得された画像（ステップ６６５）に描写された歯に関する情報項目を取得するために分析される。

画像、画像のタイプ、および描写された歯に関する情報項目を取得するステップは、データが適切に収集され得るように有利に事前に決定された電子歯科カルテの電子フォーマットに従って実行される。

対応する情報項目が、考慮される画像で表される歯または関心領域を特徴付けるという条件で、同じ歯または同じ関心領域のいくつかの画像を使用できることに留意されたい。言い換えれば、情報項目と画像は同期している（すなわち、歯または関心領域を描写する画像が取得されてから対応する情報項目が定義されるまでの間、歯または関心領域の状態は変化しないままである。）。

特定の実施形態によれば、取得された画像はフィルタリングされる（ステップ６７０）。電子歯科カルテを生成または更新するときに実行され得る、図６ａを参照して説明されたフィルタリングステップと同様に、このフィルタリングステップは、例えば、取得された画像を、画素値が所定のバイト数（例えば、構成要素ごとに３バイト、１バイト）でコード化されるように、所定のフォーマット（例：ＹＵＶ）に従って、所定の解像度に従って正規化するステップを含み得る。さらに、正規化ステップは、輝度および範囲拡張などのパラメータを調整するステップを含み得る。

この場合も、特定の実施形態によれば、取得された画像をフィルタリングするステップは、画像タイプに依存し得る。

次に、図示の例によれば、ＡＩエンジンに歯の描写を識別する方法を教えるために、第１の学習段階が実行される（ステップ６７５）。そのために、取得された画像のこの歯に対応する部分を識別するために、歯に関連する取得された情報項目が取得される。そのような情報項目は、この歯に対応する画像の部分を識別するためにセグメンテーション情報と組み合わされ得る。

画像のこの部分は、ＡＩエンジンの訓練に使用される６８０－１を参照する訓練データセットに追加される。実施形態によれば、画像のタイプはまた、対応する画像部分に関連して、訓練データセットに格納され得る。

次に、取得された画像に表されている歯が、（訓練された後の）ＡＩエンジンを使用して識別される（ステップ６８５）。

次に、識別された歯を分類または特徴付ける方法をＡＩエンジンに教えるべく、第２の学習段階が実行され（ステップ６９０）、すなわち、ＡＩエンジンが歯のクラスおよび／または特性を表す情報項目を歯の描写と関連付けることを可能にする。

そのために、識別された歯に関連する取得された情報項目が取得される。識別された歯および関連する情報項目に対応する画像の部分は、ＡＩエンジンの訓練に使用される６８０－２を参照する訓練データセットに追加される。実施形態によれば、画像のタイプはまた、対応する画像部分に関連して、訓練データセットに格納され得る。

これらのステップは、取得された画像で識別されたすべての歯について、すべての電子歯科カルテのすべての画像に対して繰り返されることが好ましい（ステップ６９５）。

特定の実施形態によれば、電子歯科カルテのいくつかは、学習段階が実行された後にＡＩエンジンを試験するために使用されるように、ＡＩエンジンを訓練するために使用される電子歯科カルテのセットから除去され得る。このような場合、自動カルテ作成システムの効率は、自動カルテ作成システムの出力を期待される応答（すなわち、電子歯科カルテの情報項目）と比較することによって判定することができる。このような評価は、学習段階で実行することもできるため、効率的なレベルに達したらすぐに停止できる。

訓練データセットは、定期的に、例えば毎週または毎月、新しい電子歯科カルテまたは歯科情報システムから取得された更新された電子歯科カルテで更新され得ることに留意されたい。実施形態によれば、自動歯カルテ作成システムは、訓練データセットが更新された後に訓練される。

本発明は、図面および前述の説明において詳細に例示および説明されてきたが、そのような例示および説明は、説明的または例示的であり、限定的ではないと見なされるべきであり、本発明は、開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、開示および添付の特許請求の範囲の研究から、特許請求される発明を実施する際に当業者によって理解および実行され得る。

そのような変形は、特に、本発明の要約および／または添付の特許請求の範囲に記載されている実施形態を組み合わせることに由来し得る。

特に、画像分析は、説明のために、情報の項目が関連付けられている歯の識別に向けられているが、画像分析は、情報項目が関連付けられる任意の関心領域（ＲＯＩ）の識別に向けることができ、例えば、嚢胞タイプの病理を顎の一部の描写に関連付けることを可能にする。そのような場合、関心領域は、情報項目に従って、例えば、嚢胞の描写に従って、および／または嚢胞を特徴付ける特徴に従って、少なくとも部分的に識別および／または抽出され得る。

特許請求の範囲において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語は、他の要素またはステップを除外せず、不定冠詞「ａ」または「ａｎ」は、複数を除外しない。単一のプロセッサまたは他のユニットは、特許請求の範囲に記載されたいくつかの項目の機能を果たすことができる。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用できないことを示すものではない。特許請求の範囲の中のいかなる参照記号も、本発明の範囲を限定するものとして解釈されるべきではない。

Claims (14)

1. 通信ネットワークを介して複数の歯科情報システムに接続された自動歯科カルテ作成システムを訓練するためのコンピュータ方法であって、前記歯科情報システムのそれぞれは、電子歯科カルテを生成するように構成されており、生成された前記電子歯科カルテのそれぞれは、デジタル画像と対応する当該デジタル画像の少なくとも一部を特徴付ける関連する情報項目とを含み、
   前記情報項目は、
   根とクラウンの下にある部分について、歯が存在するかどうか、根尖周囲病変、根管かどうか、根内の支柱、骨量減少、強直、副鼻腔感染症、および洞床の腫れ、
   並びに、クラウンレベルの部分について、復元するかどうか、３Ｄの内側～遠位の修復範囲、クラウンと素材の種類、修復中のライナー、修復中の崩壊、および隣接歯間崩壊、
   並びに、レントゲン写真では検出できない特徴について、頬側～舌側の修復範囲、骨折、修復物周辺の漏れ、および修復物周辺のエナメルの破砕、
   のうちの少なくとも１つの項目を含み、
   当該コンピュータ方法は、
   前記通信ネットワークを介して、複数の前記歯科情報システムによって生成された複数の電子歯科カルテを取得するステップであって、複数の前記電子歯科カルテは、複数の患者に関連している、ステップと、
   取得された前記電子歯科カルテのそれぞれについて、
   歯または関心領域を描写する画像の少なくとも一部を抽出し、描写された前記歯または描写された前記関心領域を特徴付ける少なくとも対応する情報項目を取得するステップと、
   抽出された前記画像の少なくとも一部と前記対応する情報項目とを訓練データセットに格納するステップと、
   前記訓練データセットを使用して前記自動歯科カルテ作成システムを訓練するステップと、
   を含むことを特徴とするコンピュータ方法。
2. 請求項１に記載の方法であって、前記画像の少なくとも一部が抽出される前記画像をフィルタリングするステップをさらに含むことを特徴とする方法。
3. 請求項１または２に記載の方法であって、歯または関心領域を描写する前記画像の前記抽出された少なくとも一部が、描写された前記歯または描写された前記関心領域を特徴付ける前記対応する情報項目に基づいて自動的に抽出されることを特徴とする方法。
4. 請求項１から３のいずれか１項に記載の方法であって、前記画像の少なくとも一部が抽出される前記画像のタイプを取得するステップをさらに含み、前記取得された前記画像のタイプは、前記画像の前記対応する少なくとも一部に関連して前記訓練データセットに格納されることを特徴とする方法。
5. 請求項１から４のいずれか１項に記載の方法であって、前記抽出された画像の少なくとも一部を識別するステップをさらに含み、前記画像の少なくとも一部は、前記画像の少なくとも一部が識別される前記画像に関連する情報項目に応じて識別されることを特徴とする方法。
6. 請求項１から５のいずれか１項に記載の方法であって、前記電子歯科カルテの少なくとも１つは、少なくとも同じ歯を描写するいくつかのタイプの画像を含み、前記訓練データセットが前記いくつかのタイプの画像のそれぞれの少なくとも一部を含むように、前記抽出するステップおよび前記格納するステップが繰り返されることを特徴とする方法。
7. 請求項６に記載の方法であって、前記いくつかのタイプは、紫外線画像タイプ、可視光画像タイプ、赤外線画像タイプ、ＯＣＴ画像タイプ、Ｘ線画像タイプ、ＣＢＣＴ画像タイプ、超音波画像タイプ、蛍光画像タイプ、および／または３Ｄメッシュ画像タイプを含むことを特徴とする方法。
8. 請求項１から７のいずれか１項に記載の方法であって、前記自動歯科カルテ作成システムが人工知能エンジンを含むことを特徴とする方法。
9. 請求項８に記載の方法であって、前記人工知能エンジンが少なくとも１つの人工ニューラルネットワークを含むことを特徴とする方法。
10. 請求項１から９のいずれか１項に記載の方法であって、前記複数の電子歯科カルテのうちの前記電子歯科カルテのそれぞれは、前記通信ネットワークを介してサーバーから取得され、前記サーバーは、前記複数の電子歯科カルテのうちの前記電子歯科カルテを生成した前記歯科情報システムとは異なることを特徴とする方法。
11. 歯または関心領域を描写する画像の少なくとも一部にカルテデータを自動的に割り当てるための方法であって、
    歯または関心領域を描写する画像の少なくとも一部を取得するステップと、
    請求項１から９のいずれか１項に記載の方法に従って訓練された自動歯科カルテ作成システムを使用して、前記描写された歯または関心領域を特徴付ける情報項目を前記画像の少なくとも一部に割り当てるステップと、を含むことを特徴とする方法。
12. プログラム可能な装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム可能な装置によって前記プログラムがロードおよび実行されるときに、請求項１から１１のいずれか１項に記載の方法の各ステップを実行するための命令を含むことを特徴とするコンピュータプログラム製品。
13. 請求項１から１０のいずれか１項に記載の方法の各ステップを実行するコンピュータ用の手段を備えることを特徴とする装置。
14. 請求項１から９のいずれか１項に記載の方法に従って訓練されることを特徴とする自動歯科カルテ作成システム。

Images