JP7319996B2 - 遠隔歯科医療画像のための方法及びシステム - Google Patents

Description

本発明は、一般的に、遠隔歯科医療のための高品質の口腔内画像を得るための方法及びシステムに関する。

一般的に、適切な口腔ケアを確保するために個人は少なくとも年に２回は口腔内の健康診断を受けるように指示されており、多くの歯科保険プログラムは、このような口腔内の健康診断をカバーしている。検診の間には、個人又は口腔ケアの専門家が、口腔内の健康状態の状態が悪化しているか否かを含む口腔内の健康状態のレビューを所望する状況があり得る。

遠隔歯科医療（teledentistry）は、臨床情報及び／又は口腔画像のような歯科情報を遠隔通信システムを介して転送することであり、対面での検診間に口腔内のレビュー又は分析のためのシステムを提供する。遠隔歯科医療は、スマートフォンなどのカメラを利用した低コストで低負担のソリューションであり、個人が容易にアクセスできるため、急成長しているサービスである。オンデマンド型の歯科医療は、歯科医師の介入が必要な場合に、消費者に大きな安心感と迅速な治療を提供する可能性を持つ。更に、遠隔歯科医療は、歯科サービスのコストを下げ、歯科サービスへのアクセスと提供を改善することができる。実際、幾つかの状況では、遠隔歯科医療は対面での検診の代わりになり得る。

遠隔歯科医療は必然的に、個人により得られた歯科画像を必要とする。口腔内の健康状態を評価するための画像の有用性は、数あるなかでも、画像が対象の歯を適切に含んでいるかどうか、画像の鮮明さ、環境内の照明、及び／又は視野角などの多くの特徴によって決定される。画像における詳細が専門家による患者の口腔内の健康状態の理解を容易にする場合、画像は高品質であると判断され得る。一般的に、高品質の画像を確保するためには、同じ個人の複数の画像を多数の所定の角度で撮影しなければならない。これらの複数のファイルは次いで、評価のために歯科専門家に送信されなければならない。不可避的に、目的の歯や口の中の領域を撮影できなかったり、透明度が悪かったり、照明が悪かったり、不適切な角度であったり、その他多くの理由により、画像の一部又は全部が使用できないことがある。従って、歯科専門家は、分析に粗悪な画像を使用するか、又は個人に追加の画像を要求することが一般的となる。どちらのシナリオも非効率的であり、費用がかかり、治療を遅らせる可能性がある。

従って、本分野においては、高品質の口腔画像の捕捉及び伝送を確実にする、遠隔歯科医療システム及び方法に対する、継続的なニーズが存在する。

本開示は、高品質の口腔画像を得るための発明的な方法及びシステムに向けられている。本明細書の様々な実施例及び実装例は、高品質の口腔画像を識別するように構成された撮像システムに向けられている。撮像システムは、１つ以上の口腔画像を取得するように構成された撮像装置を有する。プロセッサは、画質に関連する特徴及び対象認識に関連する特徴を含む、１つ以上の特徴を口腔画像から抽出する。プロセッサは、抽出された特徴を分析して、抽出された特徴が所定の特徴閾値を満たすかどうかを決定する。抽出された特徴が所定の特徴閾値を満たさない場合、システムは、ユーザに１つ以上の画像に関するフィードバックを提供し、これにより、ユーザは、より高品質の新しい画像を得ることができる。抽出された特徴が所定の特徴閾値を満たす場合、１つ以上の画像は、歯科専門家に送信され、歯科専門家による分析のために利用される。

一般的に、一態様においては、撮像装置又はシステムを用いて１つ以上の口腔画像を取得するための方法が提供される。該方法は、（ｉ）撮像装置又はシステムの撮像器を用いて、口腔画像を取得するステップと、（ii）前記撮像装置又はシステムのコントローラにより、前記取得された口腔画像から１つ以上の特徴を抽出するステップであって、前記抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有する、ステップと、（iii）決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定するステップと、（iv）ユーザインタフェースを介して、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可するステップと、（ｖ）前記伝送が認可された場合、前記取得された口腔画像を歯科専門家に送信するステップと、を含む。

一実施例によれば、ユーザにフィードバックを提供するステップは、所望の画像に対する指示を有する。

一実施例によれば、撮像装置又はシステムは、抽出された１つ以上の特徴が所定の特徴閾値を満たさない場合に、ユーザに新しい口腔画像を取得するように指示するよう構成されている。

一実施例によれば、１つ以上の撮像センサパラメータが、得られた口腔画像内の１つ以上の点における画像特性によって制御又は決定される。

一実施例によれば、画質特徴は、ぼやけ（blur）量、鏡面ハイライト量、及び／又はダイナミックレンジ検出を有する。

一実施例によれば、対象認識特徴は、テンプレートを使用した出力フィルタリング、及び／又はトレーニングされた検出器を使用した口腔特徴の有無の特徴付けを有する。

一実施例によれば、決定モジュールは、色検出アルゴリズム、キャニーエッジ検出アルゴリズム、デリッシュエッジ検出アルゴリズム、ソーベル演算子又はフィルタ、ハリスコーナー検出アルゴリズム、ガウシアンフィルタ、ヘシアン行列、及びローカルバイナリパターンアルゴリズムのうちの１つ以上を有する。

一実施例によれば、撮像装置又はシステムはスマートフォンであり、撮像装置はスマートフォンカメラである。

一態様によれば、１つ以上の高品質口腔画像を取得するよう構成された撮像装置が提供される。該撮像装置は、１つ以上の画像を取得するよう構成された撮像器と、前記撮像装置のユーザにフィードバックを提供するよう構成されたユーザインタフェースと、１つ以上の口腔画像を送信するよう構成された通信モジュールと、（ｉ）前記取得された口腔画像から１つ以上の特徴を抽出し、該抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有し、（ii）決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定し、（iii）前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記撮像装置又はシステムのユーザインタフェースを介して、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可し、（iv）送信が認可された場合、前記通信モジュールに、前記取得された口腔画像を歯科専門家に送信するよう指示するよう構成された、コントローラと、を有する処理装置と、を含む。

一態様によれば、１つ以上の高品質口腔画像を取得するよう構成された撮像システムが提供される。該撮像システムは、１つ以上の画像を取得するよう構成された撮像器と、１つ以上の口腔画像を送信するよう構成された通信モジュールと、を有する撮像装置と、前記撮像装置から１つ以上の口腔画像を受信するよう構成された通信モジュールと、（ｉ）前記受信された口腔画像から１つ以上の特徴を抽出し、該抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有し、（ii）決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定し、（iii）前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記撮像装置又はシステムのユーザインタフェースを介して、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可し、（iv）送信が認可された場合、前記通信モジュールに、前記取得された口腔画像を歯科専門家に送信するよう指示するよう構成された、コントローラと、を有する処理装置と、
を含む。

本開示の目的のため、ここで用いられる「コントローラ」なる語は、撮像装置、システム又は方法の動作に関連する種々の装置を一般的に記述するために用いられる。コントローラは、ここで議論される種々の機能を実行するよう種々の態様で実装され得る（例えば専用のハードウェアを用いて）。「プロセッサ」は、ここで議論される種々の機能を実行するようソフトウェア（例えばマイクロコード）を用いてプログラムされたものであっても良い１つ以上のマイクロプロセッサを利用するコントローラの一例である。コントローラは、プロセッサを利用して実装されても良いし、又はプロセッサを利用せずに実装されても良く、幾つかの機能を実行するための専用のハードウェアと他の機能を実行するためのプロセッサ（例えば１つ以上のプログラムされたマイクロプロセッサ及び関連する回路）との組み合わせとして実装されても良い。本開示の種々の実施例において利用され得るコントローラ要素の例は、限定するものではないが、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含む。

ここで用いられる「ユーザインタフェース」なる語は、人間のユーザ又は操作者と、ユーザと装置との間の通信を可能とする１つ以上の装置と、の間のインタフェースを示す。本開示の種々の実施例において利用され得るユーザインタフェースの例は、限定するものではないが、スイッチ、電位差計、ボタン、ダイヤル、スライダ、トラックボール、表示画面、種々のタイプのグラフィカルユーザインタフェース（ＧＵＩ）、タッチスクリーン、マイクロフォン、及びその他のタイプの何らかの形の人間により生成された刺激を受けてそれに応じて信号を生成し得るセンサを含む。

更に詳細に以下に議論される以上の概念及び更なる概念の全ての組み合わせは（斯かる概念は相互に矛盾しないものとする）、ここで開示される本発明の主題の一部として考えられることは、理解されるべきである。特に、本開示の末尾にある請求される主題の全ての組み合わせは、ここで開示される本発明の主題の一部として考えられる。

本発明のこれらの及び他の態様は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。

図面において、同様の参照文字は一般的に、異なる図を通して同じ部分を示す。また、図面は必ずしも定縮尺で描かれたものではなく、一般的に本発明の原理の説明に強調が施されている。

一実施例による撮像装置の模式的な表現である。 一実施例による撮像装置の模式的な表現である。 一実施例による高品質歯科画像を取得するための方法のフロー図である。 一実施例による撮像装置又はシステムのユーザに提供されるフィードバックの模式的な表現である。

本開示は、遠隔歯科医療のための方法及び装置の様々な実施例を記載している。より一般的には、本出願人は、高品質の口腔画像が個人によって得られることを確実にするシステムを提供することが有益であることを認識し理解した。従って、本明細書に記載されているか、又は他の方法で想定されている方法は、個人の歯科領域の１つ以上の画像を取得するように構成されたスマートフォン、スマートミラー、及び／又は他の撮像装置のような撮像装置又はシステムを提供する。撮像装置又はシステムは、画像品質に関連する特徴及び対象認識に関連する特徴を含む、１つ以上の特徴を口腔画像から抽出するように構成されたプロセッサを含む。プロセッサは、抽出された特徴が所定の特徴閾値を満たすかどうかを判断するために、抽出された特徴を分析する。抽出された特徴が所定の特徴閾値を満たさない場合、システムは、ユーザに該１つ以上の画像に関するフィードバックを提供し、これにより、ユーザは、より高品質の新しい画像を得ることができる。抽出された特徴量が所定の特徴量閾値を満たす場合、該１つ以上の画像は、歯科専門家に送信され、歯科専門家による分析のために利用される。

図１を参照すると、一実施例では、ユーザの口から画像を取得するように構成された撮像装置１００が示されている。撮像装置１００は、好ましくはデジタル形式で、口腔内画像を取得することができる撮像装置を備えた任意の装置であって良い。例えば、撮像装置１００は、スマートフォン、スマートミラー、ウェアラブル計算装置、デジタルカメラ、ラップトップ、及び／又は画像をキャプチャすることができる任意の他の計算装置又はキャプチャデバイスであっても良い。撮像装置１００は、任意に、本明細書に記載されているか、又は別の方法で想定されているような撮像システム又は方法の１つ以上の態様を容易にするアプリケーションなどのソフトウェアを含んでいても良い。

撮像装置１００は、ユーザの口から画像を取得するように構成された撮像器１０を有する。撮像器１０は、特に、ＣＣＤ又はＣＭＯＳセンサなどの画像センサである。例えば、撮像器１０は、スタンドアロン型のデジタルカメラであっても良いし、口腔ケア装置、スマートフォン、スマートミラー、ウェアラブル装置、及び／又は任意の他の計算装置又は画像キャプチャ装置に統合されたカメラであっても良い。撮像装置１００又は撮像器１０は、口腔内の１つ以上の領域を照明するように構成された光源２０を有しても良いし、そうでなければ斯かる光源と通信可能であっても良い。例えば、光源２０は、装置１００又はシステムに関連するフラッシュ又は他の光源であっても良い。光源２０は、高品質の口腔撮像を容易にすることができる光を発するＬＥＤ光源などの任意の光源であっても良いし、構成されていても良い。一実施例によれば、光源は、２つ以上の光源からの光を有しても良い。撮像器１０及び／又は光源２０は、周期的に、連続的に、及び／又は刺激に応答して動作するように構成されても良い。例えば、撮像器１０及び光源２０は、ユーザが画像を撮影することに応答して、又はユーザが口腔の一部にわたって撮像器を位置決めすることに応答して、撮像器によってリアルタイムで検出された画像を得ることができる。

撮像装置１００は更に、撮像器１０から得られた１つ以上の画像を受信するように構成されたコントローラ３０を有する。コントローラ３０は、１つ又は複数のモジュールで形成されても良く、ユーザインタフェースを介して得られる入力などの入力に応答して撮像器１０を動作させるように構成されても良い。コントローラ３０は、例えば、少なくともプロセッサ３２を有することができる。プロセッサ３２は、マイクロコントローラ、複数のマイクロコントローラ、回路、単一のプロセッサ、又は複数のプロセッサを含むがこれらに限定されない、任意の適切な形態をとることができる。コントローラ３０及び／又は撮像装置１００はまた、メモリ４０を有しても良い。メモリ４０は、不揮発性メモリ及び／又はＲＡＭを含む任意の好適な形態をとることができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、又はソリッドステートドライブ（ＳＳＤ）を含んでも良い。メモリは、数あるなかでも、オペレーティングシステムを記憶することができる。ＲＡＭは、データの一時的な記憶のためにプロセッサによって使用される。一実施例によれば、オペレーティングシステムは、コントローラ３０によって実行されると、撮像装置１００のハードウェア構成要素の動作を制御するコードを含むことができる。

撮像装置１００は更に、有線及び／又は無線通信ネットワークを介して情報を受信及び／又は送信するように構成された通信モジュール５０を有する。通信モジュール５０は、Wi-Fi（登録商標）、Bluetooth（登録商標）、近距離通信、及び／又はセルラーモジュールを含むがこれらに限定されない、有線又は無線信号を送信することが可能な任意のモジュール、デバイス、又は手段であり得る。通信モジュール５０は、例えば、撮像器によって得られた１つ以上の画像を送信することができる。

一実施例によれば、撮像装置１００は、ユーザに情報を提供するように構成された及び／又はユーザから情報を受信するように構成されたユーザインタフェース６０を含む。ユーザインタフェース６０は、多くの異なる形態をとることができるが、ユーザに情報を提供するように構成され、及び／又はユーザから情報を受信するように構成されている。例えば、情報は、読まれ、見られ、聴かれ、感じられ、及び／又はそうでなければ解釈され得る。従って、ユーザインタフェースは、ユーザに情報を提供するディスプレイ、ユーザに触覚フィードバックを提供する触覚機構、ユーザに音又は言葉を提供するためのスピーカ、単純なＬＥＤライト又はＬＥＤのアレイ、又は他の様々なユーザインタフェース機構のいずれかであっても良い。一実施例によれば、ユーザインタフェース６０は、画像が得られると同時に、又は画像が得られた後に、ユーザにフィードバックを提供する。例えば、ユーザインタフェース６０は、本明細書に記載されているか、又は想定され得る方法により、画像が十分な品質ではないと判断された場合に、ユーザに通知することができる。ユーザインタフェース６０はまた、他の多くのタイプの情報及びガイダンスのうち、取得すべき画像について又は画像の改善について、ユーザに指示又はガイダンスを提供しても良い。

図２を参照すると、一実施例では、ユーザの口から高品質の画像を取得するように構成された撮像システム２００が示されている。この実施例によれば、撮像システム２００は、撮像装置１００及び処理装置１２０を有する。撮像装置１００は、ユーザの口の１つ又は複数の画像を取得するように構成され、それらの画像を、ローカル又はリモートに配置されていても良い、又は撮像装置１００の一部であっても良い、処理装置１２０に送信するように構成されている。処理装置１２０は、撮像装置から受信した１つ以上の画像を受信して分析し、品質が本明細書に記載されているか又は想定され得る方法によって決定される高品質の画像を、歯科専門家に送信するように構成されている。

撮像装置１００は、好ましくはデジタル形式で、口腔内画像を取得することが可能な撮像器を有する任意の装置であっても良い。例えば、撮像装置１００は、スマートフォン、スマートミラー、ウェアラブル計算装置、デジタルカメラ、ラップトップ、及び／又は画像をキャプチャすることができる任意の他の計算装置又はキャプチャデバイスであっても良い。撮像装置１００は、任意に、本明細書に記載されているか又は想定され得るような撮像システム又は方法の１つ以上の態様を容易にするアプリケーションなどのソフトウェアを含んでいても良い。撮像装置１００は、ユーザの口から画像を取得するように構成されたＣＣＤ又はＣＭＯＳセンサなどの撮像器１０を有する。撮像装置１００は、スタンドアロン型のデジタルカメラであっても良いし、口腔ケアデバイス、スマートフォン、スマートミラー、ウェアラブル装置及び／又は他の任意の計算装置に統合されたカメラであっても良い。撮像装置１００は、口腔内の１つ以上の領域を照明するように構成された光源２０を有しても良い。また該装置は、ユーザインタフェースを有しても良い。

撮像装置１００はまた、有線及び／又は無線通信ネットワークを介して情報を受信及び／又は送信するように構成された通信モジュール５０ａを有する。通信モジュール５０ａは、Wi-Fi（登録商標）、Bluetooth（登録商標）、近距離通信、及び／又はセルラーモジュールを含むがこれらに限定されない、有線又は無線信号を送信することが可能な任意のモジュール、装置、又は手段であり得る。通信モジュール５０ａは、例えば、撮像器によって得られた１つ以上の画像を処理装置１２０に送信することができる。

一実施例によれば、撮像装置１００はまた、ユーザに情報を提供するように構成された、及び／又はユーザからの情報を受信するように構成された、本明細書に先に記載されたようなユーザインタフェース６０のようなユーザインタフェース６０ａを含む。ユーザインタフェース６０ａは、多くの異なる形態をとることができ、ユーザに情報を提供するように構成され、及び／又はユーザからの情報を受信するように構成されている。一実施例によれば、ユーザインタフェース６０ａは、画像が得られるにつれて、又は画像が得られた後に、ユーザにフィードバックを提供する。例えば、ユーザインタフェース６０ａは、本明細書に記載されているか又は想定され得る方法により、画像が十分な品質ではないと判断された場合に、ユーザに通知することができる。ユーザインタフェース６０ａはまた、他の多くの種類の情報及びガイダンスのうち、取得すべき画像についての指示又はガイダンス、又は画像の改善についてのガイダンスをユーザに提供することができる。

処理装置１２０は、撮像装置１００から画像を受信するように構成された任意の装置であり得る。例えば、処理装置１２０は、スマートフォン、スマートミラー、ウェアラブル計算装置、ラップトップ、及び／又は他の任意の計算装置であっても良い。処理装置１２０は任意に、本明細書に記載されているか又は想定され得るような画像化システム又は方法の１つ以上の態様を容易にするアプリケーションなどのソフトウェアを含んでいても良い。

処理装置１２０は、撮像装置から得られた１つ以上の画像を受信するように構成されたコントローラ３０を有する。コントローラ３０は、１つ又は複数のモジュールで形成されても良く、例えば、プロセッサ３２を有しても良い。プロセッサ３２は、マイクロコントローラ、複数のマイクロコントローラ、回路、単一のプロセッサ、又は複数のプロセッサを含むがこれらに限定されない、任意の適切な形態をとることができる。処理装置１２０は、不揮発性メモリ及び／又はＲＡＭを含むがこれらに限定されない任意の適切な形態をとることができるメモリ４０を有しても良い。メモリ４０は、１つ以上の受信された画像又は任意の他の情報若しくは命令を記憶するように構成されても良い。

処理装置は更に、撮像装置１００の通信モジュール５０ａから送信された情報を含む、有線及び／又は無線通信ネットワークを介して情報を受信及び／又は送信するように構成された通信モジュール５０ｂを有する。通信モジュール５０ｂは、Wi-Fi（登録商標）、Bluetooth（登録商標）、近距離通信、及び／又はセルラーモジュールを含むがこれらに限定されない、有線又は無線信号を送信することができる任意のモジュール、装置、又は手段であっても良い。

一実施例によれば、処理装置１２０は、ユーザに情報を提供し、及び／又はユーザから情報を受信するように構成されたユーザインタフェース６０ｂを含む。ユーザインタフェース６０ｂは、多くの異なる形態をとることができ、ユーザに情報を提供するように構成され、及び／又はユーザからの情報を受信するように構成されている。一実施例によれば、ユーザインタフェース６０ｂは、画像が得られるにつれて、又は画像が得られた後に、ユーザにフィードバックを提供する。例えば、ユーザインタフェース６０ｂは、本明細書に記載されているか又は想定され得る方法により、画像が十分な品質ではないと判断された場合に、ユーザに通知することができる。ユーザインタフェース６０ｂはまた、他の多くの種類の情報及びガイダンスのうち、取得すべき画像について、又は画像の改善について、ユーザに指示又はガイダンスを提供することができる。

図３を参照すると、一実施例において、ユーザの口から高品質の画像９０を得るための方法３００のフロー図が示されている。ステップ３１０では、撮像システムが提供される。撮像システムは、本明細書に記載されているか又は想定され得る、撮像システムのいずれであっても良い。例えば、撮像システムは、多くの装置又はシステムの中でも、撮像装置１００又は撮像システム２００であっても良い。一般に、撮像システムは、ユーザの口の１つ以上の画像９０を取得するように構成された撮像器１０と、取得された１つ以上の画像を受信して解析するように構成されたコントローラ３０と、有線及び／又は無線通信システムを介して情報を送信及び／又は受信するように構成された通信モジュール５０と、ユーザからの情報を受信し、及び／又はユーザに情報を提供するように構成されたユーザインタフェース６０とを有する。方法３００は、撮像装置１００及び撮像システム２００の枠組みの中で記載されているが、本明細書に記載されているか、又は想定され得る、他の適切に構成された撮像装置又はシステムを使用して実装されても良い。

本方法のステップ３２０において、ユーザの口の１つ以上の画像９０が、撮像装置１００の撮像器１０を用いて得られる。好適な実施例によれば、撮像装置は、スマートフォン、ラップトップ、又は他の接続されたカメラのようなスマートな接続媒体に統合された２次元撮像センサであり、スペクトルの可視部分の波長の撮像を可能にする。任意の実施例では、波長の取得は、光スペクトルの関連部分で感度の高い撮像センサを使用して、近赤外から中赤外の波長を含むことができる。

一実施例によれば、予めプログラムされているか、又は検出されているかのいずれかであり得る、得られた画像９０内の所定のキーポイントにおいて、画像特性によって、１つ以上の撮像センサパラメータが制御されるか、又は決定される。例えば、カメラの自動ホワイトバランスは、歯の領域で識別された色レベルの平均特性に基づいて設定することができ、ユーザが手動で整列させる画像オーバーレイによって、又はヒューリスティック若しくは機械学習的な方法で色特性を使用して歯を検出することによって検出することができる。別の実施例では、カメラの露出が、画像の視野全体ではなく、ユーザの口の中などの特定のキー領域内に含まれるピクセル特性によってのみ決定される。この特定の制御は、画像のキャプチャが、関心のある領域のみに最適なセンサ設定を提供することにのみ焦点を当てられることを保証する。斯くして、口の中、頬、体、又は背景の望まない領域は、歯科専門家による更なる分析のために無関係であるとみなされる。

一実施例によれば、画像のキャプチャは、1つ又は複数の画像をキャプチャすることを有する。例えば、本システムは、Apple iOSによって有効化された「ライブ」写真のような一連の画像を取得して、（ｉ）システムが、決定モジュールに規定された基準に従って、又は決定モジュールによって設定された基準に従って、最適な画像を自動的に選択すること、又は（ii）歯科専門家が、分析のために一連の画像から最も適切な画像を選択すること、を可能にする。

一実施例によれば、ユーザは、傷害、痛み若しくは他の刺激に応答して、又は予定された検診若しくは他の定期的なメンテナンス若しくはケアの一部として、歯科専門家と共有するための画像を取得することを所望し得る。ユーザは、１つ又は複数の画像を取得するための通知又は他の刺激を受信しても良い。撮像装置１００は、画像が必要であることをユーザに通知するアプリなどのソフトウェアを有しても良い。例えば、撮像装置１００は、ルーチン画像を取得するための通知を提供するアプリがインストールされたスマートフォンであっても良い。代替として、ユーザは、ソフトウェア又はオンラインのウェブサイト又はサービスにアクセスすることによって遠隔歯科医療を起動しても良く、１つ又は複数の画像を取得するように促される。従って、撮像装置１００は、当該セッションについてどの画像を取得すべきかについての指示を受信しても良く、これらの指示は、ユーザ及び／又は歯科専門家からの情報に基づいて、全体的又は部分的に促されても良い。例えばユーザは、数あるなかでも、特定の角度で画像を取得するように、又は視野内に特定の歯を含めるように、促されても良い。

撮像器を介してユーザによって得られる画像は、歯肉、歯、舌、又は口腔内の他の任意の部分を含むがこれらに限定されない、ユーザの口腔内の任意の部分の画像であっても良い。画像は、直ちに分析されても良いし、リアルタイム又はリアルタイムに近いバッチ処理のために保存されても良い。画像は、分析のために装置によって保持されても良いし、本明細書に記載されているように又は想定され得るように、下流の分析のために別の装置に送信されても良い。画像９０は、特徴抽出及び分析のためにコントローラ３０に送信され、及び／又は受信される。

該方法のステップ３３０では、コントローラ３０は、得られた１つ以上の口腔画像９０から１つ以上の特徴９０'を抽出する。一実施例によれば、コントローラ３０は、他の多くの特徴タイプが可能であるが、画質特徴及び対象認識特徴を含む、少なくとも２つ以上の特徴セットを１つ以上の画像から抽出する。

一実施例によれば、コントローラ３０は、ユーザが画像取得プロセスに与える影響の特徴化を対象とした１つ以上の画質特徴９０'を抽出する。画質特徴９０'は例えば、画像内の関心領域内で利用可能な高周波成分の量を定量化するための離散ウェーブレット変換又は周波数分析を使用したぼやけ量を含むことができる。別の例としては、画質特徴量９０'は、しきい値化及び／又はガウスフィルタを用いた「ホットスポット」の検出のいずれかを用いた鏡面ハイライトの量を含むことができる。別の例としては、画質特徴量９０'は、関心領域にわたって各チャネル内の色の利用可能な分布を計算することによるダイナミックレンジ検出を含んでも良い。画質特徴９０'は、本明細書に記載されたものに加えて、他の画質特徴を含んでも良い。

一実施例によれば、コントローラ３０は、画像センサが画像取得プロセスに与える影響の特徴付けを対象とする画像内容特徴を抽出する。画像内容特徴は、例えば、専用テンプレートを使用した出力のフィルタリングを含んでも良い。各画像は、診断プロセスに関連する口の中の特定の部分を表すことが予想されるので、撮影画像を所定のテンプレートと相関させることにより、撮影画像とターゲットとがどれだけ類似しているかを特徴付けるメトリックが提供される。このプロセスは、ハール型特徴、色ベースの特徴、又は他の特徴を利用しても良い。別の例としては、画像内容特徴は、トレーニングされた検出器によって構成されるか、利用されるか、又は分析されることができる。各画像は、歯又は歯茎のような口の特定の部分を含むことが予想されるので、任意に機械学習アルゴリズムを利用することができるトレーニングされた検出器は、歯科専門家によって実行される分析に不可欠な、斯かる重要な口の部分の有無を特徴付けるメトリックを提供しても良い。画質特徴は、本明細書に記載されたものに加えて、他の画像内容特徴を含んでも良い。

一実施例によれば、該特徴は、任意の特徴抽出方法、アルゴリズム、又はフィルタを使用して抽出又は分析することができる。例えば、該特徴抽出方法、アルゴリズム、又はフィルタは、色検出、キャニーエッジ検出、デリッシュエッジ検出、ソーベル演算子又はフィルタ、ハリスコーナー検出、ガウスフィルタ、ガウスのラプラシアンに基づくブロブ検出、ヘシアン行列、局所的な二値パターン、及び／又は他の任意の特徴抽出方法、アルゴリズム、又はフィルタを有しても良い。

抽出されると、１つ以上の特徴は、リアルタイムで又はリアルタイムに近く分析することができ、又はその後の分析のために保存することができる。例えば、抽出された１つ以上の特徴は、メモリ４０に格納することができ、抽出された特徴は、メモリ内で、画像９０又はそれらが得られた画像と関連付けることができる。

該方法のステップ３４０において、撮像システム２００は、抽出された１つ以上の特徴が所定の特徴閾値を満たすかどうかを判定する。一実施例によれば、撮像装置又はシステムは、１つ以上の抽出された特徴を分析するように構成された決定モジュール８０を有する。決定モジュール８０は、歯科専門家への画像データの送信を効果的に制御する。画質が悪い場合、及び／又は要求された特徴を含まない場合、フィードバックがユーザに提供される。画質が十分に高い場合、及び／又は要求された特徴を含む場合、画像は歯科専門家に送信され得る。

決定モジュール８０は例えば、抽出された１つ以上の特徴９０'を予め定められた特徴閾値と比較して、画像が歯科専門家に送信され及び／又は歯科専門家によって利用され得る高品質の画像であるとみなすのに十分な品質であるかどうかを決定するように、プログラム又は構成されていても良い。画像は、比較に基づいて認可されるか又は却下される。一実施例によれば、決定モジュール８０は、ヒューリスティックモデル又は関数を使用して、抽出された１つ以上の特徴９０'を分析するようにプログラム又は構成される。別の実施例によれば、決定モジュール８０は、決定木、ナイーブベイズ分類器、サポートベクターマシン、又は類似の分類器又はアルゴリズムのような分類システムを使用して、１つ以上の抽出された特徴を分析するようにプログラムされるか、又は構成される。別の実施例によれば、決定モジュール８０は、ニューラルネットワーク及び／又はアンサンブル法のような機械学習及び／又は人工知能を使用して、１つ以上の抽出された特徴を分析するようにプログラムされるか又は構成される。

該方法のステップ３５０において、決定モジュール８０は、抽出された１つ以上の特徴９０'がステップ３４０において所定の特徴閾値を満たさない場合、ユーザによって得られた画像が不十分であると決定し、代替画像を得るためにユーザにフィードバックを提供する。フィードバックは、ユーザフィードバックを介して提供されても良いし、他の任意の機構を介して提供されても良い。例えば、ユーザは、画像が不十分であるという視覚的、触覚的、可聴的、又は他の通知を受け取ることができる。画像は、例えば、画質が悪い場合、及び／又は所望の又は要求された口の部分を含まない場合、不十分とされ得る。

図４を参照すると、例えば上図では、ユーザによって得られた画像はぼやけており、及び／又は口の適切な部分が含まれていない。従って、該方法のステップ３４０において、決定モジュール８０は、１つ以上の抽出された特徴９０'が所定の特徴閾値を満たさないと決定する。ステップ３５０において、撮像システムは、「キャプチャが要求された歯を示さない」というフィードバックをユーザに提供し、ユーザに、好ましくは要求された口の中の適切な部分を含む新しい画像を取得するように促す。ユーザにフィードバックを提供する他の多くの方法が可能である。

該方法のステップ３６０において、画像が所定の閾値を満たさない場合、ユーザはステップ３２０に戻り、撮像装置を使用して追加の１つ以上の画像を取得する。ステップ３６０は、得られた画像及び／又は所望の画像に関するユーザへのシステム又は装置からのフィードバック又は指示を有しても良い。代替としては、該撮像システムは、以前に得られた第２の画像（典型的には同じ場所の）を分析し、第２の画像がステップ３４０において予め定められた特徴閾値を満たすかどうかを判断するために分析を繰り返す。このことは無制限の回数繰り返されても良い。

代替として、該方法のステップ３７０において、決定モジュール８０は、抽出された１つ以上の特徴がステップ３４０における所定の特徴閾値を満たす場合、ユーザによって得られた画像が十分に高品質であること、及び／又は口の所望の部分又は要求された部分を含むことを決定する。従って、画像処理システムは、次いで、得られた口腔画像の歯科専門家への送信を許可するか、又は開始することができる。これにより、現在の遠隔歯科医療の実施例における問題である、無駄な時間の浪費や、画像が不十分であることによる劣った診断を防止することができる。

従って、該方法のステップ３８０において、十分に高品質であると判断された画像、及び／又は口の所望又は要求された部分を含むと判断された画像は、画像が認可されるとリアルタイムで、又は所定の数又は品質の画像が得られた後にのみ、歯科専門家又は歯科専門家によって利用されるサービスに送信することができる。画像は、撮像装置又はシステムの通信モジュール５０を使用して、有線及び／又は無線通信を介して、歯科専門家又は他の第三者のシステム又はサービスに送信することができる。該システムは、要求された数の十分に高い品質の画像が得られた場合、及び／又は特定の領域が十分に高い品質の画像に写っている場合にのみ、歯科専門家又は他の第三者のシステム若しくはサービスに画像を送信するように構成又は設計されていても良い。例えば、該システムは、歯科専門家又は他の第三者のシステム若しくはサービスへの画像の送信を許可する前に、上歯と下歯の両方、若しくは前歯と奥歯の両方、又は特定の歯の十分に高い品質の画像を要求するように構成されていても良い。

ここで定義され使用される全ての定義は、辞書の定義、参照により本明細に組み込まれた文献における定義、及び／又は定義された語の通常の意味に対して優先されるものと理解されるべきである。

本明細及び請求項において用いられる不定冠詞「１つの（a及びan）」は、明示されない限り、「少なくとも１つ」を意味するものとして理解されるべきである。

本明細及び請求項において用いられる「及び／又は（and/or）」なる句は、斯様に併記された要素の「いずれか又は両方」、幾つかの場合においては結合して存在し、別の場合においては離隔されて存在する要素を意味するものとして理解されるべきである。「及び／又は」により列記された複数の要素は、同様に解釈されるべきであり、即ち斯様に併記された要素の「１つ以上」として解釈されるべきである。「及び／又は」節により明示的に特定される要素の以外の要素が、明示的に特定されたこれら要素に関連するものであっても関連しないものであっても、任意に存在しても良い。

本明細及び請求項において用いられる「又は（or）」は、以上に定義された「及び／又は」と同じ意味を持つと理解されるべきである。例えば、リスト中のアイテムを分離するとき、「又は」又は「及び／又は」は包含的なものとして解釈されるべきであり、即ち、要素の数又はリストの少なくとも１つ、更には１つよりも多く、任意には列記されていない更なるアイテムを含むことも包含するものとして解釈されるべきである。「１つのみ」若しくは「ちょうど１つ」又は請求項において用いられる場合には「から成る（consisting of）」といった、その反対を明示的に示す語のみが、要素の数又はリストの１つの要素のみの包含を示す。一般的に、ここで用いられる語「又は」は、「いずれか」、「１つ」、「１つのみ」又は「ちょうど１つ」といった排他的な語を伴う場合に、排他的な代替を示すものとして解釈されるべきである。

１つ以上の要素のリストに関して、本明細及び請求項において用いられる「少なくとも１つ（at least one）」なる句は、該要素のリストにおける要素のいずれか１つ以上から選択された少なくとも１つの要素を意味するものとして理解されるべきであるが、該要素のリスト内に明示的に列記された全ての要素の少なくとも１つを必ずしも含まず、該要素のリストにおける要素のいずれかの組み合わせを除外するものではない。この定義は、「少なくとも１つ」なる句が参照する要素のリスト内に明示的に特定された要素以外の要素が、明示的に特定されたこれら要素に関連するものであっても関連しないものであっても、任意に存在し得ることを許容する。

明示的に示されない限り、１つより多いステップ又は動作を含む、請求項に記載されるいずれの方法においても、該方法のこれらステップ及び動作の順序は、必ずしも該方法のステップ及び動作が列記された順序に限定されるものではないことも、理解されるべきである。

請求項、及び以上の明細書において、「有する（comprising）」、「含む（including）」、「担持する（carrying）」、「持つ（having）」、「包含する（containing）」、「伴う（involving）」、「保持する（holding）」、「から構成される（composed of）」等のような全ての遷移句は、非制限的なものとして理解されるべきであり、即ち含むが限定するものではないことを意味するものと理解されるべきである。「から成る（consisting of）」及び「から基本的に成る（consisting essentially of）」なる遷移句のみが、制限的又は半制限的な遷移句であるべきである。

幾つかの本発明の実施例がここで説明され例示されたが、当業者は、機能を実行するため及び／又はここで説明された結果及び／又は利点の１つ以上を得るため、多様な他の手段及び／又は構造を容易に想到するであろう。斯かる変形及び／又は変更のそれぞれは、ここで説明された本発明の実施例の範囲内であるとみなされる。更に一般的に、当業者は、ここで説明された全てのパラメータ、寸法、材料及び構成は、例であることが意図されたものであり、実際のパラメータ、寸法、材料及び／又は構成は、本発明の教示が利用される特定の用途に依存することを、容易に理解するであろう。当業者は、単なる一般的な実験を用いて、ここで説明された特定の本発明の実施例に対する多くの同等物を認識し、又は確認することが可能である。それ故、以上の実施例は、単に例として提示されたものであり、添付される請求項及びその等価物の範囲内において、本発明の実施例は、明示的に記載されて請求されるものとは異なって実行され得る。本開示の本発明の実施例は、ここで説明されたそれぞれの個々の特徴、システム、物品、材料、キット及び／又は方法に向けたものである。更に、斯かる特徴、システム、物品、材料、キット及び／又は方法の２つ以上のいずれかの組み合わせもが、斯かる特徴、システム、物品、材料、キット及び／又は方法が相互に矛盾しない場合には、本開示の本発明の範囲内に含まれる。

Claims (15)

1. 撮像装置又はシステムを用いて１つ以上の口腔画像を取得するための方法であって、
   前記撮像装置又はシステムの撮像器を用いて、口腔画像を取得するステップと、
   前記撮像装置又はシステムのコントローラにより、前記取得された口腔画像から１つ以上の特徴を抽出するステップであって、前記抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有する、ステップと、
   決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定するステップと、
   前記撮像装置又はシステムのユーザインタフェースを介して、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可するステップと、
   前記伝送が認可された場合、前記取得された口腔画像を歯科専門家に送信するステップと、
   を有する方法。
2. 前記ユーザにフィードバックを提供するステップは、前記所定の特徴閾値を満足する特徴を持つ画像を得るよう前記ユーザに指示を提供するステップを有する、請求項１に記載の方法。
3. 前記撮像装置又はシステムは、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、新たな口腔画像を取得するようユーザに指示するよう構成された、請求項１に記載の方法。
4. 前記取得された口腔画像内の１つ以上の点における画像特性により１つ以上の撮像器パラメータが制御又は決定される、請求項１に記載の方法。
5. 前記画像品質特徴は、ぼやけ量、鏡面ハイライト量、及び／又はダイナミックレンジ検出を有する、請求項１に記載の方法。
6. 前記対象認識特徴は、テンプレートを用いた出力フィルタリングの結果、及び／又はトレーニングされた検出器を用いた口腔特徴の存在又は不在の特徴付けを有する、請求項１に記載の方法。
7. 前記決定モジュールは、色検出アルゴリズム、カニーエッジ検出アルゴリズム、デリッシュエッジ検出アルゴリズム、ソーベル演算子又はフィルタ、ハリスコーナー検出アルゴリズム、ガウシアンフィルタ、ヘシアン行列、及びローカルバイナリパターンアルゴリズムのうち１つ以上を用いて、前記１つ以上の抽出された特徴を分析する、請求項１に記載の方法。
8. 前記撮像装置又はシステムはスマートフォンであり、前記撮像器はスマートフォンのカメラである、請求項１に記載の方法。
9. １つ以上の高品質口腔画像を取得するよう構成された撮像装置であって、
   １つ以上の画像を取得するよう構成された撮像器と、
   前記撮像装置のユーザにフィードバックを提供するよう構成されたユーザインタフェースと、
   １つ以上の口腔画像を送信するよう構成された通信モジュールと、
   前記取得された口腔画像から１つ以上の特徴を抽出し、該抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有し、決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記撮像装置又はシステムのユーザインタフェースを介して、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可し、送信が認可された場合、前記通信モジュールに、前記取得された口腔画像を前記歯科専門家に送信するよう指示するよう構成された、コントローラと、を有する処理装置と、
   を有する撮像装置。
10. 前記画像品質特徴は、ぼやけ量、鏡面ハイライト量、及び／又はダイナミックレンジ検出を有する、請求項９に記載の撮像装置。
11. 前記対象認識特徴は、テンプレートを用いた出力フィルタリングの結果、及び／又はトレーニングされた検出器を用いた口腔特徴の存在又は不在の特徴付けを有する、請求項９に記載の撮像装置。
12. 前記撮像装置又はシステムはスマートフォンであり、前記撮像器はスマートフォンのカメラである、請求項９に記載の撮像装置。
13. １つ以上の高品質口腔画像を取得するよう構成された撮像システムであって、
    １つ以上の画像を取得するよう構成された撮像器と、１つ以上の口腔画像を送信するよう構成された通信モジュールと、を有する撮像装置と、
    前記撮像装置から１つ以上の口腔画像を受信するよう構成された通信モジュールと、前記受信された口腔画像から１つ以上の特徴を抽出し、該抽出された１つ以上の特徴は、少なくとも画像品質特徴及び対象認識特徴を有し、決定モジュールにより、前記１つ以上の抽出された特徴が所定の特徴閾値を満足するか否かを決定し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足しない場合、前記撮像装置又はシステムのユーザインタフェースを介して、前記取得された口腔画像に関するフィードバックをユーザに提供し、前記１つ以上の抽出された特徴が前記所定の特徴閾値を満足する場合、歯科専門家への前記取得された口腔画像の送信を認可し、送信が認可された場合、前記通信モジュールに、前記取得された口腔画像を前記歯科専門家に送信するよう指示するよう構成された、コントローラと、を有する処理装置と、
    を有する撮像システム。
14. 前記画像品質特徴は、ぼやけ量、鏡面ハイライト量、及び／又はダイナミックレンジ検出を有する、請求項１３に記載の撮像システム。
15. 前記対象認識特徴は、テンプレートを用いた出力フィルタリングの結果、及び／又はトレーニングされた検出器を用いた口腔特徴の存在又は不在の特徴付けを有する、請求項１３に記載の撮像システム。
    

Images