JP7394330B2 - 口腔内カメラシステム及び撮影動作判定方法 - Google Patents

Description

本開示は、口腔内カメラシステム及び撮影動作判定方法に関する。

口腔内の歯牙の画像を取得する方法が特許文献１に開示されている。

特開２０１２－２１７７６２号公報

歯牙の画像を撮影する際には、撮影精度を向上できることが望まれている。

そこで、本開示は、撮影精度を向上できる口腔内カメラシステム及び撮影動作判定方法を提供することを目的とする。

本開示の一態様に係る口腔内カメラシステムは、口腔内の撮影対象の歯牙を撮影した画像データを生成する撮影部と、前記撮影部が生成した前記画像データに対して二次元平面座標を定義し、前記撮影部の全撮影領域において前記撮影対象の歯牙の輪郭の位置座標を抽出する位置座標抽出部と、前記撮影対象の歯牙の輪郭の一部が前記撮影部の全撮影領域の内側に設定された有効領域の外にある場合、前記撮影対象の歯牙が前記有効領域から外れていると判定する画像判定部と、を備える。

本開示は、撮影精度を向上できる口腔内カメラシステム及び撮影動作判定方法を提供できる。

図１は、ユーザが口腔内カメラで下顎の歯牙を歯冠側から撮影を行っている状態を示す図である。 図２は、ユーザが歯列に沿って歯冠側から撮影を行った場合の歯牙画像の一例を示した図である。 図３は、ユーザが歯列に沿って歯冠側から撮影を行っていた途中で口腔内カメラが歯列から外れた場合の歯牙画像の一例を示した図である。 図４は、実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。 図５は、実施の形態に係る口腔内カメラシステムの概略的構成図である。 図６は、実施の形態に係る口腔内撮影動作の全体の流れを示すフローチャートである。 図７は、実施の形態に係る撮影手順を模式的に示す図である。 図８は、実施の形態に係る撮影手順を模式的に示す図である。 図９は、実施の形態に係る撮影手順を模式的に示す図である。 図１０は、実施の形態に係る撮影手順を模式的に示す図である。 図１１は、実施の形態に係る撮影手順を模式的に示す図である。 図１２は、実施の形態に係る撮影手順を模式的に示す図である。 図１３は、実施の形態に係る口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。 図１４は、実施の形態に係る口腔内の歯牙を示す図である。 図１５は、実施の形態に係る携帯端末の機能ブロック図である。 図１６は、実施の形態に係る画像判定部の判定処理の一例で、認識対象の歯牙が有効画面領域に入っている状態を示す図である。 図１７は、実施の形態に係る画像判定部の判定処理の一例で、認識対象の歯牙が有効画面領域から外れている状態を示す図である。 図１８は、実施の形態に係る口腔内の領域の例を示す図である。 図１９は、実施の形態に係る参照データの分類の例を示す図である。 図２０は、実施の形態に係る参照データの例を示す図である。 図２１は、実施の形態に係る種別識別処理のフローチャートである。 図２２は、実施の形態に係る歯牙の画像の例を示す図である。 図２３は、実施の形態に係る種別識別処理の別の例を示すフローチャートである。 図２４は、実施の形態に係る歯牙が抜けているユーザの口腔内の状態を示す図である。 図２５は、実施の形態に係る有効領域判定処理及び撮影順序判定処理のフローチャートである。

（本開示に至った経緯）
本開示の実施の形態等の説明に先立ち、本開示の基礎となった知見について説明する。

ユーザが歯牙を口腔内カメラで撮影する際に、撮影している画像が操作軌道（必要な歯列の画像を撮影する軌道）から外れていてもユーザは不具合に気づくことが難しい。例えば口腔内カメラにより奥歯を撮影する場合、頬肉を押し広げる操作を行いながら撮影することになる。その場合、頬肉を押し広げることで口腔内カメラを安定した状態で歯牙に接触させることができると言い得るが、前歯に向けて撮影箇所を移動する際に頬肉を押し広げる動作から解放される際、あるいは頬肉の動き等により手振れが発生し、口腔内カメラが本来の歯列に沿った操作軌道から外れる場合が起り得る。

図１は、口腔内カメラを用いた撮影の様子を模式的に示す図である。図１において破線で示す軌道Ａは、ユーザが口腔内カメラ１０で下顎の右側の第２大臼歯から第１大臼歯、第２小臼歯、第１小臼歯、犬歯、側切歯、中切歯の順番で歯冠側から撮影を行っている状態を示している。図２は、ユーザが歯列に沿って歯冠側からの撮影を行った場合の第１大臼歯、第２小臼歯、第１小臼歯、犬歯の歯冠面側からの撮影結果を示す図である。図２に示す画像では、各歯牙の全体が有効撮影領域に入っている。よって、これらの画像は、歯牙の種類および位置の識別、並びにパノラマ画像の生成に適している。

これに対し、図１において実線で示す軌道Ｂは、口腔内カメラ１０が第１小臼歯の撮影後に頬肉に押される等して舌側にずれた場合を示している。図３は、この場合の撮影結果を示す図である。図３に示す例では、第１大臼歯、第２小臼歯、第１小臼歯までの画像として、歯牙の種類および位置の識別、並びにパノラマ画像の生成に適した画像が取得できているが、犬歯の一部が撮影有効範囲から外れており、この画像は、歯牙の種類および位置の識別、並びにパノラマ画像の生成に適さない。

また、ユーザ自身が口腔内カメラ１０を手動で操作しながら歯牙の撮影を行うため、例えば、手振れ等により第２小臼歯の撮影後に第１小臼歯をとばして犬歯の撮影を行ってしまう場合も起こり得る。このような撮影の不具合が発生すると再撮影を行うことになり、ユーザの使用感を損ねることになる。

そこで、本願発明者らは、口腔内カメラの撮影部により撮影された歯牙の画像データに基づいて、歯牙の種類や位置の識別、あるいは、歯列のパノラマ画像の生成が容易にできる口腔内カメラシステムについて鋭意検討を行い、以下に説明する口腔内カメラシステムを創案した。

本開示の一態様に係る口腔内カメラシステムは、口腔内の撮影対象の歯牙を撮影した画像データを生成する撮影部と、前記撮影部が生成した前記画像データに対して二次元平面座標を定義し、前記撮影部の全撮影領域において前記撮影対象の歯牙の輪郭の位置座標を抽出する位置座標抽出部と、前記撮影対象の歯牙の輪郭の一部が前記撮影部の全撮影領域の内側に設定された有効領域の外にある場合、前記撮影対象の歯牙が前記有効領域から外れていると判定する画像判定部と、を備える。

これによれば、当該口腔内カメラシステムは、歯牙が有効領域から外れているか否かを判定できる。よって、例えば、ユーザに歯牙が有効領域から外れていることを通知し、再撮影等を促すことできるので、撮影精度を向上できる。また、ユーザは、正しい撮影を容易に行うことができるので、ユーザの使用感を向上できる。また、当該口腔内カメラシステムは、歯牙が有効領域から外れているか否かを適切に判定できるので、撮影精度を向上できる。

例えば、前記撮影部は、連続する複数のフレームを撮影可能であり、前記撮影対象の歯牙の輪郭の一部が前記全撮影領域に入ってから、前記全撮影領域から外れるまでの期間内における前記画像判定部の判定結果を監視し、当該連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、ユーザに、撮影が失敗した旨を通知する通知部を備えてもよい。

これによれば、当該口腔内カメラシステムは、歯牙が有効領域から外れている場合に、ユーザに撮影が失敗したことを通知し、例えば、再撮影等を促すことできるので、撮影精度を向上できる。

例えば、前記通知部は、前記画像判定部により、前記連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、前記ユーザに、前記撮影対象の歯牙の種類および／または位置を通知してもよい。

これによれば、ユーザは、有効領域から外れた歯牙を把握できるので、例えば、再撮影を容易に行うことができる。

例えば、前記通知部は、振動により、前記ユーザに、前記撮影が失敗した旨を通知してもよい。

例えば、前記通知部は、前記画像判定部により、前記連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、さらに、前記ユーザに再撮影を行うように通知してもよい。

例えば、前記口腔内カメラシステムは、さらに、前記画像判定部により、前記連続する複数のフレームにおいて前記撮影対象の歯牙が前記有効領域から外れていないと判定された場合、前記連続する複数のフレームの画像データに基づき、前記撮影対象の歯牙の種別および／または位置を識別する識別部を備えてもよい。

例えば、前記識別部は、前記撮影部が撮影した複数の画像データに基づき、前記複数の画像データで示される複数の歯牙の各々の前記種別及び前記位置を識別し、前記口腔内カメラシステムは、さらに、識別された前記複数の画像データで示される前記複数の歯牙の各々の前記種別及び前記位置に基づく複数の歯牙の第１撮影順序が、予め定められた第２撮影順序と一致するか否かを判定する第１判定部を備えてもよい。

これによれば、当該口腔内カメラシステムは、実際に行われている歯牙の第１撮影順序が、予め定められた第２撮影順序と異なっていることを判定できる。よって、例えば、ユーザに撮影順序が正しくないことを通知し、再撮影等を促すことできるので、撮影精度を向上できる。また、ユーザは、正しい撮影を容易に行うことができるので、ユーザの使用感を向上できる。

例えば、前記通知部は、さらに、前記第１判定部により、前記第１撮影順序が前記第２撮影順序と一致しないと判定された場合、前記ユーザに、撮影順序が間違っていることを通知してもよい。

例えば、前記通知部は、振動により、前記ユーザに、前記撮影順序が間違っていることを通知してもよい。

例えば、前記通知部は、前記第１判定部により、前記第１撮影順序が前記第２撮影順序と一致しないと判定された場合、さらに、前記ユーザに再撮影を行うように通知してもよい。

例えば、前記口腔内カメラシステムは、さらに、前記複数の画像データで示される前記複数の歯牙の各々の第１撮影方向が、予め定められた第２撮影方向と一致するか否かを判定する第２判定部を備えてもよい。

例えば、前記識別部は、ニューラルネットワークを含み、前記画像データを入力とし、前記歯牙の種類及び位置を出力する推定モデルを用いて、前記歯牙の種類及び位置を識別してもよい。

例えば、前記識別部は、前記画像データから歯間位置を検出し、検出された前記歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、前記歯牙画像に基づき前記歯牙画像で示される歯牙の種類及び位置を識別してもよい。

例えば、前記口腔内カメラシステムは、さらに、前記ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部を含み、前記識別部は、前記ユーザ情報と、前記画像データとに基づき前記歯牙の種類及び位置を識別してもよい。

これによれば、当該口腔内カメラシステムは、例えば、ユーザ情報に基づき、適切な識別を行えるので、識別精度を向上できる。

また、本開示の一態様に係る撮影動作判定方法は、撮影部が口腔内の撮影対象の歯牙を撮影することで生成された画像データに対して二次元平面座標を定義し、前記撮影部の全撮影領域において前記撮影対象の歯牙の輪郭の位置座標を抽出し、前記撮影対象の歯牙の輪郭の一部が前記撮影部の全撮影領域の内側に設定された有効領域の外にある場合、前記撮影対象の歯牙が前記有効領域から外れていると判定する。

これによれば、当該撮影動作判定方法は、歯牙が有効領域から外れているか否かを判定できる。よって、例えば、ユーザに歯牙が有効領域から外れていることを通知し、再撮影等を促すことできるので、撮影精度を向上できる。また、ユーザは、正しい撮影を容易に行うことができるので、ユーザの使用感を向上できる。また、当該口腔内カメラシステムは、歯牙が有効領域から外れているか否かを適切に判定できるので、撮影精度を向上できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
図４は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図４に示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。

撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズとを含んでいる（図４には図示せず）。

撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズによって歯牙の像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。

また、口腔内カメラ１０は、撮影時に撮影対象の歯牙に対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば白色ＬＥＤである。

図５は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。図５に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。

図５に示すように、口腔内カメラシステムは、口腔内カメラ１０と、携帯端末７０と、クラウドサーバ８０とを含んでいる。携帯端末７０は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末７０は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備える。携帯端末７０は、口腔内カメラシステムのユーザインタフェースとして機能する。

クラウドサーバ８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバ８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバ８０は、口腔内カメラ１０によって撮影された歯列画像を携帯端末７０を介して取得する。

口腔内カメラシステムは、システムの制御を行う主要部分として中央制御部５０と、撮像素子１４からの歯列画像を画像処理する画像処理部５２と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御するレンズドライバ５６と、位置センサ９０と、振動素子９１とを含んでいる。

また、口腔内カメラシステムは、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。

口腔内カメラシステムの中央制御部５０は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（画像データ）や種々の設定データなどが記憶される。

画像処理部５２は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、撮像素子１４が撮影した歯列画像（画像データ）を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像を中央制御部５０に出力する。画像処理部５２は、例えば回路で構成され、例えば歯列画像に対してノイズ除去、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの画像処理を実行する。画像処理部５２から出力された歯列画像を、コントローラ６２は、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。

ＬＥＤ制御部５４は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。

レンズドライバ５６は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御する。レンズドライバ５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバ５６に制御信号を送信する。また例えば、コントローラ６２が画像処理部５２からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバ５６に送信される。

無線通信モジュール５８は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。

電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、画像処理部５２、ＬＥＤ制御部５４、レンズドライバ５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。

位置センサ９０は、口腔内カメラ１０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（ここではｘ，ｙ，ｚの三軸）の加速度センサである。例えば、位置センサ９０は、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであってもよい。例えば、図４に示すように、ｚ軸は光軸ＬＡに一致する。ｙ軸は、撮像面と平行であり、かつ口腔内カメラ１０の長手方向に延びる。また、ｘ軸は、撮像面と平行であり、ｙ軸と直交する。位置センサ９０の各軸の出力（センサデータ）は、中央制御部５０及び無線通信モジュール５８を介して、携帯端末７０に送信される。

位置センサ９０としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのＭＥＭＳセンサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、温度ドリフトなどを補正するための補正回路を設けるとよい。また、動加速度成分やノイズを除去するためのバンドパスフィルタ（ローパスフィルタ）を設けてもよい。また、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。

振動素子９１は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、ハンドル部１０ｂを振動させる。

次に、口腔内カメラシステムにおける口腔内撮影動作について説明する。図６は、ユーザによる口腔内撮影動作の全体の流れを示すフローチャートである。図６に示すように、例えば、６つの撮影フェーズが行われる。まず、ユーザは、口腔内カメラ１０を用いて、ユーザの下顎の歯牙列を頬側から撮影する（Ｓ１３１）。

図７は、この動作における撮影手順を模式的に示す図である。図７に示すＵ字形状は、下顎の歯牙列を模式的に示しており、ハッチングで示す頬側（外側）の面に沿って歯牙列が撮影される。また、例えば、矢印で示す撮影順序に基づき、左奥歯から右奥歯に向かって順次撮影が行われる。

次に、ユーザは、口腔内カメラ１０を用いて、ユーザの下顎の歯牙列を歯冠側から撮影する（Ｓ１３２）。図８は、この動作における撮影手順を模式的に示す図である。図８に示すように、ハッチングで示す歯冠側（上側）の面に沿って歯牙列が撮影される。また、例えば、矢印で示す撮影順序に基づき、右奥歯から左奥歯に向かって順次撮影が行われる。

次に、ユーザは、口腔内カメラ１０を用いて、ユーザの下顎の歯牙列を舌側から撮影する（Ｓ１３３）。図９は、この動作における撮影手順を模式的に示す図である。図９に示すように、ハッチングで示す舌側（内側）の面に沿って歯牙列が撮影される。また、例えば、矢印で示す撮影順序に基づき、左奥歯から右奥歯に向かって順次撮影が行われる。

次に、上顎の歯牙列に対しても同様の撮影が行われる。具体的には、ユーザは、口腔内カメラ１０を用いて、ユーザの上顎の歯牙列を頬側から撮影する（Ｓ１３４）。次に、ユーザは、口腔内カメラ１０を用いて、ユーザの上顎の歯牙列を歯冠側から撮影する（Ｓ１３５）。次に、ユーザは、口腔内カメラ１０を用いて、ユーザの上顎の歯牙列を舌側から撮影する（Ｓ１３６）。

以上により、下顎及の歯牙列及び上顎の歯牙列のそれぞれの頬側、歯冠側及び舌側の画像データが得られる。なお、ここに示す複数のフェーズ（Ｓ１３１～Ｓ１３６）の順序は一例であり、複数のフェーズの順序は任意でよい。また、図７～図９に示す撮影順序は一例であり、任意の順序でよい。例えば、全てのフェーズにおいて撮影順序は同じであってもよいし、一部の撮影順序が異なってもよい。

また、例えば、ユーザが撮影を行う際には、各フェーズの情報として撮影箇所（例えば下顎又は上顎）と、撮影方向（例えば頬側、歯冠側又は舌側）と、撮影順序（例えば左奥歯から右奥歯に向かって、又は右奥歯から左奥歯に向かって）とがユーザに提示されてもよい。例えば、下顎の歯牙列を頬側から撮影する場合（Ｓ１３１）には、図７に示すような画像が携帯端末７０に表示されるとともに、下顎の歯牙列を頬側から矢印に沿って撮影を行うようにユーザに指示が通知されてもよい。また、指示の通知は、携帯端末７０に文字等を表示することにより行われてもよいし、音声により行われてもよいし、これらが併用されてもよい。

また、ここでは６つのフェーズが行われる例を示したが、フェーズの数は任意でよい。例えば、上記フェーズがさらに分割されてもよい。図１０～図１２は、撮影手順の変形例を模式的に示す図である。例えば、図１０に示すように、下顎の歯牙列の頬側からの撮影（Ｓ１３１）が、下顎の歯牙列の右領域を頬側からの撮影するフェーズと、下顎の歯牙列の左領域を頬側からの撮影するフェーズとに分割されてもよい。同様に、例えば、図１１に示すように、下顎の歯牙列の歯冠側からの撮影（Ｓ１３２）が、下顎の歯牙列の右領域を歯冠側からの撮影するフェーズと、下顎の歯牙列の左領域を歯冠側からの撮影するフェーズとに分割されてもよい。同様に、図１２に示すように、下顎の歯牙列の舌側からの撮影（Ｓ１３３）が、下顎の歯牙列の右領域を下側からの撮影するフェーズと、下顎の歯牙列の左領域を下側からの撮影するフェーズとに分割されてもよい。また、上記の６つのフェーズの一部が行われなくてもよい。

次に、画像データに対する処理の流れを説明する。図１３は、口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。なお、図１３に示す処理は、例えば、リアルタイムに行われる処理であり、１フレーム又は複数フレームの画像データが得られる毎に行われる。

ユーザが口腔内カメラ１０を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される（Ｓ１０１）。次に、口腔内カメラ１０は、撮影された画像データと、撮影時において位置センサ９０で得られたセンサデータとを携帯端末７０に送信する（Ｓ１０２）。なお、ここで、画像データは、動画であってもよいし、１又は複数の静止画であってもよい。また、画像データが動画又は複数の静止画である場合には、動画のフレーム毎、又は静止画毎に、センサデータが送信される。なお、画像データが動画である場合において複数フレーム毎にセンサデータが送信されてもよい。

また、画像データ及びセンサデータの送信は、リアルタイムで行われてもよいし、一連の撮影（例えば口腔内の全ての歯牙の撮影）が行われた後にまとめて送信されてもよい。

次に、携帯端末７０は、撮影した各歯牙の画像データが口腔内カメラ１０の有効領域から外れていないかを判定する（Ｓ１０３）。

撮影された歯牙の画像データが口腔内カメラ１０の有効領域から外れていると判定した場合には、その旨がユーザに通知される。例えば、口腔内カメラ１０の振動素子９１が振動することにより、ユーザに歯牙が有効領域から外れた状態で撮影されていることが通知される（Ｓ１０４）。

撮影された歯牙の画像データが口腔内カメラ１０の有効領域から外れていないと判定された場合、携帯端末７０は、クラウドサーバ８０から参照データを取得し（Ｓ１０５）、受信した画像データ及びセンサデータと、取得した参照データとを用いて、画像データに含まれる複数の歯牙の各々の種別及び位置を識別する（Ｓ１０６）。

図１４は、口腔内の歯牙を示す図である。携帯端末７０で識別される歯牙の種類とは、例えば、図１４に示す中切歯、側切歯、犬歯等であり、携帯端末７０で識別される歯牙の位置とは、上顎、下顎、右側、左側等である。つまり、歯牙の種別及び位置を識別するとは、対象の歯牙が図１４に示す複数の歯牙のいずれであるかを識別することである。

次に、携帯端末７０は、識別された歯牙の種別及び位置を用いて正しい順序で撮影が行われているか（走査が適切であるか）を判定する（Ｓ１０７）。具体的には、携帯端末７０は、識別された歯牙の種別及び位置に基づく複数の歯牙の撮影順序が、予め定められた撮影順序と一致するか否かを判定することで、正しい順序で撮影が行われているかを判定する。

正しい順序で撮影が行われていない場合には、その旨がユーザに通知される。例えば、口腔内カメラ１０の振動素子９１が振動することにより、ユーザに正しい順序で撮影が行われていないことが通知される（Ｓ１０８）。

また、携帯端末７０は、例えば、識別した歯牙の種別及び位置を用いて、撮影された画像データから、口腔内の複数の歯牙の三次元モデルを作成し、作成された三次元モデルに基づく画像を表示してもよい。

また、携帯端末７０は、撮影された複数の画像データをつなぎ合わせて歯牙列のパノラマ画像を作成してもよい。この場合、画像データには隣り合う歯牙の少なくとも一方の歯牙との境界の画像が含まれることが望ましい。例えば、隣接する歯牙の歯牙寸法（例えば、咬合面の凹凸の寸法を含む歯牙全体の寸法）、あるいは、配列寸法（例えば、隣リ合う歯牙の間隔）の少なくとも１割程度の範囲の隣接する歯牙の画像が画像データに含まれることが好ましい。

このような、口腔内カメラシステムを用いることで、ユーザは、口腔内カメラ１０でユーザ自身の口腔内の画像を撮影し、携帯端末７０に表示された口腔内の状態を確認できる。これにより、ユーザは自身の歯牙の健康状態の確認などを容易に行うことができる。

なお、ここでは、携帯端末７０が歯牙の種類等の識別及び正しい順序で撮影が行われているかの判定を行う例を述べるが、携帯端末７０が行う処理の一部又は全てを口腔内カメラ１０又はクラウドサーバ８０が行ってもよい。

図１５は、携帯端末７０の機能ブロック図である。携帯端末７０は、領域検出部１０１と、ユーザ情報取得部１０２と、識別部１０３と、判定部１０７と、通知部１０８とを備える。これらの各処理部の機能は、例えば、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現される。

領域検出部１０１は、センサデータを用いて、各画像データに対応する口腔内の領域を検出し、検出した領域を示す領域情報を生成する。

ユーザ情報取得部１０２は、ユーザ属性を示すユーザ情報を取得する。例えば、ユーザ情報取得部１０２は、携帯端末７０のユーザインタフェースを介してユーザにより入力されたユーザ情報を取得する。または、ユーザ情報取得部１０２は、携帯端末７０又は他の装置（例えばクラウドサーバ８０）に保存されているユーザ情報を取得してもよい。具体的には、ユーザ情報は、ユーザの性別、年齢層（又は年齢）及び人種の少なくとも一つを示す。

画像判定部１０９は、画像データを用いて画像データに含まれる認識の対象の歯牙である対象歯牙が有効領域に入っているかを判定する。画像判定部１０９は、歯牙認識部１１０と、位置情報抽出部１１１と、有効領域判定部１１２とを含む。歯牙認識部１１０は、画像処理部５２から出力された画像信号に対して周知の画像処理を行うことで対象歯牙を抽出する。

歯牙認識部１１０は、例えば、対象歯牙と当該対象歯牙に隣り合う歯牙との間の境界、および対象歯牙と歯肉との間の境界を、エッジ検出によって特定することにより対象歯牙および当該対象歯牙に隣接する歯牙を抽出することができる。あるいは、歯牙認識部１１０は、参照データを利用し、対象歯牙の特徴パターンに基づいて対象歯牙を抽出してもよい。

位置情報抽出部１１１は、画像処理部５２から出力された画像信号に対して周知の画像処理を行い、撮像素子１４の有効領域内にある対象歯牙の位置情報を所定時間毎に抽出する。図１６および図１７は、画像データと撮像素子１４の有効領域Ｓ３の例を示す図である。図１６および図１７に示すように、有効領域Ｓ３（有効画像領域）は、撮影範囲に対応し、撮像素子１４の全画素による全撮影領域Ｓ１から、全撮影領域Ｓ１の外周の領域である周辺領域Ｓ２を除いた領域である。また、周辺領域Ｓ２を除くことで歯牙画像にノイズが乗ることを避けることができる。なお、撮像素子１４の性能によっては周辺領域Ｓ２を必ずしも設定する必要はなく、有効領域を全撮影領域Ｓ１と一致させてもよい。また、歯牙の位置情報を抽出する所定時間は、コントローラ６２を介して任意に設定変更できる。

なお、位置情報としては、例えば、二次元平面の画像データにおいて、任意の点を原点とした位置座標（Ｘ、Ｙ）が用いられる。例えば、位置情報抽出部１１１は、認識対象となる歯牙の輪郭に沿った一群の位置座標{（Ｘａ、Ｙａ）～（Ｘｚ、Ｙｚ）}を抽出する。

有効領域判定部１１２は、対象歯牙の位置座標（Ｘ、Ｙ）に基づいて、図１６および図１７に示した全撮影領域Ｓ１および周辺領域Ｓ２で設定される有効領域Ｓ３内に、対象歯牙があるか否かを判定する。

判定部１０７は、図１６に示したように、対象歯牙の輪郭を示す一群の位置座標{（Ｘａ、Ｙａ）～（Ｘｚ、Ｙｚ）}が全て有効領域Ｓ３内にある場合は、対象歯牙が有効領域Ｓ３内にあると判定する。一方で、図１７に示したように、対象歯牙の輪郭を示す一群の位置座標の一部でも有効領域Ｓ３内にない（周辺領域Ｓ２にある）場合は、対象歯牙が有効領域Ｓ３外にあると判定する。

通知部１０８は、判定部１０７が撮影された歯牙の画像データが口腔内カメラ１０の有効領域から外れていると判定した場合には、例えば、口腔内カメラ１０の振動素子９１を振動することにより、ユーザに歯牙が有効領域Ｓ３から外れた状態で撮影されていることを通知する。

識別部１０３は、画像データ、領域情報、ユーザ情報、及び参照データを用いて画像データに含まれる各歯牙の種別及び位置を識別する。識別部１０３は、歯牙画像生成部１０４と、種別識別部１０５とを含む。画像データから、各々が認識の対象となる一つの歯牙を含む歯牙画像を生成する。なお、歯牙画像は、他の隣接する歯牙の一部を含んでもよいし、隣接する歯牙との境界部を含んでもよい。種別識別部１０５は、領域情報、ユーザ情報、参照データ及び推定モデル１０６を用いて歯牙画像に含まれる歯牙の種別及び位置を識別する。

推定モデル１０６は、歯牙画像と参照データとから歯牙画像に含まれる歯牙の種別及び位置を推定するためのモデルである。例えば、推定モデル１０６は、ニューラルネットワークを含んでもよい。

判定部１０７は、識別された歯牙の種別及び位置を用いて正しい順序で撮影が行われているかを判定する。具体的には、判定部１０７は、識別された歯牙の種別及び位置に基づく複数の歯牙の撮影順序が、予め定められた撮影順序と一致するか否かを判定することで、正しい順序で撮影が行われているかを判定する。

通知部１０８は、正しい順序で撮影が行われていない場合には、その旨をユーザに通知する。例えば、通知部１０８は、口腔内カメラ１０の振動素子９１が振動させるための振動指示を口腔内カメラ１０に送信する。これにより、口腔内カメラ１０の振動素子９１が振動し、ユーザに正しい順序で撮影が行われていないことが通知される。

次に、領域検出部１０１で検出される領域の例を説明する。図１８は、この口腔内の領域の例を示す図である。同図では、例えば、口腔内の複数の歯牙が、上顎左、上顎前、上顎右、下顎左、下顎前、下顎右の６つの領域に分割される。なお、ここでは、６つの領域に分割される例を示すが、領域の数は任意でよい。また、上顎と下顎との２つの領域に分割されてもよい。また、各領域は、撮影方向によりさらに分割されてもよい。例えば、図１８に示すように、各領域は、頬側と舌側とに２つの撮影方向に分割されてもよい。また、ここでは、各歯牙が、複数の領域に重複して属さない例を示したが、一部の歯牙が２以上の領域に属してもよい。例えば、隣接する２つの領域の境界付近の歯牙は、当該２つの領域の両方に属してもよい。例えば、図１８において上顎前の左端の３番の犬歯は、上顎前と上顎左の両方に属してもよい。

以下、センサデータからこの領域及び撮影方向を判定する方法の具体例を説明する。まず領域検出部１０１は、ｚ方向の加速度センサの出力Ａｚに基づき、上顎か下顎かを判定する。ここで、上顎の歯列を撮影するときは撮像面が少なからず上向きになり、下顎の歯列を撮影するときは撮像面が少なからず下向きになる。よって、領域検出部１０１は、Ａｚ＞０の場合は画像データに対応する領域が下顎であり、Ａｚ≦０の場合は画像データに対応する領域が上顎であると判定する。

次に、上顎と判定された場合、上顎のどの領域であるかを判定する方法を説明する。領域検出部１０１は、ｙ方向の加速度センサの出力Ａｙに基づいて前歯か否かを判定する。ここで、前歯を撮影するときは口腔内カメラ１０が比較的水平になるが、臼歯を撮影するときは唇との干渉があるため口腔内カメラ１０が斜めにならざるをえない。よって、領域検出部１０１は、Ａｙ≦閾値ａの場合は上顎前と判定する。

さらに、領域検出部１０１は、上顎前と判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて頬側か舌側かを判定する。ここで、頬側と舌側とでは撮像面の向きが反転する。よって、領域検出部１０１は、Ａｘ＞０の場合は「上顎前頬側」と判定し、Ａｘ≦０の場合は「上顎前舌側」と判定する。

一方、領域検出部１０１は、上顎前でないと判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて撮像面の向きを判定する。具体的には、領域検出部１０１は、Ａｘ＞０の場合は「上顎右頬側または上顎左舌側」と判定し、Ａｘ≦０の場合は「上顎左頬側または上顎右舌側」と判定する。

さらに。そこで領域検出部１０１は、前回の処理で判定された領域に基づき、領域の絞り込みを行う。具体的には、領域検出部１０１は、上顎右頬側か上顎左舌側かを判定する場合、前回の領域が「上顎前頬側、上顎右頬側、上顎右舌側、下顎前頬側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域は「上顎右頬側」であると推定し、前回の領域が「上顎前舌側、上顎左頬側、上顎左舌側、下顎前舌側、下顎左頬側、下顎左舌側」のいずれかであれば、現在の領域は「上顎左舌側」であると推定する。

また、領域検出部１０１は、上顎左頬側または上顎右舌側かを判定する場合、前回の領域が「上顎前頬側、上顎左頬側、上顎左舌側、下顎前頬側、下顎左頬側、下顎左舌側」のいずれかの場合は、現在の領域が「上顎左頬側」であると推定し、前回の領域が「上顎前舌側、上顎右頬側、上顎右舌側、下顎前舌側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域は「上顎右舌側」であると推定する。これは、撮像面の移動量や向き変更がなるべく少なくなるように撮像面の移動が行われる蓋然性が高いことを利用している。

また、下顎に対しても同様の判定が用いられる。具体的には、領域検出部１０１は、ｙ方向の加速度センサの出力Ａｙに基づいて前歯か否かを判定する。具体的には、領域検出部１０１は、Ａｙ≦閾値ｂの場合は下顎前と判定する。

下顎前と判定した場合、領域検出部１０１は、ｘ方向の加速度センサの出力Ａｘに基づいて頬側か舌側かを判定する。具体的には、領域検出部１０１は、Ａｘ＜０の場合は「下顎前頬側」と判定し、Ａｘ≧０の場合は「下顎前舌側」と判定する。

一方、領域検出部１０１は、下顎前でないと判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて撮像面の向きを判定する。具体的には、領域検出部１０１は、Ａｘ＞０の場合は「下顎右頬側または下顎左舌側」と判定し、Ａｘ≦０の場合は「下顎左頬側または下顎右舌側」と判定する。

また、領域検出部１０１は、下顎右頬側または下顎左舌側かを判定する場合、前回の領域が「下顎前頬側、下顎右頬側、下顎右舌側、下顎前頬側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域は「下顎右頬側」であると推定し、前回の領域が「下顎前舌側、下顎左頬側、下顎左舌側、上顎前舌側、上顎左頬側、上顎左舌側」のいずれかであれば、現在の領域は「下顎左舌側」であると推定する。

また、領域検出部１０１は、下顎左頬側または下顎右舌側かを判定する場合、前回の領域が「下顎前頬側、下顎左頬側、下顎左舌側、上顎前頬側、上顎左頬側、上顎左舌側」のいずれかの場合は、現在の領域が「下顎左頬側」であると推定し、前回の領域が「下顎前舌側、下顎右頬側、下顎右舌側、上顎前舌側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域は「下顎右舌側」であると推定する。

以上の処理によって、現在の領域が、「上顎前頬側」、「上顎前舌側」、「上顎右頬側」、「上顎左舌側」、「上顎左頬側」、「上顎右舌側」、「下顎前頬側」、「下顎前舌側」、「下顎右頬側」、「下顎左舌側」、「下顎左頬側」、「下顎右舌側」のいずれかに特定される。

なお、上記判定アルゴリズムはあくまでも一例であり、加速度センサの出力Ａｘ、Ａｙ、Ａｚから領域を特定できるのであればどのような判定アルゴリズムが用いられてもよい。例えばＡｘ、Ａｙ、Ａｚの値をそのまま判定の変数として用いるのでなく、Ａｘ、Ａｙ、Ａｚを適宜組み合わせることで得られる２次変数を判定に用いてもよい。２次変数は、たとえば、Ａｙ／Ａｚ、Ａｘ・Ａｘ＋Ａｙ・Ａｙ、Ａｚ－Ａｘなど、任意に設定できる。あるいは、各軸の加速度情報Ａｘ、Ａｙ、Ａｚを、角度情報（姿勢角）α、β、γに変換した後で、領域を判定してもよい。例えば、重力加速度方向に対するｘ軸の角度をロール角α、重力加速度方向に対するｙ軸の角度をピッチ角β、重力加速度方向に対するｚ軸の角度をヨー角γのように定義してもよい。また、各判定に用いる閾値は臨床実験等の結果から決定することができる。

また、上記説明では、撮影方向として頬側と舌側との２方向を判定しているが、さらに、歯冠側を含む３方向を判定してもよい。例えば、歯冠側の撮影時には、頬側及び舌側の撮影時よりも撮像面がより水平になることを利用して、撮影方向が歯冠側であるかを判定できる。

また、上記では、位置センサ９０が有する三軸の加速度センサを用いて撮影対象の領域及び撮影方向を判定する例を説明したが、三軸のジャイロセンサを用いて撮影対象の領域及び撮影方向を判定してもよい。三軸のジャイロセンサは、例えば、それぞれｘ軸周りの移動による角度の変化量、ｙ軸周りの移動による角度の変化量、及びｚ軸周りの移動による角度の変化量を出力する。すなわち、三軸のジャイロセンサの場合には、ｘ軸、ｙ軸及びｚ軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、撮影対象の領域及び口腔内カメラ１０の撮像面の向き（撮影方向）を判定する。

なお、三軸の加速度センサと三軸のジャイロセンサとを両方組合せることで、撮影対象の領域及び口腔内カメラ１０の撮像面の向きを判定してもよい。

次に、識別部１０３の動作の詳細を説明する。なお、以下では、１つの画像データ（動画像に含まれる１フレーム、又は１枚の静止画）に対する処理を説明する。

まず、歯牙画像生成部１０４は、画像データから、各々が一つの歯牙を示す歯牙画像を生成する。具体的には、歯牙画像生成部１０４は、画像データから、画像解析等により歯間位置を検出し、検出された歯間位置を用いて歯牙画像を抽出する。例えば、歯牙画像生成部１０４は、歯間位置を境界として用いて画像を抽出することで歯牙画像を生成する。

次に、種別識別部１０５は、領域情報、ユーザ情報、参照データ及び推定モデル１０６を用いて歯牙画像に含まれる歯牙の種別及び位置を識別する。

参照データは、歯牙画像に含まれる歯牙の種別及び位置を識別する際に、参照されるデータである。例えば、参照データは、種別及び位置が既知の歯牙のデータである。具体的には、参照データは、予め撮影した歯牙の画像データ群であってもよいし、歯牙列の画像データ群であってもよいし、歯列のパノラマ画像であってもよい。または、参照データは、標準的な各歯の形状又は特徴量を示す情報であってもよい。

なお、参照データは、種別及び位置に加え、撮影方向毎、及びユーザ属性毎に、分類されていてもよい。なお、ユーザ属性は、ユーザの性別、年齢層（又は年齢）及び人種の一つ、又は２以上の組み合わせである。つまり、ユーザの性別、年齢層及び人種に応じてユーザ属性が一意に決定される。

図１９は、参照データの分類の例を示す図である。なお同図では、階層的に参照データの分類を示しているが、必ずしも階層的に分類を行う必要はない。また、識別に用いられる参照データをＡ（ｎ）と表す。また、ｎは歯牙の種別、位置及び撮影方向の組に一意に対応付けられている。図２０は、参照データの例を示す図である。一例として上顎の切歯、犬歯及び第１大臼歯のそれぞれについて、頬側、舌側及び歯冠側の参照データを示す。

図２０に示すように、歯牙はその種類によって形状および大きさが異なる。例えば、上顎の中切歯は以下の特徴を有する。頬側の外形は一般的に縦長の台形であり、切縁はほぼ直線である。歯頸線は歯根に向けて凸弯し、近心縁及び遠心縁は軽度に弯曲している。近心縁の弯曲頂は近心切縁隅角部付近である。遠心縁の弯曲頂は切縁側の１／３の高さである。舌側の外形は三角形であり、近心及び遠心辺縁隆線と舌面歯頸隆線とにより周縁隆線をつくり、舌側窩を形成する。

また、上顎の犬歯は以下の特徴を有する。頬側の外形は一般的に五角形であり、切縁は中央が突出して尖頭を形成する。歯頸線は歯根に向けて凸湾である。近心縁は直線かやや外側に凸弯し、遠心縁は直線かやや凹弯する。舌側の外形は菱形であり、近心及び遠心辺縁隆線と舌面歯頸隆線とにより周縁隆線をつくる。

また、上顎の第１大臼歯は以下の特徴を有する。頬側の外形は一般的に台形であり、近遠心縁はほぼ直線である。歯頸線は水平及び中央部で分岐部に凸となる。また接触点は近心で咬合面側の１／３の高さであり、遠心で１／２の高さとなる。舌側の外形は台形で、舌側面溝がほぼ中央を縦走する。歯冠側は平行四辺形の外形で、頬舌径が近遠心径より大きい。

また、処理対象の歯牙画像をＢ（ｍ）と表す。よって、処理対象の歯牙画像に両隣する歯牙の歯牙画像はＢ（ｍ－１）、Ｂ（ｍ＋１）で表される。

また、領域検出部１０１で検出された、処理対象の歯牙画像（Ｂ（ｍ））に対応する領域情報をＣ（ｍ）と表す。例えば、画像データ毎に領域情報が生成される。よって、一つの画像データに複数の歯牙が含まれており、複数の歯牙画像が生成された場合には、当該複数の歯牙画像に対して、当該一つの画像データに対応する同一の領域情報が対応付けられる。

図２１は、種別識別部１０５による種別識別処理のフローチャートである。まず、種別識別部１０５は、初期化を行う（Ｓ１１１）。具体的には、種別識別部１０５は、ｎを０に設定し、ＥｒｒをＥｒｒ＿Ｍａｘに設定し、Ｎを０に設定する。ここで、Ｅｒｒは、後述する評価値であり、Ｅｒｒの値が小さいほど評価が高いことを意味する。また、Ｅｒｒ＿Ｍａｘは、Ｅｒｒが理論上とりうる最大値である。また、Ｎは、最小のＥｒｒのｎの値を示す。

次に、種別識別部１０５は、ユーザ情報及び領域情報に基づき、使用する参照データを選択する（Ｓ１１２）。具体的には、種別識別部１０５は、ユーザ情報で示されるユーザ属性が割り当てられており、かつ、領域情報で示される領域に対応する歯牙の種別、位置及び撮影方向に割り当てられている参照データを選択する。例えば、領域情報で示される領域が上顎左舌側であれば、上顎左に含まれる５つの歯牙の舌側の計５つの参照データが使用する参照データとして選択される。また、選択された参照データの数に応じて、ｎの最大値であるｎ＿ｍａｘが設定される。例えば、参照データの数が５であれば、この５つの参照データにｎ＝０～４が割り当てられ、ｎ＿ｍａｘは４に設定される。

次に、種別識別部１０５は、歯牙画像Ｂ（ｍ）と、参照データ（Ａ（ｎ））とからＥｒｒ（ｎ）を算出する（Ｓ１１３）。例えば、種別識別部１０５は、Ｅｒｒ（ｎ）＝ｆ（Ａ（ｎ））－ｆ（Ｂ（ｍ））を用いて、Ｅｒｒ（ｎ）を算出する。ここで、ｆ（Ａ（ｎ））及びｆ（Ｂ（ｍ））は、Ａ（ｎ）及びＢ（ｍ）を関数ｆ（）に投じた値である。関数ｆ（）は、Ａ（ｎ）及びＢ（ｍ）の特徴量を抽出する関数である。なお、ｆ（）はスカラでなくベクトルであらわされる場合もある。

図２０に示したように各歯牙は、形状および大きさがその種類に応じて特徴的である。種別識別部１０５は、これらの特徴的な形状および大きさを、上述した関数ｆにより特徴量として抽出する。

図２２を用いて関数ｆによって抽出される特徴量について説明する。図１８は上顎右側領域の第１大臼歯を歯冠側から撮影した画像を示す図である。第一大臼歯の咬合面は平行四辺形に近い形状であり、近遠心の頬側咬頭頂と舌側咬頭頂とのそれぞれを結んだ直線ＡＢと直線ＤＣとは平行に近い関係であり、直線ＡＤと直線ＢＣは平行に近い関係である。また、咬頭頂間の距離もそれぞれは略等しい（ＡＢ＝ＤＣ、ＡＤ＝ＢＣ）。一例として。上記した２つの咬頭間距離を特徴量とすることができる。

また、Ｅｒｒ（ｎ）は、ｆ（Ａ（ｎ））とｆ（Ｂ（ｍ））との差分（ベクトルの場合は距離）を示す値である。つまり、Ｂ（ｍ）がＡ（ｎ）と近いほど、「ｆ１（Ａ（ｎ））－ｆ１（Ｂ（ｍ））」は小さくなり、ｎ＝ｍのときにＥｒｒ（ｎ）は極小値を取る。

種別識別部１０５は、算出されたＥｒｒ（ｎ）がＥｒｒより小さい場合、ＥｒｒをＥｒｒ（ｎ）に設定し、Ｎをｎに設定する（Ｓ１１４）。

ｎ＝ｎ＿ｍａｘでない場合（Ｓ１１５でＮｏ）、種別識別部１０５は、ｎを１インクリメントし（Ｓ１１６）、再度ステップＳ１１３以降の処理を行う。つまり、使用する全ての参照データに対して、ステップＳ１１３及びＳ１１４が行われる。

ｎ=ｎ＿ｍａｘである場合（Ｓ１１５でＹｅｓ）、種別識別部１０５は、Ｎに対応する種別、位置及び撮影方向を、歯牙画像に含まれる歯牙の種別、位置及び撮影方向として出力する（Ｓ１１７）。

上記の処理により、種別識別部１０５は、歯牙画像の種別、位置及び撮影方向を識別できる。また、ステップＳ１１２において、ユーザ情報及び領域情報により、歯牙の種別、位置及び撮影方向の候補を削減できる。よって、処理量を低減できるとともに、識別精度を向上できる。

図２３は、種別識別部１０５による種別識別処理の別の例を示すフローチャートである。図２３に示す処理は、図２１に示す処理に対して、ステップＳ１１２がステップＳ１１２Ａに変更されており、ステップＳ１１８が追加されている。

ステップＳ１１２Ａでは、種別識別部１０５は、ユーザ情報に基づき、使用する参照データを選択する。具体的には、種別識別部１０５は、ユーザ情報で示されるユーザ属性が割り当てられている参照データを選択する。

ステップＳ１１８では、種別識別部１０５は、領域情報に基づき、ステップＳ１１３で算出したＥｒｒ（ｎ）に、重み付けを行う。具体的には、種別識別部１０５は、Ｅｒｒ（ｎ）に、領域情報に応じたｗを乗算する。例えば、領域情報で示される領域に、ｎに対応する歯牙が含まれる場合には、Ｅｒｒ（ｎ）にｗ０が乗算される。また、領域情報で示される領域に、ｎに対応する歯牙が含まれない場合には、Ｅｒｒ（ｎ）にｗ０より大きいｗ１が乗算される。これにより、領域情報に示される領域に含まれる歯牙のＥｒｒが小さくなるため、歯牙画像に含まれる歯牙が、当該領域に含まれる歯牙と判定されやすくなる。

また、重み付けは領域に含まれるか否かの２段階でなくてもよい。例えば、領域情報で示される領域からの距離に応じて重みが設定されてもよい。例えば、領域情報で示される領域に近い位置の歯牙の重みは、当該領域から離れた位置の歯牙の重みより小さく設定されてもよい。

また、ユーザ情報を参照データの選択に用いるのではなく、領域情報と同様にＥｒｒ（ｎ）の重み付けに用いてもよい。

また、図２１で述べたように領域情報に基づく参照データの選択と、図２３で述べた重み付けとを組みわせてもよい。例えば、領域情報で示される領域から離れた位置の歯牙は、対象から除外し、当該領域に近い位置の歯牙に対しては重みを用いてもよい。

また、ユーザが定期的に口腔内撮影を行っている場合など、当該ユーザの歯牙画像が過去に得られている場合には、当該歯牙画像が参照データとして用いられてもよい。この場合、上記のユーザ情報に基づく参照データの選択は行われず、領域情報に基づく処理のみが行われる。

また、上記では、処理対象の歯牙画像と参照データとの比較を行っているが、処理対象の歯牙を含む歯牙列に対応する複数の歯牙画像と、複数の参照データとの比較が行われてもよい。

例えば、種別識別部１０５は、Ｅｒｒ（ｎ）＝ｆ（Ａ（ｎ））－ｆ（Ｂ（ｍ））＋ｆ’（Ａ（ｎ－１））－ｆ’（Ｂ（ｍ－１））＋ｆ’（Ａ（ｎ＋１））－ｆ’（Ｂ（ｍ＋１））により、Ｅｒｒ（ｎ）を算出してもよい。ここで、Ａ（ｎ－１）及びＡ（ｎ＋１）は、Ａ（ｎ）の歯牙に隣接する歯牙の参照データであり、Ｂ（ｍ－１）及びＢ（ｍ＋１）は、Ｂ（ｍ）の歯牙に隣接する歯牙の歯牙画像である。また、ｆ’（）は、注目すべき歯の両隣の歯を評価するための特徴量を抽出する関数である。このように、隣接する歯牙の情報も用いることで識別精度を向上できる。

また、上記では、参照データとして歯牙の画像が用いられる例を述べたが、特徴量（つまり、上記のｆ（Ａ（ｎ））の値）が参照データとして用いられてもよい。

また、種別識別部１０５が識別に使用する推定モデル１０６は、ニューラルネットワーク等の学習済みモデルを含んでもよい。例えば、上述した関数ｆ又はｆ’が学習済みモデルであってもよい。また、ニューラルネットワークを用いる手法は、これに限らず、例えば、種別推定を行う推定モデル１０６の全体外がニューラルネットワークで構成されてもよい。この場合、例えば、ユーザ属性毎に推定モデル１０６が設けられてもよい。各推定モデル１０６は、対応するユーザ属性の、歯牙画像と、領域情報と、歯牙の種別、位置及び撮影方向との組複数を教師データ（学習データ）として用いた機械学習により生成された学習済みモデルである。推定モデル１０６は、歯牙画像と、領域情報とを入力として、歯牙の種別、位置及び撮影方向を出力する。この場合、種別識別部１０５は、ユーザ情報を用いて対応する推定モデル１０６を選択し、選択した推定モデル１０６に歯牙画像と領域情報とを入力することで歯牙の種別、位置及び撮影方向を取得する。

または、推定モデル１０６は、ユーザ属性と領域情報との組毎に設けられてもよい。この場合、各推定モデル１０６は、対応するユーザ属性かつ領域情報の、歯牙画像と、歯牙の種別、位置及び撮影方向との組複数を教師データとして用いた機械学習により生成された学習済みモデルである。また、推定モデル１０６は、歯牙画像を入力として、歯牙の種別、位置及び撮影方向を出力する。この場合、種別識別部１０５は、ユーザ情報及び領域情報を用いて対応する推定モデル１０６を選択し、選択した推定モデル１０６に歯牙画像を入力することで歯牙の種別、位置及び撮影方向を取得する。

なお、上記説明では、ユーザ情報と領域情報との両方が用いられる例を述べたが、いずれか一方のみが用いられてもよい。

また、上記説明では、領域情報は、領域と撮影方向とを示す例を述べたが、いずれか一方のみを示してもよい。

次に、ユーザが齲歯の治療などにより一部の歯牙（例えば「上顎左側の第２小臼歯」）が抜けている場合に、口腔内カメラシステムにおける識別部１０３が行う動作の詳細を説明する。なお、以下では、１つの画像データ（動画像に含まれる１フレーム、又は１枚の静止画）に対する処理を説明する。図２４は、上顎左の第２小臼歯が抜けているユーザの口腔内の状態を示す図である。

領域検出部１０１は、口腔内カメラ１０が第２小臼歯が含まれる「上顎左側」の領域を撮影していることを特定する。そして、口腔内カメラ１０が第２小臼歯に対応する部位の画像Ｂ（ｍ’）を撮影し、画像解析等により歯牙が存在しないことを検出する。

次に、種別識別部１０５は、歯牙画像Ｂ（ｍ’－１）、Ｂ（ｍ’＋１）と、参照データ（Ａ（ｎ））とからＥｒｒ（ｎ）を算出し、歯牙画像Ｂ（ｍ’－１）、Ｂ（ｍ’＋１）の歯牙の種類と位置を特定し、Ｂ（ｍ’）が上顎左側の第１小臼歯と第１大臼歯に挟まれた領域の画像であることを特定し、第２小臼歯が抜けていると判定し、判定結果を出力する。

なお、第３大臼歯が抜けている場合には、隣り合う第２大臼歯を特定することで第３大臼歯が抜けていることを判定できる。

また、ユーザが定期的に口腔内撮影を行っている場合など、当該ユーザの歯牙画像が過去に得られている場合には、当該歯牙画像が参照データとして用いられてよい。この場合、過去の口腔内撮影の結果からユーザの抜けた歯牙の情報を得ることができる。

次に、有効領域から外れていないかを判定する有効領域判定処理（Ｓ１０３）及び撮影順序が正しいかを判定する撮影順序判定処理（Ｓ１０７）の詳細を説明する。図２５は、有効領域判定処理及び撮影順序判定処理のフローチャートである。

まず、初期化動作が行われる。例えば、振動素子９１がオフされる。次に、画像判定部１０９は、認識の対象である対象歯牙の位置座標を抽出する（Ｓ１４１）。言い換えると、対象歯牙は、現在の画像データに含まれる歯牙である。具体的には、画像判定部１０９は、画像データに含まれる対象歯牙を抽出し、抽出した対象歯牙の画像内における座標を位置座標として抽出する。

次に、画像判定部１０９は、対象歯牙が有効領域内かを判定する（Ｓ１４２）。具体的には、画像判定部１０９は、対象歯牙の位置座標が有効範囲内であるか否かを判定する。

対象歯牙が有効領域内でない場合（Ｓ１４３でＮｏ）、通知部１０８は、口腔内カメラ１０を振動させ（Ｓ１４９）、再撮影を指示する（Ｓ１５０）。例えば、携帯端末７０は、ユーザに歯牙が有効領域から外れた状態で撮影されていることを通知するとともに、再撮影を行うことを指示するメッセージを表示する。また、通知部１０８は、このとき、ユーザに、撮影範囲から外れた歯牙の種類および／または位置を通知してもよい。例えば、通知部１０８は、直前の画像データにおいて識別された歯牙の種類および／または位置をユーザに通知してもよい。また、再撮影の指示では、通知した位置から再撮影を行うように指示が行われてもよいし、上述したフェーズの最初の位置から再撮影を行うように指示が行われてもよい。また、この通知及び指示は音声により行われてもよいし、表示と音声との両方が用いられてもよい。また、通知部１０８は、振動（Ｓ１４９）と再撮影の指示（Ｓ１５０）との一方のみを行ってもよい。

一方、対象歯牙が有効領域内かである場合（Ｓ１４３でＹｅｓ）、判定部１０７は、識別部１０３から出力される現在の撮影方向と、指定の撮影方向とが一致するかを判定する（Ｓ１４４）。ここで、指定の撮影方向とは、上述したフェーズ毎に設定されている撮影方向（例えば頬側、歯冠側又は舌側）である。例えば、図６に示すステップＳ１３１の撮影時には、指定の撮影方向は、頬側である。

現在の撮影方向と指定の撮影方向とが一致しない場合（Ｓ１４５でＮｏ）、撮影方向が正しくないと判定され、通知部１０８は、口腔内カメラ１０を振動させ（Ｓ１４９）、再撮影を指示する（Ｓ１５０）。例えば、携帯端末７０は、正しい方向（例えば頬側）から撮影を行うようにユーザに指示するメッセージを表示する。なお、この指示は音声により行われてもよいし、表示と音声との両方が用いられてもよい。また、通知部１０８は、振動（Ｓ１４９）と再撮影の指示（Ｓ１５０）との一方のみを行ってもよい。

現在の撮影方向と指定の撮影方向とが一致する場合（Ｓ１４５でＹｅｓ）、撮影方向は正しいと判定される。次に、判定部１０７は、現在及び過去の歯牙の種別及び位置に基づき、現在の撮影順序を判定する（Ｓ１４６）。ここで、過去の歯牙の種別及び位置とは、例えば、直前に判定された歯牙の種別及び位置である。

次に、判定部１０７は、判定した現在の撮影順序が、指定の撮影順序と一致するかを判定することで、撮影順序が正しいかを判定する（Ｓ１４７）。つまり、判定部１０７は、ユーザによる口腔内カメラ１０の走査が正しく行われているかを判定する。ここで、指定の撮影順序とは、上述したフェーズ毎に設定されている撮影順序（例えば左奥歯から右奥歯に向かって、又は右奥歯から左奥歯に向かって）である。例えば、指定の撮影順序は、図７に示す矢印で示される撮影順序である。

具体的には、指定の撮影順序が、ｎ－１、ｎ、ｎ＋１・・・であり、直前の位置及び種別がｎ－１である場合には、撮影順序が正しいければ、現在の位置及び種別はｎになる。よって、判定部１０７は、現在の位置及び種別がｎであれば、正しい撮影順序で撮影が行われていると判定し、現在の位置及び種別がｎ以外であれば、撮影順序が間違っていると判定する。

現在の撮影順序が指定の撮影順序と一致する場合（Ｓ１４８でＹｅｓ）、判定部１０７は、動作は行わず（振動素子９１はオフを維持）、次の歯牙に対してＳ１４４以降の処理を再度行う。

一方、現在の撮影順序が指定の撮影順序と一致しない場合（Ｓ１４８でＮｏ）、通知部１０８は、口腔内カメラ１０を振動させ（Ｓ１４９）、再撮影を指示する（Ｓ１５０）。例えば、携帯端末７０は、正しい撮影順序で撮影を行うようにユーザに指示するメッセージを表示する。なお、この指示は音声により行われてもよいし、表示と音声との両方が用いられてもよい。また、通知部１０８は、振動（Ｓ１４９）と再撮影の指示（Ｓ１５０）との一方のみを行ってもよい。

また、再撮影の指示では、現在位置（上記ｎの歯牙）から再撮影を行うように指示が行われてもよいし、上述したフェーズの最初の位置から再撮影を行うように指示が行われてもよい。つまり、撮影が複数のフェーズで構成される場合には、通知部１０８は、現在のフェーズの先頭から再撮影を行うようにユーザに指示してもよい。また、現在位置から再撮影を行う場合には、通知部１０８は、正しい種別及び位置の歯牙が撮影されるまで、振動を継続し、正しい種別及び位置の歯牙が撮影された場合に振動を停止することで、正しい走査が行われていることをユーザに通知してもよい。

なお、上記では、識別部１０３で得られた歯牙画像の位置情報が用いられる例を述べたが、位置情報の生成方法はこれに限定されない。例えば、判定部１０７は、外部の装置から歯牙画像及び位置情報を取得してもよい。

以上のように、口腔内カメラシステムは、口腔内の撮影対象の歯牙を撮影した画像データを生成する撮影部（例えば口腔内カメラ１０）と、撮影部が生成した画像データに対して二次元平面座標を定義し、撮影部の全撮影領域Ｓ１において撮影対象の歯牙の輪郭の位置座標を抽出する位置座標抽出部（例えば位置情報抽出部１１１）と、撮影対象の歯牙の輪郭の一部が撮影部の全撮影領域Ｓ１の内側に設定された有効領域Ｓ３の外にある場合、撮影対象の歯牙が有効領域Ｓ３（撮影範囲）から外れていると判定する画像判定部１０９（有効領域判定部１１２）と、を備える。

これによれば、当該口腔内カメラシステムは、歯牙が有効領域から外れているか否かを判定できる。よって、例えば、ユーザに歯牙が有効領域から外れていることを通知し、再撮影等を促すことできるので、撮影精度を向上できる。また、ユーザは、正しい撮影を容易に行うことができるので、ユーザの使用感を向上できる。また、当該口腔内カメラシステムは、歯牙が有効領域から外れているか否かを適切に判定できるので、撮影精度を向上できる。

例えば、撮影部は、連続する複数のフレームを撮影可能であり、撮影対象の歯牙の輪郭の一部が全撮影領域Ｓ１に入ってから、全撮影領域Ｓ１から外れるまでの期間内における画像判定部１０９の判定結果を監視し、当該連続する複数のフレームの全ての画像データに対して撮影対象の歯牙が有効領域Ｓ３から外れていると判定された場合、ユーザに、撮影が失敗した旨を通知する通知部１０８を備えてもよい。

これによれば、当該口腔内カメラシステムは、歯牙が有効領域から外れている場合に、ユーザに撮影が失敗したことを通知し、例えば、再撮影等を促すことできるので、撮影精度を向上できる。

例えば、通知部１０８は、画像判定部１０９により、連続する複数のフレームの全ての画像データに対して撮影対象の歯牙が有効領域Ｓ３からから外れていると判定された場合、ユーザに、撮影対象の歯牙の種類および／または位置を通知する。

これによれば、ユーザは、有効領域から外れた歯牙を把握できるので、例えば、再撮影を容易に行うことができる。

例えば、通知部１０８は、振動により、ユーザに、前記撮影が失敗した旨を通知する。これにより、例えば、ユーザは、口腔内カメラ１０を把持する手が振動を感受することにより、走査の途中でイレギュラーな動作があったことを認識できる。よって、ユーザは、走査を再実行して、正しい撮影を実行できる。

例えば、通知部１０８は、画像判定部１０９により、連続する複数のフレームの全ての画像データに対して撮影対象の歯牙が有効領域Ｓ３から外れていると判定された場合、さらに、ユーザに再撮影を行うように通知する。

例えば、口腔内カメラシステムは、さらに、画像判定部１０９により、連続する複数のフレームにおいて撮影対象の歯牙が有効領域Ｓ３から外れていないと判定された場合、連続する複数のフレームの画像データに基づき、撮影対象の歯牙の種別および／または位置を識別する識別部１０３を備えてもよい。

例えば、識別部１０３は、撮影部が撮影した複数の画像データに基づき、複数の画像データで示される複数の歯牙の各々の種別及び位置を識別し、口腔内カメラシステムは、さらに、識別された複数の画像データで示される複数の歯牙の各々の種別及び位置に基づく複数の歯牙の第１撮影順序が、予め定められた第２撮影順序と一致するか否かを判定する第１判定部（例えば判定部１０７）とを備える。

これによれば、当該口腔内カメラシステムは、実際に行われている歯牙の第１撮影順序が、予め定められた第２撮影順序と異なっていることを判定できる。よって、例えば、ユーザに撮影順序が正しくないことを通知し、再撮影等を促すことできるので、撮影精度を向上できる。また、ユーザは、正しい撮影を容易に行うことができるので、ユーザの使用感を向上できる。

例えば、通知部１０８は、さらに、第１判定部により、第１撮影順序が第２撮影順序と一致しないと判定された場合、ユーザに、撮影順序が間違っていることを通知する。例えば、通知部１０８は、振動により、ユーザに、撮影順序が間違っていることを通知する。例えば、通知部１０８は、第１判定部により、第１撮影順序が第２撮影順序と一致しないと判定された場合、さらに、ユーザに再撮影を行うように通知する。

例えば、口腔内カメラシステムは、さらに、複数の画像データで示される複数の歯牙の各々の第１撮影方向（例えば、頬側、歯冠側又は舌側）が、予め定められた第２撮影方向（例えば、頬側、歯冠側又は舌側）と一致するか否かを判定する第２判定部（例えば判定部１０７）を備える。

例えば、識別部１０３は、ニューラルネットワークを含み、画像データを入力とし、歯牙の種類及び位置を出力する推定モデル１０６を用いて、歯牙の種類及び位置を識別する。

例えば、識別部１０３は、画像データから歯間位置を検出し、検出された歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、歯牙画像に基づき歯牙画像で示される歯牙の種類及び位置を識別する。

例えば、口腔内カメラシステムは、さらに、ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部１０２を含み、識別部１０３は、ユーザ情報と、画像データとに基づき歯牙の種類及び位置を識別する。

これによれば、当該口腔内カメラシステムは、例えば、ユーザ情報に基づき、適切な識別を行えるので、識別精度を向上できる。

以上、本開示の実施の形態に係る口腔内カメラシステムについて説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る口腔内カメラシステムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、口腔内カメラシステムにより実行される撮影動作判定方法等として実現されてもよい。また、本開示は、口腔内カメラシステムに含まれる口腔内カメラ、携帯端末、又はクラウドサーバとして実現されてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る口腔内カメラシステム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、口腔内カメラシステムに適用できる。

１０ 口腔内カメラ
１０ａ ヘッド部
１０ｂ ハンドル部
１０ｃ ネック部
１２ 撮影光学系
１４ 撮像素子
２６Ａ 第１のＬＥＤ
２６Ｂ 第２のＬＥＤ
２６Ｃ 第３のＬＥＤ
２６Ｄ 第４のＬＥＤ
３６、４０ アクチュエータ
５０ 中央制御部
５２ 画像処理部
５４ ＬＥＤ制御部
５６ レンズドライバ
５８ 無線通信モジュール
６０ 電源制御部
６２ コントローラ
６４ メモリ
６６ 電池
６８ コイル
６９ 充電器
７０ 携帯端末
７２ タッチスクリーン
８０ クラウドサーバ
９０ 位置センサ
９１ 振動素子
１０１ 領域検出部
１０２ ユーザ情報取得部
１０３ 識別部
１０４ 歯牙画像生成部
１０５ 種別識別部
１０６ 推定モデル
１０７ 判定部
１０８ 通知部
１０９ 画像判定部
１１０ 歯牙認識部
１１１ 位置情報抽出部
１１２ 有効領域判定部

Claims (15)

1. 口腔内の撮影対象の歯牙を撮影した画像データを生成する撮影部と、
   前記撮影部が生成した前記画像データに対して二次元平面座標を定義し、前記撮影部の全撮影領域において前記撮影対象の歯牙の輪郭の位置座標を抽出する位置座標抽出部と、
   前記撮影対象の歯牙の輪郭の一部が前記撮影部の全撮影領域の内側に設定された有効領域の外にある場合、前記撮影対象の歯牙が前記有効領域から外れていると判定する画像判定部と、を備える
   口腔内カメラシステム。
2. 前記撮影部は、連続する複数のフレームを撮影可能であり、
   前記撮影対象の歯牙の輪郭の一部が前記全撮影領域に入ってから、前記全撮影領域から外れるまでの期間内における前記画像判定部の判定結果を監視し、当該連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、ユーザに、撮影が失敗した旨を通知する通知部を備える
   請求項１記載の口腔内カメラシステム。
3. 前記通知部は、前記画像判定部により、前記連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、前記ユーザに、前記撮影対象の歯牙の種類および／または位置を通知する
   請求項２記載の口腔内カメラシステム。
4. 前記通知部は、振動により、前記ユーザに、前記撮影が失敗した旨を通知する
   請求項２又は３記載の口腔内カメラシステム。
5. 前記通知部は、前記画像判定部により、前記連続する複数のフレームの全ての画像データに対して前記撮影対象の歯牙が前記有効領域から外れていると判定された場合、さらに、前記ユーザに再撮影を行うように通知する
   請求項２～４のいずれか１項に記載の口腔内カメラシステム。
6. 前記口腔内カメラシステムは、さらに、
   前記画像判定部により、前記連続する複数のフレームにおいて前記撮影対象の歯牙が前記有効領域から外れていないと判定された場合、前記連続する複数のフレームの画像データに基づき、前記撮影対象の歯牙の種別および／または位置を識別する識別部を備える
   請求項２～５のいずれか１項に記載の口腔内カメラシステム。
7. 前記識別部は、前記撮影部が撮影した複数の画像データに基づき、前記複数の画像データで示される複数の歯牙の各々の前記種別及び前記位置を識別し、
   前記口腔内カメラシステムは、さらに、
   識別された前記複数の画像データで示される前記複数の歯牙の各々の前記種別及び前記位置に基づく複数の歯牙の第１撮影順序が、予め定められた第２撮影順序と一致するか否かを判定する第１判定部を備える
   請求項６記載の口腔内カメラシステム。
8. 前記通知部は、さらに、前記第１判定部により、前記第１撮影順序が前記第２撮影順序と一致しないと判定された場合、前記ユーザに、撮影順序が間違っていることを通知する
   請求項７記載の口腔内カメラシステム。
9. 前記通知部は、振動により、前記ユーザに、前記撮影順序が間違っていることを通知する
   請求項８記載の口腔内カメラシステム。
10. 前記通知部は、前記第１判定部により、前記第１撮影順序が前記第２撮影順序と一致しないと判定された場合、さらに、前記ユーザに再撮影を行うように通知する
    請求項８又は９記載の口腔内カメラシステム。
11. 前記口腔内カメラシステムは、さらに、
    前記複数の画像データで示される前記複数の歯牙の各々の第１撮影方向が、予め定められた第２撮影方向と一致するか否かを判定する第２判定部を備える
    請求項７～１０のいずれか１項に記載の口腔内カメラシステム。
12. 前記識別部は、ニューラルネットワークを含み、前記画像データを入力とし、前記歯牙の種類及び位置を出力する推定モデルを用いて、前記歯牙の種類及び位置を識別する
    請求項７～１１のいずれか１項に記載の口腔内カメラシステム。
13. 前記識別部は、
    前記画像データから歯間位置を検出し、
    検出された前記歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、
    前記歯牙画像に基づき前記歯牙画像で示される歯牙の種類及び位置を識別する
    請求項７～１２のいずれか１項に記載の口腔内カメラシステム。
14. 前記口腔内カメラシステムは、さらに、前記ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部を含み、
    前記識別部は、前記ユーザ情報と、前記画像データとに基づき前記歯牙の種類及び位置を識別する
    請求項７～１３のいずれか１項に記載の口腔内カメラシステム。
15. 撮影部が口腔内の撮影対象の歯牙を撮影することで生成された画像データに対して二次元平面座標を定義し、前記撮影部の全撮影領域において前記撮影対象の歯牙の輪郭の位置座標を抽出し、
    前記撮影対象の歯牙の輪郭の一部が前記撮影部の全撮影領域の内側に設定された有効領域の外にある場合、前記撮影対象の歯牙が前記有効領域から外れていると判定する
    撮影動作判定方法。

Images