JP7220569B2 - 撮像支援装置、スキャナシステム、および撮像支援方法 - Google Patents

Description

本発明は、撮像支援装置、当該撮像支援装置を備えるスキャナシステム、および撮像支援方法に関する。

歯科分野において、口腔内を撮像する撮像装置として様々な装置が開発されている。例えば、患者の口腔内の歯科的部位の三次元（３Ｄ）データを得るためのスキャナ装置が撮像装置として開発されている。しかし、このスキャナ装置を用いて口腔内をスキャンして歯列弓の三次元データを取得する場合、使用者の操作によっては撮像した複数の画像間において重複領域、欠損領域などが存在することになる。

そこで、特許文献１では、スキャナ装置で撮像した画像において重複領域、欠損領域を関心領域として識別して表示できるようにしてある。そのため、スキャナ装置を用いて使用者が１つまたは複数の画像を撮像した直後に、再スキャンしなければならない関心領域を使用者に通知することができるので、容易に迅速かつ正確にスキャナ装置をスキャンすることができる。

特表２０１７－５２１１１３号公報

特許文献１では、スキャナ装置を用いて使用者が歯列弓の画像を撮像した場合、歯列弓の画像には、歯肉及び複数の歯を含む他、さらに複数の関心領域も含まれる。しかし、歯列弓の画像に関心領域が表示されるだけでは、歯列弓のうち、どの歯牙に関心領域が表示されているのかまでは容易に認識できない場合があった。

また、特許文献１では、歯列弓の画像に表示されている関心領域の歯牙と、実際の患者の口腔内のどの歯牙とが対応しているのかを容易に認識できない場合もあった。そのため、歯列弓の画像に関心領域を単に表示するだけでは、スキャナ装置の撮像支援に限界があった。

本発明は、上記問題点を解決するためになされたものであり、口腔内を撮像する撮像装置おいて撮像支援の対象となる情報を出力することができる撮像支援装置、当該撮像支援装置を備えるスキャナシステム、および撮像支援方法を提供することを目的とする。

本発明に係る撮像支援装置は、三次元スキャナによる口腔内の歯牙の撮像を支援する撮像支援装置であって、三次元スキャナは、歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得するものであり、口腔内の歯牙を撮像して取得した三次元データを入力する入力部と、入力部によって入力された三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別する識別部と、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する特定部と、所定タイミングにおいて、特定部で特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力する出力部とを備え、推定モデルに含まれるニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される。

本発明に係るスキャナシステムは、歯牙の形状情報を取得するスキャナシステムであって、三次元カメラを用いて歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得された三次元データに基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置とを備え、撮像支援装置は、口腔内の歯牙を撮像して取得した三次元データを入力する入力部と、入力部によって入力された三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別する識別部と、識別部によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部と、所定タイミングにおいて、特定部で特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力する出力部とを含み、推定モデルに含まれるニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される。

本発明に係る撮像支援方法は、三次元スキャナによる口腔内の歯牙の撮像を支援する撮像支援方法であって、三次元スキャナは、歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得するものであり、口腔内の歯牙を撮像して取得した三次元データを入力するステップと、
入力された三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別するステップと、識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、所定タイミングにおいて、特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力するステップとを含み、推定モデルに含まれるニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される。

本発明に係る撮像支援装置は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報を使用者に出力することができる。

本実施の形態１に係る撮像支援装置の適用例を示す模式図である。 本実施の形態１に係るスキャナシステムの全体構成を示す模式図である。 本実施の形態１に係る撮像支援装置のハードウェア構成を示す模式図である。 本実施の形態１に係るサーバ装置のハードウェア構成を示す模式図である。 本実施の形態１に係る撮像支援装置の使用態様を示す模式図である。 本実施の形態１に係る撮像支援装置の機能構成を示す模式図である。 本実施の形態１に係る撮像支援装置による識別処理を説明するための模式図である。 本実施の形態１に係る識別処理における識別対象となる歯牙の一例を示す模式図である。 本実施の形態１に係る撮像支援装置が実行する支援処理の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する支援処理の別の一例を説明するためのフローチャートである。 本実施の形態１に係る撮像支援装置が実行する支援処理のさらに別の一例を説明するためのフローチャートである。 本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

（実施の形態１）
図１および図２を参照しながら、本実施の形態１に係る撮像支援装置１００を適用したスキャナシステムの例を説明する。図１は、本実施の形態１に係る撮像支援装置１００の適用例を示す模式図である。図２は、本実施の形態１に係るスキャナシステムの全体構成を示す模式図である。

図１に示すように、ユーザ１は、スキャナシステム１０で口腔内の歯牙の撮像することで、対象者２が有する歯牙を含む三次元形状のデータ（以下、「三次元データ」とも称する）を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム１０を用いる者（使用者）であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム１０の対象となる者であればいずれであってもよい。

本実施の形態１に係るスキャナシステム１０は、三次元スキャナ２００と、撮像支援装置１００と、ディスプレイ３００と、スピーカ４００とを備える。三次元スキャナ２００は、内蔵された三次元カメラによってスキャン対象を撮像することで三次元データを取得する。具体的には、三次元スキャナ２００は、光学センサなどを用いて口腔内をスキャンすることで、三次元データとしてスキャン対象の歯牙を構成する複数の点のそれぞれの位置情報（縦方向，横方向，高さ方向の各軸の座標）を取得する。撮像支援装置１００は、三次元スキャナ２００によって取得された三次元データに基づき生成した三次元画像をディスプレイ３００に表示する。

たとえば、ユーザ１は、対象者２の歯牙の欠損部分を補う補綴物などをコンピュータ上でデジタル設計するために、三次元スキャナ２００によって対象者２の口腔内を撮像して歯牙を含む口腔内の三次元データを取得する。ユーザ１が口腔内を撮像するごとに三次元データが順次取得され、口腔内の三次元画像がディスプレイ３００に表示される。ユーザ１は、ディスプレイ３００に表示された三次元画像を確認しながら取得する三次元データに過不足がないようにスキャンしていく。このとき、ユーザ１は、三次元スキャナ２００によって取得された歯牙を含む三次元データが可視化された三次元画像に基づき、自身の知見によってスキャン中またはスキャンが完了した歯牙の種類を識別する。しかし、知見のレベルはユーザ１ごとに異なるため、ユーザ１の知見に頼っていると識別結果の精度がばらつくことがあった。

そこで、本実施の形態１に係るスキャナシステム１０は、撮像支援装置１００が有するＡＩ（人工知能：Artificial Intelligence）を利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成されている。なお、撮像支援装置１００によるＡＩを利用した歯牙の種類を識別する処理を「識別処理」とも称する。

なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の種類を意味する。

具体的には、ユーザ１が三次元スキャナ２００を用いて対象者２の口腔内の歯牙をスキャンすると、歯牙を含む三次元データが撮像支援装置１００に入力される。撮像支援装置１００は、入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別処理を実行する。

「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含み、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデルは、歯牙を含む三次元データが入力されると、当該三次元データに基づきニューラルネットワークによって歯牙の特徴を抽出し、抽出した歯牙の特徴に基づき歯牙の種類を推定する。そして、推定モデルは、自身が推定した歯牙の種類と、入力された三次元データに関連付けられた歯牙の種類（歯牙情報）とに基づき、両者が一致すればパラメータを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータを更新することで、パラメータを最適化する。このように、推定モデルは、入力データである三次元データと、正解データである歯牙の種類（歯牙情報）とを含む教師データを利用して、パラメータが最適化されることで学習される。

なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態１においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。

「歯牙情報」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の名称を含む。また、「歯牙情報」は、中切歯に割り当てられた１番、側切歯に割り当てられた２番、犬歯に割り当てられた３番、第１小臼歯に割り当てられた４番、第２小臼歯に割り当てられた５番、第１大臼歯に割り当てられた６番、第２大臼歯に割り当てられた７番、第３大臼歯に割り当てられた８番といったような各歯牙に割り当てられた番号（たとえば、歯科分野において一般的に用いられている歯牙の番号）を含む。その他、「歯牙情報」は、各歯牙に割り当てられた色の情報を含んでいてもよいし、各歯牙に割り当てられた記号の情報を含んでいてもよい。

撮像支援装置１００によって、例えば、スキャン（撮像）が完了した歯牙の情報を撮像支援として出力する場合、学習済モデルを用いて識別処理が実行されて識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定して、その特定結果をディスプレイ３００、およびスピーカ４００に出力する。

ディスプレイ３００は、特定結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。たとえば、スキャンが完了した歯牙の種類を通知する支援処理を撮像支援装置１００で行っている場合、ディスプレイ３００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後に、特定結果として「右下７番のスキャンが完了しました。」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の画像を表示する。なお、撮像支援装置１００は、特定結果が誤っていた場合、訂正結果を操作入力、音声入力などにより受け付けるようにしてもよい。なお、音声入力は図示しないマイクにより音声を受付けるようにしてもよい。

スピーカ４００は、特定結果に対応する音声を出力する。たとえば、スピーカ４００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、撮像支援装置１００による歯牙の特定結果を利用して、「右下７番完了」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の音声を出力する。なお、撮像支援装置１００は、スキャンが完了した歯牙の種類をディスプレイ３００、およびスピーカ４００などに出力するのではなく、スキャンが完了した歯牙の種類を特定した上で、次にスキャンする歯牙の種類をディスプレイ３００、およびスピーカ４００などに出力してもよい。撮像支援装置１００は、スキャンが完了した歯牙の種類を特定した情報から次にスキャンする歯牙の種類を予測する場合、たとえば、スキャンが完了した歯牙の種類と近い位置にある未スキャンの歯牙の種類を次にスキャンする歯牙の種類として予測する。また、撮像支援装置１００は、モーションセンサ、ジャイロセンサなどと組み合わせて次にスキャンする歯牙の種類を予測してもよい。

さらに、撮像支援装置１００の識別処理による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置５００に出力されてもよい。なお、撮像支援装置１００は、スキャン情報を歯科技工所および管理センターに配置されたサーバ装置５００に出力する場合、ユーザ１の確認を必要としてもよい。

たとえば、図２に示すように、スキャナシステム１０は、複数のローカルＡ～Ｃのそれぞれに配置されている。たとえば、ローカルＡおよびローカルＢは歯科医院であり、当該歯科医院の院内において、ユーザ１である術者や歯科助手は、スキャナシステム１０を利用して対象者２である患者の歯牙を含む三次元データを取得する。また、ローカルＣは歯科大学であり、当該歯科大学において、ユーザ１である先生や生徒は、対象者２である被験者の口腔内の三次元データを取得する。ローカルＡ～Ｃのそれぞれで取得されたスキャン情報（三次元データ，識別結果）は、ネットワーク５を介して、ローカルＤである歯科技工所および管理センターに配置されたサーバ装置５００に出力される。

歯科技工所においては、歯科技工士などが、ローカルＡ～Ｃのそれぞれから取得したスキャン情報に基づき、対象者２の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置５００が、ローカルＡ～Ｃのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。

なお、サーバ装置５００は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルＡ～Ｃのうちのいずれかのローカル内にサーバ装置５００が配置されてもよい。また、１つのローカル内に複数の撮像支援装置１００が配置されてもよく、さらに、当該１つのローカル内に当該複数の撮像支援装置１００と通信可能なサーバ装置５００が配置されてもよい。また、サーバ装置５００は、クラウドサービスの形態で実現されてもよい。

歯科技工所においては、ローカルＡ～Ｃのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク５を介して管理センターに送信されてもよいし、あるいは、ＣＤ（Compact Disc）およびＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルディスク５５０を介して管理センターに送られてもよい。

なお、ネットワーク５を介さずに、ローカルＡ～Ｃのそれぞれからも、リムーバブルディスク５５０を介してスキャン情報が管理センターに送られてもよい。また、ローカルＡ～Ｃのそれぞれの間においても、ネットワーク５またはリムーバブルディスク５５０を介してスキャン情報を互いに送り合ってもよい。

各ローカルＡ～Ｃの撮像支援装置１００は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して歯牙の種類を識別する。各ローカルＡ～Ｃの撮像支援装置１００は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態１においては、サーバ装置５００も推定モデルを保持している。サーバ装置５００は、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルＡ～Ｃの撮像支援装置１００に当該学習済モデルを配布する。なお、本実施の形態１においては、各ローカルＡ～Ｃの撮像支援装置１００およびサーバ装置５００のいずれも学習処理を実行する形態であるが、各ローカルＡ～Ｃの撮像支援装置１００のみが学習処理を実行する形態、あるいはサーバ装置５００のみが学習処理を実行する形態であってもよい。なお、サーバ装置５００のみが学習処理を実行する形態である場合、各ローカルＡ～Ｃの撮像支援装置１００が保持する推定モデル（学習済モデル）は、各ローカルＡ～Ｃの撮像支援装置１００間で共通化される。

また、サーバ装置５００が撮像支援装置１００における識別処理や特定処理の機能を有していてもよい。たとえば、各ローカルＡ～Ｃは、取得した三次元データをサーバ装置５００に送信し、サーバ装置５００は、各ローカルＡ～Ｃから受信したそれぞれの三次元データに基づき、それぞれにおける歯牙の種類の識別結果を算出してもよいし、識別された歯牙の種類に基づいて撮像支援の対象となる歯牙の種類を特定してもよい。そして、サーバ装置５００は、それぞれの識別結果や特定結果を各ローカルＡ～Ｃに送信し、各ローカルＡ～Ｃは、サーバ装置５００から受信した識別結果に基づいて撮像支援の対象となる歯牙の種類を特定してもよいし、特定結果をディスプレイなどに出力してもよい。このように、各ローカルＡ～Ｃとサーバ装置５００とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置５００が推定モデル（学習済モデル）を保持してさえいれば、各ローカルＡ～Ｃは、推定モデル（学習済モデル）を保持することなく識別結果を得ることができる。

このように、本実施の形態１に係るスキャナシステム１０によれば、撮像支援装置１００が有するＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類が自動的に識別し、識別された歯牙の種類に基づいて撮像支援の対象となる歯牙の種類を特定する。ＡＩを利用することで、ユーザ１の知見により得られた歯牙の特徴を見出すことができる。また、ユーザ１では抽出できない歯牙の特徴を見出すこともでき、これにより、ユーザ１は、自身の知見に頼ることなく、精度良く歯牙の種類を識別することができる。撮像支援装置１００は、その識別結果を利用して、例えば、撮像が完了した歯牙の種類を特定する撮像支援を行うことで、撮像が完了した歯牙と歯牙の種類との対応をユーザ１に容易に認識させることができる。

［撮像支援装置のハードウェア構成］
図３を参照しながら、本実施の形態１に係る撮像支援装置１００のハードウェア構成の一例を説明する。図３は、本実施の形態１に係る撮像支援装置１００のハードウェア構成を示す模式図である。撮像支援装置１００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。

図３に示すように、撮像支援装置１００は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、スピーカインターフェース１０４と、周辺機器インターフェース１０５と、ネットワークコントローラ１０６と、メディア読取装置１０７と、ＰＣディスプレイ１０８と、メモリ１０９と、ストレージ１１０と、演算装置１３０とを備える。

スキャナインターフェース１０２は、三次元スキャナ２００を接続するためのインターフェースであり、撮像支援装置１００と三次元スキャナ２００との間のデータの入出力を実現する。

ディスプレイインターフェース１０３は、ディスプレイ３００を接続するためのインターフェースであり、撮像支援装置１００とディスプレイ３００との間のデータの入出力を実現する。ディスプレイ３００は、たとえば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬＤ（Electroluminescence）ディスプレイなどで構成される。

スピーカインターフェース１０４は、スピーカ４００を接続するためのインターフェースであり、撮像支援装置１００とスピーカ４００との間のデータの入出力を実現する。

周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、撮像支援装置１００と周辺機器との間のデータの入出力を実現する。

ネットワークコントローラ１０６は、ネットワーク５を介して、歯科技工所に配置された装置、管理センターに配置されたサーバ装置５００、および他のローカルに配置された他の撮像支援装置１００のそれぞれとの間でデータを送受信する。ネットワークコントローラ１０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応する。

メディア読取装置１０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。

ＰＣディスプレイ１０８は、撮像支援装置１００専用のディスプレイである。ＰＣディスプレイ１０８は、たとえば、ＬＣＤまたは有機ＥＬディスプレイなどで構成される。なお、本実施の形態１においては、ＰＣディスプレイ１０８は、ディスプレイ３００と別体であるが、ディスプレイ３００と共通化されてもよい。

メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。

ストレージ１１０は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１１０は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。

ストレージ１１０は、スキャン情報１１２と、推定モデル１１４（学習済モデル１１４ａ）と、学習用データセット１１６と、色分類データ１１８と、プロファイルデータ１１９と、識別用プログラム１２０と、学習用プログラム１２１と、ＯＳ（Operating System）１２７とを格納する。

スキャン情報１１２は、三次元スキャナ２００によって取得された三次元データ１２２と、当該三次元データ１２２に基づき実行された識別処理による識別結果１２４とを含む。識別結果１２４は、識別処理に用いられた三次元データ１２２に関連付けられてストレージ１１０に格納される。学習用データセット１１６は、推定モデル１１４の学習処理に用いられる一群の学習用データである。色分類データ１１８は、学習用データセット１１６の生成および学習処理に用いられるデータである。プロファイルデータ１１９は、対象者２に関する属性情報であって、当該対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。識別用プログラム１２０は、識別処理を実行するためのプログラムである。特定用プログラム１２０ａは、撮像支援の対象となる歯牙の種類を特定する特定処理を実行するためのプログラムである。学習用プログラム１２１は、推定モデル１１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。

演算装置１３０は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central Processing Unit）１３２、ＦＰＧＡ（Field-Programmable Gate Array）１３４、およびＧＰＵ（Graphics Processing Unit）１３６などで構成される。

［サーバ装置のハードウェア構成］
図４を参照しながら、本実施の形態１に係るサーバ装置５００のハードウェア構成の一例を説明する。図４は、本実施の形態１に係るサーバ装置５００のハードウェア構成を示す模式図である。サーバ装置５００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。

図４に示すように、サーバ装置５００は、主なハードウェア要素として、ディスプレイインターフェース５０３と、周辺機器インターフェース５０５と、ネットワークコントローラ５０６と、メディア読取装置５０７と、メモリ５０９と、ストレージ５１０と、演算装置５３０とを備える。

ディスプレイインターフェース５０３は、ディスプレイ３５０を接続するためのインターフェースであり、サーバ装置５００とディスプレイ３５０との間のデータの入出力を実現する。ディスプレイ３５０は、たとえば、ＬＣＤまたは有機ＥＬＤディスプレイなどで構成される。

周辺機器インターフェース５０５は、キーボード６５１およびマウス６５２などの周辺機器を接続するためのインターフェースであり、サーバ装置５００と周辺機器との間のデータの入出力を実現する。

ネットワークコントローラ５０６は、ネットワーク５を介して、ローカルに配置された撮像支援装置１００、および歯科技工所に配置された装置のそれぞれとの間でデータを送受信する。ネットワークコントローラ５０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応してもよい。

メディア読取装置５０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。

メモリ５０９は、演算装置５３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ５０９は、たとえば、ＤＲＡＭまたはＳＲＡＭなどの揮発性メモリデバイスで構成される。

ストレージ５１０は、学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ５１０は、たとえば、ハードディスクまたはＳＳＤなどの不揮発性メモリデバイスで構成される。

ストレージ５１０は、スキャン情報５１２と、推定モデル５１４（学習済モデル５１４ａ）と、学習用データセット５１６と、色分類データ５１８と、プロファイルデータ５１９と、学習用プログラム５２１と、ＯＳ５２７とを格納する。

スキャン情報５１２は、ネットワーク５を介してローカルに配置された撮像支援装置１００および歯科技工所から取得した三次元データ５２２と、当該三次元データ５２２に基づき実行された識別処理による識別結果５２４とを含む。識別結果５２４は、識別処理に用いられた三次元データ５２２に関連付けられてストレージ５１０に格納される。学習用データセット５１６は、推定モデル５１４の学習処理に用いられる一群の学習用データである。色分類データ５１８は、学習用データセット５１６の生成および学習処理に用いられるデータである。プロファイルデータ５１９は、対象者２に関する属性情報であって、対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。学習用プログラム５２１は、推定モデル５１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。

なお、推定モデル５１４（学習済モデル５１４ａ）は、ローカルの撮像支援装置１００に送信されることで、撮像支援装置１００によって、推定モデル１１４（学習済モデル１１４ａ）として保持される。

演算装置５３０は、各種のプログラムを実行することで、学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置５３０は、たとえば、ＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６などで構成される。

［撮像支援装置による特定処理］
図５～図８を参照しながら、本実施の形態１に係る撮像支援装置１００による撮像支援装置の一例を説明する。図５は、本実施の形態１に係る撮像支援装置１００の使用態様を示す模式図である。以下の説明では、口腔内をスキャン（撮像）して取得した複数の三次元データを繋ぎ合せて歯列弓の三次元データを取得する三次元スキャナ２００（スキャン装置）を支援する場合について説明する。もちろん、三次元スキャナ２００は、口腔内をスキャンして複数の三次元データを取得しても繋ぎ合わせずに、歯列の一部の三次元データをそれぞれ取得する装置であってもよい。

三次元スキャナ２００は、図５に示すように口腔内をスキャンすることで、歯列弓の一部の三次元データを順に取得することができ、それらを繋ぎ合わせることで歯列弓全体の三次元データを取得することができる。しかし、三次元スキャナ２００を用いて口腔内をスキャンして歯列弓の三次元データを取得する場合、ユーザ１の操作によっては撮像した複数の三次元データにおいて重複領域、欠損領域などが存在することになる。

そこで、撮像支援装置１００は、歯列弓全体を撮像したタイミングで、三次元データから得られる情報が所定基準を満たしていない歯牙の不足部分（欠損領域）を特定して支援情報としてディスプレイ３００へ出力する。つまり、図５に示すように、撮像支援装置１００は、不足部分の歯牙にマーキングして、「下顎左側第１大臼歯頬側面を再測定してください。」とのメッセージをディスプレイ３００に出力して撮像支援を行う。そのため、ユーザ１は、撮像支援装置１００の出力により、容易に迅速かつ正確に三次元スキャナ２００の再スキャンが可能となる。ここで、所定基準とは、三次元スキャナ２００で取得した三次元データから補綴物を生成するために必要となる精度のデータ量などを予め定められた基準である。

なお、図５では、撮像支援装置１００は、三次元データが不足している歯牙の種類を「下顎左側第１大臼歯頬側面」などと特定しており、歯牙の種類だけでなく当該歯牙の一部の領域まで特定している。もちろん、撮像支援装置１００は、三次元データが不足している歯牙の種類、例えば「下顎左側第１大臼」のみを特定するだけでもよい。

図６は、本実施の形態１に係る撮像支援装置１００の機能構成を示す模式図である。図７は、本実施の形態１に係る撮像支援装置１００による識別処理を説明するための模式図である。図８は、本実施の形態１に係る識別処理における識別対象となる歯牙の一例を示す模式図である。なお、図８においては、三次元スキャナ２００のスキャン対象となる歯牙が線図によって表されている。

図６に示すように、撮像支援装置１００は、識別処理および特定処理に係る機能部として、入力部１１０２と、プロファイル取得部１１１９と、識別部１１３０と、特定部１１５０と、出力部１１０３とを有する。これらの各機能は、撮像支援装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０および特定用プログラム１２０ａを実行することで実現される。

入力部１１０２には、三次元スキャナ２００によって取得された三次元データが入力される。プロファイル取得部１１１９は、対象者２のプロファイルデータ１１９を取得する。識別部１１３０は、入力部１１０２に入力された三次元データと、プロファイル取得部１１１９によって取得された対象者２のプロファイルデータ１１９とに基づき、推定モデル１１４（学習済モデル１１４ａ）を用いて歯牙の種類を識別する識別処理を実行する。

推定モデル１１４は、ニューラルネットワーク１１４２と、当該ニューラルネットワーク１１４２によって用いられるパラメータ１１４４とを含む。パラメータ１１４４は、ニューラルネットワーク１１４２による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙において、歯牙画像（たとえば、三次元データ）から得られる情報が所定基準を満たしていない歯牙の種類を特定する。具体的には、特定部１１５０は、識別部１１３０によって識別された歯牙の種類に基づいて、取得した三次元データのうち予め定めたデータ量を超えていない部分に対応する歯牙の種類を特定する。なお、特定部１１５０は、データ不足の歯牙の種類を特定する場合だけに限定されず、次に撮像する歯牙の種類を特定したり、停止時の歯牙の種類を特定したりと他の特定を行うことも可能である。出力部１１０３は、特定部１１５０による特定結果をディスプレイ３００、およびスピーカ４００などに出力する。

ここで、図７に示すように、入力部１１０２に入力される三次元データには、歯牙の各点における三次元の位置情報と、歯牙の各点における色情報とが含まれる。識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、歯牙の各点における中心位置を原点として、Ｘ軸（たとえば、歯牙の横方向の軸）、Ｙ軸（たとえば、歯牙の縦方向の軸）、およびＺ軸（たとえば、歯牙の高さ方向の軸）の各軸における絶対位置の座標を含む。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。

ここで、図８に示すように、三次元スキャナ２００のスキャン対象となる歯牙が上顎の切歯である場合、得られる三次元画像が、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。また、三次元スキャナ２００のスキャン対象となる歯牙が上顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の切歯である場合、得られる三次元画像が、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。

一般的に、対象者２の歯牙は、その種類によって形状および大きさが異なる。たとえば、上顎の切歯の場合、上唇側の面は一般的にＵ字形であるのに対して、上顎の犬歯の場合、頬側の面は一般的に五角形である。各歯牙は、形状および大きさがその種類に応じて特徴的であり、識別部１１３０は、これらの特徴的な形状および大きさが数値化された三次元データに基づき、推定モデル１１４を用いて当該三次元データに対応する歯牙の種類を識別する。

図７に示すように、推定モデル１１４は、ニューラルネットワーク１１４２を含む。ニューラルネットワーク１１４２においては、入力部１１０２に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、ニューラルネットワーク１１４２においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、ニューラルネットワーク１１４２においては、その計算および判定の結果が識別結果として出力層から出力される。なお、ニューラルネットワーク１１４２による計算および判定については、三次元データに基づき歯牙を識別できるものであれば、いずれの手法が用いられてもよい。

推定モデル１１４のニューラルネットワーク１１４２においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。本実施の形態においては、３次元画像に特化した識別処理を行う識別用プログラム１２０として、たとえば、VoxNet、3D ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、ニューラルネットワーク１１４２の仕組みには既存のものが適用されてもよい。

このような構成において、撮像支援装置１００は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、複数の歯牙のそれぞれの特徴を推定モデル１１４のニューラルネットワーク１１４２を用いて抽出し、抽出した複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別することができる。また、図７に示すように、識別対象となる歯牙に限らず、隣接する歯牙を含む三次元データについても撮像支援装置１００に入力されることで、推定モデル１１４のニューラルネットワーク１１４２は、隣接する歯牙の形状との関係も考慮して歯牙の特徴を抽出することができる。撮像支援装置１００は、一般的に認識されている歯牙の特徴に限らず、一般的に認識されていない歯牙の特徴についても抽出することができ、それによって精度良く歯牙の種類を識別することができる。

なお、サーバ装置５００が保持する推定モデル５１４に含まれるニューラルネットワークは、図７に示した推定モデル１１４に含まれるニューラルネットワーク１１４２と同様の構成を有する。

［学習用データの生成］
学習用データセット１１６の生成の一例を説明する。まず、三次元スキャナ２００によって三次元データが取得され、当該三次元データには、対応する歯牙の各点における三次元の位置情報と、歯牙の各点における色情報（ＲＧＢ値）とが含まれる。三次元スキャナ２００によって取得された三次元データに基づき三次元画像が生成されると、実際の色が付された歯牙を含む三次元画像が生成される。

次に、各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、本実施の形態１においては、三次元データに対応する３次元画像がグレースケール化される。三次元データに対応する三次元画像に含まれる各歯牙に対して予め定められた色が塗布されることで各歯牙が色分けされる。たとえば、撮像支援装置１００が保持する色分類データ１１８は、下顎左側、下顎右側、上顎左側、および上顎右側といったように口腔内の各部位ごとに設けられている。

たとえば、第二大臼歯は、歯牙の番号として７番が割り当てられ、色情報として赤色が割り当てられている。第一大臼歯は、歯牙の番号として６番が割り当てられ、色情報として緑色が割り当てられている。第二小臼歯は、歯牙の番号として５番が割り当てられ、色情報として青色が割り当てられている。このように、各色分類データ１１８においては、各歯牙の種類に対して歯牙の番号および色情報が予め割り当てられている。

各歯牙に対する色の塗布は、ユーザ１（メーカの技術者または製造工場の作業者など）によって行われる。具体的には、ユーザ１は、自身の知見に基づき三次元画像に含まれる各歯牙の種類を識別し、識別した歯牙の種類に対応する色を、色分類データ１１８を参照しながら特定し、特定した色を当該歯牙の画像に塗布する。

たとえば、ユーザ１は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。

また、各歯牙の色分けに応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）が各歯牙に塗布された色に対応する値に変更される。たとえば、赤色に塗布された第二大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“２５５００００００”となり、緑色に塗布された第一大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００２５５０００”となり、青色に塗布された第二小臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００００２５５”となる。つまり、三次元データに対応する歯牙の各点に対して、予め定められた色情報（ＲＧＢ値）が関連付けられる。

各歯牙に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、本実施の形態に係る学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６として、撮像支援装置１００に保持される。

このように、学習用データを生成する際に、ユーザ１が三次元画像に含まれる各歯牙に色を塗布して正解データをラベリングすることにおいては、多くの利点がある。たとえば、単なる文字または記号を用いてラベリングした場合、ユーザ１は、各歯牙の範囲を認識し難いが、色分けによってラベリングした場合、ユーザ１は、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を色の塗布によって容易に認識することができる。また、ユーザ１は、ラベリング時に様々な角度から三次元画像を確認しながら色を塗布するが、視点の角度を変更した場合でも、ラベリング作業中の歯牙に対してどの範囲まで塗布が完了したのかを認識し易くなる。

なお、本実施の形態においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出することができる。

なお、学習用データセット１１６の生成は、サーバ装置５００が保持する学習用データセット５１６の生成についても適用可能である。たとえば、学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、色分類データ１１８を、サーバ装置５００が保持する色分類データ５１８に適用してもよい。

［学習済モデルの生成］
学習済モデル１１４ａの生成の一例を説明する。学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類することができる。たとえば、年齢（未成年者，現役世代，高齢者）、性別（男性，女性）、人種（アジア人，欧米人，アフリカ系）、身長（１５０ｃｍ未満，１５０以上）、体重（５０ｋｇ未満，５０ｋｇ以上）、および居住地（日本在住，日本以外に在住）のそれぞれに対して、該当する対象者２の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと（この場合は３歳ごと）、具体的には、０歳～３歳、４歳～６歳、７歳～９歳、…といったように、より詳細に層別することができる。

撮像支援装置１００は、カテゴリごとに分類することができる複数の学習用データセット１１６を用いて推定モデル１１４を学習させることで、学習済モデル１１４ａを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて推定モデル１１４を学習させればよい。

一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、本実施の形態のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別することができる学習済モデルを生成することができる。

なお、学習済モデル１１４ａの生成は、サーバ装置５００が保持する学習済モデル５１４ａの生成についても適用可能である。たとえば、学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、推定モデル１１４を、サーバ装置５００が保持する推定モデル５１４に適用してもよい。

［識別部の学習処理］
撮像支援装置１００が実行する学習処理について説明する。当該学習処理は、撮像支援装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。撮像支援装置１００は、学習用データセット１１６の中から、学習に用いる学習用データを選択する。撮像支援装置１００は、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル１１４に入力する。このとき、撮像支援装置１００には、三次元データにラベリングされた正解データは入力されない。撮像支援装置１００は、三次元データに対応する歯牙の特徴に基づき、推定モデル１１４を用いて当該歯牙の種類を識別する識別処理を実行する。識別処理において、撮像支援装置１００は、三次元データに加えてプロファイルデータに基づき、推定モデル１１４を用いて当該歯牙の種類を識別する。

撮像支援装置１００は、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル１１４のパラメータ１１４４を更新する。

たとえば、撮像支援装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。撮像支援装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータ１１４４を更新する。

あるいは、撮像支援装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ１１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。撮像支援装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータ１１４４を更新する。

このように、撮像支援装置１００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル１１４を学習することで、学習済モデル１１４ａを生成することができる。

さらに、撮像支援装置１００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル１１４を学習するため、対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。

［サーバ装置の学習処理］
サーバ装置５００が実行する学習処理について説明する。当該学習処理は、サーバ装置５００の演算装置５３０がＯＳ５２７および学習用プログラム５２１を実行することで実現される。

サーバ装置５００は、学習用データセットの中から、学習に用いる学習用データを選択する。ここで、学習用データは、サーバ装置５００によって蓄積して記憶されたビッグデータを利用して生成されたものであってもよい。たとえば、サーバ装置５００は、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用して学習用データを生成しておき、生成した当該学習用データを用いて学習処理を実行してもよい。なお、サーバ装置５００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。

サーバ装置５００は、選択した学習用データに含まれる三次元データ（位置情報）、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル５１４に入力する。このとき、サーバ装置５００には、三次元データにラベリングされた正解データは入力されない。サーバ装置５００は、三次元データに対応する歯牙の特徴に基づき、推定モデル５１４を用いて当該歯牙の種類を識別する識別処理を実行する。識別処理において、サーバ装置５００は、三次元データに加えてプロファイルデータに基づき、推定モデル５１４を用いて当該歯牙の種類を識別する。

サーバ装置５００は、識別処理によって識別した歯牙の種類の識別結果と、学習に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル５１４のパラメータを更新する。

たとえば、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。

あるいは、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ５１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。

サーバ装置５００は、全ての学習用データに基づき学習した場合、学習済みの推定モデル５１４を学習済モデル５１４ａとして記憶するとともに、サーバ装置５００は、生成した学習済モデル５１４ａを各ローカルの撮像支援装置１００に送信することができる。

このように、サーバ装置５００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報，歯牙の名称，歯牙の番号）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル５１４を学習することで、学習済モデル５１４ａを生成することができる。

また、サーバ装置５００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル５１４を学習するため、対象者２のプロファイルを考慮した学習済モデル５１４ａを生成することができる。

さらに、サーバ装置５００は、学習処理に用いる学習用データとして、各ローカルＡ～Ｃの撮像支援装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用しているため、撮像支援装置１００ごとに実行される学習処理よりも、より多くの学習用データに基づいて学習処理を実行することができ、より精度良く歯牙の種類を識別することができる学習済モデル５１４ａを生成することができる。

［撮像支援装置１００の支援処理］
次に、撮像支援装置１００が実行する支援処理についてフローチャートに基づいて説明する。図９は、本実施の形態１に係る撮像支援装置が実行する支援処理の一例を説明するためのフローチャートである。図９に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。

図９に示すように、撮像支援装置１００は、支援処理Ｉの開始条件が成立したか否かを判定する（Ｓ４０）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理Ｉに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理Ｉに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。また、開始条件は、一定量の三次元データが取得されたときに成立してもよいし、歯列弓全体を撮像したタイミングに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。

撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０でＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０でＹＥＳ）、三次元データを取得しているか否かを判定する（Ｓ４１）。たとえば、撮像支援装置１００は、支援処理Ｉを実行するのに十分な量の三次元データが入力されたか否かを判定する。撮像支援装置１００は、十分な量の三次元データが入力されていない場合（Ｓ４１でＮＯ）、Ｓ４１の処理を繰り返す。

一方、撮像支援装置１００は、十分な量の三次元データが入力された場合（Ｓ４１でＹＥＳ）、歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、学習済モデル１１４ａを用いて入力された三次元データから歯牙の種類を識別する。

撮像支援装置１００が実行する歯牙の種類を識別する処理についてさらに説明する。図１０は、本実施の形態１に係る撮像支援装置１００が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。図１０に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。まず、ユーザ１によって対象者２のプロファイルデータが入力されたか否かを判定する（Ｓ４２０）。プロファイルデータが入力されていない場合（Ｓ４２０でＮＯ）、三次元データ（位置情報）を学習済モデル１１４ａに入力する（Ｓ４２１）。一方、撮像支援装置１００は、プロファイルデータが入力された場合（Ｓ４２０でＹＥＳ）、三次元データ（位置情報）およびプロファイルデータを学習済モデル１１４ａに入力する（Ｓ４２２）。なお、このとき使用する学習済モデルは、撮像支援装置１００によって生成された学習済モデル１１４ａに限らず、サーバ装置５００によって生成された学習済モデル５１４ａであってもよい。

Ｓ４２１およびＳ４２２の後、撮像支援装置１００は、三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ４２３）。このとき、Ｓ４２２でプロファイルデータが学習済モデル１１４ａに入力されていた場合、撮像支援装置１００は、三次元データに加えてプロファイルデータに基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する。この場合、三次元データのみに基づき学習済モデル１１４ａを用いて歯牙の種類を識別するよりも、より精度良く歯牙の種類を識別することができる。

図９に戻って、撮像支援装置１００は、Ｓ４２で歯牙の種類を識別する処理を行った後、取得した三次元データにおいて不足する三次元データの有無を判定する（Ｓ４３）。たとえば、撮像支援装置１００は、取得した三次元データが予め定めたデータ量を超えていない部分があるか否かを判定する。不足する三次元データがある場合（Ｓ４３でＹＥＳ）、撮像支援装置１００は、Ｓ４２によって識別された歯牙の種類に基づいて、三次元データが不足する部分の歯牙の種類を特定し、特定結果をディスプレイ３００、およびスピーカ４００などに出力し（Ｓ４４）、本処理を終了する。なお、不足する三次元データがない場合（Ｓ４３でＮＯ）、撮像支援装置１００は、本処理を終了する。

このように、撮像支援装置１００は、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定することで、再スキャン（再測定）する歯牙の種類をユーザ１に提供することができる。なお、撮像支援装置１００は、入力された三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別するため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができ、再スキャンする歯牙の種類の情報を精度良く特定しユーザ１に提供することができる。

さらに、撮像支援装置１００は、識別処理において、入力された三次元データに加えてプロファイルデータを考慮して歯牙の種類を識別するため、より精度良く歯牙の種類を識別することができる。

撮像支援装置１００は、歯列弓全体を撮像したタイミングで、取得した三次元データのうち予め定めたデータ量を超えていない（所定基準を満たしていない）不足部分の歯牙の種類を特定してディスプレイ３００へ出力することを前提に説明した。しかし、これに限られず、歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる所定範囲を撮像したタイミングで、撮像支援装置１００は、当該不足部分の歯牙の種類を特定してディスプレイ３００へ出力してもよい。もちろん、撮像支援装置１００は、所定の数の歯牙を撮像したタイミングや所定の時間ごとのタイミングで、特定部１１５０で特定された歯牙の種類の情報（例えば、不足部分）を外部へ出力してもよい。

支援処理Ｉでは、三次元データから得られる情報が予め定めたデータ量を超えていない不足部分の歯牙の種類を特定して支援情報として出力する処理について説明した。しかし、これに限られず、撮像支援装置１００は、歯牙の種類を特定してユーザ１に支援情報として提供する他の支援処理を実行することが可能である。たとえば、別の一例として、停止前に撮像していた歯牙の種類を特定し所定時間内に撮像を開始する場合に特定した情報をユーザ１に支援情報として提供する支援処理ＩＩについて説明する。図１１は、本実施の形態１に係る撮像支援装置が実行する支援処理の別の一例を説明するためのフローチャートである。図１１に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。

図１１に示すように、撮像支援装置１００は、支援処理ＩＩの開始条件が成立したか否かを判定する（Ｓ４０ａ）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理ＩＩに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理ＩＩに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。

撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０ａでＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０ａでＹＥＳ）、三次元データを取得する（Ｓ４１ａ）。撮像支援装置１００は、十分な量の三次元データが入力された場合、歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、図１０に示す処理で、学習済モデル１１４ａを用いて入力された三次元データから歯牙の種類を識別する。

撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンを停止したか否かを判定する（Ｓ４３ａ）。ここで、スキャンが停止したと判定されるタイミングとして、撮像支援装置１００が撮像停止信号を受信したタイミングであっても、入力部１１０２が所定時間以上、歯牙画像を受信しないタイミングであってもよい。

スキャンを停止したと判定した場合（Ｓ４３ａでＹＥＳ）、撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンが所定時間内（たとえば、スキャンを停止してから３分以内）に開始されたか否かを判定する（Ｓ４４ａ）。スキャンが所定時間内に開始された場合（Ｓ４４ａでＹＥＳ）、撮像支援装置１００は、Ｓ４２によって識別された歯牙の種類に基づいて、停止前にスキャンしていた歯牙の種類を特定し、特定結果をユーザ１に通知する（Ｓ４５ａ）。たとえば、撮像支援装置１００は、ディスプレイ３００、およびスピーカ４００などに特定結果を出力することで、特定結果をユーザ１に通知する。そのため、ユーザ１は、停止前にスキャンしていた歯牙の種類に基づいて、適切な位置から三次元スキャナ２００による歯牙のスキャンを開始することができる。なお、ユーザ１に通知する特定結果には、停止前にスキャンしていた歯牙の種類の情報、その歯牙と隣接する歯牙の種類の情報、およびその両方の情報を含んでいてもよい。

撮像支援装置１００は、停止前にスキャンしていた歯牙の種類を通知した後、処理をＳ４１ａに戻す。スキャンが所定時間内に開始されない場合（Ｓ４４ａでＮＯ）、撮像支援装置１００は、停止前にスキャンしていた歯牙の種類を外部に出力（Ｓ４６ａ）して、本処理を終了する。

なお、スキャンを停止していないと判定した場合（Ｓ４３ａでＮＯ）、撮像支援装置１００は、三次元スキャナ２００による歯牙のスキャンが終了したか否かを判定する（Ｓ４７ａ）。歯牙のスキャンが終了していない場合（Ｓ４７ａでＮＯ）、撮像支援装置１００は、処理をＳ４１ａに戻す。歯牙のスキャンが終了した場合（Ｓ４７ａでＹＥＳ）、撮像支援装置１００は、本処理を終了する。

さらに別の一例として、複数の三次元画像（三次元データ）を繋ぎ合わせる時に歯牙の種類を特定してユーザ１に支援情報として提供する支援処理ＩＩＩについて説明する。図１２は、本実施の形態１に係る撮像支援装置が実行する支援処理のさらに別の一例を説明するためのフローチャートである。図１２に示す各ステップは、撮像支援装置１００の演算装置１３０がＯＳ１２７および特定用プログラム１２０ａを実行することで実現される。

図１２に示すように、撮像支援装置１００は、支援処理ＩＩＩの開始条件が成立したか否かを判定する（Ｓ４０ｂ）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後に支援処理ＩＩＩに対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、支援処理ＩＩＩに対応するアイコン（たとえば、アシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであればよい。

撮像支援装置１００は、開始条件が成立していない場合（Ｓ４０ｂでＮＯ）、本処理を終了する。一方、撮像支援装置１００は、開始条件が成立した場合（Ｓ４０ｂでＹＥＳ）、複数部分の三次元データを取得する（Ｓ４１ｂ）。たとえば、撮像支援装置１００は、歯列弓をスキャンする場合に、歯列弓を１／３の部分ずつに分けて、それぞれスキャンした三次元データを３つ取得する。撮像支援装置１００は、複数部分の三次元データがそれぞれ入力された場合、それぞれの三次元データに対して歯牙の種類を識別する処理を行う（Ｓ４２）。撮像支援装置１００は、図１０に示す処理で、学習済モデル１１４ａを用いて入力された複数部分の三次元データから歯牙の種類を識別する。

撮像支援装置１００は、複数部分の三次元データのうち、一の部分と他の部分とに重複する歯牙の種類があるか否かを判定する（Ｓ４３ｂ）。一の部分と他の部分とに重複する歯牙の種類がある場合（Ｓ４３ｂでＹＥＳ）、撮像支援装置１００は、重複する歯牙の種類を基準に一の部分の三次元データと他の部分の三次元データとを繋ぎ合わせる処理を行う（Ｓ４４ｂ）。たとえば、撮像支援装置１００は、上顎右側の第３大臼歯から第１小臼歯までをスキャンした部分（一の部分）と、上顎右側の第１小臼歯から中切歯までをスキャンした部分（他の部分）との三次元データを取得した場合、一の部分の第１小臼歯と他の部分の第１小臼歯とが重複していると判定する。撮像支援装置１００は、重複する歯牙の種類があるので、第１小臼歯を基準に一の部分の三次元データと他の部分の三次元データとを繋ぎ合わせて一つの三次元データにする。

撮像支援装置１００は、複数部分の三次元データのうち、繋ぎ合わせ未処理の部分があるか否かを判定する（Ｓ４５ｂ）。繋ぎ合わせ未処理の部分がある場合（Ｓ４５ｂでＹＥＳ）、撮像支援装置１００は、処理をＳ４３ｂに戻す。繋ぎ合わせ未処理の部分がない場合（Ｓ４５ｂでＮＯ）、または一の部分と他の部分とに重複する歯牙の種類がない場合（Ｓ４３ｂでＮＯ）、撮像支援装置１００は、本処理を終了する。

撮像支援装置１００は、歯列弓を複数回に分けてスキャンを行い、複数部分の三次元データを取得した場合であっても、上記の支援処理ＩＩＩを行うことで、１つの三次元データに繋ぎ合わせることが容易になる。仮に、上記の支援処理ＩＩＩを行わずにユーザ１が複数部分の三次元データを繋ぎ合わせる場合、それぞれの三次元データから歯牙の種類を目視で判断して、それぞれの三次元データを繋ぎ合わせる作業が必要となり作業が煩雑となる。

上記の支援処理Ｉ～支援処理ＩＩＩについては、撮像支援装置１００において、それぞれ個別に処理を実行することが可能であるが、複数の処理を組み合わせて実行してもよい。たとえば、撮像支援装置１００は、支援処理Ｉと支援処理ＩＩとを組み合わせて実行し、スキャンによりデータ量が不足している歯牙の種類を特定しつつ、停止が行われた場合には停止前の歯牙の種類を特定するようにしてもよい。この場合、たとえば、停止後にスキャンを所定時間内に開始する場合、撮像支援装置１００は、データ量が不足している歯牙の種類を優先して通知し、データ量が不足している歯牙の種類が再スキャンされたときに、停止前にスキャンしていた歯牙の種類を通知する。もちろん、撮像支援装置１００は、通知を逆にしてもよい。

以上のように、本実施の形態１に係る撮像支援装置１００は、口腔内の歯牙の撮像を支援する撮像支援装置である。撮像支援装置１００は、入力部１１０２と、識別部１１３０と、特定部１１５０と、出力部１１０３とを備える。入力部１１０２は、口腔内の歯牙を撮像した歯牙画像を入力する。識別部１１３０は、入力部１１０２によって入力された歯牙画像に基づき、歯牙の種類を識別する。特定部１１５０は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する。出力部１１０３は、所定タイミングにおいて、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。

これにより、撮像支援装置１００は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。

特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類を特定し、出力部１１０３は、ユーザ１が撮像を行う前に特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。

これにより、撮像支援装置１００は、ユーザ１が次に撮像を行う歯牙を認識させることが容易にできる。

特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類として、歯牙画像から得られる情報が所定基準を満たしていない歯牙の種類を特定する。たとえば、三次元スキャナ２００で歯牙をスキャンする場合、歯牙画像から得られる三次元データにおいて予め定めたデータ量を超えていない部分の歯牙の種類を、識別部１１３０によって識別された歯牙の種類に基づいて特定する。

これにより、撮像支援装置１００は、データ量が不足している歯牙の種類をユーザ１に認識させて、再度撮像を行うことを促すことができる。

特定部１１５０は、ユーザ１が撮像を行う必要のある歯牙の種類として、撮像が停止されたタイミングで撮像していた歯牙の種類を特定し、出力部１１０３は、ユーザ１により撮像が開始されるタイミングの前に特定部１１５０で特定された歯牙の種類および特定された歯牙と隣接する歯牙の種類のうち少なくとも一方の情報を外部へ出力する。

これにより、撮像支援装置１００は、撮像を停止した後に撮像を所定時間内に開始する場合に、どの歯牙の種類から撮像を開始するのかをユーザ１に認識させて、効率的な撮像を行うことが可能となる。

出力部１１０３は、停止されたタイミングから開始されるタイミングまでの所定時間において入力部１１０２に新たな歯牙画像が入力されない場合に、特定された歯牙の種類の情報を外部へ出力してもよい。

これにより、撮像支援装置１００は、撮像を停止したと判断されてから所定時間内に撮像を開始されなければ、ユーザ１が撮像作業をやり直したり他の患者の撮影に移行したりする可能性が高くなるので、停止されたタイミングで特定していた歯牙の種類の情報を外部に出力して、支援処理ＩＩの機能を発揮しないようにすることができる。

出力部１１０３は、所定範囲の歯列弓を撮像したタイミングに、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する。所定範囲は、歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる範囲である。また、出力部１１０３は、所定の数の歯牙を撮像したタイミングで、特定部で特定された歯牙の種類の情報を外部へ出力する。

これにより、撮像支援装置１００は、ある所定範囲の歯列弓を撮像したタイミング、または所定の数の歯牙を撮像したタイミングで、特定された歯牙の種類（たとえば、データ量が不足している歯牙の種類）がユーザ１に通知されるので煩わしさが軽減される。

入力部１１０２は、三次元スキャナ２００から歯列弓の三次元画像に対応する三次元データが入力され、特定部１１５０は、入力部１１０２から入力された三次元データのうち不足している情報がある歯牙の種類を特定する。

これにより、撮像支援装置１００は、データ量が不足している歯牙の種類をユーザ１が容易に認識することができ、再測定する歯牙の種類の情報を精度良くユーザ１に提供することができる。

特定部１１５０は、複数の歯牙画像の間で重複している歯牙の種類を繋ぎ合せに用いる歯牙の種類として特定する。

これにより、撮像支援装置１００は、複数の歯牙の画像を繋ぎ合わせることが容易になる。

識別部１１３０は、入力部１１０２から入力された歯牙画像に対応する歯牙の特徴に基づき、ニューラルネットワークを含む推定モデル１１４を用いて当該歯牙の種類を識別し、推定モデル１１４は、歯牙画像に関連付けられた歯牙の種類に対応する歯牙情報と、歯牙画像を用いた当該歯牙の種類の識別結果とに基づき学習される。

これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。

入力部１１０２には、複数の歯牙を含む歯牙画像が入力され、識別部１１３０は、歯牙画像に対応する複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別する。

これにより、ユーザ１は、複数の歯牙を含む歯牙画像を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該複数の歯牙のそれぞれの種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を１つ１つ識別するよりも、精度良くかつスムーズに歯牙の種類を識別することができる。さらに、ユーザ１は、隣接する歯牙の形状との関係も考慮してニューラルネットワーク１１４２を含む推定モデル１１４によって歯牙の特徴を抽出させることができるため、精度良く歯牙の種類を識別することができる。

歯牙画像は、歯牙の各点における三次元の位置情報を含む。
これにより、ユーザ１は、三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができる。

推定モデル１１４は、歯牙情報および識別部１１３０による識別結果に加えて、歯牙を有する対象者に関する属性情報に基づき、学習される。

これにより、ユーザ１は、学習用データに加えて対象者２に関する属性情報に基づいて推定モデル１１４を学習させることができるため、対象者２の属性情報を考慮した学習済モデルを生成することができる。

前記属性情報は、前記対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む。

これにより、ユーザ１は、学習用データに加えて、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つに基づいて推定モデル１１４を学習させることができるため、これら対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。

歯牙の形状情報を取得するスキャナシステム１０であって、三次元カメラを用いて歯牙を撮像する三次元スキャナ２００と、三次元スキャナ２００によって取得された三次元の歯牙画像に基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置１００とを備えている。撮像支援装置１００は、口腔内の歯牙を撮像した歯牙画像を入力する入力部１１０２と、入力部１１０２によって入力された歯牙画像に基づき、歯牙の種類を識別する識別部１１３０と、識別部１１３０によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部１１５０と、所定タイミングにおいて、特定部１１５０で特定された歯牙の種類の情報を外部へ出力する出力部１１０３とを含む。

これにより、スキャナシステム１０は、識別部１１３０によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。

口腔内の歯牙の撮像を支援する撮像支援方法であって、口腔内の歯牙を撮像した歯牙画像を入力するステップと、入力された歯牙画像に基づき、歯牙の種類を識別するステップと、識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、所定タイミングにおいて、特定された歯牙の種類の情報を外部へ出力するステップとを含む。

これにより、撮像支援方法は、識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。

（実施の形態２）
実施の形態１に係る撮像支援装置１００では、ＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成されていると説明した。しかし、これに限られず、撮像支援装置１００では、ＡＩを利用しないで、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成してもよい。たとえば、三次元スキャナ２００によって取得された三次元画像をパターンマッチングにより歯牙の種類を自動的に識別して撮像支援の対象となる歯牙の種類を特定する処理を実行するように構成することが考えられる。

本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理について説明する。図１３は、本実施の形態２に係る撮像支援装置が実行する歯牙の種類を識別する処理の一例を説明するためのフローチャートである。なお、本実施の形態２に係る撮像支援装置は、推定モデル１１４を利用しない以外は図３、図５などで説明した撮像支援装置１００と同じ構成であり、詳細な説明は繰り返さない。また、図１３に示す各ステップは、撮像支援装置の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。

まず、撮像支援装置は、ストレージなどに予め記憶されているパターンデータを読込む（Ｓ４２０ａ）。たとえば、図８で示したような識別対象となる歯牙の画像がストレージに記憶されており、撮像支援装置は、当該ストレージからパターンマッチングに用いる画像をパターンデータとして読込む。

撮像支援装置は、三次元スキャナ２００によって取得された三次元画像と、ストレージから読込んだパターンデータとを比較し、一致する形状があるか否かを判定する（Ｓ４２１ａ）。たとえば、撮像支援装置は、三次元スキャナ２００によって取得された三次元画像と、ストレージから読込んだパターンデータとの正規化相関を演算して形状が一致している否かを判定している。

一致する形状がない場合（Ｓ４２１ａでＮＯ）、撮像支援装置は、ストレージなどに予め記憶されているパターンデータの全てのパターンデータを読込み済みか否かを判定する（Ｓ４２２ａ）。全てのパターンデータを読込み済みでない場合（Ｓ４２２ａでＮＯ）、撮像支援装置は、処理をＳ４２０ａに戻し、別のパターンデータを読込む（Ｓ４２０ａ）。

一致する形状がある場合（Ｓ４２１ａでＹＥＳ）、撮像支援装置は、一致したパターンデータから取得された三次元画像の歯牙の種類を識別する（Ｓ４２３ａ）。たとえば、撮像支援装置は、三次元スキャナ２００によって取得された三次元画像が、上顎右側の第３大臼歯のパターンデータと形状が一致した場合、取得された三次元画像の歯牙の種類が上顎右側の第３大臼歯であると識別する。

全てのパターンデータを読込み済みの場合（Ｓ４２２ａでＹＥＳ）、一致したパターンデータから歯牙の種類を識別した場合（Ｓ４２３ａ）、撮像支援装置は、本処理を終了する。なお、図１３に示す歯牙の種類を識別する処理は、図９に示す支援処理Ｉ、図１１に示す支援処理ＩＩ、および図１２に示す支援処理ＩＩＩに含まれる歯牙の種類を識別する処理（Ｓ４２）に適用することが可能である。

以上のように、本実施の形態２に係る撮像支援装置は、口腔内の歯牙の撮像を支援する撮像支援装置である。撮像支援装置は、入力部と、識別部と、特定部と、出力部とを備える。入力部は、口腔内の歯牙を撮像した歯牙画像を入力する。識別部は、入力部によって入力された歯牙画像に基づき、たとえば、ＡＩを用いずにパターンマッチングにより歯牙の種類を識別する。特定部は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する。出力部は、所定タイミングにおいて、特定部で特定された歯牙の種類の情報を外部へ出力する。

これにより、撮像支援装置は、識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定するので、口腔内のどの歯牙と対応しているのかが容易に認識できる撮像支援の情報をユーザ１に出力することができる。

（変形例）
（ａ）本実施の形態１～２では、撮像支援装置が、口腔内の歯の三次元形状を取得するための三次元スキャナ（口腔内スキャナ）を支援すると説明した。しかし、当該撮像支援装置が支援する撮像装置は、口腔用の三次元スキャナに限定されるものではなく、同様の構成を有する撮像装置について適用することができる。例えば、口腔内以外に人の耳の内部を撮像して、外耳内の三次元形状を取得することができる三次元スキャナにも適用できる。また、顎・歯列模型の三次元形状を取得できるデスクトップスキャナにも適用できる。

なお、本実施の形態１～２に係る三次元スキャナでは、合焦法の技術を用いて三次元形状を取得する構成以外に、共焦点法、三角測量法、白色干渉法、ステレオ法、フォトグラメトリ法、ＳＬＡＭ法（Simultaneous Localization and Mapping）、光干渉断層法（Optical Coherence Tomography: OCT）などの技術を用いて三次元形状を取得する構成でもよい。

（ｂ）本実施の形態１～２では、撮像支援装置が支援する撮像装置として、例えば、口腔内カメラ、光干渉断層診断装置（Optical Coherence Tomography: OCT）、紫外・赤外・テラヘルツイメージング装置、蛍光イメージング装置などの撮像装置も含まれる。

（ｃ）本実施の形態１～２では、撮像支援装置と三次元スキャナとを接続したスキャナシステムについて説明した。しかし、撮像支援装置は、これに限定されるものではなく、三次元スキャナに撮像支援装置を搭載した構成でも、撮像支援装置がネットワークを介して三次元スキャナに接続された構成でもよい。さらに、撮像支援装置は、複数の三次元スキャナがネットワーク介して接続されるようなクラウドサービスの形態で提供することも可能である。

（ｄ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定し、再スキャン（再測定）する歯牙の種類をユーザに支援情報として提供することを説明した。さらに、撮像支援装置は、データ量が不足する歯牙の種類をユーザに通知して再スキャンが行われた場合に、たとえば、ユーザが頬側と舌側とを間違ってスキャンしたケースでは、その間違いをさらに特定して再通知するようにしてもよい。具体的に、撮像支援装置は、三次元スキャナに設けたモーションセンサからの値に基づいて、通知した内容からあるべき三次元スキャナの傾きとは異なるか否かを判定し、間違っている場合に再通知を行う。

（ｅ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定することで、再スキャン（再測定）する歯牙の種類をユーザに支援情報として提供することを説明した。データ量が不足している歯牙は１つである場合に限られず、複数である場合も考えられる。データ量が不足している歯牙が複数の場合、撮像支援装置は、たとえば不足しているデータ量が多い順に歯牙の種類を通知する。このように、データ量の不足が多い歯牙の種類から順に通知することで、三次元データ全体として利用価値が高いデータとすることができる。

（ｆ）本実施の形態１～２では、撮像支援装置が、取得した三次元データにおいてデータ量が不足している歯牙の種類を特定してユーザに通知することを説明した。しかし、これに限られず、撮像支援装置は、取得した三次元データにおいてデータが重複している歯牙をユーザが三次元スキャナでスキャンしようとした場合に、重複している旨を通知することが考えられる。たとえば、犬歯の三次元データが十分に取得されている場合に、ユーザが犬歯を無駄に三次元スキャナでスキャンしていると、撮像支援装置が、「犬歯のスキャンは不要（十分）です」と通知する。これにより、撮像支援装置は、三次元スキャナのメモリに無駄なデータを記憶させることを抑え、記憶容量の確保、演算の遅延を回避が可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ユーザ、２ 対象者、５ ネットワーク、１０ スキャナシステム、１００ 撮像支援装置、１０２ スキャナインターフェース、１０３，５０３ ディスプレイインターフェース、１０４ スピーカインターフェース、１０５，５０５ 周辺機器インターフェース、１０６，５０６ ネットワークコントローラ、１０７，５０７ メディア読取装置、１０８ ＰＣディスプレイ、１０９，５０９ メモリ、１１０，５１０ ストレージ、１１２，５１２ スキャン情報、１１４，５１４ 推定モデル、１１４ａ，５１４ａ 学習済モデル、１１６，５１６ 学習用データセット、１１８，５１８ 色分類データ、１１９，５１９ プロファイルデータ、１２０ 識別用プログラム、１２０ａ 特定用プログラム、１２１，５２１ 学習用プログラム、１２２，５２２ 三次元データ、１２４，５２４ 識別結果、１２７，５２７ ＯＳ、１３０，５３０ 演算装置、２００ 三次元スキャナ、３００，３５０ ディスプレイ、４００ スピーカ、５００ サーバ装置、５５０ リムーバブルディスク、６０１，６５１ キーボード、６０２，６５２ マウス、１１０２ 入力部、１１０３ 出力部、１１１９ プロファイル取得部、１１３０ 識別部、１１４２ ニューラルネットワーク、１１４４ パラメータ、１１５０ 特定部。

Claims (18)

1. 三次元スキャナによる口腔内の歯牙の撮像を支援する撮像支援装置であって、
   前記三次元スキャナは、歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得するものであり、
   前記口腔内の歯牙を撮像して取得した前記三次元データを入力する入力部と、
   前記入力部によって入力された前記三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別する識別部と、
   前記識別部によって識別された歯牙の種類に基づいて、撮像支援の対象となる歯牙の種類を特定する特定部と、
   所定タイミングにおいて、前記特定部で特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力する出力部とを備え、
   前記推定モデルに含まれる前記ニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される、撮像支援装置。
2. 前記特定部は、前記ユーザが次に撮像を行う必要のある歯牙の種類を特定し、
   前記出力部は、前記ユーザが前記特定部で特定された次に撮像を行う歯牙の種類の情報を前記ユーザへ報知する前記外部装置へ出力する、請求項１に記載の撮像支援装置。
3. 前記特定部は、前記ユーザが撮像を行う必要のある歯牙の種類として、前記三次元データから得られる情報が所定基準を満たしていない歯牙の種類を特定する、請求項２に記載の撮像支援装置。
4. 前記特定部は、前記ユーザが撮像を行う必要のある歯牙の種類として、撮像が停止されたタイミングで撮像していた歯牙の種類を特定し、
   前記出力部は、前記ユーザにより撮像が開始されるタイミングの前に前記特定部で特定された歯牙の種類および特定された歯牙と隣接する歯牙の種類のうち少なくとも一方の情報を前記ユーザへ報知する前記外部装置へ出力する、請求項１～請求項３のいずれか１項に記載の撮像支援装置。
5. 前記停止されたタイミングとは、前記撮像支援装置が撮像停止信号を受信したタイミングである、請求項４に記載の撮像支援装置。
6. 前記出力部は、前記停止されたタイミングから前記開始されるタイミングまでの所定時間において前記入力部に新たな前記三次元データが入力されない場合に、特定された歯牙の種類の情報を前記ユーザへ報知する前記外部装置へ出力する、請求項４に記載の撮像支援装置。
7. 前記口腔内を走査して撮像した複数の前記三次元データを繋ぎ合せて歯列弓の画像を形成するスキャン装置を支援する、請求項１～請求項６のいずれか１項に記載の撮像支援装置。
8. 前記出力部は、所定範囲の前記歯列弓を撮像したタイミングに、前記特定部で特定された歯牙の種類の情報を前記ユーザへ報知する前記外部装置へ出力する、請求項７に記載の撮像支援装置。
9. 前記所定範囲は、前記歯列弓の１／２、１／３、２／３、１／５、２／５、３／５および４／５近傍のいずれかの画像を形成することができる範囲である、請求項８に記載の撮像支援装置。
10. 前記出力部は、所定の数の歯牙を撮像したタイミングで、前記特定部で特定された歯牙の種類の情報を前記ユーザへ報知する前記外部装置へ出力する、請求項７に記載の撮像支援装置。
11. 前記特定部は、前記入力部から入力された前記三次元データのうち不足している情報がある歯牙の種類を特定する、請求項７～請求項１０のいずれか１項に記載の撮像支援装置。
12. 前記特定部は、複数の前記三次元データの間で重複している歯牙の種類を繋ぎ合せに用いる歯牙の種類として特定する、請求項７～請求項１０のいずれか１項に記載の撮像支援装置。
13. 前記推定モデルは、歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む前記三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、前記三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されたものである、請求項１～請求項１２のいずれか１項に記載の撮像支援装置。
14. 前記入力部には、複数の歯牙を含む前記三次元データが入力され、
    前記識別部は、前記三次元データに対応する複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別する、請求項１３に記載の撮像支援装置。
15. 前記推定モデルは、前記歯牙情報および前記識別部による識別結果に加えて、歯牙を有する対象者に関する属性情報に基づき、学習される、請求項１３または請求項１４に記載の撮像支援装置。
16. 前記属性情報は、前記対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む、請求項１５に記載の撮像支援装置。
17. 歯牙の形状情報を取得するスキャナシステムであって、
    三次元カメラを用いて歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、
    前記三次元スキャナによって取得された前記三次元データに基づき当該歯牙の種類を識別し、認識した歯牙の種類を報知する撮像支援装置とを備え、
    前記撮像支援装置は、
    口腔内の歯牙を撮像して取得した前記三次元データを入力する入力部と、
    前記入力部によって入力された前記三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別する識別部と、
    前記識別部によって識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定する特定部と、
    所定タイミングにおいて、前記特定部で特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力する出力部とを含み、
    前記推定モデルに含まれる前記ニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される、スキャナシステム。
18. 三次元スキャナによる口腔内の歯牙の撮像を支援する撮像支援方法であって、
    前記三次元スキャナは、歯牙を撮像することで歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得するものであり、
    前記口腔内の歯牙を撮像して取得した前記三次元データを入力するステップと、
    入力された前記三次元データと、当該三次元データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、歯牙の種類を識別するステップと、
    識別された歯牙の種類に基づいて、撮像対象となる歯牙の種類を特定するステップと、
    所定タイミングにおいて、特定された歯牙の種類の情報をユーザへ報知する外部装置へ出力するステップとを含み、
    前記推定モデルに含まれる前記ニューラルネットワークには、前記三次元データのうち少なくとも歯牙の三次元形状を示す複数の点のそれぞれにおける三次元の位置情報が直接入力される、撮像支援方法。

Images