JP7140932B1 - データ処理装置、データ処理方法、およびデータ処理プログラム - Google Patents

Abstract

【課題】口腔内の所定の物体の三次元データを容易にかつ適切に抽出することができる技術を提供する。【解決手段】データ処理装置１は、少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力される入力部１１０１と、入力部１１０１から入力される三次元データを処理する演算部１１とを備える。演算部１１は、三次元データから二次元データを生成し、二次元データに基づき、少なくとも１つの物体のうち、所定の物体を識別し、識別した所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出する。【選択図】図２

Description

本開示は、口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理装置、データ処理方法、およびデータ処理プログラムに関する。

従来、歯科分野においては、三次元スキャナによって口腔内をスキャン（走査）することによって、歯牙などの物体の三次元データを取得する技術が公知である。たとえば、特許文献１には、三次元スキャナを用いて歯牙を撮像することで、歯牙の形状を記録する方法が開示されている。

特開２０００－７４６３５号公報

特許文献１に開示された方法によれば、ユーザは、三次元スキャナによって取得された三次元データに基づき生成された三次元画像を用いて、口腔内の歯牙を計測することができ、計測された歯牙が示された三次元画像を確認しながら、自身の知見によって歯牙の種類を識別することができる。しかしながら、ユーザ自らが歯牙などの口腔内の所定の物体を識別することなく、口腔内の所定の物体の三次元データを適切に抽出することができる技術が求められている。

本開示は、このような問題を解決するためになされたものであり、口腔内の所定の物体の三次元データを容易にかつ適切に抽出することができる技術を提供することを目的とする。

本開示の一例に従えば、口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理装置が提供される。データ処理装置は、少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力される入力部と、入力部から入力される三次元データを処理する演算部とを備える。演算部は、三次元データから二次元データを生成し、二次元データに基づき、少なくとも１つの物体のうち、所定の物体を識別し、識別した所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出する。

本開示の一例に従えば、コンピュータによる口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理方法が提供される。データ処理方法は、少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力されるステップと、入力される三次元データを処理するステップとを含む。処理するステップは、三次元データから二次元データを生成するステップと、二次元データに基づき、少なくとも１つの物体のうち、所定の物体を識別するステップと、識別した所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出するステップとを含む。

本開示の一例に従えば、口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理プログラムが提供される。データ処理プログラムは、コンピュータに、少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力されるステップと、入力される三次元データを処理するステップとを実行させる。処理するステップは、三次元データから二次元データを生成するステップと、二次元データに基づき、少なくとも１つの物体のうち、所定の物体を識別するステップと、識別した所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出するステップとを含む。

本開示によれば、ユーザは、口腔内の所定の物体の三次元データを容易にかつ適切に抽出することができる。

実施の形態１に係るデータ処理システムおよびデータ処理装置の適用例を示す図である。 実施の形態１に係るデータ処理装置のハードウェア構成を示すブロック図である。 実施の形態１に係る三次元スキャナの構成を示す図である。 実施の形態１に係る三次元スキャナが共焦点法に基づき三次元データを取得する例を説明するための図である。 三次元スキャナによるスキャン方法を説明するための図である。 実施の形態１に係る三次元スキャナによって取得された各スキャン範囲における物体を示す図である。 三次元スキャナを用いて物体をスキャンする様子を示す図である。 三次元スキャナを用いて物体をスキャンする様子を示す図である。 実施の形態１に係るデータ処理装置の機能構成を示すブロック図である。 実施の形態１に係るデータ処理装置に入力される三次元データを説明するための図である。 実施の形態１に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。 複数の物体の各々と正解ラベルとの対応関係を説明するための図である。 実施の形態１に係るデータ処理装置によって生成された不要物体除去後の結合データを説明するための図である。 実施の形態１に係るデータ処理装置が実行する処理の一例を説明するためのフローチャートである。 実施の形態２に係る三次元スキャナが三角測量法に基づき三次元データを取得する例を説明するための図である。 実施の形態２に係る三次元スキャナによって取得された三次元データに基づき任意の視点から見た二次元画像を示す図である。

＜実施の形態１＞
本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［適用例］
図１を参照しながら、実施の形態１に係るデータ処理システム１０およびデータ処理装置１の適用例を説明する。図１は、実施の形態１に係るデータ処理システム１０およびデータ処理装置１の適用例を示す図である。

図１に示すように、ユーザは、三次元スキャナ２を用いて対象者の口腔内をスキャンすることによって、口腔内の複数の物体の三次元データを取得することができる。「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、三次元スキャナ２を用いて歯牙などの物体の三次元データを取得する者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、三次元スキャナ２のスキャン対象となり得る者であればいずれであってもよい。「物体」は、対象者の口腔内にある歯牙など、三次元スキャナ２のスキャン対象となり得るものであればいずれであってもよい。

データ処理システム１０は、データ処理装置１と、三次元スキャナ２とを備える。データ処理装置１には、ディスプレイ３、キーボード４、およびマウス５が接続されている。

三次元スキャナ２は、口腔内を撮像する撮像装置であり、内蔵された三次元カメラによって物体の三次元データを取得する。具体的には、三次元スキャナ２は、口腔内をスキャンすることで、三次元データとして、物体の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。すなわち、三次元データは、物体の表面を構成する点群の各々の位置の位置情報を含む位置データである。

三次元スキャナ２が一度に測定できる測定範囲は限られているため、ユーザは、口腔内の歯列全体（歯列弓）の三次元データを取得したい場合、三次元スキャナ２を歯列に沿って口腔内を移動させるように操作して複数回に亘って口腔内をスキャンする。

データ処理装置１は、三次元スキャナ２によって取得された三次元データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像をディスプレイ３に表示させることで、物体の表面を特定の方向から見た場合の二次元投影図をユーザに見せることができる。

さらに、データ処理装置１は、三次元データを歯科技工所に出力する。歯科技工所においては、データ処理装置１から取得した三次元データに基づき、歯科技工士が補綴物などの歯牙モデルを作製する。なお、ミリングマシンおよび３Ｄプリンタなど、歯牙モデルを自動で製造可能な自動製造装置が歯科医院内に配置されている場合、データ処理装置１は、三次元データを自動製造装置に出力してもよい。

［データ処理装置のハードウェア構成］
図２を参照しながら、実施の形態１に係るデータ処理装置１のハードウェア構成を説明する。図２は、実施の形態１に係るデータ処理装置１のハードウェア構成を示すブロック図である。データ処理装置１は、たとえば、汎用コンピュータで実現されてもよいし、データ処理システム１０専用のコンピュータで実現されてもよい。

図２に示すように、データ処理装置１は、主なハードウェア要素として、演算部１１と、記憶部１２と、スキャナインターフェース１３と、通信部１４と、ディスプレイインターフェース１５と、周辺機器インターフェース１６と、読取部１７とを備える。

演算部１１は、各種のプログラムを実行することで、各種の処理を実行する演算主体（演算装置）であり、コンピュータの一例である。演算部１１は、たとえば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。なお、演算部１１は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵの少なくとも１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵの全てから構成されてもよい。また、演算部１１は、演算回路（processing circuitry）で構成されてもよい。なお、演算部１１は、１チップで構成されてもよいし、複数のチップで構成されてもよい。さらに、演算部１１の全ての機能または一部の機能は、図示しないサーバ装置（たとえば、クラウド型のサーバ装置）に設けられてもよい。

記憶部１２は、演算部１１が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶部１２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。さらに、記憶部１２は、不揮発性の記憶領域を含む。たとえば、記憶部１２は、ＲＯＭ（Read Only Memory）、ハードディスク、またはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。

なお、本実施の形態においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶部１２に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶部に含まれていてもよい。たとえば、演算部１１が揮発性の記憶領域を含み、記憶部１２が不揮発性の記憶領域を含んでいてもよい。データ処理装置１は、演算部１１と、記憶部１２とを含むマイクロコンピュータを備えていてもよい。

記憶部１２は、データ処理プログラム１２１と、推定モデル１２２とを格納する。データ処理プログラム１２１は、演算部１１が三次元スキャナ２によって取得された三次元データから二次元データを生成し、二次元データと推定モデル１２２とに基づき、口腔内の物体を識別するための識別処理が記述されている。

推定モデル１２２は、ニューラルネットワーク１２２１と、ニューラルネットワーク１２２１によって用いられるパラメータ１２２２とを含む。推定モデル１２２は、口腔内の複数の物体の各々の位置情報を含む二次元データと、複数の物体の各々の種類を示す正解ラベルとを含む学習用データを用いて、二次元データに基づき各物体の種類を推定するように機械学習が行われている。

具体的には、学習フェーズにおいて、推定モデル１２２は、口腔内の各物体の位置情報を含む二次元データが入力されると、ニューラルネットワーク１２２１によって、二次元データに基づき各物体の特徴を抽出し、抽出した特徴に基づき各物体の種類を推定する。そして、推定モデル１２２は、推定した各物体の種類と、二次元データに関連付けられた各物体の種類を示す正解ラベルとに基づき、両者が一致すればパラメータ１２２２を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１２２２を更新することで、パラメータ１２２２を最適化する。このように、推定モデル１２２は、入力データである二次元データと、正解データである各物体の種類とを含む学習用データに基づき、パラメータ１２２２が最適化されることで機械学習される。これにより、推定モデル１２２は、口腔内の複数の物体の各々の二次元データに基づき、口腔内の複数の物体の各々を推定することができる。

なお、このような推定モデル１２２を学習することによって最適化された推定モデル１２２を、特に「学習済モデル」とも称する。つまり、学習前の推定モデル１２２および学習済みの推定モデル１２２をまとめて「推定モデル」と称する一方で、特に、学習済みの推定モデル１２２を「学習済モデル」とも称する。

推定モデル１２２は、演算部１１が推定処理および学習処理を実行するためのプログラムを含む。実施の形態１においては、画像に特化した処理を行うプログラムとして、たとえば、U-Net、SegNet、ENet、ErfNet、VoxNet、3D ShapeNets、3D U-Net、Multi-View CNN、RotationNet、OctNet、PointCNN、FusionNet、PointNet、PointNet++、SSCNet、MarrNet、VoxelNet、PAConv、VGGNet、ResNet、DGCNN、KPConv、FCGF、ModelNet40、ShapeNet、SemanticKITTI、SunRGB-D、VoteNet、LinkNet、Lambda Network、PREDATOR、3D Medical Point Transformer、およびPCTなどが推定モデル１２２のプログラムに用いられるが、順伝搬型ニューラルネットワーク、リカレント型ニューラルネットワーク、グラフニューラルネットワーク、注意機構（Attention Mechanism）、Transformerなど、その他のプログラムが推定モデル１２２のプログラムに用いられてもよい。

スキャナインターフェース１３は、三次元スキャナ２を接続するためのインターフェースであり、データ処理装置１と三次元スキャナ２との間のデータの入出力を実現する。データ処理装置１と三次元スキャナ２とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

通信部１４は、有線通信または無線通信を介して、上述した歯科技工所または自動製造装置との間でデータを送受信する。たとえば、データ処理装置１は、通信部１４を介して、三次元データに基づき生成した補綴物生成用のデータを、歯科技工所または自動製造装置に送信する。

ディスプレイインターフェース１５は、ディスプレイ３を接続するためのインターフェースであり、データ処理装置１とディスプレイ３との間のデータの入出力を実現する。

周辺機器インターフェース１６は、キーボード４およびマウス５などの周辺機器を接続するためのインターフェースであり、データ処理装置１と周辺機器との間のデータの入出力を実現する。

読取部１７は、記憶媒体であるリムーバブルディスク２０に格納されている各種データを読み出す。たとえば、読取部１７は、リムーバブルディスク２０からデータ処理プログラム１２１を取得してもよい。

［三次元スキャナの構成］
図３および図４を参照しながら、実施の形態１に係る三次元スキャナ２の構成を説明する。図３は、実施の形態１に係る三次元スキャナ２の構成を示す図である。図４は、実施の形態１に係る三次元スキャナ２が共焦点法に基づき三次元データを取得する例を説明するための図である。

図３に示すように、三次元スキャナ２は、手持ち式のハンドピースであり、ハウジング２１と、ハウジング２１に対して着脱可能に接続されたプローブ２２と、制御装置４０とを備える。

プローブ２２は、口腔内に挿入され、口腔内の物体にパターンを有する光（以下、単に「パターン」とも称する。）を投影する。プローブ２２は、パターンが投影された物体からの反射光をハウジング２１の内部に導く。

三次元スキャナ２は、ハウジング２１の内部に、光源２３と、レンズ２４と、光学センサ２５と、プリズム２６と、カウンタウェイト２７と、開口部２９とを備える。なお、図３および図４においては、説明の便宜上、開口部２９に平行な平面方向をＸ軸およびＹ軸で規定する。また、Ｘ軸およびＹ軸に対して垂直な方向をＺ軸で規定する。

光源２３は、レーザー素子またはＬＥＤ（Light Emitting Diode）などを含む。光源２３からの光（光軸Ｌ）は、プリズム２６およびレンズ２４を通過し、プローブ２２に設けられた反射部２８によって反射されて開口部２９から出力される。開口部２９から出力された光は、Ｚ軸方向に沿って物体に照射され、当該物体で反射される。すなわち、三次元スキャナ２から出力される光の光軸方向は、Ｚ軸方向と一致し、Ｘ軸およびＹ軸からなる平面方向に直交する。

物体で反射された光は、開口部２９および反射部２８を介して再びハウジング２１の内部に進入し、レンズ２４を通過してプリズム２６に入力される。プリズム２６は、物体からの光の進行方向を、光学センサ２５が位置する方向に変化させる。プリズム２６によって進行方向が変化した光は、光学センサ２５によって検出される。

共焦点法の技術を用いて物体の三次元データを取得する場合、レンズ２４と物体との間に設けられたパターン生成素子（図示せず）を通過した市松模様などのパターンを有する光がスキャン範囲Ｒ内で物体に投影される。レンズ２４が同一直線上を往復直線運動すると、Ｚ軸上において、物体に投影されたパターンの焦点位置が変化する。光学センサ２５は、Ｚ軸上において焦点位置が変化するごとに物体からの光を検出する。

制御装置４０は、たとえば、ＣＰＵ、ＲＯＭ、およびＲＡＭなどから構成され、三次元スキャナ２で行われる処理を制御する。なお、制御装置４０は、ＦＰＧＡまたはＧＰＵで構成されてもよい。また、制御装置４０は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵの少なくとも１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵの全てから構成されてもよい。また、制御装置４０は、演算回路（processing circuitry）で構成されてもよい。制御装置４０は、レンズ２４の位置と、そのときの光学センサ２５の検出結果とに基づいて、物体の表面を示す点群の各々の位置情報を算出する。

これにより、三次元スキャナ２は、スキャン範囲Ｒ内のＸＹ平面における物体の表面を示す点群の各々の位置情報（Ｘ座標およびＹ座標）を取得する。図４に示すように、三次元スキャナ２と物体との間の仮想視点からＺ軸方向に物体を見た場合、ＸＹ平面において、物体の表面を示す二次元画像を表すことができる。三次元スキャナ２は、このようなＸ座標およびＹ座標を含む二次元データの束を、Ｚ軸方向に順番に取得することによって、１スキャンごとに物体の三次元データ（Ｘ座標、Ｙ座標、およびＺ座標）を取得することができる。１スキャンとは、三次元スキャナ２のプローブ２２の位置が固定された状態で物体の三次元データ（Ｘ座標、Ｙ座標、およびＺ座標）を１回取得することに対応する。

より具体的には、三次元スキャナ２を動かさずに固定された光軸で３次元データを取得するような１回のスキャンが行われた場合、制御装置４０は、スキャン対象の物体の表面を示す点群の各々に対して、光軸方向をＺ座標とし、かつ光軸方向（Ｚ軸方向）と直交する平面方向をＸ座標およびＹ座標として、三次元の位置情報を付与する。制御装置４０は、三次元スキャナ２によって複数回のスキャンが行われた場合、各スキャンによって取得された点群の三次元データを、複数回のスキャン同士で結合する際に、重複する部分の一致する形状に基づいて三次元データを結合させる。制御装置４０は、結合の完成時、または、一定のタイミングで、結合された点群の三次元データに対して、任意の原点に基づくＸ座標、Ｙ座標、およびＺ座標を改めて付与することによって、全体として統一のある物体の位置情報を含む点群の三次元データを取得する。

三次元スキャナ２によって取得された物体の三次元データは、スキャナインターフェース１３を介してデータ処理装置１に入力される。なお、制御装置４０の全ての機能または一部の機能を、データ処理装置１が備えていてもよい。たとえば、データ処理装置１の演算部１１が、制御装置４０の機能を備えていてもよい。

［三次元スキャナによるスキャンの一例］
図５～図８を参照しながら、三次元スキャナ２によるスキャンの一例を説明する。

図５は、三次元スキャナ２によるスキャン方法を説明するための図である。三次元スキャナ２のスキャン範囲は、口腔内に挿入可能なプローブ２２の大きさによって制限される。このため、ユーザは、プローブ２２を口腔内に挿入し、プローブ２２を歯列に沿って口腔内を移動させるようにして複数回に亘って口腔内をスキャンする。

たとえば、図５に示すように、ユーザは、口腔内でプローブ２２を動かすことによって、スキャン範囲をＲ１，Ｒ２，Ｒ３，・・・Ｒｎといったように順番に切り替えて、口腔内の様々な部分の三次元データを取得する。より具体的には、ユーザは、歯牙の舌側面から咬合面を経由して歯牙の唇側面へとプローブ２２を動かすことによって一部の歯牙をスキャンし、このようなスキャンを左奥歯側から前歯を経由して右奥歯側へとプローブ２２を動かすことによって複数の歯牙を順番にスキャンする。なお、口腔内におけるプローブ２２の動かし方は、ユーザごとまたは歯科診療ごとに異なるため、三次元データが取得される口腔内の部分および取得順は変化し得る。

図６は、実施の形態１に係る三次元スキャナ２によって取得された各スキャン範囲における物体を示す図である。図６に示すように、ユーザがプローブ２２を動かしながら物体をスキャンすることにより、三次元スキャナ２は、各スキャン範囲に含まれる物体の三次元データを取得することができる。たとえば、三次元スキャナ２は、１スキャンごとに１つのスキャン範囲における三次元データを取得することができ、図６の例においては、スキャン範囲Ｒ１１～Ｒ１５の各々の三次元データを取得することができる。三次元スキャナ２は、複数回のスキャンによって得られた複数のスキャン範囲Ｒ１１～Ｒ１５のそれぞれに対応する複数の三次元データを結合することによって、複数のスキャン範囲Ｒ１１～Ｒ１５に含まれる物体全体の三次元データを取得することができる。

図７および図８は、三次元スキャナ２を用いて物体をスキャンする様子を示す図である。図７および図８に示すように、口腔内においては、舌、下顎の歯列と舌との間の小帯、下顎の歯列、下顎の歯列と下唇との間の小帯（図示は省略する）、下唇、硬口蓋、上顎の歯列と硬口蓋との間の小帯、上顎の歯列、上顎の歯列と上唇との間の小帯（図示は省略する））、上唇、歯肉、粘膜、および補綴物（金属歯、セラミック歯、レジン歯）などの複数の物体が含まれる。三次元スキャナ２によるスキャン中においては、スキャン対象である歯牙などの物体と三次元スキャナ２との間に、術者の指または診療器具、あるいは患者の舌、唇、粘膜（頬裏）などの不要物体が入り込み、三次元スキャナ２が物体の三次元データを適切に取得することができない場合がある。たとえば、図６の例では、範囲Ｒ１２～Ｒ１４に不要物体である指が入り込んでいる。なお、指は、術者の生身の指に限らず、術者が手袋をはめた状態の指も含まれる。また、診療器具としては、バキューム、開口器、および舌圧子などの歯科用インスツルメントが挙げられる。

たとえば、図７および図８に示すように、三次元スキャナ２のプローブ２２が口腔内に挿入される際には、口腔内の軟組織を押さえるために、歯牙と唇との間に指が挿入されることがある。

具体的には、図７に示すように、ユーザは、唇側の歯牙の側面の三次元データを取得する場合、プローブ２２を歯牙と唇との隙間に挿入するが、このとき、歯列と唇との隙間に指を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにする。また、図８に示すように、ユーザは、舌側の歯牙の側面の三次元データを取得する場合、プローブ２２を歯列と舌との隙間に挿入するが、このとき、歯列と舌との隙間に指を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにする。なお、指に限らず、歯牙と唇との隙間または歯牙と舌との隙間に軟組織を押さえるための診療器具が挿入されることもある。このように、軟組織を押さえている指が歯列に接触した状態で口腔内をスキャンすると、図６に示すように、範囲Ｒ１２～Ｒ１４に不要物体である指が入り込んだ状態で、三次元データが取得される。

このように、歯科診療においては、通常、指および診療器具などの挿入物体が口腔内に挿入された状態で口腔内がスキャンされるが、たとえば、図４のスキャン範囲Ｒおよび図６のスキャン範囲Ｒ１２～Ｒ１４に示すように、スキャン範囲内に挿入物体が入り込み、三次元スキャナ２が物体の三次元データを適切に取得することができない場合がある。

そこで、実施の形態１に係るデータ処理装置１は、ＡＩ（人工知能：Artificial Intelligence）を利用して、口腔内の歯牙、舌、唇、小帯、歯肉、粘膜、補綴物（金属歯、セラミック歯、レジン歯）、および口腔内に挿入される挿入物体などの複数の物体の各々の種類を識別し、識別結果に基づいて、歯科診療に不要な物体の三次元データを抽出して削除するように構成されている。以下、データ処理装置１の具体的な機能について説明する。

［データ処理装置の機能構成］
図９を参照しながら、実施の形態１に係るデータ処理装置１の機能構成について説明する。図９は、実施の形態１に係るデータ処理装置１の機能構成を示すブロック図である。

図９に示すように、データ処理装置１は、主な機能部として、入力部１１０１と、二次元データ生成部１１０６と、識別部１１０２と、除去部１１０３と、結合部１１０４と、画像生成部１１０５と、記憶部１２とを備える。

入力部１１０１は、スキャナインターフェース１３の機能部であり、三次元スキャナ２によって取得される１スキャンごとの三次元データを取得する。なお、入力部１１０１は、通信部１４、周辺機器インターフェース１６、または読取部１７の機能部であってもよい。たとえば、入力部１１０１が通信部１４の機能部である場合、通信部１４は、有線通信または無線通信を介して、外部装置から三次元データを取得する。なお、外部装置は、歯科医院に設置されたサーバ装置であってもよいし、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。入力部１１０１が周辺機器インターフェース１６の機能部である場合、周辺機器インターフェース１６は、キーボード４およびマウス５を用いてユーザによって入力された三次元データを取得する。入力部１１０１が読取部１７の機能部である場合、読取部１７は、リムーバブルディスク２０に記憶された三次元データを取得する。

ここで、図１０を参照しながら、データ処理装置１に入力される三次元データについて説明する。図１０は、実施の形態１に係るデータ処理装置１に入力される三次元データを説明するための図である。図１０に示すように、入力部１１０１に入力される１スキャンごとの三次元データは、スキャン範囲内の物体の表面を示す点群の各々に対応付けられた、Ｘ座標、Ｙ座標、およびＺ座標の位置情報と、Ｘ成分、Ｙ成分、およびＺ成分の法線情報とを含む。なお、図示は省略するが、三次元データは、スキャン範囲内の物体の表面を示す点群の各々に対応付けられた色情報も含む。

位置情報とは、図４を用いて説明したように、スキャン範囲に含まれる物体の表面を示す点群の各々におけるＸ座標、Ｙ座標、およびＺ座標である。法線情報とは、点群に含まれる１つの点に注目して、その注目点における接線に垂直な法線のＸ成分、Ｙ成分、およびＺ成分である。なお、点群に含まれる１つの点に対する法線の生成には、主成分分析などの公知の技術を用いればよい。

図９に戻り、二次元データ生成部１１０６は、演算部１１の機能部である。二次元データ生成部１１０６は、入力部１１０１から入力される１スキャン分の三次元データから二次元データを生成する。

具体的には、図４を用いて説明したように、共焦点法の技術を用いた三次元スキャナ２は、スキャン範囲に含まれる物体からの光を検出することによって、物体の表面を示す点群の各々の位置情報を含む三次元データを取得することができる。図１０に示すように、三次元スキャナ２によって取得されて入力部１１０１から入力される三次元データは、位置情報として、物体の表面を示す点群の各々のＸ座標、Ｙ座標、およびＺ座標を含み、その位置での色情報を含む。二次元データ生成部１１０６は、入力部１１０１から入力される三次元データに含まれる位置情報のうち、Ｘ座標およびＹ座標のみを用いて物体の表面を示す点群の各々の二次元データを生成する。Ｘ座標およびＹ座標は、二次元データのピクセル位置であり、色情報はそのピクセル位置での画素値である。すなわち、二次元データ生成部１１０６によって三次元データに基づき生成される二次元データは、スキャン範囲に含まれる少なくとも１つの物体を一定距離離間した位置（たとえば、図４の仮想視点位置）から見た場合の当該少なくとも１つの物体の外観を示す二次元画像のデータである。二次元データ生成部１１０６は、生成した二次元データを識別部１１０２に出力する。

なお、二次元データ生成部１１０６は、入力部１１０１から入力される三次元データに含まれる位置情報のうち、Ｘ座標、Ｙ座標、およびＺ座標を用いて物体の表面を示す点群の各々を、距離画像として二次元データを生成してもよい。すなわち、二次元データ生成部１１０６は、Ｘ座標およびＹ座標を二次元データのピクセル位置とし、Ｚ座標をそのピクセル位置での画素値に変換してもよい。距離画像は、Ｚ座標が画像の濃淡を含む色情報によって表現される二次元データである。さらに、二次元データ生成部１１０６は、Ｘ座標およびＹ座標のみを用いて生成した物体の表面を示す二次元データと、Ｘ座標、Ｙ座標、およびＺ座標を用いて生成した距離画像を用いた二次元データの両方を生成してもよい。このように、Ｚ座標を色情報とすれば、人間が視覚的に二次元画像（距離画像）を見る場合に有用である。たとえば、奥歯を上からスキャンした場合の距離画像（Ｚ座標を画素値に変換した画像）においては、歯の咬合面付近が白に近い色になり、歯肉の奥側は黒に近い色になる。すなわち、奥歯における高低差を白黒によって表すことができる。一方、カラー写真のような通常の二次元画像の場合は、色またはＸＹ平面における輪郭によって奥歯の形状が表され、高低差は表現され得ない。特に、機械学習においては、カラー写真のような二次元画像だけでは、スキャンされた物体が歯肉、粘膜（頬の裏側）、および唇のいずれであるのか判断が難しい場合に、上述したような高低差のある距離画像を用いれば各物体を識別することが可能になる。また、演算部１１のようなコンピュータ（ＡＩ）においても、距離画像のようなＺ座標に画素値を用いる場合は、Ｚ座標に単に形状の高さを用いる場合よりも、隣り合う複数の物体間の関係が分かりやすくなるため、畳み込み演算(convolution)を使って計算し易くなる。

識別部１１０２は、演算部１１の機能部である。識別部１１０２は、二次元データ生成部１１０６から入力される二次元データと、推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する。識別部１１０２は、識別結果を除去部１１０３に出力する。

ここで、図１１を参照しながら、推定モデル１２２の機械学習について説明する。図１１は、実施の形態１に係る推定モデル１２２を機械学習させるときに用いられる学習用データを説明するための図である。図１１に示すように、実施の形態１に係る推定モデル１２２は、口腔内の複数の物体の各々の位置情報として、Ｘ座標およびＹ座標を含む二次元データと、複数の物体の各々を示す正解ラベルとを含む１スキャン分の学習用データを用いて、１スキャン分の二次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。すなわち、推定モデル１２２は、Ｚ座標を用いることなく、Ｘ座標およびＹ座標を含む二次元データに基づき物体を推定するように機械学習が行われている。

ここで、複数の物体の間における相対的な位置関係について説明する。口腔内においては、解剖学的に歯牙および舌などの複数の物体の各々の位置が任意のランドマークとの関係で、つまり、相対的な関係で予め決まっている。たとえば、上述した図７および図８に示すように、口を開けた顔を正面から見た状況で、下顎においては、上顎または下顎の中心付近（口腔の奥側）から外側（開口方向）の順に、舌、下顎の歯列と舌との間の小帯、下顎の歯列、下顎の歯列と下唇との間の小帯（図示は省略する）、および下唇が位置している。言い換えると、下顎の歯列を起点（任意のランドマーク）とした場合、舌は下顎の歯列よりも口腔の奥側に位置し、下唇は下顎の歯列よりも口腔の手前側に位置する。また、口を開けた顔を正面から見た状況で、上顎においては、上顎または下顎の中心付近（口腔の奥側）から外側（開口方向）の順に、硬口蓋、上顎の歯列と硬口蓋との間の小帯、上顎の歯列、上顎の歯列と上唇との間の小帯（図示は省略する）、および上唇が位置している。言い換えると、上顎の歯列を起点（任意のランドマーク）とした場合、硬口蓋は上顎の歯列よりも口腔の奥側に位置し、上唇は上顎の歯列よりも口腔の開口方向側に位置する。すなわち、口腔内においては、歯牙、舌、および唇などの複数の物体の間における相対的な位置関係が定まっている。

このように、口腔内の複数の物体の間においては相対的な位置関係が定まっているため、推定モデル１２２の入力データである物体の位置情報を含む三次元データと、推定モデル１２２の出力データである当該物体の種類の識別結果との間には、相関関係があると言える。すなわち、三次元データに含まれる物体の位置情報は当該物体の種類に対応付けられるといったように、入力データと出力データとの間で相関関係があるため、推定モデル１２２は、入力された物体の位置情報を含む三次元データに基づき、当該三次元データに対応する位置が口腔内のどの領域に含まれるかを特定することによって、物体の種類を識別することができる。

図１２は、複数の物体の各々と正解ラベルとの対応関係を説明するための図である。図１２に示すように、下顎について、舌に対しては、正解ラベルとして「０１」を示すデータが対応付けられる。下顎第１隙間に対しては、正解ラベルとして「０２」を示すデータが対応付けられる。下顎の歯列に含まれる複数の歯牙のそれぞれに対しては、正解ラベルとして「３１」～「４８」を示すデータが対応付けられる。下顎第２隙間に対しては、正解ラベルとして「０４」を示すデータが対応付けられる。下唇に対しては、正解ラベルとして「０５」を示すデータが対応付けられる。

上顎について、硬口蓋に対しては、正解ラベルとして「０６」を示すデータが対応付けられる。上顎第１隙間に対しては、正解ラベルとして「０７」を示すデータが対応付けられる。上顎の歯列に含まれる複数の歯牙のそれぞれに対しては、正解ラベルとして「１１」～「２８」を示すデータが対応付けられる。上顎第２隙間に対しては、正解ラベルとして「０９」を示すデータが対応付けられる。上唇に対しては、正解ラベルとして「１０」を示すデータが対応付けられる。

上述したように、歯科診療においては、指および診療器具などの挿入物体が口腔内に挿入され得る。挿入物体のうち、指に対しては、正解ラベルとして「５１」を示すデータが対応付けられる。また、挿入物体のうち、診療器具に対しては、正解ラベルとして「５２」を示すデータが対応付けられる。

図９に戻り、学習用データにおいては、１スキャンで得られる複数の物体の各々の表面を示す点群の各々の二次元データ（位置情報）に対して、物体の種類を示す正解ラベルが対応付けられている。

たとえば、図１１に示すように、舌をスキャンすることによって得られた三次元データから生成された二次元データに対しては、正解ラベルとして「０１」を示すデータが対応付けられている。下顎左第三大臼歯をスキャンすることによって得られた三次元データから生成された二次元データに対しては、正解ラベルとして「３８」を示すデータが対応付けられている。下顎左第二大臼歯をスキャンすることによって得られた三次元データから生成された二次元データに対しては、正解ラベルとして「３７」を示すデータが対応付けられている。さらに、下顎第２隙間に挿入された指をスキャンすることによって得られた三次元データから生成された二次元データに対しては、正解ラベルとして「５１」を示すデータが対応付けられている。

このように、実施の形態１においては、推定モデル１２２を機械学習させるための学習用データとして、１スキャンで得られる複数の物体の各々の表面を示す点群の各々の二次元データ（Ｘ座標，Ｙ座標）に対して、物体の種類を示す正解ラベルが対応付けられている。

推定モデル１２２は、１スキャン分の二次元データに基づき、スキャンされた複数の物体の各々の種類を識別し、識別結果と正解ラベルとの一致度合いに基づきパラメータ１２２２を調整する。

これにより、推定モデル１２２は、１スキャン分の二次元データに対応付けられた正解ラベルに基づき、当該二次元データに対応する物体の種類を識別するように機械学習することによって、当該二次元データに対応する物体の種類を識別することができるようになる。

さらに、推定モデル１２２は、Ｚ座標の分だけ次元を落とした２次元データに基づき機械学習するため、Ｚ座標を含む三次元データを用いるよりも、演算処理の負担を低減しながら機械学習することができる。

図９に戻り、除去部１１０３は、演算部１１の機能部である。除去部１１０３は、識別部１１０２から物体の種類の識別結果を取得する。識別結果は、図１２に示すように、舌、下顎第１隙間、下顎の歯列に含まれる各歯牙、下顎第２隙間、下唇、硬口蓋、上顎第１隙間、上顎の歯列に含まれる各歯牙、上顎第２隙間、および上唇の各々の識別結果とともに、指および診療器具などの挿入物体の識別結果も含まれる。除去部１１０３は、識別部１１０２の識別結果に、術者の指または診療器具、あるいは患者の舌などの不要物体の識別結果が含まれている場合、入力部１１０１から入力された三次元データから、識別部１１０２によって識別された不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを除去することによって、不要物体除去後の三次元データ（以下、「不要三次元データ」とも称する。）を生成する。

具体的には、除去部１１０３は、不要物体の表面を示す点群の各々のＸＹ平面方向における位置情報（Ｘ座標，Ｙ座標）を抽出し、不要物体の表面を示す点群の各々に対応する光軸方向における位置情報（Ｚ座標）を抽出することによって、不要三次元データを抽出する。たとえば、除去部１１０３は、二次元データ生成部１１０６によって生成された二次元データに基づき、識別部１１０２によって識別された不要物体の表面を示す点群の各々のＸ座標およびＹ座標を抽出する。さらに、除去部１１０３は、抽出した不要物体のＸ座標およびＹ座標を検索キーにして、入力部１１０１が取得した三次元データに基づき、不要物体のＸ座標およびＹ座標に対応付けられたＺ座標を抽出する。除去部１１０３は、抽出した不要物体のＸ座標、Ｙ座標、およびＺ座標を不要三次元データとすることができる。ここで、不要物体を抽出するとは、たとえば、Ｘ座標、Ｙ座標、およびＺ座標の各データに対して不要物体を識別できるような識別データを関連付けて記憶することを含む。除去部１１０３は、入力部１１０１から入力された三次元データから、不要三次元データを除去することによって、不要物体除去後の三次元データを生成することができる。除去部１１０３は、不要物体除去後の三次元データを結合部１１０４に出力する。

結合部１１０４は、演算部１１の機能部である。結合部１１０４は、入力部１１０１に１スキャン分の三次元データが入力されるごとに、除去部１１０３から１スキャン分の三次元データを取得し、蓄積された複数スキャン分の三次元データを結合させることによって、結合された複数スキャン分の三次元データ（以下、「結合データ」とも称する。）を生成する。

図１３は、実施の形態１に係るデータ処理装置１によって生成された不要物体除去後の結合データを説明するための図である。除去部１１０３は、識別部１１０２の識別結果に、術者の指または診療器具、あるいは患者の舌、唇、粘膜などの不要物体の識別結果が含まれている場合、図１３に示すように、識別部１１０２によって識別された不要物体に対応する三次元データ（不要三次元データ）に対して除去フラグをセットする。図１３の例では、除去対象となる舌、唇、粘膜、および指に対応する不要三次元データに対して、除去フラグとして「０１」をセットする。データ処理装置１は、除去フラグに「０１」がセットされた不要三次元データについては、ディスプレイ３に表示する二次元画像に用いないように構成されている。結合部１１０４は、除去部１１０３から入力された三次元データに基づき、図１３に示すように、複数スキャン分の三次元データを結合させることによって、不要物体除去後の結合データを生成する。

図９に戻り、結合部１１０４は、結合データを記憶部１２および画像生成部１１０５に出力する。記憶部１２は、結合部１１０４から入力された結合データを記憶する。画像生成部１１０５は、演算部１１の機能部である。画像生成部１１０５は、結合部１１０４から入力された結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。このとき、画像生成部１１０５は、除去フラグに「０１」がセットされた不要三次元データを用いることなく、二次元画像データを生成する。これにより、データ処理装置１は、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。

［データ処理装置の処理フロー］
図１４を参照しながら、データ処理装置１が実行する処理の一例を示す図である。図１４は、実施の形態１に係るデータ処理装置１が実行する処理の一例を説明するためのフローチャートである。図１４に示す各ステップ（以下、「Ｓ」で示す。）は、データ処理装置１の演算部１１がデータ処理プログラム１２１を実行することで実現される。また、データ処理装置１は、三次元スキャナ２によるスキャンが開始された後、図１４に示すフローチャートの処理を実行する。

図１４に示すように、データ処理装置１は、三次元スキャナ２によってスキャンされた任意の点の三次元データを取得する（Ｓ１１）。データ処理装置１は、取得した三次元データから、Ｘ座標およびＹ座標のみを用いて二次元データを生成する（Ｓ１２）。データ処理装置１は、二次元データと、推定モデル１２２とに基づき、スキャンされた複数の物体の各々を識別する（Ｓ１３）。

データ処理装置１は、識別結果に基づき、不要物体を検出したか否かを判定する（Ｓ１４）。すなわち、データ処理装置１は、識別結果として、舌に対応する「０１」を示すデータ、指に対応する「５１」を示すデータ、または診療器具に対応する「５２」を示すデータ、下唇に対応する「０５」を示すデータ、上唇に対応する「１０」を示すデータを出力したか否かを判定する。データ処理装置１は、不要物体を検出した場合（Ｓ１４でＹＥＳ）、検出した不要物体に対応する不要三次元データを抽出し、抽出した不要三次元データを除去する（Ｓ１５）。すなわち、データ処理装置１は、不要三次元データに対して除去フラグをセットする。

データ処理装置１は、不要物体を検出しなかった場合（Ｓ１４でＮＯ）、または、Ｓ４５で不要三次元データを除去した後、複数スキャン分の三次元データを結合させることによって、結合データを生成する（Ｓ１６）。

データ処理装置１は、結合データを記憶部１２に記憶する（Ｓ１７）。さらに、データ処理装置１は、結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、口腔内の二次元画像をディスプレイ３に表示させる（Ｓ１８）。

データ処理装置１は、三次元スキャナ２によるスキャンが停止したか否かを判定する（Ｓ１９）。データ処理装置１は、三次元スキャナ２によるスキャンが停止していない場合（Ｓ１９でＮＯ）、Ｓ１１に処理を戻す。一方、データ処理装置１は、三次元スキャナ２によるスキャンが停止した場合（Ｓ１９でＹＥＳ）、本処理を終了する。

以上のように、データ処理装置１は、三次元スキャナ２によってスキャンされた複数の物体のうち、歯科診療に不要な不要物体も推定モデル１２２を用いて識別し、識別した不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを抽出することができる。これにより、ユーザは、不要物体の三次元データを自ら抽出する必要がなく、不要物体の三次元データを容易にかつ適切に抽出することができる。

さらに、データ処理装置１は、Ｚ座標の分だけ次元を落とした２次元データに基づき、推定モデル１２２を用いて口腔内の複数の物体の各々を識別することができるため、Ｚ座標を含む三次元データを用いて口腔内の複数の物体の各々を識別するよりも、演算処理の負担を低減しながら不要物体の三次元データを抽出することができる。

データ処理装置１は、三次元スキャナ２によって入力される三次元データから、不要三次元データを除去することができるため、ユーザは、不要物体の三次元データを自ら除去して不要物体除去後の三次元データを作成する必要がなく、不要物体が除去された後の三次元データを容易に取得することができる。

データ処理装置１は、不要三次元データを除去した後の三次元データを用いて生成した画像データをディスプレイ３に出力するため、ユーザは、不要物体が除去された後の口腔内の二次元画像を自ら生成する必要がなく、不要物体が除去された後の二次元画像を容易に取得することができる。

＜実施の形態２＞
本開示の実施の形態２について、図面を参照しながら詳細に説明する。なお、実施の形態２においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

図１５は、実施の形態２に係る三次元スキャナ１０２が三角測量法に基づき三次元データを取得する例を説明するための図である。図１６は、実施の形態２に係る三次元スキャナ１０２によって取得された三次元データに基づき任意の視点から見た二次元画像を示す図である。実施の形態２に係る三次元スキャナ１０２は、実施の形態１に係る三次元スキャナ２と異なり、三角測量法に基づき三次元データを取得する。

図１５に示すように、三角測量法においては、プロジェクタ８によって物体にパターンが投影され、プロジェクタ８とは異なる位置にあるカメラ９によって物体に投影されたパターンが撮像される。図１５（Ａ）に示すように、プロジェクタ８が物体に対して直線パターンを投影した場合、プロジェクタ８と物体とを結ぶ線と、カメラ９と物体とを結ぶ線とによって成される角度に基づき、図１５（Ｂ）に示すように、カメラ９の撮像によって得られたパターン画像は、物体の形状に沿ったパターンが表れる。図１５（Ｃ）に示すように、三次元スキャナ１０２は、プロジェクタ８と物体とを結ぶ線の長さ、カメラ９と物体とを結ぶ線の長さ、プロジェクタ８とカメラ９とを結ぶ線の長さ、およびこれら複数の線によって生成される三角形の各頂点の角度に基づき、公知の三角測量法を用いて物体に投影されたパターンの位置を検出する。

図１６に示すように、三次元スキャナ１０２は、口腔内の物体にパターンを投影するプロジェクタ８と、物体に投影されたパターンを撮像するカメラ９とを備える。三次元スキャナ１０２は、図１６（Ａ）に示すように、プロジェクタ８によって物体にパターンが投影された状態でカメラ９によって物体を撮像する。三次元スキャナ１０２は、図１６（Ａ）の撮像画像に基づき、公知の三角測量法を用いて物体の表面を示す点群の各々の位置情報（Ｘ座標，Ｙ座標，Ｚ座標）を取得する。

さらに、三次元スキャナ１０２は、図１６（Ｂ）に示すように、プロジェクタ８によって物体にパターンが投影されていない状態でカメラ９によって物体を撮像してもよい。上述したように、実施の形態３に係るデータ処理装置３００は、二次元データに基づき口腔内の複数の物体の各々を識別するように構成されており、データ処理装置３００は、三次元スキャナ１０２によって取得された図１６（Ｂ）の撮像画像に基づき、口腔内の複数の物体の各々を識別してもよい。さらに、データ処理装置３００は、抽出した不要物体のＸ座標およびＹ座標を検索キーにして、図１６（Ａ）の撮像画像に基づき取得した不要物体のＺ座標を抽出してもよい。

なお、三次元スキャナ１０２は、プロジェクタ８によって物体にパターンが投影された状態でカメラ９によって物体を撮像する処理と、プロジェクタ８によって物体にパターンが投影されていない状態でカメラ９によって物体を撮像する処理とを切り替えることによって、図１６（Ａ）の撮像画像と、図１６（Ｂ）の撮像画像とを取得してもよい。あるいは、三次元スキャナ１０２は、カメラ９を複数備え、プロジェクタ８によって物体にパターンが投影された状態で第１のカメラによって物体を撮像し、プロジェクタ８によって物体にパターンが投影されていない状態で第２のカメラによって物体を撮像することによって、図１６（Ａ）の撮像画像と、図１６（Ｂ）の撮像画像とを取得してもよい。

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

上述した実施の形態においては、「所定の物体」として歯科診療に不要な不要物体を例示したが、「所定の物体」は不要物体に限らず、ユーザが予め任意に指定した特定の物体であってもよい。たとえば、口腔内の複数の歯牙のうち、特定の歯牙（たとえば、下顎左第三大臼歯）にう蝕を発見した場合、ユーザは、当該特定の歯牙のみをピックアップして「所定の物体」として指定してもよい。この場合、データ処理装置１は、三次元スキャナ２によって取得された口腔内の三次元データから二次元データを生成し、生成した二次元データに基づき、ユーザによって指定された特定の歯牙を識別し、識別した特定の歯牙の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出するように構成される。

識別部１１０２は、推定モデル１２２を用いて口腔内の複数の物体の各々を識別することに限らず、予め設計した特徴量、つまり、二次元画像に含まれる予め定めた形状によるパターンマッチングによって、口腔内の複数の物体の各々を識別してもよい。上述したように、二次元データ生成部１１０６によって生成される二次元データは、口腔内の少なくとも１つの物体を一定距離離間した位置（たとえば、図４の仮想視点位置）から見た場合の当該少なくとも１つの物体の外観を示す二次元画像のデータである。識別部１１０２は、二次元データ生成部１１０６によって生成された識別対象となる口腔内の物体（たとえば、歯牙または不要物体）の外観を示す二次元画像から当該物体（たとえば、歯牙または不要物体）の像を認識し、認識した当該物体（たとえば、歯牙または不要物体）の像と、予め設計した特徴量、つまり、二次元画像に含まれる予め定めた形状のとの一致度を判定し、その判定結果に基づき、識別対象となる当該物体（たとえば、歯牙または不要物体）を識別してもよい。

入力部１１０１に入力される三次元データには、物体の表面を示す点群の各々における位置情報および法線情報に加えて、点群の各々における実際の色を表す色情報（ＲＧＢ値）が含まれていてもよい。さらに、推定モデル１２２は、入力部１１０１に入力された三次元データに対応付けられた色情報（ＲＧＢ値）に基づき、物体の種類を識別するように機械学習されてもよい。なお、入力部１１０１に入力される三次元データには、点群の各々における位置情報のみが含まれ、法線情報および色情報が含まれていなくてもよい。

除去部１１０３は、不要三次元データを除去することに限らず、不要三次元データに不要物体を示す色情報を付加してもよい。そして、画像生成部１１０５は、不要物体が除去された後の口腔内の二次元画像を生成することに限らず、不要物体に対応する部分に当該不要物体を示す色が付された二次元画像を生成してディスプレイ３に出力してもよい。

三次元計測方法として、上記の技術以外には、ランダムパターン投影またはパターン投影のないSfM（Stracture From Motion）及びSLAM（Simultaneous Localization and Mapping）などの三角測量法を用いてもよいし、TOF（Time Of Flight）またはLIDAR（Light Detection and Ranging）などのレーザー技術などを用いてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１，２００，３００，４００ データ処理装置、２，１０２ 三次元スキャナ、３ ディスプレイ、４ キーボード、５ マウス、７ 口腔内カメラ、８ プロジェクタ、９ カメラ、１０ データ処理システム、１１ 演算部、１２ 記憶部、１３ スキャナインターフェース、１４ 通信部、１５ ディスプレイインターフェース、１６ 周辺機器インターフェース、１７ 読取部、２０ リムーバブルディスク、２１ ハウジング、２２ プローブ、２３ 光源、２４ レンズ、２５ 光学センサ、２６ プリズム、２７ カウンタウェイト、２８ 反射部、２９ 開口部、４０ 制御装置、１２１ データ処理プログラム、１２２ 推定モデル、１１０１ 入力部、１１０２ 識別部、１１０３ 除去部、１１０４ 結合部、１１０５ 画像生成部、１１０６ 二次元データ生成部、１２２１ ニューラルネットワーク、１２２２ パラメータ。

Claims (10)

1. 口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理装置であって、
   前記少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力される入力部と、
   前記入力部から入力される前記三次元データを処理する演算部とを備え、
   前記演算部は、
   前記三次元データから二次元データを生成し、
   前記二次元データに基づき、前記少なくとも１つの物体のうち、所定の物体を識別し、
   識別した前記所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出する、データ処理装置。
2. 前記所定の物体は、前記口腔内に挿入される挿入物体、舌、唇、および粘膜のうちの少なくとも１つを含む、請求項１に記載のデータ処理装置。
3. 前記挿入物体は、前記口腔内を撮像するための撮像装置が前記口腔内に挿入される際に、前記口腔内の軟組織を押さえるために挿入される指および診療器具のうちの少なくとも１つを含む、請求項２に記載のデータ処理装置。
4. 前記入力部から入力される前記三次元データは、前記口腔内に挿入されて共焦点法または三角測量法に基づき前記口腔内を撮像する撮像装置によって取得され、
   前記二次元データは、前記撮像装置の光軸方向と直交する平面方向における前記少なくとも１つの物体の表面を示す点群の各々の位置情報を含み、
   前記演算部は、前記所定の物体の表面を示す点群の各々の前記平面方向における位置情報を抽出し、前記所定の物体の表面を示す点群の各々に対応する前記光軸方向における位置情報を抽出することによって、前記所定の三次元データを抽出する、請求項１～請求項３のいずれか１項に記載のデータ処理装置。
5. 前記演算部は、前記所定の三次元データに前記所定の物体を示す色情報を付加する、請求項４に記載のデータ処理装置。
6. 前記三次元データに基づき生成される前記二次元データは、前記少なくとも１つの物体を一定距離離間した位置から見た場合の前記少なくとも１つの物体の外観を示す二次元画像のデータであり、
   前記演算部は、前記二次元画像に含まれる前記所定の物体の像を認識することにより前記所定の物体を識別する、請求項１に記載のデータ処理装置。
7. 前記演算部は、前記二次元画像に含まれる前記所定の物体の位置情報に対応する、前記二次元画像が示す平面方向と直交する直交方向の位置情報を抽出することによって、前記所定の三次元データを抽出する、請求項６に記載のデータ処理装置。
8. 前記演算部は、前記二次元データと、前記二次元データに基づき前記少なくとも１つの物体のうちから前記所定の物体を推定するための機械学習が行われた推定モデルとに基づき、前記所定の物体を識別する、請求項１に記載のデータ処理装置。
9. コンピュータによる口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理方法であって、
   前記少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力されるステップと、
   入力される前記三次元データを処理するステップとを含み、
   前記処理するステップは、
   前記三次元データから二次元データを生成するステップと、
   前記二次元データに基づき、前記少なくとも１つの物体のうち、所定の物体を識別するステップと、
   識別した前記所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出するステップとを含む、データ処理方法。
10. 口腔内の少なくとも１つの物体の位置情報を含むデータを処理するデータ処理プログラムであって、
    コンピュータに、
    前記少なくとも１つの物体の表面を示す点群の各々の位置情報を含む三次元データが入力されるステップと、
    入力される前記三次元データを処理するステップとを実行させ、
    前記処理するステップは、
    前記三次元データから二次元データを生成するステップと、
    前記二次元データに基づき、前記少なくとも１つの物体のうち、所定の物体を識別するステップと、
    識別した前記所定の物体の表面を示す点群の各々の位置情報を含む所定の三次元データを抽出するステップとを含む、データ処理プログラム。

Images