JP2024029381A - データ生成装置、データ生成方法、およびデータ生成プログラム - Google Patents

Abstract

【課題】簡単にかつ精度よく顎運動を確認することができる技術を提供する。
【解決手段】データ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力される動画データインターフェース１３および三次元データインターフェース１４と、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、対象者の顎運動に関連する顎運動関連データを生成する演算装置１１とを備える。
【選択図】図２

Description

本開示は、対象者の顎運動に関連する顎運動関連データを生成するデータ生成装置、データ生成方法、およびデータ生成プログラムに関する。

従来、顎関節の痛みなどの症状がある患者または咬合不良を主訴とする患者について、咬合の確認を行うために顎運動を観察することがある。また、矯正治療、義歯または補綴物の作成時においても、咬合の確認を行うために患者の顎運動を観察することが必要である。顎運動の確認は、患者の歯列の形状を再現した石膏模型と咬合器（アーティキュレータ）とを用いて行うことができる。また、上下顎の位置関係と下顎の運動データとを計測するための治具を患者に装着して、治具の動作に基づき患者の顎運動を確認することもできる。さらに、近年では、Ｘ線を利用して患者の歯列をコンピュータ断層撮影するＣＴ（Computed Tomography）装置、または、患者の歯列を光学スキャンする三次元スキャナによって得られた歯列の三次元データと、患者が装着した咬合器または治具の動作に対応する３次元データとを組み合わせて、コンピュータ上で患者の顎運動をシミュレーションする試みもなされている。

また、コンピュータによる画像処理技術の進歩によって、患者の顔の表面の仮想的な三次元サーフェスモデルを作成することも可能であり、患者のサーフェスモデルは、矯正治療による顔の形状または顎運動の変化を確認するために用いることができる。たとえば、特許文献１には、患者の顔の仮想的な三次元サーフェスモデルを作成することが可能な歯科用コンピュータ断層撮影装置が開示されている。

特開２０１７－１７６８５２号公報

上述したように、従来、患者の顎運動の確認においては、患者に咬合器または治具を装着させる必要があるため、準備が面倒である。さらに、患者は、咬合器または治具を装着しながら顎運動を行う必要があるため、患者の顎運動に余計な負荷を掛けてしまい、精度よく顎運動を確認することが難しい。また、特許文献１に開示された歯科用コンピュータ断層撮影装置においても、カラーカメラ、レーザ装置、および照明装置などの複数の部材を含む撮影ステーションを設ける必要があるため、準備が面倒である。このため、簡単にかつ精度よく患者の顎運動を確認することができる技術が求められている。

本開示は、このような問題を解決するためになされたものであり、簡単にかつ精度よく顎運動を確認することができる技術を提供することを目的とする。

本開示の一例に従えば、対象者の顎運動に関連する顎運動関連データを生成するデータ生成装置が提供される。データ生成装置は、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力される入力部と、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、対象者の顎運動に関連する顎運動関連データを生成する演算部とを備える。

本開示の一例に従えば、コンピュータによる対象者の顎運動に関連する顎運動関連データを生成するデータ生成方法が提供される。データ生成方法は、上下歯列のうちの一部の歯列が露出した状態で顎運動をしている対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力されるステップと、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、対象者の顎運動に関連する顎運動関連データを生成するステップとを含む。

本開示の一例に従えば、対象者の顎運動に関連する顎運動関連データを生成するデータ生成プログラムが提供される。データ生成プログラムは、コンピュータに、上下歯列のうちの一部の歯列が露出した状態で顎運動をしている対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力されるステップと、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、対象者の顎運動に関連する顎運動関連データを生成するステップとを実行させる。

本開示によれば、ユーザは、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとを用いて、対象者の顎運動に関連する顎運動関連データを取得することができるため、簡単にかつ精度よく対象者の顎運動を確認することができる。

実施の形態１に係るデータ生成システムおよびデータ生成装置の適用例を示す図である。 実施の形態１に係るデータ生成装置のハードウェア構成を示すブロック図である。 実施の形態１に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 データ生成処理におけるＳＴＥＰ１の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ５の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ８の処理内容を説明するための図である。 実施の形態２に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態３に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態３に係るデータ生成装置が実行する教師あり学習の概要を説明するための図である。 実施の形態３に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態３に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態４に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態４に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態４に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態５に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態６に係るデータ生成システムおよびデータ生成装置の適用例を示す図である。

＜実施の形態１＞
本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［適用例］
図１を参照しながら、実施の形態１に係るデータ生成システム１およびデータ生成装置１０の適用例を説明する。図１は、実施の形態１に係るデータ生成システム１およびデータ生成装置１０の適用例を示す図である。

たとえば、顎関節の痛みなどの症状がある患者または咬合不良を主訴とする患者について咬合の確認を行うために患者の顎運動を観察したり、歯牙の矯正治療、義歯または補綴物の作成時に咬合の確認を行うために患者の顎運動を観察したりすることがある。従来、患者などの対象者の顎運動の確認においては、対象者に咬合器または治具を装着させる必要があるため、準備が面倒であった。そこで、実施の形態１に係るデータ生成システム１およびデータ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られた動画データと、対象者の上下歯列の三次元データとを用いて、簡単にかつ精度よく対象者の顎運動を確認することができるように構成されている。

具体的には、図１に示すように、データ生成システム１は、動画撮影可能なカメラ２０と、対象物の三次元データを取得可能な三次元スキャナ３０と、データ生成装置１０とを備える。

カメラ２０は、デジタルカメラまたはビデオカメラなど、対象者を動画撮影可能なカメラ（たとえば、ＲＧＢカメラ）であればいずれのカメラであってもよい。実施の形態１においては、カメラ２０として、たとえば単眼カメラを例示する。カメラ２０によって取得された動画データは、時系列に並んだ複数のフレーム画像によって構成されている。フレーム画像とは、撮影対象（たとえば、対象者の顔）に向けられたカメラ２０の視点から見た二次元の撮影対象を示す１枚の静止画像である。たとえば、カメラ２０のフレームレートが２４ｆｐｓに設定されている場合、カメラ２０によって取得された動画データは、１秒間に２４枚のフレーム画像を含む。より時間分解能が高い顎運動を確認したい場合は、カメラ２０として、たとえば、１２０ｆｐｓまたは２４０ｆｐｓなどのフレームレートが高いカメラを用いてもよい。

三次元スキャナ３０は、共焦点法あるいは三角測量法などによって対象者の口腔内を光学的に撮像可能ないわゆる口腔内スキャナ（IOS:Intra Oral Scanner）である。具体的には、三次元スキャナ３０は、口腔内をスキャンすることによって、三次元データとして、口腔内の撮影対象（物体）の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。すなわち、三次元データは、ある座標空間上に置かれたスキャン対象であるオブジェクト（たとえば、口腔内の上下歯列）の表面を構成する点群の各々の位置の位置情報を含む位置データである。三次元スキャナ３０によって口腔内の上下歯列がスキャンされると、上下歯列の表面を示す点群の各々の位置情報を含む三次元データが取得される。このような三次元データによって、座標空間上に置かれたオブジェクト（上下歯列）の形状を特定することが可能である。以下では、座標空間上に置かれたオブジェクト（上下歯列）の形状を特定可能な三次元データの集まりを「形状データ」とも称する。また、座標空間上に置かれたオブジェクト（上下歯列）の位置を特定可能なデータを「位置データ」とも称する。

ユーザは、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を、カメラ２０を用いて動画撮影する。さらに、ユーザは、三次元スキャナ３０を用いて対象者の口腔内をスキャンすることによって、口腔内の上下歯列の三次元データを取得することができる。カメラ２０によって取得された動画データおよび三次元スキャナ３０によって取得された三次元データは、データ生成装置１０に入力される。なお、データ生成装置１０には、対象者を撮影することによって得られる動画データが入力される場合に限らず、たとえば、時系列で対象者を連続撮影することによって得られる複数の静止画像が入力されてもよい。

「ユーザ」は、歯科、口腔外科、整形外科、形成外科、および美容外科など、様々な分野の術者（医師など）または助手（歯科助手、歯科技工士、看護師など）を含む。「対象者」は、歯科、口腔外科、整形外科、形成外科、および美容外科などの患者を含む。「上下歯列」は、口腔内の上側の歯列および下側の歯列の両方、または、上側の歯列および下側の歯列のいずれかを含む。すなわち、「上下歯列」は、上側の歯列および下側の歯列の少なくとも１つを含む。「上下歯列のうちの一部の歯列」は、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列の両方、または、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列のいずれかを含む。すなわち、「上下歯列のうちの一部の歯列」は、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列の少なくとも１つを含む。

データ生成装置１０は、カメラ２０によって取得された対象者の動画データと、三次元スキャナ３０によって取得された対象者の上下歯列の三次元データとに基づき、対象者の顎運動に関連する顎運動関連データ（図１に示す顎運動関連データＲａ，Ｒｂ，Ｒｃ，Ｒｄ）を生成する。

これにより、ユーザは、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとを用いて、対象者の顎運動関連データを取得することができるため、簡単にかつ精度よく対象者の顎運動を確認することができる。

［識別装置のハードウェア構成］
図２を参照しながら、実施の形態１に係るデータ生成装置１０のハードウェア構成を説明する。図２は、実施の形態１に係るデータ生成装置１０のハードウェア構成を示すブロック図である。データ生成装置１０は、たとえば、汎用コンピュータで実現されてもよいし、データ生成システム１専用のコンピュータで実現されてもよい。

図２に示すように、データ生成装置１０は、主なハードウェア要素として、演算装置１１と、記憶装置１２と、動画データインターフェース１３と、三次元データインターフェース１４と、ディスプレイインターフェース１５と、周辺機器インターフェース１６と、メディア読取装置１７と、通信装置１８とを備える。

演算装置１１は、各種のプログラムを実行することで、各種の処理を実行する演算主体（コンピュータ）であり、「演算部」の一例である。演算装置１１は、たとえば、ＣＰＵ（central processing unit）またはＭＰＵ（Micro-processing unit）などのプロセッサで構成されている。なお、演算装置１１の一例であるプロセッサは、プログラムを実行することによって各種の処理を実行する機能を有するが、これらの機能の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェア回路を用いて実装してもよい。「プロセッサ」は、ＣＰＵまたはＭＰＵのようにストアードプログラム方式で処理を実行する狭義のプロセッサに限らず、ＡＳＩＣまたはＦＰＧＡなどのハードワイヤード回路を含み得る。このため、演算装置１１の一例である「プロセッサ」は、コンピュータ読み取り可能なコードおよび／またはハードワイヤード回路によって予め処理が定義されている、処理回路（processing circuitry）と読み替えることもできる。なお、演算装置１１は、１チップで構成されてもよいし、複数のチップで構成されてもよい。さらに、演算装置１１の一部の機能は、図示しないサーバ装置（たとえば、クラウド型のサーバ装置）に設けられてもよい。

記憶装置１２は、演算装置１１が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶装置１２は、ＤＲＡＭ（dynamic random access memory）およびＳＲＡＭ（static random access memory）などの揮発性メモリ、または、ＲＯＭ（Read Only Memory）およびフラッシュメモリなどの不揮発性メモリを備える。さらに、記憶装置１２は、ＳＳＤ（solid state drive）またはＨＤＤ（hard disk drive）などであってもよく、この場合、演算装置１１がＤＲＡＭおよびＳＲＡＭなどの揮発性メモリ、または、ＲＯＭおよびフラッシュメモリなどの不揮発性メモリを備えていてもよい。

なお、実施の形態１においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶装置１２に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶部に含まれていてもよい。たとえば、演算装置１１が揮発性の記憶領域を含み、記憶装置１２が不揮発性の記憶領域を含んでいてもよい。データ生成装置１０は、演算装置１１と、記憶装置１２とを含むマイクロコンピュータを備えていてもよい。

記憶装置１２は、データ生成プログラム１００を格納する。データ生成プログラム１００は、演算装置１１が顎運動している対象者の動画データと対象者の上下歯列の三次元データとに基づき対象者の顎運動関連データを生成するためのデータ生成処理の内容が記述されている。

動画データインターフェース１３は、カメラ２０を接続するためのインターフェースであり、「入力部」の一例である。動画データインターフェース１３は、データ生成装置１０とカメラ２０との間のデータ（たとえば、動画データ）の入出力を実現する。データ生成装置１０とカメラ２０とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

三次元データインターフェース１４は、三次元スキャナ３０を接続するためのインターフェースであり、「入力部」の一例である。三次元データインターフェース１４は、データ生成装置１０と三次元スキャナ３０との間のデータ（たとえば、三次元データ）の入出力を実現する。データ生成装置１０と三次元スキャナ３０とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

ディスプレイインターフェース１５は、ディスプレイ４０を接続するためのインターフェースである。ディスプレイインターフェース１５は、データ生成装置１０とディスプレイ４０との間のデータの入出力を実現する。

周辺機器インターフェース１６は、キーボード５１およびマウス５２などの周辺機器を接続するためのインターフェースである。周辺機器インターフェース１６は、データ生成装置１０と周辺機器との間のデータの入出力を実現する。

メディア読取装置１７は、記憶媒体であるリムーバブルディスク６０に格納されている各種のデータを読み出したり、各種のデータをリムーバブルディスク６０に書き出したりする。たとえば、メディア読取装置１７は、リムーバブルディスク６０からデータ生成プログラム１００を取得してもよいし、演算装置１１によって生成された対象者の顎運動関連データをリムーバブルディスク６０に書き出してもよい。

通信装置１８は、有線通信または無線通信を介して、外部装置との間でデータを送受信する。たとえば、通信装置１８は、演算装置１１によって生成された対象者の顎運動関連データを、外部装置に送信してもよい。

［データ生成処理］
図３～図１１を参照しながら、実施の形態１に係るデータ生成装置１０が実行するデータ生成処理を説明する。図３～図１１に示す実施の形態１に係るデータ生成処理では、動画データに含まれる各フレーム画像を用いたパターンマッチングによって当該各フレーム画像に対応する顎運動関連データを抽出する例を説明する。図３は、実施の形態１に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図３に示す各ＳＴＥＰ（以下、「Ｓ」で示す。）は、データ生成装置１０の演算装置１１がデータ生成プログラム１００を実行することで実現される。

図３に示すように、データ生成装置１０は、カメラ２０によって取得された顎運動している対象者の動画データが入力された後、当該動画データの中から、当該動画データを構成する複数のフレーム画像を抽出する（Ｓ１）。

たとえば、図４は、データ生成処理におけるＳＴＥＰ１の処理内容を説明するための図である。図４に示すように、一部の歯列が露出した状態で顎運動している対象者をカメラ２０が動画撮影した場合、カメラ２０によって取得された動画データは、一部の歯列が露出した状態で顎運動している対象者を示す複数のフレーム画像Ａ，Ｂ，Ｃ，Ｄを含む。たとえば、フレーム画像Ａは、上下歯列を閉じた状態の一部の歯列を含み、フレーム画像Ｂ～Ｄは、上下歯列を開いた状態の一部の歯列を含む。フレーム画像Ａ～Ｄによって、上下歯列が閉じた状態から開いた状態へと変化する様子が示される。なお、対象者を動画撮影している間、カメラ２０の位置（視点）および撮影対象の位置は必ずしも固定されているわけではないため、時系列で取得される各フレーム画像Ａ～Ｄによって示される上下歯列のカメラ位置からの見え方は互いに異なり得る。データ生成装置１０は、このような対象者が上下歯列を閉じた状態から段階的に上下歯列を開けた状態を示す複数のフレーム画像を、カメラ２０によって取得された動画データから抽出する。

図３に戻り、データ生成装置１０は、Ｓ２～Ｓ４において、対象者の顎運動関連データを生成するための前処理を実行する。

具体的には、データ生成装置１０は、複数のフレーム画像のうちの少なくとも１つのフレーム画像においてカメラ２０のレンズに応じたひずみが生じている場合、少なくとも１つのフレーム画像におけるひずみを補正する（Ｓ２）。データ生成装置１０は、このようなひずみ補正を行うことで、後述する、フレーム画像に含まれる上下歯列の形状と三次元スキャナ３０によって取得された三次元データに基づき具現化された上下歯列の形状との間のパターンマッチングの精度を向上させることができる。

データ生成装置１０は、撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置を検出する（Ｓ３）。データ生成装置１０は、撮影対象およびカメラ２０の各々の位置を後述するパターンマッチングに利用することで、パターンマッチングの精度を向上させることができ、さらに、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。なお、データ生成装置１０は、撮影対象およびカメラ２０の各々の位置を、カメラ２０による撮影開始時または撮影中に取得して記憶装置１２に記憶してもよい。Ｓ３の処理において、データ生成装置１０は、カメラ２０によって記憶されている撮影対象およびカメラ２０の各々の位置を検索して取得してもよいし、記憶装置１２によって記憶されている撮影対象およびカメラ２０の各々の位置を検索して取得してもよい。

データ生成装置１０は、撮影対象（たとえば、対象者の顔）と、カメラ２０との間の距離を検出する（Ｓ４）。データ生成装置１０は、撮影対象とカメラ２０との間の距離を後述するパターンマッチングに利用することで、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。なお、データ生成装置１０は、撮影対象とカメラ２０との距離を、カメラ２０による撮影開始時または撮影中に取得して記憶装置１２に記憶してもよい。Ｓ３の処理において、データ生成装置１０は、カメラ２０によって記憶されている距離を検索して取得してもよいし、記憶装置１２によって記憶されている距離を検索して取得してもよい。

なお、データ生成装置１０は、Ｓ３で取得した撮影対象とカメラ２０との位置関係、および、撮影対象とカメラ２０との距離のうちの少なくとも１つに基づき、後述するパターンマッチングを行ってもよい。

データ生成装置１０は、Ｓ１で抽出した各フレーム画像から上下歯列に対応する上下歯列画像を抽出する（Ｓ５）。

たとえば、図５は、データ生成処理におけるＳＴＥＰ５の処理内容を説明するための図である。図５に示すように、データ生成装置１０は、各フレーム画像Ａ，Ｂ，Ｃ，Ｄから、上下歯列に対応する上下歯列画像を抽出する。たとえば、データ生成装置１０は、予め記憶している上下歯列の形状を示すテンプレート画像と、各フレーム画像Ａ，Ｂ，Ｃ，Ｄとを比較して、パターンマッチングによって各フレーム画像Ａ，Ｂ，Ｃ，Ｄから上下歯列画像を抽出する。なお、データ生成装置１０は、上下歯列の形状を比較するパターンマッチングに限らず、上下歯列のエッジ形状を比較するパターンマッチングによって、各フレーム画像Ａ，Ｂ，Ｃ，Ｄから上下歯列画像を抽出してもよい。「上下歯列画像」は、口腔内の上側の歯列および下側の歯列の両方、または、上側の歯列および下側の歯列のいずれかを含む画像である。さらに、「上下歯列画像」は、上下歯列のうちの一部の歯列を含む画像である。

データ生成装置１０は、フレーム画像Ａに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ａを抽出する。データ生成装置１０は、フレーム画像Ｂに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｂを抽出する。データ生成装置１０は、フレーム画像Ｃに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｃを抽出する。データ生成装置１０は、フレーム画像Ｄに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｄを抽出する。

図３に戻り、データ生成装置１０は、三次元スキャナ３０によって取得された対象者の上下歯列の三次元データが入力された後、当該三次元データに基づき、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成する。「レンダリング画像」とは、あるデータに対して処理または編集を施すことによって生成された画像であって、実施の形態１においては、三次元スキャナ３０によって取得された三次元データに対して処理または編集を施すことによって生成された二次元の画像である。

上述したように、三次元スキャナ３０によって取得された三次元データは、対象者の上下歯列の表面を示す点群の各々の位置情報を含む。データ生成装置１０は、三次元スキャナ３０によって取得された三次元データを用いて、上下歯列の表面を示す点群を画像化することによって、ある視点から見た二次元の上下歯列を示すレンダリング画像を生成することができる。さらに、データ生成装置１０は、視点を多方向にわたって変化させることによって、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成することができる。

データ生成装置１０は、三次元スキャナ３０によって取得された上下歯列の三次元データに基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ６）、さらに、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ７）。

たとえば、図６～図１０は、データ生成処理におけるＳＴＥＰ６およびＳＴＥＰ７の処理内容を説明するための図である。図６に示すように、データ生成装置１０は、三次元データに基づき特定可能な座標空間上に置かれたオブジェクト（上下歯列）を、視点（カメラ２０の位置）および画角を変化させながら仮想的に見ることによって、水平方向または垂直方向において多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成することができる。そして、データ生成装置１０は、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像のレンダリング画像をパターンマッチングによって探索して、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を生成（抽出）する。なお、「探索」とは、複数のレンダリング画像の各々とフレーム画像に含まれる上下歯列画像とのパターンマッチングを１回または複数回トライすることによって、複数のレンダリング画像の中からフレーム画像に含まれる上下歯列画像に一致するレンダリング画像を探し出すことを意味する。データ生成装置１０は、フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を生成すると、当該レンダリング画像を生成したときのオブジェクト（上下歯列）の位置データを記憶する。あるいは、データ生成装置１０は、各フレーム画像に対応する各レンダリング画像を生成したときのオブジェクト（上下歯列）の位置データの変化分（オブジェクトの移動量）を記憶する。

図７および図８を参照しながら、レンダリング画像の生成の一例について説明する。図７に示すように、データ生成装置１０は、レンダリング画像を生成する際の視点を、対象者の顔（上下歯列）の正面に向けた状態から水平方向に段階的に移動させたと仮定し、水平方向における各視点から見た二次元の上下歯列を含む各レンダリング画像を生成する。

具体的には、データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）を正面から見たときの二次元の上下歯列を含むレンダリング画像ＴＣを生成する。データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）の正面を起点として水平方向に視点を少し左に傾けて見たとき（たとえば、正面を起点として水平方向に視点を左に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＬを生成する。データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）の正面を起点として水平方向に視点を少し右に傾けて見たとき（たとえば、正面を起点として水平方向に視点を右に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＲを生成する。

図８に示すように、データ生成装置１０は、レンダリング画像を生成する際の視点を、対象者の顔（上下歯列）の正面に向けた状態から垂直方向に段階的に移動させたと仮定し、垂直方向における各視点から見た二次元の上下歯列を含む各レンダリング画像を生成する。

具体的には、データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）を正面から見たときの二次元の上下歯列を含むレンダリング画像ＴＣを生成する。データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）の正面を起点として垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＤを生成する。データ生成装置１０は、三次元スキャナ３０によって取得された三次元データに基づき、対象者の顔（上下歯列）の正面を起点として垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＵを生成する。

なお、図示は省略するが、データ生成装置１０は、レンダリング画像ＴＬを基準として、垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像、および、垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像を生成する。データ生成装置１０は、レンダリング画像ＴＲを基準として、垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像、および、垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像を生成する。

このように、データ生成装置１０は、水平方向において段階的に視点を傾けた複数のレンダリング画像と、垂直方向において段階的に視点を傾けた複数のレンダリング画像とを生成することができる。なお、データ生成装置１０においては、対象者の顔（上下歯列）の正面を起点とし水平方向または垂直方向に傾ける角度が予め設定されており、当該角度を細かく設定するほど、データ生成装置１０は、多方向からの視点に基づくより多くの枚数のレンダリング画像を生成することができる。

データ生成装置１０は、Ｓ６において、水平方向または垂直方向に大まかな角度（たとえば、３度間隔）で視点を傾けたレンダリング画像を用いて、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索する。そして、データ生成装置１０は、Ｓ６で生成（抽出）したレンダリング画像を基に、Ｓ７において、水平方向または垂直方向に細かな角度（たとえば、１度間隔）で視点を傾けたレンダリング画像を生成し、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。

図９および図１０を参照しながら、パターンマッチングの一例について説明する。図９に示すように、データ生成装置１０は、動画データを構成する各フレーム画像に基づきＳ５で抽出した上下歯列画像と、水平方向における各視点から見た二次元の上下歯列を含む各レンダリング画像とを、水平方向においてパターンマッチングさせて、各フレーム画像から抽出した上下歯列画像の水平方向におけるカメラ２０の視点を抽出する。

たとえば、データ生成装置１０は、対象者が上下歯列を閉じた状態を示すフレーム画像Ａから抽出した上下歯列画像ａと、三次元スキャナ３０によって取得された三次元データに基づき生成した水平方向における各視点から見た二次元の上下歯列を含む複数のレンダリング画像ＴＣ，ＴＬ，ＴＲとを、水平方向においてパターンマッチングさせて、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの中から上下歯列画像ａに対応するレンダリング画像を抽出する。

具体的には、データ生成装置１０は、上下歯列画像ａに含まれる上下歯列の形状（見え方）と、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの各々に含まれる上下歯列の形状（見え方）とを、水平方向においてパターンマッチングさせることによって、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの中から、上下歯列画像ａに含まれる上下歯列の形状と水平方向において最も近似する上下歯列の形状を含むレンダリング画像を抽出する。このとき、データ生成装置１０は、歯牙の特徴に基づいて水平方向におけるパターンマッチングを行ってもよい。たとえば、データ生成装置１０は、切歯の切端近傍、犬歯または臼歯の咬合面近傍などの形状に対して水平方向におけるパターンマッチングを行ってもよい。図９の例では、データ生成装置１０は、上下歯列画像ａと水平方向においてマッチングするレンダリング画像として、レンダリング画像ＴＣを抽出する。これにより、データ生成装置１０は、上下歯列画像ａの水平方向におけるカメラ２０の視点を抽出することができる。データ生成装置１０は、他のフレーム画像Ｂ～Ｄについても、フレーム画像Ａと同様の方法で、各フレーム画像Ｂ～Ｄに含まれる上下歯列画像の水平方向におけるカメラ２０の視点を抽出することができる。

図１０に示すように、データ生成装置１０は、動画データを構成する各フレーム画像に基づきＳ５で抽出した上下歯列画像と、垂直方向における各視点から見た二次元の上下歯列を含む各レンダリング画像とを、垂直方向においてパターンマッチングさせて、各フレーム画像から抽出した上下歯列画像の垂直方向におけるカメラ２０の視点を抽出する。

たとえば、データ生成装置１０は、対象者が上下歯列を閉じた状態を示すフレーム画像Ａから抽出した上下歯列画像ａと、三次元スキャナ３０によって取得された三次元データに基づき生成した垂直方向における各視点から見た二次元の上下歯列を含む複数のレンダリング画像ＴＣ，ＴＤ，ＴＵとを、垂直方向においてパターンマッチングさせて、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの中から上下歯列画像ａに対応するレンダリング画像を抽出する。

具体的には、データ生成装置１０は、上下歯列画像ａに含まれる上下歯列の形状（見え方）と、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの各々に含まれる上下歯列の形状（見え方）とを、垂直方向においてパターンマッチングさせることによって、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの中から、上下歯列画像ａに含まれる上下歯列の形状と垂直方向において最も近似する上下歯列の形状を含むレンダリング画像を抽出する。このとき、データ生成装置１０は、歯牙の特徴に基づいて垂直方向におけるパターンマッチングを行ってもよい。たとえば、データ生成装置１０は、切歯の切端近傍、犬歯または臼歯の咬合面近傍などの形状に対して垂直方向におけるパターンマッチングを行ってもよい。図１０の例では、データ生成装置１０は、上下歯列画像ａと垂直方向においてマッチングするレンダリング画像として、レンダリング画像ＴＣを抽出する。これにより、データ生成装置１０は、上下歯列画像ａの垂直方向におけるカメラ２０の視点を抽出することができる。データ生成装置１０は、他のフレーム画像Ｂ～Ｄについても、フレーム画像Ａと同様の方法で、各フレーム画像Ｂ～Ｄに含まれる上下歯列画像の垂直方向におけるカメラ２０の視点を抽出することができる。

なお、データ生成装置１０は、パターンマッチングを行いながら多方向の視点に基づく複数のレンダリング画像を生成することに限らず、パターンマッチングを行う前に予め多方向の視点に基づく複数のレンダリング画像を生成してもよい。

データ生成装置１０は、Ｓ６およびＳ７において、各フレーム画像から抽出した上下歯列画像と、複数のレンダリング画像とをパターンマッチングさせる際に、Ｓ３において取得した撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置を利用してもよい。たとえば、データ生成装置１０は、撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置に基づき、上下歯列画像の大きさに合わせて、複数のレンダリング画像に含まれる上下歯列画像を拡大または縮小してもよい。これにより、データ生成装置１０は、画像認識によるパターンマッチングの精度を向上させることができ、さらに、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

さらに、データ生成装置１０は、Ｓ２において、フレーム画像におけるひずみを予め補正しているため、パターンマッチングの対象となる各フレーム画像から抽出した上下歯列画像をより鮮明にすることができる。これにより、データ生成装置１０は、画像認識によるパターンマッチングの精度を向上させることができる。

図３に戻り、データ生成装置１０は、Ｓ６およびＳ７のパターンマッチングによって抽出した各フレーム画像に含まれる上下歯列画像の水平方向および垂直方向におけるカメラ２０の視点に基づき、各フレーム画像に含まれる上下歯列画像に対応する各レンダリング画像を生成する（Ｓ８）。

たとえば、図１１は、データ生成処理におけるＳＴＥＰ８の処理内容を説明するための図である。図１１に示すように、データ生成装置１０は、Ｓ６およびＳ７で抽出した各フレーム画像Ａ～Ｄにおける水平方向および垂直方向の各視点に基づき、当該各視点から見た各レンダリング画像Ｒａ～Ｒｄを生成する。

具体的には、データ生成装置１０は、フレーム画像Ａに含まれる上下歯列画像ａに合わせて、上下歯列が閉じたようなレンダリング画像Ｒａを生成する。データ生成装置１０は、フレーム画像Ｂに含まれる上下歯列画像ｂに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列を少し開けた状態に変化させたようなレンダリング画像Ｒｂを生成する。データ生成装置１０は、フレーム画像Ｃに含まれる上下歯列画像ｃに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列をレンダリング画像Ｒｂよりもさらに開けた状態に変化させたようなレンダリング画像Ｒｃを生成する。データ生成装置１０は、フレーム画像Ｄに含まれる上下歯列画像ｄに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列をレンダリング画像Ｒｃよりもさらに開けた状態に変化させたようなレンダリング画像Ｒｄを生成する。

図３に戻り、データ生成装置１０は、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに基づき、各フレーム画像Ａ，Ｂ，Ｃ，Ｄによって示された対象者の顎運動に関連する顎運動関連データを生成し、各フレーム画像Ａ，Ｂ，Ｃ，Ｄのデータに対応付けて顎運動関連データを記憶装置１２に記憶する（Ｓ９）。

たとえば、データ生成装置１０は、顎運動関連データとして、三次元スキャナ３０のスキャン対象である上下歯列すなわち上側の歯列および下側の歯列の各々の形状を特定可能な形状データを記憶する。また、データ生成装置１０は、各フレーム画像Ａ～Ｄに含まれる上下歯列画像に対応する上下歯列の各レンダリング画像Ｒａ～Ｒｄに基づき、上側の歯列および下側の歯列の各々の位置を特定可能な位置データ（空間座標）を記憶する。あるいは、データ生成装置１０は、顎運動関連データとして、レンダリング画像Ｒａに基づき特定可能な上側の歯列および下側の歯列の各々の位置と、レンダリング画像Ｒｂに基づき特定可能な上側の歯列および下側の歯列の各々の位置との変化分を記憶し、レンダリング画像Ｒｂに基づき特定可能な上側の歯列および下側の歯列の各々の位置と、レンダリング画像Ｒｃに基づき特定可能な上側の歯列および下側の歯列の各々の位置との変化分を記憶し、レンダリング画像Ｒｃに基づき特定可能な上側の歯列および下側の歯列の各々の位置と、レンダリング画像Ｒｄに基づき特定可能な上側の歯列および下側の歯列の各々の位置との変化分を記憶してもよい。

データ生成装置１０は、記憶装置１２に記憶した対象者の顎運動を示す各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対応する顎運動関連データに基づき、顎運動のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ１０）。たとえば、データ生成装置１０は、顎運動関連データに基づき、図１１に示すようなレンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄを時系列で切り替えるようなシミュレーション動画を生成し、生成したシミュレーション動画をディスプレイ４０に表示させたり、シミュレーション動画のデータを通信装置１８から外部装置に送信したりする。また、データ生成装置１０は、顎運動関連データに基づき、カメラ２０によって取得された動画データに含まれる各フレーム画像に合わせて、三次元データのみを用いて対象者の顎運動を動的にシミュレーションした結果をディスプレイ４０に表示することができる。

以上のように、実施の形態１に係るデータ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で顎運動している対象者を撮影することによって得られた動画データと、対象者の上下歯列の三次元データとを用いて、対象者の顎運動関連データを生成することができる。生成された顎運動関連データに基づくシミュレーション動画においては、上顎および下顎の向き、および上顎と下顎との位置関係が、動画データを構成するフレーム画像Ａ～Ｄによって示される対象者の顎運動における上顎および下顎の向き、および上顎と下顎との位置関係と精度よく合う。これにより、ユーザは、患者に咬合器または治具を装着させる必要がないため、準備が面倒にならず、また、対象者の顎運動に余計な負担を掛けることもない。よって、ユーザは、簡単にかつ精度よく対象者の顎運動を確認することができる。

データ生成装置１０は、先に、水平方向または垂直方向に大まかな角度で視点を傾けたレンダリング画像を用いて、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索し、次に、大まかなパターンマッチングによって生成（抽出）したレンダリング画像を基に、水平方向または垂直方向に細かな角度で視点を傾けたレンダリング画像を生成し、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。たとえば、データ生成装置１０は、水平方向および垂直方向のそれぞれにおいて大まかな角度（たとえば、３度間隔）で視点を変更したレンダリング画像を用いてフレーム画像の上下歯列画像との間でパターンマッチングをトライし、トライしたパターンマッチングのうち、マッチングレベルがある程度高い（第１所定値以上の）レンダリング画像を基準として、次に水平方向および垂直方向のそれぞれにおいて細かな角度（たとえば、１度間隔）で視点を変更したレンダリング画像を用いてフレーム画像の上下歯列画像との間でパターンマッチングをトライし、トライしたパターンマッチングのうち、マッチングレベルが非常に高い（第１所定値よりもマッチングレベルが高い第２所定値以上の）レンダリング画像を得た場合に、パターンマッチングを達成したとする。これにより、データ生成装置１０は、最初から詳細なパターンマッチングを行うよりも、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

カメラ２０によって取得された動画データは、対象者の撮影中にリアルタイムでデータ生成装置１０に入力されてもよい。この場合、データ生成装置１０は、対象者の撮影中に動画データインターフェース１３を介して動画データが入力されることに追従して、図３のデータ生成処理を実行することで、撮影中のリアルタイムで顎運動関連データを生成してもよい。これにより、カメラ２０によって対象者を撮影したと同時または撮影直後に顎運動関連データが生成されるため、ユーザは即座に対象者にシミュレーション結果を見せることができ、ユーザの利便性が向上する。

＜実施の形態２＞
本開示の実施の形態２に係るデータ生成装置１０について、図１２を参照しながら詳細に説明する。なお、実施の形態２に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図１２は、実施の形態２に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１２に示す実施の形態２に係るデータ生成処理では、先に、動画データに含まれる第１フレーム画像のみを用いたパターンマッチングによって当該第１フレーム画像に対応する顎運動関連データを抽出し、次に、当該第１フレーム画像に対応する顎運動関連データを用いて動画データに含まれる他の少なくとも１つの第２フレーム画像に対応する顎運動関連データを抽出する例を説明する。なお、実施の形態２においては、対象者を動画撮影している間、カメラ２０の位置（視点）および撮影対象の位置は固定されていることとする。すなわち、カメラ２０によって取得されたフレーム画像Ａ～Ｄの各々においては、カメラ２０の位置（視点）および撮影対象である上下歯列の位置が互いに同じである。

図１２に示すように、データ生成装置１０は、図３に示すＳ１～Ｓ５の処理と同様に、動画データを構成する複数のフレーム画像（たとえば、図４のフレーム画像Ａ，Ｂ，Ｃ，Ｄ）を抽出し（Ｓ１１）、前処理を実行し（Ｓ１２～Ｓ１４）、各フレーム画像から上下歯列に対応する上下歯列画像を抽出する（Ｓ１５）。

データ生成装置１０は、三次元スキャナ３０によって取得された上下歯列の三次元データに基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ１５で抽出した第１フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ１６）、さらに、Ｓ１５で抽出した第１フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ１７）。

たとえば、データ生成装置１０は、Ｓ１６において、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索する。そして、データ生成装置１０は、Ｓ１６で生成（抽出）したレンダリング画像を基に、Ｓ１７において、水平方向または垂直方向に細かな角度で視点を傾けたレンダリング画像を生成し、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。

データ生成装置１０は、Ｓ１６およびＳ１７のパターンマッチングによって抽出した第１フレーム画像に含まれる上下歯列画像の水平方向および垂直方向におけるカメラ２０の視点に基づき、第１フレーム画像に含まれる上下歯列画像に対応する第１レンダリング画像を生成するとともに、生成した第１レンダリング画像を用いて、他の第２フレーム画像に含まれる上下歯列画像に対応する第２レンダリング画像を生成する（Ｓ１８）。

たとえば、データ生成装置１０は、Ｓ１８において、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像に対応するレンダリング画像Ｒａ（第１レンダリング画像）を生成するとともに、生成したレンダリング画像Ｒａ（第１レンダリング画像）を用いて、フレーム画像Ｂ～Ｄ（第２フレーム画像）の各々に含まれる上下歯列画像に対応するレンダリング画像Ｒｂ～Ｒｄ（第２レンダリング画像）を生成する。

データ生成装置１０は、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに基づき、各フレーム画像Ａ，Ｂ，Ｃ，Ｄによって示された対象者の顎運動に関連する顎運動関連データを生成し、各フレーム画像Ａ，Ｂ，Ｃ，Ｄのデータに対応付けて顎運動関連データを記憶装置１２に記憶する（Ｓ２０）。

データ生成装置１０は、記憶装置１２に記憶した対象者の顎運動を示す各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対応する顎運動関連データに基づき、顎運動のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ２１）。

以上のように、実施の形態２に係るデータ生成装置１０は、先に、動画データに含まれる第１フレーム画像のみを用いたパターンマッチングによって当該第１フレーム画像に対応する上下歯列の顎運動関連データを抽出し、次に、第１フレーム画像に対応する上下歯列の顎運動関連データを用いて動画データに含まれる第２フレーム画像に対応する上下歯列の顎運動関連データを抽出するため、パターンマッチングを実行する対象となるフレーム画像が１枚のみである。これにより、データ生成装置１０は、動画データを構成する複数のフレーム画像の各々に対してパターンマッチングを行うよりも、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

＜実施の形態３＞
本開示の実施の形態３に係るデータ生成装置１０について、図１３～図１６を参照しながら詳細に説明する。なお、実施の形態３に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図１３は、実施の形態３に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１３に示す実施の形態３に係るデータ生成処理では、ＡＩ（artificial intelligence）を用いて動画データを構成する各フレーム画像における上下歯列の領域（形状）を推定し、さらに、ＡＩを用いて各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を推定する例を説明する。

図１３に示すように、データ生成装置１０は、図３に示すＳ１～Ｓ４の処理と同様に、動画データを構成する複数のフレーム画像（たとえば、図４のフレーム画像Ａ，Ｂ，Ｃ，Ｄ）を抽出し（Ｓ３１）、前処理を実行する（Ｓ３２～Ｓ３４）。

データ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像における上下歯列を推定する（Ｓ３５）。具体的には、データ生成装置１０は、各フレーム画像を含む入力データに基づき、各フレーム画像における上下歯列の領域（形状）を推定するための推定モデル１３０を用いて、入力データに基づき各フレーム画像における上下歯列の領域（形状）を推定する。

推定モデル１３０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、またはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワーク、および当該ニューラルネットワークに関するパラメータを含む。

ここで、図１４を参照しながら、推定モデル１３０に対する教師あり学習について説明する。図１４は、実施の形態３に係るデータ生成装置１０が実行する教師あり学習の概要を説明するための図である。図１４に示すように、学習フェーズにおいて、データ生成装置１０は、学習用プログラム１１０を実行することで、入力１と入力２（正解）とを含む学習用データ１２０に基づき、推定モデル１３０を機械学習させる。活用フェーズにおいて、データ生成装置１０は、学習済みの推定モデル１３０を用いて、入力１に基づき、出力を推定する。

図１５は、実施の形態３に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１５に示すように、機械学習の問題データである入力１としては、上下歯列画像を含むフレーム画像が用いられる。機械学習の正解データである入力２としては、入力１のフレーム画像における上下歯列の領域を特定するデータが用いられる。たとえば、フレーム画像における上下歯列の領域を特定するデータとしては、フレーム画像における上下歯列の領域と上下歯列以外の部分の領域とを区別するためのデータが挙げられる。たとえば、上下歯列の領域に対しては「１」、上下歯列以外の部分の領域に対しては「０」のデータが付与されたフレーム画像が、入力２に用いられる。さらｓに、上側の歯列と下側の歯列とで、領域を特定するデータを区別してもよく、たとえば、上側の歯列の領域に対しては「１」、下側の歯列の領域に対しては「２」、上下歯列以外の部分の領域に対しては「０」のデータが付与されたフレーム画像が、入力２に用いられてもよい。データ生成装置１０が入力１に基づき推定する出力としては、入力１のフレーム画像における上下歯列の領域を特定するデータの推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、上下歯列画像を含むフレーム画像（入力１）に基づき、フレーム画像における上下歯列の領域を特定するデータ（出力）を推定し、推定した上下歯列の領域を特定するデータ（出力）と、正解であるフレーム画像における上下歯列の領域を特定するデータ（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、上下歯列画像を含むフレーム画像（入力１）に基づき、フレーム画像に含まれる上下歯列画像（出力）、すなわちフレーム画像によって示された上下歯列の形状を推定する。

図１３に戻り、データ生成装置１０は、ＡＩを用いて、動画データを構成する各フレーム画像Ａ，Ｂ，Ｃ，Ｄに基づきＳ３５で推定した各上下歯列画像（たとえば、図５の上下歯列画像ａ，ｂ，ｃ，ｄ）に対応する各レンダリング画像（たとえば、図１１のレンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ）を推定する（Ｓ３６）。具体的には、データ生成装置１０は、Ｓ３５で推定した各フレーム画像に含まれる上下歯列画像と、上下歯列画像を含む複数のレンダリング画像とを含む入力データに基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を推定するための推定モデル１３０を用いて、入力データに基づき上下歯列画像に対応するレンダリング画像を推定する。

図１６は、実施の形態３に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１６に示すように、機械学習の問題データである入力１としては、各フレーム画像に基づき抽出された上下歯列画像と、上下歯列の三次元データとが用いられる。機械学習の正解データである入力２としては、入力１の各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像が用いられる。データ生成装置１０が入力１に基づき推定する出力としては、入力１の各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像の推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、各フレーム画像に基づき抽出された上下歯列画像および上下歯列の三次元データ（入力１）に基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（出力）を推定し、推定した各レンダリング画像（出力）と、正解である各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、各フレーム画像に基づき抽出された上下歯列画像および上下歯列の三次元データ（入力１）に基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（出力）を推定する。

図１３に戻り、データ生成装置１０は、抽出した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに基づき、各フレーム画像Ａ，Ｂ，Ｃ，Ｄによって示された対象者の顎運動に関連する顎運動関連データを生成し、各フレーム画像Ａ，Ｂ，Ｃ，Ｄのデータに対応付けて顎運動関連データを記憶装置１２に記憶する（Ｓ３７）。

データ生成装置１０は、記憶装置１２に記憶した対象者の顎運動を示す各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対応する顎運動関連データに基づき、顎運動のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ３８）。

以上のように、実施の形態３に係るデータ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像における上下歯列が位置する領域（形状）を推定するため、より精度よく動画データを構成する各フレーム画像から上下歯列画像を抽出することができる。さらに、データ生成装置１０は、ＡＩを用いて各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を推定するため、より精度よく各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を抽出することができる。これにより、データ生成装置１０は、対象者の顎運動に精度よく合った顎運動関連データを生成することができる。

＜実施の形態４＞
本開示の実施の形態４に係るデータ生成装置１０について、図１７～図１９を参照しながら詳細に説明する。なお、実施の形態４に係るデータ生成装置１０においては、実施の形態３に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態３に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

実施の形態４に係るデータ生成装置１０においては、カメラ２０が撮影対象の三次元の位置座標を検出できる三次元カメラによって構成されている。たとえば、カメラ２０は、光（たとえば、赤外線）の反射を用いて撮影対象までの距離を測定することによって撮影対象の三次元の位置座標を検出可能なＴｏＦ（Time of Flight）方式の深度カメラ、または、複数台（たとえば、２台）のカメラが同じ空間を互いに異なる位置から撮影することによって撮影対象の三次元の位置座標を検出可能なステレオカメラなどで構成されている。すなわち、実施の形態４に係るデータ生成装置１０に入力される動画データは、撮影対象である対象者の上下歯列の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）である三次元データを含む。

図１７は、実施の形態４に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１７に示すように、データ生成装置１０は、図３に示すＳ１～Ｓ５の処理と同様に、動画データを構成する複数のフレーム画像（たとえば、図４のフレーム画像Ａ，Ｂ，Ｃ，Ｄ）を抽出し（Ｓ４１）、前処理を実行する（Ｓ４２～Ｓ４４）。ただし、実施の形態４においては、Ｓ４１で抽出される各フレーム画像は、三次元の位置座標を含む動画データから構成されている。

データ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像から上下歯列の三次元データを推定する（Ｓ４５）。具体的には、データ生成装置１０は、各フレーム画像を含む入力データに基づき、各フレーム画像に含まれる上下歯列の三次元データを推定するための推定モデル１３０を用いて、入力データに基づき各フレーム画像に含まれる上下歯列の三次元データを推定する。

図１８は、実施の形態４に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１８に示すように、機械学習の問題データである入力１としては、上下歯列画像を含む三次元の動画データを構成するフレーム画像が用いられる。機械学習の正解データである入力２としては、入力１のフレーム画像に含まれる上下歯列の三次元データが用いられる。データ生成装置１０が入力１に基づき推定する出力としては、入力１のフレーム画像に含まれる上下歯列の三次元データの推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、上下歯列画像を含む三次元の動画データを構成するフレーム画像（入力１）に基づき、フレーム画像に含まれる上下歯列の三次元データ（出力）を推定し、推定した上下歯列の三次元データ（出力）と、正解であるフレーム画像に含まれる上下歯列の三次元データ（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、上下歯列画像を含む三次元の動画データを構成するフレーム画像（入力１）に基づき、フレーム画像に含まれる上下歯列の三次元データ（出力）を推定する。

図１７に戻り、データ生成装置１０は、三次元スキャナ３０によって取得された三次元データの中から、ＡＩを用いて、動画データを構成する各フレーム画像Ａ，Ｂ，Ｃ，Ｄに基づきＳ４５で抽出した上下歯列に対応する三次元データを推定する（Ｓ４６）。具体的には、データ生成装置１０は、Ｓ３５で推定した各フレーム画像に含まれる上下歯列の三次元データと、三次元スキャナ３０によって取得された上下歯列の三次元データとを含む入力データに基づき、各フレーム画像に含まれる上下歯列に対応する三次元データを推定するための推定モデル１３０を用いて、入力データに基づき上下歯列に対応する三次元データを推定する。

図１９は、実施の形態４に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１９に示すように、機械学習の問題データである入力１としては、各フレーム画像に基づき抽出された上下歯列の三次元データと、三次元スキャナ３０によって取得された上下歯列の三次元データとが用いられる。機械学習の正解データである入力２としては、入力１の各フレーム画像に含まれる上下歯列に対応する三次元データが用いられる。データ生成装置１０が入力１に基づき推定する出力としては、入力１の各フレーム画像に含まれる上下歯列に対応する三次元スキャナ３０によって取得された三次元データの推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、各フレーム画像に基づき抽出された上下歯列の三次元データ（入力１）に基づき、三次元スキャナ３０によって取得された三次元データの中から、各フレーム画像に含まれる上下歯列に対応する三次元データを推定し、推定した上下歯列に対応する三次元データ（出力）と、正解である各フレーム画像に含まれる上下歯列に三次元データ（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、各フレーム画像に基づき抽出された上下歯列の三次元データ（入力１）に基づき、三次元スキャナ３０によって取得された三次元データの中から、各フレーム画像に含まれる上下歯列に対応する三次元データ（出力）を推定する。

図１７に戻り、データ生成装置１０は、抽出した各フレーム画像Ａ，Ｂ，Ｃ，Ｄによって示された対象者の顎運動に関連する顎運動関連データを生成し、各フレーム画像Ａ，Ｂ，Ｃ，Ｄのデータに対応付けて顎運動関連データを記憶装置１２に記憶する（Ｓ４７）。

データ生成装置１０は、記憶装置１２に記憶した対象者の顎運動関連データに基づき、顎運動のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ４８）。

以上のように、実施の形態４に係るデータ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像から上下歯列の三次元データを推定するため、より精度よく動画データを構成する各フレーム画像から上下歯列を抽出することができる。さらに、データ生成装置１０は、三次元スキャナ３０によって取得された三次元データの中から、ＡＩを用いて各フレーム画像に含まれる上下歯列に対応する三次元データを推定するため、より精度よく各フレーム画像に含まれる上下歯列に対応する三次元データを抽出することができる。しかも、カメラ２０によって取得された動画データは対象者の上下歯列の表面を示す点群の各々の位置情報を含む三次元データであるため、データ生成装置１０は、カメラ２０によって取得された上下歯列の三次元データと、三次元スキャナ３０によって取得された上下歯列の三次元データとで、三次元データ間でのマッチングを行うことができる。これにより、データ生成装置１０は、対象者の顎運動に精度よく合った顎運動関連データを生成することができるとともに、マッチングの処理時間を短縮することができる。

＜実施の形態５＞
本開示の実施の形態５に係るデータ生成装置１０について、図２０を参照しながら詳細に説明する。なお、実施の形態５に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図２０は、実施の形態５に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図２０に示す実施の形態５においては、データ生成システム１が図示しないＣＴ（CT: Computed Tomography）撮像装置を備える。ＣＴ撮像装置は、放射線の一種であるＸ線の送信器および受信器を対象者の顔の周囲で回転させることで、対象者の上顎および下顎をコンピュータ断層撮影するＸ線撮像装置である。ユーザは、ＣＴ撮像装置を用いて対象者の上顎および下顎を撮影することによって、対象者の上顎および下顎の周辺における、軟組織部分（皮膚、歯肉など）以外の硬組織部分（骨、歯牙など）の三次元の体積（ボクセル）データを得ることができる。ユーザは、ＣＴ撮像装置によって得られた撮影対象の体積データを断層加工することによって、撮影対象の断層画像または外観画像を生成することができる。なお、以下では、三次元スキャナ３０によって取得された三次元の表面座標データを「ＩＯＳデータ」とも称し、ＣＴ撮像装置によって取得された三次元の体積データを「ＣＴデータ」とも称する。なお、ＩＯＳデータおよびＣＴデータのいずれも上下歯列の三次元データに対応するため、ＩＯＳデータおよびＣＴデータをまとめて「三次元データ」と称することもできる。

実施の形態５に係るデータ生成処理では、三次元スキャナ３０によって取得された対象者の上下歯列のＩＯＳデータに加えて、ＣＴ撮像装置によって取得された対象者の上下歯列を含む上顎および下顎のＣＴデータが入力される。

図２０に示すように、データ生成装置１０は、ＣＴ撮像装置から入力されたＣＴデータに基づき、対象者の上顎および下顎における硬組織部分（骨、歯牙など）の表面の形状を示す表面形状データを生成する（Ｓ５１）。データ生成装置１０は、上顎と下顎とで、Ｓ５１で生成した表面形状データを分離する（Ｓ５２）。

データ生成装置１０は、三次元スキャナ３０によって取得された対象者の上下歯列のＩＯＳデータと、Ｓ５２で生成した上顎および下顎の表面形状データとに基づき、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成する。ＩＯＳデータは、上下歯列の表面を示す点群の各々の位置情報を含むため、各歯牙の位置および上側の歯列と下側の歯列との噛み合わせを正確に表すことができる。一方、ＣＴデータに基づき生成された上顎および下顎の表面形状データは、上下歯列と各歯牙の歯根の表面の形状を正確に表すことができる。このため、データ生成装置１０は、上下歯列のＩＯＳデータと、上顎および下顎の表面形状データとを組み合わせることで、二次元の上下歯列の形状および位置などをより正確に表したレンダリング画像を生成することができる。

データ生成装置１０は、上述のようにしてＩＯＳデータおよびＣＴデータを用いてレンダリング画像に基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ５３）、さらに、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ５４）。

その後、データ生成装置１０は、図３に示す実施の形態１に係るデータ生成処理と同様に、Ｓ８～Ｓ１０の処理を実行することで、対象者の顎運動関連データを生成することができる。

以上のように、実施の形態５に係るデータ生成装置１０は、三次元スキャナ３０によって取得されたＩＯＳデータに限らず、ＣＴ撮像装置によって取得されたＣＴデータも利用して、二次元の上下歯列の形状および位置などをより正確に表したレンダリング画像を生成し、カメラ２０によって取得された対象者の動画データとレンダリング画像とに基づき、対象者の顎運動関連データを生成することができる。これにより、データ生成装置１０は、対象者の顎運動に精度よく合った顎運動関連データを生成することができる。

なお、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、データ生成装置１０に入力される三次元データとして、三次元スキャナ３０によって取得されたＩＯＳデータおよびＣＴ撮像装置によって取得されたＣＴデータを採用することができる。この場合、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、図２０に示す実施の形態５に係るデータ生成処理のＳ５１～Ｓ５４の処理を実行して、パターンマッチングを実行すればよい。また、データ生成装置１０に入力される三次元データは、上述したような三次元スキャナ３０の光学的手法を用いて対象者のの上下歯列を直接的にスキャンすることで得られるＩＯＳデータ、およびＣＴ撮像装置を用いて対象者の上顎および下顎をコンピュータ断層撮影することで得られるＣＴデータに限らず、対象者の上下歯列の印象採得から制作した歯顎模型をデスクトップスキャナを用いてスキャンすることで得られる表面形状データを含んでいてもよい。

なお、データ生成装置１０は、上顎と下顎とで表面形状データを分離し、分離した上顎の表面形状データおよび下顎の表面形状データのそれぞれのデータに基づき、上顎に対応するレンダリング画像と下顎に対応するレンダリング画像とを生成するように構成されていたが、上顎と下顎とを合わせた上下額の表面形状データに基づき上下額のレンダリング画像を生成してもよい。そして、データ生成装置１０は、生成した上下額のレンダリング画像を用いて、上下歯列画像との間でパターンマッチングを行ってもよい。さらに、噛む動作の動画データにおいては、咬合した状態も撮影されるため、データ生成装置１０は、上下額のレンダリング画像を生成する際に、咬合状態のＩＯＳデータを追加で用いてもよい。

＜実施の形態６＞
本開示の実施の形態６に係るデータ生成装置１０について、図２１を参照しながら詳細に説明する。なお、実施の形態６に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

実施の形態６に係るデータ生成装置１０においては、カメラ２０が撮影対象（たとえば、対象者の顔）を複数視点から動画撮影するように構成されている。たとえば、図２１は、実施の形態６に係るデータ生成システム１およびデータ生成装置１０の適用例を示す図である。図２１に示すように、実施の形態６に係るデータ生成システム１は、対象者の略前方（たとえば、対象者の顔の正面）から対象者の顔を撮影するカメラ２０Ａと、対象者の略側方（たとえば、対象者の顔の側面）から対象者の顔を撮影するカメラ２０Ｂとを備える。

データ生成装置１０は、カメラ２０Ａによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像と、カメラ２０Ｂによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像とを利用して、パターンマッチング（たとえば図３のＳ６，Ｓ７の処理）を実行してもよい。このとき、データ生成装置１０は、カメラ２０Ａによって取得された動画データと、カメラ２０Ｂによって取得された動画データ像とのうち、パターンマッチングの精度が高い方の動画データを優先的にパターンマッチングに用いてもよい。

たとえば、カメラ２０Ａは、対象者の顔の正面から対象者の顔を撮影しており、各フレーム画像から抽出される上下歯列の水平方向における形状が正確に表れ易い。このため、データ生成装置１０は、カメラ２０Ａによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像を優先的に用いて水平方向におけるパターンマッチングを実行してもよい。

また、カメラ２０Ｂは、対象者の顔の側面から対象者の顔を撮影しており、各フレーム画像から抽出される上下歯列の垂直方向における形状が正確に表れ易い。このため、データ生成装置１０は、カメラ２０Ｂによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像を優先的に用いて垂直方向におけるパターンマッチングを実行してもよい。

以上のように、実施の形態６に係るデータ生成装置１０は、複数視点から撮影対象を撮影することによって得られた動画データを用いて、対象者の顎運動関連データを生成することができるため、対象者の顎運動に精度よく合った顎運動関連データを生成することができる。

なお、カメラは、対象者の略前方または対象者の略側方に配置されていることに限らず、対象者の略斜め前方に配置されてもよい。すなわち、データ生成システム１は、対象者の略前方、対象者の略斜め前方、および対象者の略側方のうちのいずれか１つの位置に配置された１つのカメラを備えていてもよいし、対象者の略前方、対象者の略斜め前方、および対象者の略側方のうちのいずれか２つ以上の位置に配置された複数のカメラを備えていてもよい。データ生成装置１０は、複数の視点から同時に対象者を撮影する複数のカメラから動画データを取得し、複数のカメラから取得した動画データを用いて、パターンマッチング（たとえば図３のＳ６，Ｓ７の処理）を実行してもよい。

なお、上述した実施の形態１～６の各々に係るデータ生成装置１０は、クラウド型のサーバ装置であってもよい。たとえば、ユーザまたは対象者自身が、対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとをクラウド型のデータ生成装置１０にアップロードして登録してもよい。そして、データ生成装置１０は、動画データと三次元データとに基づき、対象者の顎運動関連データを生成して配信することで、ユーザまたは対象者が顎運動関連データに基づき生成可能な顎運動のシミュレーション動画を閲覧または保存することができるようにしてもよい。

なお、上述した実施の形態１～６の各々に係るデータ生成システム１およびデータ生成装置１０は、互いの構成および機能を単独または組み合わせて備えていてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ データ生成システム、１０ データ生成装置、１１ 演算装置、１２ 記憶装置、１３ 動画データインターフェース、１４ 三次元データインターフェース、１５ ディスプレイインターフェース、１６ 周辺機器インターフェース、１７ メディア読取装置、１８ 通信装置、２０，２０Ａ，２０Ｂ カメラ、３０ 三次元スキャナ、４０ ディスプレイ、５１ キーボード、５２ マウス、６０ リムーバブルディスク、１００ データ生成プログラム、１１０ 学習用プログラム、１２０ 学習用データ、１３０ 推定モデル。

Claims (12)

1. 対象者の顎運動に関連する顎運動関連データを生成するデータ生成装置であって、
   上下歯列のうちの一部の歯列が露出した状態で顎運動している前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力される入力部と、
   前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、前記対象者の顎運動に関連する前記顎運動関連データを生成する演算部とを備える、データ生成装置。
2. 前記演算部は、
   前記上下歯列の三次元データに基づき、前記複数のフレーム画像の各々に含まれる前記一部の歯列に対応する二次元の前記上下歯列を含む少なくとも１つのレンダリング画像を生成し、
   前記少なくとも１つのレンダリング画像に基づき、前記顎運動関連データを生成する、請求項１に記載のデータ生成装置。
3. 前記入力部に入力される三次元データは、前記上下歯列の表面を示す点群の各々の位置情報を含む三次元データと、前記上下歯列をコンピュータ断層撮影することによって得られる三次元データとのうちの少なくとも１つを含む、請求項１または請求項２に記載のデータ生成装置。
4. 前記演算部は、前記顎運動関連データに基づき、前記複数のフレーム画像の各々に合わせて、三次元データのみを用いて前記対象者の顎運動を動的にシミュレーションした結果を表示部に表示する、請求項１または請求項２に記載のデータ生成装置。
5. 前記動画データは、前記対象者の略前方、前記対象者の略斜め前方、および前記対象者の略側方のうちのいずれか１つの位置に配置されたカメラ、または、前記対象者の略前方、前記対象者の略斜め前方、および前記対象者の略側方のうちのいずれか２つ以上の位置に配置された複数のカメラによって得られる、請求項１または請求項２に記載のデータ生成装置。
6. 前記動画データは、単眼カメラ、ステレオカメラ、および深度カメラのうちの少なくとも１つを用いた撮影によって得られる動画データを含む、請求項１または請求項２に記載のデータ生成装置。
7. 前記演算部は、前記対象者の撮影中に前記入力部に前記動画データが入力されることに追従して前記顎運動関連データを生成する、請求項１または請求項２に記載のデータ生成装置。
8. 前記演算部は、前記動画データを構成するフレーム画像に含まれる前記一部の歯列の形状と、前記上下歯列の三次元データとを含む入力データに基づき、前記フレーム画像に含まれる前記一部の歯列に対応するレンダリング画像を推定するための推定モデルを用いて、前記入力データに基づき前記一部の歯列に対応するレンダリング画像を推定する、請求項２に記載のデータ生成装置。
9. 前記演算部は、前記動画データを構成するフレーム画像を含む入力データに基づき、前記フレーム画像における前記一部の歯列の領域を推定するための推定モデルを用いて、前記入力データに基づき前記フレーム画像における前記一部の歯列の領域を推定する、請求項２に記載のデータ生成装置。
10. 前記演算部は、前記動画データを構成するフレーム画像に含まれる前記一部の歯列の形状と、前記上下歯列の三次元データとを含む入力データに基づき、前記フレーム画像に含まれる前記一部の歯列に対応する前記上下歯列の三次元データを推定するための推定モデルを用いて、前記入力データに基づき前記上下歯列の三次元データを推定する、請求項２に記載のデータ生成装置。
11. コンピュータによる対象者の顎運動に関連する顎運動関連データを生成するデータ生成方法であって、
    上下歯列のうちの一部の歯列が露出した状態で顎運動をしている前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力されるステップと、
    前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、前記対象者の顎運動に関連する前記顎運動関連データを生成するステップとを含む、データ生成方法。
12. 対象者の顎運動に関連する顎運動関連データを生成するデータ生成プログラムであって、
    コンピュータに、
    上下歯列のうちの一部の歯列が露出した状態で顎運動をしている前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力されるステップと、
    前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、前記対象者の顎運動に関連する前記顎運動関連データを生成するステップとを実行させる、データ生成プログラム。
    

Images