JP2024029382A - データ生成装置、データ生成方法、およびデータ生成プログラム - Google Patents

Abstract

【課題】簡単にかつ精度よく歯科治療後の顔のシミュレーションを行うことができる技術を提供する。
【解決手段】データ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力される動画データインターフェース１３および三次元データインターフェース１４と、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成する演算装置１１とを備える。
【選択図】図２

Description

本開示は、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成装置、データ生成方法、およびデータ生成プログラムに関する。

従来、歯科矯正などの歯科治療において、患者の顔貌の変化を示すシミュレーションが行われている。このようなシミュレーションは、歯科矯正の予測、患者への説明の観点から重要であり、より患者が自然に近い状態で顔の表情、特に笑顔を作った場合のシミュレーションを行うことが求められている。

また、コンピュータによる画像処理技術の進歩によって、患者の顔の表面の仮想的な三次元サーフェスモデルを作成することも可能であり、患者のサーフェスモデルは、矯正治療による顔の形状または顎運動の変化を確認するために用いることができる。たとえば、特許文献１には、患者の顔の仮想的な三次元サーフェスモデルを作成することが可能な歯科用コンピュータ断層撮影装置が開示されている。

特開２０１７－１７６８５２号公報

特許文献１に開示された歯科用コンピュータ断層撮影装置によれば、患者の顔の仮想的な三次元サーフェスモデルを作成することが可能であるが、カラーカメラ、レーザ装置、および照明装置などの複数の部材を含む撮影ステーションを設ける必要があるため、準備が面倒である。このため、簡単にかつ精度よく患者の顔のシミュレーションを行うことができる技術が求められている。

本開示は、このような問題を解決するためになされたものであり、簡単にかつ精度よく歯科治療後の顔のシミュレーションを行うことができる技術を提供することを目的とする。

本開示の一例に従えば、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成装置が提供される。データ生成装置は、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力される入力部と、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成する演算部とを備える。

本開示の一例に従えば、コンピュータによる歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成方法が提供される。データ生成方法は、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力されるステップと、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するステップとを含む。

本開示の一例に従えば、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成プログラムが提供される。データ生成プログラムは、コンピュータに、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとが入力されるステップと、動画データを構成する複数のフレーム画像の各々に含まれる一部の歯列と、上下歯列の三次元データとに基づき、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するステップとを実行させる。

本開示によれば、ユーザは、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとを用いて、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを取得することができるため、簡単にかつ精度よく歯科治療後の対象者の顔のシミュレーションを行うことができる。

実施の形態１に係るデータ生成システムおよびデータ生成装置の適用例を示す図である。 実施の形態１に係るデータ生成装置のハードウェア構成を示すブロック図である。 実施の形態１に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 データ生成処理におけるＳＴＥＰ１の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ５の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ９の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ１０の処理内容を説明するための図である。 データ生成処理におけるＳＴＥＰ１１の処理内容を説明するための図である。 実施の形態２に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態３に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態３に係るデータ生成装置が実行する教師あり学習の概要を説明するための図である。 実施の形態３に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態３に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態４に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態５に係るデータ生成装置が実行するデータ生成処理の一例を説明するためのフローチャートである。 実施の形態６に係るデータ生成システムおよびデータ生成装置の適用例を示す図である。 実施の形態７に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。 実施の形態７に係るデータ生成装置における教師あり学習の入力データの一例を示す図である。

＜実施の形態１＞
本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［適用例］
図１を参照しながら、実施の形態１に係るデータ生成システム１およびデータ生成装置１０の適用例を説明する。図１は、実施の形態１に係るデータ生成システム１およびデータ生成装置１０の適用例を示す図である。

たとえば、歯科矯正または審美治療に含まれる、ホワイトニング、オールセラミッククラウン、ラミネートベニア、メタルボンド、クリーニング、前装冠などの歯科治療のシミュレーションに伴って、患者の顔貌の変化を示すシミュレーションが行われることがある。このようなシミュレーションは、歯科矯正の予測、患者への説明の観点から重要であり、より患者が自然に近い状態で顔の表情、特に笑顔を作った場合のシミュレーションを行うことが求められている。そこで、実施の形態１に係るデータ生成システム１およびデータ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られた動画データと、対象者の上下歯列の三次元データとを用いて、簡単にかつ精度よく歯科治療後の対象者の顔のシミュレーションを行うことができるように構成されている。

具体的には、図１に示すように、データ生成システム１は、動画撮影可能なカメラ２０と、対象物の三次元データを取得可能な三次元スキャナ３０と、データ生成装置１０とを備える。

カメラ２０は、デジタルカメラまたはビデオカメラなど、対象者を動画撮影可能なカメラ（たとえば、ＲＧＢカメラ）であればいずれのカメラであってもよい。実施の形態１においては、カメラ２０として、たとえば単眼カメラを例示する。カメラ２０によって取得された動画データは、時系列に並んだ複数のフレーム画像によって構成されている。フレーム画像とは、撮影対象（たとえば、対象者の顔）に向けられたカメラ２０の視点から見た二次元の撮影対象を示す１枚の静止画像である。たとえば、カメラ２０のフレームレートが２４ｆｐｓに設定されている場合、カメラ２０によって取得された動画データは、１秒間に２４枚のフレーム画像を含む。より時間分解能が高い顎運動を確認したい場合は、カメラ２０として、たとえば、１２０ｆｐｓまたは２４０ｆｐｓなどのフレームレートが高いカメラを用いてもよい。

三次元スキャナ３０は、共焦点法あるいは三角測量法などによって対象者の口腔内を光学的に撮像可能ないわゆる口腔内スキャナ（IOS:Intra Oral Scanner）である。具体的には、三次元スキャナ３０は、口腔内をスキャンすることによって、三次元データとして、口腔内の撮影対象（物体）の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。すなわち、三次元データは、ある座標空間上に置かれたスキャン対象であるオブジェクト（たとえば、口腔内の上下歯列）の表面を構成する点群の各々の位置の位置情報を含む位置データである。三次元スキャナ３０によって口腔内の上下歯列がスキャンされると、上下歯列の表面を示す点群の各々の位置情報を含む三次元データが取得される。このような三次元データによって、座標空間上に置かれたオブジェクト（上下歯列）の形状を特定することが可能である。以下では、座標空間上に置かれたオブジェクト（上下歯列）の形状を特定可能な三次元データの集まりを「形状データ」とも称する。また、座標空間上に置かれたオブジェクト（上下歯列）の位置を特定可能なデータを「位置データ」とも称する。

ユーザは、上下歯列のうちの一部の歯列が露出した状態の対象者を、カメラ２０を用いて動画撮影する。さらに、ユーザは、三次元スキャナ３０を用いて対象者の口腔内をスキャンすることによって、口腔内の上下歯列の三次元データを取得することができる。カメラ２０によって取得された動画データおよび三次元スキャナ３０によって取得された三次元データは、データ生成装置１０に入力される。なお、データ生成装置１０には、対象者を撮影することによって得られる動画データが入力される場合に限らず、たとえば、時系列で対象者を連続撮影することによって得られる複数の静止画像が入力されてもよい。

「ユーザ」は、歯科、口腔外科、整形外科、形成外科、および美容外科など、様々な分野の術者（医師など）または助手（歯科助手、歯科技工士、看護師など）を含む。「対象者」は、歯科、口腔外科、整形外科、形成外科、および美容外科などの患者を含む。「上下歯列」は、口腔内の上側の歯列および下側の歯列の両方、または、上側の歯列および下側の歯列のいずれかを含む。すなわち、「上下歯列」は、上側の歯列および下側の歯列の少なくとも１つを含む。「上下歯列のうちの一部の歯列」は、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列の両方、または、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列のいずれかを含む。すなわち、「上下歯列のうちの一部の歯列」は、上側の歯列に含まれる一部の歯列および下側の歯列に含まれる一部の歯列の少なくとも１つを含む。

データ生成装置１０は、カメラ２０によって取得された対象者の動画データと、三次元スキャナ３０によって取得された対象者の上下歯列の三次元データとに基づき、歯科治療をした場合の患者の顔貌の変化を示すシミュレーション動画データ（図１に示すフレーム画像Ｍａ，Ｍｂ，Ｍｃ，Ｍｄからなる動画データ）を生成する。

これにより、ユーザは、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとを用いて、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを取得することができるため、簡単にかつ精度よく歯科治療後の対象者の顔のシミュレーションを行うことができる。

［識別装置のハードウェア構成］
図２を参照しながら、実施の形態１に係るデータ生成装置１０のハードウェア構成を説明する。図２は、実施の形態１に係るデータ生成装置１０のハードウェア構成を示すブロック図である。データ生成装置１０は、たとえば、汎用コンピュータで実現されてもよいし、データ生成システム１専用のコンピュータで実現されてもよい。

図２に示すように、データ生成装置１０は、主なハードウェア要素として、演算装置１１と、記憶装置１２と、動画データインターフェース１３と、三次元データインターフェース１４と、ディスプレイインターフェース１５と、周辺機器インターフェース１６と、メディア読取装置１７と、通信装置１８とを備える。

演算装置１１は、各種のプログラムを実行することで、各種の処理を実行する演算主体（コンピュータ）であり、「演算部」の一例である。演算装置１１は、たとえば、ＣＰＵ（central processing unit）またはＭＰＵ（Micro-processing unit）などのプロセッサで構成されている。なお、演算装置１１の一例であるプロセッサは、プログラムを実行することによって各種の処理を実行する機能を有するが、これらの機能の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェア回路を用いて実装してもよい。「プロセッサ」は、ＣＰＵまたはＭＰＵのようにストアードプログラム方式で処理を実行する狭義のプロセッサに限らず、ＡＳＩＣまたはＦＰＧＡなどのハードワイヤード回路を含み得る。このため、演算装置１１の一例である「プロセッサ」は、コンピュータ読み取り可能なコードおよび／またはハードワイヤード回路によって予め処理が定義されている、処理回路（processing circuitry）と読み替えることもできる。なお、演算装置１１は、１チップで構成されてもよいし、複数のチップで構成されてもよい。さらに、演算装置１１の一部の機能は、図示しないサーバ装置（たとえば、クラウド型のサーバ装置）に設けられてもよい。

記憶装置１２は、演算装置１１が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶装置１２は、ＤＲＡＭ（dynamic random access memory）およびＳＲＡＭ（static random access memory）などの揮発性メモリ、または、ＲＯＭ（Read Only Memory）およびフラッシュメモリなどの不揮発性メモリを備える。さらに、記憶装置１２は、ＳＳＤ（solid state drive）またはＨＤＤ（hard disk drive）などであってもよく、この場合、演算装置１１がＤＲＡＭおよびＳＲＡＭなどの揮発性メモリ、または、ＲＯＭおよびフラッシュメモリなどの不揮発性メモリを備えていてもよい。

なお、実施の形態１においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶装置１２に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶部に含まれていてもよい。たとえば、演算装置１１が揮発性の記憶領域を含み、記憶装置１２が不揮発性の記憶領域を含んでいてもよい。データ生成装置１０は、演算装置１１と、記憶装置１２とを含むマイクロコンピュータを備えていてもよい。

記憶装置１２は、データ生成プログラム１００を格納する。データ生成プログラム１００は、演算装置１１が対象者の動画データと対象者の上下歯列の三次元データとに基づき歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するためのデータ生成処理の内容が記述されている。

動画データインターフェース１３は、カメラ２０を接続するためのインターフェースであり、「入力部」の一例である。動画データインターフェース１３は、データ生成装置１０とカメラ２０との間のデータ（たとえば、動画データ）の入出力を実現する。データ生成装置１０とカメラ２０とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

三次元データインターフェース１４は、三次元スキャナ３０を接続するためのインターフェースであり、「入力部」の一例である。三次元データインターフェース１４は、データ生成装置１０と三次元スキャナ３０との間のデータ（たとえば、三次元データ）の入出力を実現する。データ生成装置１０と三次元スキャナ３０とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

ディスプレイインターフェース１５は、ディスプレイ４０を接続するためのインターフェースである。ディスプレイインターフェース１５は、データ生成装置１０とディスプレイ４０との間のデータの入出力を実現する。

周辺機器インターフェース１６は、キーボード５１およびマウス５２などの周辺機器を接続するためのインターフェースである。周辺機器インターフェース１６は、データ生成装置１０と周辺機器との間のデータの入出力を実現する。

メディア読取装置１７は、記憶媒体であるリムーバブルディスク６０に格納されている各種のデータを読み出したり、各種のデータをリムーバブルディスク６０に書き出したりする。たとえば、メディア読取装置１７は、リムーバブルディスク６０からデータ生成プログラム１００を取得してもよいし、演算装置１１によって生成されたシミュレーション動画データをリムーバブルディスク６０に書き出してもよい。

通信装置１８は、有線通信または無線通信を介して、外部装置との間でデータを送受信する。たとえば、通信装置１８は、演算装置１１によって生成されたシミュレーション動画データを、外部装置に送信してもよい。

［データ生成処理］
図３～図１３を参照しながら、実施の形態１に係るデータ生成装置１０が実行するデータ生成処理を説明する。図３～図１３に示す実施の形態１に係るデータ生成処理では、動画データに含まれる各フレーム画像を用いたパターンマッチングによって歯科治療をした場合の患者の顔貌の変化を示すシミュレーション動画データを生成する例を説明する。図３は、実施の形態１に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図３に示す各ＳＴＥＰ（以下、「Ｓ」で示す。）は、データ生成装置１０の演算装置１１がデータ生成プログラム１００を実行することで実現される。

図３に示すように、データ生成装置１０は、カメラ２０によって取得された対象者の動画データが入力された後、当該動画データの中から、当該動画データを構成する複数のフレーム画像を抽出する（Ｓ１）。

たとえば、図４は、データ生成処理におけるＳＴＥＰ１の処理内容を説明するための図である。図４に示すように、一部の歯列が露出した状態で笑顔を作っている対象者をカメラ２０が動画撮影した場合、カメラ２０によって取得された動画データは、一部の歯列が露出した状態で笑顔を作っている対象者を示す複数のフレーム画像Ａ，Ｂ，Ｃ，Ｄを含む。たとえば、フレーム画像Ａは、上下歯列を閉じた状態の一部の歯列を含み、フレーム画像Ｂ～Ｄは、上下歯列を開いた状態の一部の歯列を含む。フレーム画像Ａ～Ｄによって、上下歯列が閉じた状態から開いた状態へと変化する様子が示される。なお、対象者を動画撮影している間、カメラ２０の位置（視点）および撮影対象の位置は必ずしも固定されているわけではないため、時系列で取得される各フレーム画像Ａ～Ｄによって示される上下歯列のカメラ位置からの見え方は互いに異なり得る。データ生成装置１０は、このような対象者が上下歯列を閉じた状態から段階的に上下歯列を開けた状態を示す複数のフレーム画像を、カメラ２０によって取得された動画データから抽出する。

図３に戻り、データ生成装置１０は、Ｓ２～Ｓ４において、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するための前処理を実行する。

具体的には、データ生成装置１０は、複数のフレーム画像のうちの少なくとも１つのフレーム画像においてカメラ２０のレンズに応じたひずみが生じている場合、少なくとも１つのフレーム画像におけるひずみを補正する（Ｓ２）。データ生成装置１０は、このようなひずみ補正を行うことで、後述する、フレーム画像に含まれる上下歯列の形状と三次元スキャナ３０によって取得された三次元データに基づき具現化された上下歯列の形状との間のパターンマッチングの精度を向上させることができる。

データ生成装置１０は、撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置を検出する（Ｓ３）。データ生成装置１０は、撮影対象およびカメラ２０の各々の位置を後述するパターンマッチングに利用することで、パターンマッチングの精度を向上させることができ、さらに、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。なお、データ生成装置１０は、撮影対象およびカメラ２０の各々の位置を、カメラ２０による撮影開始時または撮影中に取得して記憶装置１２に記憶してもよい。Ｓ３の処理において、データ生成装置１０は、カメラ２０によって記憶されている撮影対象およびカメラ２０の各々の位置を検索して取得してもよいし、記憶装置１２によって記憶されている撮影対象およびカメラ２０の各々の位置を検索して取得してもよい。

データ生成装置１０は、撮影対象（たとえば、対象者の顔）と、カメラ２０との間の距離を検出する（Ｓ４）。データ生成装置１０は、撮影対象とカメラ２０との間の距離を後述するパターンマッチングに利用することで、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。なお、データ生成装置１０は、撮影対象とカメラ２０との距離を、カメラ２０による撮影開始時または撮影中に取得して記憶装置１２に記憶してもよい。Ｓ３の処理において、データ生成装置１０は、カメラ２０によって記憶されている距離を検索して取得してもよいし、記憶装置１２によって記憶されている距離を検索して取得してもよい。

なお、データ生成装置１０は、Ｓ３で取得した撮影対象とカメラ２０との位置関係、および、撮影対象とカメラ２０との距離のうちの少なくとも１つに基づき、後述するパターンマッチングを行ってもよい。

データ生成装置１０は、Ｓ１で抽出した各フレーム画像から上下歯列に対応する上下歯列画像を抽出する（Ｓ５）。

たとえば、図５は、データ生成処理におけるＳＴＥＰ５の処理内容を説明するための図である。図５に示すように、データ生成装置１０は、各フレーム画像Ａ，Ｂ，Ｃ，Ｄから、上下歯列に対応する上下歯列画像を抽出する。たとえば、データ生成装置１０は、予め記憶している上下歯列の形状を示すテンプレート画像と、各フレーム画像Ａ，Ｂ，Ｃ，Ｄとを比較して、パターンマッチングによって各フレーム画像Ａ，Ｂ，Ｃ，Ｄから上下歯列画像を抽出する。なお、データ生成装置１０は、上下歯列の形状を比較するパターンマッチングに限らず、上下歯列のエッジ形状を比較するパターンマッチングによって、各フレーム画像Ａ，Ｂ，Ｃ，Ｄから上下歯列画像を抽出してもよい。「上下歯列画像」は、口腔内の上側の歯列および下側の歯列の両方、または、上側の歯列および下側の歯列のいずれかを含む画像である。さらに、「上下歯列画像」は、上下歯列のうちの一部の歯列を含む画像である。

データ生成装置１０は、フレーム画像Ａに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ａを抽出する。データ生成装置１０は、フレーム画像Ｂに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｂを抽出する。データ生成装置１０は、フレーム画像Ｃに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｃを抽出する。データ生成装置１０は、フレーム画像Ｄに含まれる対象者の顔の部分から、対象者の上下歯列を示す上下歯列画像ｄを抽出する。

図３に戻り、データ生成装置１０は、三次元スキャナ３０によって取得された対象者の上下歯列の三次元データが入力された後、上下歯列に対して歯科治療のシミュレーションを行う（Ｓ６）。具体的には、データ生成装置１０は、入力された上下歯列の三次元データを変換することによって、入力された歯科治療前の上下歯列の三次元データを、歯科治療後の上下歯列の三次元データへと更新する。

データ生成装置１０は、歯科治療が行われた上下歯列のシミュレーション後の三次元データに基づき、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成する。「レンダリング画像」とは、あるデータに対して処理または編集を施すことによって生成された画像であって、実施の形態１においては、シミュレーション後の三次元データに対して処理または編集を施すことによって生成された二次元の画像である。

上述したように、三次元スキャナ３０によって取得された三次元データは、対象者の上下歯列の表面を示す点群の各々の位置情報を含むため、シミュレーション後の三次元データも歯科治療が行われた上下歯列の表面を示す点群の各々の位置情報を含む。データ生成装置１０は、シミュレーション後の三次元データを用いて、歯科治療後の上下歯列の表面を示す点群を画像化することによって、ある視点から見た二次元の上下歯列を示すレンダリング画像を生成することができる。さらに、データ生成装置１０は、視点を多方向にわたって変化させることによって、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成することができる。

データ生成装置１０は、シミュレーション後の三次元データに基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ７）、さらに、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ８）。

たとえば、図６～図１０は、データ生成処理におけるＳＴＥＰ７およびＳＴＥＰ８の処理内容を説明するための図である。図６に示すように、データ生成装置１０は、三次元データに基づき特定可能な座標空間上に置かれたオブジェクト（上下歯列）を、視点（カメラ２０の位置）および画角を変化させながら仮想的に見ることによって、水平方向または垂直方向において多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成することができる。そして、データ生成装置１０は、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像のレンダリング画像をパターンマッチングによって探索して、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を生成（抽出）する。なお、「探索」とは、複数のレンダリング画像の各々とフレーム画像に含まれる上下歯列画像とのパターンマッチングを１回または複数回トライすることによって、複数のレンダリング画像の中からフレーム画像に含まれる上下歯列画像に一致するレンダリング画像を探し出すことを意味する。データ生成装置１０は、フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を生成すると、当該レンダリング画像を生成したときのオブジェクト（上下歯列）の位置データを記憶する。あるいは、データ生成装置１０は、各フレーム画像に対応する各レンダリング画像を生成したときのオブジェクト（上下歯列）の位置データの変化分（オブジェクトの移動量）を記憶する。

図７および図８を参照しながら、レンダリング画像の生成の一例について説明する。図７に示すように、データ生成装置１０は、レンダリング画像を生成する際の視点を、対象者の顔（上下歯列）の正面に向けた状態から水平方向に段階的に移動させたと仮定し、水平方向における各視点から見た二次元の上下歯列を含む各レンダリング画像を生成する。

具体的には、データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）を正面から見たときの二次元の上下歯列を含むレンダリング画像ＴＣを生成する。データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）の正面を起点として水平方向に視点を少し左に傾けて見たとき（たとえば、正面を起点として水平方向に視点を左に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＬを生成する。データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）の正面を起点として水平方向に視点を少し右に傾けて見たとき（たとえば、正面を起点として水平方向に視点を右に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＲを生成する。

図８に示すように、データ生成装置１０は、レンダリング画像を生成する際の視点を、対象者の顔（上下歯列）の正面に向けた状態から垂直方向に段階的に移動させたと仮定し、垂直方向における各視点から見た二次元の上下歯列を含む各レンダリング画像を生成する。

具体的には、データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）を正面から見たときの二次元の上下歯列を含むレンダリング画像ＴＣを生成する。データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）の正面を起点として垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＤを生成する。データ生成装置１０は、シミュレーション後の三次元データに基づき、対象者の顔（上下歯列）の正面を起点として垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像ＴＵを生成する。

なお、図示は省略するが、データ生成装置１０は、レンダリング画像ＴＬを基準として、垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像、および、垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像を生成する。データ生成装置１０は、レンダリング画像ＴＲを基準として、垂直方向に視点を少し下に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を下に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像、および、垂直方向に視点を少し上に傾けて見たとき（たとえば、正面を起点として垂直方向に視点を上に１０度に傾けて見たとき）の二次元の上下歯列を含むレンダリング画像を生成する。

このように、データ生成装置１０は、水平方向において段階的に視点を傾けた複数のレンダリング画像と、垂直方向において段階的に視点を傾けた複数のレンダリング画像とを生成することができる。なお、データ生成装置１０においては、対象者の顔（上下歯列）の正面を起点とし水平方向または垂直方向に傾ける角度が予め設定されており、当該角度を細かく設定するほど、データ生成装置１０は、多方向からの視点に基づくより多くの枚数のレンダリング画像を生成することができる。

データ生成装置１０は、Ｓ７において、水平方向または垂直方向に大まかな角度（たとえば、３度間隔）で視点を傾けたレンダリング画像を用いて、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索する。そして、データ生成装置１０は、Ｓ７で生成（抽出）したレンダリング画像を基に、Ｓ８において、水平方向または垂直方向に細かな角度（たとえば、１度間隔）で視点を傾けたレンダリング画像を生成し、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。

図９および図１０を参照しながら、パターンマッチングの一例について説明する。図９に示すように、データ生成装置１０は、動画データを構成する各フレーム画像に基づきＳ５で抽出した上下歯列画像と、水平方向における各視点から見た二次元の上下歯列を含む各レンダリング画像とを、水平方向においてパターンマッチングさせて、各フレーム画像から抽出した上下歯列画像の水平方向におけるカメラ２０の視点を抽出する。

たとえば、データ生成装置１０は、対象者が上下歯列を閉じた状態を示すフレーム画像Ａから抽出した上下歯列画像ａと、シミュレーション後の三次元データに基づき生成した水平方向における各視点から見た二次元の上下歯列を含む複数のレンダリング画像ＴＣ，ＴＬ，ＴＲとを、水平方向においてパターンマッチングさせて、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの中から上下歯列画像ａに対応するレンダリング画像を抽出する。

具体的には、データ生成装置１０は、上下歯列画像ａに含まれる上下歯列の形状（見え方）と、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの各々に含まれる上下歯列の形状（見え方）とを、水平方向においてパターンマッチングさせることによって、複数のレンダリング画像ＴＣ，ＴＬ，ＴＲの中から、上下歯列画像ａに含まれる上下歯列の形状と水平方向において最も近似する上下歯列の形状を含むレンダリング画像を抽出する。このとき、データ生成装置１０は、歯牙の特徴に基づいて水平方向におけるパターンマッチングを行ってもよい。たとえば、データ生成装置１０は、切歯の切端近傍、犬歯または臼歯の咬合面近傍などの形状に対して水平方向におけるパターンマッチングを行ってもよい。図９の例では、データ生成装置１０は、上下歯列画像ａと水平方向においてマッチングするレンダリング画像として、レンダリング画像ＴＣを抽出する。これにより、データ生成装置１０は、上下歯列画像ａの水平方向におけるカメラ２０の視点を抽出することができる。データ生成装置１０は、他のフレーム画像Ｂ～Ｄについても、フレーム画像Ａと同様の方法で、各フレーム画像Ｂ～Ｄに含まれる上下歯列画像の水平方向におけるカメラ２０の視点を抽出することができる。

図１０に示すように、データ生成装置１０は、動画データを構成する各フレーム画像に基づきＳ５で抽出した上下歯列画像と、垂直方向における各視点から見た二次元の上下歯列を含む各レンダリング画像とを、垂直方向においてパターンマッチングさせて、各フレーム画像から抽出した上下歯列画像の垂直方向におけるカメラ２０の視点を抽出する。

たとえば、データ生成装置１０は、対象者が上下歯列を閉じた状態を示すフレーム画像Ａから抽出した上下歯列画像ａと、シミュレーション後の三次元データに基づき生成した垂直方向における各視点から見た二次元の上下歯列を含む複数のレンダリング画像ＴＣ，ＴＤ，ＴＵとを、垂直方向においてパターンマッチングさせて、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの中から上下歯列画像ａに対応するレンダリング画像を抽出する。

具体的には、データ生成装置１０は、上下歯列画像ａに含まれる上下歯列の形状（見え方）と、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの各々に含まれる上下歯列の形状（見え方）とを、垂直方向においてパターンマッチングさせることによって、複数のレンダリング画像ＴＣ，ＴＤ，ＴＵの中から、上下歯列画像ａに含まれる上下歯列の形状と垂直方向において最も近似する上下歯列の形状を含むレンダリング画像を抽出する。このとき、データ生成装置１０は、歯牙の特徴に基づいて垂直方向におけるパターンマッチングを行ってもよい。たとえば、データ生成装置１０は、切歯の切端近傍、犬歯または臼歯の咬合面近傍などの形状に対して垂直方向におけるパターンマッチングを行ってもよい。図１０の例では、データ生成装置１０は、上下歯列画像ａと垂直方向においてマッチングするレンダリング画像として、レンダリング画像ＴＣを抽出する。これにより、データ生成装置１０は、上下歯列画像ａの垂直方向におけるカメラ２０の視点を抽出することができる。データ生成装置１０は、他のフレーム画像Ｂ～Ｄについても、フレーム画像Ａと同様の方法で、各フレーム画像Ｂ～Ｄに含まれる上下歯列画像の垂直方向におけるカメラ２０の視点を抽出することができる。

なお、データ生成装置１０は、パターンマッチングを行いながら多方向の視点に基づく複数のレンダリング画像を生成することに限らず、パターンマッチングを行う前に予め多方向の視点に基づく複数のレンダリング画像を生成してもよい。

データ生成装置１０は、Ｓ７およびＳ８において、各フレーム画像から抽出した上下歯列画像と、複数のレンダリング画像とをパターンマッチングさせる際に、Ｓ３において取得した撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置を利用してもよい。たとえば、データ生成装置１０は、撮影対象（たとえば、対象者の顔）およびカメラ２０の各々の位置に基づき、上下歯列画像の大きさに合わせて、複数のレンダリング画像に含まれる上下歯列画像を拡大または縮小してもよい。これにより、データ生成装置１０は、画像認識によるパターンマッチングの精度を向上させることができ、さらに、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

さらに、データ生成装置１０は、Ｓ２において、フレーム画像におけるひずみを予め補正しているため、パターンマッチングの対象となる各フレーム画像から抽出した上下歯列画像をより鮮明にすることができる。これにより、データ生成装置１０は、画像認識によるパターンマッチングの精度を向上させることができる。

図３に戻り、データ生成装置１０は、Ｓ７およびＳ８のパターンマッチングによって抽出した各フレーム画像に含まれる上下歯列画像の水平方向および垂直方向におけるカメラ２０の視点に基づき、各フレーム画像に含まれる上下歯列画像に対応する各レンダリング画像を生成する（Ｓ９）。

たとえば、図１１は、データ生成処理におけるＳＴＥＰ９の処理内容を説明するための図である。図１１に示すように、データ生成装置１０は、Ｓ７およびＳ８で抽出した各フレーム画像Ａ～Ｄにおける水平方向および垂直方向の各視点に基づき、当該各視点から見た各レンダリング画像Ｒａ～Ｒｄを生成する。

具体的には、データ生成装置１０は、フレーム画像Ａに含まれる上下歯列画像ａに合わせて、上下歯列が閉じたようなレンダリング画像Ｒａを生成する。データ生成装置１０は、フレーム画像Ｂに含まれる上下歯列画像ｂに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列を少し開けた状態に変化させたようなレンダリング画像Ｒｂを生成する。データ生成装置１０は、フレーム画像Ｃに含まれる上下歯列画像ｃに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列をレンダリング画像Ｒｂよりもさらに開けた状態に変化させたようなレンダリング画像Ｒｃを生成する。データ生成装置１０は、フレーム画像Ｄに含まれる上下歯列画像ｄに合わせて、レンダリング画像Ｒａで示される閉じられた状態の上下歯列をレンダリング画像Ｒｃよりもさらに開けた状態に変化させたようなレンダリング画像Ｒｄを生成する。

図３に戻り、データ生成装置１０は、Ｓ５で各フレーム画像から抽出した上下歯列画像に対応する部分を、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの各々から切り出す（Ｓ１０）。

たとえば、図１２は、データ生成処理におけるＳＴＥＰ１０の処理内容を説明するための図である。図１２に示すように、データ生成装置１０は、フレーム画像Ａから抽出した上下歯列画像に対応する部分を、レンダリング画像Ｒａから切り出す。データ生成装置１０は、フレーム画像Ｂから抽出した上下歯列画像に対応する部分を、レンダリング画像Ｒｂから切り出す。データ生成装置１０は、フレーム画像Ｃから抽出した上下歯列画像に対応する部分を、レンダリング画像Ｒｃから切り出す。データ生成装置１０は、フレーム画像Ｄから抽出した上下歯列画像に対応する部分を、レンダリング画像Ｒｄから切り出す。

図３に戻り、データ生成装置１０は、各フレーム画像のうちの上下歯列画像が示された部分を、Ｓ１０でレンダリング画像から切り出した上下歯列画像に対応する部分に変換することによって、シミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成して、記憶装置１２に記憶する（Ｓ１１）。

たとえば、図１３は、データ生成処理におけるＳＴＥＰ１１の処理内容を説明するための図である。図１３に示すように、データ生成装置１０は、フレーム画像Ａのうちの上下歯列画像ａが示された部分を、レンダリング画像Ｒａから切り出した上下歯列画像に対応する部分に変換して、シミュレーション結果が反映されたフレーム画像Ｍａを生成する。このとき、データ生成装置１０は、シミュレーション結果が反映されたフレーム画像Ｍａのうち、変換した上下歯列の部分と変換していない上下歯列以外の部分との融合部を、滑らかにつなげるように処理する。なお、「変換」とは、フレーム画像のうちの上下歯列画像が示された部分をレンダリング画像から切り出した上下歯列画像に対応する部分にオーバーレイすること、または、フレーム画像のうちの上下歯列画像が示された部分をレンダリング画像から切り出した上下歯列画像に対応する部分に置き換えることを含む。

同様に、データ生成装置１０は、フレーム画像Ｂのうちの上下歯列画像ｂが示された部分を、レンダリング画像Ｒｂから切り出した上下歯列画像に対応する部分に変換して、シミュレーション結果が反映されたフレーム画像Ｍｂを生成する。データ生成装置１０は、フレーム画像Ｃのうちの上下歯列画像ｃが示された部分を、レンダリング画像Ｒｃから切り出した上下歯列画像に対応する部分に変換して、シミュレーション結果が反映されたフレーム画像Ｍｃを生成する。データ生成装置１０は、フレーム画像Ｄのうちの上下歯列画像ｄが示された部分を、レンダリング画像Ｒｄから切り出した上下歯列画像に対応する部分に変換して、シミュレーション結果が反映されたフレーム画像Ｍｄを生成する。データ生成装置１０は、これら複数のフレーム画像Ｍａ，Ｍｂ，Ｍｃ，Ｍｄを時系列で関連付けることによって、シミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを生成することができる。

図３に戻り、データ生成装置１０は、記憶装置１２に記憶したシミュレーション動画データに基づき、笑顔のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ１２）。たとえば、データ生成装置１０は、シミュレーション動画データに基づき、図１３に示すようなシミュレーション後のフレーム画像Ｍａ，Ｍｂ，Ｍｃ，Ｍｄを時系列で切り替えるようなシミュレーション動画を生成し、生成したシミュレーション動画をディスプレイ４０に表示させたり、シミュレーション動画のデータを通信装置１８から外部装置に送信したりする。

以上のように、実施の形態１に係るデータ生成装置１０は、上下歯列のうちの一部の歯列が露出した状態で対象者を撮影することによって得られた動画データと、対象者の上下歯列の三次元データとを用いて、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成することができる。これにより、ユーザは、カメラ２０および三次元スキャナ３０を用いて、歯科治療前の撮影によって得られた対象者の動画を、歯科治療を施したことを想定した動画に変換することができるため、簡単にかつ精度よく歯科治療後の対象者の顔のシミュレーションを行うことができる。

データ生成装置１０は、先に、水平方向または垂直方向に大まかな角度で視点を傾けたレンダリング画像を用いて、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索し、次に、大まかなパターンマッチングによって生成（抽出）したレンダリング画像を基に、水平方向または垂直方向に細かな角度で視点を傾けたレンダリング画像を生成し、各フレーム画像に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。たとえば、データ生成装置１０は、水平方向および垂直方向のそれぞれにおいて大まかな角度（たとえば、３度間隔）で視点を変更したレンダリング画像を用いてフレーム画像の上下歯列画像との間でパターンマッチングをトライし、トライしたパターンマッチングのうち、マッチングレベルがある程度高い（第１所定値以上の）レンダリング画像を基準として、次に水平方向および垂直方向のそれぞれにおいて細かな角度（たとえば、１度間隔）で視点を変更したレンダリング画像を用いてフレーム画像の上下歯列画像との間でパターンマッチングをトライし、トライしたパターンマッチングのうち、マッチングレベルが非常に高い（第１所定値よりもマッチングレベルが高い第２所定値以上の）レンダリング画像を得た場合に、パターンマッチングを達成したとする。これにより、データ生成装置１０は、最初から詳細なパターンマッチングを行うよりも、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

カメラ２０によって取得された動画データは、対象者の撮影中にリアルタイムでデータ生成装置１０に入力されてもよい。この場合、データ生成装置１０は、対象者の撮影中に動画データインターフェース１３を介して動画データが入力されることに追従して、図３のデータ生成処理を実行することで、撮影中のリアルタイムでシミュレーション動画データを生成してもよい。これにより、カメラ２０によって対象者を撮影したと同時または撮影直後にシミュレーション動画データが生成されるため、ユーザは即座に対象者にシミュレーション結果を見せることができ、ユーザの利便性が向上する。

上述した実施の形態１に係るデータ生成装置１０は、先に、Ｓ６において、三次元スキャナ３０によって取得された三次元データに対して、歯科治療のシミュレーションを行い、その後、Ｓ７およびＳ８において、動画データを構成する複数のフレーム画像の中から選択した一のフレーム画像から抽出した上下歯列画像と、シミュレーションが反映されたレンダリング画像とをパターンマッチングするように構成されていたが、以下のように構成されてもよい。

たとえば、データ生成装置１０は、Ｓ６の処理を実行することなく、三次元スキャナ３０によって取得されたシミュレーションが反映される前の三次元データに基づき複数のレンダリング画像を生成し、Ｓ７およびＳ８において、動画データを構成する複数のフレーム画像の中から選択した一のフレーム画像から抽出した上下歯列画像と、シミュレーション前のレンダリング画像とをパターンマッチングしてもよい。そして、データ生成装置１０は、Ｓ７およびＳ８において抽出した複数のフレーム画像にそれぞれ対応する複数のレンダリング画像の各々について、上下歯列に対して歯科治療のシミュレーションを行ってもよい。このようにしても、データ生成装置１０は、シミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを生成することができる。

データ生成装置１０は、カメラ２０による動画撮影時に用いた光源の色温度が入力されてもよい。そして、データ生成装置１０は、Ｓ９においてレンダリング画像を生成する際に、取得した光源の色温度に基づき、撮影時の対象者の上下歯列の色に近づけるように、レンダリング画像に含まれるシミュレーション後の上下歯列画像の色を調整してもよい。これにより、データ生成装置１０は、対象者の上下歯列の色に近い色のシミュレーション後の上下歯列画像を用いた動画データを生成することができる。さらに、データ生成装置１０は、カメラ２０による動画撮影時に用いた光源の位置または光量、光の屈折または反射など、光源に関するパラメータが入力されてもよく、これらのパラメータに基づき、レンダリング画像を生成してもよい。なお、データ生成装置１０は、動画データに含まれる各フレーム画像から検出可能な光または影の具合、上下歯列の色などに合わせて、最適なレンダリング画像を生成するように機械学習されたＡＩ（artificial intelligence）を用いてもよく、これにより、レンダリング画像における光、影、または色の調整の処理時間を短縮することができる。

＜実施の形態２＞
本開示の実施の形態２に係るデータ生成装置１０について、図１４を参照しながら詳細に説明する。なお、実施の形態２に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図１４は、実施の形態２に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１４に示す実施の形態２に係るデータ生成処理では、先に、動画データに含まれる第１フレーム画像のみを用いたパターンマッチングによってシミュレーション画像を生成し、次に、当該第１フレーム画像に対応するシミュレーション画像を用いて動画データに含まれる他の少なくとも１つの第２フレーム画像に対応するシミュレーション画像を生成する例を説明する。なお、実施の形態２においては、対象者を動画撮影している間、カメラ２０の位置（視点）および撮影対象の位置は固定されていることとする。すなわち、カメラ２０によって取得されたフレーム画像Ａ～Ｄの各々においては、カメラ２０の位置（視点）および撮影対象である上下歯列の位置が互いに同じである。

図１４に示すように、データ生成装置１０は、図３に示すＳ１～Ｓ５の処理と同様に、動画データを構成する複数のフレーム画像（たとえば、図４のフレーム画像Ａ，Ｂ，Ｃ，Ｄ）を抽出し（Ｓ２１）、前処理を実行し（Ｓ２２～Ｓ２４）、各フレーム画像から上下歯列に対応する上下歯列画像を抽出する（Ｓ２５）。

データ生成装置１０は、図３に示すＳ６の処理と同様に、上下歯列に対して歯科治療のシミュレーションを行った後（Ｓ２６）、歯科治療が行われた上下歯列のシミュレーション後の三次元データに基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ２５で抽出した第１フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ２７）、さらに、Ｓ２５で抽出した第１フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ２８）。

たとえば、データ生成装置１０は、Ｓ２７において、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって大まかに探索する。そして、データ生成装置１０は、Ｓ２７で生成（抽出）したレンダリング画像を基に、Ｓ２８において、水平方向または垂直方向に細かな角度で視点を傾けたレンダリング画像を生成し、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像と見た目が一致する上下歯列画像を含むレンダリング画像をパターンマッチングによって詳細に探索する。

データ生成装置１０は、Ｓ２７およびＳ２８のパターンマッチングによって抽出した第１フレーム画像に含まれる上下歯列画像の水平方向および垂直方向におけるカメラ２０の視点に基づき、第１フレーム画像に含まれる上下歯列画像に対応する第１レンダリング画像を生成するとともに、生成した第１レンダリング画像を用いて、他の第２フレーム画像に含まれる上下歯列画像に対応する第２レンダリング画像を生成する（Ｓ２９）。

たとえば、データ生成装置１０は、Ｓ２９において、フレーム画像Ａ（第１フレーム画像）に含まれる上下歯列画像に対応するレンダリング画像Ｒａ（第１レンダリング画像）を生成するとともに、生成したレンダリング画像Ｒａ（第１レンダリング画像）を用いて、フレーム画像Ｂ～Ｄ（第２フレーム画像）の各々に含まれる上下歯列画像に対応するレンダリング画像Ｒｂ～Ｒｄ（第２レンダリング画像）を生成する。

データ生成装置１０は、Ｓ２５で各フレーム画像から抽出した上下歯列画像に対応する部分を、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの各々から切り出す（Ｓ３０）。

データ生成装置１０は、各フレーム画像のうちの上下歯列画像が示された部分を、Ｓ３０でレンダリング画像から切り出した上下歯列画像に対応する部分に変換し、変換した上下歯列の部分と変換していない上下歯列以外の部分との融合部を滑らかにつなげるように処理することによって、シミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成して、記憶装置１２に記憶する（Ｓ３１）。

データ生成装置１０は、記憶装置１２に記憶したシミュレーション動画データに基づき、笑顔のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ３２）。

以上のように、実施の形態２に係るデータ生成装置１０は、先に、動画データに含まれる第１フレーム画像のみを用いたパターンマッチングによって当該第１フレーム画像に対応するシミュレーション画像を生成し、次に、当該第１フレーム画像に対応するシミュレーション画像を用いて動画データに含まれる第２フレーム画像に対応するシミュレーション画像を生成するため、パターンマッチングを実行する対象となるフレーム画像が１枚のみである。これにより、データ生成装置１０は、動画データを構成する複数のフレーム画像の各々に対してパターンマッチングを行うよりも、パターンマッチングに掛かる処理負担を低減するとともに、パターンマッチングの処理時間を短縮することができる。

＜実施の形態３＞
本開示の実施の形態３に係るデータ生成装置１０について、図１５～図１９を参照しながら詳細に説明する。なお、実施の形態３に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図１５は、実施の形態３に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１５に示す実施の形態３に係るデータ生成処理では、ＡＩを用いて動画データを構成する各フレーム画像における上下歯列の領域（形状）を推定し、さらに、ＡＩを用いて各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を推定する例を説明する。

図１５に示すように、データ生成装置１０は、図３に示すＳ１～Ｓ４の処理と同様に、動画データを構成する複数のフレーム画像（たとえば、図４のフレーム画像Ａ，Ｂ，Ｃ，Ｄ）を抽出し（Ｓ４１）、前処理を実行する（Ｓ４２～Ｓ４４）。

データ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像における上下歯列を推定する（Ｓ４５）。具体的には、データ生成装置１０は、各フレーム画像を含む入力データに基づき、各フレーム画像における上下歯列の領域（形状）を推定するための推定モデル１３０を用いて、入力データに基づき各フレーム画像における上下歯列の領域（形状）を推定する。

推定モデル１３０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、またはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワーク、および当該ニューラルネットワークに関するパラメータを含む。

ここで、図１６を参照しながら、推定モデル１３０に対する教師あり学習について説明する。図１６は、実施の形態３に係るデータ生成装置１０が実行する教師あり学習の概要を説明するための図である。図１６に示すように、学習フェーズにおいて、データ生成装置１０は、学習用プログラム１１０を実行することで、入力１と入力２（正解）とを含む学習用データ１２０に基づき、推定モデル１３０を機械学習させる。活用フェーズにおいて、データ生成装置１０は、学習済みの推定モデル１３０を用いて、入力１に基づき、出力を推定する。

図１７は、実施の形態３に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１７に示すように、機械学習の問題データである入力１としては、上下歯列画像を含むフレーム画像が用いられる。機械学習の正解データである入力２としては、入力１のフレーム画像における上下歯列の領域を特定するデータが用いられる。たとえば、フレーム画像における上下歯列の領域を特定するデータとしては、フレーム画像における上下歯列の領域と上下歯列以外の部分の領域とを区別するためのデータが挙げられる。たとえば、上下歯列の領域に対しては「１」、上下歯列以外の部分の領域に対しては「０」のデータが付与されたフレーム画像が、入力２に用いられる。さらに、上側の歯列と下側の歯列とで、領域を特定するデータを区別してもよく、たとえば、上側の歯列の領域に対しては「１」、下側の歯列の領域に対しては「２」、上下歯列以外の部分の領域に対しては「０」のデータが付与されたフレーム画像が、入力２に用いられてもよい。データ生成装置１０が入力１に基づき推定する出力としては、入力１のフレーム画像における上下歯列の領域を特定するデータの推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、上下歯列画像を含むフレーム画像（入力１）に基づき、フレーム画像における上下歯列の領域を特定するデータ（出力）を推定し、推定した上下歯列の領域を特定するデータ（出力）と、正解であるフレーム画像における上下歯列の領域を特定するデータ（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、上下歯列画像を含むフレーム画像（入力１）に基づき、フレーム画像に含まれる上下歯列画像（出力）、すなわちフレーム画像によって示された上下歯列の形状を推定する。

図１４に戻り、データ生成装置１０は、図３に示すＳ６の処理と同様に、上下歯列に対して歯科治療のシミュレーションを行った後（Ｓ４６）、ＡＩを用いて、動画データを構成する各フレーム画像Ａ，Ｂ，Ｃ，Ｄに基づきＳ４５で推定した各上下歯列画像（たとえば、図５の上下歯列画像ａ，ｂ，ｃ，ｄ）に対応する各レンダリング画像（たとえば、図１１のレンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ）を推定する（Ｓ４７）。具体的には、データ生成装置１０は、Ｓ４５で推定した各フレーム画像に含まれる上下歯列画像と、上下歯列画像を含む複数のレンダリング画像とを含む入力データに基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像を推定するための推定モデル１３０を用いて、入力データに基づき上下歯列画像に対応するレンダリング画像を推定する。

図１８は、実施の形態３に係るデータ生成装置１０における教師あり学習の入力および出力を説明するための図である。図１８に示すように、機械学習の問題データである入力１としては、各フレーム画像に基づき抽出された上下歯列画像と、上下歯列の三次元データとが用いられる。機械学習の正解データである入力２としては、入力１の各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像が用いられる。データ生成装置１０が入力１に基づき推定する出力としては、入力１の各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像の推定結果が用いられる。

すなわち、データ生成装置１０は、学習フェーズにおいて、各フレーム画像に基づき抽出された上下歯列画像および上下歯列の三次元データ（入力１）に基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（出力）を推定し、推定した各レンダリング画像（出力）と、正解である各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、学習済みの推定モデル１３０を用いて、各フレーム画像に基づき抽出された上下歯列画像および上下歯列の三次元データ（入力１）に基づき、各フレーム画像に含まれる上下歯列画像に対応するレンダリング画像（出力）を推定する。

図１５に戻り、データ生成装置１０は、Ｓ４７で各フレーム画像から抽出した上下歯列画像に対応する部分を、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの各々から切り出す（Ｓ４８）。

データ生成装置１０は、各フレーム画像のうちの上下歯列画像が示された部分を、Ｓ４８でレンダリング画像から切り出した上下歯列画像に対応する部分に変換し、変換した上下歯列の部分と変換していない上下歯列以外の部分との融合部を滑らかにつなげるように処理することによって、シミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成して、記憶装置１２に記憶する（Ｓ４９）。

データ生成装置１０は、記憶装置１２に記憶したシミュレーション動画データに基づき、笑顔のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ５０）。

以上のように、実施の形態３に係るデータ生成装置１０は、ＡＩを用いて動画データを構成する各フレーム画像から上下歯列の形状を推定するため、より精度よく動画データを構成する各フレーム画像から上下歯列画像を抽出することができる。さらに、データ生成装置１０は、ＡＩを用いて各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を推定するため、より精度よく各フレーム画像に含まれる上下歯列に対応する各レンダリング画像を抽出することができる。これにより、データ生成装置１０は、シミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを精度よく生成することができる。

＜実施の形態４＞
本開示の実施の形態４に係るデータ生成装置１０について、図１９を参照しながら詳細に説明する。なお、実施の形態４に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図１９は、実施の形態４に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図１９に示す実施の形態４においては、データ生成システム１が図示しないＣＴ（CT: Computed Tomography）撮像装置を備える。ＣＴ撮像装置は、放射線の一種であるＸ線の送信器および受信器を対象者の顔の周囲で回転させることで、対象者の上顎および下顎をコンピュータ断層撮影するＸ線撮像装置である。ユーザは、ＣＴ撮像装置を用いて対象者の上顎および下顎を撮影することによって、対象者の上顎および下顎の周辺における、軟組織部分（皮膚、歯肉など）以外の硬組織部分（骨、歯牙など）の三次元の体積（ボクセル）データを得ることができる。ユーザは、ＣＴ撮像装置によって得られた撮影対象の体積データを断層加工することによって、撮影対象の断層画像または外観画像を生成することができる。なお、以下では、三次元スキャナ３０によって取得された三次元の表面座標データを「ＩＯＳデータ」とも称し、ＣＴ撮像装置によって取得された三次元の体積データを「ＣＴデータ」とも称する。なお、ＩＯＳデータおよびＣＴデータのいずれも上下歯列の三次元データに対応するため、ＩＯＳデータおよびＣＴデータをまとめて「三次元データ」と称することもできる。

実施の形態４に係るデータ生成処理では、三次元スキャナ３０による対象者の上下歯列のＩＯＳデータに加えて、ＣＴ撮像装置による対象者の上下歯列を含む上顎および下顎のＣＴデータが入力される。

図１９に示すように、データ生成装置１０は、ＣＴ撮像装置から入力されたＣＴデータに基づき、対象者の上顎および下顎における硬組織部分（骨、歯牙など）の表面の形状を示す表面形状データを生成する（Ｓ６１）。データ生成装置１０は、上顎と下顎とで、Ｓ６１で生成した表面形状データを分離する（Ｓ６２）。

データ生成装置１０は、三次元スキャナ３０によって取得された対象者の上下歯列のＩＯＳデータと、Ｓ６２で生成した上顎および下顎の表面形状データとに基づき、多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成する。ＩＯＳデータは、上下歯列の表面を示す点群の各々の位置情報を含むため、各歯牙の位置および上側の歯列と下側の歯列との噛み合わせを正確に表すことができる。一方、ＣＴデータに基づき生成された上顎および下顎の表面形状データは、上下歯列と各歯牙の歯根の表面の形状を正確に表すことができる。このため、データ生成装置１０は、上下歯列のＩＯＳデータと、上顎および下顎の表面形状データとを組み合わせることで、二次元の上下歯列の形状および位置などをより正確に表したレンダリング画像を生成することができる。

データ生成装置１０は、上述のようにしてＩＯＳデータおよびＣＴデータを用いてレンダリング画像に基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ６３）、さらに、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ６４）。

その後、データ生成装置１０は、図３に示す実施の形態１に係るデータ生成処理と同様に、Ｓ９～Ｓ１２の処理を実行することで、歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成することができる。

以上のように、実施の形態４に係るデータ生成装置１０は、三次元スキャナ３０によって取得されたＩＯＳデータに限らず、ＣＴ撮像装置によって取得されたＣＴデータも利用して、二次元の上下歯列の形状および位置などをより正確に表したレンダリング画像を生成し、カメラ２０によって取得された対象者の動画データとレンダリング画像とに基づき、シミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを精度よく生成することができる。

なお、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、データ生成装置１０に入力される三次元データとして、三次元スキャナ３０によって取得されたＩＯＳデータおよびＣＴ撮像装置によって取得されたＣＴデータを採用することができる。この場合、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、図１９に示す実施の形態４に係るデータ生成処理のＳ６１～Ｓ６４の処理を実行して、パターンマッチングを実行すればよい。また、データ生成装置１０に入力される三次元データは、上述したような三次元スキャナ３０の光学的手法を用いて対象者のの上下歯列を直接的にスキャンすることで得られるＩＯＳデータ、およびＣＴ撮像装置を用いて対象者の上顎および下顎をコンピュータ断層撮影することで得られるＣＴデータに限らず、対象者の上下歯列の印象採得から制作した歯顎模型をデスクトップスキャナを用いてスキャンすることで得られる表面形状データを含んでいてもよい。

なお、データ生成装置１０は、上顎と下顎とで表面形状データを分離し、分離した上顎の表面形状データおよび下顎の表面形状データのそれぞれのデータに基づき、上顎に対応するレンダリング画像と下顎に対応するレンダリング画像とを生成するように構成されていたが、上顎と下顎とを合わせた上下額の表面形状データに基づき上下額のレンダリング画像を生成してもよい。そして、データ生成装置１０は、生成した上下額のレンダリング画像を用いて、上下歯列画像との間でパターンマッチングを行ってもよい。さらに、噛む動作の動画データにおいては、咬合した状態も撮影されるため、データ生成装置１０は、上下額のレンダリング画像を生成する際に、咬合状態のＩＯＳデータを追加で用いてもよい。

＜実施の形態５＞
本開示の実施の形態５に係るデータ生成装置１０について、図２０を参照しながら詳細に説明する。なお、実施の形態５に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

図２０は、実施の形態５に係るデータ生成装置１０が実行するデータ生成処理の一例を説明するためのフローチャートである。図２０に示す実施の形態５においては、実施の形態４に係るデータ生成装置１０と同様に、データ生成システム１が図示しないＣＴ撮像装置を備える。さらに、実施の形態５においては、データ生成システム１が図示しないフェイシャルデータ測定装置を備える。ユーザは、フェイシャルデータ測定装置を用いることで、対象者の顔の表面の形状を示す三次元データを得ることができる。なお、以下では、ＣＴ撮像装置によって取得された三次元の体積データを「ＣＴデータ」とも称し、フェイシャルデータ測定装置によって取得された顔の表面の形状を示す三次元データを「ＦＳデータ」とも称する。なお、ＣＴデータおよびＦＳデータをまとめて「三次元データ」と称することもできる。

実施の形態５に係るデータ生成処理では、ＣＴ撮像装置によって取得された対象者の上下歯列を含む上顎および下顎のＣＴデータに加えて、フェイシャルデータ測定装置によって取得された対象者の顔の表面の形状を示すＦＳデータが入力される。

図２０に示すように、データ生成装置１０は、ＣＴ撮像装置から入力されたＣＴデータと、フェイシャルデータ測定装置から入力されたＦＳデータを合成して合成データを生成する（Ｓ７１）。データ生成装置１０によって生成された合成データは、ＣＴデータによって特定可能な対象者の上顎および下顎における硬組織部分（骨、歯牙など）の表面の形状と、ＦＳデータによって特定可能な対象者の上顎および下顎を含む顔の軟組織部分（皮膚など）の表面の形状とを表すことができる。

データ生成装置１０は、合成データのうちのＣＴデータに基づき、顎骨および上下歯列に対して歯科治療のシミュレーションを行う（Ｓ７２）。データ生成装置１０は、ＣＴデータを用いた顎骨および上下歯列に対する歯科治療に合わせて、合成データのうちのＦＳデータを変更する（Ｓ７３）。すなわち、データ生成装置１０は、ＣＴデータを変更することで、顎骨および上下歯列に対して歯科治療のシミュレーションを行い、ＣＴデータの変更によって上顎および下顎における硬組織部分（骨、歯牙など）の表面の形状が変更されたことに合わせてＦＳデータを変更することで、軟組織部分（皮膚、歯肉など）を変形させる。

データ生成装置１０は、歯科治療のシミュレーションを反映した後のＣＴデータおよびＦＳデータを含む合成データに基づき、多方向から見た二次元の上下歯列を含む口腔部分の複数のレンダリング画像を生成する。データ生成装置１０は、上述のようにしてＣＴデータおよびＦＳデータを用いてレンダリング画像に基づき多方向から見た二次元の上下歯列を含む複数のレンダリング画像を生成しながら、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを大まかにパターンマッチングさせるとともに（Ｓ７４）、さらに、Ｓ５で抽出した各フレーム画像に含まれる上下歯列画像と、複数のレンダリング画像の各々に含まれる上下歯列画像とを詳細にパターンマッチングさせる（Ｓ７５）。

その後、データ生成装置１０は、Ｓ７４およびＳ７５のパターンマッチングによって抽出した各フレーム画像に含まれる上下歯列画像の水平方向および垂直方向におけるカメラ２０の視点に基づき、各フレーム画像に含まれる上下歯列画像に対応する各レンダリング画像を生成する（Ｓ７６）。

データ生成装置１０は、Ｓ５で各フレーム画像から抽出した上下歯列を含む口腔部分に対応する画像を、生成した各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの各々から切り出す（Ｓ７７）。各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは、ＣＴデータおよびＦＳデータに基づき生成された画像であるため、各レンダリング画像Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの各々から切り出されたシミュレーション画像は、対象者の上下歯列および顎骨を変形させた後の軟組織部分を含む。

データ生成装置１０は、各フレーム画像のうちの変換対象である顔貌部分の画像を、Ｓ７７でレンダリング画像から切り出した上下歯列を含む顔貌部分の画像に変換し、変換した顔貌部分と変換していない他の顔貌部分との融合部を滑らかにつなげるように処理することによって、シミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成して、記憶装置１２に記憶する（Ｓ７８）。

データ生成装置１０は、記憶装置１２に記憶したシミュレーション動画データに基づき、笑顔のシミュレーション結果を生成し、生成したシミュレーション結果を出力する（Ｓ７９）。

以上のように、実施の形態５に係るデータ生成装置１０は、ＣＴ撮像装置によって取得されたＣＴデータに限らず、フェイシャルデータ測定装置によって取得されたＦＳデータも利用して、二次元の上下歯列を含む口腔部分の形状および位置などをより正確に表したレンダリング画像を生成し、レンダリング画像から、対象者の上下歯列および顎骨を変形させた後の軟組織部分を含むシミュレーション画像を切り出すことができる。これにより、データ生成装置１０は、カメラ２０によって取得された対象者の動画データとレンダリング画像とに基づき、上下歯列に加えて顎骨も変形させたシミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを精度よく生成することができる。

なお、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、データ生成装置１０に入力される三次元データとして、ＣＴ撮像装置によって取得されたＣＴデータおよびフェイシャルデータ測定装置によって取得されたＦＳデータを採用することができる。この場合、実施の形態２および実施の形態３のいずれに係るデータ生成装置１０においても、図２０に示す実施の形態５に係るデータ生成処理のＳ７１～Ｓ７６の処理を実行して、レンダリング画像を生成すればよい。

＜実施の形態６＞
本開示の実施の形態６に係るデータ生成装置１０について、図２１を参照しながら詳細に説明する。なお、実施の形態６に係るデータ生成装置１０においては、実施の形態１に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態１に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

実施の形態６に係るデータ生成装置１０においては、カメラ２０が撮影対象（たとえば、対象者の顔）を複数視点から動画撮影するように構成されている。たとえば、図２１は、実施の形態６に係るデータ生成システム１およびデータ生成装置１０の適用例を示す図である。図２１に示すように、実施の形態６に係るデータ生成システム１は、対象者の略前方（たとえば、対象者の顔の正面）から対象者の顔を撮影するカメラ２０Ａと、対象者の略側方（たとえば、対象者の顔の側面）から対象者の顔を撮影するカメラ２０Ｂとを備える。

データ生成装置１０は、カメラ２０Ａによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像と、カメラ２０Ｂによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像とを利用して、パターンマッチング（たとえば図３のＳ７，Ｓ８の処理）を実行してもよい。このとき、データ生成装置１０は、カメラ２０Ａによって取得された動画データと、カメラ２０Ｂによって取得された動画データ像とのうち、パターンマッチングの精度が高い方の動画データを優先的にパターンマッチングに用いてもよい。

たとえば、カメラ２０Ａは、対象者の顔の正面から対象者の顔を撮影しており、各フレーム画像から抽出される上下歯列の水平方向における形状が正確に表れ易い。このため、データ生成装置１０は、カメラ２０Ａによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像を優先的に用いてＳ８の水平方向におけるパターンマッチングを実行してもよい。

また、カメラ２０Ｂは、対象者の顔の側面から対象者の顔を撮影しており、各フレーム画像から抽出される上下歯列の垂直方向における形状が正確に表れ易い。このため、データ生成装置１０は、カメラ２０Ｂによって取得された動画データを構成する各フレーム画像から抽出した上下歯列画像を優先的に用いて垂直方向におけるパターンマッチングを実行してもよい。

以上のように、実施の形態６に係るデータ生成装置１０は、複数視点から撮影対象を撮影することによって得られた動画データを用いて、シミュレーション結果が反映された対象者が笑顔を作るようなシミュレーション動画データを精度よく生成することができる。

なお、カメラは、対象者の略前方または対象者の略側方に配置されていることに限らず、対象者の略斜め前方に配置されてもよい。すなわち、データ生成システム１は、対象者の略前方、対象者の略斜め前方、および対象者の略側方のうちのいずれか１つの位置に配置された１つのカメラを備えていてもよいし、対象者の略前方、対象者の略斜め前方、および対象者の略側方のうちのいずれか２つ以上の位置に配置された複数のカメラを備えていてもよい。データ生成装置１０は、複数の視点から同時に対象者を撮影する複数のカメラから動画データを取得し、複数のカメラから取得した動画データを用いて、パターンマッチング（たとえば図３のＳ７，Ｓ８の処理）を実行してもよい。

＜実施の形態７＞
本開示の実施の形態７に係るデータ生成装置１０について、図２２および図２３を参照しながら詳細に説明する。なお、実施の形態７に係るデータ生成装置１０においては、実施の形態３に係るデータ生成装置１０と異なる部分のみを説明し、実施の形態３に係るデータ生成装置１０と同じ部分については、同一符号を付してその説明は繰り返さない。

実施の形態７に係るデータ生成装置１０は、各フレーム画像のうちの上下歯列画像が示された部分を、レンダリング画像から切り出した上下歯列画像に対応する部分に変換する際に、ＡＩを用いてより自然に、変換した上下歯列の部分と変換していない上下歯列以外の部分との融合部を滑らかにつなげ、かつ、顔の明るさや陰影に応じて、歯列の明るさや陰影を付すように処理する。

図２２は、実施の形態７に係るデータ生成装置における教師あり学習の入力および出力を説明するための図である。図２２に示すように、機械学習の問題データである入力１としては、上下歯列画像をマスキングしたフレーム画像、上下歯列画像に対応するレンダリング画像、および上下歯列の位置を特定するための画像が用いられる。

たとえば、図２３は、実施の形態７に係るデータ生成装置における教師あり学習の入力データの一例を示す図である。図２３（Ａ）に示すように、動画データに含まれるフレーム画像に基づき、上下歯列画像をマスキングしたフレーム画像が生成され、入力１として用いられる。図２３（Ｂ）に示すように、シミュレーション結果が反映された上下歯列の三次元データに基づき、フレーム画像の上下歯列画像に対応する部分のみを抽出したレンダリング画像が生成され、入力１として用いられる。図２３（Ｃ）に示すように、動画データに含まれるフレーム画像に基づき、フレーム画像の中における上下歯列画像の位置を特定するための画像が生成され、入力１として用いられる。

図２２に示すように、機械学習の正解データである入力２としては、動画データに含まれる上下歯列画像を含むフレーム画像が用いられる。すなわち、入力２としては、シミュレーション前ではあるが自然な状態の上下歯列が映し出されたフレーム画像が用いられる。データ生成装置１０が入力１に基づき推定する出力としては、シミュレーション後の上下歯列画像をシミュレーション前の上下歯列画像のように自然な陰影や色合いをもつ画像に変換したフレーム画像の推定結果が用いられる。

データ生成装置１０は、学習フェーズにおいて、図２３（Ａ）に示す上下歯列画像をマスキングしたフレーム画像、図２３（Ｂ）に示す上下歯列画像に対応するレンダリング画像、および図２３（Ｃ）に示す上下歯列の位置を特定するための画像（入力１）に基づき、シミュレーション後の上下歯列画像をシミュレーション前の上下歯列画像に変換したフレーム画像の推定結果、すなわち、図２３（Ａ）に示す画像のマスキング部分に図２３（Ｂ）に示す上下歯列画像を自然な状態で合成したフレーム画像（出力）を推定し、推定したフレーム画像（出力）と、シミュレーション前ではあるが自然な状態の上下歯列が映し出されたフレーム画像（入力２）とを比較し、両者が一致すれば推定モデル１３０に含まれるパラメータを更新しない一方で、両者が一致しなければ両者が一致するように推定モデル１３０に含まれるパラメータを更新することで、推定モデル１３０を最適化する。このようにして機械学習された学習済みの推定モデル１３０は、データ生成プログラム１００として記憶装置１２に記憶される。データ生成装置１０は、活用フェーズにおいて、動画データに含まれる上下歯列画像を含むフレーム画像と、シミュレーション結果が反映された上下歯列のレンダリング画像とに基づき、上下歯列画像を自然な状態で合成したフレーム画像を推定する。このようにして推定されたシミュレーション後の上下歯列を含むフレーム画像は、変換した上下歯列の部分と変換していない上下歯列以外の部分との融合部が滑らかにつなげられ、かつ、顔の明るさや陰影に応じて、歯列の明るさや陰影が付されているとともに、シミュレーション結果が反映された上下歯列の部分は上下歯列の表面の凹凸を自然な状態で表現するように明るさも調整されている。なお、上述したようなフレーム画像（出力）とフレーム画像（入力２）との間の一致判定は、画像の自然さの一致度合を判定するものであってもよい。

＜変形例＞
本開示は、上述した実施の形態に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

データ生成装置１０において、カメラ２０が撮影対象の三次元の位置座標を検出できる三次元カメラによって構成されていてもよい。たとえば、カメラ２０は、光（たとえば、赤外線）の反射を用いて撮影対象までの距離を測定することによって撮影対象の三次元の位置座標を検出可能なＴｏＦ（Time of Flight）方式の深度カメラ、または、複数台（たとえば、２台）のカメラが同じ空間を互いに異なる位置から撮影することによって撮影対象の三次元の位置座標を検出可能なステレオカメラなどで構成されている。すなわち、データ生成装置１０に入力される動画データは、撮影対象である対象者の上下歯列の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）である三次元データを含む。

データ生成装置１０は、クラウド型のサーバ装置であってもよい。すなわち、演算装置１１（演算部）は、クラウド型のサーバ装置としての機能を有していてもよい。たとえば、ユーザまたは対象者自身が、スマートフォンなどのユーザ端末を用いて対象者の顔を撮影し、対象者を撮影することによって得られる動画データと、対象者の上下歯列の三次元データとをクラウド型のデータ生成装置１０にアップロードして登録してもよい。そして、データ生成装置１０は、動画データのフレーム画像に含まれる上下歯列画像をレンダリング画像から切り出したシミュレーション後の上下歯列画像に変換してシミュレーション動画を生成してユーザ端末に配信することで、ユーザまたは対象者がシミュレーション動画をユーザ端末を用いて閲覧または保存することができるようにしてもよい。

データ生成装置１０は、シミュレーション結果が反映された三次元データに基づきレンダリング画像を生成する際、上下歯列の表面の凹凸に対応する上下歯列の深度に基づき複数の光源を用いた光的シミュレーションを行ってレンダリング画像を生成してもよい。このようにすれば、データ生成装置１０は、レンダリング画像で示される上下歯列の明るさが上下歯列の表面の凹凸に合わせて調整されるため、より自然に近いシミュレーション後の上下歯列をレンダリング画像で表すことができる。

図１３に示すように、シミュレーション動画データは、複数のフレーム画像Ｍａ，Ｍｂ，Ｍｃ，Ｍｄから構成されている。このため、データ生成装置１０は、シミュレーション動画データに基づき、シミュレーション結果が反映された対象者の顔を示す複数のフレーム画像Ｍａ，Ｍｂ，Ｍｃ，Ｍｄを生成し、ディスプレイ４０に表示させてもよい。

なお、上述した実施の形態１～７の各々に係るデータ生成システム１およびデータ生成装置１０は、互いの構成および機能を単独または組み合わせて備えていてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ データ生成システム、１０ データ生成装置、１１ 演算装置、１２ 記憶装置、１３ 動画データインターフェース、１４ 三次元データインターフェース、１５ ディスプレイインターフェース、１６ 周辺機器インターフェース、１７ メディア読取装置、１８ 通信装置、２０，２０Ａ，２０Ｂ カメラ、３０ 三次元スキャナ、４０ ディスプレイ、５１ キーボード、５２ マウス、６０ リムーバブルディスク、１００ データ生成プログラム、１１０ 学習用プログラム、１２０ 学習用データ、１３０ 推定モデル。

Claims (15)

1. 歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成装置であって、
   上下歯列のうちの一部の歯列が露出した状態で前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力される入力部と、
   前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、歯科治療の前記シミュレーション結果が反映された前記対象者の顔を示す前記シミュレーション動画データを生成する演算部とを備える、データ生成装置。
2. 前記演算部は、
   前記シミュレーション結果が反映された前記上下歯列の三次元データに基づき、前記複数のフレーム画像の各々に含まれる前記一部の歯列に対応する二次元の前記上下歯列を含む少なくとも１つのレンダリング画像を生成し、
   前記複数のフレーム画像の各々に含まれる前記シミュレーション結果が反映される前の前記一部の歯列の画像を、前記少なくとも１つのレンダリング画像に含まれる前記シミュレーション結果が反映された前記上下歯列の前記一部の歯列の画像に変換することで、前記シミュレーション動画データを生成する、請求項１に記載のデータ生成装置。
3. 前記演算部は、前記対象者の撮影中に前記入力部に前記動画データが入力されることに追従して前記シミュレーション動画データを生成する、請求項１または請求項２に記載のデータ生成装置。
4. 前記演算部は、前記少なくとも１つのレンダリング画像と、前記複数のフレーム画像とを含む入力データに基づき、推定モデルを用いて、前記複数のフレーム画像の各々に含まれる前記シミュレーション結果が反映される前の前記一部の歯列の画像を、前記少なくとも１つのレンダリング画像に含まれる前記シミュレーション結果が反映された前記上下歯列の前記一部の歯列の画像に変換する、請求項２に記載のデータ生成装置。
5. 前記演算部は、前記複数のフレーム画像の各々に含まれる前記シミュレーション結果が反映される前の前記一部の歯列の画像を、前記少なくとも１つのレンダリング画像に含まれる前記シミュレーション結果が反映された前記上下歯列の前記一部の歯列の画像に変換する際に、前記少なくとも１つのレンダリング画像において前記上下歯列に合わせて前記対象者の顎骨を変形させ、前記シミュレーション動画データにおいて前記変換される部分と前記変換されない部分との融合部を滑らかにつなげる、請求項２に記載のデータ生成装置。
6. 前記演算部は、前記上下歯列の深度に基づき複数の光源を用いた光的シミュレーションを行って前記少なくとも１つのレンダリング画像を生成する、請求項２に記載のデータ生成装置。
7. 前記演算部は、前記シミュレーション動画データに基づき、前記シミュレーション結果が反映された前記対象者の顔を示す複数のフレーム画像を生成する、請求項１または請求項２に記載のデータ生成装置。
8. 前記動画データは、単眼カメラ、ステレオカメラ、および深度カメラのうちの少なくとも１つを用いた撮影によって得られる動画データを含む、請求項１または請求項２に記載のデータ生成装置。
9. 前記演算部は、前記動画データを構成するフレーム画像を含む入力データに基づき、前記フレーム画像における前記一部の歯列の領域を推定するための推定モデルを用いて、前記入力データに基づき前記フレーム画像における前記一部の歯列の領域を推定する、請求項２に記載のデータ生成装置。
10. 前記演算部は、前記動画データを構成するフレーム画像に含まれる前記一部の歯列の形状と、前記上下歯列の三次元データとを含む入力データに基づき、前記フレーム画像に含まれる前記一部の歯列に対応するレンダリング画像を推定するための推定モデルを用いて、前記入力データに基づき前記一部の歯列に対応するレンダリング画像を推定する、請求項２に記載のデータ生成装置。
11. 前記入力部に入力される三次元データは、前記上下歯列の表面を示す点群の各々の位置情報を含む三次元データと、前記上下歯列をコンピュータ断層撮影することによって得られる三次元データと、前記対象者の顔の表面の形状を示す三次元データとのうちの少なくとも１つを含む、請求項１または請求項２に記載のデータ生成装置。
12. 前記入力部には、前記対象者を撮影したときに用いた光源の色温度が入力され、
    前記演算部は、前記色温度に基づき、前記シミュレーション動画データを生成する、請求項１または請求項２に記載のデータ生成装置。
13. 前記演算部は、クラウド型のサーバ装置としての機能を有する、請求項１または請求項２に記載のデータ生成装置。
14. コンピュータによる歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成方法であって、
    上下歯列のうちの一部の歯列が露出した状態で前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力されるステップと、
    前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、歯科治療の前記シミュレーション結果が反映された前記対象者の顔を示す前記シミュレーション動画データを生成するステップとを含む、データ生成方法。
15. 歯科治療のシミュレーション結果が反映された対象者の顔を示すシミュレーション動画データを生成するデータ生成プログラムであって、
    コンピュータに、
    上下歯列のうちの一部の歯列が露出した状態で前記対象者を撮影することによって得られる動画データと、前記対象者の前記上下歯列の三次元データとが入力されるステップと、
    前記動画データを構成する複数のフレーム画像の各々に含まれる前記一部の歯列と、前記上下歯列の三次元データとに基づき、歯科治療の前記シミュレーション結果が反映された前記対象者の顔を示す前記シミュレーション動画データを生成するステップとを実行させる、データ生成プログラム。
    

Images