JP7491755B2

JP7491755B2 - データ生成装置、検出装置、及びプログラム

Info

Publication number: JP7491755B2
Application number: JP2020120188A
Authority: JP
Inventors: 繁塩澤
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-07-13
Filing date: 2020-07-13
Publication date: 2024-05-28
Anticipated expiration: 2040-07-13
Also published as: JP2022017098A

Description

本発明は、データ生成装置、検出装置、及びプログラムに関する。

従来より、生物（身体）を撮像した撮像画像を用いた身体状態の状態を検査することが実施されている。例えば、ＣＴ画像、ＭＲＩ画像、又はＸ線画像等で身体を撮像した撮像画像を用いることにより、身体状態を検査することが実施されている。このように、画像を用いて検査を実施するシステムとして、画像を用いて歯肉炎を検査するシステムが提案されている（例えば、特許文献１参照）。

特開２０１９－３０５８５７号公報

特許文献１では、歯肉の領域の画像データに対して、ピクセルごとに歯肉炎計数に応じた色を付して表示することによって、歯肉炎の状態を表示することができる。このように画像データに基づいて機械的に状態を検査することができれば、検査を容易にすることができる点で好適である。

昨今では、検査の精度を向上すべく、学習モデルを用いて検査することも実施され始めている。そこで、学習モデルにおいて、さらに検査の精度を向上させることができれば好適である。
本発明は、このような点に鑑みてなされたものであり、学習モデルにおいて、精度を向上させることが可能なデータ生成装置、検出装置、及びプログラムを提供することを目的とする。

本発明は、検出対象を含む生物の所定範囲を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置であって、前記撮像画像を学習用画像として取得する学習用画像取得部と、人体に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部と、取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部と、を備え、前記教師データ生成部は、前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部と、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部と、クロップされた領域に含まれる前記検出対象を抽出する抽出部と、抽出された前記検出対象に対する前記教師データの生成を実行する実行部と、を有するデータ生成装置に関する。

また、データ生成装置は、前記教師データを用いて学習データを作成する学習モデル作成部をさらに備え、前記実行部は、異なる種類の前記検出対象ごとに前記教師データを生成し、前記学習モデル作成部は、異なる種類の前記検出対象ごとに学習モデルを作成するのが好ましい。

また、前記学習用画像取得部は、前記検出対象について弧状の枠線を用いて囲んだ前記学習用画像を取得し、前記抽出部は、前記枠線によって囲まれる前記検出対象を抽出するのが好ましい。

また、前記学習用画像は、歯部を撮像した画像であるのが好ましい。

また、本発明は、学習モデルを用いて、診断用画像から検出対象を検出する検出装置であって、前記診断用画像を取得する診断用画像取得部と、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部と、前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部と、前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部と、を備える検出装置に関する。

また、前記存在判断部は、前記学習モデルを作成するための教師データと対応する大きさ及び位置で前記診断用画像をクロップするのが好ましい。

また、検出装置は、前記検出対象の位置及び形状に基づいて、前記検出対象の種類を判断する種類特定部と、判断された前記検出対象の種類に対応する治療内容を特定する治療内容特定部と、をさらに備え、前記出力部は、特定された治療内容を前記輪郭とともに表示するのが好ましい。

また、前記種類特定部は、複数の前記検出対象を関連する種類と判断し、前記治療内容特定部は、判断された複数の前記検出対象の関連性から治療内容を特定するのが好ましい。

また、本発明は、検出対象を含む人体の所定範囲を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、前記撮像画像を学習用画像として取得する学習用画像取得部、前記人体に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部、取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部、として機能させ、前記教師データ生成部は、前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部、クロップされた領域に含まれる前記検出対象を抽出する抽出部、として機能させるプログラムに関する。

また、本発明は、学習モデルを用いて、診断用画像から7検出対象を検出する検出装置としてコンピュータを機能させるプログラムであって、前記コンピュータを、前記診断用画像を取得する診断用画像取得部、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部、前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部、前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部、として機能させるプログラムに関する。

本発明は、このような点に鑑みてなされたものであり、学習モデルにおいて、精度を向上させることが可能なデータ生成装置、検出装置、及びプログラムを提供することができる。

本発明の第１実施形態に係るデータ生成装置によって作成される教師データを用いて検出装置によって検知される病変位置及び種類の一例を示す画面図である。第１実施形態のデータ生成装置の構成を示すブロック図である。第１実施形態のデータ生成装置の画像加工部によるクロップ位置を示す概略図である。第１実施形態のデータ生成装置によって教師データ生成の対象となる病変及び治療痕の一例を示す概略図である。第１実施形態のデータ生成装置によって生成される教師データを用いて学習モデルを形成する例を示す概略図である。本発明の第２実施形態の検出装置の構成を示すブロック図である。第２実施形態の検出装置の存在判断部の検出対象による検出動作を示すイメージ図である。第２実施形態の検出装置の種類判断部によって判断される検出対象の種類を示すイメージ図である。第２実施形態の検出装置の動作の流れを示すフローチャートである。本発明の第３実施形態に係るデータ生成装置に係る学習用画像取得部が取得する撮像画像を示す概略図である。第３実施形態の検出装置によって示される画面図に含まれる検出対象について、複数の点を用いて囲繞した画面を示す拡大図である。

以下、本発明の各実施形態に係るデータ生成装置１、検出装置２、及びプログラムについて、図１から図１１を参照して説明する。
まず、データ生成装置１及び検出装置２の概要について説明する。

データ生成装置１は、例えば、検出対象を含む生物の所定範囲を撮像した撮像画像から、検出対象に関する学習モデルの教師データを生成する装置である。具体的には、データ生成装置１は、所定範囲を撮像した撮像画像から有所見部（病変及び治療痕）を検出するために、病変及び治療痕の教師データを生成する装置である。すなわち、データ生成装置１は、教師あり学習のための教師データを生成する装置である。ここで、データ生成装置１は、取得した撮像画像を学習用画像（以下、学習データともいう）として用いる。

以下の実施形態において、データ生成装置１は、人体の歯部に対する教師データを生成する装置を例に説明される。人体の歯部において、病変及び治療痕は、その種類によって、歯本体及び歯茎に対してある程度限定された位置に発生する。そこで、以下の実施形態に係るデータ生成装置１は、例えば、病変及び治療痕ごとに生成される複数の学習モデルに対して、それぞれの教師データを生成する。なお、以下の実施形態において、「歯部」とは、歯本体及び歯茎等の顔面頭蓋領域をいう。なお、以下の実施形態において、データ生成装置１は、一例として、学習データについて、一定の大きさの複数の領域に１つの学習データをクロップすることで、教師データを生成するものである。

検出装置２は、上記の教師データから作成された学習モデルを用いて、診断用画像から検出対象（病変及び治療痕）を検出する装置である。検出装置２は、例えば、図１に示すように、診断用画像に対して検出された病変及び治療痕を重畳して表示する。これにより、検出装置２は、病変及び治療痕の形状を直感的に表示するものである。また、検出装置２は、検出対象に対する治療方法について、検出対象の程度に応じて提示可能な装置である。なお、以下の実施形態において、検出装置２は、一例として、教師データを生成する際と対応する大きさ及び位置の複数の領域に１つの診断用画像をクロップすることで、検出対象を検出するものである。このように、データ生成装置１及び検出装置２は、対応する大きさ及び位置で画像をクロップすることにより、検出対象を検出する精度を向上する。また、データ生成装置１及び検出装置２は、クロップによる検出対象の分断を抑制することにより、検出対象を検出する精度をさらに向上するものである。なお、「対応する」とは、同じ大きさ及び位置に限定されることが意味されるものではない。例えば、「対応する」とは、検出精度を向上できることが可能であれば、同様の大きさ及び位置であってもよく、同様の方式でクロップ等の加工をするものであってもよい。また、分割数等についても対応する数であってよい。

［第１実施形態］
次に、本発明の第１実施形態に係るデータ生成装置１について、図１から図５を参照して説明する。
本実施形態に係るデータ生成装置１は、例えば、人体の歯部を撮像された画像と、検出対象の位置と、検出対象の種類とに応じて、検出対象を検出するための教師データを生成するものである。データ生成装置１は、図２に示すように、学習用画像取得部１１と、詳細情報取得部１２と、教師データ生成部１３と、学習モデル作成部１４と、を備える。

学習用画像取得部１１は、例えば、ＣＰＵが動作することにより実現される。学習用画像取得部１１は、教師データの元となる学習用画像である撮像画像を取得する。学習用画像取得部１１は、例えば、検出対象を含む生物の所定を撮像した撮像画像を取得する。本実施形態において、学習用画像取得部１１は、例えば、人体の歯部をパノラマ撮像した撮像画像を取得する。また、本実施形態において、学習用画像取得部１１は、歯部全体をレントゲン撮像したパノラマ画像を撮像画像として取得する。また、学習用画像取得部１１は、歯部全体を撮像した可視光画像を撮像画像として取得してもよい。また、学習用画像取得部１１は、検出対象を疑似的（模式的）に作成した疑似画像を撮像画像として取得してもよい。

詳細情報取得部１２は、例えば、ＣＰＵが動作することにより実現される。詳細情報取得部１２は、人体に対する検出対象の相対位置及びラベルに関する情報を詳細情報として取得する。詳細情報取得部１２は、例えば、歯部に対する病変及び治療痕の位置を相対位置として取得する。具体的には、詳細情報取得部１２は、歯本体を識別する情報と、識別された歯本体に対する病変又は治療痕の位置とを相対位置として取得する。また、詳細情報取得部１２は、例えば、病変又は治療痕の種類、大きさ、及び形状等をラベルとして取得する。

教師データ生成部１３は、例えば、ＣＰＵが動作することにより実現される。教師データ生成部１３は、取得された撮像画像と詳細情報とに基づいて、教師データを生成する。教師データ生成部１３は、検出対象ごとに教師データを生成する。教師データ生成部１３は、例えば、う蝕、根尖病巣、及び嚢胞等の病変及び治療痕ごとに教師データを生成する。また、教師データ生成部１３は、例えば、対応する歯本体の位置に応じて教師データを生成する。教師データ生成部１３は、位置特定部１３１と、画像加工部１３２と、抽出部１３３と、実行部１３４と、を備える。

位置特定部１３１は、詳細情報に基づいて、撮像画像に含まれる検出対象の位置を特定する。位置特定部１３１は、例えば、取得された撮像画像に含まれる歯本体のそれぞれの位置と、撮像画像における検出対象の位置とを特定する。位置特定部１３１は、撮像画像に含まれるそれぞれの歯本体の領域を抽出することにより、歯本体の位置を特定する。位置特定部１３１は、特定された歯本体の位置に対して、詳細情報に含まれる検出対象の相対位置から、撮像画像における検出対象の位置を特定する。

画像加工部１３２は、撮像画像を加工して加工画像を生成する。画像加工部１３２は、例えば、撮像画像に対して、リサイズ、クロップ、色補正、明るさ補正、回転、ノイズ付与、歪み合成等の加工を実施する。これにより、画像加工部１３２は、教師データを生成するのに適した画像を生成する。画像加工部１３２は、画像を加工することにより、病変のサイズの違いへの対応、検出対象の位置の限定等の検出対象のモデルの多様化を実施する。本実施形態において、画像加工部１３２は、位置特定部１３１によって特定される検出対象の位置に基づいて撮像画像をクロップする。画像加工部１３２は、例えば、撮像画像を複数の領域にクロップする。具体的には、画像加工部１３２は、例えば図３に示すように、一部の領域を他の領域重畳させた複数の領域に、特定された位置を含めてクロップする。画像加工部１３２は、例えば、歯並びに沿う方向に沿って３つの領域（領域Ａ、領域Ｂ、領域Ｃ）を順にクロップする場合に、領域Ａ及び領域Ｂ、並びに領域Ｂ及び領域Ｃの一部を重ねてクロップする。画像加工部１３２は、領域Ａに領域Ｂの一部が含まれるようにクロップする。画像加工部１３２は、領域Ｂに領域Ａ及び領域Ｃの一部が含まれるようにクロップする。画像加工部１３２は、領域Ｃに領域Ｂの一部が含まれるようにクロップする。

抽出部１３３は、画像加工部１３２によって加工された加工画像から検出対象を抽出する。検出部は、例えば、詳細情報に含まれる検出対象の位置、形状、及び大きさ等の情報に基づいて、加工画像に含まれる実際の検出対象の位置及び形状等を抽出する。本実施形態において、抽出部１３３は、クロップされた領域に含まれる検出対象を抽出する。具体的には、抽出部１３３は、複数の領域にクロップされた撮像画像から検出対象を抽出する。

実行部１３４は、抽出された検出対象に対する教師データの生成を実行する。実行部１３４は、例えば、抽出された検出対象と、詳細情報とに基づいて教師データを生成する。すなわち、実行部１３４は、撮像画像における実際の検出対象を特定する像と、歯本体に対する位置及び種類を含む詳細情報とに基づいて教師データを生成する。また、実行部１３４は、異なる種類の検出対象ごとに教師データを生成する。

学習モデル作成部１４は、生成された教師データから学習モデルを作成する。学習モデル作成部１４は、例えば、図４に示すような病変及び治療痕を検出対象とする学習モデルを作成する。また、学習モデル作成部１４は、例えば、異なる種類の検出対象の教師データごとに学習モデルを作成する。具体的には、学習モデル作成部１４は、病変及び治療痕の種類ごとに複数の学習モデルを作成する。また、学習モデル作成部１４は、検出対象の位置ごとに複数の学習モデルを作成する。また、学習モデル作成部１４は、学習モデル作成のアルゴリズムの違いごとに複数の学習モデルを作成する。学習モデル作成部１４は、例えば、図５に示すように、物体検出及びセグメンテーションの複数のアルゴリズムによって構成される学習プログラムによって、教師データから複数の学習モデルを作成する。

次に、データ生成装置１の動作の流れを説明する。
まず、学習用画像取得部１１は、撮像画像を取得する。次いで、詳細情報取得部１２は、詳細情報を取得する。

次いで、位置特定部１３１は、撮像画像における歯本体の位置を特定する。また、位置特定部１３１は、特定された歯本体に対する相対位置から、撮像画像上の検出対象の位置を特定する。

次いで、画像加工部１３２は、撮像画像を加工する。本実施形態において、画像加工部１３２は、検出対象を含む位置を複数の領域にクロップする。次いで、抽出部１３３は、加工後の加工画像から検出対象の実際の位置及び形状を抽出する。次いで、実行部１３４は、抽出された検出対象の形状及び位置、並びに検出対象の種類を用いて教師データを生成する。次いで、学習モデル作成部１４は、生成された教師データを用いて複数の学習モデルを作成する。

次に、プログラムについて説明する。
データ生成装置１に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上の第１実施形態に係るデータ生成装置１及びプログラムによれば、以下の効果を奏する。
（１）検出対象を含む生物の所定範囲を撮像した撮像画像から、検出対象に関する学習モデルの教師データを生成するデータ生成装置１であって、撮像画像を学習用画像として取得する学習用画像取得部１１と、人体に対する検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部１２と、取得された撮像画像と詳細情報とに基づいて、教師データを生成する教師データ生成部１３と、を備え、教師データ生成部１３は、詳細情報に基づいて、撮像画像における検出対象の位置を特定する位置特定部１３１と、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部１３２と、クロップされた領域に含まれる検出対象を抽出する抽出部１３３と、抽出された検出対象に対する教師データの生成を実行する実行部１３４と、を有する。これにより、画像加工部１３２は、歯本体との相対位置で示される検出対象の位置について、検出対象を含むと思われる領域をクロップする。画像加工部１３２は、複数の領域をクロップするので、単に１つの領域をクロップする場合に比べ、検出対象を限定する領域をより細かくクロップすることができる。特に、画像加工部１３２は、一部の領域を重ねて複数の領域をクロップするので、１つの領域の境界位置に検出対象が位置したとしても、他の重なる領域で検出対象全体をクロップすることができる。したがって、精度のよい教師データを生成することができるので、学習モデルにおける精度を向上することができる。

（２）データ生成装置１は、教師データを用いて学習データを作成する学習モデル作成部１４をさらに備え、実行部１３４は、異なる種類の検出対象ごとに教師データを生成し、学習モデル作成部１４は、異なる種類の検出対象ごとに学習モデルを作成する。これにより、原因及び形状の異なる病変又は治療痕について、それぞれの教師データを生成することができる。また、検出対象に応じて、複数の学習モデルを生成することができる。したがって、全てを１つの学習モデルで判断する場合に比べ、学習モデルの精度をより向上することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る検出装置２及びプログラムについて、図６から図９を参照して説明する。第２実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
第２実施形態に係る検出装置２は、第１実施形態のデータ生成装置１によって作成される学習モデルを用いて、診断用画像から検出対象を検出する装置である。検出装置２は、上記の教師データを用いて学習した学習モデルを用いることで、検出対象を精度よく検出することを課題とする。また、検出装置２は、検出された検出対象の種類に応じて治療方針を容易に提供することを課題とする。

第２実施形態の検出装置２は、例えば、データ生成装置１とは別のサーバ等として構成される。第２実施形態の検出装置２は、図６に示すように、学習モデル格納部２１と、診断用画像取得部２２と、存在判断部２３と、形状特定部２４と、種類特定部２５と、治療内容格納部２６と、治療内容特定部２７と、出力部２８と、を備える。

学習モデル格納部２１は、例えば、ハードディスク等の記録装置である。学習モデル格納部２１は、第１実施形態において作成された学習モデルを格納する。本実施形態において、学習モデル格納部２１は、検出対象の種類に応じて複数の学習モデルを格納する。具体的には、学習モデル格納部２１は、検出対象（病変及び治療痕）の種類に応じて複数の学習モデルを格納する。

診断用画像取得部２２は、例えば、ＣＰＵが動作することにより実現される。診断用画像取得部２２は、診断用画像を取得する。診断用画像取得部２２は、例えば、所定の患者の歯部を撮像した画像を診断用画像として取得する。本実施形態において、診断用画像取得部２２は、患者の歯部をレントゲン撮像したパノラマ画像を診断用画像として取得する。

存在判断部２３は、例えば、ＣＰＵが動作することにより実現される。存在判断部２３は、取得した診断用画像と学習モデルとを比較して、診断用画像に含まれる検出対象の有無を判断する。存在判断部２３は、例えば、診断用画像と、複数の学習モデルとを比較して、検出対象の有無を判断する。存在判断部２３は、例えば、図７に示すように、診断用画像に対して複数の学習モデルによる画像評価を実行する。そして、存在判断部２３は、診断用画像に対して複数の学習モデルによって検出される検出対象について、検出対象有りと判断する。また、存在判断部２３は、複数の学習モデルによって、検出対象の位置を判断する。存在判断部２３は、検出対象の有無の判断にあたり、予め診断用画像に含まれる歯本体の位置を特定する。また、存在判断部２３は、検出対象を抽出するにあたり、診断用画像について、学習データにおけるクロップと同様の大きさ及び位置で複数の領域にクロップする。

形状特定部２４は、例えば、ＣＰＵが動作することにより実現される。形状特定部２４は、検出対象が存在する場合に、検出対象の輪郭を特定する。形状特定部２４は、検出対象の位置（領域）に含まれる検出対象について、学習モデルを用いて輪郭を特定する。

種類特定部２５は、例えば、ＣＰＵが動作することにより実現される。種類特定部２５は、検出対象の位置及び形状に基づいて、検出対象の種類を判断する。種類特定部２５は、例えば、検出対象について、図８に示すように、病変の種類について特定する。また、種類特定部２５は、複数の検出対象を関連する種類と判断する。種類特定部２５は、例えば、複数の検出対象が存在する場合に、複数の検出対象の関連性を判断する。具体的には、種類特定部２５は、治療痕と、治療痕と同じ歯本体の歯茎に存在する嚢胞について、関連性有りと判断する。また、種類特定部２５は、例えば、図８に示すように、治療痕（歯根内部の薬剤）と、歯根外周に存在する空間の存在とを認識することで、根尖病巣であると判断する。種類特定部２５は、例えば、学習モデルにおける検出対象及びラベルと、診断用画像に含まれる検出対象との類似性を判断することで、診断用画像に含まれる検出対象の種類を判断する。

治療内容格納部２６は、例えば、ハードディスク等の記録媒体である。治療内容格納部２６は、検出対象の種類に対応する治療内容を格納する。治療内容格納部２６は、例えば、過去の実際の治療データや、一般的な治療方針のデータを格納する。

治療内容特定部２７は、例えば、ＣＰＵが動作することにより実現される。治療内容特定部２７は、判断された検出対象の種類に対応する治療内容を特定する。また、治療内容特定部２７は、判断された複数の検出対象の関連性から治療内容を特定する。治療内容特定部２７は、例えば図８に示す病変について、う蝕の治療と、根尖病巣の治療とを治療内容として特定する。また、治療内容特定部２７は、他の選択肢として、抜歯及び根尖病巣治療後にインプラントにすることを治療内容として特定する。治療内容特定部２７は、例えば、検出対象の種類と、治療内容格納部２６に格納されている治療データ又は治療方針のデータとに基づいて、複数種類の治療内容を特定する。

出力部２８は、例えば、ＣＰＵが動作することにより実現される。出力部２８は、診断用画像に、特定された輪郭の検出対象を示す標示を重畳して出力する。出力部２８は、例えば、図１に示すように、検出対象の種類ごとに、異なる色の標示を検出対象として重畳する。また、出力部２８は、検出対象の進行度、緊急性、及び治療優先度に応じて、色の濃さを変更して出力（表示）する。また、出力部２８は、特定された治療内容を出力する。出力部２８は、外部からの検出対象の選択入力に応じて、治療内容を出力する。

次に、検出装置２の動作の流れについて、図９を参照して説明する。
まず、診断用画像取得部２２は、診断用画像を取得する（ステップＳ１）。次いで、存在判断部２３は、検出対象の存在の有無を判断する（ステップＳ２）。検出対象が存在する場合（ステップＳ３：ＹＥＳ）、存在判断部２３は、検出対象の位置を特定する。そして、処理は、ステップＳ４に進む。一方、検出対象が存在しない場合（ステップＳ３：ＮＯ）、本フローによる処理は、終了する。

ステップＳ４において、形状特定部２４は、検出対象の形状を特定する。次いで、種類特定部２５は、検出対象の種類を特定する（ステップＳ５）。治療内容特定部２７は、検出対象に対する治療方針を特定する（ステップＳ６）。

次いで、他の検出対象があるか否かが判断される（ステップＳ７）。検出対象が無い場合（ステップＳ７：ＹＥＳ）、本フローの処理は終了する。一方、検出対象が他に存在する場合（ステップＳ８：ＮＯ）、処理は、ステップＳ４に戻る。

次に、プログラムについて説明する。
検出装置２に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

以上の第２実施形態に係る検出装置２及びプログラムによれば、以下の効果を奏する。
（３）学習モデルを用いて、診断用画像から検出対象を検出する検出装置２であって、診断用画像を取得する診断用画像取得部２２と、一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した診断用画像と学習モデルとを比較して、診断用画像に含まれる検出対象の有無を判断する存在判断部２３と、検出対象が存在する場合に、検出対象の輪郭を特定する形状特定部２４と、診断用画像に、特定された輪郭の検出対象を示す標示を重畳して出力する出力部２８と、を備える。これにより、診断用画像に対して検出対象の位置及び形状をより分かりやすく出力することができる。

（４）検出装置２は、検出対象の位置及び形状に基づいて、検出対象の種類を判断する種類特定部２５と、判断された検出対象の種類に対応する治療内容を特定する治療内容特定部２７と、をさらに備え、出力部２８は、特定された治療内容を輪郭とともに出力する。これにより、検出対象とともに治療内容を示すことができるので、検出対象の状況に沿ってより分かりやすく出力することができる。

（５）種類特定部２５は、複数の検出対象を関連する種類と判断し、治療内容特定部２７は、判断された複数の検出対象の関連性から治療内容を特定する。これにより、複数の検出対象の関連性を判断した上で、関連性に応じて治療内容を提案することができる。したがって、より精度の高い治療内容を提案することができる。

（６）存在判断部２３は、学習モデルを作成するための教師データと同様の大きさ及び位置で前記診断用画像をクロップする。これにより、教師データと同様の大きさ及び位置をクロップした診断用画像について、検出対象の存在を判断することができる。したがって、検出精度を向上することができる。

［第３実施形態］
次に本発明の第３実施形態に係るデータ生成装置１及びプログラムについて、図１０及び図１１を参照して説明する。第３実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
第３実施形態に係るデータ生成装置１は、検出装置２の出力部２８によって出力された診断用画像に検出されなかった検出対象が含まれる場合に、検出対象を示す学習データとして、出力された画像を用いる点で、第１及び第２実施形態と異なる。具体的には、第３実施形態に係るデータ生成装置１は、新たな検出対象の位置を枠線で示した撮像画像（診断用画像）と、詳細情報とを新たに取得することで、学習データに反映するものである。また、第３実施形態に係るデータ生成装置１は、検出装置２によって特定された検出対象の種類について、診断用画像とともに、異なる種類として登録することが可能となっている点で、第１及び第２実施形態と異なる。すなわち、第３実施形態に係るデータ生成装置１は、新たな学習データとして、特定された内容を修正するデータを取得可能な点で第１及び第２実施形態と異なる。また、第３実施形態に係るデータ生成装置１は、例えば、う蝕の程度について、Ｃ２をＣ３とする訂正を登録することが可能となっている点で、第１及び第２実施形態と異なる。

第３実施形態に係るデータ生成装置１は、学習用画像取得部１１がさらに、図１０及び図１１に示すように、検出対象について、弧状の枠線を用いて囲まれた撮像画像を取得する点で、第１実施形態と異なる。また、第３実施形態に係るデータ生成装置１は、抽出部１３３がさらに、枠線によって囲まれる検出対象を抽出する点で第１実施形態と異なる。なお、本実施形態において、弧状は、図１０及び図１１に示すように、複数の点（プロット）と、点を結んだ線とによって構成される形状を含む。弧状は、例えば、三角形又は五角形以上の多角形を含む。また、第３実施形態に係るデータ生成装置１は、詳細情報取得部１２がさらに、検出装置２によって特定された検出対象の種類を修正した内容をラベルとして取得する点で、第１及び第２実施形態と異なる。

以上の第３実施形態に係るデータ生成装置１によれば、以下の効果を奏する。
（７）学習用画像取得部１１は、検出対象について、弧状の枠線を用いて囲まれた撮像画像を取得し、抽出部１３３は、枠線によって囲まれる検出対象を抽出する。これにより、検出装置２によって検出されなかった検出対象について、学習するための学習データとしてデータ生成装置１に提供することができる。したがって、より検出精度を向上可能な学習データを提供することができる。

以上、本発明のデータ生成装置、検出装置、及びプログラムの好ましい各実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記第１実施形態において、存在判断部２３は、調整可能な確度に応じて検出対象を検出するようにしてもよい。存在判断部２３は、例えば、確度を高く設定することにより、病変の可能性のより高い検出対象について存在を判断してもよい。存在判断部２３は、例えば、複数の学習モデルのそれぞれによって検出対象と判断された割合に応じて確度に応じた判断を実施してもよい。

また、上記第２実施形態において、出力部２８は、検出対象の位置、形状、及び種類について、表示可能に表示するだけでなく、カルテのようにデータとして外部に出力するようにしてもよい。例えば、出力部２８は、カルテのように印刷物として外部に出力するようにしてもよい。

また、上記各実施形態において、学習用画像は、レントゲン画像に限定されず、ＭＲＩ画像、ＣＴ画像、可視光画像、及び機械生成画像等であってもよい。また、データ生成装置及び検出装置の対象は、歯部に限定されず、人体の各部の他、哺乳類、鳥類、及び植物等の生体全体に適用可能である。

また、上記第３実施形態において、詳細情報取得部１２は、修正されたラベルについて、所定の閾値以上修正された場合にラベルとして採用してもよい。詳細情報取得部１２は、類似する検出対象について、種類を特定した結果に対する修正が一定数以上ある場合に、修正されたラベルを教師データの生成に採用するように取得してもよい。

また、上記第２実施形態において、学習モデル格納部２１は、検出対象の種類に応じて複数の学習モデルを格納するとしたが、これに制限されない。学習モデル格納部２１は、検出対象の位置に応じて複数の学習モデルを格納するようにしてもよい。学習モデル格納部２１は、例えば、認識される歯本体の種類及び歯茎の位置等に応じて学習モデルを格納するようにしてもよい。

１データ生成装置
２検出装置
１１学習用画像取得部
１２詳細情報取得部
１３教師データ生成部
１４学習モデル作成部
２２診断用画像取得部
２３存在判断部
２４形状特定部
２５種類特定部
２７治療内容特定部
２８出力部
１３１位置特定部
１３２画像加工部
１３３抽出部
１３４実行部

Claims

検出対象を含む歯部を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置であって、
前記撮像画像を学習用画像として取得する学習用画像取得部と、
前記歯部に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部と、
取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部と、
を備え、
前記教師データ生成部は、
前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部と、
歯並びに沿う方向に沿って、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部と、
クロップされた領域に含まれる前記検出対象を抽出する抽出部と、
抽出された前記検出対象に対する前記教師データの生成を実行する実行部と、
を有するデータ生成装置。
前記教師データを用いて学習モデルを作成する学習モデル作成部をさらに備え、
前記実行部は、異なる種類の前記検出対象ごとに前記教師データを生成し、
前記学習モデル作成部は、異なる種類の前記検出対象ごとに学習モデルを作成する請求項１に記載のデータ生成装置。
前記学習用画像取得部は、前記検出対象について弧状の枠線を用いて囲んだ前記学習用画像を取得し、
前記抽出部は、前記枠線によって囲まれる前記検出対象を抽出する請求項１又は２に記載のデータ生成装置。
学習モデルを用いて、診断用画像から検出対象を検出する検出装置であって、
前記診断用画像を取得する診断用画像取得部と、
一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部と、
前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部と、
前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部と、
前記検出対象の位置及び形状に基づいて、前記検出対象の種類を判断する種類特定部と、
判断された前記検出対象の種類に対応する治療内容を特定する治療内容特定部と、
を備え、
前記種類特定部は、複数の前記検出対象を関連する種類と判断し、
前記治療内容特定部は、判断された複数の前記検出対象の関連性から治療内容を特定し、
前記出力部は、特定された治療内容を前記輪郭とともに表示する、
検出装置。
前記存在判断部は、前記学習モデルを作成するための教師データと対応する大きさ及び位置で前記診断用画像をクロップする請求項４に記載の検出装置。
検出対象を含む歯部を撮像した撮像画像から、前記検出対象に関する学習モデルの教師データを生成するデータ生成装置としてコンピュータを機能させるプログラムであって、
前記コンピュータを、
前記撮像画像を学習用画像として取得する学習用画像取得部、
前記歯部に対する前記検出対象の相対位置及びラベルに関する情報を詳細情報として取得する詳細情報取得部、
取得された前記学習用画像と前記詳細情報とに基づいて、前記教師データを生成する教師データ生成部、
として機能させ、
前記教師データ生成部は、
前記詳細情報に基づいて、前記学習用画像における前記検出対象の位置を特定する位置特定部、
歯並びに沿う方向に沿って、一部の領域を他の領域に重畳させた複数の領域に、特定された位置を含めてクロップする画像加工部、
クロップされた領域に含まれる前記検出対象を抽出する抽出部、
として機能させるプログラム。
学習モデルを用いて、診断用画像から検出対象を検出する検出装置としてコンピュータを機能させるプログラムであって、
前記コンピュータを、
前記診断用画像を取得する診断用画像取得部、
一部の領域を他の領域に重畳させた複数の領域に、取得された前記診断用画像をクロップするとともに、取得した前記診断用画像と学習モデルとを比較して、前記診断用画像に含まれる前記検出対象の有無を判断する存在判断部、
前記検出対象が存在する場合に、前記検出対象の輪郭を特定する形状特定部、
前記診断用画像に、特定された輪郭の前記検出対象を示す標示を重畳して出力する出力部、
前記検出対象の位置及び形状に基づいて、前記検出対象の種類を判断する種類特定部、
判断された前記検出対象の種類に対応する治療内容を特定する治療内容特定部、
として機能させ、
前記種類特定部は、複数の前記検出対象を関連する種類と判断し、
前記治療内容特定部は、判断された複数の前記検出対象の関連性から治療内容を特定し、
前記出力部は、特定された治療内容を前記輪郭とともに表示する、
プログラム。