JP7398983B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、歯科等においては歯列全体のパノラマ画像が撮影され、治療に利用されている。例えば、特許文献１に記載された技術は、撮像装置により患者の歯列全体（広域部位）を撮像することが記載されている。

特開２０１０－５３２７号公報

ところで、歯牙の治療等においては、歯牙を特定するために歯牙番号が付されている。しかしながら、従来では、歯列全体のパノラマ画像を撮影し、歯科医がパノラマ画像を見ながら歯牙番号を特定するのが一般的である。すなわち、歯科医自らが歯牙番号を特定すると、歯科医の労力がかかり、また歯牙番号を取り違える恐れがある。
また、一般的な歯牙の輪郭を抽出する技術（装置）に基づいて歯牙番号を自動的に特定する場合には、互いに隣接する歯牙の一部が重なっていたり交差していたりする場合があり、この場合には歯牙番号を特定できない（互いに隣接する歯牙を切り分けられない）恐れがある。

本発明は、画像に基づいて歯牙番号を特定することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

一態様の情報処理装置は、複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得部と、被写体となる複数の物体が記録される第２画像を取得する第２取得部と、第１取得部によって取得された第１学習モデルと、第２取得部によって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類部と、分類部によってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付け部と、番号付け部によって番号が付された物体が記録される第３画像を出力する出力部と、を備える。

一態様の情報処理装置は、第１画像に記録される複数の物体、及び、第２画像に記録される複数の物体それぞれでは、上側において複数の物体が直列に並んだ上列部と、下側において複数の物体が直列に並んだ下列部と、を備え、分類部は、上列部の中央に対して左側の複数の物体と、上列部の中央に対して右側の複数の物体と、下列部の中央に対して左側の複数の物体と、下列部の中央に対して右側の複数の物体と、にグループ分けを行うこととしてもよい。

一態様の情報処理装置では、番号付け部は、所定の基準として、グループ分けを行った中央側を基準に、左上列部及び左下列部それぞれの中央側から左側に向けた昇順で番号を付すと共に、右上列部及び左下列部それぞれの中央側から右側に向けた昇順で番号を付すこととしてもよい。

一態様の情報処理装置では、番号付け部は、第２画像に記録される複数の物体の間に閾値以上の間隔があることにより当該間隔の位置の物体が無くなったと推定される場合に、当該間隔の位置に対しても番号を付すこととしてもよい。

一態様の情報処理装置は、物体の形状を学習することにより生成された第２学習モデルを取得する第３取得部と、番号付け部によって番号が付された複数の物体の第３画像と、第３取得部によって取得された第２学習モデルとに基づいて、第３画像に記録される少なくとも１つの物体の形状を抽出する抽出部と、を備え、出力部は、抽出部によって抽出された少なくとも１つの物体が記録される第４画像を出力することとしてもよい。

一態様の情報処理装置は、電子カルテを記憶する記憶部と、第３画像又は第４画像を電子カルテに記録する記録部と、を備えることとしてもよい。

一態様の情報処理装置では、第２取得部は、第２画像として、複数の物体である複数の歯牙が記録される歯列画像を取得することとしてもよい。

一態様の情報処理方法では、コンピュータが、複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得ステップと、被写体となる複数の物体が記録される第２画像を取得する第２取得ステップと、第１取得ステップによって取得された第１学習モデルと、第２取得ステップによって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類ステップと、分類ステップによってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付けステップと、番号付けステップによって番号が付された物体が記録される第３画像を出力する出力ステップと、を実行する。

一態様の情報処理プログラムは、コンピュータに、複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得機能と、被写体となる複数の物体が記録される第２画像を取得する第２取得機能と、第１取得機能によって取得された第１学習モデルと、第２取得機能によって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類機能と、分類機能によってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付け機能と、番号付け機能によって番号が付された物体が記録される第３画像を出力する出力機能と、を実現させる。

一態様の情報処理装置は、第１学習モデルと、被写体となる複数の物体が記録される第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付し、そのマーキングに応じてグループ毎に所定の基準で番号を付す。これにより、一態様の情報処理装置は、画像に基づいて物体の番号を特定することができる。
一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

歯牙全体の画像の一例を示す図である。 一実施形態に係る情報処理装置について説明するためのブロック図である。 マーキングの一例について説明するための図である。 歯牙に付される歯牙番号の一例について説明するための図である。 歯牙番号の付す場合について説明するための図である。 歯牙の形状を抽出する際の一例について説明するための図である。 形状が抽出された歯牙について説明するための図である。 一実施形態に係る情報処理方法のうちの学習ステップについて説明するためのフローチャートである。 一実施形態に係る情報処理方法のうち出力ステップについて説明するためのフローチャートである。

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

図１は、歯牙全体の画像の一例を示す図である。
図１及び後述する図３～４，６に示す歯牙１０１の数２８本であり、４本の歯（例えば、親知らず）を抜歯した場合を示す。後述する第１～３画像では、記録される歯牙の数は３２本であってもよく、他の本数であってもよい。

情報処理装置１（図２参照）は、複数の歯牙１０１（顎部）のパノラマ画像（第２画像）（一例として、レントゲン画像及びＣＴ画像等）を取得し、そのパノラマ画像を予め学習した学習モデル（一例として、Ｕ－Ｎｅｔ等）に通すことにより、右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び左下側歯牙領域１０５（図３参照）にグループ分けを行う。そして、情報処理装置１は、複数の歯牙１０１それぞれに対してマーキング１０６（１つの歯牙１０１として特定するためのマーキング１０６）（図３参照）を付した画像を生成する。さらに、情報処理装置１は、マーキング１０６が付された歯牙１０１の画像に基づいて歯牙番号を付した第３画像を生成して出力する。

次に、情報処理装置１について詳細に説明する。
図２は、一実施形態に係る情報処理装置１について説明するためのブロック図である。

情報処理装置１は、カメラ部２０、通信部２１、記憶部２２、表示部２３、第１取得部１２、第２取得部１３、分類部１４、番号付け部１５、第３取得部１６、抽出部１７、出力制御部１８及び記録部１９を備える。通信部２１、記憶部２２及び表示部２３は、本発明の「出力部」の一実施形態に対応する。第１取得部１２、第２取得部１３、分類部１４、番号付け部１５、第３取得部１６、抽出部１７、出力制御部１８及び記録部１９は、例えば、情報処理装置１の制御部１１（例えば、演算処理装置等）の一機能として実現することができる。

カメラ部２０は、例えば、患者の複数の歯牙１０１全体（顎部）のパノラマ画像（第２画像）を撮像して画像データを生成する。カメラ部２０は、図２に示すように情報処理装置１に備えられてもよく、情報処理装置１の外部に備えられてもよい。

通信部２１は、情報処理装置１の外部にある外部装置（例えば、外部サーバ等）（図示せず）と情報の送受信を行う。

記憶部２２は、種々の情報及びプログラムを記憶する。記憶部２２は、例えば、後述する第１学習モデル及び第２学習モデルを記憶することとしてもよい。記憶部２２は、一例として、歯科等で利用される電子カルテを記憶することとしてもよい。

表示部２３は、例えば、文字及び画像等を表示することが可能な装置である。

第１取得部１２は、複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキング１０６とを学習することにより生成された第１学習モデルを取得する。
第１学習モデルは、例えば、制御部１１によって生成されてもよい。制御部１１によって第１学習モデルが生成された場合、第１学習モデルは、例えば、記憶部２２に記憶されていてもよい。この場合、第１取得部１２は、記憶部２２に記憶された第１学習モデルを取得する。
又は、第１学習モデルは、例えば、外部装置（例えば、外部サーバ等）（図示せず）によって生成されてもよい。この場合、第１取得部１２は、通信部２１を介して外部装置から第１学習モデルを取得する。

第１学習モデルは、例えば、Ｕ－ｎｅｔ等を利用したモデルである。Ｕ－ｎｅｔは、入力された画像の特徴を抽出するためのエンコードを行う複数の層と、エンコードされた画像を復元するためのデコードを行う複数の層とを備える。エンコードを行う複数の層と、デコードを行う複数の層とは同数あり、各層はコントラクティングパス（Ｃｏｎｔｒａｃｔｉｎｇ Ｐａｔｈ）で接続されている。コントラクティングパスは、入力された画像の特徴部分の位置情報を保持し、Ｕ－ｎｅｔから出力される画像を高画質にするために用いられる。

制御部１１（又は外部装置）は、第１画像として、複数の物体である複数の歯牙１０１が記録される歯列画像を取得する。具体的には、第１画像は、複数の歯牙１０１全体（顎部）のパノラマ画像である。制御部１１（又は外部装置）は、例えば、複数の第１画像を取得する。具体的な一例として、第１画像の数は、患者の歯牙１０１のパノラマ画像からその歯牙１０１を特定できる数であってもよく、２０枚、５０枚、１００枚、２００枚、又は、３００枚等の学習に必要な枚数である。また、制御部１１（又は、外部装置）は、第１画像に記録される複数の歯牙１０１それぞれを示す（第１画像のうちどれが歯牙１０１であるのかを特定するための）マーキング１０６を取得する。そのマーキング１０６は、上側の歯列における、中央から右側の右上側歯牙領域１０２と、中央から左側の左上側歯牙領域１０３と、下側の歯列における、中央から右側の右下側歯牙領域１０４と、中央から左側の左下側歯牙領域１０５と、に複数の歯牙１０１を分類する（グループ分けを行う）ための印である。
制御部１１（又は外部装置）は、歯牙１０１に対してマーキング１０６が付された第１画像を取得することしてもよい。
制御部１１（又は外部装置）は、第１画像及びマーキング１０６に基づいて学習を行い、例えば、Ｕ－ｎｅｔを学習させる。

第２取得部１３は、被写体となる複数の物体が記録される第２画像を取得する。第２取得部１３は、第２画像として、複数の物体である複数の歯牙１０１が記録される歯列画像を取得する。具体的な一例として、第２画像は、患者の複数の歯牙１０１全体（顎部）のパノラマ画像であってもよい。

分類部１４は、第１取得部１２によって取得された第１学習モデルと、第２取得部１３によって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行う。分類部１４は、第２画像に含まれる複数の物体としての歯牙１０１を、上列部の中央に対して左側の複数の物体（左上側歯牙領域１０３）と、上列部の中央に対して右側の複数の物体（右上側歯牙領域１０２）と、下列部の中央に対して左側の複数の物体（左下側歯牙領域１０５）と、下列部の中央に対して右側の複数の物体（右下側歯牙領域１０４）と、にグループ分けを行う。また、分類部１４は、グループ毎のそれぞれの物体（歯牙１０１）に対してマーキング１０６を付す。

すなわち、分類部１４は、第２取得部１３によって取得された第２画像を、第１取得部１２によって取得された第１学習モデル（例えば、Ｕ－ｎｅｔ等）に通し、第２画像に記録される全ての歯牙１０１を、右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び左下側歯牙領域１０５毎にグループ分けを行う。さらに、分類部１４は、グループ分けを行った右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び左下側歯牙領域１０５それぞれを構成する複数の歯牙１０１それぞれに対して、同一のグループには同一のマーキング１０６を付す。

図３は、マーキング１０６の一例について説明するための図である。
図３に一例を示すように、分類部１４は、左上側歯牙領域１０３、右上側歯牙領域１０２、右下側歯牙領域１０４及び左下側歯牙領域１０５それぞれに異なる丸印（マーキング１０６）を付す。異なる丸印の一例は、丸印の色を互いに異ならせることである。なお、歯牙１０１に付すマーキング１０６は、上述したマーキング１０６（丸印）に限定されず、種々の印であってもよい。

分類部１４は、欠損した歯牙、斜めに生える歯牙、互いに隣接する歯牙が交差する（並列に並ぶ）歯牙がある場合でも、第１学習モデル（例えば、Ｕ－ｎｅｔ）を通すことにより、マーキング１０６を付すことができる。
なお、制御部１１（又は、外部装置）によって歯牙番号も学習されることにより第１学習モデル（例えば、Ｕ－ｎｅｔ）が生成されている場合には、分類部１４は、マーキング１０６と共に歯牙番号も付してもよい。

番号付け部１５は、分類部１４によってグループ分けが行われた複数の物体（複数の歯牙１０１）について、グループ毎に所定の基準で番号を付す。番号付け部１５は、所定の基準として、グループ分けを行った中央側を基準に、左上列部及び左下列部それぞれの中央側から左側に向けた昇順で番号を付すこととしてもよい。番号付け部１５は、所定の基準として、グループ分けを行った中央側を基準に、右上列部及び左下列部それぞれの中央側から右側に向けた昇順で番号を付すこととしてもよい。

図４は、歯牙１０１に付される歯牙番号の一例について説明するための図である。
番号付け部１５は、右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び左下側歯牙領域１０５を構成するそれぞれの歯牙１０１に対して、口腔（歯列）の中央側から右方向又は左方向に順に歯牙番号を付す。この際、番号付け部１５は、マーキング１０６に応じて各歯牙領域１０２～１０５を特定し、歯牙領域１０２～１０５それぞれの歯牙１０１に対して歯牙番号を付してもよい。すなわち、一例として、番号付け部１５は、右上側歯牙領域１０２の最も中央側の歯牙１０１ａに「１」を付す。同様に、番号付け部１５は、右上側歯牙領域１０２の各歯牙１０１について右方向へ順に番号を付し、最も右側の歯牙１０１ｂに「７」を付す。この場合、番号付け部１５は、マーキング１０６が付された歯牙１０１に対して歯牙番号を付すこととしてもよい。

番号付け部１５は、第２画像に記録される複数の物体（歯牙１０１）の間に閾値以上の間隔があることによりその間隔の位置の物体（歯牙１０１）が無くなったと推定される場合に、その間隔の位置に対しても番号を付すこととしてもよい。すなわち、抜歯された部分は隣接する歯牙１０１の間に空間（隙間）が生じる。このため、歯牙１０１の幅を考慮して予め閾値が番号付け部１５に設定されている場合、番号付け部１５は、隣接する歯牙１０１の間に閾値以上の空間があれば、その空間は抜歯された空間であると推定して、その空間にも歯牙番号を付す。
すなわち、例えば、番号付け部１５は、閾値以上の空間が有れば、マーキング１０６が付されていなくとも歯牙番号を付すこととしてもよい。
なお、番号付け部１５は、上述したように空間に歯牙番号を付す場合でも、出力される画像にはその番号を記載しなくともよい。
また、制御部１１（又は、外部装置）によって歯牙番号も学習されることにより第１学習モデル（例えば、Ｕ－ｎｅｔ）が生成されている場合には、番号付け部１５の代わりとして分類部１４は、閾値以上の空間は抜歯された空間であると推定して、その空間に対しても歯牙番号を付してもよい。

図５は、歯牙番号の付す場合について説明するための図である。
図５に例示するように、互いに隣接する歯牙１０１の間に閾値以上の間隔Ｄがある場合、番号付け部１５は、その間隔Ｄの抜歯された位置と推定して、歯牙番号（図５に例示する場合には「５」（図示せず））を設定する。しかし、出力制御部１８によって出力する場合（例えば、表示部２３に表示する場合）には、歯牙番号「５」を表示しなくともよい。すなわち、第２画像に記録される歯牙１０１（マーキング１０６が付された歯牙１０１）に対してのみ歯牙番号を付してもよい。

第３取得部１６は、物体（歯牙１０１）の形状を学習することにより生成された第２学習モデルを取得する。
第２学習モデルは、例えば、制御部１１によって生成されてもよい。制御部１１によって第２学習モデルが生成された場合、第２学習モデルは、例えば、記憶部２２に記憶されていてもよい。この場合、第３取得部１６は、記憶部２２に記憶された第２学習モデルを取得する。
又は、第２学習モデルは、例えば、外部装置（例えば、外部サーバ等）（図示せず）によって生成されてもよい。この場合、第３取得部１６は、通信部２１を介して外部装置から第２学習モデルを取得する。
制御部１１（又は、外部装置）は、具体的な一例として、物体（歯牙１０１）形状の数として、２０本、５０本、１００本、２００本、又は、３００本等の学習に必要な本数の歯牙１０１の画像を取得する。
第２学習モデルは、例えば、Ｕ－ｎｅｔ等を利用したモデルである。

抽出部１７は、番号付け部１５によって番号（歯牙番号）が付された複数の物体（歯牙１０１）の第３画像と、第３取得部１６によって取得された第２学習モデルとに基づいて、第３画像に記録される少なくとも１つの物体（歯牙１０１）の形状を抽出する。すなわち、抽出部１７は、第３画像を第２学習モデル（例えば、Ｕ－ｎｅｔ等）に通し、歯牙１０１の形状を抽出する。この場合、抽出部１７は、例えば、歯科医等によって第３画像上で指定された歯牙１０１の形状を抽出してもよく、全ての歯牙１０１の形状を抽出してもよい。

図６は、歯牙１０１の形状を抽出する際の一例について説明するための図である。
図７は、形状が抽出された歯牙１０１について説明するための図である。
図６に例示するように、抽出部１７は、第３画像を第２学習モデルに通すことにより、斜線が付された歯牙１０１ｃの形状を抽出する。この際、抽出部１７は、形状が抽出された歯牙１０１に対して特徴を付してもよい。この特徴は、例えば、歯牙１０１に色を付すなど、他の歯牙１０１との違いを識別することができる特徴であってもよい。なお、抽出部１７は、第３画像に記録される歯牙１０１ｃの形状と完全に一致する形状を抽出するばかりでなく、略一致するような形状を抽出することとしてもよい。抽出部１７は、歯牙１０１ｃの形状の形状を抽出することとして、図６に例示する斜線が付された歯牙１０１ｃを含む領域を抽出することとしてもよい（図７参照）。

出力制御部１８は、番号付け部１５によって歯牙番号が付された物体（歯牙１０１）が記録される第３画像を出力するよう制御する。すなわち、出力制御部１８は、出力部（例えば、表示部２３、記憶部２２及び通信部２１等）を制御する。出力制御部１８は、例えば、第３画像を表示部２３に表示すること、第３画像を記憶部２２に記憶すること、及び、第３画像を外部装置（例えば、外部サーバ等）に送信することのうち少なくとも１つを行うように制御する。

出力制御部１８は、抽出部１７によって抽出された少なくとも１つの物体（歯牙１０１）が記録される第４画像を出力する。出力制御部１８は、例えば、第４画像を表示部２３に表示すること、第４画像を記憶部２２に記憶すること、及び、第４画像を外部装置（例えば、外部サーバ等）に送信することのうち少なくとも１つを行うように制御する。

記録部１９は、第３画像又は第４画像を電子カルテに記録する。例えば、第２画像においては識別番号等により患者が特定されているため、第３画像及び第４画像についても患者の識別番号が記録されている。例えば、電子カルテについても、識別番号等により患者が特定されている。このため、記録部１９は、例えば、識別番号等に基づいて、第３画像及び第４画像を電子カルテに記録することが可能である。制御部１１は、電子カルテに第３画像が表示部２３に表示される場合に、電子カルテに記録された第３画像のうち、歯科医等によって任意の歯牙１０１（又は歯牙番号）が特定されると、その歯牙１０１が記録された第４画像を表示部２３に表示することとしてもよい。

次に、一実施形態に係る情報処理方法について説明する。
まず、情報処理方法のうちの学習ステップについて説明する。
図８は、一実施形態に係る情報処理方法のうちの学習ステップについて説明するためのフローチャートである。

ステップＳＴ１０１において、制御部１１（又は外部装置）は、第１学習モデルを生成する。具体的には、制御部１１（又は外部装置）は、第１画像として、複数の歯牙１０１全体（顎部）のパノラマ画像（歯列画像）を取得する。また、制御部１１（又は、外部装置）は、第１画像に記録される複数の歯牙１０１それぞれを示す（第１画像のうちどれが歯牙１０１であるのかを特定するための）マーキング１０６を取得する。制御部１１（又は外部装置）は、第１画像及びマーキング１０６に基づいて学習を行い、例えば、Ｕ－ｎｅｔを学習させる。すなわち、制御部１１（又は外部装置）は、第１学習モデルを生成する。

ステップＳＴ１０２において、制御部１１（又は外部装置）は、第２学習モデルを生成する。制御部１１（又は外部装置）は、歯牙１０１の形状について学習を行う、例えば、Ｕ－ｎｅｔを学習させる。すなわち、制御部１１（又は外部装置）は、第２学習モデルを生成する。

次に、情報処理方法のうち、患者の歯牙１０１に基づいて歯牙番号を付し、歯牙１０１を抽出する等の出力ステップについて説明する。
図９は、一実施形態に係る情報処理方法のうち出力ステップについて説明するためのフローチャートである。

ステップＳＴ２０１において、第２取得部１３は、例えば、患者の複数の歯牙１０１全体（顎部）が記録されているパノラマ画像（第２画像）を取得する。なお、第２取得部１３が取得する第２画像は、パノラマ画像に限定されることはない。

ステップＳＴ２０２において、分類部１４は、ステップＳＴ２０１で取得された第２画像を、図８に示すステップＳＴ１０１で生成された第１学習モデル（例えば、Ｕ－ｎｅｔ等）に通し、第２画像に記録される複数の歯牙１０１を右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び左下側歯牙領域１０５に分類する。また、分類部１４は、上述した各歯牙領域１０２～１０５それぞれを構成する複数の歯牙１０１に対しマーキング１０６を付す。マーキング１０６は、歯牙領域１０２～１０５毎に異なる印である。

ステップＳＴ２０３において、番号付け部１５は、ステップＳＴ２０２で分類された歯牙領域１０２～１０５毎に歯牙番号を付す。この場合、番号付け部１５は、各歯牙領域１０２～１０５を構成するそれぞれの歯牙１０１に対して、口腔（歯列）の中央側から右方向又は左方向に順に歯牙番号を付す。また、番号付け部１５は、第２画像に記録される複数の歯牙１０１（互いに隣接する歯牙１０１）の間に閾値以上の間隔Ｄがあることにより、その間隔Ｄの位置の歯牙１０１が無くなった（抜歯された）と推定される場合、その間隔Ｄの位置に対しても歯牙番号を付すこととしてもよい。

ステップＳＴ２０４において、抽出部１７は、ステップＳＴ２０３で歯牙番号が付された第３画像（又は、ステップＳＴ２０２でマーキング１０６が付された画像）を、図８のステップ１０２で生成された第２学習モデル（例えば、Ｕ－ｎｅｔ等）に通し、歯牙１０１の形状を抽出する。抽出部１７は、形状が抽出された歯牙１０１の画像（第４画像）を生成する（切り出す）。

ステップＳＴ２０５において、抽出部１７は、ステップＳＴ２０４で抽出された形状の歯牙１０１と、第３画像（又は、ステップＳＴ２０２でマーキング１０６が付された画像）に記録される、その歯牙１０１（形状が抽出された歯牙１０１）とを関連付ける。

ステップＳＴ２０６において、出力制御部１８は、第３画像及び第４画像の少なくとも一方について、表示部２３に表示すること、記憶部２２に記憶すること、及び、通信部２１によって外部に送信することのうち少なくとも１つを行う。
また、記録部１９は、第３画像及び第４画像を、記憶部２２に記憶される電子カルテに記録する。

次に、本実施形態の効果について説明する。
情報処理装置１は、第１学習モデルを取得する第１取得部１２と、被写体となる複数の物体（歯牙）が記録される第２画像を取得する第２取得部１３と、第１学習モデルと第２画像とに基づいて、第２画像に記録される複数の物体（歯牙）についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキング１０６を付す分類部１４と、分類部１４によってグループ分けが行われた複数の物体（歯牙）について、グループ毎に所定の基準で番号を付す番号付け部１５と、番号付け部１５によって番号が付された物体（歯牙）が記録される第３画像を出力する出力部（例えば、表示部２３、記憶部２２及び通信部２１等）と、を備える。
これにより、情報処理装置１は、画像に基づいて歯牙番号を特定することができる。また、情報処理装置１は、第１学習モデルを利用することにより、抜歯されている場合、親知らずの本数、歯並び（歯牙１０１が伸びる方向の違い及び隣接する歯牙１０１の並列的な重なり）にかかわらず、歯牙番号を付すことができる。また、情報処理装置１は、第１学習モデルを利用することにより、乳歯が残っていて、永久歯がまだ顎の骨に埋まっている状態の子供の第２画像でも歯牙番号を付すことができる。

情報処理装置１では、第１画像及び第２画像に記録される複数の物体は、複数の歯牙１０１である。分類部１４は、第２画像に記録される複数の歯牙１０１を、右上側歯牙領域１０２、左上側歯牙領域１０３、右下側歯牙領域１０４及び右下側歯牙領域１０４にグループ分けを行うこととしてもよい。
これにより、情報処理装置１は、グループ分けを行うことにより、適切に歯牙番号を付すことができる。

情報処理装置１では、番号付け部１５は、所定の基準として、グループ分けを行った中央側を基準に、右上側歯牙領域１０２及び右下側歯牙領域１０４それぞれの口腔（歯列）の中央側から右側への昇順に歯牙番号を付すこととしてもよい。同様に、番号付け部１５は、左上側歯牙領域１０３及び左下側歯牙領域１０５それぞれの口腔（歯列）の中央側から左側への昇順に歯牙番号を付すこととしてもよい。
これにより、情報処理装置１は、適切に歯牙番号を付すことができる。

情報処理装置１では、番号付け部１５は、第２画像に記録される隣接する歯牙１０１の間に閾値以上の間隔Ｄがあることによりその間隔Ｄの位置の歯牙１０１が無くなったと推定される場合に、その間隔Ｄの位置に対しても歯牙番号を付すこととしてもよい。
これにより、情報処理装置１は、抜歯されている場合でも、適切に歯牙番号を付すことができる。

情報処理装置１は、第２学習モデルを取得する第３取得部１６と、番号付け部１５によって歯牙番号が付された複数の歯牙１０１の第３画像と、第２学習モデルとに基づいて、第３画像に記録される少なくとも１つの物体の形状を抽出する抽出部１７と、を備えることとしてもよい。出力制御部１８は、抽出部１７によって抽出された少なくとも１つの物体が記録される第４画像を出力することとしてもよい。
これにより、情報処理装置１は、第３画像及び第４画像を出力して、例えば、歯科医等に確認させることにより、患者の治療に役立てることができる。

情報処理装置１は、電子カルテを記憶する記憶部２２と、第３画像又は第４画像を電子カルテに記録する記録部１９と、を備えることとしてもよい。
これにより、情報処理装置１は、歯科医等が電子カルテを確認する際に第３画像及び第４画像の確認を容易にすることができ、患者の治療に役立てることができる。

情報処理方法では、コンピュータが、第１学習モデルを取得する第１取得ステップと、被写体となる複数の物体（歯牙）が記録される第２画像を取得する第２取得ステップと、第１学習モデルと第２画像とに基づいて、第２画像に記録される複数の物体（歯牙）についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキング１０６を付す分類ステップと、分類ステップによってグループ分けが行われた複数の物体（歯牙）について、グループ毎に所定の基準で番号を付す番号付けステップと、番号付けステップによって番号が付された物体（歯牙）が記録される第３画像を出力する出力ステップと、を実行する。
これにより、情報処理方法は、画像に基づいて歯牙番号を特定することができる。また、情報処理方法は、第１学習モデルを利用することにより、抜歯されている場合、親知らずの本数、歯並び（歯牙１０１が伸びる方向の違い及び隣接する歯牙１０１の並列的な重なり）にかかわらず、歯牙番号を付すことができる。また、情報処理方法は、第１学習モデルを利用することにより、乳歯が残っていて、永久歯がまだ顎の骨に埋まっている状態の子供の第２画像でも歯牙番号を付すことができる。

情報処理プログラムは、コンピュータに、第１学習モデルを取得する第１取得機能と、被写体となる複数の物体（歯牙）が記録される第２画像を取得する第２取得機能と、第１学習モデルと第２画像とに基づいて、第２画像に記録される複数の物体（歯牙）についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキング１０６を付す分類機能と、分類機能によってグループ分けが行われた複数の物体（歯牙）について、グループ毎に所定の基準で番号を付す番号付け機能と、番号付け機能によって番号が付された物体（歯牙）が記録される第３画像を出力する出力機能（例えば、表示機能、記憶機能及び通信機能）と、を実現させる。
これにより、情報処理プログラムは、画像に基づいて歯牙番号を特定することができる。また、情報処理プログラムは、第１学習モデルを利用することにより、抜歯されている場合、親知らずの本数、歯並び（歯牙１０１が伸びる方向の違い及び隣接する歯牙１０１の並列的な重なり）にかかわらず、歯牙番号を付すことができる。また、情報処理プログラムは、第１学習モデルを利用することにより、乳歯が残っていて、永久歯がまだ顎の骨に埋まっている状態の子供の第２画像でも歯牙番号を付すことができる。

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の第１取得部１２、第２取得部１３、分類部１４、番号付け部１５、第３取得部１６、抽出部１７、出力制御部１８及び記録部１９は、コンピュータの演算処理装置等による第１取得機能、第２取得機能、分類機能、番号付け機能、第３取得機能、抽出機能、出力制御機能及び記録機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の第１取得部１２、第２取得部１３、分類部１４、番号付け部１５、第３取得部１６、抽出部１７、出力制御部１８及び記録部１９は、コンピュータの演算処理装置等を構成する第１取得回路、第２取得回路、分類回路、番号付け回路、第３取得回路、抽出回路、出力制御回路及び記録回路として実現されてもよい。
また、情報処理装置１のカメラ部２０、通信部２１、記憶部２２及び表示部２３は、例えば、演算処理装置等の機能を含むカメラ機能、通信機能、記憶機能及び表示機能として実現されもよい。また、情報処理装置１のカメラ部２０、通信部２１、記憶部２２及び表示部２３は、例えば、集積回路等によって構成されることによりカメラ回路、通信回路、記憶回路及び表示回路として実現されてもよい。また、情報処理装置１のカメラ部２０、通信部２１、記憶部２２及び表示部２３は、例えば、複数のデバイスによって構成されることによりカメラ装置、通信装置、記憶装置及び表示装置として構成されてもよい。

なお、上述した実施形態では歯牙番号を付し、歯牙１０１を抽出する例について説明したが、本発明はこの一例に限定されることはない。すなわち、情報処理装置、画像から、その画像中に記録される個々の物体にマーキング（種別なので色分け）を行い、マーキングされた画像から領域に変換する（物体を抽出する）というステップを経ることで、重なりが多い物体をより簡単に抽出したり、数えたりすることができる。具体的な一例として、人間の肋骨及び背骨等にも適用することが可能である。

また、上述した第１学習モデル及び第２学習モデルは、Ｕ－ｎｅｔに限定されることはなく、例えば、オートエンコーダ等を用いてもよい。

１ 情報処理装置
１１ 制御部
１２ 第１取得部
１３ 第２取得部
１４ 分類部
１５ 番号付け部
１６ 第３取得部
１７ 抽出部
１８ 出力制御部
１９ 記録部
２０ カメラ部
２１ 通信部
２２ 記憶部
２３ 表示部

Claims (9)

1. 複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得部と、
   被写体となる複数の物体が記録される第２画像を取得する第２取得部と、
   前記第１取得部によって取得された第１学習モデルと、前記第２取得部によって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類部と、
   前記分類部によってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付け部と、
   前記番号付け部によって番号が付された物体が記録される第３画像を出力する出力部と、
   を備える情報処理装置。
2. 第１画像に記録される複数の物体、及び、第２画像に記録される複数の物体それぞれでは、上側において複数の物体が直列に並んだ上列部と、下側において複数の物体が直列に並んだ下列部と、を備え、
   前記分類部は、上列部の中央に対して左側の複数の物体と、上列部の中央に対して右側の複数の物体と、下列部の中央に対して左側の複数の物体と、下列部の中央に対して右側の複数の物体と、にグループ分けを行う
   請求項１に記載の情報処理装置。
3. 前記番号付け部は、所定の基準として、グループ分けを行った中央側を基準に、左上列部及び左下列部それぞれの中央側から左側に向けた昇順で番号を付すと共に、右上列部及び左下列部それぞれの中央側から右側に向けた昇順で番号を付す
   請求項２に記載の情報処理装置。
4. 前記番号付け部は、第２画像に記録される複数の物体の間に閾値以上の間隔があることにより当該間隔の位置の物体が無くなったと推定される場合に、当該間隔の位置に対しても番号を付す
   請求項２又は３に記載の情報処理装置。
5. 物体の形状を学習することにより生成された第２学習モデルを取得する第３取得部と、
   前記番号付け部によって番号が付された複数の物体の第３画像と、前記第３取得部によって取得された第２学習モデルとに基づいて、第３画像に記録される少なくとも１つの物体の形状を抽出する抽出部と、を備え、
   前記出力部は、前記抽出部によって抽出された少なくとも１つの物体が記録される第４画像を出力する
   請求項１～４のいずれか１項に記載の情報処理装置。
6. 電子カルテを記憶する記憶部と、
   第３画像又は第４画像を電子カルテに記録する記録部と、
   を備える請求項５に記載の情報処理装置
7. 前記第２取得部は、第２画像として、複数の物体である複数の歯牙が記録される歯列画像を取得する
   請求項１～６のいずれか１項に記載の情報処理装置。
8. コンピュータが、
   複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得ステップと、
   被写体となる複数の物体が記録される第２画像を取得する第２取得ステップと、
   前記第１取得ステップによって取得された第１学習モデルと、前記第２取得ステップによって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類ステップと、
   前記分類ステップによってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付けステップと、
   前記番号付けステップによって番号が付された物体が記録される第３画像を出力する出力ステップと、
   を実行する情報処理方法。
9. コンピュータに、
   複数の物体が並ぶ被写体が記録された第１画像と、複数の物体についてグループ分けを行うための物体に対するマーキングとを学習することにより生成された第１学習モデルを取得する第１取得機能と、
   被写体となる複数の物体が記録される第２画像を取得する第２取得機能と、
   前記第１取得機能によって取得された第１学習モデルと、前記第２取得機能によって取得された第２画像とに基づいて、第２画像に記録される複数の物体についてグループ分けを行い、グループ毎のそれぞれの物体に対してマーキングを付す分類機能と、
   前記分類機能によってグループ分けが行われた複数の物体について、グループ毎に所定の基準で番号を付す番号付け機能と、
   前記番号付け機能によって番号が付された物体が記録される第３画像を出力する出力機能と、
   を実現させる情報処理プログラム。

Images