JP7158234B2 - 口内状態判定装置、口内状態判定方法及びプログラム - Google Patents
口内状態判定装置、口内状態判定方法及びプログラム Download PDFInfo
- Publication number
- JP7158234B2 JP7158234B2 JP2018187666A JP2018187666A JP7158234B2 JP 7158234 B2 JP7158234 B2 JP 7158234B2 JP 2018187666 A JP2018187666 A JP 2018187666A JP 2018187666 A JP2018187666 A JP 2018187666A JP 7158234 B2 JP7158234 B2 JP 7158234B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination
- tooth
- unit
- gums
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
コンピュータが、前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも2種類の評価項目によって判定する第1判定ステップと、コンピュータが、前記第1判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第2判定ステップと、コンピュータが、前記第1判定ステップにおいて判定された判定結果又は前記第2判定ステップにおいて判定された判定結果を提示する提示ステップと、を有する口内状態判定方法である。
以下、図面を参照して本実施形態の口内状態判定システム1について説明する。
図1は、第1実施形態の口内状態判定システム1の機能構成の一例を示す図である。
口内状態判定システム1は、口内状態判定装置10と、端末装置20とを備える。口内状態判定装置10と端末装置20とは、ネットワークNを介して互いに接続される。
口内状態判定装置10は、例えば、サーバ装置によって構成される。端末装置20は、例えば、スマートフォンやタブレットによって構成される。
端末装置20は、カメラCAMと、表示部DPとを備える。カメラCAMは、端末装置20の操作者の操作に基づいて撮像を行う。表示部DPは、例えば、液晶ディスプレイを備えており、カメラCAMによって撮像される画像や、口内状態判定装置10からネットワークNを介して送信される情報を表示する。
端末装置20は、カメラCAMによって撮像された画像などの情報を、ネットワークNを介して口内状態判定装置10に送信する。
なお、口内状態判定装置10と端末装置20との間において、画像や文字などの情報は、上述したようにネットワークNを介して通信されるが、以下の説明においては、ネットワークNを介するとの説明は省略する。
なお、以下の説明において、歯Tの周囲の歯茎Gのことを、歯茎Gのうち、歯Tに対応する部分とも称する。換言すれば、口内画像OPとは、1本以上の歯Tと、歯茎Gのうち当該歯Tに対応する部分とが撮像された画像である。
また、以下の説明においては、口内画像OPに、18本の歯T(歯T1~歯T18)が撮像されている場合を一例として説明する。
口内状態判定装置10は、通信部110と、画像取得部120と、識別部130と、第1判定部140と、第2判定部150とを備える。
通信部110は、端末装置20から受信した情報を、画像取得部120に出力する。本実施形態の一例では、通信部110が受信する情報には、上述した口内画像OPが含まれている。
画像取得部120は、通信部110が受信した情報のうち、口内画像OPを取得する。画像取得部120は、取得した口内画像OPを、識別部130に出力する。
具体的な一例として、識別部130は、口内画像OPのうち歯Tが撮像されている領域の座標値を、歯Tごとに、歯Tの識別結果として出力する。
なお、以下の説明において、識別部130が識別した1本ずつの歯Tの画像のことを、歯毎画像STPとも称する。
識別部130は、口内画像OPの歯Tの識別結果を、第1判定部140に出力する。
第1判定部140は、口内画像OPに撮像されている歯茎Gのうち、識別部130によって識別された歯Tに対応する部分の歯茎Gの状態を、識別部130によって識別された歯Tごとに判定する。
上述の一例の場合、第1判定部140は、歯T1について、歯T1に対応する歯茎G1の状態を判定する。また、第1判定部140は、歯T2、歯T3、…、歯T18について、それぞれの歯Tに対応する歯茎G2、歯茎G3、…、歯茎G18の状態を判定する。
第1判定部140は、歯Tごとに判定した歯茎Gの状態を、歯毎判定結果RS1として第2判定部150に出力する。また、第1判定部140は、歯毎判定結果RS1を通信部110に出力する。
上述の一例の場合、歯毎判定結果RS1には、歯茎G1~歯茎G18のそれぞれの状態を示す情報が含まれている。第2判定部150は、これら歯茎G1~歯茎G18のそれぞれの状態を示す情報に基づいて、歯茎G全体の状態を判定する。
第2判定部150は、歯茎G全体の状態の判定結果を歯茎全体判定結果RS2として110に出力する。
次に、図2を参照して、口内状態判定システム1の動作の一例について説明する。
図2は、本実施形態の口内状態判定システム1の動作の一例を示す図である。
ここで、撮影ガイド画像(画像P21)とは、被験者の口唇の外形の位置合わせをするためのガイド枠である。被験者は、口唇を左右に引き、歯Tと歯茎Gとが表示部DPに表示される状態にして、このガイド枠に口唇の輪郭を合わせる。
撮影ガイド画像(画像P22)とは、被験者の上下の歯Tの噛み合わせ位置の位置合わせをするための水平ラインである。被験者は、この水平ラインに上下の歯Tの噛み合わせ位置を合わせる。
撮影ガイド画像(画像P23)とは、被験者の顔正面(正中)の位置合わせをするための垂直ラインである。被験者は、この垂直ラインに顔正面の位置を合わせる。
撮影操作を受け付ける画像(画像P24)が操作者によって操作(例えば、タップ操作)されると、端末装置20は、表示部DPに表示されるカメラCAMの撮影画像を、動画像から静止画像に切り替え、処理をステップS230に進める。
画像確認画面(画像P3)に表示される静止画像が操作者によって操作(例えば、ピンチアウト操作又はピンチイン操作)されると、端末装置20は、表示部DPに表示される静止画像のサイズを、拡大又は縮小する。また、取り直し操作を受け付ける画像(画像P34)が操作者によって操作(例えば、タップ操作)されると、端末装置20は、処理をステップS220に戻す。また、判定開始操作を受け付ける画像(画像P35)が操作者によって操作(例えば、タップ操作)されると、端末装置20は、処理をステップS240に進める。
なお、第1判定部140は、歯茎領域GPのうち、歯間乳頭部(例えば、歯茎G1及び歯茎G3)や、歯肉辺縁(例えば、歯茎G2)の部分の状態を判定対象に含めて、歯茎領域GPの状態を判定してもよい。また、被験者が撮影画像(画像P2)を撮影する場合に歯茎領域GPが口唇により十分に露出されない可能性がある。その場合には、歯間乳頭部および歯肉辺縁の部分のみ、または、歯間乳頭部または歯肉辺縁のいずれか一方の部分のみで歯茎領域GPの状態を判定してもよい。この場合において、第1判定部140は、歯茎G1~歯茎G3のうち、最も状態が悪い部分の評価スコアを、この歯Tについての評価スコアとしてもよい。
第1判定部140による評価項目ごとの評価段階LVの一例について図8から図10を参照して説明する。
図9は、本実施形態の歯茎Gの腫れの評価段階LVの一例を示す図である。第1判定部140は、歯茎Gの腫れを評価スコア0~評価スコア2の3段階の評価段階LVによって評価する。
図10は、本実施形態の歯茎下がりの評価段階LVの一例を示す図である。第1判定部140は、歯茎下がりを評価スコア0~評価スコア2の3段階の評価段階LVによって評価する。
これら評価スコアには、評価コメントがそれぞれ対応づけられている。この評価スコアと評価コメントとの対応表は、口内状態判定装置10が備える記憶部(不図示)又は外部の装置に予め記憶されている。
第1判定部140は、歯茎Gの状態の判定の結果を歯毎判定結果RS1として第2判定部150及び通信部110に出力する。
なお、上述した識別部130及び第1判定部140は、それぞれ機械学習モデルによって構成されていてもよい。
一例として、識別部130は、物体認識を得意とする機械学習モデルによって構成される。この場合、識別部130の学習段階において、識別部130に対して種々の口内画像OPの画像を与え、口内画像OPから、歯Tと歯茎Gとを含む歯毎画像STPを切り出せるように教師付き学習を行う。
また一例として、第1判定部140は、画像分類を得意とする機械学習モデルによって構成される。この場合、第1判定部140の学習段階において、第1判定部140に対して種々の歯毎画像STPの画像を与え、歯科医や歯科衛生士などの専門家による歯毎画像STPの判定結果を教師データとして教師付き学習を行う。
第2判定部150は、歯茎G全体の状態について判定した結果を歯茎全体判定結果RS2として通信部110に出力する。
以上説明したように、口内状態判定システム1は、第1判定部140と、第2判定部150との2つの判定部を備えている。ここで、第1判定部140は、識別部130の識別結果に基づいて、歯T1本ごとに、歯茎Gの状態を判定する。第2判定部150は、第1判定部140の判定結果に基づいて、歯茎G全体の状態を判定する。
したがって、本実施形態の口内状態判定システム1によれば、歯茎Gの状態の判定精度を向上させることができる。
本実施形態の口内状態判定システム1によれば、第2判定部150が行う統計演算の種類に応じて、種々の判定結果を提示することができる。
例えば、第2判定部150が行う統計演算が、歯毎判定結果RS1の最悪値(最大値)を歯茎G全体の状態とする場合には、少なくとも1本の歯Tについて歯茎Gの状態が悪い場合に、その存在を提示することができる。
また、第2判定部150が行う統計演算が、歯毎判定結果RS1の平均値(又は、中央値、最頻値)を歯茎G全体の状態とする場合には、画像の状態などによって、一部の歯Tについて状態を誤判定した場合であっても、歯茎G全体の判定結果への影響を低減することができる。
次に、第2の実施形態について図13及び図14を参照して説明する。なお、上述した実施形態と同一の機能及び動作については、同一の符号を付してその説明を省略する。
ここで、口内ケア情報OCDには、口内ケアの手順や方法を解説するコメントや、口内ケア商品を紹介する情報などが含まれる。歯毎判定結果RS1又は歯茎全体判定結果RS2と、上述の解説コメント又は商品紹介情報とが対応づけられて、口内状態判定装置10aの記憶部(不図示)又は、他の装置に予め記憶されている。
また、口内ケア情報OCDは、被験者アンケート等の調査により別途取得した歯科に関する情報(例えば、インプラント、銀歯、金歯、矯正器具の有無)と対応づけられることによって、適切な解説コメント又は商品紹介情報を被験者に提供することができる。
口内ケア情報取得部160は、歯毎判定結果RS1又は歯茎全体判定結果RS2を検索キーにして検索し、歯毎判定結果RS1又は歯茎全体判定結果RS2に対応付けられている解説コメント又は商品紹介情報を口内ケア情報OCDとして取得する。口内ケア情報取得部160は、取得した口内ケア情報OCDを、通信部110を介して、端末装置20に送信する。すなわち、通信部110(提示部)は、口内ケア情報取得部160が取得する口内ケア情報OCDを提示する。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (5)
- 1本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を1本ずつ識別する識別部と、
前記識別部によって識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別部によって識別された歯に対応する部分の歯茎の状態を、前記識別部によって識別された歯ごとに、少なくとも2種類の評価項目によって判定する第1判定部と、
前記第1判定部の判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第2判定部と、
前記第1判定部による判定結果又は前記第2判定部による判定結果を提示する提示部と、
を備える口内状態判定装置。 - 前記第1判定部は、
前記歯茎の状態を、少なくとも3段階の評価段階によって判定する
請求項1に記載の口内状態判定装置。 - 前記第1判定部による判定結果又は前記第2判定部による判定結果に基づいて、判定結果に応じた口内ケア情報を取得する口内ケア情報取得部
をさらに備え、
前記提示部は、前記口内ケア情報取得部が取得する口内ケア情報をさらに提示する
請求項1又は請求項2に記載の口内状態判定装置。 - コンピュータが、1本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を1本ずつ識別する識別ステップと、
コンピュータが、前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも2種類の評価項目によって判定する第1判定ステップと、
コンピュータが、前記第1判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第2判定ステップと、
コンピュータが、前記第1判定ステップにおいて判定された判定結果又は前記第2判定ステップにおいて判定された判定結果を提示する提示ステップと、
を有する口内状態判定方法。 - コンピュータに、
1本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を1本ずつ識別する識別ステップと、
前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも2種類の評価項目によって判定する第1判定ステップと、
前記第1判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第2判定ステップと、
前記第1判定ステップにおいて判定された判定結果又は前記第2判定ステップにおいて判定された判定結果を提示する提示ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187666A JP7158234B2 (ja) | 2018-10-02 | 2018-10-02 | 口内状態判定装置、口内状態判定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187666A JP7158234B2 (ja) | 2018-10-02 | 2018-10-02 | 口内状態判定装置、口内状態判定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020054646A JP2020054646A (ja) | 2020-04-09 |
JP7158234B2 true JP7158234B2 (ja) | 2022-10-21 |
Family
ID=70105700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018187666A Active JP7158234B2 (ja) | 2018-10-02 | 2018-10-02 | 口内状態判定装置、口内状態判定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7158234B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102589A1 (ja) * | 2020-11-13 | 2022-05-19 | キヤノン株式会社 | 患者の口腔内の状態を推定する画像処理装置およびその制御方法、プログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080026340A1 (en) | 2006-07-25 | 2008-01-31 | The Procter & Gamble Company | Methods and products for analyzing gingival tissues |
WO2013018522A1 (ja) | 2011-07-29 | 2013-02-07 | メディア株式会社 | 歯周病の検査方法 |
DE102012103970A1 (de) | 2012-03-20 | 2013-09-26 | Parostatus.De Gmbh | Vorrichtung zur Erfassung des Parodontalstatus und Verfahren zur Ermittlung der Tiefe von Vertiefungen |
JP2014036880A (ja) | 2013-10-18 | 2014-02-27 | Hitachi Medical Computer Systems Inc | 医用画像診断支援装置及び医用画像診断支援プログラム |
WO2015008491A1 (ja) | 2013-07-19 | 2015-01-22 | 株式会社アクシオン・ジャパン | パノラマ画像撮影装置及び同装置で用いる画像診断方法 |
JP2016119950A (ja) | 2014-12-24 | 2016-07-07 | メディア株式会社 | 歯周病診断支援装置、歯周病診断支援システム、歯周病診断支援プログラム及び歯周病診断支援方法 |
WO2017175673A1 (ja) | 2016-04-05 | 2017-10-12 | ライオン株式会社 | 歯周病ステージの判定方法 |
JP2018126559A (ja) | 2018-04-11 | 2018-08-16 | メディア株式会社 | 歯周病診断支援装置及びその方法並びにプログラム |
-
2018
- 2018-10-02 JP JP2018187666A patent/JP7158234B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080026340A1 (en) | 2006-07-25 | 2008-01-31 | The Procter & Gamble Company | Methods and products for analyzing gingival tissues |
JP2009543654A (ja) | 2006-07-25 | 2009-12-10 | ザ プロクター アンド ギャンブル カンパニー | 歯肉組織を分析するための方法及び製品 |
WO2013018522A1 (ja) | 2011-07-29 | 2013-02-07 | メディア株式会社 | 歯周病の検査方法 |
DE102012103970A1 (de) | 2012-03-20 | 2013-09-26 | Parostatus.De Gmbh | Vorrichtung zur Erfassung des Parodontalstatus und Verfahren zur Ermittlung der Tiefe von Vertiefungen |
WO2015008491A1 (ja) | 2013-07-19 | 2015-01-22 | 株式会社アクシオン・ジャパン | パノラマ画像撮影装置及び同装置で用いる画像診断方法 |
US20160151026A1 (en) | 2013-07-19 | 2016-06-02 | Axion Japan Co., Ltd. | Panoramic image capturing device, and image-based diagnostic method used therein |
JP2014036880A (ja) | 2013-10-18 | 2014-02-27 | Hitachi Medical Computer Systems Inc | 医用画像診断支援装置及び医用画像診断支援プログラム |
JP2016119950A (ja) | 2014-12-24 | 2016-07-07 | メディア株式会社 | 歯周病診断支援装置、歯周病診断支援システム、歯周病診断支援プログラム及び歯周病診断支援方法 |
WO2017175673A1 (ja) | 2016-04-05 | 2017-10-12 | ライオン株式会社 | 歯周病ステージの判定方法 |
JP2018126559A (ja) | 2018-04-11 | 2018-08-16 | メディア株式会社 | 歯周病診断支援装置及びその方法並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020054646A (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11651494B2 (en) | Apparatuses and methods for three-dimensional dental segmentation using dental image data | |
US10076391B2 (en) | Method and system for bite registration | |
US11045293B2 (en) | Method for applying design guides | |
EP2678830B1 (en) | Hybrid stitching for 3d reconstruction | |
CN117257500A (zh) | 用于口内扫描的历史扫描参考 | |
JP2020179173A (ja) | 情報処理システム、情報処理方法、及び制御プログラム | |
Liang et al. | OralCam: enabling self-examination and awareness of oral health using a smartphone camera | |
WO2022020638A1 (en) | Systems, apparatus, and methods for dental care | |
US20220346915A1 (en) | Method for analysing a dental situation | |
JP7158234B2 (ja) | 口内状態判定装置、口内状態判定方法及びプログラム | |
JP2019155027A (ja) | 口腔疾患診断システム及び口腔疾患診断プログラム | |
WO2010077380A2 (en) | Global camera path optimization | |
ES2933803T3 (es) | Dispositivo de análisis de una situación dental | |
KR102351684B1 (ko) | 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
JP2022132256A (ja) | 口腔内画像撮像装置および歯科診断支援システム | |
KR20190004797A (ko) | 치주 조직 진단 지원장치 및 치주 조직 진단 지원시스템 | |
US20230274431A1 (en) | Image processing apparatus, method for controlling same, and storage medium | |
JP7202729B1 (ja) | 歯列矯正アドバイスシステム、歯列矯正アドバイス方法およびそのプログラム | |
KR102333726B1 (ko) | 치과 방사선 영상 판독 소견 작성 보조 시스템 | |
KR102494715B1 (ko) | 치아 분석 서버, 치아 분석 단말, 및 치아 분석 프로그램 | |
JP7188826B1 (ja) | Ai画像診断装置および歯科用oct画像診断装置 | |
JP7012398B1 (ja) | 歯科矯正治療支援装置及び歯科矯正治療支援プログラム | |
KR102633421B1 (ko) | 증강현실을 이용한 신경 치료 가이드 방법 및 이를 수행하기 위한 장치 | |
EP4227955A1 (en) | Enhanced scanning | |
Syakur et al. | Health of Dental and Mouth Based on Forward Chaining Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7158234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |