JP6996625B2 - プログラム，情報処理装置及び情報処理方法 - Google Patents

プログラム，情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP6996625B2
JP6996625B2 JP2020525015A JP2020525015A JP6996625B2 JP 6996625 B2 JP6996625 B2 JP 6996625B2 JP 2020525015 A JP2020525015 A JP 2020525015A JP 2020525015 A JP2020525015 A JP 2020525015A JP 6996625 B2 JP6996625 B2 JP 6996625B2
Authority
JP
Japan
Prior art keywords
input
images
image
teeth
tooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020525015A
Other languages
English (en)
Other versions
JPWO2019239529A1 (ja
Inventor
崇 熊谷
匡 藤岡
爾 木暮
和彦 片山
雄二 出来
史林 青木
文之 武久
嗣雅 山本
渉 大浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2019239529A1 publication Critical patent/JPWO2019239529A1/ja
Application granted granted Critical
Publication of JP6996625B2 publication Critical patent/JP6996625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Description

本発明は、プログラム，情報処理装置及び情報処理方法に関する。
従来から、レントゲン画像やComputed Tomography（ＣＴ）画像に基づいたArtificial Intelligence（ＡＩ）診断が行なわれている。ＡＩ診断は、例えば、膨大な量の特定の臓器の画像を学習対象として、どのような画像的特徴が表れていれば対象の臓器は正常であるか（或いは、疾患があるか）を学習することにより、行なわれる。
例えば、画像による診断を口腔画像（別言すれば、「歯のレントゲン画像」）に適用することで、歯の状態を診断することができる。この場合には、例えば、歯のレントゲン画像を学習対象として、どのような画像的特徴が表れていれば対象の歯が正常であるか（或いは、異常であるか）が学習される。
特開２０１２－１５０８０１号公報 国際公開第２０１５／１４１７６０号 特開２０１７－０３５１７３号公報
歯は奥歯や前歯，上下の歯の別によって形状が異なるため、各歯の位置を識別した上で各歯の画像的特徴を学習することが想定される。
従って、どの患者であっても同じ位置の歯が識別されるように各歯の位置を識別（別言すれば、「正規化」）した上で、対象の歯の状態と画像とを対応付けた学習データが準備される。
しかしながら、歯科医師等の作業者が学習データの準備のために、歯の位置の識別子を入力しながら、歯の状態についてのラベル付けを行なうことは効率的ではない。
１つの側面では、本明細書に記載する技術は、口腔の状態の自動診断のための学習用データを効率的に生成することを目的とする。
１つの側面において、プログラムは、コンピュータに、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、処理を実行させる。
開示のプログラムによれば、口腔の状態の自動診断のための学習用データを効率的に生成することができる。
実施形態の情報処理システムの構成例を模式的に示すブロック図である。 図１に示した情報処理装置及び端末のハードウェア構成例を模式的に示すブロック図である。 図２に示した情報処理装置及び端末の機能構成例を模式的に示すブロック図である。 図２に示した端末における第１の画面表示例を示す図である。 図２に示した端末における第２の画面表示例を示す図である。 図２に示した端末における保存データの構成例を示す図である。 図２に示した端末における一時保存データの構成例を示す図である。 図２に示した端末における未入力画像データの構成例を示す図である。 図２に示した端末における保存済みの全画像データの構成例を示す図である。 図２に示した端末における保存済みの患者別画像データの構成例を示す図である。 図２に示した情報処理装置における学習情報の生成処理を説明するフローチャートである。 図１１に示した入力受付処理の詳細を説明するフローチャートである。
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。本実施形態は、その趣旨を逸脱しない範囲で種々変形して実施することができる。
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の符号を付した部分は同様の部分を示している。
〔Ａ〕実施形態の一例
〔Ａ－１〕システム構成例
図１は、実施形態の情報処理システム１００の構成例を模式的に示すブロック図である。
情報処理システム１００は、情報処理装置１及び複数（図示する例では、４つ）の端末２を備える。情報処理装置１と複数の端末２とは、ネットワーク３を介して、互いに通信可能に接続される。
情報処理装置１は、サーバ機能を備えたコンピュータであり、複数の端末２に対して歯科レントゲン画像の評価ツールを提供する。
複数の端末２は、例えば、歯科医院や病院に配置される。複数の端末２は、歯科医師や歯科衛生士（「ユーザ」と称してもよい。）からの種々の情報の入力を受け付け、また、歯科医師や歯科衛生士に対する種々の情報を表示する。
図２は、図１に示した情報処理装置１及び端末２のハードウェア構成例を模式的に示すブロック図である。
情報処理装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２，表示制御部１３，記憶装置１４，入力Interface（Ｉ／Ｆ）１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。また、端末２は、ＣＰＵ２１，メモリ１２，表示制御部１３，記憶装置１４，入力Ｉ／Ｆ１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。
メモリ１２は、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ１２のソフトウェアプログラムは、ＣＰＵ１１又は２１に適宜に読み込まれて実行されてよい。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用されてよい。
表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。端末２の表示装置１３０には、図４及び図５を用いて後述される歯科レントゲン画像の評価結果の入力画面２００が表示される。
記憶装置１４は、例示的に、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。
入力Ｉ／Ｆ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御する。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
読み書き処理部１６は、記録媒体１６０が装着可能に構成される。読み書き処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
通信Ｉ／Ｆ１７は、外部装置との通信を可能にするためのインタフェースである。情報処理装置１は、通信Ｉ／Ｆ１７を介して、複数の端末２と通信可能に接続される。また、各端末２は、通信Ｉ／Ｆ１７を介して、情報処理装置１と通信可能に接続される。
ＣＰＵ１１及び２１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
ＣＰＵ１１は例示的に情報処理装置１全体の動作を制御し、ＣＰＵ２１は例示的に端末２全体を制御する。情報処理装置１及び端末２全体の動作を制御するための装置は、ＣＰＵ１１及び２１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１及び端末２全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
図３の（１）は、図２に示した情報処理装置１の機能構成例を模式的に示すブロック図である。また、図３の（２）は、図２に示した端末２の機能構成例を模式的に示すブロック図である。
情報処理装置１は、処理部１０としての機能を備える。図３の（１）に示すように、処理部１０は、取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４及び生成処理部１１５として機能する。また、端末２は、処理部２０としての機能を備える。図３の（２）に示すように、処理部２０は、端末表示処理部２２１及び格納処理部２２２として機能する。
なお、これらの取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４，生成処理部１１５，端末表示処理部２２１及び格納処理部２２２として機能を実現するためのプログラムは、例えば前述した記録媒体１６０に記録された形態で提供される。そして、コンピュータは読み書き処理部１６を介してその記録媒体１６０からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。
取得処理部１１１，第１表示処理部１１２，第２表示処理部１１３，入力処理部１１４，生成処理部１１５，端末表示処理部２２１及び格納処理部２２２としての機能を実現する際には、内部記憶装置に格納されたプログラムがコンピュータのマイクロプロセッサによって実行される。このとき、記録媒体１６０に記録されたプログラムをコンピュータが読み取って実行してもよい。なお、本実施形態において、内部記憶装置はメモリ１２であり、マイクロプロセッサはＣＰＵ１１又は２１である。
図３の（２）に示す端末表示処理部２２１は、情報処理装置１からの指示に基づき、図４及び図５を用いて後述される歯科レントゲン画像の評価結果の入力画面２００を、表示装置１３０に表示させる。
図３の（２）に示す格納処理部２２２は、図４～図１０を用いてそれぞれ後述される、保存データ，一時保存データ，未入力画像データ，全画像データ及び患者別画像データを、記憶装置１４に格納する。
図３の（１）に示す取得処理部１１１は、端末２から、複数のレントゲン画像の登録を受け付ける。別言すれば、取得処理部１１１は、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する。なお、Ｎは、３以上の自然数である。
図３の（１）に示す第１表示処理部１１２は、取得処理部１１１によって登録を受け付けられた複数のレントゲン画像を、端末２の入力画面２００（図４及び図５を用いて後述）に表示させる。別言すれば、第１表示処理部１１２は、複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域２１３（図４及び図５を用いて後述）において、複数の画像を、対応する画像表示領域２１３それぞれに、配列表示させる。
図３の（１）に示す第２表示処理部１１３は、図４及び図５を用いて後述するように、レントゲン画像の登録の有無を選択するための選択領域２０５と、各歯の状態を示す情報を入力するための複数の入力領域２０６とを、端末２の入力画面２００に表示させる。別言すれば、第２表示処理部１１３は、Ｎ個の画像表示領域２１３のそれぞれに対応付けて、画像の有無を選択するための選択領域２０５と、Ｎ個の画像表示領域２１３のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域２０６とを表示させる。
図３の（１）に示す入力処理部１１４は、端末２から、選択領域２０５における選択内容と、入力領域２０６における入力内容とを受け付ける。別言すれば、入力処理部１１４は、Ｎ個の画像表示領域２１３のそれぞれに対応する、選択領域２０５における選択内容と、複数の入力領域２０６における入力内容との少なくとも一方を受け付ける。
図３の（１）に示す生成処理部１１５は、選択領域２０５における選択内容と、入力領域２０６における入力内容と、レントゲン画像とに基づき、学習データを生成する。別言すれば、生成処理部１１５は、受け付けた選択内容と入力内容と登録された複数の画像とに基づき、複数の歯の位置を識別可能な状態で、複数の歯それぞれの状態と複数の歯それぞれの画像とを対応させた学習用情報を生成する。
また、生成処理部１１５は、生成した学習用情報を用いて、深層学習（Deep Learning）により、複数の歯それぞれに応じた、各歯の状態に関する特徴に係る学習モデルを生成する。更に、入力処理部１１４は、生成した学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、状態を示す情報を生成する。そして、第２表示処理部１１３は、新たな画像に含まれる複数の歯それぞれに対する、状態を示す情報を、出力する。
学習モデルは、例えば、複数のレントゲン画像に含まれる複数の歯を歯槽骨も含めて１本ずつ切り取り、切り取った歯の画像と歯の位置と歯の評価結果とを対応付けて、生成されてよい。レントゲン画像の切り出しは、手動で切り出されたレントゲン画像を学習することにより、自動的に実施されてよい。
図４は、図２に示した端末２における第１の画面表示例を示す図である。
歯科レントゲン画像の評価結果の入力画面２００は、例示的に、入力者選択領域２０１，患者ＩＤ表示領域２０２，匿名化患者ＩＤ表示領域２０３，複数の歯番号表示領域２０４，複数のレントゲン画像有無選択領域２０５及び複数の評価結果入力領域２０６を含む。また、入力画面２００は、例示的に、一括入力ボタン２０７，取消ボタン２０８，一時保存ボタン２０９，自動入力ボタン２１０，保存ボタン２１１，ツール終了ボタン２１２及び画像表示領域群２１３を含む。なお、ＩＤは識別子の略称である。
入力者選択領域２０１では、例えば、プルダウン方式により、評価結果を入力する歯科医師や歯科衛生士の氏名が選択される。これにより、誤った評価結果が入力された場合に、誤った入力をしたユーザを特定できる。
歯科医師や歯科衛生士が入力した評価結果は、歯科医師に限って承認できるようにされてもよい。また、歯科医師や歯科衛生士の氏名が選択される際には、ＩＤやパスワード等の認証情報の入力が要求されてもよい。
患者ＩＤ表示領域２０２には、端末２が設置される歯科医院や病院において、各患者を一意に識別するための患者ＩＤが表示される。患者ＩＤは、対応する端末２に限って保持され、情報処理装置１においては保持されなくて良い。
匿名化患者ＩＤ表示領域２０３には、情報処理システム１００において各患者のレントゲン画像や評価結果を匿名化して扱うために、患者ＩＤを変換した匿名化患者ＩＤが表示される。患者ＩＤから匿名化患者ＩＤへの変換には、種々のアルゴリズムが用いられてよい。
歯番号表示領域２０４には、対応するレントゲン画像に写されている歯の番号が表示される。
図示する入力画面２００において、画像表示領域群２１３の左上１番目の画像（符号Ｈ１参照）には、左側から順番に、右上８番，右上７番，右上６番，右上５番の歯が写されている。そこで、画像表示領域群２１３の左上１番目の画像の上側に表示されている歯番号表示領域２０４（符号Ｈ２参照）には、左側から順番に、８，７，６，５と表示されている。
また、図示する入力画面２００において、画像表示領域群２１３の左上２番目の画像（符号Ｈ３参照）には、左側から順番に、右上７番，右上６番，右上５番，右上４番の歯が写されている。そこで、画像表示領域群２１３の左上２番目の画像の上側に表示されている歯番号表示領域２０４（符号Ｈ４参照）には、左側から順番に、７，６，５，４と表示されている。
このように、画像表示領域群２１３において配列表示される複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。
レントゲン画像有無選択領域２０５では、対応するレントゲン画像の有効又は無効が、クリックにより選択される。なお、レントゲン画像有無選択領域２０５は、単に選択領域２０５と称されてもよい。
図４に示す入力画面２００においては、全てのレントゲン画像が有効に設定されている。入力画面２００の左上１番目における選択領域２０５（符号Ｈ２参照）がクリックされて、レントゲン画像が無効に設定されると、入力画面２００の左上１番目における評価結果入力領域２０６（符号Ｈ２参照）と、画像表示領域群２１３の左上１番目におけるレントゲン画像（符号Ｈ１参照）とが、非表示になる。
選択領域２０５において或るレントゲン画像が無効に設定された際に、評価結果入力領域２０６において評価結果が入力されている場合には、入力されている評価結果を削除せずに保持し続けてよい。
評価結果入力領域２０６には、ユーザによって、対応する歯の評価結果が入力される。なお、評価結果入力領域２０６は、単に入力領域２０６と称されてもよい。
評価結果は、例えば、Ｇ，Ｑ，Ｈ，Ｘ，Ｎ及びＩによって表示される。例えば、Ｇは良好な状態で所定の期間内（例えば、１０年以内）に抜ける可能性が低い歯を示し、Ｑは所定の期間内に抜けるか否かの判断が困難な歯を示し、Ｈは所定の期間内に抜ける可能性が高い歯を示す。また、例えば、Ｘは欠損している歯を示し、Ｎはレントゲン画像において一部が写っていなかったり不鮮明であったりして判断できない歯を示し、Ｉはインプラントの歯を示す。
入力領域２０６に表示される評価結果は、歯番号表示領域２０４の対応する番号がクリックされることにより、切り替えられてよい。例えば、歯番号表示領域２０４の対応する番号が左クリックされる毎にＧ，Ｑ，Ｈ，Ｘ，Ｎ，Ｉの順に切り替わり、歯番号表示領域２０４の対応する番号が右クリックされる毎にＩ，Ｎ，Ｘ，Ｈ，Ｑ，Ｇの順に切り替わってよい。
また、入力領域２０６に表示される評価結果は、端末２のキーボード１５２におけるＧ，Ｑ，Ｈ，Ｘ，Ｎ及びＩの各キーによって入力されてよい。入力領域２０６に表示される評価結果に対してアルファベット小文字で入力された場合には、自動的にアルファベット大文字に変換されてよい。
更に、入力領域２０６に表示される評価結果は、端末２のキーボード１５２における任意の数字キー等をショートカットキーとして機能させて入力されてよい。
入力処理部１１４は、端末２のキーボード１５２によって評価結果が入力された場合には、入力領域２０６の各ボックスに表示される入力カーソルを、自動的に次のボックスに移動させる。そして、入力処理部１１４は、入力画面２００の各入力領域２０６において、入力カーソルを「コ」の字型（別言すれば、「Ｕを左側に転倒させた形」）で移動させる。
別言すれば、入力処理部１１４は、複数の入力領域２０６に対して各歯の状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。入力処理部１１４は、その後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。
上述したように、画像表示領域群２１３において配列表示される複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。そこで、同一の歯に対応する２以上の入力領域２０６に対して入力された評価結果が互いに異なっている場合には、対応する歯番号を赤く表示する等して、評価結果に矛盾がある旨をユーザに警告してもよい。ただし、異なる評価結果のいずれかが、レントゲン画像において一部が写っていなかったり不鮮明であったりして判断できない歯を示す「Ｎ」である場合には、ユーザに対する警告を行なわなくてもよい。
別言すれば、入力処理部１１４は、２枚の画像に対応する各入力領域において入力された、重複している一部の歯についての状態を示す情報が不一致である場合に、当該不一致を通知する。また、入力処理部１１４は、２枚の画像に対応する各入力領域２０６において入力された、重複している一部の歯についての状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、不一致の通知を抑止する。
一括入力ボタン２０７は、クリックされることにより、全ての入力領域２０６に対して、ユーザが予め設定した評価結果を入力したり、入力されている値をクリアしたりする。また、一括入力ボタン２０７は、クリックされることにより、ユーザが予め設定したレントゲン画像を無効に設定してもよい。図示する例では、一括入力ボタン２０７は、「Ｉ」～「Ｖ」及び「Ｃ」の各ボタンを含む。
例えば、「Ｉ」ボタンがクリックされることにより、全ての入力領域２０６に対して、評価結果「Ｇ」が入力されてよい。また、例えば、「ＩＩ」ボタンがクリックされることにより、一部のレントゲン画像が無効に設定されてよい。更に、例えば、「Ｃ」ボタンがクリックされることにより、全ての入力領域２０６において入力されている評価結果がクリアされてよい。
取消ボタン２０８は、クリックされることにより、全ての入力領域２０６において入力されている評価結果、及び、画像表示領域群２１３において表示されているレントゲン画像がクリアされてよい。取消ボタン２０８には、図示されているように、端末２のキーボード１５２における「Ｆ１」キーがショートカットキーとして設定されてよい。
一時保存ボタン２０９は、クリックされることにより、入力済みの評価結果が歯番号に対応付けて保存される。一時保存ボタン２０９には、図示されているように、端末２のキーボード１５２における「Ｆ５」キーがショートカットキーとして設定されてよい。なお、一時保存データの構成例については、図７を用いて後述する。
自動入力ボタン２１０は、クリックされることにより、過去の学習データに基づいて、各入力領域２０６に対して、評価結果が自動入力される。自動入力ボタン２１０には、図示されているように、端末２のキーボード１５２における「Ｆ８」キーがショートカットキーとして設定されてよい。
別言すれば、入力処理部１１４は、生成処理部１１５によって生成された学習モデルが存在する場合には、生成された学習モデルを用いて、複数の入力領域２０６に対して、各歯の状態を示す情報を自動入力する。
保存ボタン２１１は、クリックされることにより、全ての入力領域２０６における評価結果が歯番号に対応付けて保存される。保存ボタン２１１には、図示されているように、端末２のキーボード１５２における「Ｆ１２」キーがショートカットキーとして設定されてよい。なお、保存データの構成例については、図６を用いて後述する。
未入力の入力領域２０６がある際に保存ボタン２１１がクリックされた場合には、例えば、未入力の入力領域２０６における評価結果を一括で「Ｇ」に設定してもよいかをユーザに問い合わせるポップアップウィンドウが表示されてもよい。
ツール終了ボタン２１２は、クリックされることにより、入力画面２００を表示にさせ、歯科レントゲン画像の評価ツールを終了させる。
画像表示領域群２１３には、複数のレントゲン画像が表示される。図４に示す例では、最大で１６枚のレントゲン画像が表示される。なお、１６枚のレントゲン画像のうち、符号Ｈ５及びＨ６で示す２枚のレントゲン画像は、上下の歯の噛み合わせを観察するための補助的な画像である。
歯科レントゲン画像の評価ツールの起動時には、画像表示領域群２１３においてレントゲン画像は表示されておらず、例えば、画像表示領域群２１３をクリックすることにより、任意の患者のレントゲン画像が選択可能であってよい。また、レントゲン画像の選択後に、画像表示領域群２１３がクリックされた場合には、次の患者のレントゲン画像が選択可能であってよい。更に、レントゲン画像データのアイコンが画像表示領域群２１３にドラッグ＆ドロップされることにより、次の患者のレントゲン画像が選択可能であってよい。
生成処理部１１５は、患者毎の歯（別言すれば、「口腔」）の評価値を算出してもよい。この場合には、評価結果Ｈ，Ｘ及びＩの歯は評価対象とされずに、健康な歯であることや改善の余地がある歯であることを示す評価結果Ｇ及びＱの歯が評価対象とされてよい。
評価値は、例えば、次式によって算出されてよい。
評価値＝ｘｇ－ａｇ＋ｗ＊（ｘｑ－ａｑ）
ここで、ａｇは評価結果Ｇを示す標準とする歯の本数を示し、ａｑは評価結果Ｑを示す標準とする歯の本数を示し、ｘｇは評価結果Ｇを示す評価対象の歯の本数を示し、ｘｑは評価結果Ｑを示す評価対象の歯の本数を示す。また、ｗは、評価結果Ｇを示す歯の本数に対する評価結果Ｑを示す歯の本数の重み付け値であり、０以上且つ１未満の任意の値である。
図５は、図２に示した端末２における第２の画面表示例を示す図である。
図５に示す入力画面２００においては、符号Ｉ１～Ｉ８で示す選択領域２０５において、レントゲン画像の表示が非表示に設定されている。これにより、符号Ｉ１～Ｉ８で示す選択領域２０５に対応する入力領域２０６及びレントゲン画像は、表示されない。
次の患者のレントゲン画像が選択された場合において、選択領域２０５の選択内容は保持されてよい。すなわち、図５に示す状態において次の患者のレントゲン画像が選択された場合には、符号Ｉ１～Ｉ８で示す選択領域２０５において、レントゲン画像の表示が非表示に設定され続ける。
別言すれば、入力処理部１１４は、複数の画像とは異なる複数の画像を新たに取得した場合に、複数の画像における選択内容を、異なる複数の画像に対する選択領域２０５において保持する。
図６は、図２に示した端末２における保存データの構成例を示す図である。具体的には、図６の（１）は保存データのファイルの一覧を示し、図６の（２）は入力画面２００において保存される表示内容を示し、図６の（３）はComma-Separated Values（ＣＳＶ）形式の保存データの内容を示す。
図６の（１）に示すファイルの一覧では、入力画面２００における入力領域２０６毎に、複数のＣＳＶ形式のファイルが表示されている。
図６の（３）に示す保存データの内容では、１行目において、各歯の評価結果が他の値と対応付けられて登録される。２行目及び３行目は、拡張領域であり、例えば、各歯における歯垢の付着具合や歯周ポケットの深さに関する情報が登録されてよい。
図６の（１）におけるファイル名の符号Ａ１と、図６の（３）おける保存データの内容の符号Ｃ１とで示す「０１２５５９３７９７６３」は、図６の（２）において符号Ｂ１で示す匿名化患者ＩＤに対応する。
図６の（１）におけるファイル名の符号Ａ２と、図６の（３）おける保存データの内容の符号Ｃ２とで示す「２０１８０４２０１６２３２６」は、図６の（２）において評価結果が登録された日時である２０１８年４月２０日の１６時２３分２６秒を示す。
図６の（１）におけるファイル名の符号Ａ３と、図６の（３）おける保存データの内容の符号Ｃ３とで示す「０１」は、図６の（２）において符号Ｂ２で示す入力領域２０６の位置を示す。入力領域２０６の位置は、入力画面２００の左上らか右上に向かって順に０１，０２，０３，０４，０５，０６，０７であり、入力画面２００の左下から右下に向かって順に０８，０９，１０，１１，１２，１３，１４である。
図６の（１）におけるファイル名の符号Ａ４で示す「ＸＧＧＮ」と、図６の（３）おける保存データの内容の符号Ｃ４で示す「Ｘ，Ｇ，Ｇ，Ｎ」とは、図６の（２）において符号Ｂ２で示す入力領域２０６における評価結果を示す。このように、ファイル名に評価結果を登録することで、ＡＩ解析処理における処理速度を向上できる。選択領域２０５においてレントゲン画像が無効に設定されている歯についての評価結果には、「－」や「０」が登録されてよい。
保存データには、患者の年代や性別，喫煙歴等の情報が登録されてもよい。
図７は、図２に示した端末２における一時保存データの構成例を示す図である。具体的には、図７の（１）は一時保存データのファイルの一覧を示し、図７の（２）はＣＳＶ形式の一時保存データの内容を示す。
図７の（１）に示すように、例えば、評価結果が一時保存された場合には、該当の患者の複数のレントゲン画像を一纏めにしたビットマップ（ＢＭＰ）形式の画像データと、入力済みの評価結果等を含むＣＳＶ形式のデータとが、同じフォルダに保存される。
図７の（２）に示す一時保存データは、図７の（１）の符号Ｄ１で示すファイルを選択することにより表示される。一時保存データは、図７の（２）において符号Ｄ２で示すように、入力済みの全ての評価結果が一纏めにして登録される。
図８は、図２に示した端末２における未入力画像データの構成例を示す図である。具体的には、図８の（１）は画像保存フォルダの一覧を示し、図８の（２）は未入力画像データのプレビューイメージを示す。
図８の（１）に例示するように「レントゲン画像評価入力＿初期入力画像」のフォルダ（符号Ｅ１参照）が選択されると、図８の（２）に例示するように判定結果の未入力画像データ（符号Ｅ２参照）が表示される。図８の（２）に示すように、判定結果が未入力の初期状態では、該当の患者の複数のレントゲン画像を一纏めにしたＢＭＰ形式の画像データが保存される。
図９は、図２に示した端末２における保存済みの全画像データの構成例を示す図である。具体的には、図９の（１）は画像保存フォルダの一覧を示し、図９の（２）は保存済みの画像データのプレビューイメージを示す。
図９の（１）に例示するように「レントゲン画像評価入力＿最終保存済み全画像」のフォルダ（符号Ｆ１参照）が選択されると、図９の（２）に例示するように最終保存済みの全画像データ（符号Ｆ２及びＦ３参照）の一覧が表示される。図９の（２）に示すように、最終保存済みの画像データとしては、該当の患者の複数のレントゲン画像を一纏めにしたＢＭＰ形式の画像データが保存される。
図１０は、図２に示した端末２における保存済みの患者別画像データの構成例を示す図である。具体的には、図１０の（１）は画像保存フォルダの一覧を示し、図１０の（２）は保存済みの画像データが格納されるフォルダの一覧を示す。
図１０の（１）に例示するように「レントゲン画像評価入力＿最終保存済み画像（患者別）」のフォルダ（符号Ｇ１参照）が選択されると、図１０の（２）に例示するように最終保存済みの画像データが患者毎に格納されるフォルダの一覧（符号Ｇ２参照）が表示される。保存済みの患者別画像データは、各フォルダ内において、複数の画像に分割されて保存されてよい。
〔Ａ－２〕動作例
図２に示した情報処理装置１における学習情報の生成処理を、図１１に示すフローチャート（ステップＳ１～Ｓ１２）に従って説明する。
取得処理部１１１は、端末２からの要求に応じて、複数のレントゲン画像を評価対象のレントゲン画像として登録する（ステップＳ１）。
第１表示処理部１１２は、端末２において、登録したレントゲン画像を入力画面２００に表示させる（ステップＳ２）。
第２表示処理部１１３は、端末２において、選択領域２０５及び入力領域２０６を入力画面２００に表示させる（ステップＳ３）。
入力処理部１１４は、選択領域２０５又は入力領域２０６に対するユーザからの入力を受け付ける（ステップＳ４）。なお、ステップＳ４における処理の詳細は、図１２を用いて後述する。
入力処理部１１４は、保存ボタン２１１をクリックされることにより、評価結果の保存指示が発生したかを判定する（ステップＳ５）。
保存指示が発生していない場合には（ステップＳ５のＮｏルート参照）、処理はステップＳ４へ戻る。
一方、保存指示が発生している場合には（ステップＳ５のＹｅｓルート参照）、入力処理部１１４は、変数ｋを１に設定する（ステップＳ６）。
入力処理部１１４は、選択領域２０５において、ｋ番目の対象のレントゲン画像が有効に設定されているかを判定する（ステップＳ７）。
対象のレントゲン画像が有効に設定されている場合には（ステップＳ７のＹｅｓルート参照）、入力処理部１１４は、入力領域２０６における入力内容を受け付ける（ステップＳ８）。そして、処理はステップＳ１０へ進む。
一方、対象のレントゲン画像が有効に設定されていない場合には（ステップＳ７のＮｏルート参照）、入力処理部１１４は、選択領域２０５におけるレントゲン画像の無効を示す選択内容を受け付ける（ステップＳ９）。
生成処理部１１５は、入力領域２０６における入力内容又は選択領域２０５における選択内容に基づき、学習情報を生成する（ステップＳ１０）。
入力処理部１１４は、変数ｋが有効に設定されているレントゲン画像の枚数Ｍに達したかを判定する（ステップＳ１１）。
変数ｋがＭに達していない場合には（ステップＳ１１のＮｏルート参照）、入力処理部１１４は、変数ｋを“１”インクリメントする（ステップＳ１２）。そして、処理はステップＳ７へ戻る。
一方、変数ｋがＭに達している場合には（ステップＳ１１のＹｅｓルート参照）、学習情報の生成処理は終了する。
次に、図１１に示した入力受付処理（ステップＳ４）の詳細を、図１２に示すフローチャート（ステップＳ４１～Ｓ４５）に従って説明する。
入力処理部１１４は、自動入力ボタン２１０がクリックされることにより、自動入力の指示が発生したかを判定する（ステップＳ４１）。
自動入力の指示が発生していない場合には（ステップＳ４１のＮｏルート参照）、処理はステップＳ４５へ進む。
一方、自動入力の指示が発生している場合には（ステップＳ４１のＹｅｓルート参照）、入力処理部１１４は、学習モデルを取得する（ステップＳ４２）。
入力処理部１１４は、取得した学習モデルに基づき、端末２において、各入力領域２０６における判定結果を入力画面２００に表示させる（ステップＳ４３）。
入力処理部１１４は、自動入力した判定結果に対するユーザからの修正入力があるかを判定する（ステップＳ４４）。
修正入力がない場合には（ステップＳ４４のＮｏルート参照）、入力受付処理は終了する。
一方、修正入力がある場合には（ステップＳ４４のＹｅｓルート参照）、入力処理部１１４は、端末２において、ユーザからの手動による判定結果を入力画面２００に表示させる（ステップＳ４５）。そして、入力受付処理は終了する。
〔Ａ－３〕効果
上述した実施形態の一例における情報処理装置１によれば、例えば、以下の作用効果を奏することができる。
取得処理部１１１は、互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する。第１表示処理部１１２は、複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域２１３において、複数の画像を、対応する画像表示領域２１３それぞれに、配列表示させる。第２表示処理部１１３は、Ｎ個の画像表示領域２１３のそれぞれに対応付けて、画像の有無を選択するための選択領域２０５と、Ｎ個の画像表示領域２１３のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域２０６とを表示させる。入力処理部１１４は、Ｎ個の画像表示領域２１３のそれぞれに対応する、選択領域２０５における選択内容と、複数の入力領域２０６における入力内容との少なくとも一方を受け付ける。生成処理部１１５は、受け付けた選択内容と入力内容と登録された複数の画像とに基づき、複数の歯の位置を識別可能な状態で、複数の歯それぞれの状態と複数の歯それぞれの画像とを対応させた学習用情報を生成する。
これにより、口腔の状態の自動診断のための学習用データを効率的に生成することができる。また、判定結果の値を統一することができ、歯科医師や歯科衛生士の思考や習性に合せたUser Interface（ＵＩ）が提供されることにより、歯の位置情報と判断結果とを最小限の手間及び時間で入力できる。
生成処理部１１５は、生成した学習用情報を用いて、深層学習により、各歯の状態に応じた特徴に係る学習モデルを生成する。入力処理部１１４は、生成した学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、状態を示す情報を生成する。そして、第２表示処理部１１３は、新たな画像に含まれる複数の歯それぞれに対する、状態を示す情報を、出力する。
これにより、学習モデルに基づいて自動的に各歯の状態を評価することができる。
入力処理部１１４は、複数の入力領域２０６に対して状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。入力処理部１１４は、その後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域２０６に表示される入力カーソルを移動させる。
これにより、各歯の評価結果の入力順序と歯科医師による一般的な各歯の診断順序とが一致するため、各歯の評価結果を効率的に入力することができる。
配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複している。入力処理部１１４は、２枚の画像に対応する各入力領域において入力された、重複している一部の歯についての状態を示す情報が不一致である場合に、当該不一致を通知する。
これにより、同一の歯に対する評価対象が矛盾することを防止できる。
入力処理部１１４は、２枚の画像に対応する各入力領域２０６において入力された、重複している一部の歯についての状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、通知を抑止する。
これにより、２枚の画像のうち一方の画像に対応する入力領域２０６で例えば良好な歯を示す評価結果「Ｇ」が入力され、他方の画像に対応する入力領域２０６では映像が不鮮明で評価不能であることを示す評価結果「Ｎ」を入力された場合に、アラートを抑止できる。
入力処理部１１４は、複数の画像とは異なる複数の画像を新たに取得した場合に、複数の画像における選択内容を、異なる複数の画像に対する選択領域２０５において保持する。
これにより、１人目の患者について各歯の評価結果を入力した後に、２人目の患者について各歯の評価結果を入力する際に、１人目の患者と２人目の患者とで歯の残存位置が類似している場合に、評価結果の入力を効率的に行なえる。例えば、高齢者では奥歯の残存確率が低くなるため、複数人の高齢者の評価結果の入力を順次行なう際に、効率的に入力作業を実施できる。
〔Ｂ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
１００ ：情報処理システム
１ ：情報処理装置
１０，２０：処理部
１１，２１：ＣＰＵ
１２ ：メモリ
１３ ：表示制御部
１４ ：記憶装置
１５ ：入力Ｉ／Ｆ
１６ ：読み書き処理部
１７ ：通信Ｉ／Ｆ
１１１ ：取得処理部
１１２ ：第１表示処理部
１１３ ：第２表示処理部
１１４ ：入力処理部
１１５ ：生成処理部
１３０ ：表示装置
１５１ ：マウス
１５２ ：キーボード
１６０ ：記録媒体
２ ：端末
２００ ：入力画面
２０１ ：入力者選択領域
２０２ ：患者ＩＤ表示領域
２０３ ：匿名化患者ＩＤ表示領域
２０４ ：歯番号表示領域
２０５ ：レントゲン画像有無選択領域
２０６ ：評価結果入力領域
２０７ ：一括入力ボタン
２０８ ：取消ボタン
２０９ ：一時保存ボタン
２１０ ：自動入力ボタン
２１１ ：保存ボタン
２１２ ：ツール終了ボタン
２１３ ：画像表示領域群
２２１ ：端末表示処理部
２２２ ：格納処理部
３ ：ネットワーク

Claims (8)

  1. コンピュータに、
    互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、
    前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、
    前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、
    前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、
    受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、
    処理を実行させる、プログラム。
  2. 生成した前記学習用情報を用いて、深層学習により、前記複数の歯それぞれに応じた、前記各歯の状態に関する特徴に係る学習モデルを生成し、
    生成した前記学習モデルを用いて、新たな画像に含まれる複数の歯それぞれに対して、前記状態を示す情報を生成し、
    前記新たな画像に含まれる複数の歯それぞれに対する、前記状態を示す情報を、出力する、
    処理を前記コンピュータに実行させる、請求項１に記載のプログラム。
  3. 前記複数の入力領域に対して前記状態を示す情報が入力される際に、歯の配列順に上顎右側奥歯から上顎左側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させた後、歯の配列順に下顎左側奥歯から下顎右側奥歯への方向に対応する各入力領域に表示される入力カーソルを移動させる、
    処理を前記コンピュータに実行させる、請求項１又は２に記載のプログラム。
  4. 配列表示される前記複数の画像うち、隣り合って配列表示される２枚の画像に含まれる少なくとも一部の歯は重複しており、
    前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報が不一致である場合に、当該不一致を通知する、
    処理を前記コンピュータに実行させる、請求項１～３のいずれか１項に記載のプログラム。
  5. 前記２枚の画像に対応する各入力領域において入力された、重複している前記一部の歯についての前記状態を示す情報のいずれかが、当該歯の状態を判断できないことを示す場合には、前記通知を抑止する、
    処理を前記コンピュータに実行させる、請求項４に記載のプログラム。
  6. 前記複数の画像とは異なる複数の画像を新たに取得した場合に、前記複数の画像における前記選択内容を、前記異なる複数の画像に対する選択領域において保持する、
    処理を前記コンピュータに実行させる、請求項１～５のいずれか１項に記載のプログラム。
  7. 互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得する取得処理部と、
    前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させる第１表示処理部と、
    前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させる第２表示処理部と、
    前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付ける入力処理部と、
    受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する生成処理部と、
    を備える、情報処理装置。
  8. コンピュータが、
    互いに隣り合う複数の歯を含むＮ枚以下の複数の画像を取得し、
    前記複数の画像を歯の配列と対応付けて表示可能なＮ個の画像表示領域において、前記複数の画像を、対応する画像表示領域それぞれに、配列表示させ、
    前記Ｎ個の画像表示領域のそれぞれに対応付けて、画像の有無を選択するための選択領域と、前記Ｎ個の画像表示領域のそれぞれに表示される画像に含まれる各歯の状態を示す情報を入力するための複数の入力領域とを表示させ、
    前記Ｎ個の画像表示領域のそれぞれに対応する、前記選択領域における選択内容と、前記複数の入力領域における入力内容との少なくとも一方を受け付け、
    受け付けた前記選択内容と前記入力内容と登録された前記複数の画像とに基づき、前記複数の歯の位置を識別可能な状態で、前記複数の歯それぞれの状態と前記複数の歯それぞれの画像とを対応させた学習用情報を生成する、
    処理を実行することを特徴とする情報処理方法。
JP2020525015A 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法 Active JP6996625B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022620 WO2019239529A1 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2019239529A1 JPWO2019239529A1 (ja) 2021-06-17
JP6996625B2 true JP6996625B2 (ja) 2022-01-17

Family

ID=68843101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525015A Active JP6996625B2 (ja) 2018-06-13 2018-06-13 プログラム，情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20210090255A1 (ja)
JP (1) JP6996625B2 (ja)
WO (1) WO2019239529A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333898A (ja) 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のｘ線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416984B2 (en) * 2011-01-20 2013-04-09 Carestream Health, Inc. Automatic tooth charting using digital images
US9547903B2 (en) * 2015-04-16 2017-01-17 Carestream Health, Inc. Method for quantifying caries
JP6605249B2 (ja) * 2015-08-07 2019-11-13 株式会社吉田製作所 歯牙解析装置およびそのプログラム
JP7097545B2 (ja) * 2016-10-13 2022-07-08 メディア株式会社 画像分析システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333898A (ja) 2000-05-26 2001-12-04 Morita Mfg Co Ltd 歯顎顔面領域のｘ線画像の表示方法、表示装置、この表示方法を実現するプログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLIVEIRA Joao et al.，"Caries Detection in Panoramic Dental X-ray Images"，Computational Vision and Medical Image Processing，2010年10月07日，pp. 175-190

Also Published As

Publication number Publication date
WO2019239529A1 (ja) 2019-12-19
JPWO2019239529A1 (ja) 2021-06-17
US20210090255A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US20240087725A1 (en) Systems and methods for automated medical image analysis
US10984529B2 (en) Systems and methods for automated medical image annotation
US20240041418A1 (en) Systems and methods for processing of dental images
US10937108B1 (en) Computer vision-based claims processing
Pethani Promises and perils of artificial intelligence in dentistry
AU2020342539A1 (en) Automated medical image annotation and analysis
US20160038092A1 (en) Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
US20210134440A1 (en) Dental image analysis and treatment planning using an artificial intelligence engine
US11776677B2 (en) Computer vision-based analysis of provider data
KR20210056673A (ko) 전자차트 제공방법 및 그 장치
Singi et al. Extended arm of precision in prosthodontics: Artificial intelligence
JP6996625B2 (ja) プログラム，情報処理装置及び情報処理方法
Ghods et al. Application of Artificial Intelligence in Clinical Dentistry, a Comprehensive Review of Literature
Mishalov et al. Forensic dental identification in complicated fractured skull conditions: case report with adapted algorithm for image comparison
JP2014203275A (ja) 歯科治療シミュレーション装置、および歯科治療シミュレーションプログラム
Mudrak Artificial Intelligence and Deep Learning In Dental Radiology: A way forward in point of care radiology
KR102369100B1 (ko) 멀티 파노라마 영상 표시방법 및 이를 위한 영상 표시장치
Costa et al. Development of a dental digital dataset for research in artificial intelligence: the importance of labeling performed by radiologists
KR102496565B1 (ko) Cbct를 포함한 구강 영상의 원격 판독에 기반한 구강 건강 분석 서비스 제공 장치 및 방법
US20220351813A1 (en) Method and apparatus for training automatic tooth charting systems
KR20240003488A (ko) 환자 관리 시스템을 위한 썸네일 제공 방법 및 상기 방법을 수행하는 컴퓨팅 장치
WO2022234270A1 (en) Determining information
Shamaun et al. A Scoping Review of Machine Learning in Dental Radiography: Its Current Applications and Relevance in Dentistry
JP6569287B2 (ja) 表示プログラム、表示方法及び表示制御装置
KR20230097247A (ko) 전자차트 제공방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6996625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150