JP6994094B1 - 推定装置、推定方法、プログラム、及び生成方法 - Google Patents
推定装置、推定方法、プログラム、及び生成方法 Download PDFInfo
- Publication number
- JP6994094B1 JP6994094B1 JP2020154719A JP2020154719A JP6994094B1 JP 6994094 B1 JP6994094 B1 JP 6994094B1 JP 2020154719 A JP2020154719 A JP 2020154719A JP 2020154719 A JP2020154719 A JP 2020154719A JP 6994094 B1 JP6994094 B1 JP 6994094B1
- Authority
- JP
- Japan
- Prior art keywords
- body part
- ray image
- bone marrow
- photographed
- marrow edema
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 206010051763 Bone marrow oedema Diseases 0.000 claims abstract description 96
- 210000003857 wrist joint Anatomy 0.000 claims description 38
- 206010039073 rheumatoid arthritis Diseases 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 206010023203 Joint destruction Diseases 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 210000001503 joint Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 201000005671 spondyloarthropathy Diseases 0.000 description 4
- 206010061218 Inflammation Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002757 inflammatory effect Effects 0.000 description 3
- 230000004054 inflammatory process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- FBOZXECLQNJBKD-ZDUSSCGKSA-N L-methotrexate Chemical compound C=1N=C2N=C(N)N=C(N)C2=NC=1CN(C)C1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 FBOZXECLQNJBKD-ZDUSSCGKSA-N 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- 210000001185 bone marrow Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 208000027866 inflammatory disease Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 229960000485 methotrexate Drugs 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002562 urinalysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010051728 Bone erosion Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000001361 achilles tendon Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 229960003444 immunosuppressant agent Drugs 0.000 description 1
- 230000001861 immunosuppressant effect Effects 0.000 description 1
- 239000003018 immunosuppressive agent Substances 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 210000002997 osteoclast Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 210000003131 sacroiliac joint Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001226 toe joint Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/505—Clinical applications involving diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
Description
本発明の推定装置、推定方法、生成方法の一例について、以下、図を用いて説明する。なお、本実施形態では、推定の目的となる身体部位として手関節を例に説明するが、前述のとおり、本発明はこれに限定されない。
上記実施形態1では、学習用データとして、身体部位が撮影されたX線画像、および前記X線画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報のみを用いた例を示したが、本発明はこれに限定されず、学習用データとして、これら以外の任意の情報を含ませることができる。例えば、その身体部位を有する患者の情報(年齢、性別、体重、身長、血液検査、尿検査、痛みの有無等)を含ませることができる。このような学習用データを用いて学習器321を学習させ、学習済み学習器321に対して、対象の身体部位が撮影されたX線画像に加えて、対象の情報(年齢、性別、体重、身長、血液検査、尿検査、痛みの有無等)を入力することで、より精度の高い推定結果を得ることができる。
本発明の一態様は、前述の本発明の推定方法を、コンピュータ上で実行することが可能なプログラムである。前述の推定装置および推定方法の説明が、本実施形態にも援用される。
本発明によれば、前述のように、機械学習プログラム(アルゴリズム)を使用することで、関節等のX線画像から骨髄浮腫(BME)の有無を推定できる。本実施例では、BME又は非BMEのラベル付けがされた手関節のX線画像からなる学習用データを用いて学習済みモデルを作成し、その学習済みモデルの性能を評価した。
X線画像を分類するために、畳み込み層および全結合層を含むニューラルネットワークを使用した。ネットワーク設計を図5に示す。ネットワークの入力は、224×224ピクセルの解像度を有する画像(X線画像)である。オリジナル画像は、JPEG形式で保存され、約800×450ピクセルのサイズを有している。オリジナル画像のサイズは整理されていないため、画像を224×224ピクセルにリサイズする。図5の畳み込みニューラルネットワークは、3つの畳み込みブロック(「Conv」)と3つの全結合層(「FC」)とを含む。各畳み込みブロックは、2D畳み込み層(「Conv2d」)、Leaky Relu活性化層(「Leaky Relu」)、最大プーリング層(「Maxpooling」)、およびバッチ正規化層(「BN」)からなる。図5における各「Conv」上の数字は、カーネルサイズ、カーネルサイズ、カーネル数を示す。各「FC」上の数字は、ニューロン数を示す。最後の層は、各カテゴリの確率を出力することができるソフトマックス層(「Softmax」)である。出力は、BMEのスコアであり、0~1の範囲のBMEの確率である。
オリジナルデータは、577枚の手のX線画像からなる。そのうち450枚はBMEを含まず、残り127枚はBMEを含む。ここで、BMEは、MRI検査によってのみ観察可能である。各X線画像は、医師により、対応するMRI検査の診断結果を利用することでラベル付けされた。図6にBME画像および非BME画像の例を示す。左の2枚の画像はBMEの例であり、右の2枚の画像は非BMEの例である。早期のBME例では、軟部組織の腫脹および骨皮質の辺縁不明瞭が見られた。
FPR=FP/(FP+TN) (式2)
再現率=TP/(TP+FN) (式4)
以上のとおり、実施例1では、X線画像およびMRIベースのラベルを用いて、BMEおよび非BME間の2値分類タスクを設計した。また、これを評価したところ、結果はランダムな推測よりもはるかに良好であった。これらの結果によれば、BME画像と非BME画像との間にはある程度の差があるはずであり、機械学習を使用して、X線画像から骨髄浮腫(BME)の有無を推定できることが示された。
2 ユーザー端末
3 サーバ
4 通信回線網
10 推定システム
31 通信部
32 記憶部
33 制御部
321 学習器
322 X線画像DB
Claims (8)
- 身体部位が撮影された単純X線撮影画像、および前記単純X線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器を含み、
前記学習器に対象の身体部位が撮影された単純X線撮影画像が入力され、入力された単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果が出力され、ここで該出力はBMEのスコアである、
推定装置。 - 身体部位が手関節である、請求項1記載の推定装置。
- 骨髄浮腫が、関節リウマチに伴う骨髄浮腫である、請求項1または2記載の推定装置。
- さらに、学習器の内部状態を解析して、入力された単純X線撮影画像において異常が疑われる領域を可視化した画像を出力する可視化部を含む、請求項1~3のいずれか一項に記載の推定装置。
- 身体部位が撮影された単純X線撮影画像、および前記単純X線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器に、対象の身体部位が撮影された単純X線撮影画像を入力し、入力された単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力させ、ここで該出力はBMEのスコアである、推定工程を含む、
単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無を推定する方法。 - さらに、学習器の内部状態を解析して、入力された単純X線撮影画像において異常が疑われる領域を可視化した画像を出力する可視化工程を含む、請求項5記載の方法。
- コンピュータを、
身体部位が撮影された単純X線撮影画像、および前記単純X線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させた学習器として機能させ、
ここで、前記学習済み学習器は、対象の身体部位が撮影された単純X線撮影画像が入力され、入力された単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力し、ここで該出力は、BMEのスコアである、
プログラム。 - 学習器を、身体部位が撮影された単純X線撮影画像、および前記単純X線撮影画像に撮影された身体部位が骨髄浮腫を有しているか否かの情報を含む学習用データを用いて学習させる学習工程を含む、
単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無を推定可能な学習済み学習器の生成方法であって、
該学習済み学習器は、対象の身体部位が撮影された単純X線撮影画像が入力され、入力された単純X線撮影画像に撮影された身体部位における骨髄浮腫の有無に関する推定結果を出力し、ここで該出力は、BMEのスコアである、生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154719A JP6994094B1 (ja) | 2020-09-15 | 2020-09-15 | 推定装置、推定方法、プログラム、及び生成方法 |
EP21869399.2A EP4216154A1 (en) | 2020-09-15 | 2021-09-15 | Estimation device, estimation method, program, and generation method |
US18/025,746 US20230419493A1 (en) | 2020-09-15 | 2021-09-15 | Estimation device, estimation method, program, and generation method |
PCT/JP2021/033957 WO2022059713A1 (ja) | 2020-09-15 | 2021-09-15 | 推定装置、推定方法、プログラム、及び生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154719A JP6994094B1 (ja) | 2020-09-15 | 2020-09-15 | 推定装置、推定方法、プログラム、及び生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6994094B1 true JP6994094B1 (ja) | 2022-01-14 |
JP2022048732A JP2022048732A (ja) | 2022-03-28 |
Family
ID=80447963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020154719A Active JP6994094B1 (ja) | 2020-09-15 | 2020-09-15 | 推定装置、推定方法、プログラム、及び生成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230419493A1 (ja) |
EP (1) | EP4216154A1 (ja) |
JP (1) | JP6994094B1 (ja) |
WO (1) | WO2022059713A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100238171A1 (en) * | 2009-03-19 | 2010-09-23 | Bernhard Krauss | Method for preparing ct image displays, and an arithmetic logic unit for carrying out this method |
JP2016041245A (ja) * | 2014-08-15 | 2016-03-31 | 株式会社東芝 | 医用画像処理装置及び医用画像処理方法 |
US20160262709A1 (en) * | 2013-11-26 | 2016-09-15 | The Johns Hopkins University | Dual-energy cone-beam computed tomography with a multiple source, single-detector configuration |
US20200129114A1 (en) * | 2018-10-25 | 2020-04-30 | The Chinese University Of Hong Kong | Automatic computerized joint segmentation and inflammation quantification in mri |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10561442B2 (en) * | 2014-11-24 | 2020-02-18 | Zimmer Knee Creations, Inc. | Navigation instruments for subchondral bone treatment |
-
2020
- 2020-09-15 JP JP2020154719A patent/JP6994094B1/ja active Active
-
2021
- 2021-09-15 US US18/025,746 patent/US20230419493A1/en active Pending
- 2021-09-15 EP EP21869399.2A patent/EP4216154A1/en active Pending
- 2021-09-15 WO PCT/JP2021/033957 patent/WO2022059713A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100238171A1 (en) * | 2009-03-19 | 2010-09-23 | Bernhard Krauss | Method for preparing ct image displays, and an arithmetic logic unit for carrying out this method |
US20160262709A1 (en) * | 2013-11-26 | 2016-09-15 | The Johns Hopkins University | Dual-energy cone-beam computed tomography with a multiple source, single-detector configuration |
JP2016041245A (ja) * | 2014-08-15 | 2016-03-31 | 株式会社東芝 | 医用画像処理装置及び医用画像処理方法 |
US20200129114A1 (en) * | 2018-10-25 | 2020-04-30 | The Chinese University Of Hong Kong | Automatic computerized joint segmentation and inflammation quantification in mri |
Non-Patent Citations (2)
Title |
---|
片山 耕、他9名,"手関節広範囲骨髄浮腫に特徴的なレントゲン像について",北海道医学雑誌,2019年05月,vol.94(1),pp.61 |
片山 耕、他9名: ""手関節広範囲骨髄浮腫に特徴的なレントゲン像について"", 北海道医学雑誌, vol. vol.94(1), JPN6021032219, May 2019 (2019-05-01), pages 61, ISSN: 0004572720 * |
Also Published As
Publication number | Publication date |
---|---|
US20230419493A1 (en) | 2023-12-28 |
WO2022059713A1 (ja) | 2022-03-24 |
EP4216154A1 (en) | 2023-07-26 |
JP2022048732A (ja) | 2022-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020062378A (ja) | 医療画像の分析方法、システムおよびモデル | |
CN110766735B (zh) | 一种图像的匹配方法、装置、设备及存储介质 | |
US20200105414A1 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium | |
Snider et al. | An image classification deep-learning algorithm for shrapnel detection from ultrasound images | |
Tay et al. | Ensemble-based regression analysis of multimodal medical data for osteopenia diagnosis | |
JP2006149654A (ja) | 眼底の病変についての診断の支援 | |
JP2020057053A (ja) | 術後合併症予測方法、術後合併症予測プログラム及び術後合併症予測装置 | |
Kim et al. | Diagnostic triage in patients with central lumbar spinal stenosis using a deep learning system of radiographs | |
WO2021184799A1 (zh) | 医学图像处理方法、装置、设备及存储介质 | |
JP6994094B1 (ja) | 推定装置、推定方法、プログラム、及び生成方法 | |
Yosibash et al. | Femurs segmentation by machine learning from CT scans combined with autonomous finite elements in orthopedic and endocrinology applications | |
JP2019149094A (ja) | 診断支援システム、診断支援方法、及びプログラム | |
JP2019149093A (ja) | 診断支援システム、診断支援方法、及びプログラム | |
JP2020048685A (ja) | 乳がん診断支援装置、乳がん診断支援システム、および乳がん診断支援方法 | |
CN114820483A (zh) | 图像检测方法、装置及计算机设备 | |
Tamai et al. | Deep learning algorithm for identifying cervical cord compression due to degenerative canal stenosis on radiography | |
JP6862286B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
CN113643223A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
JP2021074095A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
KR102522172B1 (ko) | 사전 문진용 음성 분석을 통한 주관적 통증의 임상 연계성 분석 시스템 | |
JP7452847B2 (ja) | 状態変化推定システム | |
US11923072B2 (en) | Image diagnosis supporting device and image processing method | |
Ramos | Analysis of medical images to support decision-making in the musculoskeletal field | |
Ganesan et al. | Sushrut-Diagnosis Made Easy | |
EP3882819A1 (en) | Image processing program, image processing apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6994094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |