JP7173338B2 - 骨部画像解析方法および学習方法 - Google Patents

骨部画像解析方法および学習方法 Download PDF

Info

Publication number
JP7173338B2
JP7173338B2 JP2021528532A JP2021528532A JP7173338B2 JP 7173338 B2 JP7173338 B2 JP 7173338B2 JP 2021528532 A JP2021528532 A JP 2021528532A JP 2021528532 A JP2021528532 A JP 2021528532A JP 7173338 B2 JP7173338 B2 JP 7173338B2
Authority
JP
Japan
Prior art keywords
image
bone
learning
bone region
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021528532A
Other languages
English (en)
Other versions
JPWO2020255292A1 (ja
Inventor
翔太 押川
渉 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2020255292A1 publication Critical patent/JPWO2020255292A1/ja
Application granted granted Critical
Publication of JP7173338B2 publication Critical patent/JP7173338B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5282Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

この発明は、骨部画像解析方法および学習方法に関し、特に、被験者の所定の骨部領域の解析を行うための骨部画像解析方法および学習方法に関する。
従来、被験者の所定の骨部領域の解析を行うための骨部画像解析方法および学習方法が知られている。このような骨部画像解析方法は、たとえば、特許第2638875号公報に開示されている。
特許第2638875号公報には、放射線を発生する手段と、この放射線が照射される1枚の結晶格子と、を備える骨塩定量分析装置が開示されている。また、骨塩定量分析装置には、上記結晶格子において反射された放射線のうち所定の2つの反射角度の放射線のみをコリメート(互いの放射線が並進するように調整)することにより、2つの異なるエネルギの放射線を被験者に対して同時に照射する手段を備える。骨塩定量分析装置は、2つの異なるエネルギの放射線により被験者を同時にスキャンすることにより、各々のX線に対応する透過データを用いて、被験者の骨塩定量分析(骨密度の測定)を行うように構成されている。
特許第2638875号公報
上記のような骨密度の測定は、一般的に、腰椎や大腿骨の骨密度が対象となる。ここで、大腿骨は形状に個人差が大きく、安定した経過観察を実施するには、被験者の骨部の領域の特定が重要となる。そこで、従来、骨部等の骨部領域(骨部画像)をより正確に特定(抽出)するために、機械学習の学習結果に基づいて骨部領域の特定(抽出)を行うことが考えられている。
しかし、従来の手法では、骨部よりも輝度値が大きい金属からなる医療用の部材等が所定の骨部領域に設けられている被験者を撮影した撮影画像から、機械学習の学習結果に基づいて所定の骨部領域の抽出を行った場合に、上記医療用の部材の周囲の骨部を抽出することができない場合があるという不都合がある。これは、所定の骨部領域に上記医療用の部材が設けられているような症例の画像を学習のために十分な数だけ準備することが困難であることに起因して、上記症例の画像を用いた機械学習が十分に行われていないことが原因である。したがって、従来の手法では、骨部よりも輝度値が大きい上記部材が所定の骨部領域に設けられている被験者の撮影画像から骨部の抽出が困難であるため、上記撮影画像上において骨部の解析を行うことが困難であるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、骨部よりも輝度値が大きい部材が所定の骨部領域に設けられている被験者の撮影画像上において骨部の解析を行うのを容易化することが可能な骨部画像解析方法および学習方法を提供することである。
上記目的を達成するために、この発明の第1の局面における骨部画像解析方法は、所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、複数の骨部領域画像のうちの一部の骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した第1模擬部材画像を付加することにより、第1学習用入力画像を取得するステップと、第1学習用入力画像において所定の骨部領域および第1模擬部材画像が表示される位置の第1正解情報を含む第1ラベル画像を取得するステップと、第1学習用入力画像と第1ラベル画像とを用いて、X線撮影装置により撮影され、所定の骨部領域および所定の部材が表示された撮影画像上において所定の骨部領域および所定の部材を抽出するための機械学習を実施するステップと、機械学習の学習結果に基づいて、撮影画像上において、所定の骨部領域および所定の部材を抽出するステップと、を備える。
また、この発明の第2の局面による学習方法は、所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、複数の骨部領域画像のうちの一部の骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した模擬部材画像を付加することにより、学習用入力画像を取得するステップと、学習用入力画像において所定の骨部領域および模擬部材画像が表示される位置の正解情報を含むラベル画像を取得するステップと、学習用入力画像とラベル画像とを用いて、X線撮影装置により撮影され、所定の骨部領域および所定の部材が表示された撮影画像上において、所定の骨部領域および所定の部材を抽出するための機械学習を実施するステップと、を備える。
本発明によれば、上記のように、骨部よりも輝度値が大きい所定の部材を模擬した模擬部材画像が骨部領域画像に付加された第1学習用入力画像(学習用入力画像)を用いて機械学習が実施されている。これにより、所定の骨部領域に上記所定の部材が実際に設けられているような模擬的な第1学習用入力画像(学習用入力画像)を用いて機械学習を実施することができる。その結果、症例が少ないことに起因して所定の骨部領域に上記所定の部材が実際に設けられている画像が準備できなくても、上記の模擬的な第1学習用入力画像(学習用入力画像)を用いることにより、所定の骨部領域および所定の部材を抽出するための機械学習を実施することができる。これにより、骨部よりも輝度値が大きい所定の部材が所定の骨部領域に設けられている被験者の撮影画像から、所定の骨部領域(および所定の部材)を適切に抽出することができる。その結果、骨部よりも輝度値が大きい所定の部材が所定の骨部領域に設けられている被験者の撮影画像上において骨部の解析を行うのを容易化することができる。
第1実施形態によるX線撮影装置および学習装置を示した図である。 第1および第2実施形態による撮影画像(金属の部材なし)を示した図である。 第1および第2実施形態による撮影画像(金属の部材あり)を示した図である。 第1実施形態による骨部画像解析方法および学習方法を示したフロー図である。 第1および第2実施形態による骨部領域画像の取得方法を説明するための図である。 第1および第2実施形態による学習用入力画像の取得方法を説明するための図である。 第1実施形態による模擬部材画像が付加された学習用入力画像に対応するラベル画像の取得方法を説明するための図である。 第1実施形態による模擬部材画像が付加されていない学習用入力画像に対応するラベル画像の取得方法を説明するための図である。 第1および第2実施形態による再学習に用いる学習用入力画像の取得方法を説明するための図である。 第1実施形態による再学習に用いる学習用入力画像に対応するラベル画像の取得方法を説明するための図である。 第1実施形態による模擬部材画像を用いた機械学習に基づく抽出結果と、模擬部材画像を用いない機械学習(比較例)に基づく抽出結果とを比較した図である。 第2実施形態によるX線撮影装置および学習装置を示した図である。 第2実施形態による骨部画像解析方法および学習方法を示したフロー図である。 第2実施形態による学習用入力画像に対応するラベル画像の取得方法を説明するための図である。 第2実施形態による模擬部材画像を用いた機械学習に基づく抽出結果を示す図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
(X線撮影装置の構成)
図1に示すように、X線撮影装置100は、X線照射部1と、X線検出部2と、画像処理部3と、制御部4とを備えている。また、X線撮影装置100は、画像処理部3に処理された画像を表示する表示部5を備えている。
X線照射部1は、被験者TにX線を照射する。X線検出部2は、X線照射部1から被験者Tに照射されたX線を検出する。X線撮影装置100は、たとえば、被験者Tの骨部領域A(図2参照)の骨密度の算出(測定)に用いられる。骨密度の測定においては、たとえば、X線照射部1から2種類のエネルギのX線を被験者Tの測定部位に照射することにより、骨成分と他の組織とを区別するDEXA(Dual-Energy X-ray Absorptiometry)法が用いられる。なお、第1実施形態では、一例として、骨部領域Aを大腿骨と骨盤とを含む領域とする。すなわち、骨部領域Aは、被験者Tの左半身および右半身の各々に存在する。なお、骨部領域Aは、請求の範囲の「所定の骨部領域」の一例である。
X線照射部1は、X線源1aを含んでいる。X線源1aは、図示しない高電圧発生部に接続されており、高電圧が印加されることによりX線を発生させるX線管である。X線源1aは、X線出射方向をX線検出部2の検出面に向けて配置されている。
X線検出部2は、X線照射部1から照射され、被験者Tを透過したX線を検出し、検出したX線強度に応じた検出信号を出力する。なお、X線検出部2は、たとえば、FPD(Flat Panel Detector)により構成されている。
画像処理部3は、画像取得部3aと、機械学習ベース領域抽出部3bと、解析部3cと、を含む。なお、画像取得部3a、機械学習ベース領域抽出部3b、および、解析部3cの各々は、画像処理部3の中のソフトウェアとしての機能ブロックである。すなわち、画像取得部3a、機械学習ベース領域抽出部3b、および、解析部3cの各々は、制御部4の指令信号に基づき機能するように構成されている。
画像取得部3aは、X線検出部2により検出されたX線に基づいて被験者Tの撮影画像10(図2参照)を取得する。たとえば、撮影画像10は、異なる2つのエネルギのX線を用いて取得された各々の画像の差分を算出することにより取得されるエネルギ・サブトラクション画像である。なお、撮影画像10は、X線画像、または、被験者TのCT画像データから作成されたDRR(Digitally Reconstructed Radiograph)画像であってもよい。
機械学習ベース領域抽出部3bは、X線検出部2により検出されたX線に基づいて取得された撮影画像10において、学習装置200における機械学習の学習結果に基づいて、撮影画像10上における所定の領域を抽出するように構成されている。具体的には、第1実施形態では、機械学習として、深層学習が用いられる。
解析部3cは、撮影画像10において技師により指定された領域の、円形度の算出、および、骨密度の算出等を行うように構成されている。
(学習装置の構成)
学習装置200は、骨部領域A(図2参照)が表示された撮影画像10(図2参照)上において、骨部領域Aを抽出するための機械学習を実施するように構成されている。また、学習装置200は、骨部領域Aおよび部材300が表示されている撮影画像10(図3参照)上において、骨部領域Aおよび部材300を抽出するための機械学習を実施するように構成されている。なお、部材300は、請求の範囲の「所定の部材」の一例である。
具体的には、部材300とは、骨部よりも輝度値が大きい部材である。詳細には、部材300は、少なくとも一部が骨部領域Aの内部に配置された金属を含む。たとえば、部材300は、人工関節、固定用プレート、および、スクリュー等の、整形手術において使用される金属製留置物が考えられる。
(骨部画像解析方法および学習方法)
次に、図4~図11を参照して、X線撮影装置100における骨部画像解析方法、および、学習装置200における学習方法について説明する。
図4に示すように、骨部画像解析方法(学習方法)は、ステップ101において行われる、複数(たとえば100枚)の骨部領域画像20(図5参照)を取得するステップを備える。複数の骨部領域画像20は、骨部領域Aが表示された画像である。複数の骨部領域画像20は、X線撮影装置100により取得された画像であっても、その他の装置により取得された画像であってもよい。また、骨部領域画像20は、エネルギ・サブトラクション画像、X線画像、および、DRR画像のいずれであってもよい。なお、DRR画像の場合は、骨部のみのDRR画像でもよい。また、X線画像の場合は、低圧および高圧などの異なる管電圧で撮影された画像を含んでいてもよい。
具体的には、図5に示すように、骨部領域画像20を取得するステップは、左右のうちの一方(第1実施形態では一例として右側とする)の骨部領域Aが表示された右側骨部領域画像21を骨部領域画像20として取得するステップを含む。また、骨部領域画像20を取得するステップは、左右のうちの他方(すなわち左側)の骨部領域Aが表示された左側骨部領域画像22が左右反転された反転後骨部領域画像23を、骨部領域画像20として取得するステップを含む。すなわち、左側の骨部領域Aが表示された左側骨部領域画像22は、左右反転されることにより、右側の骨部領域Aが表示されているように模擬された反転後骨部領域画像23に変換される。たとえば、右側骨部領域画像21および反転後骨部領域画像23は、それぞれ50枚ずつ取得される。なお、右側骨部領域画像21は、請求の範囲の「一方側骨部画像」の一例である。また、左側骨部領域画像22および反転後骨部領域画像23は、それぞれ、請求の範囲の「他方側骨部反転前画像」および「他方側骨部反転後画像」の一例である。
次に、図4に示すように、骨部画像解析方法(学習方法)は、ステップ102において行われる、複数の学習用入力画像30(図6参照)を取得するステップを備える。なお、学習用入力画像30は、請求の範囲の「第1学習用入力画像」の一例である。
ここで、第1実施形態では、図6に示すように、ステップ102では、複数の骨部領域画像20のうちの一部の骨部領域画像20に、部材300を模擬した模擬部材画像300aを付加することにより、学習用入力画像30が取得される。具体的には、学習用入力画像30を取得するステップは、複数の骨部領域画像20のうちの一部の骨部領域画像20に、少なくとも一部が骨部領域Aの内部に配置された金属を模擬した模擬部材画像300aを付加するステップを含む。なお、模擬部材画像300aは、複数の骨部領域画像20のうちのたとえば約30%の骨部領域画像20の各々に付加される。なお、30%という割合は一例であり、これに限られない。また、図6に示した模擬部材画像300aの形状は一例であり、たとえば円形形状または三角形形状などでもよい。なお、模擬部材画像300aは、請求の範囲の「第1模擬部材画像」の一例である。
また、金属を模擬した模擬部材画像300aを付加するステップは、金属の輝度値と略等しい輝度値を有する模擬部材画像300aを、骨部領域画像20に付加するステップを含む。具体的には、模擬部材画像300aの輝度値は、金属として考えられる所定の輝度値の範囲の中からランダムに選択(設定)される。
詳細には、ステップ102では、右側骨部領域画像21に模擬部材画像300aが付加された右側学習用入力画像31と、反転後骨部領域画像23に模擬部材画像300aが付加された左側学習用入力画像32とが、複数の学習用入力画像30として取得される。すなわち、骨部領域Aの向きが全て揃っている複数の学習用入力画像30(31、32)の各々に、模擬部材画像300aが付加されている。なお、模擬部材画像300aが付加される骨部領域画像20が、右側骨部領域画像21のみであっても、反転後骨部領域画像23のみであってもよい。なお、右側学習用入力画像31および左側学習用入力画像32は、それぞれ、請求の範囲の「一方側学習用画像」および「他方側学習用画像」の一例である。
なお、以下では、右側骨部領域画像21と反転後骨部領域画像23とを区別せず骨部領域画像20として説明する。また、右側学習用入力画像31と左側学習用入力画像32とを区別せず学習用入力画像30として説明する。
第1実施形態では、学習用入力画像30を取得するステップは、模擬部材画像300aが付加される複数の骨部領域画像20ごとに、模擬部材画像300aの輝度値、形状、位置、および、数のうちの少なくとも1つが互いに異なるように、複数の骨部領域画像20の各々に模擬部材画像300aを付加することによって、複数の学習用入力画像30を取得するステップを含む。具体的には、複数の骨部領域画像20ごとに、付加される模擬部材画像300aの輝度値、形状、位置、および、数が、画像処理部3(画像取得部3a)によりランダムに設定される。この際、付加される模擬部材画像300aの輝度値、形状、位置、および、数のうちの少なくとも1つが、骨部領域画像20同士で互いに異なるように画像処理部3(画像取得部3a)により設定(調整)される。たとえば図6の右側学習用入力画像31と左側学習用入力画像32とでは、模擬部材画像300aの形状および数が異なっている。
次に、図4に示すように、骨部画像解析方法(学習方法)は、ステップ103において行われる、ラベル画像40(図7参照)を取得するステップを備える。ラベル画像40は、学習用入力画像30において骨部領域Aおよび模擬部材画像300aが表示される位置の正解情報400を含む。なお、ラベル画像40は、複数の学習用入力画像30の各々に基づいて、技師により手動で生成(取得)される画像である。なお、ラベル画像40および正解情報400は、それぞれ、請求の範囲の「第1ラベル画像」および「第1正解情報」の一例である。
また、ラベル画像40を取得するステップは、ラベル画像40上において骨部領域Aおよび模擬部材画像300aに対応する位置に共通の正解値が付与されたラベル画像40を取得するステップを含む。具体的には、学習用入力画像30上における骨部領域Aおよび模擬部材画像300aに対応するラベル画像40上の位置(座標)の各々に、共通の正解値1が与えられる。なお、ラベル画像40における残りの部分(背景部分)は値0の状態である。すなわち、ラベル画像40は、骨部領域Aおよび模擬部材画像300aに対応する領域と、残りの部分(背景部分)に対応する領域とで区分されるように2値化されている。
また、第1実施形態では、図4に示すように、骨部画像解析方法(学習方法)は、ステップ103において行われる、複数の骨部領域画像20のうちの模擬部材画像300aが付加されない骨部領域画像20において、骨部領域Aが表示される位置の正解情報410(図8参照)を含むラベル画像41(図8参照)を取得するステップを備える。なお、模擬部材画像300aが付加されない骨部領域画像20は、全ての骨部領域画像20のうちの約70%である。また、ラベル画像41および正解情報410は、それぞれ、請求の範囲の「第3ラベル画像」および「第3正解情報」の一例である。
具体的には、(模擬部材画像300aが付加されない)骨部領域画像20上における骨部領域Aに対応するラベル画像41上の位置(座標)に正解値1が与えられる。なお、ラベル画像41における残りの部分(背景部分)は値0の状態である。すなわち、ラベル画像41は、骨部領域Aに対応する領域と、残りの部分(背景部分)に対応する領域とで区分されるように2値化されている。
次に、図4に示すように、骨部画像解析方法(学習方法)は、ステップ104において行われる、機械学習を実施するステップを備える。
第1実施形態では、このステップ104における機械学習は、学習用入力画像30とラベル画像40とを用いて、骨部領域Aおよび部材300が表示された撮影画像10(図3参照)上において骨部領域Aおよび部材300を抽出するための機械学習を実施するステップである。言い換えると、この機械学習は、互いに対応する学習用入力画像30とラベル画像40との複数の組を学習用のデータとして用いることにより実施される。なお、互いに対応する学習用入力画像30とラベル画像40との組とは、1つの学習用入力画像30と、上記1つの学習用入力画像30から生成(取得)されたラベル画像40とにより構成される組を意味する。また、撮影画像10は、X線撮影装置100により撮影された画像である。
また、この機械学習を実施するステップは、学習用入力画像30とラベル画像40との組、および、模擬部材画像300aが付加されない骨部領域画像20とラベル画像41との組を用いて機械学習を実施するステップを含む。すなわち、模擬部材画像300aが付加されている骨部領域画像20(学習用入力画像30)、および、模擬部材画像300aが付加されていない骨部領域画像20の両方が、機械学習用の入力データとして用いられている。なお、学習用入力画像30とラベル画像40との組と、模擬部材画像300aが付加されない骨部領域画像20とラベル画像41との組との比は、たとえば3:7程度である。
次に、図4に示すように、機械学習を実施するステップ104は、再学習を実施するステップを備える。上記再学習では、学習用入力画像30の元となった骨部領域画像20に、学習用入力画像30の模擬部材画像300a(図6参照)とは輝度値、形状、位置、および、数のうちの少なくとも1つが異なる、部材300を模擬した模擬部材画像300b(図9参照)が付加された学習用入力画像50(図9参照)が用いられる。また、上記再学習では、学習用入力画像50において骨部領域Aおよび模擬部材画像300bが表示される位置の正解情報600を含むラベル画像60(図10参照)が用いられる。学習用入力画像50とラベル画像60とを用いた再学習は、学習用入力画像30(図7参照)とラベル画像40(図7参照)とを用いた機械学習の後に行われる。なお、ラベル画像60および学習用入力画像50は、それぞれ、請求の範囲の「第2ラベル画像」および「第2学習用入力画像」の一例である。また、正解情報600および模擬部材画像300bは、それぞれ、請求の範囲の「第2正解情報」および「第2模擬部材画像」の一例である。
なお、ラベル画像40(図7参照)と同様に、学習用入力画像50上における骨部領域Aおよび模擬部材画像300bに対応するラベル画像60上の位置(座標)の各々に、共通の正解値1が与えられる。なお、ラベル画像60における残りの部分(背景部分)は値0の状態である。すなわち、ラベル画像60は、骨部領域Aおよび模擬部材画像300bに対応する領域と、残りの部分(背景部分)に対応する領域とで区分されるように2値化されている。
また、上記再学習は、学習用入力画像30(図7参照)とラベル画像40(図7参照)とを用いた機械学習(およびラベル画像41を用いた学習)の後に数千回繰り返して行われる。模擬部材画像300bが付加される複数の骨部領域画像20の各々において、模擬部材画像300bの輝度値、形状、位置、および、数のうちの少なくとも1つが数千回の再学習の中で毎回変更されるように画像処理部3(画像取得部3a)により調整されている。
次に、図4に示すように、骨部画像解析方法は、ステップ105において行われる、画像抽出(セグメンテーション)の対象の画像を取得するステップを備える。具体的には、X線撮影装置100により被験者Tの撮影を行うことにより撮影画像10(図2および図3参照)を取得する。なお、左側の骨部領域Aが表示された撮影画像10が取得された場合は、上記左側の骨部領域Aが表示された撮影画像10を左右反転させることにより右側の骨部領域Aが表示されているように模した画像を取得する。これにより、画像抽出(セグメンテーション)の対象の画像における骨部領域Aの向きを、機械学習に用いられた学習用の画像(図7および図8参照)における骨部領域Aの向きと揃えることが可能である。
ここで、第1実施形態では、図4に示すように、骨部画像解析方法は、ステップ106において行われる、ステップ104の機械学習の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を抽出(セグメンテーション)するステップを備える。すなわち、数千回の再学習の学習結果に基づいて、撮影画像10上において骨部領域Aおよび部材300が抽出(セグメンテーション)される。
具体的には、図11に示すように、骨部領域Aおよび部材300を抽出するステップは、機械学習(再学習を含む)の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を一体的に抽出するステップを含む。すなわち、骨部領域Aおよび部材300は互いに区別されることなく、撮影画像10上の骨部領域Aおよび部材300に対応する領域(図11の(a)の黒塗りの部分)が抽出される。これにより、撮影画像10上において、骨部領域Aおよび部材300に対応する領域と、残りの領域(背景部分)に対応する領域(図11の(a)の白塗りの部分)とが区別される。なお、図11の(b)の比較例に図示しているように、従来の方法(骨部のみを学習する方法)では、部材300、および、部材300から離間した骨部は抽出されているが、部材300の周りの骨部が抽出されていない。
そして、図4に示すように、骨部画像解析方法は、ステップ107において行われる、画像の解析を行うステップを備える。具体的には、ステップ106において抽出された骨部領域Aにおいて任意の領域が画像上で選択され、この選択結果が画像処理部3により受け付けられる。そして、選択された解析領域において、骨密度の測定(算出)、および、円形度の測定(算出)等が行われる。なお、骨部領域Aと部材300とを区別して解析を行う場合は、画像抽出(セグメンテーション)された領域内において、たとえば輝度値に基づいたルールベースを用いた抽出を行うことによって、骨部領域Aだけを抽出することが可能である。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、上記のように、骨部画像解析方法は、骨部領域Aが表示された複数の骨部領域画像20を取得するステップと、複数の骨部領域画像20のうちの一部の骨部領域画像20に、骨部よりも輝度値が大きい部材300を模擬した模擬部材画像300aを付加することにより、学習用入力画像30を取得するステップと、を備える。また、骨部画像解析方法は、学習用入力画像30において骨部領域Aおよび模擬部材画像300aが表示される位置の正解情報400を含むラベル画像40を取得するステップを備える。また、骨部画像解析方法は、学習用入力画像30とラベル画像40とを用いて、X線撮影装置100により撮影され、骨部領域Aおよび部材300が表示された撮影画像10上において骨部領域Aおよび部材300を抽出するための機械学習を実施するステップを備える。また、骨部画像解析方法は、機械学習の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を抽出するステップを備える。これにより、骨部領域Aに部材300が実際に設けられているような模擬的な画像(学習用入力画像30)を用いて機械学習を実施することができる。その結果、症例が少ないことに起因して骨部領域Aに部材300が実際に設けられている画像が準備できなくても、上記の模擬的な学習用入力画像30を用いることにより、骨部領域Aおよび部材300を抽出するための機械学習を実施することができる。これにより、骨部よりも輝度値が大きい部材300が骨部領域Aに設けられている被験者Tの撮影画像10から、骨部領域A(および部材300)を適切に抽出することができる。その結果、骨部よりも輝度値が大きい部材300が骨部領域Aに設けられている被験者Tの撮影画像10上において骨部の解析を行うのを容易化することができる。
また、第1実施形態では、上記のように、学習用入力画像30を取得するステップは、複数の骨部領域画像20のうちの一部の骨部領域画像20に、少なくとも一部が骨部領域Aの内部に配置された金属を模擬した模擬部材画像300aを付加するステップを含む。これにより、骨部領域Aに金属が配置された撮影画像10から、骨部領域A(および金属)を適切に抽出することができる。
また、第1実施形態では、上記のように、金属を模擬した模擬部材画像300aを付加するステップは、金属の輝度値と略等しい輝度値を有する模擬部材画像300aを、骨部領域画像20に付加するステップを含む。これにより、実際に金属が骨部領域Aに配置されている場合に近い条件の学習用入力画像30により機械学習を実施することができる。その結果、骨部領域Aに金属が配置された撮影画像10から、骨部領域A(および金属)をより適切に抽出することができる。
また、第1実施形態では、上記のように、学習用入力画像30を取得するステップは、複数の骨部領域画像20の各々に模擬部材画像300aを付加する場合に、模擬部材画像300aが付加される複数の骨部領域画像20ごとに、模擬部材画像300aの輝度値、形状、位置、および、数のうちの少なくとも1つが互いに異なるように、複数の骨部領域画像20の各々に模擬部材画像300aを付加することによって、複数の学習用入力画像30を取得するステップを含む。これにより、互いに異なった学習用入力画像30を用いて機械学習を実施することができるので、機械学習に用いられる学習用入力画像30に多様性を持たせることができる。その結果、より多くの種類の学習用入力画像30を用いて機械学習を実施することができるとともに機械学習の精度を向上させることができるので、部材300が骨部領域Aに設けられている撮影画像10から、骨部領域A(および部材300)をより適切に抽出することができる。
また、第1実施形態では、上記のように、ラベル画像40を取得するステップは、ラベル画像40上において骨部領域Aおよび模擬部材画像300aに対応する位置に共通の正解値が付与されたラベル画像40を取得するステップを含む。また、骨部領域Aおよび部材300を抽出するステップは、機械学習の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を一体的に抽出するステップを含む。これにより、骨部領域Aおよび模擬部材画像300aに互いに異なる正解値を付与する場合に比べて、より少ない正解値に基づいて機械学習を実施することができる。その結果、学習装置200における機械学習を比較的簡易化することができる。
また、第1実施形態では、上記のように、機械学習を実施するステップは、学習用入力画像30の元となった骨部領域画像20に、学習用入力画像30の模擬部材画像300aとは輝度値、形状、位置、および、数のうちの少なくとも1つが異なる、部材300を模擬した模擬部材画像300bが付加された学習用入力画像50と、学習用入力画像50において骨部領域Aおよび模擬部材画像300bが表示される位置の正解情報600を含むラベル画像60とを用いて、学習用入力画像30とラベル画像40とを用いた学習の後に再学習するステップを含む。また、機械学習の学習結果に基づいて骨部領域Aおよび部材300を抽出するステップは、再学習された学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を抽出するステップを含む。これにより、学習用入力画像30およびラベル画像40とは異なる学習用入力画像50およびラベル画像60を用いて再学習をすることによって、学習用入力画像30およびラベル画像40を用いた学習のみを行う場合に比べてより多くの学習を行うことができるので、撮影画像10から骨部領域A(および部材300)をより一層適切に抽出することができる。また、学習用入力画像30の元となった骨部領域画像20を再学習において用いることによって、より多く骨部領域画像20を一度に学習する場合に比べて、予め準備(記憶)しておく骨部領域画像20の数が増大するのを抑制することができる。
また、第1実施形態では、上記のように、骨部画像解析方法は、複数の骨部領域画像20のうちの模擬部材画像300aが付加されない骨部領域画像20において、骨部領域Aが表示される位置の正解情報410を含むラベル画像41を取得するステップを備える。また、機械学習を実施するステップは、学習用入力画像30とラベル画像40との組、および、模擬部材画像300aが付加されない骨部領域画像20とラベル画像41との組を用いて機械学習を実施するステップを含む。これにより、部材300が骨部領域Aに設けられている撮影画像10から骨部領域A(および部材300)を抽出することができるとともに、骨部領域Aのみが表示されている撮影画像10から骨部領域Aを抽出することができる。
また、第1実施形態では、上記のように、複数の骨部領域画像20を取得するステップは、骨部領域Aが被験者Tの左半身および右半身の各々に存在する場合に、左右のうちの一方の骨部領域Aが表示された右側骨部領域画像21に模擬部材画像300aが付加された右側学習用入力画像31と、左右のうちの他方の骨部領域Aが表示された左側骨部領域画像22が左右反転された反転後骨部領域画像23に模擬部材画像300aが付加された左側学習用入力画像32とを、学習用入力画像30として取得するステップを含む。これにより、左側骨部領域画像22を左右反転させることにより、右側の骨部領域Aが表示されているように模擬された左側学習用入力画像32を取得することによって、右側学習用入力画像31および左側学習用入力画像32の各々における骨部領域Aの向きを揃えることができる。その結果、表示される骨部領域Aの左右の向きが揃えられていない場合と異なり、向きが統一された(すなわち学習の条件が統一された)学習データ(学習用入力画像30)に基づいて学習を行うことができるので、左右別々に学習する場合と比べて機械学習の学習効率をより高くすることができる。
また、第1実施形態では、上記のように、機械学習は、深層学習を含む。これにより、深層学習による抽出対象領域の抽出精度は比較的高いので、撮影画像10上において骨部領域A(および部材300)を精度良く抽出することができる。
また、第1実施形態では、上記のように、学習方法は、骨部領域Aが表示された複数の骨部領域画像20を取得するステップと、複数の骨部領域画像20のうちの一部の骨部領域画像20に、骨部よりも輝度値が大きい部材300を模擬した模擬部材画像300aを付加することにより、学習用入力画像30を取得するステップと、を備える。また、学習方法は、学習用入力画像30において骨部領域Aおよび模擬部材画像300aが表示される位置の正解情報400を含むラベル画像40を取得するステップを備える。また、学習方法は、学習用入力画像30とラベル画像40とを用いて、X線撮影装置100により撮影され、骨部領域Aおよび部材300が表示された撮影画像10上において、骨部領域Aおよび部材300を抽出するための機械学習を実施するステップを備える。これにより、骨部領域Aに部材300が実際に設けられているような模擬的な画像(学習用入力画像30)を用いて機械学習を実施することができる。その結果、症例が少ないことに起因して骨部領域Aに部材300が実際に設けられている画像が準備できなくても、上記の模擬的な学習用入力画像30を用いることにより、骨部領域Aおよび部材300を抽出するための機械学習を実施することができる。これにより、骨部よりも輝度値が大きい部材300が骨部領域Aに設けられている被験者Tの撮影画像10から、骨部領域A(および部材300)を適切に抽出することができる。その結果、骨部よりも輝度値が大きい部材300が骨部領域Aに設けられている被験者Tの撮影画像10上において骨部の解析を行うのを容易化することが可能な学習方法を提供することができる。
[第2実施形態]
次に、図12~図15を参照して、第2実施形態による骨部画像解析方法(学習方法)の構成について説明する。第2実施形態の骨部画像解析方法(学習方法)では、骨部領域Aと部材300とを区別せずに抽出を行う上記第1実施形態とは異なり、骨部領域Aと部材300とを区別して抽出が行われる。なお、上記第1実施形態と同様の構成は、第1実施形態と同じ符号を付して図示するとともに説明を省略する。
(X線撮影装置の構成)
図12に示すように、第2実施形態では、機械学習ベース領域抽出部3bは、X線検出部2により検出されたX線に基づいて取得された撮影画像10において、学習装置210における機械学習の学習結果に基づいて、撮影画像10上における所定の領域を抽出するように構成されている。
(骨部画像解析方法および学習方法)
次に、図13~図15を参照して、X線撮影装置100における骨部画像解析方法、および、学習装置210における学習方法について説明する。
図13に示すように、骨部画像解析方法は、ステップ113において行われる、ラベル画像70(図14参照)を取得するステップを備える。ラベル画像70は、学習用入力画像30において骨部領域Aおよび模擬部材画像300aが表示される位置の正解情報700(図14参照)を含む。なお、ラベル画像70および正解情報700は、それぞれ、請求の範囲の「第1ラベル画像」および「第1正解情報」の一例である。
ここで、第2実施形態では、図14に示すように、ラベル画像70を取得するステップは、ラベル画像70上において骨部領域Aおよび模擬部材画像300aに対応する位置に互いに異なる正解値が付与されたラベル画像70を取得するステップを含む。具体的には、学習用入力画像30上における骨部領域Aに対応するラベル画像70上の位置(座標)に正解値1が与えられるとともに、学習用入力画像30上における模擬部材画像300aに対応するラベル画像70上の位置(座標)に正解値2が与えられる。すなわち、正解情報700は、学習用入力画像30において骨部領域Aが表示される位置の正解情報700aと、学習用入力画像30において模擬部材画像300aが表示される位置の正解情報700bとを含む。なお、ラベル画像70における残りの部分(背景部分)は値0の状態である。すなわち、ラベル画像70は、骨部領域Aに対応する領域と、模擬部材画像300aに対応する領域と、残りの部分(背景部分)に対応する領域とで区分されるように3値化されている。なお、正解情報700aおよび正解情報700bは、請求の範囲の「第1正解情報」の一例である。
なお、詳細な説明は省略するが、再学習においても、骨部領域Aおよび模擬部材画像300aに対応する位置に互いに異なる正解値が付与されたラベル画像(図示せず)に基づいて機械学習が行われる。
また、図15に示すように、ステップ116の骨部領域Aおよび部材300を抽出するステップは、機械学習(再学習を含む)の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を個別に抽出するステップを含む。すなわち、骨部領域Aおよび部材300は互いに区別され、撮影画像10上の骨部領域Aに対応する領域(図15の(a)の左下がり斜線の部分)および部材300に対応する領域(図15の(a)の右下がり斜線の部分)の各々が個別に抽出される。これにより、撮影画像10上において、骨部領域Aに対応する領域と、部材300に対応する領域と、残りの領域(背景部分)に対応する領域(図15の(a)の白塗りの部分)とが区別(互いに個別に抽出)される。
そして、図13に示すように、骨部画像解析方法は、ステップ117において行われる、画像の解析を行うステップを備える。すなわち、骨部領域Aに対応する領域と、部材300に対応する領域と、残りの領域(背景部分)に対応する領域とが区別された画像上において、骨部領域Aの任意の領域が選択され、この選択結果が画像処理部3により受け付けられる。そして、選択された解析領域において、骨密度の測定(算出)、および、円形度の測定(算出)等が行われる。
なお、第2実施形態のその他の構成は、上記第1実施形態と同様である。
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
また、第2実施形態では、上記のように、ラベル画像70を取得するステップは、ラベル画像70上において骨部領域Aおよび模擬部材画像300aに対応する位置に互いに異なる正解値が付与されたラベル画像70を取得するステップを含む。また、骨部領域Aおよび部材300を抽出するステップは、機械学習の学習結果に基づいて、撮影画像10上において、骨部領域Aおよび部材300を個別に抽出するステップを含む。これにより、骨部領域Aと部材300との境界を抽出することができるので、骨部領域Aおよび部材300が個別に抽出された画像上において、骨部のみを選択して解析する作業を容易化することができる。また、骨部領域Aと部材300とを区別するために機械学習の学習結果に基づいた抽出以外の抽出(画素の輝度値の差に基づいた抽出法であるルールベースの抽出など)を行う必要がないので、骨部領域Aと部材300とを区別して抽出するための作業を簡易化することができる。
なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
(変形例)
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上第1および第2記実施形態では、骨部領域A(所定の骨部領域)の内部に配置された金属を模擬した模擬部材画像300a(第1模擬部材画像)を用いる例を示したが、本発明はこれに限られない。たとえば、骨部領域A(所定の骨部領域)の外部に配置された金属(すなわち骨の内部に埋め込まれていない金属)を模擬した模擬部材画像を用いてもよい。
また、上記第1および第2記実施形態では、金属を模擬した模擬部材画像300a(第1模擬部材画像)を用いる例を示したが、本発明はこれに限られない。金属以外の部材(たとえばセラミック)を模擬した模擬部材画像を用いてもよい。この場合、上記金属以外の部材の輝度値と略等しい輝度値を有する模擬部材画像を骨部領域画像20に付加する。
また、上第1および第2記実施形態では、再学習を複数回行う例を示したが、本発明はこれに限られない。たとえば、1回の機械学習に用いる学習用入力画像30(第1学習用入力画像)とラベル画像40(第1ラベル画像)との組の数を、再学習を行う場合よりも増加させて機械学習を1回のみ実施してもよい。
また、上記第1および第2記実施形態では、左側の骨部領域A(所定の骨部領域)が表示された左側骨部領域画像22(他方側骨部反転前画像)を左右反転させる例を示したが、本発明はこれに限られない。右側の骨部領域A(所定の骨部領域)が表示された右側骨部領域画像21(一方側骨部画像)を左右反転させてもよい。
また、上記第1および第2記実施形態では、左側の骨部領域A(所定の骨部領域)が表示された左側骨部領域画像22(他方側骨部反転前画像)を左右反転させた反転後骨部領域画像23(他方側骨部反転後画像)に模擬部材画像300a(第1模擬部材画像)を付加する例を示したが、本発明はこれに限られない。左側の骨部領域A(所定の骨部領域)が表示された左側骨部領域画像22(他方側骨部反転前画像)に模擬部材画像300a(第1模擬部材画像)を付加した画像を左右反転させてもよい。
また、上記第1および第2記実施形態では、学習用入力画像30(第1学習用入力画像)の元となった骨部領域画像20に模擬部材画像300b(第2模擬部材画像)を付加する例を示したが、本発明はこれに限られない。たとえば、複数の骨部領域画像20のうちの模擬部材画像300aが付加されなかった骨部領域画像20の少なくとも一部に模擬部材画像300b(第2模擬部材画像)を付加してもよい。
また、上記第2記実施形態では、骨部領域A(所定の骨部領域)と、部材300(所定の部材)と、残りの部分(背景部分)とを個別に抽出する例を示したが、本発明はこれに限られない。たとえば、部材300(所定の部材)と背景部分とは区別せず、骨部領域A(所定の骨部領域)と、部材300(所定の部材)および背景部分とを、個別に抽出してもよい。
また、上記第1および第2実施形態では、骨部領域A(所定の骨部領域)が大腿骨を含む領域である例を示したが、本発明はこれに限られない。たとえば、骨部領域A(所定の骨部領域)が大腿骨以外の骨部の領域であってもよい。
また、上記第1および第2実施形態では、機械学習として、深層学習(AI)が用いられる例を示したが、本発明はこれに限られない。たとえば、機械学習として、深層学習以外の機械学習を用いてもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、
前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した第1模擬部材画像を付加することにより、第1学習用入力画像を取得するステップと、
前記第1学習用入力画像において前記所定の骨部領域および前記第1模擬部材画像が表示される位置の第1正解情報を含む第1ラベル画像を取得するステップと、
前記第1学習用入力画像と前記第1ラベル画像とを用いて、X線撮影装置により撮影され、前記所定の骨部領域および前記所定の部材が表示された撮影画像上において前記所定の骨部領域および前記所定の部材を抽出するための機械学習を実施するステップと、
前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するステップと、を備える、骨部画像解析方法。
(項目2)
前記第1学習用入力画像を取得するステップは、前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、少なくとも一部が前記所定の骨部領域の内部に配置された金属を模擬した前記第1模擬部材画像を付加するステップを含む、項目1に記載の骨部画像解析方法。
(項目3)
前記金属を模擬した前記第1模擬部材画像を付加するステップは、前記金属の輝度値と略等しい輝度値を有する前記第1模擬部材画像を、前記骨部領域画像に付加するステップを含む、項目2に記載の骨部画像解析方法。
(項目4)
前記第1学習用入力画像を取得するステップは、複数の前記骨部領域画像の各々に前記第1模擬部材画像を付加する場合に、前記第1模擬部材画像が付加される前記複数の骨部領域画像ごとに、前記第1模擬部材画像の輝度値、形状、位置、および、数のうちの少なくとも1つが互いに異なるように、前記複数の骨部領域画像の各々に前記第1模擬部材画像を付加することによって、複数の前記第1学習用入力画像を取得するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目5)
前記第1ラベル画像を取得するステップは、前記第1ラベル画像上において前記所定の骨部領域および前記第1模擬部材画像に対応する位置に共通の正解値が付与された前記第1ラベル画像を取得するステップを含み、
前記所定の骨部領域および前記所定の部材を抽出するステップは、前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を一体的に抽出するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目6)
前記第1ラベル画像を取得するステップは、前記第1ラベル画像上において前記所定の骨部領域および前記第1模擬部材画像に対応する位置に互いに異なる正解値が付与された前記第1ラベル画像を取得するステップを含み、
前記所定の骨部領域および前記所定の部材を抽出するステップは、前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を個別に抽出するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目7)
前記機械学習を実施するステップは、前記第1学習用入力画像の元となった前記骨部領域画像に、前記第1学習用入力画像の前記第1模擬部材画像とは輝度値、形状、位置、および、数のうちの少なくとも1つが異なる、前記所定の部材を模擬した第2模擬部材画像が付加された第2学習用入力画像と、前記第2学習用入力画像において前記所定の骨部領域および前記第2模擬部材画像が表示される位置の第2正解情報を含む第2ラベル画像とを用いて、前記第1学習用入力画像と前記第1ラベル画像とを用いた学習の後に再学習するステップをさらに含み、
前記機械学習の学習結果に基づいて前記所定の骨部領域および前記所定の部材を抽出するステップは、再学習された学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目8)
前記複数の骨部領域画像のうちの前記第1模擬部材画像が付加されない前記骨部領域画像において、前記所定の骨部領域が表示される位置の第3正解情報を含む第3ラベル画像を取得するステップをさらに備え、
前記機械学習を実施するステップは、前記第1学習用入力画像と前記第1ラベル画像との組、および、前記第1模擬部材画像が付加されない前記骨部領域画像と前記第3ラベル画像との組を用いて前記機械学習を実施するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目9)
前記第1学習用入力画像を取得するステップは、前記所定の骨部領域が被験者の左半身および右半身の各々に存在する場合に、左右のうちの一方の前記所定の骨部領域が表示された一方側骨部画像に前記第1模擬部材画像が付加された一方側学習用画像と、左右のうちの他方の前記所定の骨部領域が表示された他方側学習用画像が左右反転された他方側骨部反転後画像に前記第1模擬部材画像が付加された他方側学習用画像とを、前記第1学習用入力画像として取得するステップを含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目10)
前記機械学習は、深層学習を含む、項目1~3のいずれか1項に記載の骨部画像解析方法。
(項目11)
所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、
前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した模擬部材画像を付加することにより、学習用入力画像を取得するステップと、
前記学習用入力画像において前記所定の骨部領域および前記模擬部材画像が表示される位置の正解情報を含むラベル画像を取得するステップと、
前記学習用入力画像と前記ラベル画像とを用いて、X線撮影装置により撮影され、前記所定の骨部領域および前記所定の部材が表示された撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するための機械学習を実施するステップと、を備える、学習方法。
10 撮影画像
20 骨部領域画像
21 右側骨部領域画像(一方側骨部画像)
22 左側骨部領域画像(他方側骨部反転前画像)
23 反転後骨部領域画像(他方側骨部反転後画像)
30 学習用入力画像(第1学習用入力画像)
31 右側学習用入力画像(一方側学習用画像)
32 左側学習用入力画像(他方側学習用画像)
40、70 ラベル画像(第1ラベル画像)
41 ラベル画像(第3ラベル画像)
50 学習用入力画像(第2学習用入力画像)
60 ラベル画像(第2ラベル画像)
100 X線撮影装置
300 部材(所定の部材)
300a 模擬部材画像(第1模擬部材画像)
300b 模擬部材画像(第2模擬部材画像)
400、700、700a、700b 正解情報(第1正解情報)
410 正解情報(第3正解情報)
600 正解情報(第2正解情報)
A 骨部領域(所定の骨部領域)
T 被験者

Claims (11)

  1. 所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、
    前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した第1模擬部材画像を付加することにより、第1学習用入力画像を取得するステップと、
    前記第1学習用入力画像において前記所定の骨部領域および前記第1模擬部材画像が表示される位置の第1正解情報を含む第1ラベル画像を取得するステップと、
    前記第1学習用入力画像と前記第1ラベル画像とを用いて、X線撮影装置により撮影され、前記所定の骨部領域および前記所定の部材が表示された撮影画像上において前記所定の骨部領域および前記所定の部材を抽出するための機械学習を実施するステップと、
    前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するステップと、を備える、骨部画像解析方法。
  2. 前記第1学習用入力画像を取得するステップは、前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、少なくとも一部が前記所定の骨部領域の内部に配置された金属を模擬した前記第1模擬部材画像を付加するステップを含む、請求項1に記載の骨部画像解析方法。
  3. 前記金属を模擬した前記第1模擬部材画像を付加するステップは、前記金属の輝度値と略等しい輝度値を有する前記第1模擬部材画像を、前記骨部領域画像に付加するステップを含む、請求項2に記載の骨部画像解析方法。
  4. 前記第1学習用入力画像を取得するステップは、複数の前記骨部領域画像の各々に前記第1模擬部材画像を付加する場合に、前記第1模擬部材画像が付加される前記複数の骨部領域画像ごとに、前記第1模擬部材画像の輝度値、形状、位置、および、数のうちの少なくとも1つが互いに異なるように、前記複数の骨部領域画像の各々に前記第1模擬部材画像を付加することによって、複数の前記第1学習用入力画像を取得するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  5. 前記第1ラベル画像を取得するステップは、前記第1ラベル画像上において前記所定の骨部領域および前記第1模擬部材画像に対応する位置に共通の正解値が付与された前記第1ラベル画像を取得するステップを含み、
    前記所定の骨部領域および前記所定の部材を抽出するステップは、前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を一体的に抽出するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  6. 前記第1ラベル画像を取得するステップは、前記第1ラベル画像上において前記所定の骨部領域および前記第1模擬部材画像に対応する位置に互いに異なる正解値が付与された前記第1ラベル画像を取得するステップを含み、
    前記所定の骨部領域および前記所定の部材を抽出するステップは、前記機械学習の学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を個別に抽出するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  7. 前記機械学習を実施するステップは、前記第1学習用入力画像の元となった前記骨部領域画像に、前記第1学習用入力画像の前記第1模擬部材画像とは輝度値、形状、位置、および、数のうちの少なくとも1つが異なる、前記所定の部材を模擬した第2模擬部材画像が付加された第2学習用入力画像と、前記第2学習用入力画像において前記所定の骨部領域および前記第2模擬部材画像が表示される位置の第2正解情報を含む第2ラベル画像とを用いて、前記第1学習用入力画像と前記第1ラベル画像とを用いた学習の後に再学習するステップをさらに含み、
    前記機械学習の学習結果に基づいて前記所定の骨部領域および前記所定の部材を抽出するステップは、再学習された学習結果に基づいて、前記撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  8. 前記複数の骨部領域画像のうちの前記第1模擬部材画像が付加されない前記骨部領域画像において、前記所定の骨部領域が表示される位置の第3正解情報を含む第3ラベル画像を取得するステップをさらに備え、
    前記機械学習を実施するステップは、前記第1学習用入力画像と前記第1ラベル画像との組、および、前記第1模擬部材画像が付加されない前記骨部領域画像と前記第3ラベル画像との組を用いて前記機械学習を実施するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  9. 前記第1学習用入力画像を取得するステップは、前記所定の骨部領域が被験者の左半身および右半身の各々に存在する場合に、左右のうちの一方の前記所定の骨部領域が表示された一方側骨部画像に前記第1模擬部材画像が付加された一方側学習用画像と、左右のうちの他方の前記所定の骨部領域が表示された他方側骨部反転前画像が左右反転された他方側骨部反転後画像に前記第1模擬部材画像が付加された他方側学習用画像とを、前記第1学習用入力画像として取得するステップを含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  10. 前記機械学習は、深層学習を含む、請求項1~3のいずれか1項に記載の骨部画像解析方法。
  11. 所定の骨部領域が表示された複数の骨部領域画像を取得するステップと、
    前記複数の骨部領域画像のうちの一部の前記骨部領域画像に、骨部よりも輝度値が大きい所定の部材を模擬した模擬部材画像を付加することにより、学習用入力画像を取得するステップと、
    前記学習用入力画像において前記所定の骨部領域および前記模擬部材画像が表示される位置の正解情報を含むラベル画像を取得するステップと、
    前記学習用入力画像と前記ラベル画像とを用いて、X線撮影装置により撮影され、前記所定の骨部領域および前記所定の部材が表示された撮影画像上において、前記所定の骨部領域および前記所定の部材を抽出するための機械学習を実施するステップと、を備える、学習方法。
JP2021528532A 2019-06-19 2019-06-19 骨部画像解析方法および学習方法 Active JP7173338B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024263 WO2020255292A1 (ja) 2019-06-19 2019-06-19 骨部画像解析方法および学習方法

Publications (2)

Publication Number Publication Date
JPWO2020255292A1 JPWO2020255292A1 (ja) 2020-12-24
JP7173338B2 true JP7173338B2 (ja) 2022-11-16

Family

ID=74040359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021528532A Active JP7173338B2 (ja) 2019-06-19 2019-06-19 骨部画像解析方法および学習方法

Country Status (4)

Country Link
JP (1) JP7173338B2 (ja)
KR (1) KR20220010529A (ja)
CN (1) CN113873945B (ja)
WO (1) WO2020255292A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2013240584A (ja) 2012-04-27 2013-12-05 Nihon Univ 画像処理装置、x線ct撮影装置および画像処理方法
JP2015530193A (ja) 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 3dコンピュータ断層撮影のための複数の骨のセグメンテーション

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638875B2 (ja) 1988-01-31 1997-08-06 株式会社島津製作所 骨塩定量分析装置
US8903167B2 (en) * 2011-05-12 2014-12-02 Microsoft Corporation Synthesizing training samples for object recognition
CN108460414B (zh) * 2018-02-27 2019-09-17 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108509915B (zh) * 2018-04-03 2021-10-26 百度在线网络技术(北京)有限公司 人脸识别模型的生成方法和装置
CN109255767B (zh) * 2018-09-26 2021-03-12 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109523507B (zh) * 2018-09-26 2023-09-19 苏州六莲科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2013240584A (ja) 2012-04-27 2013-12-05 Nihon Univ 画像処理装置、x線ct撮影装置および画像処理方法
JP2015530193A (ja) 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 3dコンピュータ断層撮影のための複数の骨のセグメンテーション

Also Published As

Publication number Publication date
JPWO2020255292A1 (ja) 2020-12-24
KR20220010529A (ko) 2022-01-25
WO2020255292A1 (ja) 2020-12-24
CN113873945B (zh) 2024-08-13
CN113873945A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
Unberath et al. DeepDRR–a catalyst for machine learning in fluoroscopy-guided procedures
CN109069097B (zh) 牙科用三维数据处理装置及其方法
Zimmerman et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement
Precht et al. Radiographers’ perspectives’ on Visual Grading Analysis as a scientific method to evaluate image quality
JP5830627B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
CN112165900A (zh) 图像解析方法、分割方法、骨密度测量方法、学习模型生成方法和图像生成装置
Mastmeyer et al. Direct haptic volume rendering in lumbar puncture simulation
KR20210028559A (ko) 화상 해석 방법, 화상 처리 장치, 골밀도 측정 장치 및 학습 모델의 작성 방법
US12026927B2 (en) Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program
JP2009160313A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2019208832A (ja) 歯科分析システムおよび歯科分析x線システム
JP7173338B2 (ja) 骨部画像解析方法および学習方法
CN104080404B (zh) 骨密度测量装置
US7260254B2 (en) Comparing images
JP4691732B1 (ja) 組織抽出システム
WO1998052011A9 (en) Systems and methods for analyzing phantom images
JP2002158923A (ja) 異常陰影検出方法および装置
Mol et al. Application of digital image analysis in dental radiography for the description of periapical bone lesions: a preliminary study
KR20170128975A (ko) 혈관 분할 장치 및 그것의 혈관 분할 방법
CN114343702A (zh) X射线摄影装置、图像处理方法及学习完毕模型生成方法
WO2020255290A1 (ja) 器官画像解析方法および学習方法
US7263155B2 (en) Radiography apparatus and radiation image processing method
EP4368109A1 (en) Method for training a scatter correction model for use in an x-ray imaging system
Altan et al. Detecting Prosthetic Restorations Using Artificial Intelligence on Panoramic Radiographs
WO2023195443A1 (ja) 画像処理装置、画像処理装置の作動方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R151 Written notification of patent or utility model registration

Ref document number: 7173338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151