JP7081680B2 - 学習済みモデルの製造方法、輝度調整方法および画像処理装置 - Google Patents

学習済みモデルの製造方法、輝度調整方法および画像処理装置 Download PDF

Info

Publication number
JP7081680B2
JP7081680B2 JP2020551014A JP2020551014A JP7081680B2 JP 7081680 B2 JP7081680 B2 JP 7081680B2 JP 2020551014 A JP2020551014 A JP 2020551014A JP 2020551014 A JP2020551014 A JP 2020551014A JP 7081680 B2 JP7081680 B2 JP 7081680B2
Authority
JP
Japan
Prior art keywords
image
brightness
loss function
trained model
brightness adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020551014A
Other languages
English (en)
Other versions
JPWO2020070834A1 (ja
Inventor
渉 ▲高▼橋
雄介 田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2020070834A1 publication Critical patent/JPWO2020070834A1/ja
Application granted granted Critical
Publication of JP7081680B2 publication Critical patent/JP7081680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、放射線画像の輝度調整方法に関する。
従来、被写体を撮影した医用放射線画像に対して、診断に適した輝度およびコントラストとなるように輝度調整を行うことが知られている。このような放射線画像の輝度調整は、たとえば、特開2015-181543号公報に開示されている。
上記特開2015-181543号公報には、被写体を撮影した入力画像から主要被写体領域を抽出し、その領域の輝度値を代表する代表値を取得し、代表値の近傍のコントラストを強調または抑制する階調変換係数を算出し、算出した階調変換係数を用いて、所定のアルゴリズムに従って入力画像の各画素の輝度値(画素値)を変換することにより、入力画像の輝度調整を行うことが開示されている。
特開2015-181543号公報
放射線画像の輝度調整では、画像中の被写体などの診断に関わる領域においてコントラストを高くして視認性を向上させる一方で、その領域において画素値の飽和が生じないようにすることが望まれる。画素値の飽和とは、画素値の上限または下限を超えるレベルの信号によって画素の情報が失われることであり、上限値を超えた画素はいわゆる「白飛び」、下限値を下回る画素はいわゆる「黒つぶれ」と呼ばれる。輝度調整によってコントラストを大きくするほど画素値の飽和が発生しやすくなることから、輝度調整は、被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、診断に関わる領域のコントラストを極力大きくすることが好ましい。
上記特開2015-181543号公報に開示された技術では、一定のアルゴリズムに従って輝度調整を行うため、領域の抽出ミスの発生や、画素値の分布が通常とは大きく異なる人工関節などの例外ケースに対処することが困難であり、被写体などの診断に関わる領域に白飛びや黒つぶれが発生することがある。そこで、近年、機械学習による学習済みモデルを用いて、輝度調整パラメータを入力画像から直接出力することが試みられている。機械学習が有効に機能すれば、被写体などの診断に関わる領域に白飛びや黒つぶれの発生を抑制しつつ極力コントラストを大きくでき、かつ、人工関節などの例外ケースにも対処可能となることが期待される。
しかし、機械学習では、多数の学習用データを用いて統計的な学習が行われるため、出力される輝度調整パラメータは最適値(被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値)に対して、コントラストを大きくする方向と、コントラストを小さくする方向とにそれぞればらつく。このため、最適値を出力するように機械学習させた学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらつくと、白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性があるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することが可能な学習済みモデルの製造方法、輝度調整方法および画像処理装置を提供することである。
上記目的を達成するために、この発明の第1の局面における学習済みモデルの製造方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、教師データに含まれる入力画像を入力として、学習モデルにより入力画像の輝度調整パラメータを出力するステップと、学習モデルによる輝度調整パラメータを用いて、輝度調整パラメータに関する損失関数の値を取得するステップと、損失関数の値が小さくなるように学習モデルを最適化するステップと、を備え、損失関数は、教師データに対して、輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
この発明の第1の局面における学習済みモデルの製造方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力するので、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制された学習済みモデルを得ることができる。つまり、製造された学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値(被写体などの診断に関わる所定領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値)に対してコントラストを小さくする方向に偏らせることができる。これにより、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
上記第1の局面における学習済みモデルの製造方法において、損失関数は、輝度調整後画像の所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されていてもよい。このように構成すれば、所定領域において白飛びまたは黒つぶれが発生する場合に、損失関数の値が大きくなるように偏るので、所定領域における白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデルを得ることができる。
上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに対して輝度調整後画像のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含んでもよい。このように構成すれば、コントラストに応じて出力値を偏らせるために複数の損失関数を準備する必要がなく、重み関数によって、損失関数の値を容易に偏らせることができる。
上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師パラメータと、教師データに含まれる入力画像に対する輝度調整パラメータとの誤差に基づく関数であってもよい。輝度調整パラメータの誤差に基づく損失関数を用いた機械学習では、誤差は最適値に対してコントラストが小さくなる方向とコントラストが大きくなる方向とに、対称的にばらつくと考えられる。そのため、偏りのない損失関数によって学習した場合、学習済みモデルから出力される輝度調整パラメータの予測分布のうち半分は、最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性がある。上記構成によれば、教師パラメータと輝度調整パラメータとの誤差に基づく損失関数であっても、誤差が最適値に対して対称的に評価されることを抑制し、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくすることができるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。
上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師画像の画素値と、教師データに含まれる入力画像を輝度調整パラメータに基づいて輝度調整した輝度調整後画像の画素値との比較に基づく関数であってもよい。ここで、教師画像は、最適値と考えられる輝度調整パラメータに基づいて輝度調整された輝度調整後画像である。画素値の比較に基づく損失関数を用いた機械学習では、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生していると、その領域の画素値が飽和している分だけ過小評価されることになるため、コントラストを大きくする方向に偏って学習されやすい。その結果、偏りのない損失関数によって学習した学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性がある。そこで、上記構成によれば、画素値の比較に基づく損失関数であっても、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。
上記損失関数が教師画像の画素値と輝度調整後画像の画素値との比較に基づく関数である場合に、損失関数は、画像中の所定領域において画素値の飽和が発生する場合に、所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されていてもよい。ここで、たとえば画像中の被写体が写り込む所定領域と、所定領域以外の背景の領域とでは、診断上の重要度が異なる。そのため、所定領域において画素値の飽和が発生する場合に損失関数の値を相対的に大きくし、所定領域以外では損失関数の値を相対的に小さくすることによって、所定領域での画素値の飽和の発生を抑制しつつ、重要度の低い所定領域以外の領域における誤差によって学習が影響を受けることを抑制することができる。
この場合、損失関数は、教師データに含まれる所定領域の位置情報と損失関数の偏り情報とに基づいて、入力画像における位置毎に偏りの大きさが設定されていてもよい。このように構成すれば、所定領域の位置情報に基づいて、所定領域と所定領域以外の領域とを区別し、損失関数の偏り情報に基づいて、所定領域と所定領域以外の領域とでの損失関数の偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数の偏りの大きさを異ならせる事ができる。
上記第1の局面における学習済みモデルの製造方法において、所定領域は、被写体が写り込む領域の少なくとも一部を含んでもよい。このように構成すれば、画像中において、診断に関わる被写体が写り込む領域におけるコントラストを小さくする方向へ学習を偏らせた学習済みモデルが得られるので、学習済みモデルにより出力される輝度調整パラメータを用いて、より確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。
上記第1の局面における学習済みモデルの製造方法において、輝度調整パラメータは、放射線画像において輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、画素値範囲の大きさを規定するウィンドウ幅と、を含んでもよい。このようなウィンドウレベルとウィンドウ幅による輝度調整では、ウィンドウ幅の値によって、所定領域の画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数によるコントラストの評価を容易に行うことができる。
この発明の第2の局面における輝度調整方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、放射線画像を取得するステップと、機械学習による学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するステップと、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
この発明の第2の局面における輝度調整方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力する。その結果、その損失関数によって機械学習した学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値に対してコントラストを小さくする方向に偏らせることができる。このため、最適値を出力するように学習させた学習済みモデルであっても、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制されるので、出力された輝度調整パラメータを用いて輝度調整を行っても、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
上記第2の局面における輝度調整方法において、被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、輝度調整パラメータを取得するステップにおいて、撮影部位または撮影目的に関する情報に基づいて、複数の学習済みモデルのうちから輝度調整に用いる学習済みモデルを選択してもよい。なお、撮影部位とは、被写体の頭部、腹部、腰部、四肢などの撮影の対象となる個々の部位を意味する。撮影目的とは、撮影された画像により把握したい診断内容または画像の用途であり、たとえば胸部画像であっても、心臓、肺、骨部のいずれの病変を把握するかといったものである。ここで、医用放射線画像では、撮影部位や撮影目的に応じて、描出すべき対象が異なるため、輝度調整パラメータの最適値も大きく異なる可能性がある。そこで、撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデルを用意し、撮影部位または撮影目的に関する情報に基づいて学習済みモデルの選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。
この発明の第3の局面における画像処理装置は、放射線画像を取得する画像取得部と、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するパラメータ取得部と、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
第3の局面における画像処理装置では、上記の構成によって、第2の局面による輝度調整方法と同様に、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
本発明によれば、上記のように、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することができる。
第1実施形態による輝度調整方法および学習済みモデルの製造方法を説明するための図である。 放射線画像の一例を示した図である。 学習済みモデルを説明するための図である。 輝度調整の内容を説明するための図である。 階調変換の第1の例(A)および第2の例(B)を示す図である。 複数のウィンドウ幅を示した図(A)および各ウィンドウ幅での階調変換を説明するための図(B)~(D)である。 第1実施形態における損失係数の変化(A)および輝度調整パラメータの予測分布(B)を示した図である。 第1実施形態による画像処理装置を備えた撮像システムを説明するための図である。 画像処理装置の構成を説明するためのブロック図である。 画像処理装置による輝度調整方法を説明するためのフロー図である。 輝度調整パラメータの取得処理(サブルーチン)のフロー図である。 撮影部位または撮影目的に関する情報を説明するための図である。 機械学習を行う学習データ処理部を示した図である。 第1実施形態による学習済みモデルの製造方法を説明するためのフロー図である。 教師データの入力画像に対する画像改変処理を説明するための図である。 第2実施形態の損失関数および教師データを示した図である。 入力画像(A)と、入力画像に対する重みマップの例(B)および(C)を示した図である。 第2実施形態における損失係数の変化(A)および輝度調整パラメータの予測分布(B)を示した図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1~図15を参照して、第1実施形態による学習済みモデルの製造方法、輝度調整方法および画像処理装置について説明する。
(輝度調整方法および学習済みモデルの製造方法の概要)
図1に示す第1実施形態による輝度調整方法は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習を用いた輝度調整方法である。
放射線画像1は、医師等による患者の診断等に用いられる医用画像であり、たとえば図2に示すようなX線画像である。具体的には、放射線画像1は、いわゆる単純X線撮影により被写体の診断部位(患部)を撮影した静止画像である。放射線画像1は、たとえば所定の階調数で区分された画素値により画素毎の濃淡(明暗)が表現された単色のデジタル画像である。図2では、被検体の腰部の大腿骨周辺を撮像した放射線画像1の例を示している。放射線画像1による診断では、診断の目的となる患部の状態をより正確に把握できるようにするために、放射線画像1の輝度調整が行われる。輝度調整は、階調変換ともいう。
具体的には、図1に示すように、第1実施形態の輝度調整方法は、放射線画像1を取得するステップS1と、機械学習による学習済みモデル10を用いて、放射線画像1に対する輝度調整パラメータ2を取得するステップS2と、輝度調整パラメータ2に基づいて、放射線画像1を輝度調整して輝度調整後画像3を取得するステップS3と、を備える。
ステップS1において、たとえばX線撮影装置などにより構成される撮像部210により、被写体の写り込む放射線画像1が取得される。ステップS1では、画像を記憶する画像サーバ250に予め記憶された放射線画像1が、画像サーバ250から取得されてもよい。
ステップS2において、学習済みモデル10は、輝度調整の対象となる放射線画像1が入力されると、入力された画像に対する輝度調整パラメータ2を出力する。学習済みモデル10は、入力された画像(放射線画像1)に対して、診断に最適な輝度調整パラメータ2を出力するように機械学習されている。機械学習法としては、入力された画像に対する輝度調整パラメータ2を出力する処理に適した手法であれば、特に限定されない。
一例として、第1実施形態では、学習済みモデル10は、図3に示すように、畳み込みニューラルネットワークCNNからなる前段と、全結合層FCからなる後段とを有する。このような学習済みモデル10は、前段の畳み込みニューラルネットワークCNNにより放射線画像1中から診断のために重要な所定領域を認識する画像認識の機能を有し、後段の全結合層FCにより前段の出力を輝度調整パラメータ2に変換する機能を有すると考えられる。畳み込みニューラルネットワークCNNの高精度な画像認識機能を学習済みモデル10が備えることにより、診断のために重要な領域での白飛びや黒つぶれなどの画素値の飽和を効果的に抑制することが期待される。また、畳み込みニューラルネットワークCNNの多層化(深層化)により、個々の放射線画像1の個体差や人工関節などの例外的なケースにも対応可能となることが期待される。
図1に示すように、輝度調整パラメータ2を出力する処理を行う学習済みモデル10を作成するためには、多数の教師データ20を用いた機械学習が行われる。本明細書では、学習済みモデル10の製造段階の、機械学習による学習中の状態を、学習モデル11とする。学習モデル11に対する機械学習が行われたものが、学習済みモデル10である。
第1実施形態において、機械学習に用いる教師データ20は、入力画像21と教師パラメータ22とを含む。入力画像21は、学習用に予め準備された放射線画像(図2参照)であって、輝度調整が行われる前の元画像である。教師パラメータ22は、入力画像21に対して出力される輝度調整パラメータの最適値として作成される正解データである。
医用放射線画像では、関心領域の視認性を向上させるため、画像中の被写体などの診断に関わる所定領域PA(図2参照)において、極力大きなコントラストが得られることが望まれる。一方、医用放射線画像では、画像中の被写体などの診断に関わる所定領域PAにおいて、いわゆる白飛びや黒つぶれなどの画素値の飽和が発生しないことが望まれる。一方、医用放射線画像では、画像中の被写体など所定領域PA以外の、背景や診断に関係のない領域PB(図2参照)については、コントラストの低下や画素値の飽和の発生は許容される。そのため、医用放射線画像における輝度調整パラメータの最適値とは、診断に関わる所定領域PAにおいて画素値の飽和が発生しない条件下で、所定領域PAのコントラストを極力大きくする値であると定義できる。教師パラメータ22は、個々の入力画像21に対して、たとえば教師データ作成者がパラメータ調整を行う作業によって導き出された最適値である。
学習済みモデルを製造する際、入力画像21を入力とし、輝度調整パラメータ2を出力として、入力画像21から教師パラメータ22への変換処理を学習モデル11に学習させる。機械学習では、学習中の学習モデル11の出力結果(輝度調整パラメータ2)と、教師データ20(教師パラメータ22)との差異を評価する損失関数が定義される。機械学習は、損失関数を小さくする最適化演算により、教師データ20との差異を最小化する出力結果を出力するように学習モデル11の内部パラメータを最適化(学習)させるものである。学習を収束させるのに十分な数の教師データ20を用いて、学習を収束させるのに十分な回数に亘って学習モデル11の最適化(学習)を行うことにより、学習済みモデル10が製造される。このように、学習済みモデル10は、輝度調整パラメータ2に関する損失関数の最適化を行う学習により作成されたものである。
ここで、第1実施形態の損失関数Aは、機械学習の教師データ20に対して輝度調整後画像3の所定領域PA(図2参照)のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
所定領域PA(図2参照)は、上記の通り、医用放射線画像において画像中の被写体などの診断に関わる領域である。所定領域PAは、被写体が写り込む領域の少なくとも一部を含む。所定領域PAは、被写体が写り込む領域の全部である必要はなく、被写体が写り込む領域の一部のみに設定されうる。診断に関わる関心領域は、被写体のうち疾患が存在すると考えられる一部の領域である。そのため、所定領域PAは、被写体が写り込む領域のうち関心領域を含む一部の領域であり得る。
ステップS3において、輝度調整パラメータ2に基づく輝度調整の処理が行われる。この結果、入力された放射線画像1の輝度が調整された輝度調整後画像3が取得される。輝度調整後画像3は、たとえば表示装置に出力され、医師等による診断に用いられる。
〈輝度調整パラメータ〉
次に、学習済みモデル10が出力する輝度調整パラメータ2について説明する。第1実施形態において、輝度調整(階調変換)処理の内容は特に限定されず、輝度調整パラメータ2は、画像の輝度調整処理に応じたものであれば特に限定されない。第1実施形態では、一例として、入力画像の階調範囲のうち一部の範囲を表示用の階調範囲に変換するウィンドウ処理による輝度調整を説明する。
図4は、放射線画像1の画素値(階調)のヒストグラムHGと、輝度調整後の出力階調との概念図である。ヒストグラムHGの横軸は、入力画像における画素値であり、ヒストグラムHGの縦軸は、その画素値を有する画素数(頻度)である。
ウィンドウ処理では、入力された画像のうち、輝度調整パラメータ2によって特定された一部の階調範囲を抽出して、輝度調整後の出力階調範囲に合わせるように変換する。これにより、ウィンドウ処理では、診断に関わる所定領域PA(図2参照)を構成する画像部分が有する画素値範囲を輝度調整パラメータ2によって特定することによって、所定領域PAのコントラストを調節することができる。また、ウィンドウ処理では、元の放射線画像1における階調範囲の一部を抽出して、表示装置の出力可能な階調範囲に変換することが可能である。図4に示すように、医用放射線画像の階調数は、一般に、表示装置が表示可能な階調数よりも大きい。たとえば医用放射線画像は0~4095の4096階調(12bit)の画素値を有する画像データである。一方、一般的な表示装置は0~255の256階調(8bit)で表示を行う。以下では、4096階調の入力画像に対して、256階調の階調範囲に変換するウィンドウ処理の例を説明する。
輝度調整パラメータ2は、放射線画像1において輝度調整後画像3に変換する画素値範囲の中央値を規定するウィンドウレベルWLと、画素値範囲の大きさを規定するウィンドウ幅WWと、を含む。輝度調整処理では、ウィンドウレベルWLを中心としたウィンドウ幅WWの階調範囲を、出力階調(0~255)に割り当てることにより、輝度調整が行われる。このとき、放射線画像1において、ウィンドウ幅WWの下限値VL以下の画素値(0~VL)を有する画素は、輝度調整後画像3において最低階調(0階調)に変換される。放射線画像1において、ウィンドウ幅WWの上限値VH以上の画素値(VH~4095)を有する画素は、輝度調整後画像3において最大階調(255階調)に変換される。これにより、輝度調整後画像3は、出力階調に応じた階調数で表現される画像となる。ウィンドウ幅WWの階調範囲は、出力階調の範囲(256階調)よりも大きくてもよいし、小さくてもよい。
図5は、ウィンドウ幅WWの階調範囲を、出力階調(0~255)に変換する場合の変換特性(濃度変換曲線)の例を示している。輝度調整では、図5(A)のように、ウィンドウ幅WWの階調範囲を一次式(線形の変換特性)で出力階調に変換してもよいし、図5(B)のように、ウィンドウ幅WWの階調範囲を二次式、対数関数などの非線形の変換特性で出力階調に変換してもよい。図5(B)のようなケースでは、輝度調整パラメータ2が変換特性(濃度変換曲線の形状)を決定する追加のパラメータを含んでもよい。
図6(A)に示すように、たとえばヒストグラムHGのうちハッチングを付した範囲に含まれる画素によって、所定領域PAの画像部分が構成されていると仮定する。このとき、ウィンドウ幅WWが、所定領域PA(ハッチング部)の階調範囲よりも大きいWWa、所定領域PAの階調範囲と一致するWWb、所定領域PAの階調範囲よりも小さいWWcの3パターンで設定される場合を考える。
ウィンドウ幅WWがWWaで設定される場合、図6(B)に示すように、所定領域PAの階調範囲WWbは、輝度調整後画像3において出力階調範囲(0~255)のうち一部の範囲で表現される。所定領域PAは、256階調よりも狭い範囲で表現される。
ウィンドウ幅WWがWWbで設定される場合、図6(C)に示すように、所定領域PAの階調範囲WWbは、輝度調整後画像3において出力階調範囲(0~255)の全範囲で表現される。そのため、ウィンドウ幅WWがWWaで設定される場合と比べてコントラストが増大する。
ウィンドウ幅WWがWWcで設定される場合、図6(D)に示すように、所定領域PAの階調範囲WWbは、ウィンドウ幅WWcよりも広くなるので、所定領域PAを構成する画素のうち、ウィンドウ幅WWcの外側の画素値(ウィンドウ幅WWcの上限値VH以上の画素値、および、ウィンドウ幅WWcの下限値VL以下の画素値)を有する画素については、輝度調整後画像3では画素値が飽和して0階調または255階調として表現される。所定領域PAの内でウィンドウ幅WWcの内側に属する画素については、輝度調整後画像3において出力階調範囲(0~255)の全範囲で表現されるため、コントラストが増大する。
このように、輝度調整パラメータ2では、ウィンドウ幅WWを小さくするほど、輝度調整後画像3での所定領域PAのコントラストが大きくなる。言い換えると、ウィンドウ幅WWを小さくするほど、輝度調整後画像3では所定領域PAに含まれる画素の濃淡(明暗)を、より多くの階調数で表現できるため、コントラスト分解能が高くなる。一方、ウィンドウ幅WWを小さくし過ぎると、輝度調整後画像3の所定領域PAに白飛びや黒つぶれなどの画素値の飽和が発生する。ウィンドウ幅WWを大きくするほど、輝度調整後画像3での所定領域PAのコントラストが小さくなる。ウィンドウ幅WWを大きくするほど、輝度調整後画像3では所定領域PAに含まれる画素の濃淡(明暗)が、より少ない階調数で表現されるため、コントラスト分解能が低くなる。
〈損失関数〉
次に、損失関数について説明する。図1に示したように、機械学習に用いる教師データ20(教師パラメータ22)は、輝度調整パラメータ2の最適値(正解)を提供するものであるため、極力、階調範囲WWb(図6参照)をウィンドウ幅WWとするように設計される。学習済みモデル10は、損失関数を用いた最適化によって、入力された放射線画像1に対して、階調範囲WWbに相当するウィンドウ幅WWの値を、輝度調整パラメータ2として出力するように構成される。そのため、輝度調整パラメータ2としてのウィンドウ幅WWが最適値(WWb)よりも大きい方向にばらつく場合、最適値と比較してコントラストが小さくなり、所定領域PAにおいて画素値の飽和は発生にくい方向に輝度調整が行われることになる。一方、輝度調整パラメータ2としてのウィンドウ幅WWが最適値(WWb)よりも小さい方向にばらつく場合、最適値と比較してコントラストが大きくなり、所定領域PAにおいて白飛びや黒つぶれなどの画素値の飽和が発生しやすい方向に輝度調整が行われることになる。
そこで、図1に示したように、第1実施形態では、損失関数Aは、機械学習の教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
すなわち、損失関数Aは、学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値である教師データ20に対してコントラストを小さくする方向に誤差を有している場合、誤差を相対的に小さく評価し、学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値である教師データ20に対してコントラストを大きくする方向に誤差を有している場合、誤差を相対的に大きく評価するように設計された関数である。機械学習では、損失関数Aを小さくするように学習モデル11を最適化するため、コントラストを大きくする方向の誤差に対して損失関数Aの出力値が大きくなる結果、学習モデル11は、よりコントラストを抑制する方向に学習が偏る。
したがって、仮に学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値(WWb)である教師パラメータ22よりも小さいウィンドウ幅WWを出力し、所定領域PAに画素値の飽和(白飛びまたは黒つぶれ)が生じた場合、損失関数Aは相対的に大きく見積もられることになる。このように、第1実施形態では、損失関数Aは、輝度調整後画像3の所定領域PAにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域PAにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。
損失関数Aの具体例を示す。第1実施形態では、損失関数Aは、教師データ20に含まれる教師パラメータ22と、教師データ20に含まれる入力画像21に対する輝度調整パラメータ2との誤差に基づく関数である。
また、損失関数Aは、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む。
たとえば、損失関数Aは、下式(1)に示す重み付き平均二乗誤差である。
Figure 0007081680000001
上式(1)において、WL、WWは、それぞれ、入力画像21に対して学習中の学習モデル11が出力するウィンドウレベルおよびウィンドウ幅(輝度調整パラメータ2)である。WL、WWは、教師データ20に含まれるウィンドウレベルおよびウィンドウ幅(教師パラメータ22)である。WWは、図6で例示した最適値(WWb)に相当する値である。f(r)が、重み関数である。wは、重みの値(w>1)である。
重み関数f(r)は、学習モデル11の出力結果と教師データ20との誤差(WW-WW)が負となる場合(ウィンドウ幅WWが最適値よりも小さく、コントラストが大きい場合)に、重みwの値が加味されて誤差を相対的に大きく見積もる。重み関数f(r)は、学習モデル11の出力結果と教師データ20との誤差(WW-WW)が正となる場合(ウィンドウ幅WWが最適値よりも大きく、コントラストが小さい場合)には、重みwを加味することなく、誤差の値をそのまま出力する。重みwは、特に限定されないが、たとえば10である。この場合、損失関数Aは、誤差(WW-WW)が正となる場合と比べて、誤差(WW-WW)が負となる場合に誤差を10倍大きく評価する。
これにより、損失関数Aは、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合(誤差(WW-WW)が負となる場合)に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。
次に、図7を参照して、第1実施形態の損失関数Aによる学習の偏りが、学習済みモデル10の出力する輝度調整パラメータ2に与える影響を説明する。図7(A)は、ウィンドウ幅WW(横軸)に対する、損失関数Aの出力値(縦軸)の変化を示したグラフであり、図7(B)は、損失関数Aを用いて最適化された学習済みモデル10が出力するウィンドウ幅WWの予測分布PDを示したグラフである。予測分布PDは、横軸の各ウィンドウ幅WWの値を学習済みモデル10が出力する頻度(確率)を示す。
比較例として、重み付けを含まない単純な平均二乗誤差による損失関数RMSEを用いたケースを破線で示す。比較例の損失関数RMSEは、下式(2)で表される。
Figure 0007081680000002
上式(2)および図7(A)から分かるように、比較例による損失関数RMSEは、誤差の方向(ウィンドウ幅WWの大小)に対して対称的である。そのため、損失関数RMSEを用いて最適化された学習済みモデルの出力結果の予測分布CDは、最適値WWに対して対称的な分布となると考えられる。上記の通り、出力されるウィンドウ幅WWが最適値WWに対し小さい側にずれた場合、所定領域PAに画素値の飽和が発生すると考えられる。比較例による損失関数RMSEを用いて最適化された学習済みモデルでは、出力結果の予測分布CDの対称性から、出力されるウィンドウ幅WWのうち、およそ半数のケースで、所定領域PAに画素値の飽和が発生する可能性がある。
これに対して、図7において実線で示した損失関数Aは、最適値(WW)で極小値を取りながら、ウィンドウ幅WWが最適値(教師データ20)よりも小さい方向において重み係数wの分だけ大きく見積もられるため、非対称的に偏っている。
そのため、第1実施形態の損失関数Aを用いて最適化された学習済みモデル10の出力結果の予測分布PDは、最適値WWに対して、コントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)よりも、コントラストを小さくする方向(ウィンドウ幅WWを大きくする方向)に偏った分布となる。
この結果、予測分布PDから分かるように、第1実施形態の損失関数Aを用いて最適化された学習済みモデル10では、出力されるウィンドウ幅WWが、最適値WWを超えてコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)へばらつくことが抑制され、所定領域PAに画素値の飽和が発生する可能性が抑制される。
(画像処理装置)
次に、図8および図9を参照して、第1実施形態の画像処理装置100について説明する。画像処理装置100は、被写体の写り込んだ放射線画像1に対して、放射線画像1の輝度調整パラメータ2を出力する機械学習による学習済みモデル10を用いて、輝度調整処理を行うように構成されている。すなわち、画像処理装置100は、上記した第1実施形態の輝度調整方法を実行する装置として構成されている。
図8の例では、画像処理装置100は、被写体の放射線画像1を撮像する撮像システム200の一部として構成されている。撮像システム200は、撮像部210と、制御部220と、画像処理装置100、操作部230と、表示部240とを備える。操作部230は、キーボード、マウスその他の入力装置である。表示部240は、液晶表示装置などの画像表示装置により構成されている。
撮像部210は、天板211と、X線照射部212と、X線検出部213とを含んでいる。天板211は、被写体SB(人)を支持するように構成されている。X線照射部212は、被写体SBに向けてX線を照射するように構成されている。X線検出部213は、たとえばFPD(Flat Panel Detector)により構成され、X線照射部212から照射され、被写体SBを透過したX線を検出するように構成されている。撮像部210により、被写体の関心領域が写り込んだX線画像(図2参照)が、放射線画像1として取得される。
制御部220は、撮像部210の撮像動作を制御するように構成されたコンピュータである。制御部220は、天板211、X線照射部212およびX線検出部213を移動させる図示しない移動機構の制御、X線照射部212によるX線照射の制御、撮影条件の設定などの各種制御を行う。
また、画像処理装置100は、撮像部210、操作部230および表示部240とそれぞれ接続されている。画像処理装置100は、撮像部210のX線検出部213から、X線の検出信号を取得し、取得した検出信号に基づいて放射線画像1を取得する。画像処理装置100は、放射線画像1(図1参照)の輝度調整を行い、輝度調整後画像3(図1参照)を取得する。
図9に示すように、画像処理装置100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、専用設計されたFPGA(field-programmable gate array)などのプロセッサ110と、ROM、RAM、揮発性または不揮発性記憶装置(HDD、SDD(solid state drive))などの記憶部120と、を備えたコンピュータにより構成されている。画像処理装置100は、所定のソフトウェア(プログラム)が記憶部にインストールされたコンピュータ(パーソナルコンピュータやワークステーション、スーパーコンピュータなど)または複数台のコンピュータからなるコンピュータシステムによって構成されうる。
第1実施形態では、画像処理装置100は、画像取得部111と、パラメータ取得部112と、調整処理部113と、を備える。画像取得部111と、パラメータ取得部112と、調整処理部113とは、たとえば、プロセッサ110の機能ブロックとして構築されている。すなわち、コンピュータが備えるプロセッサ110が、記憶部120に記憶されたプログラム121を実行することにより、画像取得部111、パラメータ取得部112、調整処理部113として機能する。
画像取得部111は、放射線画像1を取得するように構成されている。画像取得部111は、たとえば、X線検出部213から取得した検出信号に基づいて、放射線画像1を生成する。画像取得部111は、記憶部120に記憶された放射線画像1を記憶部120から読み出すことにより、または、外部の画像サーバ250からネットワークを介して放射線画像1を受信することにより、放射線画像1を取得しうる。画像取得部111は、取得した放射線画像1を、パラメータ取得部112および調整処理部113へそれぞれ出力する。
パラメータ取得部112は、記憶部120に記憶された学習済みモデル10を用いて、放射線画像1に対する輝度調整パラメータ2を取得するように構成されている。すなわち、パラメータ取得部112は、画像取得部111から取得した放射線画像1を学習済みモデル10に入力することにより、ウィンドウレベルWLおよびウィンドウ幅WWを含む輝度調整パラメータ2を取得する。パラメータ取得部112は、取得した輝度調整パラメータ2を、調整処理部113へ出力する。
調整処理部113は、輝度調整パラメータ2に基づいて、放射線画像1を輝度調整して輝度調整後画像3を取得するように構成されている。調整処理部113は、パラメータ取得部112から取得した輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)に基づいてウィンドウ処理を行い、輝度調整後画像3を取得する。調整処理部113は、取得した輝度調整後画像3を表示部240に出力し、記憶部120に記憶させる。また、調整処理部113は、操作部230を介して操作者からの入力操作を受け付ける。調整処理部113は、操作部230を介して、操作者による輝度調整パラメータ2の直接入力を受け付けることができる。輝度調整パラメータ2の入力を受け付けた場合、調整処理部113は、入力された輝度調整パラメータ2に基づいて、輝度調整を行う。
記憶部120は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習による学習済みモデル10を記憶する。すなわち、記憶部120は、図1に示したように、輝度調整パラメータ2に関する損失関数Aの最適化を行う学習により予め作成された学習済みモデル10を記憶する。
記憶部120は、この他、プロセッサ110が実行するプログラム121、放射線画像1を記憶している。また、記憶部120は、取得された輝度調整後画像3を記憶する。
画像処理装置100の画像取得部111と、パラメータ取得部112と、調整処理部113とを、プロセッサがソフトウェアを実行することにより実現される機能ブロックとして構築する代わりに、それぞれの処理を行う専用のハードウェアにより構築してもよい。
(輝度調整処理)
図10~図12を参照して、画像処理装置100による輝度調整処理を説明する。図10~図12に示した輝度調整処理は、画像処理装置100により、第1実施形態の輝度調整方法を実施するものである。
図10のステップS11において、たとえば撮像部210により撮像が行われることにより、画像取得部111が、放射線画像1を取得する。ステップS12において、パラメータ取得部112が、記憶部120に記憶された学習済みモデル10により、放射線画像1の輝度調整パラメータ2を取得する処理を行う。第1実施形態では、輝度調整パラメータ2を取得する処理は、図11のステップS21~S23を含む。
すなわち、第1実施形態の輝度調整方法では、図11に示すように、被写体の撮影部位または撮影目的に関する情報5を取得するステップS21を備える。
具体的には、図12に示すように、パラメータ取得部112が、操作部230を介した情報入力を受け付けることにより、被写体の撮影部位または撮影目的に関する情報5を取得する。
撮影部位の情報は、たとえば胸部正面、側面、腹部(腰部)正面、四肢骨部(たとえば膝関節正面、側面、手部)など、どの部位が撮影されたかを示す情報である。撮影目的の情報は、骨折の診断や、特定の疾病の診断などの情報である。たとえば胸部正面の放射線画像において肺組織や心臓組織の状態(腫瘍の有無、気管支や血管走行など)を診察する場合と、図2に示したような腰部の放射線画像1における大腿骨など骨部の状態(骨折、脱臼、骨変形など)を診察する場合とでは、輝度調整パラメータ2の最適値は異なる。
そこで、第1実施形態では、記憶部120は、これらの撮影部位または撮影目的に関する情報5に応じた複数の学習済みモデル10を予め記憶している。それぞれの学習済みモデル10は、撮影部位や撮影目的に応じた放射線画像1に対して最適な輝度調整パラメータ2を出力するように、学習されている。たとえば胸部正面用の学習済みモデル10では、肺組織や心臓組織の状態を確認するのに最適な輝度調整を行うための教師データ20を用いて、胸部正面の画像用の輝度調整パラメータ2を学習している。記憶部120は、それぞれの学習済みモデル10を、撮影部位または撮影目的に関する情報5と対応付けて記憶している。
そして、図11のステップS22において、パラメータ取得部112が、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10が選択する。これにより、パラメータ取得部112は、撮影部位または撮影目的に応じた学習済みモデル10を取得する。
ステップS23において、パラメータ取得部112が、選択した学習済みモデル10により、放射線画像1の輝度調整パラメータ2を取得する。このように、第1実施形態の輝度調整方法では、輝度調整パラメータ2を取得するステップにおいて、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10が選択される。選択された学習済みモデル10によって、放射線画像1の輝度調整パラメータ2が取得される。
図10に戻り、ステップS13において、調整処理部113が、取得された輝度調整パラメータ2に基づいて放射線画像1の輝度調整を行う。これにより、調整処理部113は輝度調整後画像3を取得する。ステップS14において、調整処理部113が、取得した輝度調整後画像3を記憶部120に記憶させ、表示部240に出力する。
以上により、画像処理装置100による第1実施形態の輝度調整方法が実施される。
(学習済みモデルの製造方法)
次に、図13~図15を参照して、第1実施形態による学習済みモデルの製造方法を説明する。
図13に示すように、学習済みモデル10の製造(機械学習)は、画像処理装置100とは別個に設けられた学習データ処理部50により実施されうる。学習データ処理部50は、所定のソフトウェア(プログラム)が記憶部にインストールされたコンピュータ(パーソナルコンピュータやワークステーション、スーパーコンピュータなど)または複数のコンピュータからなるコンピュータシステムによって構成される。
学習済みモデル10の製造方法は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習により学習済みモデルを製造する方法である。学習データ処理部50は、入力画像21および教師パラメータ22を含む教師データ20、損失関数A、学習用の学習モデル11を記憶部に記憶し、機械学習によって学習済みモデル10を製造する。学習データ処理部50は、機械学習を収束させるために必要な複数の教師データ20の学習用データセットを記憶している。
図14に示すように、ステップS31において、学習データ処理部50は、学習用データセットのうちから、学習を行う教師データ20を取得する。ステップS32において、学習データ処理部50は、教師データ20に含まれる入力画像21を入力として、学習モデル11により入力画像21の輝度調整パラメータ2を取得する。
ステップS33において、学習データ処理部50は、学習モデル11による輝度調整パラメータ2を用いて、輝度調整パラメータ2に関する損失関数Aの値を取得する。第1実施形態では、学習データ処理部50は、教師データ20に含まれる教師パラメータ22(ウィンドウレベルWL、ウィンドウ幅WW)と、学習モデル11の出力結果としての輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)とに基づき、上式(1)により、損失関数Aの出力値を取得する。
ステップS34において、学習データ処理部50は、損失関数Aの値が小さくなるように学習モデル11を最適化する。学習データ処理部50は、損失関数Aの出力値を最小にする輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)を出力するための学習モデル11の内部パラメータを学習する。ステップS31~S34により、1つの教師データ20に対する機械学習が行われる。
ステップS35において、学習データ処理部50は、学習用データセットに、次の(未学習の)教師データ20があるか否かを判断し、次の教師データ20がある場合、ステップS31において次の教師データ20を取得して、機械学習を行う。ステップS35において、学習用データセットに含まれる教師データ20の学習が全て完了した場合(次の教師データ20がない場合)、処理がステップS36に進む。
ステップS36において、学習データ処理部50は、学習用データセットに含まれる教師データ20の学習が、予め設定された所定回数だけ実施されたか否かを判断する。学習回数が所定回数に達していない場合、学習データ処理部50は、所定回数に達するまでステップS31~S35の処理を繰り返す。そして、学習回数が所定回数に達すると、機械学習が完了し、学習済みモデル10が作成される。学習データ処理部50は、ステップS37において、作成された学習済みモデル10を記憶部に記憶して、処理を終了する。
このようにして、学習済みモデル10の製造方法が実施される。製造された学習済みモデル10は、たとえばネットワークを介して、画像処理装置100に送信され、記憶部120に記憶される。図12に示したように撮影部位や撮影目的に応じた複数の学習済みモデル10を製造する場合、撮影部位や撮影目的毎に学習用データセットを用意し、撮影部位や撮影目的毎の学習用データセットを用いて、それぞれ図14のステップS31~S37を実行する。これにより、撮影部位や撮影目的に応じた放射線画像1に対して最適な輝度調整パラメータ2を出力するように学習された複数の学習済みモデル10が製造される。
なお、学習用データセットには、1つの入力画像21に対して各種の画像改変処理が行われることにより作成された複数の入力画像21が含まれ得る。たとえば図15に示すように、入力画像21の回転(A)、反転(B)、アフィン変換などの変形(C)、輝度および/コントラストの変化(D)、拡大または縮小(図示省略)、などの画像改変処理が、パラメータをランダムに変化させて行われる。それぞれの入力画像21に教師パラメータ22が設定され、それぞれ別個の教師データ20として学習用データセットに含められる。その結果、1つの入力画像21から多数の異なる入力画像21を取得することができ、学習を収束させるためのデータ数の拡充が容易に行える。
また、第1実施形態において、学習済みモデル10の製造方法は、図13において画像処理装置100によって実施されてもよい。この場合、図9に示したように、画像処理装置100の記憶部120は、教師データ20の学習用データセットを記憶し、画像処理装置100のプロセッサ110は、学習部114を機能ブロックとして含む。学習部114により、図14に示したステップS31~S37の各処理が実施される。
この際、学習部114は、撮像部210から取得した放射線画像1を入力画像21として、新たな教師データ20を作成して、学習済みモデル10の追加学習を行ってもよい。たとえば、パラメータ取得部112により出力された輝度調整パラメータ2を用いて輝度調整した放射線画像1に対して、操作者により、操作部230を介して輝度調整パラメータの入力(手動での再設定)が行われた場合に、その放射線画像1を入力画像21とし、入力された輝度調整パラメータを教師パラメータ22とした教師データ20が作成されてもよい。このようなケースでは、画像処理装置100により自動輝度調整した結果が最適値から外れていたために、操作者によって手動で最適な輝度調整パラメータが設定されたものと考えられる。そのため、手動入力されたパラメータを教師パラメータ22とした教師データ20を用いて学習済みモデル10の追加学習を行うことにより、輝度調整処理の更なる最適化を図ることができる。
なお、学習済みモデル10の追加学習は、画像処理装置100とネットワーク接続された学習データ処理部50において行ってもよい。この場合、画像処理装置100は、放射線画像1から作成した教師データ20を、学習データ処理部50に送信し、学習データ処理部50において学習済みモデル10の追加学習を行いうる。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態による学習済みモデル10の製造方法、輝度調整方法および画像処理装置100では、上記のように、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、損失関数Aが相対的に大きい値を出力する。その結果、その損失関数Aによって機械学習した学習済みモデル10では、放射線画像1に対して出力する輝度調整パラメータ2の予測分布PDを、最適値WWに対してコントラストを小さくする方向に偏らせることができる。このため、最適値WWを出力するように学習させた学習済みモデル10であっても、最適値WWを超えて大きなコントラストとなるように輝度調整パラメータ2を出力することが抑制されるので、輝度調整後画像3の所定領域PAに白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデル10を用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域PA)で白飛びまたは黒つぶれが発生することを抑制することができる。
なお、輝度調整パラメータ2の予測分布PDを、最適値WWに対してコントラストを小さくする方向に偏らせるには、たとえば教師データ20における教師パラメータ22を、最適値WWに対してコントラストを小さくする方向に偏らせることも考えられる。しかし、この場合、予測分布PDのピークが最適値WWから外れて、単純に最適値WWよりもコントラストを小さくした輝度調整パラメータ2が出力されるように学習される。これに対して、第1実施形態では、教師パラメータ22を最適値WWとして誤差を偏らせるので、損失関数Aの最小値は最適値WWのままであり、予測分布PDのピークを最適値WWに極力一致させるように学習させることができる。
また、第1実施形態では、上記のように、損失関数Aは、輝度調整後画像3の所定領域PAにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域PAにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。これにより、所定領域PAにおいて白飛びまたは黒つぶれが発生する場合に、損失関数Aの値が大きくなるので、所定領域PAのける白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデル10を得ることができる。
また、第1実施形態では、上記のように、損失関数Aは、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合に、大きい重み付けがされた重み関数f(r)を含む。これにより、重み関数によって、損失関数Aの値を容易に偏らせることができる。
また、第1実施形態では、上記のように、損失関数Aは、教師データ20に含まれる教師パラメータ22と、教師データ20に含まれる入力画像21に対する輝度調整パラメータ2との誤差に基づく関数である。これにより、教師パラメータ22と輝度調整パラメータ2との誤差に基づく損失関数Aであっても、誤差が最適値WWに対して対称的に評価されることを抑制し、最適値WWに対してコントラストが大きくなる場合に損失関数Aの値を相対的に大きくすることができるので、効果的に、所定領域PAでの画素値の飽和の発生を抑制することができる。
また、第1実施形態では、上記のように、所定領域PAは、被写体が写り込む領域の少なくとも一部を含む。これにより、学習済みモデル10により出力される輝度調整パラメータ2を用いて、確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。
また、第1実施形態では、上記のように、輝度調整パラメータ2は、放射線画像1において輝度調整後画像3に変換する画素値範囲の中央値を規定するウィンドウレベルWLと、画素値範囲の大きさを規定するウィンドウ幅WWと、を含む。これにより、ウィンドウ幅WWの値によって、所定領域PAの画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数Aによるコントラストの評価を容易に行うことができる。
また、第1実施形態では、上記のように、被写体の撮影部位または撮影目的に関する情報5を取得するステップをさらに備え、輝度調整パラメータ2を取得するステップにおいて、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10を選択する。このように撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデル10を用意し、撮影部位または撮影目的に関する情報5に基づいて学習済みモデル10の選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。
(第2実施形態)
次に、図16~図18を参照して、第2実施形態による学習済みモデルの製造方法および輝度調整方法について説明する。第2実施形態では、損失関数Aを、教師パラメータ22と輝度調整パラメータ2との誤差に基づく関数として上記第1実施形態とは異なり、教師データ20と輝度調整後画像3との比較に基づく関数とする例について説明する。第2実施形態において、上記第1実施形態と同様の構成については、同一の符号を用いるとともに説明を省略する。
図16に示すように、第2実施形態では、学習済みモデル10は、輝度調整パラメータ2に関する損失関数Bの最適化を行う学習により作成されている。損失関数Bは、教師データ20に含まれる教師画像23の画素値と、教師データ20に含まれる入力画像21を輝度調整パラメータ2に基づいて輝度調整した輝度調整後画像3の画素値との比較に基づく関数である。
具体的には、第2実施形態では、機械学習において、教師データ20に含まれる入力画像21を入力として、学習中の学習モデル11により出力された輝度調整パラメータ2に基づいて、輝度調整後画像3が取得される。また、教師データ20に含まれる入力画像21と、教師パラメータ22とに基づいて、輝度調整された教師画像23が取得される。輝度調整後画像3と教師画像23とは、教師データ20に含まれる同一の入力画像21に対してそれぞれ輝度調整を行った画像である。教師画像23は、輝度調整パラメータの最適値に基づいて輝度調整された機械学習の正解画像となる。
そして、損失関数Bは、両画像の同一画素における、教師画像23の画素値と、輝度調整後画像3の画素値との比較に基づく関数として構成される。これにより、第2実施形態では、輝度調整パラメータ2によって実際に輝度調整が行われた結果の画像に基づいて、学習モデル11の出力結果と教師データ20との差異が評価される。
たとえば、損失関数Bは、輝度調整後画像3と教師画像23との対応画素の画素値の差分に基づく関数である。具体的には、下式(3)に示すように、輝度調整後画像3と教師画像23との対応画素の画素値の差分に、重みを積算した平均二乗誤差である。
Figure 0007081680000003
ここで、x、yは、それぞれ画像(輝度調整後画像3、教師画像23)の座標である。k(x,y)は、各座標(x,y)における重みである。I(x,y)は、輝度調整後画像3の座標(x,y)における画素値であり、I(x,y)は、教師画像23の座標(x,y)における画素値である。f(r)が、重み関数である。wは、重みの値(w>1)である。Imaxは、画素値の最大値(=255)である。
損失関数Bは、第1実施形態と同様、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合(I(x,y)=0、Imax以外の時)よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合(I(x,y)=0またはImaxのとき)に、大きい重み付けがされた重み関数を含む。
すなわち、ウィンドウ幅WWが最適値WWよりも小さくなる場合(コントラストが大きくなる場合)、所定領域PAにおいて画素値Iが飽和する画素が生じる。つまり、最適画素値Iが0<I<Imaxとなる画素において、画素値I(x,y)が最低値0(黒つぶれ)または最大値Imax(白飛び)となる。その場合、損失関数Bは、誤差(I―I)に重みwが積算されることにより、誤差を相対的に大きく見積もる。これにより、第2実施形態の損失関数Bは、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合(I(x,y)=0またはImaxのとき)に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。ウィンドウ幅WWが最適値WWよりも大きくなる場合(コントラストが小さくなる場合)、所定領域PAにおいて画素値Iが飽和する画素が生じないと考えられるため、重みwが積算されることなく、損失関数Bは誤差を相対的に小さく見積もる。
さらに、第2実施形態では、損失関数Bは、画像中の画素(位置座標)毎に設定された重みk(x,y)を含みうる。そのため、第2実施形態では、画像中の領域毎に、異なる重みkが設定されうる。たとえば、第2実施形態では、図17に示すように、損失関数Bは、重みkにより、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域PBにおいて画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域PAにおいて、教師データ20(教師画像23)に対して輝度調整後画像3のコントラストが大きくなる場合(画素値の飽和が発生する場合)に、損失関数Bの値が相対的に大きく見積もられ、コントラストを抑制して画素値の飽和の発生を抑制する方向に強く学習が行われる。一方、所定領域PA以外の領域PBにおいて、教師データ20(教師画像23)に対して輝度調整後画像3のコントラストが大きくなる場合(画素値の飽和が発生する場合)は、損失関数Bの値が相対的に小さく見積もられ、必要以上にコントラストを抑制しないように学習が行われる。
このように画像中の画素(位置座標)毎に重みkを設定するために、第2実施形態の教師データ20には、図16に示すように、所定領域PAの位置情報24aと損失関数Bの偏り情報24bとが含まれている。位置情報24aは、画像中の位置座標の情報である。偏り情報24bは、重みkの設定値である。
具体的には、教師データ20は、入力画像21における位置情報24aと偏り情報24bとを含む重みマップ24を含んでいる。重みマップ24は、入力画像21において共通の重みkを適用する領域を位置情報24aとして含む。重みマップ24は、入力画像21において位置情報24aとして区画された領域に適用する重みkの値を偏り情報24bとして含む。
位置情報24aは、たとえば図17(B)に示すように、入力画像21を、被写体SBが写り込む領域61と背景領域62とに区画するように設定されうる。この場合、偏り情報24bは、位置情報24aに応じて、被写体SBが写り込む領域61と背景領域62とに対してそれぞれ異なる重みkの値を含む。図17(B)の例では、被写体SBが写り込む領域が所定領域PAである。被写体SBが写り込む領域61の重みkは、背景領域62の重みよりも高くなるように設定される。領域61は重みk=10とし、背景領域62は重みなし(k=1)として設定されうる。
位置情報24aは、たとえば図17(C)に示すように、被写体SBが写り込む領域61の内部をさらに区分するように設定されうる。すなわち、被写体SBが写り込む領域61のうちでも、診断に関わる重要度の高い領域と、相対的に重要度の低い領域とを区分し得る。また、被写体の解剖学的構造などの形態的な条件に応じて、被写体の部位毎に画素値の飽和のし易さが異なる場合がある。その場合、位置情報24aが、被写体SBが写り込む領域61の内部を複数の部分領域に区分して設定され、偏り情報24b(重みk)が、それぞれの部分領域毎に設定されうる。図17(C)の例では、被写体の腰部の解剖学的構造に応じて、大腿骨頸部61a、大転子61b、骨幹部61c、ward三角61dの各部分領域に、それぞれ同一または異なる重みkを設定する例を示す。
重みマップ24により、入力画像21の任意の位置座標の画素p(x,y)について、その画素pが属する領域に設定された重みk(x,y)が取得される。これにより、損失関数Bは、教師データ20に含まれる所定領域PAの位置情報24aと損失関数Bの偏り情報24bとに基づいて、入力画像21における位置毎に偏りの大きさが設定されている。
この結果、損失関数Bは、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。
第2実施形態の損失関数Bによる学習の偏りが、学習済みモデル10の出力する輝度調整パラメータ2に与える影響を説明する。
図18は、ウィンドウ幅WWに対する、損失関数Bの出力値の変化と、損失関数Bを用いて最適化された学習済みモデル10が出力するウィンドウ幅WWの予測分布PDを示したグラフである。
比較例として、重み付けを行わずに、輝度調整後画像3と教師画像23との対応画素の画素値の平均二乗誤差による損失関数RMSEを用いたケースを破線で示す。比較例の損失関数RMSEは、下式(4)で表される。
Figure 0007081680000004
上式(4)において、比較例による損失関数RMSEでは、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生していると、その領域の画素値が飽和している分だけ過小評価されることになる。つまり、図18(A)に示すように、ウィンドウ幅WWが最適値WWよりも小さく、画素値の飽和が発生している場合の損失関数の出力値は、ウィンドウ幅WWが最適値WWよりも大きく、画素値の飽和が発生していない場合の損失関数の出力値よりも相対的に小さくなる。そのため、図18(B)に示すように、損失関数RMSEを用いて最適化された学習済みモデルの出力結果の予測分布CDは、最適値WWに対して白飛びまたは黒つぶれ(画素値の飽和)が発生する方向(ウィンドウ幅WWを小さくする方向)に偏った非対称的な分布となると考えられる。比較例による損失関数RMSEを用いて最適化された学習済みモデルでは、出力されるウィンドウ幅WWのうち、半数以上のケースで、所定領域PAに画素値の飽和が発生する可能性がある。
これに対して、図18において実線で示した損失関数Bは、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生している(I=0またはImax)と、その領域の画素値の誤差に重みwが積算されて誤差が相対的に大きく見積もられる。白飛びまたは黒つぶれ(画素値の飽和)が発生していない(0<I<Imax)場合、重みwが積算されずに、その領域の画素値の誤差が相対的に小さく見積もられる。なお、最適画素値Iおよび画素値Iが共に0またはImaxである画素については、計算上重みwが積算されるが、誤差が0になるので、損失関数Bには影響しない。そのため、第1実施形態の損失関数Bを用いて最適化された学習済みモデル10の出力結果の予測分布PDは、最適値WWに対して、画素値が飽和しやすくコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)には小さく、コントラストを小さくする方向(ウィンドウ幅WWを大きくする方向)に大きくなるように偏った分布となる。
この結果、予測分布PDから分かるように、第1実施形態の損失関数Bを用いて最適化された学習済みモデル10では、出力されるウィンドウ幅WWが、最適値WWを超えてコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)へばらつくことが抑制され、所定領域PAに画素値の飽和が発生する可能性が抑制される。
なお、第2実施形態のその他の構成については、上記第1実施形態と同様である。第2実施形態では、学習済みモデル10の製造方法、輝度調整方法および画像処理装置100について、損失関数Bが上記第1実施形態と異なる点を除いて同様であるので、説明を省略する。
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、上記第1実施形態と同様に、機械学習による学習済みモデル10を用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域PA)で白飛びまたは黒つぶれが発生することを抑制することができる。
また、第2実施形態では、上記のように、損失関数Bは、教師データ20に含まれる教師画像23の画素値と、教師データ20に含まれる入力画像21を輝度調整パラメータ2に基づいて輝度調整した輝度調整後画像3の画素値との比較に基づく関数である。これにより、教師画像23と輝度調整後画像3と画素値の比較に基づく損失関数Bであっても、最適値に対してコントラストが大きくなる場合に損失関数Bの値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域PAでの画素値の飽和の発生を抑制することができる。
また、第2実施形態では、上記のように、損失関数Bは、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域PAでの画素値の飽和の発生を抑制しつつ、重要度の低い所定領域PA以外の領域PBにおける誤差によって学習が影響を受けることを抑制することができる。
また、第2実施形態では、上記のように、損失関数Bは、教師データ20に含まれる所定領域PAの位置情報24aと損失関数Bの偏り情報24bとに基づいて、入力画像21における位置毎に偏りの大きさが設定されている。これにより、所定領域PAの位置情報24aに基づいて、所定領域PAと所定領域PA以外の領域PBとを区別し、損失関数Bの偏り情報24bに基づいて、所定領域PAと所定領域PA以外の領域PBとでの損失関数Bの偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数Bの偏りの大きさ(重みk)を異ならせる事ができる。
第2実施形態のその他の効果は、上記第1実施形態と同様である。
(変形例)
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1および第2実施形態では、損失関数の例として、平均二乗誤差による損失関数Aおよび損失関数Bを示したが、本発明はこれに限られない。本発明では、平均二乗誤差以外の関数によって、損失関数が構成されていてもよい。たとえば上記第2実施形態の損失関数Bとして、PSNR(Peak signal-to-noise ratio)やSSIM(Structural SIMilarity)などの関数を用いてもよい。ただし、たとえばSSIMは、画像間の類似度を評価できるが、画像の位置ずれなどの輝度調整とは無関係な構造的な要素も評価する指標であるため、単純に画像間の画素値(輝度)のみを評価する平均二乗誤差の方が、輝度調整のための学習モデルに用いる損失関数としては適している。
また、上記第1および第2実施形態では、教師データ20に対して所定領域PAのコントラストが大きくなる場合に大きい重みw(>1)をかける例を示したが、本発明はこれに限られない。教師データ20に対して所定領域PAのコントラストが小さくなる場合に小さい重みw(<1)をかけることにより、所定領域PAのコントラストが大きくなる場合の出力値が相対的に大きくなるようにしてもよい。
また、上記第1および第2実施形態では、所定領域PAが、被写体が写り込む領域の少なくとも一部を含む例を示したが、本発明はこれに限られない。所定領域PAは、放射線画像1の用途に応じて設定されればよく、被写体が写り込む領域以外の領域であってもよい。
また、上記第1および第2実施形態では、損失関数に重み関数f(r)を含めることにより、損失関数の出力値を偏らせる例を示したが、本発明はこれに限られない。たとえば、教師データ20に対して所定領域PAのコントラストが大きくなる場合と、教師データ20に対して所定領域PAのコントラストが小さくなる場合とで、それぞれ異なる損失関数を適用することにより、損失関数の出力値を偏らせてもよい。
また、上記第2実施形態では、重みマップ24を用いて、所定領域PAと所定領域PA以外の領域PA以外とで重みkを異ならせた例を示したが、本発明はこれに限られない。本発明では、領域毎に異なる重みkを設定しなくてもよい。損失関数Bにおいて、重みkを含めなくてもよい。この場合、教師データ20が重みマップ24を含む必要はない。
また、上記第2実施形態では、教師データ20に含まれる教師パラメータ22に基づいて教師画像23が取得される例を示したが、本発明はこれに限られない。本発明では、教師データ20に教師画像23を含めてもよい。この場合、必ずしも教師データ20が教師パラメータ22を含まなくてもよい。
また、上記第1および第2実施形態では、撮影部位または撮影目的に関する情報5を取得して、複数の学習済みモデル10の内から輝度調整に用いる学習済みモデル10を選択する例を示したが本発明はこれに限られない。本発明では、撮影部位または撮影目的に関する情報5を取得しなくてもよい。つまり、学習済みモデル10を選択しなくてもよい。
なお、撮影部位または撮影目的に関する情報5の取得は、操作部230を用いる方法に限らず、たとえば入力された放射線画像1に対する画像認識により、撮影部位または撮影目的に関する情報5を取得してもよい。
また、上記第1および第2実施形態では、輝度調整パラメータ2がウィンドウレベルWLとウィンドウ幅WWとを含む例を示したが、本発明はこれに限られない。たとえば、ウィンドウ幅WWに代えて、輝度調整パラメータ2がウィンドウ幅の上限値VHと下限値VLとを含んでいてもよい。
1 放射線画像
2 輝度調整パラメータ
3 輝度調整後画像
5 撮影部位または撮影目的に関する情報
10 学習済みモデル
11 学習モデル
20 教師データ
21 入力画像
22 教師パラメータ
23 教師画像
24a 位置情報
24b 偏り情報
100 画像処理装置
111 画像取得部
112 パラメータ取得部
113 調整処理部
120 記憶部
A、B 損失関数
PA 所定領域
PB 所定領域以外の領域
WL ウィンドウレベル
WW ウィンドウ幅
f(r) 重み関数

Claims (12)

  1. 被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、
    教師データに含まれる入力画像を入力として、学習モデルにより前記入力画像の前記輝度調整パラメータを出力するステップと、
    前記学習モデルによる前記輝度調整パラメータを用いて、前記輝度調整パラメータに関する損失関数の値を取得するステップと、
    前記損失関数の値が小さくなるように前記学習モデルを最適化するステップと、を備え、
    前記損失関数は、前記教師データに対して、前記輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、学習済みモデルの製造方法。
  2. 前記損失関数は、前記輝度調整後画像の前記所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、前記所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている、請求項1に記載の学習済みモデルの製造方法。
  3. 前記損失関数は、前記教師データに対して前記輝度調整後画像のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む、請求項1に記載の学習済みモデルの製造方法。
  4. 前記損失関数は、前記教師データに含まれる教師パラメータと、前記教師データに含まれる前記入力画像に対する前記輝度調整パラメータとの誤差に基づく関数である、請求項1に記載の学習済みモデルの製造方法。
  5. 前記損失関数は、前記教師データに含まれる教師画像の画素値と、前記教師データに含まれる前記入力画像を前記輝度調整パラメータに基づいて輝度調整した前記輝度調整後画像の画素値との比較に基づく関数である、請求項1に記載の学習済みモデルの製造方法。
  6. 前記損失関数は、画像中の前記所定領域において画素値の飽和が発生する場合に、前記所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている、請求項5に記載の学習済みモデルの製造方法。
  7. 前記損失関数は、前記教師データに含まれる前記所定領域の位置情報と前記損失関数の偏り情報とに基づいて、前記入力画像における位置毎に偏りの大きさが設定されている、請求項6に記載の学習済みモデルの製造方法。
  8. 前記所定領域は、前記被写体が写り込む領域の少なくとも一部を含む、請求項1に記載の学習済みモデルの製造方法。
  9. 前記輝度調整パラメータは、前記放射線画像において前記輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、前記画素値範囲の大きさを規定するウィンドウ幅と、を含む、請求項1に記載の学習済みモデルの製造方法。
  10. 被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、
    前記放射線画像を取得するステップと、
    機械学習による学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するステップと、
    前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、
    前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
    前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、輝度調整方法。
  11. 前記被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、
    前記輝度調整パラメータを取得するステップにおいて、前記撮影部位または撮影目的に関する情報に基づいて、複数の前記学習済みモデルのうちから前記輝度調整に用いる前記学習済みモデルを選択する、請求項10に記載の輝度調整方法。
  12. 放射線画像を取得する画像取得部と、
    被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、
    前記学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するパラメータ取得部と、
    前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、
    前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
    前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、画像処理装置。
JP2020551014A 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置 Active JP7081680B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037075 WO2020070834A1 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020070834A1 JPWO2020070834A1 (ja) 2021-09-02
JP7081680B2 true JP7081680B2 (ja) 2022-06-07

Family

ID=70055145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551014A Active JP7081680B2 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Country Status (4)

Country Link
US (1) US20210350513A1 (ja)
JP (1) JP7081680B2 (ja)
CN (1) CN112804943B (ja)
WO (1) WO2020070834A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584175B (zh) * 2018-11-21 2020-08-14 浙江大华技术股份有限公司 一种图像处理方法及装置
JP7439640B2 (ja) * 2020-05-18 2024-02-28 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
US20230222377A1 (en) * 2020-09-30 2023-07-13 Google Llc Robust model performance across disparate sub-groups within a same group
EP3982299A1 (en) * 2020-10-09 2022-04-13 Naver Corporation Superloss: a generic loss for robust curriculum learning
WO2023100656A1 (ja) * 2021-12-01 2023-06-08 株式会社村田製作所 機械学習装置および推定装置
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理系统及方法
CN116593408B (zh) * 2023-07-19 2023-10-17 四川亿欣新材料有限公司 一种重质碳酸钙粉体色度检测方法
CN116757971B (zh) * 2023-08-21 2024-05-14 深圳高迪数码有限公司 一种基于周围光的图像自动调整方法
CN117893455B (zh) * 2024-03-11 2024-06-04 杭州海康威视数字技术股份有限公司 图像亮度和对比度调整方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133880A1 (en) 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video
JP5061973B2 (ja) 2007-03-27 2012-10-31 デンソー インターナショナル アメリカ インコーポレーテッド エンジンの空気導入ダクトの接続構造
JP2018033745A (ja) 2016-08-31 2018-03-08 富士フイルム株式会社 画像処理装置、方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2616520B2 (ja) * 1991-08-30 1997-06-04 株式会社島津製作所 医療用画像表示装置
DE10213284B4 (de) * 2002-03-25 2007-11-08 Siemens Ag Verfahren zur Bilddarstellung in der medizinischen Bildgebung
JPWO2015174206A1 (ja) * 2014-05-16 2017-04-20 株式会社日立製作所 画像診断装置及び階調情報設定方法
GB201410635D0 (en) * 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107563542A (zh) * 2017-08-02 2018-01-09 阿里巴巴集团控股有限公司 数据预测方法及装置和电子设备
CN107590786A (zh) * 2017-09-08 2018-01-16 深圳市唯特视科技有限公司 一种基于对抗学习网络的图像增强方法
CN108090871B (zh) * 2017-12-15 2020-05-08 厦门大学 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN111656392B (zh) * 2018-02-15 2024-01-05 通用电气公司 用于合成磁共振图像的系统和方法
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN108537794B (zh) * 2018-04-19 2021-09-21 上海联影医疗科技股份有限公司 医学图像数据处理方法、装置和计算机可读存储介质
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133880A1 (en) 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video
JP5061973B2 (ja) 2007-03-27 2012-10-31 デンソー インターナショナル アメリカ インコーポレーテッド エンジンの空気導入ダクトの接続構造
JP2018033745A (ja) 2016-08-31 2018-03-08 富士フイルム株式会社 画像処理装置、方法およびプログラム

Also Published As

Publication number Publication date
CN112804943A (zh) 2021-05-14
US20210350513A1 (en) 2021-11-11
CN112804943B (zh) 2023-09-26
JPWO2020070834A1 (ja) 2021-09-02
WO2020070834A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7081680B2 (ja) 学習済みモデルの製造方法、輝度調整方法および画像処理装置
JP4328399B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
CN103544684A (zh) 图像处理方法和图像处理设备
US8588485B2 (en) Rendering for improved diagnostic image consistency
JP4938427B2 (ja) 脳出血部位体積計算装置
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
US20230169666A1 (en) Methods and systems for image registration
JP6678541B2 (ja) 画像処理装置、方法およびプログラム
CN104091309A (zh) 一种平板x射线图像的均衡显示方法及系统
US20210027430A1 (en) Image processing apparatus, image processing method, and x-ray ct apparatus
JP5353876B2 (ja) 画像処理装置
US10089728B2 (en) Radiation-image processing device and method
JP6926856B2 (ja) 放射線画像処理装置、プログラム及び放射線画像処理方法
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
US8121381B2 (en) X-ray image processing apparatus and method
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP2018149166A (ja) 放射線画像処理装置
US20200160514A1 (en) Image processing apparatus and computer-readable storage medium
US10475180B2 (en) Radiation-image processing device and method
Aboobacker et al. Improving presentation consistency of radiographic images using deep learning
US20230102862A1 (en) Fat mass derivation device, fat mass derivation method, and fat mass derivation program
JP2005109908A (ja) 画像処理装置および画像処理プログラム
JP7310239B2 (ja) 画像処理装置、放射線撮影システム及びプログラム
JP7098813B2 (ja) 放射線画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R151 Written notification of patent or utility model registration

Ref document number: 7081680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151