JP7094562B2 - 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム - Google Patents

生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム Download PDF

Info

Publication number
JP7094562B2
JP7094562B2 JP2019126430A JP2019126430A JP7094562B2 JP 7094562 B2 JP7094562 B2 JP 7094562B2 JP 2019126430 A JP2019126430 A JP 2019126430A JP 2019126430 A JP2019126430 A JP 2019126430A JP 7094562 B2 JP7094562 B2 JP 7094562B2
Authority
JP
Japan
Prior art keywords
biological image
unit
biological
negative
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019126430A
Other languages
English (en)
Other versions
JP2021010578A (ja
Inventor
勁峰 今西
恵 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E-GROWTH CO., LTD.
Original Assignee
E-GROWTH CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E-GROWTH CO., LTD. filed Critical E-GROWTH CO., LTD.
Priority to JP2019126430A priority Critical patent/JP7094562B2/ja
Priority to PCT/JP2020/026008 priority patent/WO2021006174A1/ja
Priority to US17/615,454 priority patent/US12014499B2/en
Publication of JP2021010578A publication Critical patent/JP2021010578A/ja
Application granted granted Critical
Publication of JP7094562B2 publication Critical patent/JP7094562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Description

本発明は、例えば、金属アーチファクト等の不具合のある生体画像である負例生体画像から不具合が少ない生体画像である正例生体画像を取得する生体画像取得装置等に関するものである。
X線CTでは、撮像対象物にX線の高吸収体(例えば、金属)が含まれると、正確なCT値の算出が阻害され、結果として大きな影響であるアーチファクトが生まれる。
かかる課題に対して、金属アーチファクトを補正するMetal artifact reduction(MAR)アルゴリズムというアルゴリズムが存在する(非特許文献1参照)。
また、深層学習を用いたアーチファクト軽減の他の技術も存在する(非特許文献2参照)。
井野 賢司、 "CT検査の金属アーチファクトに対するアプローチ"[online]、[令和1年6月21日検索]、インターネット[URL:https://www.innervision.co.jp/sp/ad/suite/canonmedical/sup201512/session1-1] Yanbo Zhang, Hengyong Yu,"Convolutional Neural Network Based Metal Artifact Reduction in X-ray Computed Tomography" [online]、[令和1年7月3日検索]、インターネット[URL:https://arxiv.org/abs/1709.01581]
しかしながら、従来技術においては、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を精度高く取得できなかった。
また、上記先行技術で採用されている技術は、教師あり学習であり、かかる教師あり学習においては、不具合が存在する画像に対応する不具合の少ない画像が必要であるが、一般的に生体画像においては、そのような画像ペアを取得することは難しい。
本第一の発明の生体画像取得装置は、不具合のある生体画像である1以上の負例生体画像と不具合のない生体画像である1以上の正例生体画像とを用いて作成された分類器であり、負例生体画像であるか正例生体画像であるかを判断する分類器が格納される分類器格納部と、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納される変換器格納部と、負例生体画像を受け付ける負例生体画像受付部と、負例生体画像受付部が受け付けた負例生体画像を、第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う第一変換部と、分類器を用いて、第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う分類部とを具備し、第一変換部は、分類部による判断結果と変換生体画像とを用いて、学習処理を行い、第一変換器を更新する更新処理を行い、負例生体画像受付部は、新たな負例生体画像を受け付け、第一変換部は、負例生体画像受付部が受け付けた新たな負例生体画像を、更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得する生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第二の発明の生体画像取得装置は、第一の発明に対して、1以上の負例生体画像と1以上の正例生体画像とが格納される生体画像格納部と、生体画像格納部の1以上の負例生体画像と1以上の正例生体画像に加えて、第一変換部が取得した1以上の変換生体画像を負例生体画像として用いて、受け付けられた生体画像が正例生体画像であるか負例生体画像であるかを判断するために使用される分類器を生成する学習部とをさらに具備する生体画像取得装置である。
かかる構成により、生体画像が正例生体画像であるか負例生体画像であるかを精度高く判断することにより、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第三の発明の生体画像取得装置は、第一または第二の発明に対して、第一変換部に与えた負例生体画像の1以上の特徴量である入力特徴量ベクトルと、第一変換部が取得した変換生体画像の1以上の特徴量である出力特徴量ベクトルとを取得する特徴量ベクトル取得部と、入力特徴量ベクトルと出力特徴量ベクトルとの差異に関する特徴量差異情報を取得する特徴量差異情報取得部とをさらに具備し、第一変換部は、特徴量差異情報が少なくなるように学習処理を行い、第一変換器を更新する生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像であり、負例生体画像の特徴を保持している正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第四の発明の生体画像取得装置は、第一から第三いずれか1つの発明に対して、変換器格納部には、正例生体画像から負例生体画像を取得しようとする変換処理のために使用される第二変換器が格納され、第一変換部が取得した変換生体画像を、第二変換器を用いて変換し、変換結果である第二変換生体画像を取得する第二変換処理を行う第二変換部をさらに具備し、第一変換部は、第二変換部が取得した第二変換生体画像を、第一変換器を用いて変換し、変換結果である変換生体画像を取得し、分類部は、第一変換部が第二変換生体画像から取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第二分類処理を行い、第一変換処理、第一分類処理、第二変換処理、および第二分類処理を1回、または2回以上繰り返して行うように制御する制御部をさらに具備する生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像であり、負例生体画像の特徴を保持している正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第五の発明の生体画像取得装置は、第四の発明に対して、第二変換部への入力である変換生体画像、第二変換部の出力である第二変換生体画像、第一変換部の第二変換生体画像に対する出力である変換生体画像のうちの少なくとも2以上の各生体画像の特徴量ベクトルを取得する特徴量ベクトル取得部と、特徴量ベクトル取得部が取得した2以上の特徴量ベクトルのうちの1以上のペアの間の差異に関する特徴量差異情報を取得する特徴量差異情報取得部と、第一変換部は、特徴量差異情報が少なくなるように学習処理を行い、第一変換器を更新する処理を行う生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像であり、負例生体画像の特徴を保持している正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第六の発明の生体画像取得装置は、第一から第五いずれか1つの発明に対して、負例生体画像は、撮像した生体の不具合のある画像集合の一部を輪切りにした2以上のスライス画像の集合であり、正例生体画像は、撮像した生体の不具合のない画像集合の一部を輪切りにした2以上のスライス画像の集合である生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する3次元の負例生体画像から不具合が少ない3次元の正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第七の発明の生体画像取得装置は、第一から第六いずれか1つの発明に対して、第一変換部は、予め決められた範囲の画素値の画素のみを対象として、第一変換処理を行い、分類部は、予め決められた範囲の画素値の画素のみを対象として作成された分類器を用いて、第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する生体画像であり、例えば、骨等の特定の組織の生体画像である負例生体画像から不具合が少ない特定の組織の正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第八の発明の生体画像取得装置は、第七の発明に対して、予め決められた範囲の画素値の画素は、骨の画像を構成する画素である生体画像取得装置である。
かかる構成により、例えば、金属アーチファクト等の不具合が存在する生体画像であり、骨の部分の生体画像である負例生体画像から不具合が少ない骨の部分の正例生体画像を精度高く、かつ教師データを用いずに取得できる。
また、本第九の発明の生体画像取得装置は、第一から第八いずれか1つの発明に対して、2以上の生体画像を受け付ける生体画像受付部をさらに具備し、分類部は、分類器を用いて、生体画像受付部が受け付けた2以上の各生体画像が正例生体画像であるか負例生体画像であるかを判断し、負例生体画像受付部は、分類部が負例生体画像であると判断した生体画像を取得する生体画像取得装置である。
かかる構成により、受け付けられた生体画像のうち負例生体画像に対してのみ処理を行うため、高速に正例生体画像の集合を精度高く、かつ教師データを用いずに取得できる。
また、本第十の発明の変換器生産装置は、第一から第九いずれか1つの発明に対して、生体画像取得装置に与えた1以上の負例生体画像と、生体画像取得装置の第一変換部が取得した1以上の変換生体画像とが格納される生体画像格納部と、生体画像格納部の1以上の負例生体画像と1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する学習部と、学習部が取得した変換器を蓄積する変換器蓄積部とを具備する変換器生産装置である。
かかる構成により、負例生体画像から正例生体画像を取得するための精度の高い変換器を自動的に取得できる。
また、本第十一の発明の生体画像取得装置は、第十の発明に対して、変換器生産装置が取得した変換器が格納される変換器格納部と、負例生体画像を受け付ける負例生体画像受付部と、負例生体画像受付部が受け付けた負例生体画像を、変換器格納部の変換器を用いて変換し、変換結果である正例生体画像を取得する変換部と、変換部が取得した正例生体画像を出力する出力部とを具備する生体画像取得装置である。
かかる構成により、自動的に取得した精度の高い変換器を用いて、負例生体画像から正例生体画像を精度高く、かつ教師データを用いずに取得できる。
本発明による生体画像取得装置によれば、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を精度高く、かつ教師データを用いずに取得できる。
実施の形態1における生体画像取得装置Aのブロック図 同生体画像取得装置Aの動作例について説明するフローチャート 同分類処理の例について説明するフローチャート 同変換器学習処理の例について説明するフローチャート 同分類器学習処理の例について説明するフローチャート 同負例生体画像の例を示す図 同負例生体画像から正例生体画像の生成を説明する図 同負例生体画像から正例生体画像の生成を説明する図 同生体画像取得装置Aのブロック図の他の例 実施の形態2における変換器生産装置Bのブロック図 同変換器生産装置Bの動作例について説明するフローチャート 実施の形態3における生体画像取得装置Cのブロック図 同生体画像取得装置Cの動作例について説明するフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、生体画像取得装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、不具合のある生体画像である負例生体画像から、不具合が少ない生体画像である正例生体画像を生成する生体画像取得装置について説明する。なお、生体画像は、医用画像と言っても良い。生体画像は、生体に対して得られた画像である。生体画像は、通常、生体を撮影して得られた1または2以上の静止画である。生体画像が得られる生体の部位は問わない。部位は、例えば、口腔部である。生体画像は、例えば、X線CTを用いて人や馬等の生体から得られたCT画像、MRIを用いて生体から得られたMRI画像、PETを用いて生体から得られたPET画像である。また、正例生体画像は、不具合のない生体画像であっても良いことは言うまでもない。また、不具合のある生体画像とは、例えば、金属アーチファクトのある生体画像、軟組織の領域が乱れてしまっている生体画像、骨組織に欠損がある生体画像である。なお、軟組織の領域が乱れてしまっている生体画像とは、金属の影響によって近傍の軟組織のCT値が正しく構成されていない生体画像である、と言える。また、骨組織に欠損がある生体画像は、例えば、腫瘍の浸潤によって骨の一部のCT値が低くなり、可視化した際に欠損があるような骨の部位を含む生体画像である、と言える。
また、本実施の形態において、1以上の負例生体画像と1以上の正例生体画像とを用いて、受け付けた生体画像が正例生体画像か負例生体画像かを分類するための分類器が格納されており、受け付けた負例生体画像を変換し、変換結果である変換生体画像を取得する第一変換部を具備し、当該変換生体画像を、分類器を用いて、正例生体画像か負例生体画像かを決定し、第一変換部は、当該変換生体画像と当該決定の結果とを学習し、学習した後は、学習後の第一変換部を使用して負例生体画像を変換し、変換生体画像を取得する生体画像取得装置について説明する。
また、本実施の形態において、1以上の負例生体画像と1以上の正例生体画像とが格納されており、第一変換部が取得した変換生体画像を負例生体画像として用いて、分類器を再構成する学習部をさらに具備する生体画像取得装置について説明する。
また、本実施の形態において、第一変換部に与えた負例生体画像の1以上の特徴量と、第一変換部が取得した変換生体画像の1以上の特徴量との差分の情報を取得し、第一変換部は、当該差分の情報が小さくなるように学習を行う生体画像取得装置について説明する。
また、本実施の形態において、変換生体画像に対して逆変換処理を行い、正例生体画像を生成しようする第二変換部を具備し、第二変換部が生成した変換生体画像を負例生体画像として第一変換部に与える等の循環変換を行う生体画像取得装置について説明する。
また、本実施の形態において、第二変換部に与える変換生体画像の1以上の特徴量と、第二変換部が生成した変換生体画像の1以上の特徴量との差分の情報を取得し、第一変換部は、当該差分の情報が小さくなるように学習を行う生体画像取得装置について説明する。
また、本実施の形態において、負例生体画像、正例生体画像の画素のうち予め決められた範囲の画素値の画素のみ(例えば、骨の領域の画素のみ)を対象として、第一変換部、分類部が処理を行う生体画像取得装置について説明する。
また、本実施の形態において、格納されている2以上の生体画像のうち、ユーザが選択した負例生体画像のみ、または自動的に選択した負例生体画像のみに対して画像の変換処理を行う生体画像取得装置について説明する。
さらに、本実施の形態において、一度の変換処理の対象の負例生体画像、および生成される正例生体画像は、2以上のスライス画像の集合であっても良い。
図1は、本実施の形態における生体画像取得装置Aのブロック図である。生体画像取得装置Aは、格納部1、受付部2、処理部3、および出力部4を備える。
格納部1は、例えば、生体画像格納部11、分類器格納部12、および変換器格納部13を備える。受付部2は、例えば、生体画像受付部21、および負例生体画像受付部22を備える。処理部3は、例えば、第一変換部31、分類部32、学習部33、特徴量ベクトル取得部34、特徴量差異情報取得部35、第二変換部36、および制御部37を備える。
格納部1には、各種の情報が格納され得る。各種の情報は、例えば、生体画像である。生体画像は、後述する負例生体画像または正例生体画像である。各種の情報は、例えば、後述する分類器、後述する変換器である。
生体画像格納部11には、1または2以上の生体画像が格納される。生体画像格納部11には、1または2以上の負例生体画像と1または2以上の正例生体画像とが格納されていることは好適である。
2以上の負例生体画像は、生体を撮影した結果である生体画像の集合の一部を輪切りにした2以上のスライス画像の集合であっても良い。また、2以上の正例生体画像は、生体を撮影した結果である生体画像の集合の一部を輪切りにした2以上のスライス画像の集合であっても良い。さらに、かかる2以上のスライス画像の集合は、空間的に連続した2以上のスライス画像の集合でも良いし、空間的に離れた2以上のスライス画像の集合でも良い。
分類器格納部12には、分類器が格納される。なお、分類器は、学習器と言っても良い。分類器は、分類対象の生体画像が負例生体画像であるか正例生体画像であるかを判断するために使用される情報である。ここでの分類器は、1以上の負例生体画像と1以上の正例生体画像とを用いて作成された分類器である。分類器は、通常、機械学習のアルゴリズムにより作成される。分類器の作成には、通常、各種の画像分類のアルゴリズムが利用可能である。つまり、分類器の作成処理で使用される機械学習、および後述する機械学習において、使用するアルゴリズムは問わない。機械学習は、例えば、深層学習、SVR、ランダムフォレスト、決定木等が使用可能である。また、機械学習において、分類器を構成するためには、例えば、機械学習の関数(例えば、Tensorflowの関数、TinySVM、各種のrandomForest関数等)に、入力となる情報群(例えば、1以上の負例生体画像と負例生体画像であることを示す情報、および1以上の正例生体画像と正例生体画像であることを示す情報)を引数として与えると分類器が得られる。また、機械学習において、予測(分類)する場合、機械学習の関数に分類器と入力となる情報群(例えば、生体画像)とを引数として与えると、予測された情報(ここでは、負例生体画像であるか正例生体画像であるかを特定する情報)が得られる。なお、分類器格納部12の分類器は、例えば、後述する学習部33が取得した情報である。
変換器格納部13には、第一変換器が格納される。また、変換器格納部13には、第二変換器が格納される。
第一変換器は、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される変換器である。正例生体画像を取得しようとする変換処理とは、不具合のある生体画像から、不具合の少ないまたは不具合をなくした生体画像を取得する処理である。第一変換器は、例えば、深層学習のアルゴリズムにより取得されたニューラルネットワークの構造を有する情報である。ニューラルネットワークの構造は、例えば、CNN(Convolution Neural Network)、AutoEncoder、RNN(Recurrent Neural Network)である。また、第一変換器は、例えば、2Dまたは3D畳み込み関数、プーリング関数、活性化関数などにより実現され得る。また、CNNの変換器を用いて、受け付けられた画像に対して、例えば、(1)畳み込み、(2)プーリング、(3)活性化の3つの処理を1回または2回以上、繰り返して、変換後の画像が得られる。
第二変換器は、正例生体画像から負例生体画像を取得しようとする変換処理のために使用される変換器である。第二変換器は、例えば、深層学習のアルゴリズムにより取得されたニューラルネットワークの構造を有する情報である。ニューラルネットワークの構造は、例えば、CNN(Convolution Neural Network)、AutoEncoder、RNN(Recurrent Neural Network)である。また、第二変換器についても、第一変換器と同様、2Dまたは3D畳み込み関数、プーリング関数、活性化関数などにより実現され得る。また、CNNの変換器を用いて、受け付けられた画像に対して、(1)畳み込み、(2)プーリング、(3)活性化の3つの処理を1回または2回以上、繰り返して、変換後の画像が得られる。 なお、第一変換器、第二変換器を構成するための学習処理は、処理部3が行っても良いし、外部の図示しない装置が行っても良い。また、第一変換器、第二変換器を構成するための学習処理は、公知技術であるので、詳細な説明は省略する。
受付部2は、各種の指示や情報等を受け付ける。各種の指示や情報等は、例えば、1または2以上の生体画像、1または2以上の負例生体画像である。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
各種の指示や情報等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
生体画像受付部21は、2以上の生体画像を受け付ける。かかる2以上の生体画像は、通常、負例生体画像と正例生体画像とが含まれる。
負例生体画像受付部22は、1または2以上の負例生体画像を受け付ける。負例生体画像受付部22は、例えば、1または2以上の新たな負例生体画像を受け付ける。負例生体画像受付部22は、例えば、分類部32が負例生体画像であると判断した生体画像を取得する。
処理部3は、各種の処理を行う。各種の処理は、例えば、第一変換部31、分類部32、学習部33、特徴量ベクトル取得部34、特徴量差異情報取得部35、第二変換部36、制御部37が行う処理である。
第一変換部31は、負例生体画像受付部22が受け付けた負例生体画像を、第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う。変換生体画像は、通常、処理対象の負例生体画像より、不具合が少ない生体画像である。1回、2回等の少ない回数の第一変換処理により取得される変換生体画像は、不具合のない正例生体画像でなくても良い。第一変換処理は、例えば、深層学習のアルゴリズムを用いた処理である。また、第一変換処理は、例えば、深層学習のフォワードプロパゲーションの処理である。第一変換処理は、例えば、深層学習のフォワードプロパゲーションとバックプロパゲーションとを繰り返す処理である。ただし、第一変換処理は、例えば、AutoEncoder、U-Net、Res-Net、スタイル変換(Adaptive Instance Normalization)等のアルゴリズムを用いた処理でも良い。
第一変換部31は、分類部32による判断結果と変換生体画像とを用いて、学習処理を行い、第一変換器を更新する。かかる処理を更新処理と言っても良い。更新処理は、例えば、深層学習のバックプロパゲーションの処理である。更新処理は、例えば、深層学習のフォワードプロパゲーションとバックプロパゲーションとを繰り返す処理であっても良い。ただし、更新処理は、例えば、勾配降下法や最急硬化法等のアルゴリズムを用いた処理でも良い。
第一変換部31は、例えば、負例生体画像受付部22が受け付けた新たな負例生体画像を、更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得する。
第一変換部31は、例えば、特徴量差異情報が少なくなるように学習処理を行い、第一変換器を更新することは好適である。特徴量差異情報とは、後述する特徴量差異情報取得部35が取得した特徴量差異情報である。特徴量差異情報が少なくなるように学習処理を行うことは、特徴量差異情報を損失として第一変換部31に与え、第一変換器の更新処理を行うことである。第一変換部31は、例えば、バックプロパゲーションを行う前処理として、特徴量差異情報を損失として付加し、バックプロパゲーションを行う。第一変換部31は、例えば、フォワードプロパゲーションにより取得された損失に特徴量差異情報を加えて、バックプロパゲーションを行う。
第一変換部31は、例えば、第二変換部36が取得した第二変換生体画像を、第一変換器を用いて変換し、変換結果である変換生体画像を取得する。
第一変換部31は、予め決められた範囲の画素値の画素のみを対象として、第一変換処理を行っても良い。予め決められた範囲の画素値の画素とは、例えば、特定の部位や領域の画素値の画素である。予め決められた範囲の画素値の画素は、例えば、骨の画像を構成する画素である。生体画像がCT画像である場合、骨の画像を構成する画素の画素値は、例えば、100~500である。また、予め決められた範囲の画素値の画素は、例えば、軟組織の領域の画素値の画素である。
分類部32は、分類器格納部12の分類器を用いて、第一変換部31が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う。
分類部32は、第一変換部31が第二変換生体画像から取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第二分類処理を行っても良い。
分類部32は、例えば、予め決められた範囲の画素値の画素のみを対象として作成された分類器を用いて、第一変換部31が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う。
分類部32は、例えば、分類器格納部12の分類器を用いて、生体画像受付部21が受け付けた2以上の各生体画像が正例生体画像であるか負例生体画像であるかを判断する。
なお、分類部32が行う分類処理のアルゴリズムは問わない。分類部32は、例えば、深層学習、SVM、決定木、ランダムフォレスト等のアルゴリズムにより、分類処理を行う。
また、分類部32は、公知技術であるワッサースタイン距離を用いて、生体画像受付部21が受け付けた2以上の各生体画像が正例生体画像であるか負例生体画像であるかを判断しても良い。かかる場合、分類部32は距離を正確に測定し、変換部31は、分類部32が取得した距離を縮めるよう努めるようなやり方で第一のグループAの画像(例えば、負例生体画像)から第二のグループの画像(例えば、正例生体画像)への変換を学習する。 学習部33は、生体画像格納部11の1以上の負例生体画像と1以上の正例生体画像に加えて、第一変換部31が取得した1以上の変換生体画像を負例生体画像として用いて、受け付けられた生体画像が正例生体画像であるか負例生体画像であるかを判断するために使用される分類器を生成する。
学習部33は、例えば、生体画像格納部11に格納されている1以上の負例生体画像と1以上の正例生体画像とを用いて、分類器を生成する。学習部33は、例えば、生体画像格納部11に格納されている1以上の負例生体画像と負例生体画像であることを示す情報、および1以上の正例生体画像と正例生体画像であることを示す情報とを用いて、分類器を生成する。
学習部33が分類器を生成する処理は、通常、機械学習のアルゴリズムにより実現される。機械学習のアルゴリズムは、深層学習、SVM、決定木、ランダムフォレスト等、問わない。
特徴量ベクトル取得部34は、第二変換部36への入力である変換生体画像、第二変換部36の出力である第二変換生体画像、第一変換部31の第二変換生体画像に対する出力である変換生体画像のうちの少なくとも2以上の各生体画像の特徴量ベクトルを取得する。なお、特徴量ベクトルは、画像の特徴量の集合である。画像の特徴量は、例えば、画素値、2つの予め決められた位置の画素の画素値の差、予め決められた領域の予め決められた数の画素値の平均値、2つの生体画像の空間方向(z軸方向)の同一の位置の画素値の差である。ただし、画像の特徴量の内容は問わない。また、画像から特徴量ベクトルを取得する処理は公知技術であるので、詳細な説明は省略する。
特徴量ベクトル取得部34は、例えば、第一変換部31に与えた負例生体画像の1以上の特徴量である入力特徴量ベクトルと、第一変換部31が取得した変換生体画像の1以上の特徴量である出力特徴量ベクトルとを取得する。
特徴量差異情報取得部35は、特徴量ベクトル取得部34が取得した2以上の特徴量ベクトルのうちの1以上のペアの間の差異に関する特徴量差異情報を取得する。特徴量差異情報は、例えば、2以上の特徴量ベクトルの距離である。特徴量差異情報は、例えば、2以上の特徴量ベクトルの差の絶対値である。
特徴量差異情報取得部35は、例えば、入力特徴量ベクトルと出力特徴量ベクトルとの差異に関する特徴量差異情報を取得する。
第二変換部36は、第一変換部31が取得した変換生体画像を、第二変換器を用いて変換し、変換結果である第二変換生体画像を取得する第二変換処理を行う。第二変換処理は、例えば、深層学習のフォワードプロパゲーションの処理である。第二変換処理は、例えば、深層学習のフォワードプロパゲーションとバックプロパゲーションとを繰り返す処理である。ただし、第二変換処理は、例えば、AutoEncoder、U-Net、Res-Net、スタイル変換(Adaptive Instance Normalization)等のアルゴリズムを用いた処理でも良い。
制御部37は、第一変換処理、第一分類処理、第二変換処理、および第二分類処理を1回、または2回以上繰り返して行うように制御する。制御部37は、例えば、予め決められた終了条件に合致するまで、第一変換処理、第一分類処理、第二変換処理、および第二分類処理を繰り返して行うように制御する。なお、予め決められた終了条件は、例えば、第一変換処理、第一分類処理、第二変換処理、および第二分類処理の一連の処理がN(Nは1以上の自然数)回、繰り返し実行されたことである。また、終了条件は、例えば、閾値以上の割合(例えば、100%、または95%以上)の変換生体画像が正例生体画像であると判断されることである。
出力部4は、各種の情報を出力する。各種の情報とは、例えば、第一変換部31が取得した変換生体画像である。出力部4は、例えば、第一変換部31が取得した変換生体画像を格納部1に蓄積する。
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
格納部1、生体画像格納部11、分類器格納部12、および変換器格納部13は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部1等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部1等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部1等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部1等で記憶されるようになってもよい。
受付部2、生体画像受付部21、および負例生体画像受付部22は、例えば、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
処理部3、第一変換部31、分類部32、学習部33、特徴量ベクトル取得部34、特徴量差異情報取得部35、第二変換部36、および制御部37は、通常、MPUやメモリ等から実現され得る。処理部3等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
出力部4は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部4は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、生体画像取得装置Aの動作例について、図2のフローチャートを用いて説明する。
(ステップS201)生体画像受付部21は、1以上の生体画像を受け付けたか否かを判断する。1以上の生体画像を受け付けた場合はステップS202に行き、1以上の生体画像を受け付けなかった場合はステップS201に戻る。
(ステップS202)分類部32は、ステップS201で受け付けられた1以上の生体画像に対して分類処理を行う。分類処理の例について、図3のフローチャートを用いて説明する。
(ステップS203)第一変換部31等は、変換器学習処理を行う。変換器学習処理の例について、図4のフローチャートを用いて説明する。なお、変換器学習処理とは、変換器格納部13に格納されている第一変換器を更新する処理である。変換器学習処理は、第一変換器の精度を上げるためのチューニング処理である、と言っても良い。
(ステップS204)学習部33等は、分類器学習処理を行う。分類器学習処理の例について、図5のフローチャートを用いて説明する。なお、分類器学習処理とは、分類器格納部12に格納されている分類器を更新する処理である。分類器学習処理は、分類器の精度を上げるためのチューニング処理である、と言っても良い。
(ステップS205)制御部37は、予め決められた終了条件に基づいて、ステップS203、ステップS204の処理を繰り返すループ処理を終了するか否かを判断する。終了する場合はステップS206に行き、終了しない場合はステップS203に戻る。なお、終了条件は、例えば、ステップS203、ステップS204の処理がN(Nは1以上の自然数)回、繰り返し実行されたことである。また、終了条件は、例えば、変換器学習処理の中のステップS405において、閾値以上の割合(例えば、100%、または95%以上)の変換生体画像が正例生体画像である、と判断されたこと、予め用意された不具合の有無を精度良く分類可能な分類器によって、閾値以上の割合(例えば、100%、または95%以上)の変換生体画像が正例生体画像である、と判断されたこと等である。
(ステップS206)第一変換部31は、カウンタiに1を代入する。
(ステップS207)第一変換部31は、生体画像格納部11の中にi番目の負例生体画像が存在するか否かを判断する。i番目の負例生体画像が存在する場合はステップS208に行き、i番目の負例生体画像が存在しない場合はステップS212に行く。
(ステップS208)第一変換部31は、生体画像格納部11からi番目の負例生体画像を取得する。
(ステップS209)第一変換部31は、更新された第一変換器を用いて、ステップS208で取得したi番目の負例生体画像に対して、第一変換処理を行い、i番目の正例生体画像を取得する。なお、ここで、i番目の正例生体画像は、金属アーチファクト等の不具合が完全に除去されていることが好適であるが、不具合が低減されている画像でも良い。
(ステップS210)出力部4は、i番目の正例生体画像を格納部1に蓄積する。なお、出力部4は、i番目の正例生体画像をi番目の負例生体画像に対応付けて格納部1に蓄積しても良いし、i番目の負例生体画像に上書きして、i番目の正例生体画像を格納部1に蓄積しても良い。
(ステップS211)第一変換部31は、カウンタiを1、インクリメントする。ステップS207に戻る。
(ステップS212)制御部37は、全ての学習処理が終了したか否かを判断する。全ての学習処理が終了した場合は処理を終了し、全ての学習処理が終了していない場合はステップS201に戻る。なお、制御部37は、例えば、以下のいずれかの終了条件に合致する場合に、全ての学習処理が終了すると判断する。なお、終了条件は、例えば、ステップS201からステップS211に示す処理がN(Nは1以上の自然数)回、繰り返し実行されたことである。また、終了条件は、例えば、変換器学習処理の中のステップS405において、閾値以上の割合(例えば、100%、または95%以上)の変換生体画像が正例生体画像である、と判断されたこと、予め用意された不具合の有無を精度良く分類可能な分類器によって、閾値以上の割合(例えば、100%、または95%以上)の変換生体画像が正例生体画像である、と判断されたこと等である。
なお、図2のフローチャートにおいて、ステップS202において、生体画像を負例生体画像と正例生体画像とに分類する処理は、人が行っても良い。分類する処理を人が行う場合、受付部2は、人の判断結果(正例生体画像であるか負例生体画像であるかを示す情報)を受け付け、処理部3は生体画像と判断結果とを対応付ける。
また、図2のフローチャートにおいて、生体画像の各画素のうち、予め決められた範囲の画素値の画素のみを対象として処理が行われても良い。例えば、生体画像がCT画像である場合、画素値が「100~500」の画素のみを取得し、骨の領域の生体画像のみを対象として、第一変換部31が第一変換処理を行い、分類部32が第一分類処理を行っても良い。かかる場合、例えば、処理部3は、処理対象の生体画像の各画素の画素値を検査し、予め決められた範囲の画素値の画素のみを残す処理(例えば、他の画素の値を0または最大値とする等)を行う。
次に、ステップS202の分類処理の例について、図3のフローチャートを用いて説明する。
(ステップS301)分類部32は、カウンタiに1を代入する。
(ステップS302)分類部32は、ステップS201で受け付けられた生体画像の中に、i番目の生体画像が存在するか否かを判断する。i番目の生体画像が存在する場合はステップS303に行き、i番目の生体画像が存在しない場合は上位処理にリターンする。
(ステップS303)分類部32は、i番目の生体画像を取得する。
(ステップS304)分類部32は、格納部1の分類器を用いて、i番目の生体画像が正例生体画像であるか、負例生体画像であるかを判断し、判断結果を取得する。
(ステップS305)分類部32は、i番目の生体画像に対して、ステップS304で取得した判断結果を対応付ける。
(ステップS306)分類部32は、カウンタiを1、インクリメントする。ステップS302に戻る。
次に、ステップS203の変換器学習処理の例について、図4のフローチャートを用いて説明する。
(ステップS401)第一変換部31は、カウンタiに1を代入する。
(ステップS402)第一変換部31は、i番目の負例生体画像が存在するか否かを判断する。i番目の負例生体画像が存在する場合はステップS403に行き、i番目の負例生体画像が存在しない場合はステップS411に行く。
なお、i番目の負例生体画像は、例えば、ステップS202の分類処理において、負例生体画像であると判断された生体画像のうちのi番目の負例生体画像である。
また、i番目の負例生体画像は、例えば、ステップS202の分類処理において、負例生体画像であると判断された生体画像および前回の変換器学習処理で取得された1以上の変換生体画像を含む生体画像のうちのi番目の負例生体画像である。
(ステップS403)第一変換部31は、i番目の負例生体画像を取得する。
(ステップS404)第一変換部31は、変換器格納部13の第一変換器を用いて、i番目の負例生体画像に対して第一変換処理を行い、i番目の変換生体画像を取得し、少なくとも図示しないバッファに一時蓄積する。
(ステップS405)分類部32は、ステップS404で取得されたi番目の変換生体画像に対して第一分類処理を行い、i番目の変換生体画像が正例生体画像であるか、負例生体画像であるかを判断し、判断結果を取得する。
(ステップS406)特徴量ベクトル取得部34は、i番目の負例生体画像の2以上の特徴量の集合である入力特徴量ベクトルを取得する。また、特徴量ベクトル取得部34は、i番目の変換生体画像の2以上の特徴量の集合である出力特徴量ベクトルを取得する。
(ステップS407)特徴量差異情報取得部35は、ステップS406で取得された入力特徴量ベクトルと出力特徴量ベクトルとの差異に関する特徴量差異情報を取得する。
(ステップS408)第一変換部31は、ステップS407で取得された特徴量差異情報を損失として加え、第一変換器に対する損失を更新する。
(ステップS409)第一変換部31は、ステップS408で更新された損失を用いて、変換器格納部13の第一変換器に対する学習処理を行い、当該第一変換器を更新する。なお、かかる処理は、特徴量差異情報が少なくなるように第一変換器を変更する学習処理である。
(ステップS410)第一変換部31は、カウンタiを1、インクリメントする。ステップS402に戻る。
(ステップS411)第二変換部36は、カウンタiに1を代入する。
(ステップS412)第二変換部36は、ステップS404で一時蓄積された変換生体画像の中で、i番目の変換生体画像が存在するか否かを判断する。i番目の変換生体画像が存在する場合はステップS413に行き、i番目の変換生体画像が存在しない場合は上位処理にリターンする。
(ステップS413)第二変換部36は、図示しないバッファからi番目の変換生体画像を取得する。
(ステップS414)第二変換部36は、変換器格納部13の第二変換器を用いて、ステップS413で取得したi番目の変換生体画像に対して第二変換処理を行い、i番目の変換生体画像を取得する。なお、ここで取得した変換生体画像を第二変換生体画像と言っても良い。
(ステップS415)分類部32は、ステップS414で取得されたi番目の第二変換生体画像に対して分類処理を行い、当該第二変換生体画像が正例生体画像であるか負例生体画像であるかを判断し、判断結果を取得する。なお、かかる処理は、第二分類処理である。
(ステップS416)特徴量ベクトル取得部34は、ペアとなる2つの各生体画像の特徴量ベクトルを取得する。なお、ペアとなる2つの各生体画像は、例えば、i番目の変換生体画像とi番目の第二変換生体画像、またはi番目の負例生体画像とi番目の第二変換生体画像である。
(ステップS417)特徴量差異情報取得部35は、ステップS416で取得された2つの特徴量ベクトルの特徴量差異情報を取得する。
(ステップS418)第一変換部31は、ステップS417で取得された特徴量差異情報を用いて、第一変換器の損失を更新する。
(ステップS419)第二変換部36は、ステップS418で取得された損失を用いて、学習処理を行い、第一変換器を更新する。また、第二変換部36は、第二変換器に対する学習処理を行い、第二変換器を更新する。
(ステップS420)第二変換部36は、カウンタiを1、インクリメントする。ステップS412に戻る。
なお、図4のフローチャートにおいて、ステップS411からステップS420を省略しても良い。
また、図4のフローチャートにおいて、ステップS417で取得された特徴量差異情報を第一変換器の更新処理に用いる損失に加えなくてもよい。また、損失に加えるとは、例えば、第一変換器のフォワードプロパゲーションで得られた損失に特徴差異を線形和で加える等の結合処理である。
また、図4のフローチャートにおいて、第1変換器の更新処理はノルム誤差、Gradient Penalty、ワッサースタイン距離等の公知技術を併用しても良い。 さらに、図4のフローチャートにおいて、上述したように、2回目以降の変換器学習処理では、前回の変換器学習処理で取得された1以上の変換生体画像をも負例生体画像として用いられることは好適である。
次に、ステップS204の分類器学習処理の例について、図5のフローチャートを用いて説明する。
(ステップS501)学習部33は、1以上の正例生体画像を生体画像格納部11から取得する。
(ステップS502)学習部33は、第一変換部31が取得した1以上の変換生体画像を負例生体画像として取得する。
(ステップS503)学習部33は、1以上の負例生体画像を生体画像格納部11から取得する。
(ステップS504)学習部33は、ステップS501で取得した1以上の正例生体画像と、ステップS502とステップS503で取得した2以上の負例生体画像とを用いて、機械学習のアルゴリズムにより、生体画像を正例生体画像か負例生体画像に分類するための分類器を生成する。なお、ここで、学習部33は、ステップS503で取得した2以上の負例生体画像を用いずに、ステップS502で取得した負例生体画像を用いて、機械学習のアルゴリズムにより、生体画像を正例生体画像か負例生体画像に分類するための分類器を生成しても良い。
(ステップS505)学習部33は、ステップS504で生成した分類器を分類器格納部12に蓄積する。上位処理にリターンする。なお、かかる処理により、分類器が更新される。
以下、本実施の形態における生体画像取得装置Aの具体的な動作について説明する。本具体例において、生体画像は、例えば、CT画像である。負例生体画像は、金属アーチファクトを有する画像(例えば、図6)である、とする。図6は、人の口腔部の画像であるが、口腔部のインプラントや義歯から発生する金属アーチファクトが発生しており、医療従事者等による診断や手術等を困難にしている。また、図6の画像では、金属アーチファクトによる影響により軟組織となるべき部分が一部空洞になっている。
かかる状況において、2つの具体例について説明する。具体例1は、生体画像はスライス画像である。具体例2は、生体画像はスライス画像の集合である3次元画像である。
(具体例1)
生体画像取得装置Aの生体画像格納部11に、図7の(a)(b)(c)等の負例生体画像、および図示しない多数の正例生体画像が格納されている、とする。
また、分類器格納部12には、生体画像が負例生体画像であるか正例生体画像であるかを判断するために使用される分類器が格納されている、とする。
また、変換器格納部13には、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納されている、とする。さらに、変換器格納部13には、正例生体画像から負例生体画像を取得しようとする変換処理のために使用される第二変換器が格納されている、とする。
かかる状況において、生体画像取得装置Aは処理の開始指示を受け付けると、生体画像格納部11の生体画像に対して分類器を用いた分類処理を行い、正例生体画像と負例生体画像とに分類する処理を行う。そして、生体画像取得装置Aは、例えば、図7の(a)(b)(c)等の生体画像を負例生体画像であると、決定したとする。
次に、生体画像取得装置Aは、図2から図5のフローチャートを用いて説明した処理により、図7の(a)(b)(c)の各負例生体画像を、各々、図7の(d)(e)(f)に変換し、正例生体画像を得る。
なお、図7(d)の画像は、図7(a)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ軟組織が埋められており、かつ図7(a)の画像内の口腔部の形状の特徴は維持されている。また、図7(e)の画像は、図7(b)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ図7(b)の画像内の口腔部の形状の特徴は維持されている。さらに、図7(f)の画像は、図7(c)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ軟組織が埋められており、かつ図7(c)の画像内の口腔部の形状の特徴は維持されている。
(具体例2)
生体画像取得装置Aの生体画像格納部11に、図8の(a)(b)(c)等の負例生体画像を含む3次元画像、および図示しない多数の正例生体画像が格納されている、とする。なお、図8(a)(b)(c)の各々は、金属アーチファクト等を有する静止画を含む複数の生体画像を有する3次元画像である。また、図8(a)(b)(c)の各々は、骨の範囲の画素値(100~500)の画素のみが表出した画像である。
また、分類器格納部12には、1または2以上の生体画像の集合が負例生体画像であるか正例生体画像であるかを判断するために使用される分類器が格納されている、とする。
また、変換器格納部13には、1または2以上の例生体画像から1または2以上の正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納されている、とする。さらに、変換器格納部13には、1または2以上の正例生体画像から1または2以上の負例生体画像を取得しようとする変換処理のために使用される第二変換器が格納されている、とする。
かかる状況において、生体画像取得装置Aは処理の開始指示を受け付けると、生体画像格納部11の3次元の生体画像を構成する2以上のスライス画像の集合に対して分類器を用いた分類処理を行い、正例生体画像と負例生体画像とに分類する処理を行う。そして、生体画像取得装置Aは、例えば、図8の(a)(b)(c)を構成する2以上のスライス画像の集合を負例生体画像であると、決定したとする。
次に、生体画像取得装置Aは、図2から図5のフローチャートを用いて説明した処理により、図8の(a)(b)(c)を構成する2以上のスライス画像の集合を変換し、金属アーチファクト等の不具合のない2以上のスライス画像の集合を取得する。そして、生体画像取得装置Aは、取得された2以上のスライス画像の集合を用いて、3次元画像を構成する。かかる3次元画像は、図8の(d)(e)(f)である。
なお、図8(d)の画像は、図8(a)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ図8(a)の画像内の口腔部等の形状の特徴は維持されている。また、図8(e)の画像は、図8(b)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ図8(b)の画像内の口腔部と肩等の形状の特徴は維持されている。さらに、図8(f)の画像は、図8(c)の画像と比較して、金属アーチファクトが低減または無くなっており、かつ図8(c)の画像内の口腔部等の形状の特徴は維持されている。
以上、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を自動的に、かつ教師データを用いずに取得できる。
また、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を自動的に精度高く、かつ教師データを用いずに取得できる。
また、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像であり、負例生体画像の特徴を保持している正例生体画像を自動的に、かつ教師データを用いずに取得できる。
また、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像であり、負例生体画像の特徴を保持している正例生体画像を自動的に精度高く、かつ教師データを用いずに取得できる。
また、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する3次元の負例生体画像から不具合が少ない3次元の正例生体画像を自動的に、かつ教師データを用いずに取得できる。
さらに、本実施の形態によれば、例えば、金属アーチファクト等の不具合が存在する生体画像であり、骨の部分の生体画像である負例生体画像から不具合が少ない骨の部分の正例生体画像を自動的に、かつ教師データを用いずに取得できる。
なお、本実施の形態において、生体画像取得装置Aは、図9に示すような最小構成でも良い。つまり、生体画像取得装置Aは、格納部1、受付部2、処理部3、および出力部4を備える。そして、格納部1は、分類器格納部12、および変換器格納部13を備える。また、受付部2は、負例生体画像受付部22を備える。さらに、処理部3は、第一変換部31、分類部32を備える。
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における生体画像取得装置Aを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、不具合のある生体画像である1以上の負例生体画像と不具合のない生体画像である1以上の正例生体画像とを用いて作成された分類器であり、負例生体画像であるか正例生体画像であるかを判断する分類器が格納される分類器格納部と、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納される変換器格納部とにアクセス可能なコンピュータを、負例生体画像を受け付ける負例生体画像受付部と、前記負例生体画像受付部が受け付けた負例生体画像を、前記第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う第一変換部と、前記分類器を用いて、前記第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う分類部として機能させ、前記第一変換部は、前記分類部による判断結果と前記変換生体画像とを用いて、学習処理を行い、前記第一変換器を更新する更新処理を行い、前記負例生体画像受付部は、新たな負例生体画像を受け付け、前記第一変換部は、前記負例生体画像受付部が受け付けた新たな負例生体画像を、前記更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得するものとして、前記コンピュータを機能させるためのプログラムである。
(実施の形態2)
本実施の形態において、実施の形態1で説明した生体画像取得装置Aに与えた1以上の負例生体画像を入力とし、生体画像取得装置Aが最終的に取得した1以上の変換生体画像を出力とする変換処理を行う第一変換器を構成する変換器構成装置について説明する。
図10は、本実施の形態における変換器生産装置Bのブロック図である。変換器生産装置Bは、格納部5、および処理部6を備える。格納部5は、生体画像格納部11を備える。処理部6は、学習部61、および変換器蓄積部62を備える。
格納部5には、各種の情報が格納される。各種の情報は、例えば、1以上の生体画像である。
生体画像格納部11には、生体画像取得装置Aに与えた1以上の負例生体画像と、生体画像取得装置Aの第一変換部31が取得した1以上の変換生体画像とが格納される。1以上の変換生体画像は、生体画像取得装置Aが最終的に取得した変換生体画像である。また、1以上の各変換生体画像は、変換前の負例生体画像に対応付いている、とする。
処理部6は、各種の処理を行う。各種の処理とは、例えば、学習部61、変換器蓄積部62が行う処理である。
学習部61は、生体画像格納部11の1以上の負例生体画像と1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する。かかる学習処理は公知技術であるので、詳細な説明を省略する。なお、学習部61は、通常、機械学習のアルゴリズムにより、変換器を取得する。機械学習のアルゴリズムは、例えば、深層学習であるが、問わない。
変換器蓄積部62は、学習部61が取得した変換器を蓄積する。変換器蓄積部62は、例えば、格納部5に変換器を蓄積する。
格納部5、および生体画像格納部11は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部5等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部5等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部5等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部5等で記憶されるようになってもよい。
処理部6、学習部61、および変換器蓄積部62は、通常、MPUやメモリ等から実現され得る。処理部6等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、変換器生産装置Bの動作例について、図11のフローチャートを用いて説明する。
(ステップS1101)学習部61は、生体画像格納部11から、負例生体画像と変換生体画像との組を、1組以上、取得する。
(ステップS1102)学習部61は、ステップS1101で取得した1組以上の生体画像のペアを用いて、負例生体画像を入力とし、変換生体画像を出力とする変換器を生成する。
(ステップS1103)変換器蓄積部62は、ステップS1102で生成された変換器を格納部5に蓄積する。処理を終了する。
以上、本実施の形態によれば、負例生体画像から正例生体画像を取得するための精度の高い変換器を自動的に取得できる。
なお、本実施の形態において、変換器生産装置Bは、生体画像取得装置Aの一部または全部の機能を有しても良い。
また、本実施の形態における変換器生産装置Bを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、生体画像取得装置Aに与えた1以上の負例生体画像と、生体画像取得装置Aの第一変換部が取得した1以上の変換生体画像とが格納される生体画像格納部にアクセス可能なコンピュータを、前記生体画像格納部の前記1以上の負例生体画像と前記1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する学習部と、前記学習部が取得した変換器を蓄積する変換器蓄積部として機能させるためのプログラムである。
(実施の形態3)
本実施の形態において、変換器生産装置Bが生成した変換器を用いて正例生体画像を取得する生体画像取得装置について説明する。
図12は、本実施の形態における生体画像取得装置Cのブロック図である。生体画像取得装置Cは、格納部7、受付部2、処理部8、および出力部9を備える。格納部7は、変換器格納部71を備える。受付部2は、負例生体画像受付部22を備える。処理部8は、変換部81を備える。
格納部7には、各種の情報が格納される。各種の情報とは、例えば、変換器、生体画像である。
変換器格納部71には、変換器生産装置Bが取得した変換器が格納される。
処理部8は、各種の処理を行う。各種の処理とは、例えば、変換部81が行う処理である。処理部8は、分類部32を含んでも良い。
変換部81は、負例生体画像受付部22が受け付けた負例生体画像を、変換器格納部71の変換器を用いて変換し、変換結果である正例生体画像を取得する。変換部81の処理は公知技術であるので、詳細な説明を省略する。なお、変換部81は、第一変換部31と同一のものでも良い。
出力部9は、変換部81が取得した正例生体画像を出力する。出力部9は、通常、変換部81が取得した正例生体画像を蓄積する。なお、正例生体画像の蓄積先は、例えば、格納部7であるが、問わない。
格納部7、および変換器格納部71は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部7等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部7等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部7等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部7等で記憶されるようになってもよい。
処理部8、変換部81、および出力部9は、通常、MPUやメモリ等から実現され得る。処理部8等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、生体画像取得装置Cの動作例について、図13のフローチャートを用いて説明する。
(ステップS1301)負例生体画像受付部22が負例生体画像を受け付けたか否かを判断する。負例生体画像を受け付けた場合はステップS1302に行き、負例生体画像を受け付けなかった場合はステップS1301に戻る。
(ステップS1302)変換部81は、変換器格納部71から変換器を取得する。
(ステップS1303)変換部81は、ステップS1301で受け付けられた負例生体画像を、ステップS1302で取得した変換器を用いて変換し、変換結果である正例生体画像を取得する。
(ステップS1304)出力部9は、ステップS1303で取得された正例生体画像を蓄積する。ステップS1301に戻る。
なお、図13のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以上、本実施の形態によれば、自動的に取得した精度の高い変換器を用いて、負例生体画像から正例生体画像を取得できる。
なお、本実施の形態における生体画像取得装置Cを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、変換器生産装置Bが取得した変換器が格納される変換器格納部にアクセス可能なコンピュータを、負例生体画像を受け付ける負例生体画像受付部と、前記負例生体画像受付部が受け付けた負例生体画像を、前記変換器格納部の変換器を用いて変換し、変換結果である正例生体画像を取得する変換部と、前記変換部が取得した正例生体画像を出力する出力部として機能させるためのプログラムである。
また、図14は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の装置(例えば、生体画像取得装置A)を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図14は、このコンピュータシステム300の概観図であり、図15は、システム300のブロック図である。
図14において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
図15において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、MPU3013、CD-ROMドライブ3012に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム300に、上述した実施の形態の生体画像取得装置A等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ301に、上述した実施の形態の生体画像取得装置A等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、上記プログラムは、単一または複数であっても良い。すなわち、AIによる処理の公知技術として、同時に複数個のAIを訓練し、それらの判定結果の平均値または線形結合和を最終結果として採用する処理(アンサンブル処理)を行ってもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる生体画像取得装置は、例えば、金属アーチファクト等の不具合が存在する負例生体画像から不具合が少ない正例生体画像を精度高く取得できるという効果を有し、生体画像取得装置等として有用である。
A、C 生体画像取得装置
B 変換器生産装置
1、5、7 格納部
2 受付部
3、6、8 処理部
4、9 出力部
11 生体画像格納部
12 分類器格納部
13、71 変換器格納部
21 生体画像受付部
22 負例生体画像受付部
31 第一変換部
32 分類部
33、61 学習部
34 特徴量ベクトル取得部
35 特徴量差異情報取得部
36 第二変換部
37 制御部
62 変換器蓄積部
81 変換部

Claims (14)

  1. 不具合のある生体画像である1以上の負例生体画像と不具合のない生体画像である1以上の正例生体画像とを用いて作成された分類器であり、負例生体画像であるか正例生体画像であるかを判断する分類器が格納される分類器格納部と、
    負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納される変換器格納部と、
    負例生体画像を受け付ける負例生体画像受付部と、
    前記負例生体画像受付部が受け付けた負例生体画像を、前記第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う第一変換部と、
    前記分類器を用いて、前記第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う分類部とを具備し、
    前記第一変換部は、前記分類部による判断結果と前記変換生体画像とを用いて、学習処理を行い、前記第一変換器を更新する更新処理を行い、
    前記負例生体画像受付部は、新たな負例生体画像を受け付け、
    前記第一変換部は、前記負例生体画像受付部が受け付けた新たな負例生体画像を、前記更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得する生体画像取得装置。
  2. 前記1以上の負例生体画像と前記1以上の正例生体画像とが格納される生体画像格納部と、
    前記生体画像格納部の1以上の負例生体画像と1以上の正例生体画像に加えて、前記第一変換部が取得した1以上の変換生体画像を負例生体画像として用いて、受け付けられた生体画像が正例生体画像であるか負例生体画像であるかを判断するために使用される分類器を生成する学習部とをさらに具備する請求項1記載の生体画像取得装置。
  3. 前記第一変換部に与えた前記負例生体画像の1以上の特徴量である入力特徴量ベクトルと、前記第一変換部が取得した前記変換生体画像の1以上の特徴量である出力特徴量ベクトルとを取得する特徴量ベクトル取得部と、
    前記入力特徴量ベクトルと前記出力特徴量ベクトルとの差異に関する特徴量差異情報を取得する特徴量差異情報取得部とをさらに具備し、
    前記第一変換部は、前記特徴量差異情報が少なくなるように前記学習処理を行い、前記第一変換器を更新する請求項1または請求項2記載の生体画像取得装置。
  4. 前記変換器格納部には、正例生体画像から負例生体画像を取得しようとする変換処理のために使用される第二変換器が格納され、
    前記第一変換部が取得した変換生体画像を、前記第二変換器を用いて変換し、変換結果である第二変換生体画像を取得する第二変換処理を行う第二変換部をさらに具備し、
    前記第一変換部は、前記第二変換部が取得した第二変換生体画像を、前記第一変換器を用いて変換し、変換結果である変換生体画像を取得し、
    前記分類部は、前記第一変換部が第二変換生体画像から取得した前記変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第二分類処理を行い、
    前記第一変換処理、前記第一分類処理、前記第二変換処理、および前記第二分類処理を1回、または2回以上繰り返して行うように制御する制御部をさらに具備する請求項1から請求項3いずれか一項に記載の生体画像取得装置。
  5. 前記第二変換部への入力である変換生体画像、前記第二変換部の出力である第二変換生体画像、前記第一変換部の第二変換生体画像に対する出力である変換生体画像のうちの少なくとも2以上の各生体画像の特徴量ベクトルを取得する特徴量ベクトル取得部と、
    前記特徴量ベクトル取得部が取得した2以上の特徴量ベクトルのうちの1以上のペアの間の差異に関する特徴量差異情報を取得する特徴量差異情報取得部と、
    前記第一変換部は、前記特徴量差異情報が少なくなるように前記学習処理を行い、前記第一変換器を更新する処理を行う請求項4記載の生体画像取得装置。
  6. 前記負例生体画像は、撮像した生体の不具合のある画像集合の一部を輪切りにした2以上のスライス画像の集合であり、
    前記正例生体画像は、撮像した生体の不具合のない画像集合の一部を輪切りにした2以上のスライス画像の集合である請求項1から請求項5いずれか一項に記載の生体画像取得装置。
  7. 前記第一変換部は、予め決められた範囲の画素値の画素のみを対象として、前記第一変換処理を行い、
    前記分類部は、前記予め決められた範囲の画素値の画素のみを対象として作成された分類器を用いて、前記第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う請求項1から請求項6いずれか一項に記載の生体画像取得装置。
  8. 前記予め決められた範囲の画素値の画素は、骨の画像を構成する画素である請求項7記載の生体画像取得装置。
  9. 2以上の生体画像を受け付ける生体画像受付部をさらに具備し、
    前記分類部は、
    前記分類器を用いて、前記生体画像受付部が受け付けた前記2以上の各生体画像が正例生体画像であるか負例生体画像であるかを判断し、
    前記負例生体画像受付部は、
    前記分類部が負例生体画像であると判断した生体画像を取得する請求項1から請求項8いずれか一項に記載の生体画像取得装置。
  10. 請求項1から請求項9いずれか一項に記載の生体画像取得装置に与えた1以上の負例生体画像と、請求項1から請求項9いずれか一項に記載の生体画像取得装置の第一変換部が取得した1以上の変換生体画像とが格納される生体画像格納部と、
    前記生体画像格納部の前記1以上の負例生体画像と前記1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する学習部と、
    前記学習部が取得した変換器を蓄積する変換器蓄積部とを具備する変換器生産装置。
  11. 不具合のある生体画像である1以上の負例生体画像と不具合のない生体画像である1以上の正例生体画像とを用いて作成された分類器であり、負例生体画像であるか正例生体画像であるかを判断する分類器が格納される分類器格納部と、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納される変換器格納部と、負例生体画像受付部と、第一変換部と、分類部とにより実現される生体画像の生産方法であって、
    前記負例生体画像受付部が、負例生体画像を受け付ける負例生体画像受付ステップと、
    前記第一変換部が、前記負例生体画像受付ステップで受け付けられた負例生体画像を、前記第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う第一変換ステップと、
    前記分類部が、前記分類器を用いて、前記第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う分類ステップと、
    前記第一変換部が、前記分類ステップで判断結果と前記変換生体画像とを用いて、学習処理を行い、前記第一変換器を更新する更新ステップと、
    前記負例生体画像受付部が、新たな負例生体画像を受け付ける第二負例生体画像受付ステップと、
    前記第一変換部が、前記新たな負例生体画像を、前記更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得する変換生体画像取得ステップとを具備する生体画像の生産方法。
  12. 請求項1から請求項9いずれか一項に記載の生体画像取得装置に与えた1以上の負例生体画像と、請求項1から請求項9いずれか一項に記載の生体画像取得装置の第一変換部が取得した1以上の変換生体画像とが格納される生体画像格納部と、学習部と、変換器蓄積部とにより実現される変換器の生産方法であって、
    前記学習部が、前記生体画像格納部の前記1以上の負例生体画像と前記1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する学習ステップと、
    前記変換器蓄積部が、前記学習部が取得した変換器を蓄積する変換器蓄積ステップとを具備する変換器の生産方法。
  13. 不具合のある生体画像である1以上の負例生体画像と不具合のない生体画像である1以上の正例生体画像とを用いて作成された分類器であり、負例生体画像であるか正例生体画像であるかを判断する分類器が格納される分類器格納部と、負例生体画像から正例生体画像を取得しようとする変換処理のために使用される第一変換器が格納される変換器格納部とにアクセス可能なコンピュータを、
    負例生体画像を受け付ける負例生体画像受付部と、
    前記負例生体画像受付部が受け付けた負例生体画像を、前記第一変換器を用いて変換し、変換結果である変換生体画像を取得する第一変換処理を行う第一変換部と、
    前記分類器を用いて、前記第一変換部が取得した変換生体画像が正例生体画像であるか負例生体画像であるかを判断する第一分類処理を行う分類部として機能させ、
    前記第一変換部は、前記分類部による判断結果と前記変換生体画像とを用いて、学習処理を行い、前記第一変換器を更新する更新処理を行い、
    前記負例生体画像受付部は、新たな負例生体画像を受け付け、
    前記第一変換部は、前記負例生体画像受付部が受け付けた新たな負例生体画像を、前記更新した第一変換器を用いて変換し、変換結果である変換生体画像を取得するものとして、前記コンピュータを機能させるためのプログラム。
  14. 請求項1から請求項9いずれか一項に記載の生体画像取得装置に与えた1以上の負例生体画像と、請求項1から請求項9いずれか一項に記載の生体画像取得装置の第一変換部が取得した1以上の変換生体画像とが格納される生体画像格納部にアクセス可能なコンピュータを、
    前記生体画像格納部の前記1以上の負例生体画像と前記1以上の変換生体画像とを用いて、負例生体画像から変換生体画像である正例生体画像を取得するために使用される変換器を取得する学習部と、
    前記学習部が取得した変換器を蓄積する変換器蓄積部として機能させるためのプログラム。
JP2019126430A 2019-07-05 2019-07-05 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム Active JP7094562B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019126430A JP7094562B2 (ja) 2019-07-05 2019-07-05 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
PCT/JP2020/026008 WO2021006174A1 (ja) 2019-07-05 2020-07-02 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、および記録媒体
US17/615,454 US12014499B2 (en) 2019-07-05 2020-07-02 Bioimage acquiring device, converter generating device, bioimage generating method, converter generating method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019126430A JP7094562B2 (ja) 2019-07-05 2019-07-05 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021010578A JP2021010578A (ja) 2021-02-04
JP7094562B2 true JP7094562B2 (ja) 2022-07-04

Family

ID=74115326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019126430A Active JP7094562B2 (ja) 2019-07-05 2019-07-05 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム

Country Status (3)

Country Link
US (1) US12014499B2 (ja)
JP (1) JP7094562B2 (ja)
WO (1) WO2021006174A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206382A (ja) 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
US20190128989A1 (en) 2017-11-01 2019-05-02 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US20190164288A1 (en) 2017-11-27 2019-05-30 Rensselaer Polytechnic Institute Training a cnn with pseudo ground truth for ct artifact reduction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061500A (ja) * 2002-06-03 2004-02-26 Fuji Photo Film Co Ltd 画像欠陥検出方法
US20210010953A1 (en) * 2019-07-12 2021-01-14 SVXR, Inc. Methods and Systems for Defects Detection and Classification Using X-rays
JP7256765B2 (ja) * 2020-02-28 2023-04-12 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206382A (ja) 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
US20190128989A1 (en) 2017-11-01 2019-05-02 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US20190164288A1 (en) 2017-11-27 2019-05-30 Rensselaer Polytechnic Institute Training a cnn with pseudo ground truth for ct artifact reduction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO Shuyang et al.,REMOVING RING ARTIFACTS IN CBCT IMAGES VIA GENERATIVE ADVERSARIAL NETWORK,2018 IEEE International Conference on Acoustics, Speech and Signal Processing,2018年09月13日,pp.1055-1059

Also Published As

Publication number Publication date
US20220230308A1 (en) 2022-07-21
WO2021006174A1 (ja) 2021-01-14
US12014499B2 (en) 2024-06-18
JP2021010578A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
US10709394B2 (en) Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs
JP2022116080A (ja) マルチモーダル医用画像処理
CN110998602A (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
US10726948B2 (en) Medical imaging device- and display-invariant segmentation and measurement
JP7218118B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113808025A (zh) 图像降噪方法及装置
WO2023046092A1 (en) Systems and methods for artifact removing
US10950343B2 (en) Highlighting best-matching choices of acquisition and reconstruction parameters
CN110782502A (zh) 基于深度学习的pet散射估计系统和使用感知神经网络模型的方法
WO2022045210A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US11062486B2 (en) Methods and apparatus for deep learning based data transfer between imaging systems
US20240338933A1 (en) Image generation apparatus, image generation method, image generation program, learning device, and learning data
WO2022091869A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US11460528B2 (en) MRI reconstruction with image domain optimization
JP7094562B2 (ja) 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
CN113614788A (zh) 计算机辅助读取和分析的深度强化学习
US20220198667A1 (en) Method and device for extracting blood vessel wall
EP4057292A1 (en) On-site training of a machine-learning algorithm for generating synthetic imaging data
JP4323770B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN111180046B (zh) 确定用于处理图像的处理序列
KR102342954B1 (ko) 인공지능 기반의 단층촬영 영상 인공음영 제거 방법 및 장치
JP6253962B2 (ja) 情報処理装置及び方法
US20220378383A1 (en) Target area determination method and medical imaging system
JP2022039989A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7094562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150