JPWO2019138438A1 - 画像作成装置及び学習済モデルの生成方法 - Google Patents

画像作成装置及び学習済モデルの生成方法 Download PDF

Info

Publication number
JPWO2019138438A1
JPWO2019138438A1 JP2019565087A JP2019565087A JPWO2019138438A1 JP WO2019138438 A1 JPWO2019138438 A1 JP WO2019138438A1 JP 2019565087 A JP2019565087 A JP 2019565087A JP 2019565087 A JP2019565087 A JP 2019565087A JP WO2019138438 A1 JPWO2019138438 A1 JP WO2019138438A1
Authority
JP
Japan
Prior art keywords
image
ray
drr
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019565087A
Other languages
English (en)
Other versions
JP6881611B2 (ja
Inventor
▲高▼橋　渉
渉 ▲高▼橋
翔太 押川
翔太 押川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2019138438A1 publication Critical patent/JPWO2019138438A1/ja
Application granted granted Critical
Publication of JP6881611B2 publication Critical patent/JP6881611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

画像作成装置は、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成するためのものであり、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより骨部を含む領域の第１ＤＲＲ画像と骨部を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより骨部を認識するための学習モデルを学習する学習部８２と、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより骨部を表す画像を作成する画像作成部８３と、被検者の骨部を含む領域のＸ線画像から骨部を表す画像を減算する骨部減算部８４とから構成される制御部７０を備える。

Description

この発明は、ＤＲＲ画像を利用してＸ線画像から特定部位を表す画像を作成する画像作成装置に関する。
被検者のＸ線画像から骨部を除去した画像を取得するボーンサプレッション等と呼称される画像処理を実行するときには、従来、デュアルエネルギーサブトラクション撮影が実行されている。このデュアルエネルギーサブトラクションは、被検者に対して異なる管電圧で二度の撮影を実行し、これにより得られたＸ線画像を重みづけして減算することにより、Ｘ線画像から骨部を除去する手法である（特許文献１参照）。
また、血管造影画像の撮影においては、ＤＳＡ（Ｄｉｇｉｔａｌ Ｓｕｂｔｒａｃｔｉｏｎ Ａｎｇｉｏｇｒａｐｈｙ）による撮影が行われる。この撮影を実行するときには、造影剤を投与していない状態において、被検者のＸ線画像をマスク画像として生成する。次に、造影剤を血管に投与した状態において被検体のＸ線画像をライブ画像として生成する。そして、ライブ画像からマスク画像を減算する画像処理を行うことにより、造影剤が注入された血管を示すサブトラクション画像を作成する（特許文献２参照）。
さらに、被検者の体内のステントをＸ線撮影により表示する場合においては、ステントの画像をより鮮明に表示するため、ステントの画像を積算して表示することも行われている（特許文献３参照）。
特開２０１２−２４５１４２号公報 特開２０１５−２２６６９４号公報 特開２０１４−０００２８７号公報
ボーンサプレッションや血管造影画像の撮影を行うときには、二枚のＸ線画像を減算する構成であることから、一枚目の撮影時と二枚目の撮影時において被検者の動きによる画像のずれが生じた場合には、アーチファクトが発生するという問題が生ずる。このため、アーチファクトを防止するために被検者の動きを規制したり、アーチファクトの低減のために種々の処理を実行したりする必要があった。
また、ステントの画像を表示する場合において、生体吸収性ステントを使用した場合には、Ｘ線透視撮影でステントの画像を認識することが出来ないという問題があった。
この発明は上記課題を解決するためになされたものであり、ＤＲＲ画像を利用した機械学習によりＸ線画像から特定部位を表す画像を作成することが可能な画像作成装置を提供することを目的とする。
請求項１に記載の発明は、被検者の特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含む領域を示す第１ＤＲＲ画像と、前記特定部位を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部と、前記第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することにより、前記特定部位を認識するための学習モデルを学習する学習部と、前記被検者の特定部位を含む領域のＸ線画像に対して、前記学習部で学習した学習済学習モデルを利用して変換を行うことにより、前記特定部位を表す画像を作成する画像作成部と、を備えたことを特徴とする。
請求項２に記載の発明は、請求項１に記載の発明において、前記特定部位は、骨部であり、前記Ｘ線画像から前記骨部を表す画像を減算する骨部減算部をさらに備える。
請求項３に記載の発明は、請求項１に記載の発明において、前記特定部位は、被検者の骨部以外の領域である。
請求項４に記載の発明は、請求項１に記載の発明において、前記特定部位は、造影剤が注入された血管である。
請求項５に記載の発明は、請求項４に記載の発明において、前記第１ＤＲＲ画像は造影剤が注入された血管を含むＤＲＲ画像から前記造影剤が注入された血管を除外したＤＲＲ画像であるとともに、前記Ｘ線画像は造影剤が注入されていない状態のＸ線画像であり、前記Ｘ線画像に対して前記造影剤が注入された血管を表す画像を加算する血管加算部をさらに備える。
請求項６に記載の発明は、請求項１に記載の発明において、前記特定部位は、前記被検者の体内に留置されるステントであり、前記Ｘ線画像に対して前記ステントを表す画像を加算するステント加算部をさらに備える。
請求項１に記載の発明によれば、ＤＲＲ画像を利用した機械学習により、単一のＸ線画像から特定部位を表す画像を作成することが可能となる。
請求項２に記載の発明によれば、被検者のＸ線画像から骨部を除去した画像を取得する場合において、単一のＸ線画像から骨部の画像を抽出し、これをＸ線画像から減算することにより、容易に被検者のＸ線画像から骨部を除去した画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
請求項３に記載の発明によれば、被検者のＸ線画像から骨部を除去した画像を取得する場合において、単一のＸ線画像から骨部以外の領域の画像を抽出することにより、容易に被検者のＸ線画像から骨部を除去した画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
請求項４および請求項５に記載の発明によれば、被検者の造影剤が注入された血管の画像を作成するにおいて、単一のＸ線画像から造影剤が注入された血管の画像を抽出して、この血管の画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
請求項６に記載の発明によれば、被検者のＸ線画像に対して被検者の体内に留置されたステントを追加した画像を作成する場合において、ステントがＸ線画像上で認識し得ない場合においても、ステントの周囲の特徴量からステントの位置を特定し、ステントの画像をＸ線画像に対して追加して表示することが可能となる。
この発明に係る画像作成装置に接続されＸ線透視撮影を実行するために使用されるＸ線透視撮影装置の斜視図である。 この発明の第１実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明に係る画像作成装置により機械学習を利用して被検者の特定部位を検出する工程を説明するための模式図である。 この発明に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。 Ｘ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。 骨部４１と軟部組織４２を含む領域を示す第１ＤＲＲ画像Ｄ１１の概要図である。 骨部４１を示す第２ＤＲＲ画像Ｄ１２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ１１の概要図である。 変換により得られた骨部４１のＸ線画像Ｘ１２の概要図である。 被検者のＸ線画像Ｘ１１から骨部４１を除去した画像Ｘ１３を示す概要図である。 この発明の第１実施形態の変形例に係る画像作成装置の制御系を示すブロック図である。 変形例に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。 この発明の第２実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明の第２実施形態に係る画像作成装置により被検者の造影剤が注入された血管の画像を作成する動作を示すフローチャートである。 心臓５１を示す第１ＤＲＲ画像Ｄ２１の概要図である。 造影剤が注入された血管５２を示す第２ＤＲＲ画像Ｄ２２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。 変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２の概要図である。 第１ＤＲＲ画像Ｄ２１の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。 この発明の第３実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明の第３実施形態に係る画像作成装置により被検者の体内に留置されたステントの画像を作成する動作を示すフローチャートである。 心臓６１、血管６２およびステント６３を示す第１ＤＲＲ画像Ｄ３１の概要図である。 ステント６３を示す第２ＤＲＲ画像Ｄ３２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ３１の概要図である。 被検者の体内に留置されたステント６３のＸ線画像Ｘ３２の概要図である。 心臓６１、血管６２およびステント６３を示すＸ線画像Ｘ３３の概要図である。
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る画像作成装置に接続されＸ線透視撮影を実行するために使用されるＸ線透視撮影装置の斜視図である。
このＸ線透視撮影装置は、Ｘ線透視およびＸ線撮影を実行するためのものであり、車輪１２により移動可能な装置本体１１を備える。また、このＸ線透視撮影装置は、Ｘ線管２１と、このＸ線管２１から照射されるＸ線の照射領域を制限してＸ線照射野を形成するコリメータ２３とを有するＸ線照射部と、Ｘ線管２１から照射され被検体である患者を通過したＸ線を検出して映像化するイメージインテンシファイア（Ｉ．Ｉ．）３２と、イメージインテンシファイア３２で映像化された画像を撮影するカメラ３３からなるＸ線検出部と、これらのＸ線照射部とＸ線検出部を支持するＣ型アーム１３を備える。
Ｃ型アーム１３は、円弧状の形状を有し、Ｘ線照射部とＸ線検出部とを支持している。このＣ型アーム１３は、アーム支持部１４に対してスライド可能に支持されている。また、アーム支持部１４は、装置本体１１に対して水平方向および上下方向に移動可能に支持されている。このＣ型アーム１３の移動は、オペレータが図示を省略したハンドルを把持して移動させることにより実行される。
また、このＸ線透視撮影装置は、Ｘ線検出部により検出したＸ線に基づいてＸ線画像を表示するＬＣＤ等の表示部１７と、収納式のキーボード等から成る入力部１６とを備えたモニター部１５を備える。このモニター部１５は、車輪１８の作用により移動可能となっている。
次に、この発明の第１実施形態に係る画像作成装置の構成について説明する。図２は、この発明の第１実施形態に係る画像作成装置の制御系を示すブロック図である。
この第１実施形態に係る画像作成装置は、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成するためのものであり、論理演算を実行するプロセッサーとしてのＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等を備え、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
この制御部７０は、後述するように、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより骨部を含む領域の第１ＤＲＲ画像と骨部を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより骨部を認識するための学習モデルを学習する学習部８２と、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより骨部を表す画像を作成する画像作成部８３と、被検者の骨部を含む領域のＸ線画像から骨部を表す画像を減算する骨部減算部８４と、を備えている。
次に、以上のような構成を有する画像作成装置を使用することにより、被検者の骨部の領域を検出し、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作について説明する。
最初に、骨部の位置を特定するための基本的な考え方について説明する。図３は、この発明に係る画像作成装置により機械学習を利用して被検者の特定部位を検出する工程を説明するための模式図である。
機械学習を利用して骨部の位置を特定するためには、最初に、学習モデルを学習する。この学習モデル学習工程においては、特定部位の領域を含む第１ＤＲＲ画像を入力層とし、特定部位を示す第２ＤＲＲ画像を出力層として、機械学習により、学習モデルとして使用する畳み込み層を学習する。次に、骨部の領域を検出する。この骨部領域検出工程においては、Ｘ線透視画像を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部の領域を示す画像を作成する。
次に、このような工程による特定部位の位置の検出動作について詳細に説明する。図４は、この発明の第１実施形態に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部を示す第２ＤＲＲ画像とを作成する（ステップＳ１１）。このとき、骨部を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以上の値となる領域を骨部の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ（Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ）以上の領域を骨部の領域と認定してＤＲＲ画像を作成する。ここで、４次元ＣＴデータとは、連続する複数の呼吸位相において、経時的に連続して撮影される骨部を含む領域の３次元のＣＴ画像データ群である。なお、４次元ＣＴデータを使用するかわりに、３次元ＣＴデータを使用してもよい。
図５は、Ｘ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。
図５において、符号３００はＣＴ画像データを示している。このＣＴ画像データ３００は、複数の２次元のＣＴ画像データの集合である３次元のボクセルデータである。このＣＴ画像データ３００は、例えば、５１２×５１２ピクセルの２次元画像が被検者を横断する方向（図５に示す線分Ｌ１またはＬ２に沿った方向）に２００枚程度積層された構造を有する。
ＤＲＲ画像作成部８１によりＤＲＲ画像を作成する時には、ＣＴ画像データ３００に対して仮想的に透視投影を行う。このときには、コンピュータ上に３次元のＣＴ画像データ３００を配置する。そして、コンピュータ上にＸ線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、ＣＴ画像データ３００を挟んで、両側に、Ｘ線照射部１００とＸ線検出部２００を配置する。これらのＣＴ画像データ３００と、Ｘ線照射部１００とＸ線検出部２００の配置は、図１に示すＸ線透視撮影装置でＸ線透視を実行するときの被検者と、Ｘ線管２１およびコリメータ２３からなるＸ線照射部と、イメージインテンシファイア３２およびカメラ３３からなるＸ線検出部との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とＸ線照射部１００とＸ線検出部２００の幾何学的配置関係を意味する。
この状態で、Ｘ線照射部１００と、ＣＴ画像データ３００の各画素を介してＸ線検出部２００の各画素とを結ぶ多数の線分Ｌを設定する。なお、図５においては、説明の便宜上、２本の線分Ｌ１、Ｌ２を図示している。そして、この線分Ｌ上に、各々、複数の計算点を設定する。そして、各計算点のＣＴ値を演算する。このＣＴ値の演算時には、計算点の周囲のＣＴデータボクセルにおけるＣＴ値を利用した補間が実行される。しかる後、線分Ｌ上の各計算点のＣＴ値を累積する。この累積値が、線減弱係数の線積分に変換されて、Ｘ線の減弱を算出することにより、ＤＲＲ画像が作成される。
このＤＲＲ画像の作成時には、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、Ｘ線透視を実行するときにＸ線照射部とＸ線検出部が移動した場合においても、特定部位をより確実に追跡できるようにするためである。
ここで、ＤＲＲ画像のもとになるＣＴ画像データ３００のフレームレートはＸ線透視画像のフレームレートより小さいが、ＤＲＲ画像作成のためのパラメータを変化させることにより、ＤＲＲ画像におけるフレーム間の骨部を模擬することが可能となり、骨部の領域をより正確に検出することが可能となる。
また、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。このコントラスト変化、ノイズ付加、エッジ強調を実行するのは、ＤＲＲ画像とＸ線画像の画質の違いを吸収し、骨部の領域をより確実に認識できるようにするためである。
上述した、投影座標や角度などのＤＲＲ画像作成のためのパラメータの変化、または、コントラスト変化、ノイズ付加、エッジ強調は、所定の範囲内でランダムに、あるいは、等間隔で様々に変化を与える態様で実施される。これにより、被検者一人のＣＴ画像データ３００から、多量のＤＲＲ画像を作成することができる。このため、このようにして作成された多量のＤＲＲ画像を使用して、各患者に対応したオーダーメイドの学習モデルを学習することが可能となる。なお、多数の患者のＤＲＲ画像を利用して学習モデルの学習を行うことも可能である。
なお、第１ＤＲＲ画像の作成時と第２ＤＲＲ画像の作成時においては、幾何学的透視条件の投影座標および角度を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を同一条件で施す。
図６は、このようにして作成された骨部４１と軟部組織４２を含む領域を示す第１ＤＲＲ画像Ｄ１１の概要図であり、図７は、骨部４１を示す第２ＤＲＲ画像Ｄ１２の概要図である。なお、第２ＤＲＲ画像Ｄ１２は、上述したように、ＣＴ値が２００ＨＵ以上の領域を累積することにより作成される。
以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ１１を入力層とし、第２ＤＲＲ画像Ｄ１２を出力層として機械学習を実行することにより、骨部４１を認識するための学習モデルを学習する（ステップＳ１２）。この機械学習時には、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）が使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ１１で、出力層は第２ＤＲＲ画像Ｄ１２である。
以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ１３）。図８は、このＸ線透視により得られたＸ線画像Ｘ１１の概要図である。このＸ線画像Ｘ１１には、骨部４１と軟部組織４２が表示されている。なお、Ｘ線透視においては、所定のフレームレートで複数のＸ線画像が取得されるが、図８においては、そのうちの一つのフレームのＸ線画像を示している。以下の説明においても同様である。
次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、骨部４１の画像を作成する（ステップＳ１４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像のフレーム毎に、出力層として骨部４１を表すＸ線画像を作成する。図９は、変換により得られた骨部４１のＸ線画像Ｘ１２の概要図である。
しかる後、骨部減算部８４により、被検者のＸ線画像Ｘ１１から変換により得られた骨部４１のＸ線画像Ｘ１２を減算する（ステップＳ１５）。これにより、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成することができる。図１０は、被検者のＸ線画像Ｘ１１から骨部４１を除去した画像Ｘ１３を示す概要図である。
以上のように、この発明に係る画像作成装置によれば、第１ＤＲＲ画像Ｄ１１を入力層とし、第２ＤＲＲ画像Ｄ１２を出力層として、機械学習により学習モデルとして使用する畳み込み層を学習し、次に、Ｘ線画像Ｘ１１を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部４１を表すＸ線画像Ｘ１２を得ることから、リアルタイムで骨部４１を表す画像を取得することが可能となる。そして、Ｘ線画像Ｘ１１から骨部を表すＸ線画像Ｘ１２を減算することにより、骨部を除外した画像Ｘ１３を得ることが可能となる。
なお、上述した実施形態において、Ｘ線透視画像をガウスフィルタなどでぼかした後に学習モデルに入力してもよい。一般的に、ＤＲＲ画像は低解像度のＣＴ画像から作成されているため、Ｘ線透視画像と比べると低解像度である。このため、Ｘ線透視画像をぼかして、Ｘ線透視画像を、ノイズを低減しつつ学習時のＤＲＲ画像と同等の解像度とすることにより、より確実に特定部位を識別することが可能となる。また、上述した実施形態において、学習モデルに入力するＤＲＲ画像およびＸ線透視画像はあらかじめコントラスト正規化を行ったうえで入力してもよい。また、中間層に局所コントラスト正規化層または局所応答正規化層を加えてもよい。これらは、以下の実施形態においても同様である。
上述した実施形態においては、被検者の特定部位として骨部を選択している。しかしながら、これとは逆に、被検者の特定部位として骨部以外の領域を選択してもよい。以下、このような変形例について説明する。図１１は、この発明の第１実施形態の変形例に係る画像作成装置の制御系を示すブロック図である。なお、図２に示す制御系と同様の部材については、同一の符号を付して詳細な説明を省略する。
この第１実施形態の変形例に係る画像作成装置の制御部７０におけるＤＲＲ画像作成部８１は、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域の第１ＤＲＲ画像と、骨部以外の領域（軟部組織）を示す第２ＤＲＲ画像とを作成する。また、学習部８２は、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより、骨部以外の領域を認識するための学習モデルを学習する。そして、画像作成部８３は、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより、骨部以外の領域を表す画像を作成する。この変形例においては、制御部７０は図２に示す骨部減算部８４を備えていない。
図１２は、この変形例に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部以外の領域を示す第２ＤＲＲ画像とを作成する（ステップＳ２１）。このとき、骨部以外の領域を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以下の値となる領域を骨部以外の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ以下の領域を骨部の領域と認定してＤＲＲ画像を作成する。
以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像を入力層とし、第２ＤＲＲ画像を出力層として機械学習を実行することにより、骨部以外の領域を認識するための学習モデルを学習する（ステップＳ２２）。この機械学習時においても、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）が使用される。
以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ２３）。
次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、骨部以外の領域の画像を作成する（ステップＳ２４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像のフレーム毎に、出力層として骨部以外の領域（軟部組織）を表すＸ線画像を作成する。
以上のように、この変形例に係る画像作成装置によれば、第１ＤＲＲ画像を入力層とし、第２ＤＲＲ画像を出力層として、機械学習により学習モデルとして使用する畳み込み層を学習し、次に、Ｘ線画像を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部以外の領域を表すＸ線画像を得ることから、リアルタイムで骨部を除外した画像を得ることが可能となる。
次に、この発明の第２実施形態に係る画像作成装置の構成について説明する。図１３は、この発明の第２実施形態に係る画像作成装置の制御系を示すブロック図である。
この第２実施形態に係る画像作成装置は、被検者の造影剤が注入された血管の画像を作成するためのものであり、第１実施形態に係る画像作成装置と同様、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
この制御部７０は、後述するように、被検者の血管を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより血管を含む領域を示す第１ＤＲＲ画像と血管を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより血管を認識するための学習モデルを学習する学習部８２と、被検者の血管を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより血管を表す画像を作成する画像作成部８３と、Ｘ線画像に対して造影剤が注入された血管を表す画像を加算する血管加算部８５とを備えている。ここで、第１ＤＲＲ画像は、造影剤が注入された血管を含むＤＲＲ画像から造影剤が注入された血管を除外したＤＲＲ画像となっている。
次に、以上のような構成を有する画像作成装置を使用することにより、被検者の造影剤が注入された血管の領域を検出し、被検者の造影剤が注入された血管の画像を作成する動作について説明する。図１４は、この発明の第２実施形態に係る画像作成装置により被検者の造影剤が注入された血管の画像を作成する動作を示すフローチャートである。なお、被検者の造影剤が注入された血管を特定するための基本的な考え方は、上述した第１実施形態における図３の工程と同様である。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図１３に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、造影剤が注入された血管を含む領域を示す第１ＤＲＲ画像と、造影剤が注入された血管を示す第２ＤＲＲ画像とを作成する（ステップＳ３１）。このときに使用されるＣＴ画像は、血管に造影剤が注入された後のＣＴ画像（造影ＣＴ画像）である。ここで、造影剤が注入された血管を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。このときには、例えば、オペレータが血管の領域を指定し、ＣＴ値がこの領域と一致し、かつ、連続する領域を血管の領域と認識することができる。また、解剖学的な情報を基に血管の領域を認識してもよい。
この第１、第２ＤＲＲ画像の作成時には、第１実施形態と同様、図５に示す仮想的投影が実行される。このＤＲＲ画像の作成時には、第１実施形態と同様、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。また、第１実施形態と同様、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
図１５は、このようにして作成された心臓５１を示す第１ＤＲＲ画像Ｄ２１の概要図であり、図１６は、造影剤が注入された血管５２を示す第２ＤＲＲ画像Ｄ２２の概要図である。なお、この第１ＤＲＲ画像Ｄ２１は、心臓５１と造影剤が注入された血管５２から造影剤が注入された血管５２を除外したＤＲＲ画像となっている。
以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ２１を入力層とし、第２ＤＲＲ画像Ｄ２２を出力層として機械学習を実行することにより、造影剤が注入された血管５２を認識するための学習モデルを学習する（ステップＳ３２）。この機械学習時においても、例えば、ＦＣＮが使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ２１で、出力層は第２ＤＲＲ画像Ｄ２２である。
以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ３３）。図１７は、Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。なお、Ｘ線透視は、被検者に造影剤が注入されていない状態において実行される。このため、Ｘ線画像Ｘ２１には、血管は明確には表示されていない。
次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、造影剤が注入された血管５２の画像を作成する（ステップＳ３４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像の各フレーム毎に、出力層として造影剤が注入された血管５２を表すＸ線画像を作成する。図１８は、変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２の概要図である。
しかる後、血管加算部８５により、被検者のＸ線画像Ｘ２１に対し、変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２を加算する（ステップＳ３５）。すなわち、血管５２のＸ線画像Ｘ２２により造影剤が注入された血管５２を明確に認識することは可能ではあるが、これを心臓５１等と同時に認識するため、被検者のＸ線画像Ｘ２１に対し変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２を加算する。このときには、造影剤が注入された血管５２を着色することにより、造影剤が注入された血管５２を強調表示してもよい。
なお、上述した説明においては、第１ＤＲＲ画像Ｄ２１およびＸ線画像Ｘ２１として、造影剤が注入された血管５２が存在しないものを使用している。しかしながら、第１ＤＲＲ画像Ｄ２１およびＸ線画像Ｘ２１として、心臓５１と造影剤が注入された血管５２との両者が存在するものを使用してもよい。
この場合においては、第１ＤＲＲ画像には、心臓５１と血管５２が表示される。図１９は、このときの第１ＤＲＲ画像Ｄ２１の概要図である。そして、Ｘ線透視撮影は、被検者の体内に造影剤が存在する状態で実行される。図２０は、このときのＸ線透視により得られたＸ線画像Ｘ２１の概要図である。この場合においても上述した実施形態と同様の手法により、図１８に示す造影剤が注入された血管５２のＸ線画像Ｘ２２を得ることができる。なお、造影剤が注入された血管の画像を除外しない場合には、図１４に示す血管加算工程（ステップＳ３５）は不要となる。
次に、この発明の第３実施形態に係る画像作成装置の構成について説明する。図２１は、この発明の第３実施形態に係る画像作成装置の制御系を示すブロック図である。
この第３実施形態に係る画像作成装置は、被検者のＸ線画像に対して被検者の体内に留置された生体吸収性ステント等のステントを追加した画像を作成するためのものであり、第１、第２実施形態に係る画像作成装置と同様、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
この制御部７０は、後述するように、被検者の体内に留置されたステントを含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことによりステントを含む領域を示す第１ＤＲＲ画像とステントを示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することによりステントを認識するための学習モデルを学習する学習部８２と、被検者の体内に留置されたステントを含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことによりステントを表す画像を作成する画像作成部８３と、ステントが留置された領域のＸ線画像にステントを表すＸ線画像を加算するステント加算部８６とを備えている。
次に、以上のような構成を有する画像作成装置を使用することにより、被検者の体内に留置されたステントの領域を検出し、被検者の体内に留置されたステントの画像を作成する動作について説明する。図２２は、この発明の第３実施形態に係る画像作成装置により被検者の体内に留置されたステントの画像を作成する動作を示すフローチャートである。なお、被検者の体内に留置されたステントを特定するための基本的な考え方は、上述した第１実施形態における図３の工程と同様である。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２１に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、被検者の体内に留置されたステントを含む領域を示す第１ＤＲＲ画像と、被検者の体内に留置されたステントを示す第２ＤＲＲ画像とを作成する（ステップＳ４１）。このとき、被検者の体内に留置されたステントを示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。なお、ステントとして生体吸収性ステントを使用した場合のように、ＣＴ画像上でステントの領域を認識することが困難である場合には、例えば、ステントの単独画像をオペレータがＣＴ画像上に配設することにより、ステントを示す第２ＤＲＲ画像を作成すればよい。
この第１、第２ＤＲＲ画像の作成時には、第１実施形態と同様、図５に示す仮想的投影が実行される。このＤＲＲ画像の作成時には、第１実施形態と同様、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。また、第１実施形態と同様、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
図２３は、このようにして作成された心臓６１、血管６２およびステント６３を示す第１ＤＲＲ画像Ｄ３１の概要図であり、図２４は、ステント６３を示す第２ＤＲＲ画像Ｄ３２の概要図である。なお、上述したように、第１ＤＲＲ画像Ｄ３１においては、ステント６３が認識し得ないこともある。
以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ３１を入力層とし、第２ＤＲＲ画像Ｄ３２を出力層として機械学習を実行することにより、被検者の体内に留置されたステント６３を認識するための学習モデルを学習する（ステップＳ４２）。この機械学習時においても、例えば、ＦＣＮが使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ３１で、出力層は第２ＤＲＲ画像Ｄ３２である。
以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ４３）。図２５は、このＸ線透視により得られたＸ線画像Ｘ３１の概要図である。このＸ線画像Ｘ３１には、ステント６３は表示されていない。
次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、被検者の体内に留置されたステント６３の画像を作成する（ステップＳ４４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線透視画像に対して、先に学習した学習モデルを使用し、Ｘ線画像の各フレーム毎に、出力層として被検者の体内に留置されたステント６３を表すＸ線画像を作成する。図２６は、変換により得られた被検者の体内に留置されたステント６３のＸ線画像Ｘ３２の概要図である。
しかる後、ステント加算部８６により、被検者のＸ線画像Ｘ３１に対し、変換により得られた被検者の体内に留置されたステント６３のＸ線画像Ｘ３２を加算する（ステップＳ４５）。図２７は、心臓６１、血管６２およびステント６３を示すＸ線画像Ｘ３３の概要図である。
これにより、被検者の心臓６１および血管６２が表示されたＸ線画像Ｘ３１に対してステント６３が重畳されたＸ線画像Ｘ３３を得ることができる。このため、ステント６３として、生体吸収性ステントのようにＸ線透視では認識し得ないステントを使用した場合においても、ステント６３の周囲の特徴量からステント６３の位置を特定し、このステント６３を被検者の心臓６１および血管６２等とともにＸ線画像Ｘ３３上で認識することが可能となる。
１１ 装置本体
１３ Ｃ型アーム
１５ モニター部
１６ 入力部
１７ 表示部
２１ Ｘ線管
２３ コリメータ
４１ 骨部
４２ 軟部組織
５１ 心臓
５２ 血管
６１ 心臓
６２ 血管
６３ ステント
７０ 制御部
７１ Ｘ線透視撮影装置
７２ ＣＴ撮影装置
８１ ＤＲＲ画像作成部
８２ 学習部
８３ 画像作成部
８４ 骨部減算部
８５ 血管加算部
８６ ステント加算部
このＸ線透視撮影装置は、Ｘ線透視およびＸ線撮影を実行するためのものであり、車輪１２により移動可能な装置本体１１を備える。また、このＸ線透視撮影装置は、Ｘ線管２１と、このＸ線管２１から照射されるＸ線の照射領域を制限してＸ線照射野を形成するコリメータ２３とを有するＸ線照射部１００と、Ｘ線管２１から照射され被検体である患者を通過したＸ線を検出して映像化するイメージインテンシファイア（Ｉ．Ｉ．）３２と、イメージインテンシファイア３２で映像化された画像を撮影するカメラ３３からなるＸ線検出部２００と、これらのＸ線照射部１００とＸ線検出部２００を支持するＣ型アーム１３を備える。
Ｃ型アーム１３は、円弧状の形状を有し、Ｘ線照射部１００とＸ線検出部２００とを支持している。このＣ型アーム１３は、アーム支持部１４に対してスライド可能に支持されている。また、アーム支持部１４は、装置本体１１に対して水平方向および上下方向に移動可能に支持されている。このＣ型アーム１３の移動は、オペレータが、図示を省略したハンドルを把持して移動させることにより実行される。
また、このＸ線透視撮影装置は、Ｘ線検出部２００により検出したＸ線に基づいてＸ線画像を表示するＬＣＤ等の表示部１７と、収納式のキーボード等から成る入力部１６とを備えたモニター部１５を備える。このモニター部１５は、車輪１８の作用により移動可能となっている。
この制御部７０は、後述するように、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部１００とＸ線検出部２００の幾何学的透視条件を模擬した仮想的透視投影を行うことにより骨部を含む領域の第１ＤＲＲ画像と骨部を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより骨部を認識するための学習モデルを学習する学習部８２と、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより骨部を表す画像を作成する画像作成部８３と、被検者の骨部を含む領域のＸ線画像から骨部を表す画像を減算する骨部減算部８４と、を備えている。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部を示す第２ＤＲＲ画像とを作成する（ステップＳ１１）。このとき、骨部を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以上の値となる領域を骨部の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ（Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ）以上の領域を骨部の領域と認定してＤＲＲ画像を作成する。ここで、４次元ＣＴ画像データとは、連続する複数の呼吸位相において、経時的に連続して撮影される骨部を含む領域の３次元のＣＴ画像データ群である。なお、４次元ＣＴ画像データを使用するかわりに、３次元ＣＴ画像データを使用してもよい。
ＤＲＲ画像作成部８１によりＤＲＲ画像を作成する時には、ＣＴ画像データ３００に対して仮想的に透視投影を行う。このときには、コンピュータ上に３次元のＣＴ画像データ３００を配置する。そして、コンピュータ上にＸ線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、ＣＴ画像データ３００を挟んで、両側に、Ｘ線照射部１００とＸ線検出部２００を配置する。これらのＣＴ画像データ３００と、Ｘ線照射部１００とＸ線検出部２００の配置は、図１に示すＸ線透視撮影装置でＸ線透視を実行するときの被検者と、Ｘ線管２１およびコリメータ２３からなるＸ線照射部１００と、イメージインテンシファイア３２およびカメラ３３からなるＸ線検出部２００との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とＸ線照射部１００とＸ線検出部２００の幾何学的配置関係を意味する。
このＤＲＲ画像の作成時には、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、Ｘ線透視を実行するときにＸ線照射部１００とＸ線検出部２００が移動した場合においても、特定部位をより確実に追跡できるようにするためである。
この第１実施形態の変形例に係る画像作成装置の制御部７０におけるＤＲＲ画像作成部８１は、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部１００とＸ線検出部２００の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域の第１ＤＲＲ画像と、骨部以外の領域（軟部組織）を示す第２ＤＲＲ画像とを作成する。また、学習部８２は、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより、骨部以外の領域を認識するための学習モデルを学習する。そして、画像作成部８３は、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより、骨部以外の領域を表す画像を作成する。この変形例においては、制御部７０は図２に示す骨部減算部８４を備えていない。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部以外の領域を示す第２ＤＲＲ画像とを作成する（ステップＳ２１）。このとき、骨部以外の領域を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以下の値となる領域を骨部以外の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ以下の領域を骨部の領域と認定してＤＲＲ画像を作成する。
この制御部７０は、後述するように、被検者の血管を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部１００とＸ線検出部２００の幾何学的透視条件を模擬した仮想的透視投影を行うことにより血管を含む領域を示す第１ＤＲＲ画像と血管を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより血管を認識するための学習モデルを学習する学習部８２と、被検者の血管を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより血管を表す画像を作成する画像作成部８３と、Ｘ線画像に対して造影剤が注入された血管を表す画像を加算する血管加算部８５とを備えている。ここで、第１ＤＲＲ画像は、造影剤が注入された血管を含むＤＲＲ画像から造影剤が注入された血管を除外したＤＲＲ画像となっている。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図１３に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、造影剤が注入された血管を含む領域を示す第１ＤＲＲ画像と、造影剤が注入された血管を示す第２ＤＲＲ画像とを作成する（ステップＳ３１）。このときに使用されるＣＴ画像は、血管に造影剤が注入された後のＣＴ画像（造影ＣＴ画像）である。ここで、造影剤が注入された血管を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。このときには、例えば、オペレータが血管の領域を指定し、ＣＴ値がこの領域と一致し、かつ、連続する領域を血管の領域と認識することができる。また、解剖学的な情報を基に血管の領域を認識してもよい。
この制御部７０は、後述するように、被検者の体内に留置されたステントを含む領域のＣＴ画像データに対して被検者に対するＸ線照射部１００とＸ線検出部２００の幾何学的透視条件を模擬した仮想的透視投影を行うことによりステントを含む領域を示す第１ＤＲＲ画像とステントを示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することによりステントを認識するための学習モデルを学習する学習部８２と、被検者の体内に留置されたステントを含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことによりステントを表す画像を作成する画像作成部８３と、ステントが留置された領域のＸ線画像にステントを表すＸ線画像を加算するステント加算部８６とを備えている。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２１に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、被検者の体内に留置されたステントを含む領域を示す第１ＤＲＲ画像と、被検者の体内に留置されたステントを示す第２ＤＲＲ画像とを作成する（ステップＳ４１）。このとき、被検者の体内に留置されたステントを示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。なお、ステントとして生体吸収性ステントを使用した場合のように、ＣＴ画像上でステントの領域を認識することが困難である場合には、例えば、ステントの単独画像をオペレータがＣＴ画像上に配設することにより、ステントを示す第２ＤＲＲ画像を作成すればよい。
画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部以外の領域を示す第２ＤＲＲ画像とを作成する（ステップＳ２１）。このとき、骨部以外の領域を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以下の値となる領域を骨部以外の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ以下の領域を骨部以外の領域と認定してＤＲＲ画像を作成する。

Claims (6)

  1. 被検者の特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含む領域を示す第１ＤＲＲ画像と、前記特定部位を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部と、
    前記第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することにより、前記特定部位を認識するための学習モデルを学習する学習部と、
    前記被検者の特定部位を含む領域のＸ線画像に対して、前記学習部で学習した学習済学習モデルを利用して変換を行うことにより、前記特定部位を表す画像を作成する画像作成部と、
    を備えたことを特徴とする画像作成装置。
  2. 請求項１に記載の画像作成装置において、
    前記特定部位は、骨部であり、
    前記Ｘ線画像から前記骨部を表す画像を減算する骨部減算部をさらに備える画像作成装置。
  3. 請求項１に記載の画像作成装置において、
    前記特定部位は、被検者の骨部以外の領域である画像作成装置。
  4. 請求項１に記載の画像作成装置において、
    前記特定部位は、造影剤が注入された血管である画像作成装置。
  5. 請求項４に記載の画像作成装置において、
    前記第１ＤＲＲ画像は造影剤が注入された血管を含むＤＲＲ画像から前記造影剤が注入された血管を除外したＤＲＲ画像であるとともに、前記Ｘ線画像は造影剤が注入されていない状態のＸ線画像であり、
    前記Ｘ線画像に対して前記造影剤が注入された血管を表す画像を加算する血管加算部をさらに備える画像作成装置。
  6. 請求項１に記載の画像作成装置において、
    前記特定部位は、前記被検者の体内に留置されるステントであり、
    前記Ｘ線画像に対して前記ステントを表す画像を加算するステント加算部をさらに備える画像作成装置。
























JP2019565087A 2018-01-09 2018-01-09 画像作成装置及び学習済モデルの生成方法 Active JP6881611B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000154 WO2019138438A1 (ja) 2018-01-09 2018-01-09 画像作成装置

Publications (2)

Publication Number Publication Date
JPWO2019138438A1 true JPWO2019138438A1 (ja) 2021-01-14
JP6881611B2 JP6881611B2 (ja) 2021-06-02

Family

ID=67219439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019565087A Active JP6881611B2 (ja) 2018-01-09 2018-01-09 画像作成装置及び学習済モデルの生成方法

Country Status (4)

Country Link
US (1) US11839501B2 (ja)
JP (1) JP6881611B2 (ja)
CN (1) CN111601552B (ja)
WO (1) WO2019138438A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
JP2021041089A (ja) * 2019-09-13 2021-03-18 株式会社島津製作所 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法
KR102323444B1 (ko) * 2019-12-11 2021-11-09 울산대학교 산학협력단 의료영상 처리 장치와 그 학습 방법
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP7394645B2 (ja) 2020-02-05 2023-12-08 富士フイルム株式会社 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
JPWO2021171394A1 (ja) * 2020-02-26 2021-09-02
KR102321427B1 (ko) * 2021-01-20 2021-11-04 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치
US20240180501A1 (en) * 2021-04-07 2024-06-06 Shimadzu Corporation X-ray imaging apparatus, image processing apparatus, and image processing program
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023002743A1 (ja) * 2021-07-20 2023-01-26 株式会社島津製作所 Ｘ線撮影システム、および、画像処理方法
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100208A1 (en) * 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2016096902A (ja) * 2014-11-19 2016-05-30 株式会社東芝 医用画像処理装置、方法、プログラム及び放射線治療装置
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
JP2018075356A (ja) * 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270695B2 (en) * 2008-10-07 2012-09-18 Carestream Health, Inc. Diagnostic image processing with automatic self image quality validation
JP5364009B2 (ja) * 2010-02-12 2013-12-11 富士フイルム株式会社 画像生成装置、画像生成方法、及びそのプログラム
JP2012245142A (ja) 2011-05-27 2012-12-13 Shimadzu Corp Ｘ線撮影方法、サブトラクション撮影用データ作成方法、ｘ線撮影装置およびサブトラクション撮影用データを記憶した記憶媒体
JP5867306B2 (ja) 2012-06-20 2016-02-24 株式会社島津製作所 Ｘ線透視撮影装置
JP2015226694A (ja) 2014-06-02 2015-12-17 株式会社島津製作所 Ｘ線撮影装置およびｘ線画像の生成方法
JP6301793B2 (ja) * 2014-09-18 2018-03-28 株式会社島津製作所 Ｄｒｒ画像作成方法およびｄｒｒ画像作成装置
JP6607015B2 (ja) * 2015-12-11 2019-11-20 株式会社島津製作所 Ｘ線撮影装置、被検者の位置決め装置および被検者の位置決め方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100208A1 (en) * 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2016096902A (ja) * 2014-11-19 2016-05-30 株式会社東芝 医用画像処理装置、方法、プログラム及び放射線治療装置
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム
JP2018075356A (ja) * 2016-11-02 2018-05-17 国立研究開発法人量子科学技術研究開発機構 Ｘ線透視装置およびｘ線透視方法
JP2018089301A (ja) * 2016-12-07 2018-06-14 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. SUZUKI ET AL.: "Image-processing technique for suppressing ribs in chest radiographs by means of massive training ar", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 25, no. 4, JPN6021011922, April 2006 (2006-04-01), pages 406 - 416, XP055435397, ISSN: 0004477809, DOI: 10.1109/TMI.2006.871549 *

Also Published As

Publication number Publication date
CN111601552A (zh) 2020-08-28
CN111601552B (zh) 2023-09-29
WO2019138438A1 (ja) 2019-07-18
US11839501B2 (en) 2023-12-12
JP6881611B2 (ja) 2021-06-02
US20210030374A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP6881611B2 (ja) 画像作成装置及び学習済モデルの生成方法
CN108703764B (zh) 血管造影方法、装置、系统、设备及存储介质
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
CN103156629B (zh) 图像处理设备和图像处理方法
Du et al. A convolutional neural network based auto-positioning method for dental arch in rotational panoramic radiography
CN110876627B (zh) X射线摄影装置和x射线图像处理方法
CN115209808A (zh) 学习完毕模型的制作方法、图像生成方法以及图像处理装置
US11963812B2 (en) Method and device for producing a panoramic tomographic image of an object to be recorded
JP6903495B2 (ja) Ｘ線ｃｔ装置、処理方法、及びプログラム
JP2011240178A (ja) 医用画像診断装置
JP7247719B2 (ja) 放射線透視撮影装置
JP2007014435A (ja) 画像処理装置、画像処理方法およびそのプログラム
JP2009054013A (ja) 画像処理装置
EP4354395A1 (en) Artificial intelligence-based dual energy x-ray image motion correction training method and system
JP7438834B2 (ja) 医用画像処理装置、ｘ線診断装置及びプログラム
JP7310239B2 (ja) 画像処理装置、放射線撮影システム及びプログラム
US20240273784A1 (en) X-Ray Imaging System and Image Processing Method
JP7353900B2 (ja) Ｘ線診断装置、医用画像処理装置及びプログラム
JP2024513735A (ja) サブトラクション撮像
JP2005034259A (ja) Ｘ線診断装置
JP2012040204A (ja) Ｘ線画像撮影装置
Van Den Berg Feasibility of using Lodox to perform digital subtraction angiography

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R151 Written notification of patent or utility model registration

Ref document number: 6881611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151