JPWO2019053935A1 - 放射線撮影装置 - Google Patents

放射線撮影装置 Download PDF

Info

Publication number
JPWO2019053935A1
JPWO2019053935A1 JP2019541632A JP2019541632A JPWO2019053935A1 JP WO2019053935 A1 JPWO2019053935 A1 JP WO2019053935A1 JP 2019541632 A JP2019541632 A JP 2019541632A JP 2019541632 A JP2019541632 A JP 2019541632A JP WO2019053935 A1 JPWO2019053935 A1 JP WO2019053935A1
Authority
JP
Japan
Prior art keywords
image
pixel
movement
pixel value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019541632A
Other languages
English (en)
Other versions
JP6879376B2 (ja
Inventor
ペルティエ ダヴィッド ティボー
ペルティエ ダヴィッド ティボー
祥太 佐藤
祥太 佐藤
翔平 大久保
翔平 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2019053935A1 publication Critical patent/JPWO2019053935A1/ja
Application granted granted Critical
Publication of JP6879376B2 publication Critical patent/JP6879376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/06Diaphragms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

この放射線撮影装置(100)は、異なる時点で撮影された第一の画像(11)と第二の画像(12)とに基づいて、第一の画像(11)に属する画素(21)の移動マップ(30)を生成し、移動マップ(30)の空間方向の高周波成分を抑制した平滑化後移動マップ(30a)に基づいて、第一の画像(11)の画素(21)を移動させて変形画像(11a)を生成し、変形画像(11a)と第二の画像(12)とを合成するように構成する。

Description

本発明は、放射線撮影装置に関する。
従来、同一の被検体に対して、異なる時点で撮影された第一及び第二の画像を生成し、第一の画像の画素を移動させた変形画像と第二の画像とを合成した合成画像を生成する放射線撮影装置が知られている。このような放射線撮影装置は、たとえば、特開2007−215930号公報に開示されている。
特開2007−215930号公報には、投影剤注入の前後にわたって被検体を撮影することにより造影剤注入前のマスク画像(第一の画像)と造影剤注入後のコントラスト画像(第二の画像)とを撮影する撮影部を備えた、放射線撮影装置が開示されている。特開2007−215930号公報の放射線撮影装置は、任意の領域においてマスク画像とコントラスト画像との間の位置ずれを示すピクセルシフト量に従ってマスク画像とコントラスト画像との一方を任意の領域全体で一律に平行移動するようにピクセルシフト(変形画像を生成)するように構成されている。そして、特開2007−215930号公報の放射線撮影装置は、一方がピクセルシフトされたマスク画像とコントラスト画像との引き算処理を行う(合成画像を生成する)ように構成されている。
特開2007−215930号公報
特開2007−215930号公報のような放射線撮影装置では、上記のように、任意の領域全体で変形画像を生成することにより、異なる時点で撮影された2つの画像間で合成画像を生成する際に生じる被検体の動作に起因したアーチファクトを軽減させている。ここで、被検体には、全体が一律に平行移動するような動きだけでなく、捩れおよび局所的な動きが起こる場合がある。
しかしながら、特開2007−215930号公報のような放射線撮影装置では、第一の画像または第二の画像の一方を任意の領域全体で一律に平行移動するように変形画像を生成させている。したがって、特開2007−215930号公報のような放射線撮影装置では、捩れおよび局所的な動き等の領域全体が一律に平行移動しないような被検体の非線形な動作(領域全体で線形な画像処理が不可能な動作)に対して適切に変形画像の生成を行うことが困難であると考えられる。このため、特開2007−215930号公報のような放射線撮影装置では、被検体の非線形な動作がある場合に、第一の画像と第二の画像とを適切に合成すること(適切な合成画像を生成すること)が難しいと考えられる。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、異なる時点で撮影された2つの画像間における被検体の線形な動作だけでなく非線形な動作を考慮して、2つの画像を適切に合成することが可能な放射線撮影装置を提供することである。
上記目的を達成するために、この発明の一の局面における放射線撮影装置は、被検体に放射線を照射するとともに被検体を透過した放射線を検出して被検体を撮影する撮影部と、同一の被検体に対して、異なる時点で撮影された第一及び第二の画像を生成する画像生成部と、第一の画像と第二の画像とに基づいて、第一の画像に属する各画素のうち少なくとも一部の画素の移動方向及び移動量を表す移動マップを生成する移動マップ生成部と、移動マップの空間方向の高周波成分を抑制することにより、平滑化移動マップを生成する平滑化移動マップ生成部と、平滑化移動マップに基づいて第一の画像の画素を移動させて変形画像を生成する画素移動処理部と、変形画像と、第二の画像とを合成した合成画像を生成する合成画像処理部とを備える。なお、「移動マップ」とは、画素の移動方向および移動量を表したベクトルを意味する概念である。また、「移動マップの空間方向の高周波成分」とは、誤差等に起因して平均値から大きく離れた部分を意味する。すなわち、「移動マップの空間方向の高周波成分を抑制する」とは、平均値から大きく離れた移動マップが生じるのを低減(平滑化)させて、移動マップが表す移動方向および移動量が大きくバラつくのを抑制することを意味する。
この発明の一の局面による放射線撮影装置を、上記のように、異なる時点で撮影された第一の画像と第二の画像とに基づいて、第一の画像に属する画素の移動マップを生成し、移動マップに基づいて第一の画像の画素を移動させて変形画像を生成するように構成する。これにより、第一の画像に属する画素毎に移動マップを生成するとともに変形画像を生成することができるので、領域全体を一律に平行移動して変形画像を生成する場合と異なり、第一の画像における領域の一部分だけが変形された変形画像を生成することができる。さらに、上記のように、移動マップの空間方向の高周波成分を抑制した平滑化移動マップに基づいて変形画像を生成するように構成する。これにより、画素毎に移動マップを生成することに起因して移動マップに誤差が生じたとしても、空間方向の高周波成分を抑制することにより、誤差の影響を小さくすることができる。これらの結果、異なる時間で撮影された2つの画像間における被検体の線形な動作だけでなく非線形な動作を考慮して、2つの画像を適切に合成することができる。
上記一の局面による放射線撮影装置において、好ましくは、移動マップ生成部は、第二の画像の画素の画素値と、第一の画像における当該画素に対応する画素および所定の周辺領域に属する画素の画素値との画素値差に基づいて、第一の画像の画素の移動方向および移動量を表す移動マップを生成するように構成されている。ここで、画素値は、被検体の位置によって異なる定量的な値であるため、第一の画像および第二の画像において被検体の特定の位置の指標となる。したがって、第二の画像の画素の画素値と、第一の画像における当該画素に対応する画素および所定の周辺領域に属する画素の画素値との画素値差には、第二の画像の所定の画素と画素値差を求めた第一の画像の画素とが、被検体の特定の位置に対応しているか否かが定量的に示される。これにより、第一の画像と第二の画像とに基づいて、第一の画像に属する各画素の移動方向および移動量を表す移動マップを容易に生成することができる。
この場合、好ましくは、移動マップ生成部は、第二の画像の画素の画素値と、第二の画像の画素に対して画素値差が最も小さい第一の画像における画素である画素値差最小画素の画素値とに基づいて、第一の画像の画素の移動方向および移動量を表す移動マップを生成するように構成されている。このように構成すれば、第一の画像における画素値差最小画素は、第一の画像における当該画素および所定の周辺領域に属する画素の中で、第二の画像の基準とした画素に該当する画素である確率が最も高いので、画素値差最小画素を用いることによって、移動マップを精度良く生成することができる。
上記一の局面による放射線撮影装置において、好ましくは、画素移動処理部は、第二の画像の画素の画素値と、第一の画像における当該画素に対応する画素の画素値との画素値差が所定の第1閾値以下の場合に、第一の画像の画素の移動量を0とするように構成されている。このように構成すれば、第二の画像の画素と第一の画像における当該画素に対応する画素とが殆ど移動しておらず、移動させる必要のない第一の画像の画素を移動させてしまうのを抑制することができる。
上記一の局面による放射線撮影装置において、好ましくは、被検体への放射線の照射領域を絞るコリメータと、第一の画像におけるコリメータの動作により生じる放射線の非照射領域を抽出する非照射領域抽出部と、をさらに備え、画素移動処理部は、非照射領域抽出部により抽出された非照射領域における第一の画像の画素の移動量を0とするように構成されている。このように構成すれば、第一の画像において放射線が照射されておらず、移動させる必要のない第一の画像における非照射領域の画素を移動させてしまうのを抑制することができる。その結果、非照射領域が大きい場合における画素移動処理部の制御負担を効果的に低減させることができる。
この場合、好ましくは、非照射領域抽出部は、第一の画像の上下左右の端部近傍において、外側に隣接する画素の画素値が所定の第2閾値以上である画素を境界画素として、境界画素よりも外側の第一の画像の領域を非照射領域と判断するように構成されている。このように構成すれば、画像の上下左右の端部近傍において、隣接する画素同士の画素値差が所定の値(第2閾値)以上である場合には、画素値が高い照射領域と画素値が0(ゼロ)に近い非照射領域の境界である可能性が高いので、第一の画像における非照射領域の画素を容易に判別することができる。
上記一の局面による放射線撮影装置において、好ましくは、第一の画像における直接線領域を抽出する直接線領域抽出部をさらに備え、画素移動処理部は、直接線領域抽出部により抽出された直接線領域における第一の画像の画素の移動量を0とするように構成されている。このように構成すれば、第一の画像において被検体が存在しない領域であり、移動させる必要のない第一の画像における直接線領域の画素を移動させてしまうのを抑制することができる。その結果、直接線領域が大きい場合における画素移動処理部の制御負担を効果的に低減させることができる。
この場合、好ましくは、直接線領域抽出部は、第一の画像を構成する画素の画素値が所定の第3閾値以上の場合に直接線領域と判断するように構成されている。このように構成すれば、第一の画像において画素値が所定の値(第3閾値)以上の場合には、放射線が被検体を透過せずに直接検出された直接線領域である可能性が高いので、第一の画像における直接線領域の画素を容易に判別することができる。
上記一の局面による放射線撮影装置において、好ましくは、第一の画像は被検体の血管に造影剤を投与しない状態で被検体を撮影した放射線画像である非造影画像であり、第二の画像は被検体の血管に造影剤を投与した状態で被検体を撮影した放射線画像である造影画像である。このように構成すれば、異なる時点で撮影された造影画像と非造影画像との間における被検体の線形な動作だけでなく非線形な動作を考慮して造影画像と非造影画像とを合成することができる。
この場合、好ましくは、造影画像において血管像を構成する画素を抽出する血管像画素抽出部をさらに備え、画素移動処理部は、血管像を構成する画素に対応する非造影画像における画素の移動量を0とするように構成されている。このように構成すれば、非造影画像において血管像を構成する画素に対応する画素を移動させてしまうことに起因して、造影画像と非造影画像とを合成した合成画像における血管像が不鮮明になるのを抑制することができる。
上記血管像画素抽出部を備える構成において、好ましくは、血管像画素抽出部は、造影画像を構成する画素の画素値と、非造影画像における当該画素の画素値との画素値差が所定の第4閾値以上の場合に、造影画像を構成する画素が血管像を構成する画素と判断するように構成されている。このように構成すれば、造影画像を構成する画素の画素値と、非造影画像における当該画素に対応する画素の画素値との画素値差が所定の値(第4閾値)以上の場合、その造影画像における画素は血管像を構成する画素である可能性が高いので、造影画像における血管像の画素を容易に判別することができる。
上記画素値差が所定の第4閾値以上の場合に造影画像を構成する画素が血管像を構成する画素と判断する構成において、好ましくは、画素移動処理部は、造影画像を構成する画素の画素値と、非造影画像における当該画素の画素値との画素値差が所定の第4閾値より小さい場合に、当該画素値差が小さくなるにしたがって、非造影画像の画素の移動量を徐々に大きくするように構成されている。ここで、血管像を構成する画素に濃淡があることに起因して、造影画像を構成する画素の画素値と、非造影画像における当該画素に対応する画素の画素値との画素値差が所定の値(第4閾値)より小さい場合でも、その造影画像における画素が血管像を構成する画素である可能性がある。また、造影画像を構成する画素の画素値と、非造影画像における当該画素に対応する画素の画素値との画素値差が所定の値(第4閾値)に近い程、その造影画像における画素が血管像を構成する画素である可能性が高い。したがって、上記のように構成することによって、造影画像における画素が血管像を構成する画素でない可能性の大きさに応じて、当該画素に対応する非造影画像における画素の移動量を調整することができる。
上記血管像画素抽出部を備える構成において、好ましくは、画素移動処理部は、血管像画素抽出部によって造影画像において血管像を構成する画素と判断された画素に対応する非造影画像の画素のうち、当該画素の画素値が所定の第5閾値以下の画素は移動量を0としないように構成されている。ここで、血管像を構成する画素が含まれない非造影画像において、画素値が所定の値(第5閾値)以下の場合、その画素は、血管像以外の被検体の部分に相当する画素であると考えられる。したがって、上記のように構成することによって、造影画像を構成する画素が血管像を構成する画素と判断された画素の内、血管像を構成する画素以外の画素である可能性の高い画素に対応する非造影画像における画素が移動されずに変形画像が生成されるのを抑制することができる。
本発明によれば、上記のように、異なる時点で撮影された2つの画像間における被検体の線形な動作だけでなく非線形な動作を考慮して、2つの画像を適切に合成することが可能な放射線撮影装置を提供することができる。
本発明の一実施形態による放射線撮影装置の全体構成を示す図である。 本発明の一実施形態による放射線撮影装置の画像処理部の構成を示すブロック図である。 マスク画像とライブ画像とを合成したDSA画像の生成を説明するための図である。 移動ベクトルを用いたDSA画像生成の流れを説明するための図である。 非照射領域および直接線領域を説明するための図である。 ライブ画像の画素とマスクにおける当該画素に対応する画素との比較を説明するための図である。 移動ベクトルの生成を説明するための図である。 ライブ画像の画素の画素値とマスク画像における当該画素に対応する画素の画素値との画素値差に基づくマスク画像の画素の移動量(移動ベクトル)の調整を説明するための図である。 平滑化移動ベクトルの生成を説明するための図である。 移動ベクトルの平滑化による高周波成分の抑制を説明するための図である。 移動ベクトルを用いたDSA画像の生成処理のフローチャートである。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1を参照して、本発明の一実施形態によるX線撮影装置100の構成について説明する。なお、X線撮影装置100は、特許請求の範囲の「放射線撮影装置」の一例である。
(X線撮影装置の構成)
図1に示すように、本実施形態のX線撮影装置100は、被検体Pを載置するための天板1と、被検体PをX線撮影するための撮影部2と、X線撮影装置100の各種構成を制御するための制御部3と、X線撮影した画像等を記憶するための記憶部4と、X線撮影した画像等を表示するための表示部5と、を備えている。
撮影部2は、X線源を有し、天板1の一方側に配置されたX線管装置2aと、天板1の他方側に配置されたX線受像器2bと、を有する。
X線管装置2aは、X線源を有しており、図示しないX線管駆動部によって電圧が印加されることにより、X線を照射することが可能である。X線受像器2bは、FPD(フラットパネルディテクタ)を含み、X線を検出することができるように構成されている。これにより、X線撮影装置100は、天板1に被検体Pを載置した状態で、X線管装置2aによりX線を照射して、被検体Pを透過したX線をX線受像器2bで検出することによって、被検体PをX線撮影することが可能である。なお、X線管装置2aの近傍には、X線管装置2aから照射されるX線の照射野を調整するためのコリメータ2cが設けられている。
制御部3は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含んで構成されたコンピュータである。制御部3は、X線受像器2bから送られた検出信号に基づいて、被検体Pの内部構造をX線撮影したX線画像10(図3参照)を生成することが可能な画像処理部6を含む。なお、X線画像10は、特許請求の範囲の「放射線画像」の一例である。
画像処理部6は、GPU(Graphics Processing Unit)や画像処理用に構成されたFPGA(Field−Programmable Gate Array)などのプロセッサを含んで構成されたコンピュータである。画像処理部6は、記憶部4に記憶された画像処理プログラム実行することにより、画像処理装置として機能する。
本実施形態では、図3に示すように、画像処理部6は、X線画像10として、マスク画像11、ライブ画像12およびDSA(Digital Subtraction Angiography)画像13を生成することが可能に構成されている。マスク画像11は、被検体Pに造影剤を投与しない状態で被検体PをX線撮影したX線画像10である。また、ライブ画像12は、被検体Pに造影剤を投与した状態で被検体PをX線撮影したX線画像10である。すなわち、マスク画像11およびライブ画像12は、同一の被検体Pに対して、異なる時点で撮影されたX線画像10である。また、DSA画像13は、マスク画像11における画素値とライブ画像12の画素値との差分によるX線画像10である。なお、マスク画像11は、特許請求の範囲の「第一の画像」および「非造影画像」一例である。また、ライブ画像12は、特許請求の範囲の「第二の画像」および「造影画像」の一例である。また、DSA画像13は、特許請求の範囲の「合成画像」の一例である。
図3に示すように、マスク画像11では、被検体Pに造影剤を投与しない状態でX線撮影されているため、被検体Pの血管は不鮮明にしか写り込んでいない(図中では、全く写り込んでいないように描いている)。一方、ライブ画像12では、被検体Pに造影剤を投与した状態でX線撮影されているため、被検体Pの血管が血管像Bとして鮮明に写り込んでいる。そして、マスク画像11における画素値と、ライブ画像12における画素値との差分を取る(マスク画像11とライブ画像12とを合成する)ことにより、血管像Bだけが写り込んだX線画像10として生成されるのが、DSA画像13である。
記憶部4は、たとえば、不揮発メモリを含む。そして、記憶部4には、制御部3の処理に用いられるプログラムが記憶されているとともに、画像処理部6で生成したX線画像10(マスク画像11、変形画像11a、ライブ画像12およびDSA画像13)等を記憶できるように構成されている。
表示部5は、たとえば、液晶ディスプレイとして構成されている。そして、表示部5は、画像処理部6により生成されたX線画像10を表示することが可能に構成されている。また、複数枚のX線画像10を連続的に表示することで、動画として表示することも可能に構成されている。
上記の構成により、X線撮影装置100では、血管を鮮明に可視化することが可能である。
ここで、上記のように、単純にマスク画像11の画素値とライブ画像12における画素値との差分(画素値差)によりDSA画像13を生成した場合、マスク画像11の撮影時と、ライブ画像12の撮影時とで、経時的に被検体Pが動くことにより、マスク画像11における被検体Pの位置とライブ画像12における被検体Pの位置とに不一致が生じる。このとき、DSA画像13には、被検体Pの動作に起因するアーチファクト(モーションアーチファクト)が発生し、血管の視認性が悪化する。また、造影剤の投与前後で、被検体Pは平行移動のような線形な動きだけでなく、捩れおよび局所的な動き等の非線形な動きをする場合がある。
そこで、画像処理部6は、DSA画像13を生成する際に、ライブ画像12における画素値とマスク画像11における画素値とに基づいて、ライブ画像12における被検体Pの位置とマスク画像11における被検体Pの位置との位置ずれを画素20(図6参照)毎に補正する(マスク画像11の画素20を移動させる)ことにより変形させた変形画像11aを生成するように構成されている。つまり、画像処理部6は、マスク画像11とライブ画像12とに基づいて、変形画像11aを生成することが可能に構成されている。そして、画像処理部6は、変形画像11aとライブ画像12とを合成したDSA画像13を生成するように構成されている。したがって、X線撮影装置100では、ライブ画像12とマスク画像11における被検体Pの位置ずれを画素20毎に補正することにより、造影剤の投与前後で、被検体Pに非線形な動きがあった場合でも、DSA画像13に発生するアーチファクトを抑制することが可能である。
(画像処理部による被検体の非線形な動きを考慮したDSA画像の生成)
まず、図4を参照して、画像処理部6によるマスク画像11およびライブ画像12間の被検体Pの非線形な動きを考慮したDSA画像の生成の大まかな流れを説明する。
図4に示すように、まず、画像処理部6では、マスク画像11およびライブ画像12が別々に生成される。次に、マスク画像11およびライブ画像12に基づいて、マスク画像11とライブ画像12との間における画素20(図6参照)の移動方向および移動量を表す移動ベクトル30が生成される。次に、移動ベクトル30の空間方向の高周波成分が抑制された平滑化移動ベクトル30aが生成される。次に、平滑化移動ベクトル30aにマスク画像11が変形された変形画像11aが生成される。そして、変形画像11aとライブ画像12とが合成されたDSA画像が生成される。なお、移動ベクトル30は、特許請求の範囲の「移動マップ」の一例である。また、平滑化移動ベクトル30aは、特許請求の範囲の「平滑化移動マップ」の一例である。
(画像処理部の構成)
次に、図2〜図10を参照して、画像処理部6の具体的な構成を説明する。
画像処理部6は、図2に示すように、画像生成部61と、移動マップ生成部62と、
平滑化移動マップ生成部63と、画像移動処理部64と、合成画像処理部65と、非照射領域抽出部66と、直接線領域抽出部67と、血管像画素抽出部68と、を備えている。
画像生成部61は、X線受像器2bから順次出力されるX線検出信号を画像化することにより、X線画像10を所定のフレームレートで生成する。フレームレートは、たとえば15FPS〜30FPS程度である。X線画像10は、たとえばグレースケールで所定の階調数(10〜12ビットなど)の画素値を有する画像である。
移動マップ生成部62は、図6および図7に示すように、ライブ画像12の画素22の画素値と、マスク画像11における当該画素22に対応する画素21および所定の周辺領域に属する画素21の画素値との画素値差とに基づいて、マスク画像11の画素21の移動方向および移動量を表す移動ベクトル30を生成するように構成されている。より詳しくは、移動マップ生成部62は、ライブ画像12の画素22の画素値と、ライブ画像12の画素22に対して画素値差が最も小さいマスク画像11における画素21である画素値差最小画素21aの画素値とに基づいて、マスク画像11の画素21の移動方向および移動量を表す移動ベクトル30を生成するように構成されている。
具体的には、移動マップ生成部62は、図6に示すように、ライブ画像12のある画素22と、当該画素22に対応する(同一座標である)マスク画像11の画素21、および、対応する画素21の所定の周辺領域(対応する画素21の上、右上、右、右下、下、左下、左および左上の計8つ)の画素21の計9つの画素21とを、各々の画素値で比較する。そして、移動マップ生成部62は、マスク画像11の9つの画素21の中から、ライブ画像12のある画素22との画素値の差が最小の画素(画素値差最小画素21a)を特定する。ここで、画素値は、被検体Pの位置によって異なる定量的な値であるため、ライブ画像12およびマスク画像11において被検体Pの位置の指標となる。したがって、上記のように、ライブ画像12のある画素22と、その画素22と同一座標およびその周囲のマスク画像11における9つの画素21とを比較することは、ライブ画像12の画素22に対するマスク画像11の位置ずれを調べることに相当する。また、マスク画像11の画素値差最小画素21aは、ライブ画像12の画素22が位置ずれした可能性が最も高い画素20と見なすことができる。そして、移動マップ生成部62は、図7に示すように、画素値差最小画素21aを、ライブ画像12の画素22に対応する(同一座標である)マスク画像11の画素21の位置に移動させた場合の画素値差最小画素21aの移動方向および移動量を、マスク画像11の画素21に対応する移動ベクトル30とする。
平滑化移動マップ生成部63は、図9に示すように、移動ベクトル30の空間方向の高周波成分を抑制することにより、平滑化移動ベクトル30aを生成するように構成されている。
具体的には、平滑化移動マップ生成部63は、図9に示すように、移動ベクトル30を、マスク画像11における画素21毎に、マスク画像11における画素21およびマスク画像11における画素21の周囲の画素21で平滑化した平滑化移動ベクトル30aを算出する。すなわち、平滑化移動マップ生成部63は、マスク画像11における各々の画素21に対応付けられた移動ベクトル30を、その画素21と周囲の8つの画素21とで平滑化した平滑化移動ベクトル30aを算出する。なお、平滑化は、たとえば、9つの画素21で単純に移動ベクトル30を平均することによって行うことが可能である。これにより、図10に示すように、9つの画素21内に移動ベクトル30が過度に異なるもの(移動ベクトル30x)が含まれていた場合であっても、移動ベクトル30が平均されることにより、過度に異なる移動ベクトル30xの影響が低減される。この結果、移動ベクトル30の空間方向の高周波成分が抑制される。なお、図9では、紙面の都合上、平滑化移動ベクトル30aを平滑化前の移動ベクトル30と同じ方向および大きさのベクトルで描いている。なお、平滑化は、9つの画素21で単純に移動ベクトル30を平均する場合に限られない。たとえば、9つの画素21の移動ベクトル30を移動方向毎に移動量でグラフ化した後、フーリエ変換を行うことによって高周波成分を抽出する。そして、高周波成分を除去することによって、移動ベクトル30の空間方向の高周波成分を抑制してもよい。
そして、平滑化移動マップ生成部63は、生成された平滑化移動ベクトル30aを、ライブ画像12の画素22に対応するマスク画像11の画素21に対応付ける。そして、平滑化移動マップ生成部63が、この対応付けをマスク画像11の全ての画素21に対して行うことにより、マスク画像11の全ての画素21に平滑化移動ベクトル30aが対応付けられた状態となる。
画像移動処理部64は、図4に示すように、平滑化移動ベクトル30aに基づいてマスク画像11の画素21を移動させて変形画像11aを生成するように構成されている。
具体的には、画像移動処理部64は、平滑化移動ベクトル30aに基づいて、マスク画像11の画素21を移動させる。すなわち、画像移動処理部64は、マスク画像11において、ある画素21に対応付けられた平滑化移動ベクトル30aの移動方向および移動量の分だけ、その画素21をマスク画像11上で移動させる。マスク画像11は、この平滑化移動ベクトル30aに基づく画素21の移動を、マスク画像11の画素21毎に、マスク画像11全体で行うことにより、(位置ずれ補正が行われたマスク画像)変形画像11aとなる。
また、画像移動処理部64は、図8に示すように、ライブ画像12の画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第1閾値T1以下の場合に、マスク画像11の画素21の移動量(移動ベクトル30の大きさ)を0とするように構成されている。すなわち、画像移動処理部64は、ライブ画像12の画素22とマスク画像11における当該画素22に対応する画素21との間の画素値差が、予め設定された第1閾値T1以下の場合は、ライブ画像12の画素22とマスク画像11における当該画素22に対応する画素21との間で殆ど位置ずれしていないと見なして、マスク画像11の画素21を移動させない。
また、画像移動処理部64は、図5に示すように、非照射領域抽出部66により抽出された非照射領域におけるマスク画像11の画素21の移動量を0とするように構成されている。具体的には、画像移動処理部64は、非照射領域抽出部66により抽出された非照射領域におけるマスク画像11の画素21に対して、移動マップ生成部62に移動ベクトル30の生成を行わせないことにより、位置ずれ補正の補正処理の対象から非照射領域を除外する(除外画素を決定する)。ここで、非照射領域は、コリメータ(図示せず)によりX線の照射野が調整される領域であり、X線画像10において実質的に何も撮影されていない領域である。
また、画像移動処理部64は、直接線領域抽出部67により抽出された直接線領域におけるマスク画像11の画素21の移動量を0とするように構成されている。具体的には、画像移動処理部64は、直接線領域抽出部67により抽出された直接線領域におけるマスク画像11の画素21に対して、移動マップ生成部62に移動ベクトル30の生成を行わせないことにより、位置ずれ補正の補正処理の対象から直接線領域を除外する(除外画素を決定する)。直接線領域は、X線管装置2aから照射されたX線をX線受像器2bにより直接検出される領域である。
また、画像移動処理部64は、図8に示すように、血管像画素抽出部68により抽出された血管像Bを構成する画素22に対応するマスク画像11における画素21の移動量を0とするように構成されている。具体的には、画像移動処理部64は、血管像画素抽出部68により抽出された血管像Bを構成する画素22と判断された画素22に対応するマスク画像11における画素21に対して、移動マップ生成部62により生成された移動ベクトル30の大きさを0とすることにより、マスク画像11の画素21を移動させない。
また、画像移動処理部64は、図8に示すように、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第4閾値T4より小さい場合に、当該画素値差が小さくなるにしたがって、マスク画像11の画素21の移動量を徐々に大きくするように構成されている。具体的には、画像移動処理部64は、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第4閾値T4より小さい場合に、当該画素値が第4閾値T4に近い値である場合は、ライブ画像12の画素22が血管像Bを構成する画素22の可能性が高いか否かに応じて、マスク画像11の画素21の移動量(移動ベクトル30の大きさ)を調整する。
また、画像移動処理部64は、血管像画素抽出部68によってライブ画像12において血管像Bを構成する画素22と判断された画素22に対応するマスク画像11の画素21のうち、当該画素22の画素値が第5閾値以下の画素22に対応する画素21は移動量を0としないように構成されている。具体的には、画像移動処理部64は、血管像画素抽出部68によってライブ画像12において血管像Bを構成する画素22と判断された場合であっても、当該画素22の画素値が第5閾値以下であり、血管像Bを構成する画素でない可能性の高い画素22に対応するマスク画像11の画素21に対して、移動マップ生成部62に移動ベクトル30の生成を行わせる。なお、血管像Bが含まれないマスク画像11において、画素値が相対的に低い(第5閾値以下である)部分S(図3参照)は、被検体Pの血管像Bに相当する以外の部分(たとえば、骨格の部分)であると見なす。
なお、画像移動処理部64は、平滑化移動ベクトル30aに基づいて画素21を移動させることにより、複数の画素21の重複が生じる場合、複数の画素21における画素値を平均化して平滑化移動ベクトル30aを補正するように構成されている。具体的には、平滑化移動ベクトル30aに基づく画素21の移動先において、平滑化移動ベクトル30aの移動量が0であることに起因して画素21の移動がない場合、および、平滑化移動ベクトル30aに基づく複数の画素21の移動先が同じ場合に、重複した複数の画素21の画素値を平均化した画素値をその移動先の画素値とするように構成されている。
また、画像移動処理部64は、平滑化移動ベクトル30aに基づいて画素21を移動させることにより、空白の画素21が生じる場合、空白の画素21を空白の画素21の周囲の画素21によって補間することによって平滑化移動ベクトル30aを補正するように構成されている。具体的には、平滑化移動ベクトル30aに基づく画素21の移動元に、他の画素21が移動してこないことに起因して空白の画素21が生じた場合、その空白の画素21を空白の画素21に隣接する周囲(8近傍)の画素21によって周知の画像補間法により補間する。
また、画像移動処理部64は、平滑化移動ベクトル30aに基づいて画素21を移動させた場合に、平滑化移動ベクトル30aが整数値でない場合、マスク画像11の画素21の画素値を、平滑化移動ベクトル30aに応じた割合だけ移動することによって、平滑化移動ベクトル30aを補正するように構成されている。具体的には、たとえば、平滑化移動ベクトル30aの方向および大きさが、それぞれ、右方向および0.5の場合、平滑化移動ベクトル30aが対応付けられた画素21の左の画素21の画素値の0.5倍の画素値を平滑化移動ベクトル30aが対応付けられた画素21に移動させる。そして、平滑化移動ベクトル30aが対応付けられた画素21の左の画素21の画素値の移動させていない割合に相当する(左の画素21の画素値の0.5倍(1倍−0.5倍)の)画素値は、左の画素21の位置から移動させない。
合成画像処理部65は、変形画像11aと、ライブ画像12とを合成したDSA画像13を生成するように構成されている。具体的には、合成画像処理部65は、図4に示すように、マスク画像11およびライブ画像12に基づいて生成された移動ベクトル30(平滑化移動ベクトル)に基づく変形画像11aとライブ画像12とを合成する。
非照射領域抽出部66は、図4に示すように、マスク画像11におけるコリメータの動作により生じる放射線の非照射領域を抽出するように構成されている。そして、非照射領域抽出部66は、マスク画像11の上下左右の端部近傍において、外側に隣接する画素21の画素値が第2閾値以上である画素21を境界画素として、境界画素よりも外側のマスク画像11の領域を非照射領域と判断するように構成されている。具体的には、非照射領域抽出部66は、X線画像10の上下左右の近傍において、隣接する画素21同士の画素値差が第二閾以上の場合、画素値が高い照射領域と画素値が0(ゼロ)に近い非照射領域の境界であると判断する。すなわち、非照射領域抽出部66は、隣接する画素21同士の画素値の差分演算(一次微分演算)により照射領域と非照射領域との境界を抽出している。なお、図4では、便宜上、X線画像10の左右のみにコリメータ領域を描いている。
なお、画像処理部6では、X線の非照射領域と非照射領域の内側の領域(照射領域)との境界を、ぼかし領域として、ぼかし処理が行うように構成されている。ぼかし処理は、鮮明に血管を可視化したDSA画像13において、非照射領域と照射領域との間に境界の線が写り込むと見栄えがよくない等の理由で、非照射領域と照射領域との境界を目立たなくすることを目的としている。ぼかし処理は、たとえば、境界画素の画素値を、境界画素に隣接する画素の画素値によって平滑化することによって行われる。
直接線領域抽出部67は、図4に示すように、マスク画像11における直接線領域を抽出するように構成されている。そして、マスク画像11を構成する画素21の画素値が第3閾値以上の場合に直接線領域と判断するように構成されている。具体的には、直接線領域は、X線画像10において、被検体Pが存在しない部分に相当する。したがって、直接線領域は、画素値の上限(nビット画像の場合、2n)に近い所定の第3閾値以上の画素値として認識することが可能である。
血管像画素抽出部68は、ライブ画像12において血管像Bを構成する画素22を抽出するように構成されている。そして、血管像画素抽出部68は、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第4閾値T4以上(図4参照)の場合に、ライブ画像12を構成する画素22が血管像Bを構成する画素22と判断するように構成されている。
なお、画像処理部6は、X線の非照射領域と非照射領域の内側の領域(照射領域)との境界を、ぼかし領域として、ぼかし処理が行うように構成されている。ぼかし処理は、鮮明に血管を可視化したDSA画像13において、非照射領域と照射領域との間に境界の線が写り込むと見栄えがよくない等の理由で、非照射領域と照射領域との境界を目立たなくすることを目的としている。ぼかし処理は、たとえば、境界画素の画素値を、境界画素に隣接する画素の画素値によって平滑化することによって行われる。
(移動ベクトルを用いた合成画像の生成処理のフロー)
次に、図11を参照して、画像処理部6による移動ベクトル30を用いたDSA画像13の生成処理のフローについて説明する。なお、このフローに先立って、マスク画像11およびライブ画像12が生成されているものとする。
まず、ステップS101において、非照射領域抽出部66は、マスク画像11における非照射領域を抽出する。
次に、ステップS102において、直接線領域抽出部67は、マスク画像11における直接線領域を抽出する。
次に、ステップS103において、血管像画素抽出部68は、ライブ画像12における血管像Bを構成する画素22を抽出する。
次に、ステップS104において、画像移動処理部64が、非照射領域および直接線領域に基づいて、移動マップ生成部62による移動ベクトル30の生成の除外画素を決定する。
次に、ステップS105において、移動マップ生成部62は、ライブ画像12の画素22の画素値と、マスク画像11における当該画素22に対応する画素21および所定の周辺領域に属する画素21の画素値との画素値差とに基づいて、マスク画像11の画素21の移動ベクトル30を生成する。
次に、ステップS106において、画像移動処理部64は、血管像Bを構成する画素22、および、ライブ画像12における当該画素22に対応する画素21の画素値に基づいて、移動ベクトル30を調整する。
次に、ステップS107において、平滑化移動マップ生成部63は、移動ベクトル30の空間方向の高周波成分を抑制することにより、平滑化移動ベクトル30aを生成する。
次に、ステップS108において、画像移動処理部64が、平滑化移動ベクトル30aに基づいて、マスク画像11の画素21を移動させて変形画像11aを生成する。
次に、ステップS109において、合成画像処理部65が、変形画像11aと、ライブ画像12とを合成したDSA画像13を生成する。
なお、上記のフローでは、ステップS101、ステップS102およびステップS103の順序は互いに入れ替えることが可能である。
(実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、X線撮影装置100を、異なる時点で撮影されたマスク画像11とライブ画像12とに基づいて、マスク画像11に属する画素21の移動ベクトル30を生成し、移動ベクトル30に基づいてマスク画像11の画素21を移動させて変形画像11aを生成するように構成する。これにより、マスク画像11に属する画素21毎に移動ベクトル30を生成するとともに変形画像11aを生成することができるので、領域全体を一律に平行移動して変形画像11aを生成する場合と異なり、マスク画像11における領域の一部分だけが変形された変形画像11aを生成することができる。さらに、上記のように、移動ベクトル30の空間方向の高周波成分を抑制した平滑化移動ベクトル30aに基づいて変形画像11aを生成するように構成する。これにより、画素21毎に移動ベクトル30を生成することに起因して移動ベクトル30に誤差が生じたとしても、空間方向の高周波成分を抑制することにより、誤差の影響を小さくすることができる。これらの結果、異なる時間で撮影された2つの画像間における被検体Pの線形な動作だけでなく非線形な動作を考慮して、2つの画像を適切に合成することができる。
また、本実施形態では、上記のように、移動マップ生成部62を、ライブ画像12の画素22の画素値と、マスク画像11における当該画素22に対応する画素21および所定の周辺領域に属する画素21の画素値との画素値差に基づいて、マスク画像11の画素21の移動方向および移動量を表す移動ベクトル30を生成するように構成する。これにより、被検体Pの特定の位置の指標となるマスク画像11とライブ画像12とに基づいて、マスク画像11に属する各画素21の移動方向および移動量を表す移動ベクトル30を容易に生成することができる。
また、本実施形態では、上記のように、移動マップ生成部62を、ライブ画像12の画素22の画素値と、ライブ画像12の画素22に対して画素値差が最も小さいマスク画像11における画素21である画素値差最小画素21aの画素値とに基づいて、マスク画像11の画素21の移動方向および移動量を表す移動ベクトル30を生成するように構成する。これにより、マスク画像11における画素値差最小画素21aは、マスク画像11における当該画素21および所定の周辺領域に属する画素21の中で、ライブ画像12の画素22の基準とした画素21である確率が最も高いので、画素値差最小画素21aを用いることによって、移動ベクトル30を精度良く生成することができる。
また、本実施形態では、上記のように、画像移動処理部64を、ライブ画像12の画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第1閾値T1以下の場合に、マスク画像11の画素21の移動量を0とするように構成する。これにより、ライブ画像12の画素22とマスク画像11における当該画素22に対応する画素21とが殆ど移動しておらず、移動させる必要のないマスク画像11の画素21を移動させてしまうのを抑制することができる。
また、本実施形態では、上記のように、X線撮影装置100は、被検体Pへの放射線の照射領域を絞るコリメータと、マスク画像11におけるコリメータの動作により生じる放射線の非照射領域を抽出する非照射領域抽出部66と、を備え、画像移動処理部64を、非照射領域抽出部66により抽出された非照射領域におけるマスク画像11の画素21の移動量を0とするように構成する。これにより、マスク画像11において放射線が照射されておらず、移動させる必要のないマスク画像11における非照射領域の画素21を移動させてしまうのを抑制することができる。その結果、非照射領域が大きい場合における画像移動処理部64の制御負担を効果的に低減させることができる。
また、本実施形態では、上記のように、非照射領域抽出部66を、マスク画像11の上下左右の端部近傍において、外側に隣接する画素21の画素値が第2閾値以上である画素21を境界画素として、境界画素よりも外側のマスク画像11の領域を非照射領域と判断するように構成する。これにより、画像の上下左右の端部近傍において、隣接する画素21同士の画素値差が第2閾値以上である場合には、画素値が高い照射領域と画素値が0(ゼロ)に近い非照射領域の境界である可能性が高いので、マスク画像11における非照射領域の画素21を容易に判別することができる。
また、本実施形態では、上記のように、X線撮影装置100は、マスク画像11における直接線領域を抽出する直接線領域抽出部67を備え、画像移動処理部64は、直接線領域抽出部67により抽出された直接線領域におけるマスク画像11の画素21の移動量を0とするように構成する。これにより、マスク画像11において被検体Pが存在しない領域であり、移動させる必要のないマスク画像11における直接線領域の画素21を移動させてしまうのを抑制することができる。その結果、直接線領域が大きい場合における画像移動処理部64の制御負担を効果的に低減させることができる。
また、本実施形態では、上記のように、直接線領域抽出部67を、マスク画像11を構成する画素21の画素値が第3閾値以上の場合に直接線領域と判断するように構成する。これにより、マスク画像11において画素値が第3閾値以上の場合には、放射線が被検体Pを透過せずに直接検出された直接線領域である可能性が高いので、マスク画像11における直接線領域の画素21を容易に判別することができる。
また、本実施形態では、上記のように、マスク画像11を、被検体Pの血管に造影剤を投与しない状態で被検体Pを撮影した放射線画像(X線画像10)である非造影画像とし、ライブ画像12を、被検体Pの血管に造影剤を投与した状態で被検体Pを撮影した放射線画像(X線画像10)である造影画像とする。これにより、異なる時点で撮影された造影画像(ライブ画像12)と非造影画像(マスク画像11)との間における被検体Pの線形な動作だけでなく非線形な動作を考慮して造影画像(ライブ画像12)と非造影画像(マスク画像11)とを合成することができる。
また、本実施形態では、上記のように、X線撮影装置100は、ライブ画像12において血管像Bを構成する画素22を抽出する血管像画素抽出部68を備え、画像移動処理部64を、血管像Bを構成する画素22に対応するマスク画像11における画素21の移動量を0とするように構成する。これにより、マスク画像11において血管像Bを構成する画素22に対応する画素21を移動させてしまうことに起因して、ライブ画像12とマスク画像11とを合成したDSA画像13における血管像Bが不鮮明になるのを抑制することができる。
また、本実施形態では、上記のように、血管像画素抽出部68を、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第4閾値T4以上の場合に、ライブ画像12を構成する画素22が血管像Bを構成する画素22と判断するように構成する。これにより、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素21の画素値との画素値差が第4閾値T4以上の場合、そのライブ画像12における画素22は血管像Bを構成する画素である可能性が高いので、ライブ画像12における血管像Bの画素22を容易に判別することができる。
また、本実施形態では、上記のように、画像移動処理部64を、ライブ画像12を構成する画素22の画素値と、マスク画像11における当該画素22に対応する画素21の画素値との画素値差が第4閾値T4より小さい場合に、当該画素値差が小さくなるにしたがって、マスク画像11の画素21の移動量を徐々に大きくするように構成する。これにより、血管像Bを構成する画素22に濃淡があることに起因するライブ画像12における画素22が血管像Bを構成する画素22でない可能性の大きさに応じて、当該画素22に対応するマスク画像11における画素21の移動量を調整することができる。
また、本実施形態では、上記のように、画像移動処理部64を、血管像画素抽出部68によってライブ画像12において血管像Bを構成する画素22と判断された画素22に対応するマスク画像11の画素21のうち、当該画素22の画素値が第5閾値以下の画素22に対応する画素21は移動量を0としないように構成する。これにより、ライブ画像12を構成する画素22が血管像Bを構成する画素22と判断された画素22の内、画素値が第5閾値以下であり血管像Bを構成する画素22以外の画素22である可能性の高い画素22に対応するマスク画像11における画素21が移動されずに変形画像11aが生成されるのを抑制することができる。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記実施形態では、画像移動処理部64は、移動ベクトル30を、マスク画像11における画素21毎に、マスク画像11における画素21およびマスク画像11における画素21の8近傍の画素21で平均した平滑化移動ベクトル30aに基づいて変形画像11aを生成する例を示したが、本発明はこれに限られない。本発明では、画像移動処理部64を、この平滑化移動ベクトル30aに基づかずに、平均化する前の移動ベクトル30に基づいて変形画像11aを生成してもよい。
また、上記実施形態では、移動マップ生成部62は、ライブ画像12の画素22と、ライブ画像12の画素22に対応するマスク画像11の画素21およびマスク画像11の画素21の8近傍の画素21(合計9つの画素)との画素値の差である画素値差に基づいて、移動ベクトル30を算出する例を示したが、本発明はこれに限られない。本発明では、移動マップ生成部62を、9つ以外の個数の画素21との画素値差に基づいて、移動ベクトル30を算出してもよい。この場合、たとえば、マスク画像11の画素21の上下左右の4近傍の画素21を加えた5個の画素21のように個数を少なくしてもよい。また、8近傍の画素21の周囲の(上下左右のそれぞれ3つずつの画素21、および、右上、右下、左下、左上の画素21の)12近傍の画素21をさらに加えた25個の画素21のように個数を多くしてもよい。このように、多くの個数の画素21との画素値差に基づいて移動ベクトル30を算出することにより、移動ベクトル30を算出の精度を向上させることができる。
また、上記実施形態では、画像移動処理部64は、移動ベクトル30を、マスク画像11における画素21毎に、マスク画像11における画素21およびマスク画像11における画素21の8近傍の画素21(合計9つの画素)で平均した平滑化移動ベクトル30aに基づいて変形画像11aを生成する例を示したが、本発明はこれに限られない。本発明では、画像移動処理部64を、9つ以外の個数の画素21を平均した平滑化移動ベクトル30aに基づいて変形画像11aを生成してもよい。この場合、たとえば、マスク画像11の画素21の上下左右の4近傍の画素21を加えた5個の画素21のように個数を少なくしてもよい。また、8近傍の画素21の周囲の(上下左右のそれぞれ3つずつの画素21、および、右上、右下、左下、左上の画素21の)12近傍の画素21をさらに加えた25個の画素21のように個数を多くしてもよい。このように、多くの個数の画素21との画素値差を平均した平滑化移動ベクトル30aに基づいて変形画像11aを生成することにより、変形画像11aを生成の精度を向上させることができる。
また、上記実施形態では、非照射領域抽出部66を、X線画像10の上下左右の近傍において、隣接する画素21同士の画素値差が第二閾以上の場合、画素値が高い照射領域と画素値が0(ゼロ)に近い非照射領域の境界であると判断するように構成した例を示したが、本発明はこれに限られない。本発明では、非照射領域抽出部66を、上記のような隣接する画素21同士の画素値の差分演算(一次微分演算)による手法のみならず、画素値の差分演算をさらに行う二次微分演算による境界抽出手法を用いるように構成してもよい。
また、上記実施形態では、説明の便宜上、画像処理部6によるDSA画像13の生成の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローを用いて説明したが、本発明はこれに限られない。本発明では、の画像処理部6によるDSA画像13の生成の処理を、イベント単位で処理を実行するイベント駆動型(イベントドリブン型)の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
また、上記実施形態では、画像処理部6を、画像生成部61と、移動マップ生成部62と、平滑化移動マップ生成部63と、画像移動処理部64と、合成画像処理部65と、非照射領域抽出部66と、直接線領域抽出部67と、血管像画素抽出部68と、を備えるように構成した例を示したが、本発明はこれに限られない。本発明では、画像生成部61、移動マップ生成部62、平滑化移動マップ生成部63、画像移動処理部64および合成画像処理部65以外の画像処理部6の構成を省略することが可能である。
また、上記実施形態では、非造影画像であるマスク画像11と造影画像であるライブ画像12とに基づいてDSA画像13を生成する際の移動ベクトル30(および平滑化移動ベクトル30a)を用いた位置ずれ補正の例を示したが、本発明はこれに限られない。本発明は、同一の被検体に対して、異なる時間帯で撮影された2つの画像を合成する際の移動ベクトル30(および平滑化移動ベクトル30a)を用いた位置ずれ補正のいずれの場合にも適用することができる。たとえば、長尺画像の生成、積算画像の生成等に適用することができる。
2 撮影部
10 X線画像(放射線画像)
11 マスク画像(第一の画像、非造影画像)
11a 変形画像
12 ライブ画像(第二の画像、造影画像)
13 DSA画像(合成画像)
20(21、22) 画素
21a 画素値差最小画素
30 移動ベクトル(移動マップ)
30a 平滑化移動ベクトル(平滑化移動マップ)
61 画像生成部
62 移動マップ生成部
63 平滑化移動マップ生成部
64 画像移動処理部
65 合成画像処理部
66 非照射領域抽出部
67 直接線領域抽出部
68 血管像画素抽出部
100 X線撮影装置(放射線撮影装置)
B 血管像
P 被検体
T1 第1閾値
T4 第4閾値

Claims (13)

  1. 被検体に放射線を照射するとともに被検体を透過した放射線を検出して被検体を撮影する撮影部と、
    同一の被検体に対して、異なる時点で撮影された第一及び第二の画像を生成する画像生成部と、
    前記第一の画像と前記第二の画像とに基づいて、前記第一の画像に属する各画素のうち少なくとも一部の画素の移動方向及び移動量を表す移動マップを生成する移動マップ生成部と、
    前記移動マップの空間方向の高周波成分を抑制することにより、平滑化移動マップを生成する平滑化移動マップ生成部と、
    前記平滑化移動マップに基づいて前記第一の画像の画素を移動させて変形画像を生成する画素移動処理部と、
    前記変形画像と、前記第二の画像とを合成した合成画像を生成する合成画像処理部とを備える、放射線撮影装置。
  2. 前記移動マップ生成部は、前記第二の画像の画素の画素値と、前記第一の画像における当該画素に対応する画素および所定の周辺領域に属する画素の画素値との画素値差に基づいて、前記第一の画像の画素の移動方向および移動量を表す前記移動マップを生成するように構成されている、請求項1に記載の放射線撮影装置。
  3. 前記移動マップ生成部は、前記第二の画像の画素の画素値と、前記第二の画像の画素に対して前記画素値差が最も小さい前記第一の画像における画素である画素値差最小画素の画素値とに基づいて、前記第一の画像の画素の移動方向および移動量を表す前記移動マップを生成するように構成されている、請求項2に記載の放射線撮影装置。
  4. 前記画素移動処理部は、前記第二の画像の画素の画素値と、前記第一の画像における当該画素に対応する画素の画素値との画素値差が所定の第1閾値以下の場合に、前記第一の画像の画素の移動量を0とするように構成されている、請求項1に記載の放射線撮影装置。
  5. 前記被検体への放射線の照射領域を絞るコリメータと、
    前記第一の画像における前記コリメータの動作により生じる放射線の非照射領域を抽出する非照射領域抽出部と、をさらに備え、
    前記画素移動処理部は、前記非照射領域抽出部により抽出された前記非照射領域における前記第一の画像の画素の移動量を0とするように構成されている、請求項1に記載の放射線撮影装置。
  6. 前記非照射領域抽出部は、前記第一の画像の上下左右の端部近傍において、外側に隣接する画素の画素値が所定の第2閾値以上である画素を境界画素として、前記境界画素よりも外側の前記第一の画像の領域を前記非照射領域と判断するように構成されている、請求項5に記載の放射線撮影装置。
  7. 前記第一の画像における直接線領域を抽出する直接線領域抽出部をさらに備え、
    前記画素移動処理部は、前記直接線領域抽出部により抽出された前記直接線領域における前記第一の画像の画素の移動量を0とするように構成されている、請求項1に記載の放射線撮影装置。
  8. 前記直接線領域抽出部は、前記第一の画像を構成する画素の画素値が所定の第3閾値以上の場合に前記直接線領域と判断するように構成されている、請求項7に記載の放射線撮影装置。
  9. 前記第一の画像は前記被検体の血管に造影剤を投与しない状態で前記被検体を撮影した放射線画像である非造影画像であり、前記第二の画像は前記被検体の血管に造影剤を投与した状態で前記被検体を撮影した前記放射線画像である造影画像である、請求項1に記載の放射線撮影装置。
  10. 前記造影画像において血管像を構成する画素を抽出する血管像画素抽出部をさらに備え、前記画素移動処理部は、前記血管像を構成する画素に対応する前記非造影画像における画素の移動量を0とするように構成されている、請求項9に記載の放射線撮影装置。
  11. 前記血管像画素抽出部は、前記造影画像を構成する画素の画素値と、前記非造影画像における当該画素に対応する画素の画素値との画素値差が所定の第4閾値以上の場合に、前記造影画像を構成する画素が前記血管像を構成する画素と判断するように構成されている、請求項10に記載の放射線撮影装置。
  12. 前記画素移動処理部は、前記造影画像を構成する画素の画素値と、前記非造影画像における当該画素に対応する画素の画素値との画素値差が前記所定の第4閾値より小さい場合に、当該画素値差が小さくなるにしたがって、前記非造影画像における画素の移動量を徐々に大きくするように構成されている、請求項11に記載の放射線撮影装置。
  13. 前記画素移動処理部は、前記血管像画素抽出部によって前記造影画像において前記血管像を構成する画素と判断された画素に対応する前記非造影画像の画素のうち、当該画素の画素値が所定の第5閾値以下の画素は移動量を0としないように構成されている、請求項10に記載の放射線撮影装置。
JP2019541632A 2017-09-14 2018-04-19 放射線撮影装置 Active JP6879376B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017177004 2017-09-14
JP2017177004 2017-09-14
PCT/JP2018/016136 WO2019053935A1 (ja) 2017-09-14 2018-04-19 放射線撮影装置

Publications (2)

Publication Number Publication Date
JPWO2019053935A1 true JPWO2019053935A1 (ja) 2020-04-02
JP6879376B2 JP6879376B2 (ja) 2021-06-02

Family

ID=65723537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541632A Active JP6879376B2 (ja) 2017-09-14 2018-04-19 放射線撮影装置

Country Status (4)

Country Link
US (1) US11751835B2 (ja)
JP (1) JP6879376B2 (ja)
CN (1) CN111050648B (ja)
WO (1) WO2019053935A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159160B2 (ja) 2016-12-15 2022-10-24 コーニンクレッカ フィリップス エヌ ヴェ 血管構造の可視化
JP7167564B2 (ja) 2018-09-05 2022-11-09 株式会社島津製作所 X線撮影装置およびx線撮影装置の作動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2005292017A (ja) * 2004-04-02 2005-10-20 Dainippon Screen Mfg Co Ltd 位置ずれ量取得装置および欠陥検出装置
JP2006087631A (ja) * 2004-09-22 2006-04-06 Sangaku Renkei Kiko Kyushu:Kk 画像診断装置、画像処理装置、及び画像処理プログラムを記録した記録媒体
JP2006247268A (ja) * 2005-03-14 2006-09-21 Hitachi Ltd 患者位置決めシステム及び患者位置決め方法
WO2016087271A1 (en) * 2014-12-03 2016-06-09 Koninklijke Philips N.V. Device-based motion-compensated digital subtraction angiography
JP2016120060A (ja) * 2014-12-25 2016-07-07 株式会社東芝 医用画像処理装置及び医用画像処理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4542459A (en) * 1982-11-26 1985-09-17 General Electric Company Matched filter for x-ray hybrid subtraction
US5892840A (en) * 1996-02-29 1999-04-06 Eastman Kodak Company Method and apparatus for irradiation field detection in digital radiographic images
EP0864999A3 (de) * 1997-03-13 1999-09-08 Philips Patentverwaltung GmbH Bildverarbeitungs-Verfahren für die medizinische Diagnostik
US6004270A (en) * 1998-06-24 1999-12-21 Ecton, Inc. Ultrasound system for contrast agent imaging and quantification in echocardiography using template image for image alignment
US6532380B1 (en) * 2000-06-30 2003-03-11 Cedars Sinai Medical Center Image guidance for coronary stent deployment
US6754522B2 (en) * 2001-09-05 2004-06-22 Medimag C.V.I., Inc. Imaging methods and apparatus particularly useful for two and three-dimensional angiography
US7545967B1 (en) * 2002-09-18 2009-06-09 Cornell Research Foundation Inc. System and method for generating composite subtraction images for magnetic resonance imaging
WO2005111647A1 (en) * 2004-05-14 2005-11-24 Koninklijke Philips Electronics N.V. Contrast prepared mri involving non-cartesian trajectories with oversampling of the center of k-space
US7327865B2 (en) * 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
JP5161427B2 (ja) 2006-02-20 2013-03-13 株式会社東芝 画像撮影装置、画像処理装置及びプログラム
JP4745080B2 (ja) * 2006-02-20 2011-08-10 猛 中浦 X線診断装置、画像処理装置及びプログラム
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
US8023732B2 (en) * 2006-07-26 2011-09-20 Siemens Aktiengesellschaft Accelerated image registration by means of parallel processors
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
US9804245B2 (en) * 2007-06-29 2017-10-31 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus and magnetic resonance imaging method
EP2334233A4 (en) * 2008-09-12 2013-02-27 Accuray Inc CONTROL OF X-RAY IMAGING BASED ON TARGET MOVEMENTS
EP2189112A1 (en) * 2008-11-24 2010-05-26 Bracco Research S.A. Real-time perfusion imaging and quantification
US8971600B2 (en) * 2009-04-10 2015-03-03 Hitachi Medical Corporation Ultrasonic diagnosis apparatus and method for constructing distribution image of blood flow dynamic state
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
US9361706B2 (en) * 2009-11-30 2016-06-07 Brigham Young University Real-time optical flow sensor design and its application to obstacle detection
US8224056B2 (en) * 2009-12-15 2012-07-17 General Electronic Company Method for computed tomography motion estimation and compensation
JP5543194B2 (ja) * 2009-12-24 2014-07-09 キヤノン株式会社 情報処理装置、処理方法及びプログラム
WO2013047170A1 (ja) * 2011-09-27 2013-04-04 富士フイルム株式会社 放射線撮影システムおよびその作動方法、並びに放射線画像検出装置
CN103974661B (zh) * 2011-12-21 2016-08-24 株式会社日立制作所 医用图像诊断装置以及使用了医用图像诊断装置的相位决定方法
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Nltテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
JP5981220B2 (ja) * 2012-05-21 2016-08-31 東芝メディカルシステムズ株式会社 医用画像処理装置及びx線撮影装置
JP6222807B2 (ja) * 2013-04-01 2017-11-01 東芝メディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JPWO2015107963A1 (ja) * 2014-01-15 2017-03-23 株式会社日立製作所 X線ct装置及び造影撮影方法
US10013779B2 (en) * 2015-06-22 2018-07-03 Toshiba Medical Systems Corporation Metal artifact reduction for 3D-digtial subtraction angiography
JP6293713B2 (ja) * 2015-08-27 2018-03-14 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置、放射線断層撮影装置並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2005292017A (ja) * 2004-04-02 2005-10-20 Dainippon Screen Mfg Co Ltd 位置ずれ量取得装置および欠陥検出装置
JP2006087631A (ja) * 2004-09-22 2006-04-06 Sangaku Renkei Kiko Kyushu:Kk 画像診断装置、画像処理装置、及び画像処理プログラムを記録した記録媒体
JP2006247268A (ja) * 2005-03-14 2006-09-21 Hitachi Ltd 患者位置決めシステム及び患者位置決め方法
WO2016087271A1 (en) * 2014-12-03 2016-06-09 Koninklijke Philips N.V. Device-based motion-compensated digital subtraction angiography
JP2016120060A (ja) * 2014-12-25 2016-07-07 株式会社東芝 医用画像処理装置及び医用画像処理方法

Also Published As

Publication number Publication date
CN111050648B (zh) 2024-02-20
CN111050648A (zh) 2020-04-21
JP6879376B2 (ja) 2021-06-02
US20200330063A1 (en) 2020-10-22
US11751835B2 (en) 2023-09-12
WO2019053935A1 (ja) 2019-03-21

Similar Documents

Publication Publication Date Title
US10672108B2 (en) Image processing apparatus, image processing method, and image processing program
US20210030374A1 (en) Image creation device
EP2605211B1 (en) Image processing apparatus, image processing method, and program
JP5921180B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5835333B2 (ja) 画像処理装置およびそれを備えた放射線撮影装置
JP6362914B2 (ja) X線診断装置及び画像処理装置
JP6156847B2 (ja) 放射線画像処理装置および方法並びにプログラム
JP6230303B2 (ja) 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
CN110876627B (zh) X射线摄影装置和x射线图像处理方法
JPWO2019053935A1 (ja) 放射線撮影装置
JP6002324B2 (ja) 放射線画像生成装置及び画像処理方法
US11426139B2 (en) Radiographic imaging apparatus
Joemai et al. Forward Projected Model-Based Iterative Reconstruction SoluTion “FIRST”
JP7187217B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP2022160089A (ja) 医用画像処理装置および医用画像処理方法
JP2002153454A (ja) X線ct装置
JP2013192828A (ja) 輝度ムラ検出装置および方法
TWI500412B (zh) 一種影像品質的改善處理方法及其造影系統
JP2006230484A (ja) X線診断装置、画像処理方法及び画像処理プログラム
WO2020012520A1 (ja) 医用x線画像処理装置およびx線画像撮影装置
JP2008237836A (ja) 放射線撮像装置及び方法
JP5334657B2 (ja) 放射線画像処理装置および方法ならびにプログラム
JP2019004920A (ja) X線ct装置及びx線照射条件設定方法
JP2014136127A (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R151 Written notification of patent or utility model registration

Ref document number: 6879376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151