JP6598433B2 - X線診断装置 - Google Patents

X線診断装置 Download PDF

Info

Publication number
JP6598433B2
JP6598433B2 JP2014131783A JP2014131783A JP6598433B2 JP 6598433 B2 JP6598433 B2 JP 6598433B2 JP 2014131783 A JP2014131783 A JP 2014131783A JP 2014131783 A JP2014131783 A JP 2014131783A JP 6598433 B2 JP6598433 B2 JP 6598433B2
Authority
JP
Japan
Prior art keywords
image
ray
value
average value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014131783A
Other languages
English (en)
Other versions
JP2016007508A5 (ja
JP2016007508A (ja
Inventor
邦夫 白石
利明 河野
久育 弓座
信 高仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2014131783A priority Critical patent/JP6598433B2/ja
Priority to US14/751,549 priority patent/US9974507B2/en
Publication of JP2016007508A publication Critical patent/JP2016007508A/ja
Publication of JP2016007508A5 publication Critical patent/JP2016007508A5/ja
Application granted granted Critical
Publication of JP6598433B2 publication Critical patent/JP6598433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明の実施の形態は、X線診断装置に関する。
従来、X線診断装置においては、造影剤を用いて収集されたX線画像が種々の手技に利用される。例えば、造影剤を用いて収集されたX線画像が用いられるものとして、血管内治療に使われるカテーテルやガイドワイヤなどのデバイスを治療部位まで進め易くするために、造影剤を用いて収集した血管像を表示する透視ロードマップなどが挙げられる。透視ロードマップは、血管に造影剤を注入することで血管走行が描出された血管像を収集し、収集した血管像を透視画像に重ねて表示する透視ランドマーク機能や、血管とデバイスを観察し易くするために背景を消した透視サブトラクション機能などがある。
ここで、透視ロードマップに用いられる血管像は、血管走行をより明確に観察するために、血管内に造影剤が充満した画像を用いることが望ましい。そこで、通常、操作者がモニタ上で画像を確認して最適な画像が用いられる。例えば、血管に造影剤が注入されて予め撮影されたDSA(Digital Subtraction Angiography)画像を利用する場合には、操作者は、DSA画像のフレームの中から血管内に造影剤が充満した画像を選択する。また、例えば、透視画像から血管像を作成する場合には、操作者は、透視中に造影剤を注入してモニタ上で透視画像を確認しながら、血管内に造影剤が充満した時点で透視をOFFし、その時点のLIH(Last Image Hold)画像を血管像とする。
特開2011−156321号公報
本発明が解決しようとする課題は、手技の効率を向上させることを可能にするX線診断装置を提供することである。
実施の形態のX線診断装置は、X線管と、X線検出器と、算出部と、選択部とを備える。X線管は、X線を発生する。X線検出器は、被検体を透過した前記X線を検出する。算出部は、造影剤を用いて経時的に収集された複数のX線画像、前記造影剤を用いて経時的に収集された複数のX線画像から背景がそれぞれ差分された複数の差分画像、又は、医用デバイスが用いられて経時的に収集された複数のX線画像に含まれる画像ごとに、血管領域よりも前記血管領域以外の領域が占める割合が高い関心領域に含まれる画素値の平均値、前記画素値の中央値及び前記画素値の最頻値のうち少なくとも1つを算出する。選択部は、前記造影剤を用いて経時的に収集された複数のX線画像については、当該複数のX線画像を対象として算出された前記平均値と、前記中央値又は前記最頻値である基準値とに基づいて、前記平均値と、前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画を選択し、前記医用デバイスが用いられて経時的に収集された複数のX線画像については、当該複数のX線画像を対象として算出された前記平均値及び前記基準値とに基づいて、前記平均値と前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画像を選択し、前記複数の差分画像については、当該複数の差分画像を対象として算出された前記平均値及び前記基準値に基づいて、前記平均値と前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画像を選択する、又は、前記複数の差分画像を対象として算出された前記平均値又は前記基準値に基づいて、前記平均値又は前記基準値以上の値を示す画素の数が相対的に多い画像を選択する。
図1は、第1の実施形態に係るX線診断装置の構成の一例を示す図である。 図2は、第1の実施形態に係るシステム制御部の構成の一例を示す図である。 図3は、第1の実施形態に係る算出部の処理対象のX線画像の一例を示す図である。 図4は、第1の実施形態に係るSUB画像の画素値について説明するための図である。 図5は、第1の実施形態に係るSUB画像の画素値について説明するための図である。 図6は、第1の実施形態に係る選択部による最大造影フレームの選択の一例を示す図である。 図7は、第1の実施形態に係る選択部による最大造影フレームの選択の一例を示す図である。 図8Aは、第1の実施形態に係る選択部による差分値の平均の一例を説明するための図である。 図8Bは、第1の実施形態に係る選択部による差分値の平均の一例を説明するための図である。 図9は、第1の実施形態に係るROIの一例を示す図である。 図10は、第1の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図11は、第2の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図12は、第3の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図13は、第4の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図14は、第4の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図15は、第5の実施形態に係るX線診断装置による処理の一例を説明するための図である。 図16は、第5の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。 図17は、第6の実施形態に係るX線診断装置による処理の一例を説明するための図である。 図18は、第6の実施形態に係るX線診断装置による処理の手順を示すフローチャートである。
(第1の実施形態)
図1は、第1の実施形態に係るX線診断装置100の構成の一例を示す図である。図1に示すように、第1の実施形態に係るX線診断装置100は、高電圧発生器11と、X線管12と、X線絞り装置13と、天板14と、Cアーム15と、X線検出器16とを備える。また、第1の実施形態に係るX線診断装置100は、Cアーム回転・移動機構17と、天板移動機構18と、Cアーム・天板機構制御部19と、絞り制御部20と、システム制御部21と、入力部22と、表示部23とを備える。また、第1の実施形態に係るX線診断装置100は、画像データ生成部24と、画像データ記憶部25と、画像処理部26とを備える。また、X線診断装置100は、インジェクター30と接続される。
インジェクター30は、被検体Pに挿入されたカテーテルから造影剤を注入するための装置である。ここで、インジェクター30からの造影剤注入は、後述するシステム制御部21を介して受信した注入指示に従って実行される。具体的には、インジェクター30は、後述するシステム制御部21から受信する造影剤の注入開始指示や、注入停止指示、さらに、注入速度などを含む造影剤注入条件に応じた造影剤注入を実行する。なお、インジェクター30は、操作者が直接インジェクター30に対して入力した注入指示に従って注入開始や、注入停止を実行することも可能である。
高電圧発生器11は、システム制御部21による制御の下、高電圧を発生し、発生した高電圧をX線管12に供給する。X線管12は、高電圧発生器11から供給される高電圧を用いて、X線を発生する。
X線絞り装置13は、絞り制御部20による制御の下、X線管12が発生したX線を、被検体Pの関心領域に対して選択的に照射されるように絞り込む。例えば、X線絞り装置13は、スライド可能な4枚の絞り羽根を有する。X線絞り装置13は、絞り制御部20による制御の下、これらの絞り羽根をスライドさせることで、X線管12が発生したX線を絞り込んで被検体Pに照射させる。天板14は、被検体Pを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Pは、X線診断装置100に含まれない。
X線検出器16は、被検体Pを透過したX線を検出する。例えば、X線検出器16は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Pを透過したX線を電気信号に変換して蓄積し、蓄積した電気信号を画像データ生成部24に送信する。
Cアーム15は、X線管12、X線絞り装置13及びX線検出器16を保持する。X線管12及びX線絞り装置13とX線検出器16とは、Cアーム15により被検体Pを挟んで対向するように配置される。
Cアーム回転・移動機構17は、Cアーム15を回転及び移動させるための機構であり、天板移動機構18は、天板14を移動させるための機構である。Cアーム・天板機構制御部19は、システム制御部21による制御の下、Cアーム回転・移動機構17及び天板移動機構18を制御することで、Cアーム15の回転や移動、天板14の移動を調整する。絞り制御部20は、システム制御部21による制御の下、X線絞り装置13が有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。
画像データ生成部24は、X線検出器16によってX線から変換された電気信号を用いて画像データを生成し、生成した画像データを画像データ記憶部25に格納する。例えば、画像データ生成部24は、X線検出器16から受信した電気信号に対して、電流・電圧変換やA(Analog)/D(Digital)変換、パラレル・シリアル変換を行い、画像データを生成する。ここで、画像データ生成部24は、造影剤が注入された被検体Pを時系列に沿って撮影した複数のX線画像を生成する。そして、画像データ生成部24は、生成したX線画像を画像データ記憶部25に格納する。
画像データ記憶部25は、画像データ生成部24によって生成された画像データを記憶する。例えば、画像データ記憶部25は、造影剤が投与された被検体Pの所定の領域が時系列に沿って撮影された画像データを記憶する。
画像処理部26は、画像データ記憶部25が記憶する画像データに対して各種画像処理を行う。例えば、画像処理部26は、画像データ記憶部25が記憶する時系列に沿った複数のX線画像を処理することにより、動画像を生成する。
入力部22は、X線診断装置100を操作する医師や技師などの操作者から各種指示を受け付ける。例えば、入力部22は、マウス、キーボード、ボタン、トラックボール、ジョイスティックなどを有する。入力部22は、操作者から受け付けた指示を、システム制御部21に転送する。例えば、入力部22は、X線画像における任意の領域を指定するための指定指示を受付ける。
表示部23は、操作者の指示を受け付けるためのGUI(Graphical User Interface)や、画像データ記憶部25が記憶する画像データなどを表示する。例えば、表示部23は、モニタを有する。なお、表示部23は、複数のモニタを有してもよい。
システム制御部21は、X線診断装置100全体の動作を制御する。例えば、システム制御部21は、入力部22から転送された操作者の指示に従って高電圧発生器11を制御し、X線管12に供給する電圧を調整することで、被検体Pに対して照射されるX線量やON/OFFを制御する。また、例えば、システム制御部21は、操作者の指示に従ってCアーム・天板機構制御部19を制御し、Cアーム15の回転や移動、天板14の移動を調整する。また、例えば、システム制御部21は、操作者の指示に従って絞り制御部20を制御し、X線絞り装置13が有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。
また、システム制御部21は、操作者の指示に従って、画像データ生成部24による画像データ生成処理や、画像処理部26による画像処理、あるいは解析処理などを制御する。また、システム制御部21は、操作者の指示を受け付けるためのGUIや画像データ記憶部25が記憶する画像などを、表示部23のモニタに表示するように制御する。また、システム制御部21は、インジェクター30に対して、造影剤注入開始及び終了の信号を送信することで、造影剤の注入タイミングを制御する。
以上、X線診断装置100の構成の一例について説明した。かかる構成のもと、本実施形態に係るX線診断装置100は、以下、詳細に説明するシステム制御部21による制御によって、手技の効率を向上させることを可能にする。具体的には、X線診断装置100は、経時的に収集した複数のX線画像の中から所定のX線画像を自動で選択することによって、手技の効率を向上させる。例えば、X線診断装置100は、造影剤を用いて経時的に収集した複数のX線画像のうち、造影剤が最も充満したX線画像を的確に選択することで、手技の効率を向上させる。
上述したように、X線診断装置においては、造影剤を用いて収集されたX線画像が種々の手技で利用されており、例えば、透視ロードマップでは、血管内に造影剤が充満した血管像が用いられる。ここで、従来技術では、操作者がモニタ上で画像を確認しながら造影剤が最も充満した血管像を選択するため、手技の効率が低下する場合があった。例えば、複数のDSA画像の中から血管像を選択する際に、操作者の確認に時間がかかる場合があった。また、LIH画像を用いる際には、血流が速い部位などで透視をOFFするタイミングを取るのに慣れが必要であったり、造影剤の量を多めにする必要があったりする場合があった。
このように、従来技術においては、造影剤が最も充満したX線画像を、操作者が手動で選択している。このような中、近年、X線画像に含まれる造影剤を自動で検知する技術も知られている。かかる技術は、血管内に造影剤が入ることでX線画像中に陰影が現れ、血管部分に相当する領域が暗くなり画素値の平均値が低下することを利用して血管内への造影剤の流入を検知したり、画素値のばらつき(分散、標準偏差等の統計量)が増大することを利用して血管内への造影剤の流入を検知したりする技術である。
しかしながら、上述した造影剤を自動で検知する技術では、X線出力の安定性や、検出器の残像特性、被検体の体動により、必ずしも造影剤が最も充満したX線画像を選択できるとは限らない。例えば、複数のDSA画像から造影剤が最も充満したX線画像を選択する際に、差分する画像の撮影時にX線出力が変動したり、検出器の残像や被検体の体動が生じたりした場合、背景領域でも画素値が変化することとなる。その結果、画素値の平均値が最大(或いは、最低)のX線画像や、画素値のばらつきが最大のX線画像を選択したとしても、造影剤が最も充満したX線画像であるとは限らない。
そこで、第1の実施形態に係るX線診断装置100は、造影剤を用いて経時的に収集した複数のX線画像のうち、造影剤が最も充満したX線画像を的確に選択することで、手技の効率を向上させる。図2は、第1の実施形態に係るシステム制御部21の構成の一例を示す図である。図2に示すように、第1の実施形態に係るシステム制御部21は、算出部211と、選択部212と、表示制御部213を有する。
算出部211は、経時的に収集された複数のX線画像に含まれるX線画像ごとに、画素値の平均値、画素値の中央値及び画素値の最頻値のうち少なくとも一つを算出する。具体的には、算出部211は、造影剤を用いて経時的に収集された複数のX線画像から背景がそれぞれ差分された複数の差分画像に対して、平均値、中央値及び最頻値のうち少なくとも一つを算出する。図3は、第1の実施形態に係る算出部211の処理対象のX線画像の一例を示す図である。
例えば、算出部211は、図3に示すように、造影剤を用いた撮影開始時の造影剤が注入されていない画像である基準画像から、造影剤注入後に順次撮影された画像であるコントラスト画像(33フレーム)をそれぞれ差分したSUB(subtraction)画像を処理対象とする。すなわち、算出部211は、33フレームのSUB画像(1/33〜33/33)すべての画像について、画素値の平均値、画素値の中央値及び画素値の最頻値のうち少なくとも一つを算出する。ここで、画素値の平均値とは、対象となる画素の画素値の合計値を画素数で除した値を示す。また、画素値の中央値とは、対象となる画素の画素値の中で中央の値を示す。また、画素値の最頻値とは、対象となる画素の画素値の中で最多の値を示す。
なお、平均値、中央値及び最頻値のうちいずれを算出するかは、どの値に基づいてX線画像を選択するかによって任意に変更される。また、対象となる画素は、SUB画像に設定される関心領域(ROI)に含まれる画素である。ここで、ROIとしては、SUB画像の任意の領域に設定される場合であってもよく、画像全体をROIとして設定する場合であってもよい。以下、第1の実施形態では、画像全体をROIとして設定した場合を一例に挙げて説明する。なお、図3に示す例はあくまでも一例に過ぎず、実施形態はこれに限定されるものではない。例えば、コントラスト画像は33フレームに限られるものではなく、33フレーム未満、或いは、33フレームよりも多い場合であってもよい。また、SUB画像は、「基準画像−コントラスト画像」に限らず、「コントラスト画像−基準画像」の場合であってもよい。
図2に戻って、選択部212は、平均値と中央値又は最頻値との差、又は、平均値と央値又は最頻値との比、又は、平均値、中央値又は最頻値以上の値を示す画素の数に基づいて、複数のX線画像の中から所定のX線画像を選択する。具体的には、選択部212は、複数のX線画像において、平均値と中央値又は最頻値との差が相対的に大きいX線画像、又は、平均値と中央値又は最頻値との比が相対的に大きいX線画像、又は、平均値、中央値又は最頻値以上の値を示す画素の数が相対的に多いX線画像を選択する。より具体的には、選択部212は、平均値と中央値又は最頻値との差が最大となるX線画像、又は、平均値と中央値又は最頻値との比が最大となるX線画像、又は、平均値、中央値又は最頻値以上の値を示す画素の数が最多となるX線画像を、造影剤による造影が最大となる最大造影画像として選択する。以下、第1の実施形態では、平均値と中央値との差が最大となるX線画像を最大造影画像として選択する場合を一例に挙げて説明する。また、以下では、最大造影画像を最大造影フレームと記す場合がある。
例えば、選択部212は、算出部211によって算出された画素値の平均値と画素値の中央値との差分値をSUB画像ごとにそれぞれ算出し、算出した差分値の中で最大を示すSUB画像を最大造影画像として選択する。ここで、図4及び図5を用いてSUB画像における画素値の平均値と中央値について説明する。図4及び図5は、第1の実施形態に係るSUB画像の画素値について説明するための図である。図4においては、SUB画像における画素値のヒストグラムを示す。また、図5においては、造影剤を用いて経時的に収集した複数のX線画像のSUB画像における画素値の平均値と中央値との差分値の変化を示す。
上述したように、SUB画像は「基準画像−コントラスト画像」であることから、SUB画像における造影剤が流入した画素は、「明るい画素−暗い画素」となる。一方、造影剤が流入していない周囲(背景)の画素は、「明るい画素−明るい画素」となる。従って、SUB画像における造影剤が流入した画素は、背景の画素よりも高い画素値になる。すなわち、造影剤が流入するにつれて高い画素値の画素数が徐々に増加して、造影剤が流出するにつれて高い画素値の画素数が徐々に減少することとなる。
ここで、背景の画素は、基準画像とコントラスト画像とで変化がなければ差分値が「0」になると考えられる。しかしながら、実際には、上述したようにX線出力の安定性や、検出器の残像特性、被検体の体動などによって変化が生じるため、背景の画素すべての差分値が「0」になることは少ない。すなわち、図4の(A)に示すように、造影剤が無い場合のSUB画像における差分値のヒストグラムは正規分布を示し、画素値の平均値と中央値が同じになる。
そして、造影剤が流入すると、上述したように画素値が高くなることから、図4の(B)に示すように、画素値の平均値が高くなり正規分布を示さなくなる。ここで、設定されたROIが血管領域よりも十分に大きい範囲であれば、ROI内の大半の画素を占める背景の画素値が中央値に相当する。すなわち、造影剤が流入した領域が増えると、高い画素値の画素数が徐々に増加して平均値が上昇し、中央値との差が大きくなる。そこで、選択部212は、図5に示すように、SUB画像のフレームごとの差分値を算出して、差分値がピークになるフレームを最大造影フレームとして選択する。
以下、最大造影フレームの選択の一例を図6及び図7を用いて説明する。図6及び図7は、第1の実施形態に係る選択部212による最大造影フレームの選択の一例を示す図である。図6においては、33フレームのSUB画像における平均値、中央値及び差分値の例を示す。また、図7においては、選択されたSUB画像の例を示す。
例えば、図6に示すように、フレーム(Frame)「1〜33」のSUB画像について、ROIに含まれる画素数(Area)「440649」の画素値の平均値(Ave)と中央値(Median)とを算出部211が算出すると、選択部212は、平均値と中央値の差分値(Ave−Median)を算出して、算出した差分値の中で最大値を示すフレーム15を最大造影フレームとして選択する。かかる画像は、図7に示すように、経時的に収集されたX線画像のなかで、ROI内の血管内に造影剤が充満した画像である。すなわち、選択部212は、上述した処理により、造影剤が最も充満したX線画像を選択して抽出することができる。
なお、上述した例では、画素値の平均値と中央値との差を用いる場合について説明したが、実施形態はこれに限定されるものではなく、中央値の代わりに最頻値を用いる場合であってもよい。かかる場合には、最頻値が背景の画素値に相当することとなり、上記と同様に処理を行うことができる。
また、上述した例では、SUB画像の差分値をフレームごとにそれぞれ独立して算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数のフレームの差分値を平均する場合であってもよい。かかる場合には、例えば、選択部212は、各フレームの差分値として、時系列的に連続するフレームによる平均値を用いる。図8A及び図8Bは、第1の実施形態に係る選択部212による差分値の平均の一例を説明するための図である。図8Aにおいては、33フレームのSUB画像における差分値の平均の一例を示す。また、図8Bにおいては、横軸にフレーム番号をとり、縦軸に差分値をとったグラフを示し、平均による差分値の変化の一例を示す。
例えば、選択部212は、各フレームの差分値を算出する場合に、時系列的に1つ前のフレームの差分値と、1つ後のフレームの差分値とを用いて3フレームで平均した値を各フレームの差分値として算出する。一例を挙げると、選択部212は、図8Aに示すように、フレーム2の差分値として、フレーム1の差分値(Ave−Median)「0」と、フレーム2の差分値(Ave−Median)「−1.182」と、フレーム3の差分値(Ave−Median)「−0.691」とを平均した「3フレーム平均:−0.624333333」を算出する。同様に、選択部212は、各フレームの差分値を算出する場合に、時系列的に前後する2つフレームを加えた3フレームの差分値を平均した値を各フレームの差分値として算出する。
なお、フレーム1については、時系列的に前のフレームがないため、選択部212は、フレーム1とフレーム2の2フレームの差分値を平均した値をフレーム1の差分値として算出する。同様に、フレーム33については、時系列的に後のフレームがないため、選択部212は、フレーム32とフレーム33の2フレームの差分値を平均した値をフレーム33の差分値として算出する。なお、図8Aに示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、平均されるフレーム数は、3フレームに限られず、任意のフレーム数で平均する場合であってもよい。
上述したように、各フレームにおける差分値を時系列的に連続するフレームで平均することで、例えば、図8Bに示すように、各フレームのみの差分値の推移(図中の左側の図)と比較して、平均した差分値の推移(図中の右側の図)のほうが滑らかになる。一例を挙げると、各フレームのみの差分値の場合、ピークの位置で差分値が下がっているのに対して、平均した差分値の場合、そのような箇所は見られない。すなわち、各フレームの差分値を平均することで、ノイズの影響を低減して造影剤による陰影の変化を正確に反映した値を示すようになる。これにより、より正確な最大造影フレームを選択することが可能になる。
なお、上述した実施形態では、画像全体をROIとして設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、画像上に任意のROIを設定することが可能である。図9は、第1の実施形態に係るROIの一例を示す図である。例えば、図9に示すように、SUB画像にROI「R1」を設定して、設定したR1に含まれる画素の画素値の平均値、中央値、最頻値をフレームごとに算出して、差分値に基づいて最大造影フレームを選択する。なお、ROIの設定は、入力部22を介して操作者がSUB画像上に設定する場合であってもよく、或いは、SUB画像において画素値が大きく変化する画素を含むように自動で設定される場合であってもよい。また、ROIの設定は、任意の時期に受け付けて、ROIが設定されるごとに最大造影フレームを選択するように制御することも可能である。
図2に戻って、表示制御部213は、選択部によって選択された最大造影フレームを表示部23に表示させるように制御する。例えば、表示制御部213は、選択部212によって選択された最大造影フレームとして選択されたフレーム番号に対応するSUB画像を表示部23に表示させる。
次に、図10を用いて、第1の実施形態に係るX線診断装置100の処理について説明する。図10は、第1の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図10においては、造影剤が注入されて経時的にX線画像が撮影された後の処理について示す。また、図10においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図10においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
図10に示すように、第1の実施形態に係るX線診断装置100においては、最大造影フレーム自動表示モードであると(ステップS101肯定)、画像処理部26は、画像データ記憶部25から基準画像とコントラスト画像とを取得して(ステップS102)、差分画像を生成する(ステップS103)。そして、算出部211は、差分画像が生成されると、ROI内の画素の画素値の平均値を算出し(ステップS104)、また、ROI内の画素の画素値の中央値を算出する(ステップS105)。
その後、選択部212は、算出部211によって算出された平均値と中央値とを用いて、フレーム順に差分値(平均値−中央値)を算出して(ステップS106)、算出した差分値が現時点の最大差分値よりも大きいか否かを判定する(ステップS107)。ここで、算出した差分値が現時点の最大差分値よりも大きいと判定した場合には(ステップS107肯定)、選択部212は、最大造影フレームとして、差分値を算出したフレーム(SUB画像)のコントラスト画像のフレーム番号を記録する(ステップS108)。
一方、算出した差分値が現時点の最大差分値よりも大きくないと判定した場合には(ステップS107否定)、選択部212は、フレーム番号を記録せずに、ステップS109の判定に進む。算出した差分値が現時点の最大差分値よりも大きく(ステップS107肯定)、フレーム番号を記録した後、或いは、算出した差分値が現時点の最大差分値よりも大きくないと判定した後、選択部212は、フレーム番号を記録したか否かを判定する(ステップS109)。ここで、上述したように、フレーム順に差分値を見た場合には、ピークまで増加して、その後低下する(例えば、図5参照)。そこで、選択部212は、フレーム順に差分値を比較して最大差分値を探索し、最大差分値を示すフレーム番号を記録していく。フレーム番号を記録しなかった場合には、差分値が低下し始めたと判定して、現時点で記録されたフレーム番号のフレームを最大造影フレームとして選択する。
ここで、フレーム番号を記録しなかったか否かの判定では、例えば、1回でも記録しなかったことを条件に用いる場合でもよいが、ノイズによる増減を考慮して、複数回連続して記録しなかったことを条件として用いてもよい。例えば、選択部212は、2回連続でフレーム番号を記録しなかった場合に、フレーム番号を記録しなかったと判定する。ステップS109において、選択部212がフレーム番号を記録したと判定した場合には(ステップS109肯定)、ステップS102に戻って処理を継続する。
一方、選択部212がフレーム番号を記録していないと判定した場合には(ステップS109否定)、表示制御部213は、記録されたフレーム番号のコントラスト画像に対応する差分画像(SUB画像)を表示部23に表示させる(ステップS110)。なお、ステップS101において、最大造影フレーム自動表示モードではない場合には(ステップS101否定)、表示制御部213は、操作者によって選択されたフレームのSUB画像を表示部23に表示させる(ステップS111)。
なお、上述した処理の手順では、フレーム順に差分値を比較して最大造影フレームを選択する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、全てのフレームについて差分値を算出して、算出したすべての差分値のうち最大値を示すフレーム番号を記録する場合であってもよい。
上述したように、第1の実施形態によれば、算出部211は、経時的に収集された複数のX線画像に含まれるX線画像ごとに、画素値の平均値、画素値の中央値及び画素値の最頻値のうち少なくとも一つを算出する。選択部212は、平均値と前記中央値又は前記最頻値との差に基づいて、複数のX線画像の中から所定のX線画像を選択する。従って、第1の実施形態に係るX線診断装置100は、画素値の平均値と中央値、又は、画素値の平均値と最頻値とで差分があるX線画像を、複数のX線画像の中から的確に選択することができ、手技の効率を向上させることを可能にする。
また、第1の実施形態によれば、算出部211は、造影剤を用いて経時的に収集された複数のX線画像から背景がそれぞれ差分された複数の差分画像に対して、平均値、中央値及び前記最頻値のうち少なくとも一つを算出する。選択部212は、平均値と中央値又は最頻値との差が最大となるX線画像を、造影剤による造影が最大となる最大造影画像として選択する。従って、第1の実施形態に係るX線診断装置100は、造影剤が最も充満したX線画像を的確に選択することができ、手技の効率を向上させることを可能にする。
(第2の実施形態)
上述した実施形態では、撮影された複数のX線画像から最大造影フレームを選択する場合について説明した。第2の実施形態では、撮影中にリアルタイムで最大造影フレームを選択する場合について説明する。なお、第2の実施形態に係るX線診断装置100は、第1の実施形態に係るX線診断装置100と比較して、処理のタイミングのみ異なる。以下、図11を用いてこれについて説明する。
図11は、第2の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図11においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図11においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
図11に示すように、第2の実施形態に係るX線診断装置100においては、最大造影フレーム自動表示モードであると(ステップS201肯定)、画像処理部26は、リアルタイムで収集されたコントラスト画像と基準画像との差分画像を生成する(ステップS202)。そして、算出部211は、差分画像が生成されると、ROI内の画素の画素値の平均値を算出し(ステップS203)、また、ROI内の画素の画素値の中央値を算出する(ステップS204)。
その後、選択部212は、平均値と中央値とを用いて差分値(平均値−中央値)を算出して(ステップS205)、算出した差分値が現時点の最大差分値よりも大きいか否かを判定する(ステップS206)。ここで、算出した差分値が現時点の最大差分値よりも大きいと判定した場合には(ステップS206肯定)、選択部212は、最大造影フレームとして、差分値を算出したフレーム(SUB画像)のコントラスト画像のフレーム番号を記録する(ステップS207)。
一方、算出した差分値が現時点の最大差分値よりも大きくないと判定した場合には(ステップS206否定)、選択部212は、フレーム番号を記録せずに、ステップS208の判定に進む。ステップS208における判定は、上述した第1の実施形態と同様に実行される。ステップS208において、選択部212がフレーム番号を記録したと判定した場合には(ステップS208肯定)、ステップS202に戻ってリアルタイムに処理を継続する。
一方、選択部212がフレーム番号を記録していないと判定した場合には(ステップS208否定)、表示制御部213は、記録されたフレーム番号のコントラスト画像に対応する差分画像(SUB画像)を表示部23に表示させる(ステップS209)。なお、ステップS201において、最大造影フレーム自動表示モードではない場合には(ステップS201否定)、表示制御部213は、操作者によって選択されたフレームのSUB画像を表示部23に表示させる(ステップS210)。
上述したように、第2の実施形態に係るX線診断装置100は、造影剤を用いてX線画像を収集している段階で、リアルタイムに最大造影フレームを選択することができ、手技の効率を向上させることを可能にする。
(第3の実施形態)
上述した実施形態では、複数のX線画像から最大造影フレームを選択する場合について説明した。第3の実施形態では、最大造影フレームを透視ロードマップの血管像(以下、マスク像と記す)として選択する場合について説明する。なお、第3の実施形態に係るX線診断装置100は、第1の実施形態に係るX線診断装置100と比較して、選択部212の処理内容が異なる。以下、これを中心に説明する。
第3の実施形態に係る選択部212は、最大造影フレームを透視ロードマップのマスク像として選択する。そして、表示制御部213は、選択部212によって選択されたマスク像を用いて透視ロードマップを表示する。
図12は、第3の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図12においては、造影剤が注入されて経時的にX線画像が撮影された後の処理について示す。また、図12においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図12においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
図12に示すように、第3の実施形態に係るX線診断装置100においては、最大造影フレーム選択モードであると(ステップS301肯定)、画像処理部26は、画像データ記憶部25から基準画像とコントラスト画像とを取得して(ステップS302)、差分画像を生成する(ステップS303)。算出部211は、ROI内の画素の画素値の平均値を算出し(ステップS304)、また、ROI内の画素の画素値の中央値を算出する(ステップS305)。
その後、選択部212は、平均値と中央値とを用いて、フレーム順に差分値(平均値−中央値)を算出して(ステップS306)、算出した差分値が現時点の最大差分値よりも大きいか否かを判定する(ステップS307)。ここで、算出した差分値が現時点の最大差分値よりも大きいと判定した場合には(ステップS307肯定)、選択部212は、最大造影フレームとして、差分値を算出したフレーム(SUB画像)のコントラスト画像のフレーム番号を記録する(ステップS308)。
一方、算出した差分値が現時点の最大差分値よりも大きくないと判定した場合には(ステップS307否定)、選択部212は、フレーム番号を記録せずに、ステップS309の判定に進む。ステップS309における判定は、上述した第1の実施形態と同様に実行される。ステップS309において、選択部212がフレーム番号を記録したと判定した場合には(ステップS309肯定)、ステップS302に戻って処理を継続する。
一方、フレーム番号を記録していないと判定した場合には(ステップS309否定)、選択部212は、記録されたフレーム番号のコントラスト画像に対応する差分画像(SUB画像)をマスク像として選択する(ステップS310)。そして、表示制御部213は、選択されたマスク像を用いた透視ロードマップを表示部23に表示させる。なお、ステップS301において、最大造影フレーム選択モードではない場合には(ステップS301否定)、選択部212は、操作者によって撮影されたLIH画像をマスク画像として選択する(ステップS311)。
なお、上述した処理の手順では、フレーム順に差分値を比較して最大造影フレームを選択する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、全てのフレームについて差分値を算出して、算出したすべての差分値のうち最大値を示すフレーム番号を記録する場合であってもよい。
上述したように、第3の実施形態によれば、選択部212は、最大造影画像を透視ロードマップの血管像として選択する。従って、第3の実施形態に係るX線診断装置100は、透視ロードマップにおけるLIHモードに代わって、造影剤が最も充満した血管像を透視ロードマップに用いることができる。上述したように、透視ロードマップにLIH画像を利用する場合、モニタ上の透視画像を確認しながら造影剤が充満したと判断した時点でX線照射をOFFすることでLIH画像が撮影される。しかしながら、血流が速い部位などの場合、X線照射をOFFするタイミングを取ることが困難となる場合もある。このような場合であっても、第3の実施形態に係るX線診断装置100は、確実に造影剤が充満したマスク像を生成することができ、術者の負担を軽減して手技の効率を向上させることを可能にする。
(第4の実施形態)
上述した実施形態では、選択した最大造影フレームを表示する場合について説明した。第4の実施形態では、最大造影フレームを選択したことを他の処理のトリガーとして用いる場合について説明する。具体的には、第4の実施形態に係るX線診断装置100は、最大造影フレームを選択したことを、X線照射の制御及び透視ロードマップの表示処理の制御のトリガーとして用いる。なお、第4の実施形態に係るX線診断装置100は、第1の実施形態に係るX線診断装置100と比較して、システム制御部21の処理内容が異なる。以下、これを中心に説明する。
例えば、第4の実施形態に係るシステム制御部21は、選択部212によって最大造影フレームが選択されたことを条件に、X線の照射を停止するように制御する。一例を挙げると、システム制御部21は、透視ロードマップのマスク像を生成する場合に、順次収集される複数のフレームにおいて最大造影フレームを過ぎて造影剤が減ってきたことを検知してX線の照射を停止するように高電圧発生器11やX線管12などのX線発生部を制御する。
また、例えば、第4の実施形態に係るシステム制御部21は、選択部212によって最大造影フレームが選択されたことを条件に、透視ロードマップの表示処理を開始するように制御する。一例を挙げると、システム制御部21は、順次収集される複数のフレームにおいて最大造影フレームを過ぎて造影剤が減ってきたことを検知して透視ロードマップのシーケンスを開始するように制御する。
以下、図13及び図14を用いて第4の実施形態に係るX線診断装置100の処理について説明する。図13及び図14は、第4の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図13においては、X線照射を制御する場合のフローチャートを示す。また、図14においては、透視ロードマップの表示開始を制御する場合のフローチャートを示す。ここで、図13及び14においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図13及び14においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
まず、X線照射を制御する場合について説明する。かかる場合には、図13に示すように、第4の実施形態に係るX線診断装置100においては、X線照射自動制御モードであると(ステップS401肯定)、画像処理部26は、リアルタイムで収集されたコントラスト画像と基準画像との差分画像を生成する(ステップS402)。そして、算出部211は、差分画像が生成されると、ROI内の画素の画素値の平均値を算出し(ステップS403)、また、ROI内の画素の画素値の中央値を算出する(ステップS404)。
その後、選択部212は、平均値と中央値とを用いて差分値(平均値−中央値)を算出して(ステップS405)、算出した差分値が直前のフレームの差分値よりも小さいか否かを判定する(ステップS406)。ここで、算出した差分値が直前のフレームの差分値よりも大きいと判定した場合には(ステップS406否定)、システム制御部21は、X線照射を継続するように制御する(ステップS408)。
一方、算出した差分値が直前のフレームの差分値よりも小さいと判定した場合には(ステップS406肯定)、システム制御部21は、X線照射を終了する(ステップS407)。ここで、ステップS406における、算出した差分値が直前のフレームの差分値よりも小さいか否かの判定には、例えば、1回でも減少したことを条件に用いる場合でもよいが、ノイズによる増減を考慮して、複数回連続して減少したことを条件として用いてもよい。例えば、システム制御部21は、算出した差分値が直前のフレームの差分値よりも2回連続で小さかった場合に、算出した差分値が直前のフレームの差分値よりも小さいと判定する。なお、ステップ401において、X線照射自動制御モードではない場合には(ステップS401否定)、システム制御部21は、操作者による操作に基づいてX線照射を制御する(ステップS409)。
次に、透視ロードマップの表示開始を制御する場合について説明する。かかる場合には、図14に示すように、第4の実施形態に係るX線診断装置100においては、最大造影フレーム選択モードであると(ステップS501肯定)、画像処理部26は、リアルタイムで収集されたコントラスト画像と基準画像との差分画像を生成する(ステップS502)。そして、算出部211は、差分画像が生成されると、ROI内の画素の画素値の平均値を算出し(ステップS503)、また、ROI内の画素の画素値の中央値を算出する(ステップS504)。
その後、選択部212は、平均値と中央値とを用いて差分値(平均値−中央値)を算出して(ステップS505)、算出した差分値が直前のフレームの差分値よりも小さいか否かを判定する(ステップS506)。ここで、算出した差分値が直前のフレームの差分値よりも大きいと判定した場合には(ステップS506否定)、選択部212は、差分値を算出したフレームを最大造影フレームとして、対応するコントラスト画像のフレーム番号を記録する(ステップS508)。そして、システム制御部21は、X線照射を継続するように制御する(ステップS509)。
一方、算出した差分値が直前のフレームの差分値よりも小さいと判定した場合には(ステップS506肯定)、選択部212は、記録したフレーム番号のコントラスト画像に対応する差分画像をマスク画像として選択して(ステップS507)、システム制御部21は、透視ロードマップシーケンスに処理を移行する。ここで、ステップS506における判定は、図13のステップS406の判定と同様に行われる。
なお、ステップ501において、最大造影フレーム選択モードではない場合には(ステップS501否定)、システム制御部21は、ピークホールドモードであるか否かを判定する(ステップS510)。ここで、ピークホールドモードである場合には(ステップS510肯定)、システム制御部21は、コントラスト画像の全フレームを対象として、各画素におけるピークの画素値でマスク画像を生成するように制御する(ステップS511)。
一方、ピークホールドモードではない場合には(ステップS510否定)、システム制御部21は、LIH画像をマスク画像として選択するように制御する(ステップS512)。なお、図14においては、最大造影フレームを選択した際にX線照射を停止するように制御するステップが追加される場合であってもよい。例えば、ステップS506の判定において、算出した差分値が直前のフレームの差分値よりも小さいと判定した場合に、システム制御部21がX線照射を停止する。
上述したように、第4の実施形態によれば、システム制御部21は、選択部212によって最大造影フレームが選択されたことを条件に、X線の照射を停止するように制御する。従って、第4の実施形態に係るX線診断装置100は、造影剤を用いて経時的なX線画像を収集する際に、最大造影フレームを過ぎた後の不要なX線照射を抑制することができ、被曝量を低減することを可能にする。
また、第4の実施形態によれば、システム制御部21は、選択部212によって最大造影フレームが選択されたことを条件に、透視ロードマップの表示処理を開始するように制御する。従って、第4の実施形態に係るX線診断装置100は、LIH画像撮影に係る種々の操作を簡略化させて、手技の効率を向上させることを可能にする。例えば、従来、LIHモードでマスク画像を生成する場合には、X線照射を制御するフットスイッチ(Foot Switch)をOFFすることでマスク画像を生成させて透視ロードマップのシーケンスを開始させていた。しかしながら、第4の実施形態に係るX線診断装置100では、このような処理を行うことなく、透視ロードマップのシーケンスを開始させることができる。
(第5の実施形態)
上述した実施形態では、収集した複数のフレームのうち、造影剤が最も充満したフレームを最大造影フレームとする場合について説明した。第5の実施形態では、フレームを複数の領域に分割して、分割した領域ごとに最大造影フレームを選択する場合について説明する。なお、第5の実施形態に係るX線診断装置100は、第1の実施形態に係るX線診断装置100と比較して、算出部211、選択部212及び表示制御部213による処理内容が異なる。以下、これらを中心に説明する。
第5の実施形態に係る算出部211は、X線画像を複数の領域に分割し、分割した領域ごとに平均値、中央値及び最頻値のうち少なくとも一つを算出する。例えば、算出部211は、X線画像に含まれる血管の走行方向に略直交する方向で分割された領域ごとに平均値、中央値及び最頻値のうち少なくとも一つを算出する。ここで、上述した領域は、操作者によって設定される場合であってもよく、或いは、算出部211が、血管の走行方向を検出して、検出した血管の走行方向に対して略直交する方向で複数の領域に分割する場合であってもよい。
第5の実施形態に係る選択部212は、領域ごとに最大造影フレームを選択する。具体的には、選択部212は、各フレームの差分値を領域ごとに比較して、領域ごとに造影剤が最も充満した最大造影フレームを選択する。第5の実施形態に係る表示制御部213は、選択部212によって選択された領域ごとの最大造影フレームを合成した合成画像を表示部23に表示させるように制御する。
図15は、第5の実施形態に係るX線診断装置100による処理の一例を説明するための図である。図15においては、フレーム1〜フレーム5までのSUB画像から最大造影フレームを選択して、合成画像を合成する場合について示す。また、図15においては、画素値の平均値と中央値との差分値を用いて最大造影フレームを選択する場合について説明する。
例えば、算出部211は、図15の(A)に示すように、血管の走行方向に略直交する方向(或いは、血管の走行方向を横断する方向)で、各フレームを領域R11〜領域R14の4つの領域に分割して、フレームごとに各領域の画素値の平均値及び中央値を算出する。一例を挙げると、算出部211は、フレーム1の領域R1〜領域R14までの各領域の画素値の平均値及び中央値を算出する。同様に、算出部211は、フレーム2〜フレーム5までの各フレームについて、領域R11〜領域R14までの各領域の画素値の平均値及び中央値を算出する。
そして、選択部212は、各フレームの各領域について差分値をそれぞれ算出して、算出した差分値を各フレーム間の同一領域で比較して、差分値が最大となるフレームを比較した領域の最大造影フレームとして選択する。例えば、選択部212は、図15の(A)に示す領域R11の差分値をフレーム1〜フレーム5で比較して、差分値が最大となるフレーム3を領域R11における最大造影フレームとして選択する。同様に、選択部212は、領域R12〜14について差分値をフレーム間で比較して、各領域の最大造影フレームを選択する。例えば、図15の(B)に示すように、選択部212は、領域R12の最大造影フレームとしてフレーム3を選択し、領域R13の最大造影フレームとしてフレーム4を選択し、領域R14の最大造影フレームとしてフレーム5を選択する。
表示制御部213は、選択部212によって選択された各領域における最大造影フレームを合成した合成画像を生成して表示部23に表示するように制御する。例えば、表示制御部213は、図15の(B)に示すように、領域R11にフレーム3の領域R11を配置し、領域R12にフレーム3の領域R12を配置し、領域R13にフレーム4の領域R13を配置し、領域R14にフレーム5の領域R14を配置した合成画像を合成して表示部23に表示するように制御する。
次に、図16を用いて、第5の実施形態に係るX線診断装置100の処理について説明する。図16は、第5の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図16においては、造影剤が注入されて経時的にX線画像が撮影された後の処理について示す。また、図16においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図16においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
図16に示すように、第5の実施形態に係るX線診断装置100においては、最大造影フレーム合成モードであると(ステップS601肯定)、画像処理部26は、画像データ記憶部25から基準画像とコントラスト画像とを取得して(ステップS602)、差分画像を生成する(ステップS603)。算出部211は、差分画像を複数の領域に分割して(ステップS604)、分割した領域の画素の画素値の平均値を算出し(ステップS605)、また、分割した領域の画素の画素値の中央値を算出する(ステップS606)。
その後、選択部212は、算出部211によって算出された平均値と中央値とを用いて、領域の差分値(平均値−中央値)を算出して(ステップS607)、算出した差分値が対応する領域における現時点の最大差分値よりも大きいか否かを判定する(ステップS608)。ここで、算出した差分値が現時点の最大差分値よりも大きいと判定した場合には(ステップS608肯定)、選択部212は、差分値を算出した領域における最大造影フレームとして、差分値を算出したフレーム(SUB画像)のコントラスト画像のフレーム番号を領域に対応付けて記録する(ステップS609)。
一方、算出した差分値が現時点の最大差分値よりも大きくないと判定した場合には(ステップS608否定)、選択部212は、フレーム番号と領域との対応を記録せずに、ステップS610の判定に進む。算出した差分値が現時点の最大差分値よりも大きく(ステップS608肯定)、フレーム番号を領域に対応づけて記録した後、或いは、算出した差分値が現時点の最大差分値よりも大きくないと判定した後、選択部212は、フレームに含まれる全領域について処理したか否かを判定する(ステップS610)。
ここで、全領域について処理していないと判定された場合には(ステップS610否定)、算出部211がステップS605及びステップS605に戻って、未処理の領域について処理を継続する。一方、全領域について処理したと判定した場合には(ステップS610肯定)、選択部212は、フレーム番号を記録したか否かを判定する(ステップS611)。ここで、ステップS611における判定は、図10のステップS109と同様に実行される。ステップS611において、選択部212がフレーム番号を記録したと判定した場合には(ステップS611肯定)、ステップS602に戻って処理を継続する。
一方、選択部212がフレーム番号を記録していないと判定した場合には(ステップS611否定)、表示制御部213は、領域ごとに記録されたフレーム番号のコントラスト画像に対応する差分画像(SUB画像)を抽出して、各領域の差分画像を合成した合成画像を表示部23に表示させる(ステップS612)。なお、ステップS601において、最大造影フレーム合成モードではない場合には(ステップS601否定)、表示制御部213は、操作者によって選択されたフレームのSUB画像を表示部23に表示させる(ステップS613)。
なお、上述した処理の手順では、フレーム順に差分値を比較して最大造影フレームを選択する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、全てのフレームについて差分値を算出して、算出したすべての差分値のうち最大値を示すフレーム番号を領域に対応付けて記録する場合であってもよい。
上述したように、第5の実施形態によれば、算出部211は、X線画像を複数の領域に分割し、分割した領域ごとに平均値、中央値及び最頻値のうち少なくとも一つを算出する。選択部212は、領域ごとに最大造影画像を選択する。表示制御部213は、選択部212によって選択された領域ごとの最大造影画像を合成した合成画像を表示部23に表示させるように制御する。従って、第5の実施形態に係るX線診断装置100は、造影剤を用いて経時的に収集された複数のX線画像を用いて血管が最も描写された合成画像を生成することを可能にする。
また、第5の実施形態によれば、算出部211は、X線画像に含まれる血管の走行方向に略直交する方向で分割された領域ごとに平均値、中央値及び最頻値のうち少なくとも一つを算出する。従って、第5の実施形態に係るX線診断装置100は、血管の各領域で最も造影剤が充満した画像を選択することを可能にする。
(第6の実施形態)
上述した実施形態では、造影剤を用いた経時的に収集された複数のX線画像から最大造影フレームを選択する場合について説明した。第6の実施形態では、医用デバイスを検知する場合について説明する。なお、第6の実施形態に係るX線診断装置100は、第1の実施形態に係るX線診断装置100と比較して、選択部212の処理内容が異なる。以下、これを中心に説明する。
第6の実施形態に係る選択部212は、平均値と中央値又は最頻値との差、又は、均値と中央値又は最頻値との比、又は、平均値、中央値又は最頻値以上の値を示す画素の数が所定の閾値を超えたX線画像を、医用デバイスが描出された画像として選択する。図17は、第6の実施形態に係るX線診断装置100による処理の一例を説明するための図である。図17においては、被検体の頭部に対して医用デバイスを挿入する場合の例を示す。また、図17においては、画素値の平均値と中央値との差分値を用いて医用デバイスを検出する場合について説明する。
医用デバイスを検知する場合には、まず、医用デバイスが挿入される位置にROIが設定される。例えば、頭部に医用デバイスを挿入する場合には、図17に示すように、被検体の首の下周辺にROI「R2」が設定される。ここで、ROI「R2」は、操作者によって設定される場合であってもよく、或いは、撮影される際の被検体の位置に基づいて設定する場合であってもよい。なお、図17においては、説明上、被検体の輪郭を示しているが、実際には、差分画像であるため画像上に描出されない。
上述したようにROI「R2」が設定されると、算出部211は、ROI「R2」に含まれる画素の画素値の平均値及び中央値を算出する。選択部212は、ROI「R2」における差分値を算出して、算出した差分値が所定の閾値を超えた場合に、ROI「R2」に医用デバイスが挿入された画像であると判定する。すなわち、選択部212は、医用デバイスが徐々にROI「R2」に挿入され、ROI「R2」における画素値の平均値が徐々に増加して、医用デバイスがある程度挿入された時点のフレームを抽出することで、医用デバイスを検出する。
次に、図18を用いて、第6の実施形態に係るX線診断装置100の処理について説明する。図18は、第6の実施形態に係るX線診断装置100による処理の手順を示すフローチャートである。ここで、図18においては、ROI内の画素の画素値の平均値と中央値を算出する場合について示す。また、図18においては、各フレームの差分値について、平均せずにそれぞれ独立して算出する場合について示す。
図18に示すように、第6の実施形態に係るX線診断装置100においては、デバイス検出モードであると(ステップS701肯定)、画像処理部26は、リアルタイムで収集されたコントラスト画像と基準画像との差分画像を生成する(ステップS702)。そして、算出部211は、差分画像が生成されると、デバイス検出ROIを設定して(ステップS703)、ROI内の画素の画素値の平均値を算出し(ステップS704)、また、ROI内の画素の画素値の中央値を算出する(ステップS705)。
その後、選択部212は、平均値と中央値とを用いて差分値(平均値−中央値)を算出して(ステップS706)、算出した差分値が閾値を超えたか否かを判定する(ステップS707)。ここで、算出した差分値が閾値を超えたと判定した場合には(ステップS707肯定)、選択部212は、デバイス検出信号をシステム制御部21に送出する(ステップS708)。一方、算出した差分値が閾値を超えていないと判定した場合には(ステップS707否定)、ステップS702に戻ってリアルタイムに処理を継続する。なお、ステップS701において、デバイス検出モードではない場合には(ステップS701否定)、X線診断装置100は待機状態となる。
上述した医用デバイスの検出は、種々に利用することが可能である。例えば、デバイス検知前は低線量で設定され、デバイス検知後に適正な線量に切り替えるように設定することができる。すなわち、システム制御部21は、選択部212によって医用デバイスが描出された画像が選択される場合に、画像の選択後の線量と比較して、画像の選択前の線量が低くなるようにX線の照射を制御する。例えば、システム制御部21は、まず、低線量でX線を照射するように高電圧発生器11及びX線管12を含むX線発生部を制御し、選択部212からデバイス検出信号を受け付けると、適正な線量でX線が照射されるようにX線発生部を制御する。
また、例えば、医用デバイス検知前後でフレームレートを制御することもできる。一例を挙げると、システム制御部21は、選択部212によって医用デバイスが描出された画像が選択される場合に、画像の選択後のフレームレートと比較して、画像の選択前のフレームレートが低くなるように画像の生成を制御する。例えば、システム制御部21は、まず、低フレームレートで画像を収集するように制御し、選択部212からデバイス検出信号を受け付けると、高フレームレートで画像を収集するように制御する。上述した線量の制御及びフレームレートの制御は、操作者によって任意に設定することができる。
上述したように、第6の実施形態によれば、選択部212は、平均値と中央値又は最頻値との差が所定の閾値を超えたX線画像を、医用デバイスが描出された画像として選択する。従って、第6の実施形態に係るX線診断装置100は、医用デバイスを的確に検出することができ、手技の効率を向上させることを可能にする。
(第7の実施形態)
さて、これまで第1〜第6の実施形態について説明したが、上述した第1〜第6の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第1〜第5の実施形態では、造影剤が血管に注入された場合の最大造影フレームを選択する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、造影剤(バリウム)が食道を通過する際の最大造影フレームを選択する場合であってもよい。
また、上述した第1〜第6の実施形態では、画素値の平均値と中央値との差分値に基づいて、最大造影フレームの選択、或いは、医用デバイスの検知を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画素値の平均値と最頻値との差分値に基づいて、最大造影フレームの選択、或いは、医用デバイスの検知を行う場合であってもよい。
また、画素値の平均値と中央値との差分値だけではなく、平均値と中央値との比率に基づいて、最大造影フレームの選択、或いは、医用デバイスの検知を行う場合であってもよい。かかる場合には、例えば、選択部212は、ROIにおける「割合」=「平均値/中央値」が最大となるフレームを最大造影フレームとして選択したり、医用デバイスが描出されたフレームとして選択したりする。
また、平均値、中央値又は最頻値以上の値を示す画素の数に基づいて、最大造影フレームの選択、或いは、医用デバイスの検知を行う場合であってもよい。かかる場合には、例えば、選択部212は、平均値、中央値又は最頻値以上の値を示す画素の数が最多となるフレームを最大造影フレームとして選択したり、医用デバイスが描出されたフレームとして選択したりする。上記について中央値を例に挙げて説明する。造影剤が注入されると中央値以上の画素が増えるため、中央値以上の画素が最大になるフレームが最大造影フレームとなる。そこで、選択部212は、例えば、ROI内の全画素数に対するROI内の中央値以上の画素数の割合が最大となるフレームを最大造影フレームとして選択する。
なお、上述した例では、中央値以上の個数を計測する場合について説明したが、中央値以下の個数を用いることも可能である。かかる場合には、選択部212は、割合が最小となるフレーム最大造影フレームとして選択する。また、中央値だけでなく、画素値が平均値や最頻値を以上又は以下となる個数を計測する場合であってもよい。
また、上述した第1〜第6の実施形態では、各フレームの差分値について、それぞれのフレームから算出した値をそのまま用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数のフレームの差分値を平均する場合であってもよい。
以上説明したとおり、少なくとも一つの実施形態のX線診断装置によれば、手技の効率を向上させることを可能にする。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
21 システム制御部
22 入力部
23 表示部
100 X線診断装置
211 算出部
212 選択部
213 表示制御部

Claims (12)

  1. X線を発生するX線管と、
    被検体を透過した前記X線を検出するX線検出器と、
    造影剤を用いて経時的に収集された複数のX線画像、前記造影剤を用いて経時的に収集された複数のX線画像から背景がそれぞれ差分された複数の差分画像、又は、医用デバイスが用いられて経時的に収集された複数のX線画像に含まれる画像ごとに、血管領域よりも前記血管領域以外の領域が占める割合が高い関心領域に含まれる画素値の平均値、前記画素値の中央値及び前記画素値の最頻値のうち少なくとも1つを算出する算出部と、
    前記造影剤を用いて経時的に収集された複数のX線画像については、当該複数のX線画像を対象として算出された前記平均値と、前記中央値又は前記最頻値である基準値とに基づいて、前記平均値と、前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画を選択し、
    前記医用デバイスが用いられて経時的に収集された複数のX線画像については、当該複数のX線画像を対象として算出された前記平均値及び前記基準値とに基づいて、前記平均値と前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画像を選択し、
    前記複数の差分画像については、当該複数の差分画像を対象として算出された前記平均値及び前記基準値に基づいて、前記平均値と前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画像を選択する、又は、
    前記複数の差分画像を対象として算出された前記平均値又は前記基準値に基づいて、前記平均値又は前記基準値以上の値を示す画素の数が相対的に多い画像を選択する選択部と、
    を備えたことを特徴とするX線診断装置。
  2. 記選択部は、前記造影剤を用いて経時的に収集された複数のX線画像については、前記平均値と前記基準値との差が相対的に大きい画像、又は、前記平均値と前記基準値との比が相対的に大きい画前記造影剤による造影の程度が相対的に大きい造影画像として選択し、
    前記差分画像については、前記平均値と前記基準値との差が相対的に大きい画像、前記平均値と前記基準値との比が相対的に大きい画像、又は、前記平均値又は前記基準値以上の値を示す画素の数が相対的に多い画像を、前記造影剤による造影の程度が相対的に大きい造影画像として選択することを特徴とする請求項1記載のX線診断装置。
  3. 前記選択部は、前記造影画像を透視ロードマップの血管像として選択することを特徴とする請求項2記載のX線診断装置。
  4. 前記選択部によって前記造影画像が選択されたことを条件に、前記透視ロードマップの表示処理を開始するように制御する制御部をさらに備えたことを特徴とする請求項3記載のX線診断装置。
  5. 前記選択部によって前記造影画像が選択されたことを条件に、X線の照射を停止するように制御するX線制御部をさらに備えたことを特徴とする請求項2乃至4のいずれか一項に記載のX線診断装置。
  6. 前記選択部によって選択された造影画像を表示部に表示させるように制御する表示制御部をさらに備えたことを特徴とする請求項2乃至5のいずれか一項に記載のX線診断装置。
  7. 前記算出部は、前記X線画像又は前記差分画像を複数の領域に分割し、分割した領域ごとに前記平均値と前記基準値とを算出し、
    前記選択部は、前記領域ごとに前記造影画像を選択し、
    前記表示制御部は、前記選択部によって選択された領域ごとの造影画像を合成した合成画像を前記表示部に表示させるように制御することを特徴とする請求項6記載のX線診断装置。
  8. 前記算出部は、前記X線画像又は前記差分画像に含まれる血管の走行方向に略直交する方向で分割された領域ごとに前記平均値と前記基準値とを算出することを特徴とする請求項7記載のX線診断装置。
  9. 前記選択部は、前記平均値と前記基準値との差、前記平均値と前記基準値との比、又は、前記平均値又は前記基準値以上の値を示す画素の数として、前記複数のX線画像に含まれるX線画像それぞれについて時系列的に連続するX線画像との平均値、又は前記複数の差分画像に含まれる差分画像それぞれについて時系列的に連続する差分画像との平均値を用いることを特徴とする請求項1乃至8のいずれか一項に記載のX線診断装置。
  10. 前記選択部は、前記医用デバイスを用いて複数のX線画像を順次収集中に、新たに収集されたX線画像において、前記平均値と前記基準値との差、又は、前記平均値と前記基準値との比が所定の閾値を超えたX線画像を、医用デバイスが描出された画像として選択することを特徴とする請求項1記載のX線診断装置。
  11. 前記選択部によって前記医用デバイスが描出された画像が選択される場合に、前記画像の選択後の線量と比較して、前記画像の選択前の線量が低くなるようにX線の照射を制御するX線制御部をさらに備えたことを特徴とする請求項10記載のX線診断装置。
  12. 前記選択部によって前記医用デバイスが描出された画像が選択される場合に、前記画像の選択後のフレームレートと比較して、前記画像の選択前のフレームレートが低くなるように画像の生成を制御する制御部をさらに備えたことを特徴とする請求項10記載のX線診断装置。
JP2014131783A 2014-06-26 2014-06-26 X線診断装置 Active JP6598433B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014131783A JP6598433B2 (ja) 2014-06-26 2014-06-26 X線診断装置
US14/751,549 US9974507B2 (en) 2014-06-26 2015-06-26 X-ray diagnosis apparatus including processing circuitry to select a roadmap image based on pixel values

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014131783A JP6598433B2 (ja) 2014-06-26 2014-06-26 X線診断装置

Publications (3)

Publication Number Publication Date
JP2016007508A JP2016007508A (ja) 2016-01-18
JP2016007508A5 JP2016007508A5 (ja) 2017-08-03
JP6598433B2 true JP6598433B2 (ja) 2019-10-30

Family

ID=54929259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014131783A Active JP6598433B2 (ja) 2014-06-26 2014-06-26 X線診断装置

Country Status (2)

Country Link
US (1) US9974507B2 (ja)
JP (1) JP6598433B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6598433B2 (ja) * 2014-06-26 2019-10-30 キヤノンメディカルシステムズ株式会社 X線診断装置
JP2018011807A (ja) * 2016-07-22 2018-01-25 株式会社日立製作所 画像表示装置、x線画像診断装置、及び画像表示方法
JP6863728B2 (ja) * 2016-12-14 2021-04-21 株式会社デンソーテン 運転支援装置および運転支援方法
US10863961B2 (en) * 2018-03-07 2020-12-15 Canon Medical Systems Corporation Medical image processing apparatus and X-ray diagnosis apparatus
EP3616624B1 (de) * 2018-08-28 2021-04-28 Siemens Healthcare GmbH Verfahren zum betrieb einer röntgeneinrichtung, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6458243A (en) * 1987-08-28 1989-03-06 Toshiba Corp X-ray image processing apparatus
JPH01311596A (ja) * 1988-06-08 1989-12-15 Hitachi Medical Corp X線撮影診断装置
FR2854974B1 (fr) 2003-05-14 2005-07-08 Ge Med Sys Global Tech Co Llc Procede d'amelioration de contraste/luminosite d'images radiographiques
EP4197447A1 (en) * 2004-08-16 2023-06-21 Corindus, Inc. Image-guided navigation for catheter-based interventions
JP2010131048A (ja) * 2008-12-02 2010-06-17 Toshiba Corp X線画像診断装置
DE102009031162B3 (de) * 2009-06-30 2010-08-05 Siemens Aktiengesellschaft Interventionelles Roadmap-Verfahren mit Optimierung der Maskenphase
JP5595745B2 (ja) 2010-01-06 2014-09-24 株式会社東芝 X線透視装置
DE102010013221B4 (de) * 2010-03-29 2012-06-28 Siemens Aktiengesellschaft Verfahren zur hervorgehobenen Darstellung von Objekten bei interventionellen angiographischen Untersuchungen sowie Vorrichtung zur Durchführung des Verfahrens
US8655041B2 (en) * 2010-09-23 2014-02-18 Siemens Aktiengesellschaft Automatic detection of contrast injection
US8594403B2 (en) * 2010-11-08 2013-11-26 Siemens Medical Solutions Usa, Inc. Data management system for use in angiographic X-ray imaging
JP6122864B2 (ja) * 2011-11-18 2017-04-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ライブ画像と解剖学的構造表示とのペアリング
JP6598433B2 (ja) * 2014-06-26 2019-10-30 キヤノンメディカルシステムズ株式会社 X線診断装置

Also Published As

Publication number Publication date
US20150374323A1 (en) 2015-12-31
US9974507B2 (en) 2018-05-22
JP2016007508A (ja) 2016-01-18

Similar Documents

Publication Publication Date Title
JP6598433B2 (ja) X線診断装置
US9700209B2 (en) Medical imaging device for providing an image representation supporting in positioning an intervention device
JP5818491B2 (ja) 画像処理装置および画像処理方法
JP6013012B2 (ja) 画像処理装置及びx線診断装置
JP6392040B2 (ja) 画像処理装置、及び、x線診断装置
JP5491914B2 (ja) 画像表示装置およびx線診断装置
EP2364642B1 (en) X-ray image diagnosis apparatus
WO2014034940A1 (ja) 医用診断画像処理装置
JP6632847B2 (ja) X線診断装置
WO2012099222A1 (ja) X線診断装置、画像処理装置及び画像処理プログラム
JP2008073301A (ja) 医用画像診断装置及び医用画像処理装置
US10204410B2 (en) Medical image processing apparatus and medical image processing method
JPWO2015108097A1 (ja) X線ct装置、画像処理装置、及び画像再構成方法
JP6556541B2 (ja) 放射線断層撮影装置およびプログラム
JP5053894B2 (ja) X線診断装置および絞り移動制御プログラム
JP2017196301A (ja) X線診断装置
JP2012115651A (ja) 画像処理装置及びx線診断装置
JP6381897B2 (ja) X線診断装置及びインジェクター
JP2018057835A (ja) 医用情報処理装置、x線ct装置及び医用情報処理プログラム
CN102793547B (zh) 图像处理装置以及x射线诊断装置
WO2014133108A1 (ja) X線診断装置及び画像処理装置
JP6605220B2 (ja) X線画像撮影装置
JP7187217B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP7118812B2 (ja) X線診断装置
JP6987550B2 (ja) 医用画像処理装置及びx線診断装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150610

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6598433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150