JP6013012B2 - 画像処理装置及びｘ線診断装置 - Google Patents
画像処理装置及びｘ線診断装置 Download PDFInfo
- Publication number
- JP6013012B2 JP6013012B2 JP2012096445A JP2012096445A JP6013012B2 JP 6013012 B2 JP6013012 B2 JP 6013012B2 JP 2012096445 A JP2012096445 A JP 2012096445A JP 2012096445 A JP2012096445 A JP 2012096445A JP 6013012 B2 JP6013012 B2 JP 6013012B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- blood vessel
- image
- interest
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 210000004204 blood vessel Anatomy 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 54
- 239000002872 contrast media Substances 0.000 claims description 27
- 210000004351 coronary vessel Anatomy 0.000 claims description 20
- 230000017531 blood circulation Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims 2
- 230000002107 myocardial effect Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000002347 injection Methods 0.000 description 10
- 239000007924 injection Substances 0.000 description 10
- 238000002583 angiography Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000036770 blood supply Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 5
- 208000031481 Pathologic Constriction Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 241000239290 Araneae Species 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 238000012276 Endovascular treatment Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 231100000987 absorbed dose Toxicity 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000002585 cerebral angiography Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、画像処理装置及びＸ線診断装置に関する。
循環器用Ｘ線画像処理装置は、全身の動静脈を対象とした血管造影検査(angiography)や血管内治療(interventional treatment)におけるイメージガイド用装置として発展してきている。ここでＸ線画像処理装置は、血管内に造影剤を注入した状態でＸ線撮像された画像を処理し、画像表示部や画像表示装置に画像データを表示する。
例えば心臓冠状動脈造影(coronary angiogram)では、造影剤は冠状動脈の入り口に挿入されたカテーテルによって注入される。そして動脈検査としては染まった血管の状態を、組織検査としては染まった心筋組織の状態を計測する。後者では、染まり度合いから心筋組織の血流、すなわち灌流(perfusion)を測定する方法が知られている。
これらの計測においては、画像上に関心領域（Region of Interest；ＲＯＩ）を設定し、その領域における時間濃度曲線を取得する必要がある。ＲＯＩを設定するために、既知の方法としては、オペレーターがＸ線画像を見ながらＧＵＩ等を介してコンピューターのマウスやボタンなどを操作し、設定する必要があった。しかしながら、操作が煩雑であったり、オペレーターによる差異が発生したり、血管内治療中の清潔区域で操作することは好まれない、という問題があった。そこでＲＯＩの設定を自動化したいというニーズがあり、何らかの技術開発が要望されている。
実施形態の目的は、カテーテル手技時における関心領域の設定の自動化を実現する画像処理装置及びＸ線診断装置を提供することにある。
本実施形態に係る画像処理装置は、被検体の血管が造影されていない第１透視画像データと、前記被検体に投与された造影剤により前記血管が造影された第２透視画像データとを記憶する記憶部と、前記第１透視画像データを画像処理して前記第１透視画像に含まれるカテーテル領域を特定する特定部と、前記第２透視画像データを画像処理して前記第２透視画像に含まれる血管領域を抽出する抽出部と、前記カテーテル領域の端点の位置に基づいて前記血管領域に関心領域を設定する設定部と、を具備する画像処理装置であって、前記設定部は、前記血管領域の２値画像に基づく前記血管領域の中心線に沿って前記カテーテル領域の端点から一定距離だけ離間する前記血管領域上の位置に前記関心領域を設定する、画像処理装置。
以下、図面を参照しながら本実施形態に係わる画像処理装置及びＸ線診断装置を説明する。
図１は、本実施形態に係るＸ線診断装置を示している。Ｘ線診断装置は、ガントリ１００を有する。ガントリ１００は、Ｃアーム７を有する。Ｃアーム７は、支持機構６に回転自在に支持される。Ｃアーム７の一端にはＸ線発生部２が取り付けられる。Ｘ線発生部２は、Ｘ線管球２１とＸ線コリメータ２２を有する。高電圧発生部１は、Ｘ線管球２１の電極間に印加する高電圧（管電圧）を発生し、またＸ線管球２１のフィラメントに供給するフィラメント電流を発生する。Ｘ線制御部２０は、システム制御部８の制御に従って、高電圧発生部１で発生する管電圧とフィラメント電流とを制御する。
Ｃアーム７の他端にはＸ線検出部５が取り付けられる。Ｘ線検出部５は、寝台４に載置される被検体３を挟んで、Ｘ線発生部２のＸ線管球２１に対峙する。Ｘ線検出部５は、典型的には、入射Ｘ線を直接的又は間接的に電荷に変換する複数の検出素子（画素）が２次元状に配列されてなる固体平面検出器である。Ｘ線検出部５は、システム制御部８の制御により典型的には電荷蓄積、電荷読出、及びリセットからなる１サイクルの検出動作を一定周期で繰り返す。
システム制御部８は、例えば、インジェクタ１５から被検体３へ造影剤を注入を開始する時点でインジェクタ１５から出力される注入開始信号、被検体への造影剤注入を終了する時点でインジェクタ１５から出力される注入終了信号と、心電計１６で測定された被検体３の心電図（ＥＣＧ）とに基づいて、撮像動作を制御することを主な機能として有している。
画像演算・記憶部１０は、Ｘ線検出部５からの出力に基づいて画像のデータを発生する機能、画像のデータを記憶する機能、及び画像のデータを処理する機能を有している。例えば、画像演算・記憶部１０は、被検体の血管が造影されていない第１透視画像データと、被検体に投与された造影剤により血管が造影された第２透視画像データとを発生し、記憶する機能を有する。また、画像演算・記憶部１０は、第１透視画像データを画像処理して第１透視画像に含まれるカテーテル領域を特定する機能を有する。また、画像演算・記憶部１０は、第２透視画像データを画像処理して第２透視画像に含まれる血管領域を抽出する機能を有する。また、画像演算・記憶部１０は、カテーテル領域の端点の位置に基づいて血管領域に関心領域を設定する機能を有する。また、画像演算・記憶部１０は、細線化を実行する機能、端点検出する機能、ライントレーシングを実行する機能等の種々の画像処理機能を有している。
システム制御部８には操作部９が接続される。操作部９には、ハンドスイッチ１２、ディスプレイ、及びタッチパネル等を有するユーザインタフェース１４が設けられる。
図２は、この実施形態に係わる基本的な処理手順を示すフローチャートである。このフローチャートに示されるように、画像演算・記憶部１０は、Ｘ線画像に画像処理を施し、Ｘ線画像から血管領域の端点とカテーテル領域の端点とを抽出する（ステップＳ６１，Ｓ６２）。すなわち血管領域の端点の位置座標と、カテーテル領域の端点の位置座標とが抽出される。
次に画像演算・記憶部１０は血管領域の端点の位置座標とカテーテル領域の端点の位置座標とを比較し、血管領域とカテーテル領域との位置関係を解析する（ステップＳ６３）。具体的には、画像演算・記憶部１０は、血管領域の中心線を利用して、カテーテル領域の端点に最も近い血管領域上の点を特定する。すなわち、血管領域上においてカテーテル領域の端点（以下、カテーテル端点）が特定される。そして画像演算・記憶部１０は、血管領域上のカテーテル端点から一定の距離だけ離れた血管領域上の位置にＲＯＩを設定する（ステップＳ６４）。
図３は、実施形態に係わる詳細な処理手順を示すフローチャートである。図３のステップＳＴ１において、画像演算・記憶部１０は予め記憶した造影前フレーム２ａと造影中フレーム２ｂとを読み出す。造影前フレーム２ａは、カテーテル手技時において、被検体の血管が造影剤により注入される前に撮像されたＸ線画像である。造影前フレーム２ａは、カテーテル領域を含み、血管領域を含んでいない。なお、造影前フレーム２ａは、カテーテル領域の他に、骨領域等の背景を含んでいる。造影中フレーム２ｂは、カテーテル手技時において、被検体に投与された造影剤により血管が造影されている時点に撮像されたＸ線画像である。造影中フレーム２ｂは、カテーテル領域と血管領域とを含んでいる。なお、造影前フレーム２ｂにも、カテーテル領域と血管領域との他に、骨領域等の背景を含んでいる。ステップＳＴ２において、画像演算・記憶部１０は、造影前フレーム２ａからカテーテル領域を抽出する。これにより、例えば、前景領域としてカテーテル領域を有する２値画像データ２ｃが抽出される。画像演算・記憶部１０は、造影中フレーム２ｂからカテーテル領域と血管領域とを抽出する。これにより、例えば、前景領域としてカテーテル領域と血管領域とを有する２値画像２ｄが抽出される。
すなわち実施形態では、被検体の血管が造影されていないフレーム２ａと、造影剤により血管が造影されたフレーム２ｂとも用いて画像処理を行う。フレーム２ａ、２ｂのいずれにも、カテーテル領域を含んでいる。
ステップＳＴ３において、画像演算・記憶部１０は、２値画像２ｃをテンプレートとして２値画像２ｄにテンプレートマッチングを施し、２値画像２ｄからカテーテル領域を特定し、特定されたカテーテル領域を２値画像２ｄから除去する。具体的には、画像演算・記憶部１０は、２値画像２ｃをテンプレートとし、この２値画像２ｃと２値画像２ｄとを比較する。画像演算・記憶部１０は、両２値画像の各ピクセル間での２値比較の結果に基づいて２値画像２ｃとの相互相関の度合いを評価する。画像演算・記憶部１０は、相互相関の度合いに基づいて、２値画像２ｄに含まれるカテーテル領域を特定する。以上の処理をカテーテルマッチングと称する。この処理により、２値画像２ｄに含まれるカテーテル領域と血管部分とを切り分けて特定することができる。そして、画像演算・記憶部１０は、特定されたカテーテル領域を２値画像２ｄから除去し、カテーテル領域が除去された２値画像２ｅを生成する。２値画像２ｅは、造影中フレーム２ｂに由来する血管領域を含んでいる。
ステップＳＴ４において、画像演算・記憶部１０は、血管領域の２値画像２ｃと、カテーテル領域の２値画像２ｅとの各々について、細線化処理を施す。細線化処理により、２値画像２ｃから血管領域の中心線を示す細線化画像２ｆが生成され、２値画像２ｅからカテーテル領域の中心線を示す細線化画像２ｇが生成される。
ステップＳＴ５において、画像演算・記憶部１０は、細線化画像２ｆと細線化画像２ｇとに端点検知を実行し、細線化画像２ｇにおけるカテーテル端点の位置座標を検出する。具体的には、まず、画像演算・記憶部１０は、細線化画像２ｆ内のカテーテル領域の端点を画像処理等により特定する。通常、カテーテルの端点は２箇所検出されるが、実施形態では画像中央に近い端点を処理対象として選択する。また、画像演算・記憶部１０は、細線化画像２ｇ内の血管領域の端点を画像処理等により特定する。血管領域は、通常、複数の枝に分岐するので、３以上の複数の端点が特定されるのが通常である。画像演算・記憶部１０は、細線化画像２ｇ内において特定された複数の端点の中から、細線化画像２ｆ内において処理対象として選択された端点に最も接近している端点Ｐｅを特定する。特定された端点Ｐｅは、血管領域上におけるカテーテル領域の端点（カテーテル端点）を意味する。
ステップＳＴ６において、画像演算・記憶部１０は、細線化画像２ｇにライントレーシング処理を実施し、カテーテル端点Ｐｅから一定の距離（例えば１０ｍｍ〜５０ｍｍ程度）だけ離れた血管領域の中心線上にＲＯＩを設定する。このようにして、ＲＯＩの位置座標が自動的に設定される。そして画像演算・記憶部１０は、設定された位置座標に対応する造影中フレーム２ｂの位置座標にＲＯＩを設定する。システム制御部８は、造影中フレーム２ｂにＲＯＩに対応するシンボルＳｉが重ねて表示された画像２ｈを表示部１１に表示する。シンボルＳｉが重ねて表示される画像は、造影中フレーム２ｂのみに限定されず、造影前フレーム２ａであっても良い。シンボルＳｉが重ねて表示される画像は、操作部９を介して任意に選択可能である。
なおライントレーシング処理とは、画像に含まれる線分、線分の分岐点を検出する処理である。この処理は、例えば３×３のピクセルで囲まれた領域（小領域）がとり得るビットパターンの組み合わせと、２値画像を構成する全てのピクセルの画素値（０または１）とを比較し、画像上の各小領域に一致するビットパターンを検出する。そうして、隣接する小領域ごとのビットパターンの分布から、画像中の線分の形状を認識する処理である。画像演算・記憶部１０は、細線化された血管領域の中心線に対してこの処理を施す。
次に、関心領域の種々の設定パターンについて説明する。
関心領域の形状は、種々の形態が用意されている。図４、図５、及び図６は、ＲＯＩの形状パターンを示す図である。図４、図５、及び図６に示すように、ステップＳＴ６において画像演算・記憶部１０により、血管領域ＢＲの中心線ＣＬがトレーシングされる。画像演算・記憶部１０は、端点Ｐｅから中心線ＣＬに沿って所定の距離間隔で複数の関心領域ＲＯＩを設定する。例えば、各関心領域ＲＯＩは、図４に示すように、中心線Ｃｌ上の点（１画素）に設定される。各関心領域ＲＯＩは、点のみに限定されず、図５に示すように、既定の面積を有する局所領域に設定されても良い。局所領域の形状は、図５に示すような長形状に限定されず、円形状や正方形、楕円、菱形等の如何なる幾何学的形状を有していても良い。関心領域ＲＯＩの向きは、図５に示すように、中心線ＣＬに沿っていると良い。図６に示すように、中心線ＣＬ上に設定された２点Ｐ１及びＰ２間の範囲に限定して血管領域に関心領域ＲＯＩが設定されても良い。２点Ｐ１及びＰ２の間隔は、操作部９を介して任意に設定可能である。また、関心領域の形状のタイプも操作部９を介して任意に設定可能である。
なお、上記の説明において画像演算・記憶部１０は、複数の関心領域ＲＯＩを設定するとした。しかしながら、本実施形態はこれに限定されない。図７に示すように、画像演算・記憶部１０は、中心線ＣＬ上の端点Ｐｅから所定の距離だけ離れた一箇所に関心領域ＲＯＩを設定しても良い。また、上記の説明において、関心領域ＲＯＩの向きは、中心線ＣＬに沿うとした。しかしながら、本実施形態はこれに限定されない。図８に示すように、画像演算・記憶部１０は、関心領域ＲＯＩを水平に並べても良い。なお、関心領域ＲＯＩの向きは、中心線ＣＬに方向と水平とに限定されず、如何なる向きに設定可能である。関心領域ＲＯＩの向きは、例えば、操作部９を介して任意に設定可能である。
次に、本実施形態に係るＲＯＩ設定処理の臨床応用例について説明する。
図９Ａ、９Ｂ、９Ｃ、９Ｄ、９Ｅ、９Ｆは、表示部１１に表示される臨床画像の一例を示す図である。図９Ａ，Ｂは、ＲＯＩを示すシンボル（十字）が重ねられた右冠状動脈に関するＸ線画像示す。図９Ｃ，Ｄは、ＲＯＩを示すシンボル（十字）が重ねられた左冠状動脈に関するＸ線画像示す。図９Ｅは、ＲＯＩを示すシンボル（十字）が重ねられた冠状動脈のスパイダービューに関するＸ線画像を示す。図９Ｆは、ＲＯＩを示すシンボル（十字）が重ねられた脳血管に関するＸ線画像を示す。以上のようにこの実施形態によれば各Ｘ線透視画像にＲＯＩが自動的に重ねて表示される。
図１０は、Ｘ線アンジオ撮影で得られる冠状動脈造影画像（以下ＣＡＧ画像という）を例示している。ＣＡＧ画像では、造影剤のＸ線の吸収線量が大きいので冠状動脈を通過中は冠状動脈の形状が他の組織と区別できる程にコントラストがついて識別できる。
図１０に示すように、カテーテル１０１が冠状動脈１０２まで挿入操作され、その位置でカテーテル１０１から一定時間継続的に造影剤が注入される。Ｘ線撮像は、少なくとも造影剤注入開始前から、造影剤注入終了後所定時間経過までの期間にわたって行われる。
造影剤がカテーテル１０１を経由して冠状動脈に注入されるときに図１のＸ線診断装置にてＸ線画像が収集される。画像収集が終了すると画像演算・記憶部１０によりＲＯＩ１０３が上記のアルゴリズムに従ってカテーテル１０１を基準とした血管領域上の位置に自動的に設定される。例えば、ＲＯＩ１０３は、ＣＡＧ画像上の冠状動脈の基準領域（心筋血液供給領域）１０３に設定される。また、基準領域の比較のために、心筋上に少なくとも一つの心筋局所領域１０４が設定される。
画像演算・記憶部１０は、心筋血液供給領域１０３に含まれる複数の画素の画素値に基づいて心筋血液供給領域１０３に関する時間濃度曲線（Time Density curve；ＴＤＣ）を生成する。同様に、画像演算・記憶部１０は、心筋局所領域１０４に含まれる複数の画素の画素値に基づいて心筋局所領域に関する時間濃度曲線を生成する。
心筋局所領域１０４は、心筋領域上に設定され、典型的には複数の画素を有する。心筋局所領域１０４の造影剤量に相当する濃度は典型的には画素平均値として計算される。しかし、心筋局所領域１０４は単一の画素を有するものであってもよい。心筋血液供給領域１０３は、典型的には、血管と略等価な幅又は少し小さい幅を有する矩形形状を有し、血管に沿って任意の向きに設定され、複数の画素が含まれる。心筋血液供給領域１０３の造影剤量に相当する濃度としては典型的には画素平均値として計算される。心筋血液供給領域１０３は、インジェクタ１５と心筋注目領域の間の流路の任意の部分、より限定するとカテーテルの任意の部分、又はカテーテルの出口（冠状動脈入口に等価）から心筋注目領域の間の任意の部分に設定される。このようにして設定されたＲＯＩは、例えば、図１１や図１２に示すようにＣＡＧ画像上に表示される。図１１においてＲＯＩは、矩形状の領域として設定されている。図１２においてＲＯＩは、一定の面積を持つ多角形状の領域として設定されている。
図１３は、表示部１１やユーザインタフェース１４に表示される時間濃度曲線の一例を示す図である。この時間濃度曲線は冠状動脈に注入された造影剤の時間経過に伴う濃度変化をグラフ化したもので、画像演算・記憶部１０により算出される。このほか、造影剤の濃度に関するＴＴＰ（time to peak）値をグラフ化しても良いし、血流量、血液量、あるいは血液の平均通過時間などの血流情報を指標としてグラフ化しても良い。さらには、心筋組織の血流（灌流）を示す指標値の２次元的な分布を血流情報として取り扱うようにしても良い。
基準領域（心筋血液供給領域）１０３の血流情報の比較対象領域は、心筋領域に設定される心筋局所領域１０４のみに限定されない。例えば、比較対象領域としては、図１４に示すように、基準領域１０３から比較的遠方に設定された血管領域１０２上の局所領域１０６に設定されても良い。比較対象領域１０６は、本実施形態に係るＲＯＩ設定アルゴリズムを利用して設定される。以下、比較対象領域１０６の設定について説明する。まず、画像演算・記憶部１０は、上述のようにカテーテル１０１の端点から血管領域１０２の中心線に沿って比較的近距離だけ離れた位置に基準領域１０３を設定し、血管領域１０２の中心線に沿って比較的遠距離だけ離れた位置に比較対象領域１０６を設定する。画像演算・記憶部１０は、基準領域１０３と比較対象領域１０６との各々について時間濃度曲線等の血流情報を算出する。基準領域１０３に対応する時間濃度曲線と比較対象領域１０６に対応する時間濃度曲線とは、例えば、表示部１１やユーザインタフェース１４により表示される。オペレーターは、基準領域１０３に対応する時間濃度曲線と比較対象領域１０６に対応する時間濃度曲線とを比較することで冠状動脈を容易に知ることが出来る。
図１５は、表示部１１やユーザインタフェース１４により重ねて表示される、基準領域１０３に対応する時間濃度曲線と比較対象領域１０６に対応する時間濃度曲線とを示す図である。なお、図１５に係る基準領域１０３と比較対象領域１０６との間には、狭窄部位が存在しているとする。この場合、狭窄部位の下流側の比較対象領域１０６に対応する時間濃度曲線のピーク値Ｐｅ２は、狭窄部位の上流側の基準領域１０３に対応する時間濃度曲線のピーク値Ｐｅ１に比して著しく低くなる傾向にある。また、比較対象領域１０６に対応する時間濃度曲線のピーク到達時刻ｔｅ２と基準領域１０３に対応する時間濃度曲線のピーク到達時刻ｔｅ１との時間間隔は、健常者の場合よりも広くなる。ユーザは、基準領域１０３に対応する時間濃度曲線と比較対象領域１０６に対応する時間濃度曲線とを観察することで、このような狭窄部位に起因する血流異常を見つけやすくなる。
以上述べたように実施形態によれば、血管のうちカテーテルに近い側のＲＯＩが特定され、かつ血管中心線も特定される。すなわちシステム側の処理により、オペレーターによるマニュアル操作で指定すること無く、ＲＯＩを設定することが可能になる。この実施形態によりＲＯＩが自動検出できるようになるので、ＲＯＩが検出されたことをトリガとしてソフトウェアに与えれば、各種の処理を自動的に走らせることが可能になる。さらに、この実施形態によれば、多数の時間濃度曲線のうち基準となる曲線を定めることも可能になる。
例えば、カテーテルに近い側のＲＯＩを基準として、血管上の他のＲＯＩにおける時間濃度曲線情報を測定することができる。つまり、カテーテルに最も近い基準ＲＯＩからの時間遅れや振幅減少度を、他のＲＯＩについて自動的に測定することができる。さらには、測定結果画像や血管グラフを表示することも可能である。
上術の通り、本実施形態に係るＸ線診断装置及び画像処理装置は、画像演算・記憶部１０を有している。画像演算・記憶部１０は、記憶部、特定部、抽出部、及び設定部を有している。記憶部は、被検体の血管が造影されていない第１透視画像データと、被検体に投与された造影剤により血管が造影された第２透視画像データとを記憶する。特定部は、第１透視画像データを画像処理して第１透視画像に含まれるカテーテル領域を特定する。抽出部は、第２透視画像データを画像処理して第２透視画像に含まれる血管領域を抽出する。設定部は、カテーテル領域の端点の位置に基づいて血管領域に関心領域を設定する。
より詳細には、画像演算・記憶部１０は、造影剤注入前のＸ線画像データと、造影剤注入後のＸ線画像データとを用いて、注入前の画像データからカテーテル領域を抽出し、注入後の画像データから血管領域を抽出する。次に画像演算・記憶部１０は、カテーテル領域と血管領域との各々に対して細線化処理を行い、カテーテル領域の端部と血管領域の中心線とを算出する。そして画像演算・記憶部１０は、中心線に沿ってカテーテル領域の端部から一定の距離だけ離間する血管領域上の座標にＲＯＩを設定する。
なお、上記実施形態においては心臓の冠状動脈に造影剤を投与した画像を利用したＲＯＩの設定について示した。しかしながら、本実施形態はこれに限定されない。すなわち、本実施形態は、脳血管造影や腹部臓器造影など、カテーテルを用いた一般的な造影検査の全てに対して適用することが可能である。本実施形態によれば、体内のあらゆる部位の血管にＲＯＩを自動設定可能なため、心臓だけでなく、体内のあらゆる血管に投与された造影剤の時間濃度曲線を取得することが可能である。
かくして本実施形態によれば、カテーテル手技時における関心領域の設定の自動化を実現する画像処理装置及びＸ線診断装置を提供することが可能となる。
なお、上記の説明において画像処理装置の処理対象画像は、Ｘ線診断装置により発生されたＸ線画像であるとした。しかしながら、本実施形態はこれに限定されない。本実施形態に係る画像処理装置の処理対象画像は、Ｘ線コンピュータ断層撮影装置により発生されたＣＴ画像または磁気共鳴イメージング装置により発生されたＭＲＩ画像であっても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１…高電圧発生部、２…Ｘ線発生部、３…被検体、４…寝台、５…Ｘ線検出部、６…支持機構、７…Ｃアーム、８…システム制御部、９…操作部、１０…画像演算・記憶部、１１…表示部、１２…ハンドスイッチ、１４…ユーザインタフェース、１５…インジェクタ、１６…心電計、２０…Ｘ線制御部、２１…Ｘ線管球、２２…コリメータ
Claims (14)
- 被検体の血管が造影されていない第１透視画像データと、前記被検体に投与された造影剤により前記血管が造影された第２透視画像データとを記憶する記憶部と、
前記第１透視画像データを画像処理して前記第１透視画像に含まれるカテーテル領域を特定する特定部と、
前記第２透視画像データを画像処理して前記第２透視画像に含まれる血管領域を抽出する抽出部と、
前記カテーテル領域の端点の位置に基づいて前記血管領域に関心領域を設定する設定部と、
を具備する画像処理装置であって、
前記設定部は、前記血管領域の２値画像に基づく前記血管領域の中心線に沿って前記カテーテル領域の端点から一定距離だけ離間する前記血管領域上の位置に前記関心領域を設定する、
画像処理装置。 - 前記第１透視画像と前記第２透視画像との少なくとも一方に、前記設定された関心領域に対応するシンボルを重ねて表示する表示部を備える、請求項１に記載の画像処理装置。
- 前記設定された関心領域に関する血流情報を算出する算出部をさらに備える、請求項１に記載の画像処理装置。
- 前記血流情報は、血管に投与された造影剤の時間濃度曲線である、請求項３に記載の画像処理装置。
- 前記血管は、冠状動脈である、請求項４に記載の画像処理装置。
- 前記設定部は、前記血管領域に複数の関心領域を設定し、
前記算出部は、前記設定された複数の関心領域にそれぞれ対応する複数の血流情報を算出する、
請求項５に記載の画像処理装置。 - 前記算出部は、前記設定された関心領域を基準として他の領域における血流情報を算出する、請求項３に記載の画像処理装置。
- Ｘ線を発生するＸ線管と、
前記Ｘ線管から発生され被検体を透過したＸ線を検出するＸ線検出器と、
前記Ｘ線検出器からの出力データに基づいて、被検体の血管が造影されていない第１透視画像データと、前記被検体に投与された造影剤により前記血管が造影された第２透視画像データとを発生する画像発生部と、
前記第１透視画像データを画像処理して前記第１透視画像に含まれるカテーテル領域を特定する特定部と、
前記第２透視画像データを画像処理して前記第２透視画像に含まれる血管領域を抽出する抽出部と、
前記カテーテル領域の端点の位置に基づいて関心領域を設定する設定部と、
を具備するＸ線診断装置であって、
前記設定部は、前記血管領域の２値画像に基づく前記血管領域の中心線に沿って前記カテーテル領域の端点から一定距離だけ離間する前記血管領域上の位置に前記関心領域を設定する、
Ｘ線診断装置。 - 前記第１透視画像と前記第２透視画像との少なくとも一方に、前記設定された関心領域に対応するシンボルを重ねて表示する表示部をさらに備える、請求項８に記載のＸ線診断装置。
- 前記設定された関心領域に関する血流情報を算出する算出部をさらに備える、請求項８に記載のＸ線診断装置。
- 前記血流情報は、血管に投与された造影剤の時間濃度曲線である、請求項１０に記載のＸ線診断装置。
- 前記血管は、冠状動脈である、請求項１１に記載のＸ線診断装置。
- 前記設定部は、前記血管領域に複数の関心領域を設定し、
前記算出部は、前記設定された複数の関心領域にそれぞれ対応する複数の血流情報を算出する、
請求項１０に記載のＸ線診断装置。 - 前記算出部は、前記設定された関心領域を基準として他の領域における血流情報を算出する、請求項１０に記載のＸ線診断装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210167330.0A CN102793547B (zh) | 2011-05-27 | 2012-05-25 | 图像处理装置以及x射线诊断装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/117,578 US9259199B2 (en) | 2011-05-27 | 2011-05-27 | Image processing apparatus and X-ray diagnosis apparatus |
| US13/117,578 | 2011-05-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012245351A JP2012245351A (ja) | 2012-12-13 |
| JP6013012B2 true JP6013012B2 (ja) | 2016-10-25 |
Family
ID=47219220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012096445A Active JP6013012B2 (ja) | 2011-05-27 | 2012-04-20 | 画像処理装置及びｘ線診断装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9259199B2 (ja) |
| JP (1) | JP6013012B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103717135B (zh) * | 2011-07-22 | 2016-02-03 | 株式会社东芝 | X射线诊断装置 |
| US9514531B2 (en) | 2012-02-02 | 2016-12-06 | Hitachi, Ltd. | Medical image diagnostic device and method for setting region of interest therefor |
| JP6101048B2 (ja) * | 2012-02-20 | 2017-03-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US20140086461A1 (en) * | 2012-09-25 | 2014-03-27 | The Johns Hopkins University | Method and system for determining time-based index for blood circulation from angiographic imaging data |
| KR102205898B1 (ko) | 2013-09-04 | 2021-01-21 | 삼성전자주식회사 | 의료영상들을 정합하는 방법 및 장치 |
| CN105555196B (zh) | 2013-09-20 | 2019-11-05 | 皇家飞利浦有限公司 | 针对血管内介入的自动无足迹设备路线图 |
| US9247920B2 (en) | 2014-02-27 | 2016-02-02 | General Electric Company | System and method for performing bi-plane tomographic acquisitions |
| US9208559B1 (en) * | 2014-07-25 | 2015-12-08 | Siemens Aktiengesellschaft | Method and apparatus for gastric artery chemical embolization |
| US9642586B2 (en) | 2014-08-18 | 2017-05-09 | Siemens Aktiengesellschaft | Computer-aided analysis of medical images |
| EP3197364B1 (en) * | 2014-09-22 | 2018-04-11 | Koninklijke Philips N.V. | Contrast arrival detection |
| JP6419551B2 (ja) * | 2014-11-28 | 2018-11-07 | キヤノンメディカルシステムズ株式会社 | Ｘ線診断装置、画像処理装置及び画像処理プログラム |
| US10022101B2 (en) * | 2016-02-29 | 2018-07-17 | General Electric Company | X-ray/intravascular imaging colocation method and system |
| JP6929689B2 (ja) * | 2016-04-26 | 2021-09-01 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像診断装置 |
| JP6740910B2 (ja) * | 2017-01-13 | 2020-08-19 | コニカミノルタ株式会社 | 動態画像処理システム |
| JP6812815B2 (ja) * | 2017-01-31 | 2021-01-13 | 株式会社島津製作所 | Ｘ線撮影装置およびｘ線画像解析方法 |
| JP2022095470A (ja) * | 2020-12-16 | 2022-06-28 | 株式会社島津製作所 | Ｘ線透視撮影装置およびｘ線画像処理方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4473358B2 (ja) * | 1999-01-21 | 2010-06-02 | 株式会社東芝 | 診断装置 |
| JP2000342565A (ja) * | 1999-06-01 | 2000-12-12 | Toshiba Corp | Ｘ線診断装置 |
| US7065395B2 (en) | 2001-03-19 | 2006-06-20 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for cardiac radiological examination in coronary angiography |
| EP1713400B1 (en) * | 2004-01-16 | 2012-12-26 | Boston Scientific Scimed, Inc. | Apparatus for medical imaging |
| JP4400263B2 (ja) | 2004-03-16 | 2010-01-20 | 株式会社島津製作所 | Ｘ線撮影装置 |
| JP4745080B2 (ja) | 2006-02-20 | 2011-08-10 | 猛 中浦 | Ｘ線診断装置、画像処理装置及びプログラム |
| EP2047800A1 (en) | 2006-07-28 | 2009-04-15 | Shimadzu Corporation | Radiographic apparatus |
| JP5536974B2 (ja) * | 2006-11-08 | 2014-07-02 | 株式会社東芝 | Ｘ線診断装置及び画像処理装置 |
| JP5639764B2 (ja) * | 2007-03-08 | 2014-12-10 | シンク−アールエックス，リミティド | 運動する器官と共に使用するイメージング及びツール |
| JP5229873B2 (ja) * | 2008-01-31 | 2013-07-03 | 東芝メディカルシステムズ株式会社 | 画像表示装置 |
| WO2009119691A1 (ja) * | 2008-03-25 | 2009-10-01 | 株式会社 東芝 | 医用画像処理装置及びｘ線診断装置 |
| JP5361410B2 (ja) | 2009-01-22 | 2013-12-04 | 株式会社東芝 | 画像処理装置 |
| JP5491929B2 (ja) | 2009-04-10 | 2014-05-14 | 株式会社東芝 | Ｘ線診断装置及びその方法 |
| JP5534703B2 (ja) | 2009-04-15 | 2014-07-02 | 株式会社東芝 | Ｘ線診断装置 |
| US9072490B2 (en) * | 2010-12-20 | 2015-07-07 | Toshiba Medical Systems Corporation | Image processing apparatus and image processing method |
| JP6104525B2 (ja) | 2011-06-23 | 2017-03-29 | 東芝メディカルシステムズ株式会社 | 画像処理装置及びｘ線診断装置 |
-
2011
- 2011-05-27 US US13/117,578 patent/US9259199B2/en active Active
-
2012
- 2012-04-20 JP JP2012096445A patent/JP6013012B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20120300903A1 (en) | 2012-11-29 |
| JP2012245351A (ja) | 2012-12-13 |
| US9259199B2 (en) | 2016-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6013012B2 (ja) | 画像処理装置及びｘ線診断装置 | |
| JP6956817B2 (ja) | 画像処理装置及びｘ線診断装置 | |
| US8718338B2 (en) | System and method to compensate for respiratory motion in acquired radiography images | |
| JP5818491B2 (ja) | 画像処理装置および画像処理方法 | |
| US11504082B2 (en) | Blood vessel model display | |
| JP5921132B2 (ja) | 医用画像処理システム | |
| JP5491914B2 (ja) | 画像表示装置およびｘ線診断装置 | |
| US8929633B2 (en) | Diagnostic X-ray system and method | |
| JP2009028065A (ja) | Ｘ線ｃｔ装置 | |
| JP6918629B2 (ja) | 医用情報処理装置及びｘ線ｃｔ装置 | |
| JP6981807B2 (ja) | 医用情報処理装置、ｘ線ｃｔ装置、医用情報処理プログラム、医用情報処理方法及び医用情報処理システム | |
| CN102793547B (zh) | 图像处理装置以及x射线诊断装置 | |
| JP7032111B2 (ja) | 医用画像処理装置、ｘ線ｃｔ装置及び医用画像処理プログラム | |
| JP6933498B2 (ja) | 医用情報処理装置、ｘ線ｃｔ装置及び医用情報処理プログラム | |
| US20200312012A1 (en) | Medical image processing apparatus and storage medium | |
| JP7434008B2 (ja) | 医用画像処理装置およびプログラム | |
| JP2019010391A (ja) | 医用画像処理装置及びｘ線診断装置 | |
| JP2010246726A (ja) | 画像処理装置およびｘ線診断装置 | |
| JP6943616B2 (ja) | Ｘ線ｃｔ装置、医用情報処理装置及び医用情報処理プログラム | |
| JP5689925B2 (ja) | Ｘ線ｃｔ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131212 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131219 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160205 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6013012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |