JP6039903B2 - 画像処理装置、及びその作動方法 - Google Patents
画像処理装置、及びその作動方法 Download PDFInfo
- Publication number
- JP6039903B2 JP6039903B2 JP2012015934A JP2012015934A JP6039903B2 JP 6039903 B2 JP6039903 B2 JP 6039903B2 JP 2012015934 A JP2012015934 A JP 2012015934A JP 2012015934 A JP2012015934 A JP 2012015934A JP 6039903 B2 JP6039903 B2 JP 6039903B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- image
- region
- display
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000003902 lesion Effects 0.000 claims description 130
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 24
- 239000000203 mixture Substances 0.000 claims description 16
- 239000000523 sample Substances 0.000 claims description 16
- 238000002604 ultrasonography Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 238000012285 ultrasound imaging Methods 0.000 claims description 2
- 238000011017 operating method Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 210000000481 breast Anatomy 0.000 description 15
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- Human Computer Interaction (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本実施形態に係る超音波撮影システムは、三次元画像データ中の複数の関心領域から1つを注目領域として選択された時に、現在の超音波断層画像に対する非注目領域の三次元的な位置を表す情報の表示態様を非表示に変更する。また、選択されていない非注目領域に対応する超音波断層画像上の対応領域の存在領域を表す図形の表示態様を、注目領域と比べて目立たないもの(例えば、色を薄い色)に変更する。これにより、操作者が超音波断層画像上(医用画像上)の対応領域を容易に探索して同定できる。
データサーバ190は、三次元画像データ中の複数の病変部を表す情報を保持している。この三次元画像データは、三次元画像収集装置170としてのMRI装置やX線CT装置などによって被検体を予め撮像して得られた画像である。なお、以下では三次元画像収集装置170としてMRI装置を用いる場合を例として説明する。ここで、病変部を表す情報とは、例えば、病変部の位置(領域の重心位置)や、注目病変部の領域境界に位置する点群の座標である。以下の説明では、病変部を表す情報を病変部の位置とし、病変部の位置はMRI装置座標系で表されているものとする。データサーバ190が保持する病変部の位置は、関心領域取得部121により取得され、画像処理装置100に入力される。
データサーバ190は、上述した情報に加えて、対応病変部の誤差推定値を算出するための誤差要因情報(詳細は後述する)を保持している。ここで、誤差要因情報とは、言い換えれば、超音波断層画像上における対応病変部の存在領域を算出するための情報である。データサーバ190が保持する誤差要因情報は、誤差要因情報取得部123を介して画像処理装置100に入力される。
また、超音波画像診断装置180は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部110により逐次取得され、画像処理装置100に逐次入力される。また、超音波プローブの位置姿勢は、不図示の位置姿勢センサで計測され、位置姿勢取得部112により取得されて、画像処理装置100に入力される。ここで、超音波プローブの位置姿勢は、例えば、被検体を基準とした基準座標系における位置姿勢で表されている。また、位置姿勢取得部112は、基準座標系における超音波プローブの位置姿勢を取得して、これに基づいてMRI装置座標系における超音波断層画像の位置姿勢を算出する。
誤差推定値算出部124は、誤差要因情報取得部123が取得した誤差要因情報に基づいて対応病変部の誤差推定値を算出する。そして、算出した誤差推定値を存在領域算出部135へと出力する。
存在領域算出部135は、関心領域取得部121が取得した病変部の位置と、位置姿勢取得部112が取得した超音波断層画像の位置姿勢とに基づいて、三次元画像データ中の病変部の夫々に対応する超音波座標系上の対応病変部の位置を推定する。ここで超音波座標系とは、超音波断層画像を基準とした3次元座標系であり、例えば、該断層画像上の1点を原点として、該断層画像の平面上にx軸およびy軸を設定し、該平面に直交する方向にz軸を設定した座標系として定義できる。そして、この推定した対応病変部と、誤差推定値算出部124で算出する誤差推定値とに基づいて、超音波断層画像上で夫々の対応病変部が存在しうる領域(存在領域)を算出することで特定する。
注目領域選択部122は、関心領域取得部121が取得した病変部の中から、操作者の指示に基づいて、注目病変部を選択する。なお、選択した注目病変部以外の病変部は非注目病変部となる。
画像合成部140は、夫々の対応病変部の存在領域を示す情報を存在領域算出部135から取得して、夫々の対応病変部の存在領域を表す図形を、断層画像取得部110から取得した超音波断層画像上に重畳して描画する。また、断面上に注目病変部の存在領域がない場合には、超音波断層画像に対する注目病変部の三次元的な位置(距離と方向)を算出し、算出した距離と方向を示す情報を、超音波断層画像上に重畳して描画する。
表示制御部150は、表示部160を制御し、画像合成部140で得られた画像を表示させる。すなわち、関心領域取得部121で取得された複数の関心領域の位置を表示させるとともに、存在領域算出部135で得られた注目領域の存在領域の表示を超音波断層画像上に表示させる。また、表示制御部150は、画像合成部140により得られる画像を表示させることで、注目領域以外の関心領域の位置の表示態様と、注目領域以外の関心領域に対応する存在領域の表示態様とを、選択に応じて異なる方法で変更する。
図2は、ソフトウェアプログラムを実行することで以下に示す各部夫々の機能を実現するためのコンピュータの基本構成を示す図である。ここで言う各部は、断層画像取得部110、位置姿勢取得部112、関心領域取得部121、注目領域選択部122、誤差要因情報取得部123、誤差推定値算出部124、存在領域算出部135、画像合成部140、表示制御部150である。
S3000において、画像処理装置100は、関心領域取得部121の処理として、データサーバ190から病変部の位置を関心領域の位置として取得する。また、誤差要因情報取得部123の処理として、誤差推定値の算出に用いる各種の誤差要因情報をデータサーバ190から取得する。例えば、超音波プローブの位置姿勢を計測する位置姿勢センサの種別(例えば、センサA、センサBなど)を表す情報を、誤差要因情報として取得する。
S3020において、画像処理装置100は、断層画像取得部110の処理として、超音波画像診断装置180から超音波断層画像を取得する。また、位置姿勢取得部112の処理として、上記超音波断層画像を撮像した際の超音波プローブの位置姿勢を超音波画像診断装置180から取得する。そして、既知の値として予め記憶している校正データを利用して、基準座標系における超音波プローブの位置姿勢から、MRI装置座標系における超音波断層画像の位置姿勢を算出する。
S3030において、画像処理装置100は、誤差推定値算出部124の処理として、S3000で取得した各種の誤差要因情報に基づいて、誤差推定値を算出する。誤差推定値を算出する処理は、例えば、超音波プローブの位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。位置姿勢センサの種別毎に予め誤差の基準値を定めておき、使用するセンサの種別に応じて値を選択するようにできる。例えば、S3000で入力した誤差要因情報が、光学式センサであるセンサAを使用しているという情報の場合、磁気式センサであるセンサBを使用している場合に比べて小さい値として誤差推定値を算出するようにできる。
S3050において、画像処理装置100は、注目領域選択部122の処理として、関心領域取得部121が取得した病変部の中から、操作者の指示に基づいて注目病変部を少なくとも1つ選択する。例えば、予め夫々の病変部に番号を割り振っておき、キーボード1004の注目病変部の番号に対応する数字キーを操作者が押すなどして入力した指示を取得するようにできる。
S3060において、画像処理装置100は、存在領域算出部135の処理として、S3020で得た超音波断層画像上において、複数の病変部の夫々に対応する対応病変部の存在領域を算出する。
S3070において、画像処理装置100は、画像合成部140の処理として、S3060で算出した夫々の対応病変部の存在領域を表す図形を超音波画像上に重畳描画した画像を生成する。例えば、対応病変部の存在し得る範囲を閉曲線のラインで描画する。その際に、注目領域選択部122で選択した注目病変部以外の非注目病変部の存在領域を表す図形を、注目病変部の存在領域を表す図形よりも目立たない表示態様で描画する。例えば、存在領域を表す図形の色を薄い色に変更する。本ステップの処理によって生成される画像の一例を図4に示す。なお、S3050において注目病変部が選択されていない場合には、夫々の病変部の存在領域を表す図形を、区別なく同様な表示態様で描画する。
S3095において、画像処理装置100は、表示制御部150の処理として、S3090で合成した画像を表示部160に表示する。また、必要に応じて、I/F1009を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてRAM1002上に格納する。
S3100において、画像処理装置100は、全体の処理を終了するか否かの判定を行う。例えば、キーボード1004の所定のキー(終了キー)の操作者による押下などに基づいて終了の指示を取得する。終了すると判定した場合には、画像処理装置100の処理の全体を終了させる。一方、終了すると判定しなかった場合には、S3020へと処理を戻し、新たに撮像される超音波断層画像に対して、S3020以降の処理を再度実行する。以上によって、画像処理装置100の処理が実行される。
上述した実施形態では、操作者の指示に基づいて注目病変部を選択する場合を例に挙げて説明したが、注目病変部を予め選択してデータサーバ190に保持しておいてもよい。この場合には、図1における注目領域選択部122は備えなくてもよく、S3050における注目病変部の選択処理は行わなくてもよい。
上述した実施形態では、非注目病変部の存在領域を表す図形の色を薄い色に変更する場合を例に挙げて説明したが、表示態様の変更方法はこれに限られない。例えば、図形の線の太さや種類を変更したり、図形の色の彩度を落としたりしてもよい。
本実施形態に係る超音波撮影システムでは、注目病変部以外の病変部(非注目病変部)に対応する超音波断層画像上の対応病変部が存在しうる領域(存在領域)を表す図形の表示態様を非表示に変更する。また、対象物体を表すボディマーク画像上の非注目病変部の位置を表す図形の表示態様を、注目病変部と比べて目立たないもの(例えば、色を薄い色)に変更する。これにより、操作者が、超音波断層画像上の対応病変部を容易に探索して同定できるようにする。以下、本実施形態に係る超音波撮影システムについて、第1の実施形態との相違部分について重点的に説明する。
データサーバ190が保持する三次元画像データは、三次元画像データ取得部620により取得され、画像処理装置600に入力される。本実施形態では、三次元画像データは、三次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はMRI装置座標系で表現されているものとする。
超音波画像診断装置680は、ボディマーク画像を保持している。ここでボディマークは、乳房の概略形状を表す画像であり、病変の位置を模式的に示すための画像である。超音波画像診断装置680が保持する左乳房用のボディマークおよび右乳房用のボディマークは、ボディマーク取得部614により取得され、画像処理装置600に入力される。そして、変換領域算出部616は、関心領域取得部121が取得した夫々の病変部の位置を、ボディマーク座標系における位置に変換する。ここでボディマーク座標系とは、左乳房用のボディマークおよび右乳房用のボディマークを含む平面をxy平面とし、それと直交する軸をz軸として定義した座標系である。
断面画像生成部630は、三次元画像データ取得部120の出力である三次元ボリュームデータと、位置姿勢取得部112の出力である超音波断層画像の位置姿勢とを入力する。そして、これらのデータに基づいて、超音波断層画像に対応する断面画像を三次元ボリュームデータから生成して、画像合成部640へと出力する。画像合成部640は、対応病変部の存在領域を示す情報を存在領域算出部135から取得して、注目領域選択部122で選択した注目病変部に対応する対応病変部の存在領域を示す情報を、断層画像取得部110から取得した超音波断層画像上に重畳して描画する。また、夫々の病変部の位置を変換領域算出部116から取得して、ボディマーク取得部から取得したボディマーク上に夫々の病変部の位置を表す図形を描画する。さらに、それらの画像と、断面画像生成部630から取得した断面画像とを合成した合成画像を生成して、これを表示制御部150あるいは外部へと出力する。表示制御部150は、画像合成部640の出力である合成画像を取得し、これを表示部160に表示する。
S7000において、画像処理装置600は、S3000の処理に加えて、三次元画像データ取得部620の処理として、データサーバ190から三次元画像データを取得する。また、ボディマーク取得部614の処理として、左乳房用のボディマークおよび右乳房用のボディマークを超音波画像診断装置680から取得する。
S7010において、画像処理装置600は、変換領域算出部616の処理として、関心領域取得部121が取得した夫々の病変部の位置を、ボディマーク座標系における位置に変換する。この変換については、例えば、特許文献2に開示されている。すなわち、乳房上の位置から乳房を表す標準的なボディマーク上への座標変換を行えばよい。
S7040において、画像処理装置600は、断面画像生成部630の処理として、S7020で得た超音波断層画像に対応する参照画像の断面画像を生成する。具体的には、S7020で得た超音波断層画像の位置姿勢に基づき、S7000で得た三次元ボリュームデータから該超音波断層画像と同じ断面を切り出した断面画像を生成する。
S7050において、画像処理装置600は、注目領域選択部622の処理として、関心領域取得部121が取得した病変部の中から、操作者の指示に基づいて注目病変部を選択する。例えば、ボディマーク上の注目病変部の位置を表す図形を、操作者がマウス1005をクリックするなどして選択するようにできる。
S7070で画像処理装置600の画像合成部640は、S7050において選択した注目病変部に対応する対応病変部の存在領域を表す図形を超音波画像上に重畳描画した画像を生成する。例えば、対応病変部の存在し得る範囲を閉曲線のラインで描画する。なお、S7050において注目病変部が選択されていない場合には、夫々の病変部の存在領域を表す図形を、区別なく同様な表示態様で描画する。
S7080において、画像処理装置600は、画像合成部640の処理として、まず、左乳房用のボディマークおよび右乳房用のボディマークのいずれを使用するかを選択する。例えば、ステップ7050で注目病変部が選択されている場合には、選択された注目病変部が左右いずれの乳房に存在しているかを判定して、使用するボディマークを選択することができる。具体的には、S7010で算出したボディマーク座標系における注目病変部の位置と、ボディマーク座標系における左右の乳頭位置との距離を夫々算出し、距離が短い方のボディマークを選択することができる。または、位置姿勢取得部112が取得した超音波断層画像の位置姿勢に基づいて、超音波プローブが左右いずれの乳房の位置にあるかを判定して、使用するボディマークを選択することができる。
S7095で画像合成部640は、断面画像と、超音波断層画像に注目病変部の存在領域を重畳した画像と、ボディマーク画像に病変位置を描画した画像とを生成する。そして、例えば、これらの画像を並べて、図8に示すような合成画像を生成する。その後、表示制御部150の処理として、合成した画像を表示部160に表示する。これにより、表示制御部150は、注目領域が変更されることに応じて、該変更前の注目領域の関心領域に対応する存在領域の表示を超音波画像上から消去する制御を行う。なお、ここでいう消去の制御には、注目領域の変更に応じて超音波画像に存在領域が重畳されていない画像を表示させる制御をも含む。
上述した実施形態では、対象物体を表すボディマーク中の非注目病変部の位置を表す図形の色を薄い色に変更する場合を例に挙げて説明したが、表示態様の変更方法はこれに限られない。例えば、図形の線の太さや種類を変更したり、図形の色の彩度を落としたりしてもよい。
以上、実施形態について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
Claims (15)
- 撮影対象の概略形状を表すボディマークと、画像とを、前記撮影対象の少なくとも一部を撮影する撮影装置から取得する画像取得手段と、
前記撮影対象において設定された複数の関心領域から少なくとも第1の関心領域を選択する選択手段と、
前記選択された関心領域に対応する領域が存在し得る前記画像における範囲を表す存在範囲であって、前記選択された関心領域の推定位置に誤差範囲を付加して得られる存在範囲を取得する取得手段と、
前記選択された関心領域の推定位置を表す図形を前記ボディマーク上に表示させ、前記取得された存在範囲を前記画像上に表示させる表示制御手段と、を備え、
前記表示制御手段はさらに、前記画像が、選択されていない関心領域に対応する領域の存在範囲を含む場合に、前記選択されていない関心領域に対応する領域の存在範囲を前記画像上に表示せず、前記選択されていない関心領域の位置を表す図形を前記ボディマーク上に表示させ、
前記表示制御手段はさらに、前記選択されている関心領域の位置を表す図形を、前記選択されていない関心領域の位置を表す図形と区別可能に表示させることを特徴とする画像処理装置。 - 前記表示制御手段は、前記選択手段により前記第1の関心領域と異なる第2の関心領域が選択されることに応じて、前記第1の関心領域に対応する存在領域を前記画像から消去することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、更に、前記選択された関心領域の存在範囲と前記選択されていない関心領域の存在範囲との間の位置関係に基づいて、前記選択されていない関心領域の位置の表示態様を変更することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、前記選択された関心領域の存在範囲から所定の距離離れた前記選択されていない関心領域について、該関心領域の位置を表示しないことを特徴とする請求項3に記載の画像処理装置。
- 前記表示制御手段が、超音波撮影装置を用いて被写体を撮影し得られる超音波断層画像を前記画像として表示させる場合において、
前記被写体の三次元画像における複数の関心領域の位置を取得する領域取得手段と、
前記超音波断層画像と前記三次元画像との間の位置合わせ誤差に基づいて、前記三次元画像における複数の前記関心領域の前記超音波断層画像における存在領域を特定する特定手段と、
を更に備えることを特徴とする請求項1に記載の画像処理装置。 - 前記表示制御手段は、前記選択手段により前記第1の関心領域とは異なる第2の関心領域が選択されることに応じて、前記第1の関心領域の存在範囲から前記第2の関心領域の存在範囲へと表示を切り替えることを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、前記ボディマーク上における前記選択された関心領域の位置を第一の図形で表示させるとともに、前記選択されていない関心領域の位置を第二の図形で表示させる制御をすることを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、病変の位置を模式的に示すためのボディマーク画像を前記ボディマークとして表示し、被写体を撮影して得られる超音波断層画像を前記画像として表示させることを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、被写体を超音波撮像装置の超音波プローブを用いて撮影し得られる超音波断層画像を前記画像として表示させるとともに、前記超音波プローブの位置を前記ボディマーク上に表示させることを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、前記選択された関心領域の存在範囲と前記選択されていない関心領域の位置と位置関係に基づいて、前記ボディマーク上で前記選択されていない関心領域の位置の表示を制限することを特徴とする請求項1に記載の画像処理装置。
- 請求項1に記載の画像処理装置と、
超音波断層画像を得る超音波撮影システムと、
前記表示制御手段による制御に応じて画像を表示させる表示手段と、を備えることを特徴とする撮影システム。 - 超音波撮影装置により被写体を撮影し病変の位置を探索するためのナビゲーション表示をするために、領域取得手段と、特定手段と、表示手段を更に備え、
前記画像取得手段は更に前記被写体の超音波断層画像を逐次取得し、
前記領域取得手段は、前記被写体の三次元画像において特定された複数の関心領域を取得し、
前記選択手段は、前記複数の関心領域から少なくとも1つの関心領域を選択し、
前記特定手段は、前記被写体の三次元画像と前記超音波断層画像の位置合わせ誤差に基づいて前記関心領域の存在範囲を特定し、ここで特定の関心領域の存在範囲は前記関心領域が前記超音波断層画像に存在し得る範囲であり、
前記表示制御手段は、ボディマークと前記超音波断層画像の表示と、前記ボディマーク上の前記関心領域のそれぞれの位置の表示と、前記選択に応じて前記超音波断層画像上において選択された関心領域の存在範囲の表示を制御し、
前記表示手段は、前記表示制御手段による制御に応じて画像を表示すること特徴とする請求項1に記載の画像処理装置。 - 画像取得手段が、撮影対象の概略形状を表すボディマークと、画像とを、前記撮影対象の少なくとも一部を撮影する撮影装置から取得する画像取得工程と、
選択手段が、前記撮影対象において設定された複数の関心領域から少なくとも第1の関心領域を選択する選択工程と、
取得手段が、前記選択された関心領域に対応する領域が存在し得る前記画像における範囲を表す存在範囲であって、前記選択された関心領域の推定位置に誤差範囲を付加して得られる存在範囲を取得する取得工程と、
表示制御手段が、前記選択された関心領域の推定位置を表す図形を前記ボディマーク上に表示させ、前記取得された存在範囲を前記画像上に表示させる表示制御工程と、を備え、
前記表示制御工程ではさらに、前記画像が、選択されていない関心領域に対応する領域の存在範囲を含む場合に、前記選択されていない関心領域に対応する領域の存在範囲を前記画像上に表示せず、前記選択されていない関心領域の位置を表す図形を前記ボディマーク上に表示させ、
前記表示制御工程ではさらに、前記選択されている関心領域の位置を表す図形を、前記選択されていない関心領域の位置を表す図形と区別可能に表示させることを特徴とする画像処理装置の作動方法。 - 前記選択された関心領域の位置を表す図形がより目立たない表示態様で、前記選択されていない関心領域の位置を表す図形を描画する画像合成手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
- 前記選択されていない関心領域の前記位置を表す図形の色をより薄い色に変更することにより前記選択された関心領域の前記位置を表す図形より目立たないように前記選択されていない関心領域の前記位置を表す図形を描画することを特徴とする請求項14に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012015934A JP6039903B2 (ja) | 2012-01-27 | 2012-01-27 | 画像処理装置、及びその作動方法 |
US13/744,619 US20130195339A1 (en) | 2012-01-27 | 2013-01-18 | Image processing apparatus, imaging system, and image processing method |
EP13152765.7A EP2620911A1 (en) | 2012-01-27 | 2013-01-25 | Image processing apparatus, imaging system, and image processing method |
US15/292,462 US10417517B2 (en) | 2012-01-27 | 2016-10-13 | Medical image correlation apparatus, method and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012015934A JP6039903B2 (ja) | 2012-01-27 | 2012-01-27 | 画像処理装置、及びその作動方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016217449A Division JP6263248B2 (ja) | 2016-11-07 | 2016-11-07 | 情報処理装置、情報処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013153883A JP2013153883A (ja) | 2013-08-15 |
JP2013153883A5 JP2013153883A5 (ja) | 2015-02-19 |
JP6039903B2 true JP6039903B2 (ja) | 2016-12-07 |
Family
ID=47681702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012015934A Active JP6039903B2 (ja) | 2012-01-27 | 2012-01-27 | 画像処理装置、及びその作動方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20130195339A1 (ja) |
EP (1) | EP2620911A1 (ja) |
JP (1) | JP6039903B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5685133B2 (ja) | 2011-04-13 | 2015-03-18 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
JP5995449B2 (ja) | 2012-01-24 | 2016-09-21 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
JP6479678B2 (ja) * | 2012-12-21 | 2019-03-06 | ボルケーノ コーポレイション | マルチセンサ医療デバイスのための表示制御 |
EP3760129B1 (en) * | 2014-01-02 | 2024-07-24 | Koninklijke Philips N.V. | Instrument alignment and tracking with ultrasound imaging plane |
US9808213B2 (en) * | 2014-08-11 | 2017-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium |
KR20160032586A (ko) * | 2014-09-16 | 2016-03-24 | 삼성전자주식회사 | 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 |
KR20160037023A (ko) | 2014-09-26 | 2016-04-05 | 삼성전자주식회사 | 컴퓨터 보조 진단 지원 장치 및 방법 |
JP6532206B2 (ja) | 2014-10-01 | 2019-06-19 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法 |
US11219427B2 (en) * | 2016-06-07 | 2022-01-11 | Koninklijke Philips N.V. | Ultrasound system and method for breast tissue imaging and annotation of breast ultrasound images |
JP7432296B2 (ja) * | 2016-09-12 | 2024-02-16 | キヤノンメディカルシステムズ株式会社 | 医用情報処理システム |
EP3537982B1 (en) | 2016-11-11 | 2022-09-07 | Gynesonics, Inc. | Controlled treatment of tissue and dynamic interaction with tissue and/or treatment data and comparison of tissue and/or treatment data |
DE102017108371B4 (de) * | 2017-04-20 | 2020-08-27 | Carl Zeiss Meditec Ag | Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben |
JP6982978B2 (ja) * | 2017-04-26 | 2021-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6796725B2 (ja) * | 2017-09-26 | 2020-12-09 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
JP7022554B2 (ja) * | 2017-10-03 | 2022-02-18 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
US11328485B2 (en) * | 2019-08-23 | 2022-05-10 | Tencent America LLC | Method and apparatus for displaying an augmented-reality image corresponding to a microscope view |
JP2021052321A (ja) * | 2019-09-25 | 2021-04-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
KR102536369B1 (ko) * | 2021-02-26 | 2023-05-26 | 주식회사 인피니트헬스케어 | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 |
KR102531400B1 (ko) * | 2021-03-19 | 2023-05-12 | 주식회사 인피니트헬스케어 | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4443672B2 (ja) * | 1998-10-14 | 2010-03-31 | 株式会社東芝 | 超音波診断装置 |
US6980690B1 (en) * | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
US8226560B2 (en) * | 2003-05-08 | 2012-07-24 | Hitachi Medical Corporation | Reference image display method for ultrasonography and ultrasonic diagnosis apparatus |
JP4416736B2 (ja) * | 2003-08-01 | 2010-02-17 | 株式会社日立メディコ | 医用画像診断支援装置及びプログラム |
EP1523939B1 (en) * | 2003-10-14 | 2012-03-07 | Olympus Corporation | Ultrasonic diagnostic apparatus |
US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
CA2564240C (en) * | 2004-04-26 | 2014-10-07 | David F. Yankelevitz | Medical imaging system for accurate measurement evaluation of changes in a target lesion |
WO2006059668A1 (ja) | 2004-12-03 | 2006-06-08 | Hitachi Medical Corporation | 超音波装置、超音波撮像プログラム及び超音波撮像方法 |
JP2007029456A (ja) * | 2005-07-27 | 2007-02-08 | Matsushita Electric Ind Co Ltd | 超音波診断装置 |
US20070167784A1 (en) * | 2005-12-13 | 2007-07-19 | Raj Shekhar | Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions |
JP5738507B2 (ja) | 2006-01-19 | 2015-06-24 | 東芝メディカルシステムズ株式会社 | 超音波プローブの軌跡表現装置及び超音波診断装置 |
JP5121204B2 (ja) * | 2006-10-11 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US8134554B1 (en) * | 2007-05-04 | 2012-03-13 | Topcon Medical Systems, Inc. | Method and apparatus for spatially mapping three-dimensional optical coherence tomography data with two-dimensional images |
JP2009112436A (ja) * | 2007-11-05 | 2009-05-28 | Toshiba Corp | 超音波診断装置 |
US20090129650A1 (en) * | 2007-11-19 | 2009-05-21 | Carestream Health, Inc. | System for presenting projection image information |
JP4468432B2 (ja) | 2007-11-30 | 2010-05-26 | 株式会社東芝 | 超音波診断装置 |
CN101677799B (zh) * | 2008-03-25 | 2012-05-30 | 株式会社东芝 | 医用图像处理装置以及x射线诊断装置 |
US20110178389A1 (en) * | 2008-05-02 | 2011-07-21 | Eigen, Inc. | Fused image moldalities guidance |
JP5335280B2 (ja) * | 2008-05-13 | 2013-11-06 | キヤノン株式会社 | 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体 |
EP2120208A1 (en) * | 2008-05-13 | 2009-11-18 | IBBT vzw | Method and system for lesion segmentation |
JP5395371B2 (ja) * | 2008-06-18 | 2014-01-22 | 株式会社東芝 | 超音波診断装置、超音波画像の取得方法及びプログラム |
US9514513B2 (en) * | 2008-08-08 | 2016-12-06 | University of Pittsburgh—of the Commonwealth System of Higher Education | Establishing compatibility between two- and three-dimensional optical coherence tomography scans |
JP2010194007A (ja) * | 2009-02-24 | 2010-09-09 | Toshiba Corp | 超音波撮影装置、画像処理装置及び画像処理プログラム |
JP5400466B2 (ja) * | 2009-05-01 | 2014-01-29 | キヤノン株式会社 | 画像診断装置、画像診断方法 |
JP5417047B2 (ja) * | 2009-06-02 | 2014-02-12 | 株式会社東芝 | 超音波診断装置 |
JP2011125568A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
JP2011136044A (ja) * | 2009-12-28 | 2011-07-14 | Panasonic Corp | 超音波診断装置 |
JP5597021B2 (ja) * | 2010-04-15 | 2014-10-01 | オリンパス株式会社 | 画像処理装置及びプログラム |
JP5737858B2 (ja) | 2010-04-21 | 2015-06-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5728212B2 (ja) | 2010-11-30 | 2015-06-03 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびプログラム |
US9615064B2 (en) * | 2010-12-30 | 2017-04-04 | Pelco, Inc. | Tracking moving objects using a camera network |
JP5858636B2 (ja) | 2011-04-13 | 2016-02-10 | キヤノン株式会社 | 画像処理装置、その処理方法及びプログラム |
JP5965596B2 (ja) * | 2011-07-27 | 2016-08-10 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
US10049445B2 (en) | 2011-07-29 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method of a three-dimensional medical image |
JP5995449B2 (ja) | 2012-01-24 | 2016-09-21 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
US8977026B2 (en) * | 2012-05-30 | 2015-03-10 | General Electric Company | Methods and systems for locating a region of interest in an object |
-
2012
- 2012-01-27 JP JP2012015934A patent/JP6039903B2/ja active Active
-
2013
- 2013-01-18 US US13/744,619 patent/US20130195339A1/en not_active Abandoned
- 2013-01-25 EP EP13152765.7A patent/EP2620911A1/en not_active Withdrawn
-
2016
- 2016-10-13 US US15/292,462 patent/US10417517B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10417517B2 (en) | 2019-09-17 |
EP2620911A1 (en) | 2013-07-31 |
JP2013153883A (ja) | 2013-08-15 |
US20170032533A1 (en) | 2017-02-02 |
US20130195339A1 (en) | 2013-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6039903B2 (ja) | 画像処理装置、及びその作動方法 | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
JP5538861B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、及びプログラム | |
US8611988B2 (en) | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same | |
JP5430203B2 (ja) | 画像処理装置、画像処理方法 | |
JP5417609B2 (ja) | 医用画像診断装置 | |
JP6071282B2 (ja) | 情報処理装置、超音波撮影装置および情報処理方法 | |
JP5355110B2 (ja) | 診断支援装置及び診断支援方法 | |
US9619925B2 (en) | Method and image-processing system for generating a volume-viewing image of the interior of a body | |
JP5631453B2 (ja) | 画像処理装置、画像処理方法 | |
JP2011125570A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010042065A (ja) | 医用画像処理装置、処理方法 | |
JP6430500B2 (ja) | 腫瘍の奏効測定を支援するための方法 | |
JP6487999B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6263248B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020036708A (ja) | 手術支援装置及び手術ナビゲーションシステム | |
JP2010075549A (ja) | 画像処理装置 | |
JP2015036084A (ja) | 画像処理システム | |
JP5991731B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6400160B2 (ja) | 情報処理装置 | |
JP5784082B2 (ja) | 診断支援装置及び診断支援方法 | |
JP6752254B2 (ja) | 情報処理装置、情報処理方法 | |
JP6336025B2 (ja) | 情報処理装置、情報処理装置の作動方法およびプログラム | |
JP6387166B2 (ja) | 情報処理装置、情報処理方法 | |
JP2014013590A (ja) | 診断支援装置及び診断支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6039903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |