JP4829217B2 - データセットの視覚化 - Google Patents
データセットの視覚化 Download PDFInfo
- Publication number
- JP4829217B2 JP4829217B2 JP2007507909A JP2007507909A JP4829217B2 JP 4829217 B2 JP4829217 B2 JP 4829217B2 JP 2007507909 A JP2007507909 A JP 2007507909A JP 2007507909 A JP2007507909 A JP 2007507909A JP 4829217 B2 JP4829217 B2 JP 4829217B2
- Authority
- JP
- Japan
- Prior art keywords
- data set
- image
- visualization
- imaging system
- rendering method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012800 visualization Methods 0.000 title claims description 54
- 238000000034 method Methods 0.000 claims description 62
- 238000001574 biopsy Methods 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000009877 rendering Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 238000012285 ultrasound imaging Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013170 computed tomography imaging Methods 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000001839 endoscopy Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 206010011732 Cyst Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000035269 cancer or benign tumor Diseases 0.000 description 2
- 208000031513 cyst Diseases 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B10/0233—Pointed or sharp biopsy instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/541—Control of apparatus or devices for radiation diagnosis involving acquisition triggered by a physiological signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、デジタル画像化の分野に関する。特に、本発明は、多次元データセットを視覚化する方法、多次元データセットの視覚化を行う画像処理デバイス、画像化システム及びコンピュータプログラムに関する。
内視鏡検査及び生体検査は共に、医療診断における重要な技術である。それはしばしば、生きている人間の体内を視覚的に検査することにより、又は、生きている人間の体内からの組織プローブを得ることにより、ある症状の発生源又は病気の初期段階の兆候を決定することのみが可能である。毎年、何千もの内視鏡検査行為が実施されている。光学内視鏡検査は、人体内部の中空器官又は空洞を検査するのに使用される医療行為である。これは、自然の穴又は小さな切開口(incision)を通して内視鏡が患者に挿入されるため、しばしば痛みを伴う処置である。
斯かる検査の間、診断処置目的で、医療デバイスを患者の体内に挿入し、及び同時にその医療デバイスの動きを例えば超音波画像化システムを用いて監視することにより、特定の内部器官の組織片といった注目対象のサンプルを除去する医療処置が行われることができる。斯かるリアルタイム３次元画像化において、視覚化の方法及び方向(orientation)の選択は、その診療(intervention)が成功するために非常に重要である。ボリュームがレビューモードにおいて何度も何度も繰り返し表示される場合がある非リアルタイムタスクと比べると、リアルタイムタスクにおいては、最も有益な態様でボリュームを表示する機会は１回しかない。
２次元の画面に表示されなければならない３次元情報が大量に存在するため、ボリューム表示は困難なタスクである。３次元データの視覚化法はすべて、取得された情報の大部分を無視する。例えば、表面シェーディングにおいては、多くの画像ボクセルが画面に表示される画像に隠される。同様に、最大値投影法(maximum intensity projection)においては、各投影された光線(ray)上で、１つのボクセルの貢献(contribution)だけが表示される。
生じる１つの疑問は、リアルタイムアプリケーションにおいて何を無視し、何を表示すべきかということである。なぜなら、医師は介入的デバイス(interventional)を操作することに完全に集中しており、ユーザ制御が不可能であるか又はユーザに過度の負担を課す場合があるからである。
本発明の目的は、多次元データセットの改良された視覚化を提供することにある。
請求項１に記載される本発明の例示的な実施形態によれば、上述した目的は、多次元データセットを視覚化する方法によって解決されることができ、そこでは、その方法は、そのデータセットにおける構造体のセグメント化を行うステップと、そのデータセットの視覚化を行うステップとを有し、その視覚化の投影方向が前述の構造体に基づき決定される。
言い換えると、データセットにおけるある構造体が、セグメンテーション処理により特定されることができ、そのセグメント化された構造体に基づき、そのデータセットの画像スライス又は投影が視覚化される。そこでは、そのデータセット内部の投影の位置がその構造体に関連付けられる。
有利には、本発明のこの例示的な実施形態によれば、これは、視覚化処理のパラメタの選択を自動化することを可能にし、従って改良された視覚化を可能にすることができる。
請求項２に記載される本発明の別の例示的な実施形態によれば、投影方向に関する情報を有し、かつ、そのデータセットにおける構造体のセグメント化と、そのデータセットの低レベル分析との少なくとも１つに基づき決定される視覚化パラメタに基づき、前述の視覚化が行われる。更に、その視覚化パラメタは、その構造体の相対位置、その構造体に対する方向、その構造体と注目対象との距離、動き推定及び動き補償からなるグループから選択される。
有利には、本発明のこの例示的な実施形態によれば、画像スライスは、その構造体に対する特定の方向、及び例えば、その構造体から特定の距離離れた位置に視覚化されることができる。更に、本発明のこの例示的な実施形態によれば、多次元データセットは、例えば、心電図(ECG)データといった、動き推定又は補償に必要なデータを有することができる。この追加的なデータは、例えば、そのデータセットの動き補償された視覚化のために使用されることができる。
請求項３に記載される本発明の別の例示的な実施形態によれば、その構造体は、生体検査針(biopsy needle)及び内視鏡プローブのいずれかであり、そこでは、そのデータセットの第１の投影が、その構造体の長手軸の方向において行われ、結果として、その長手軸の方向に垂直な画像表面領域を持つ第１の画像を生じさせる。更に、その構造体の長手軸に垂直な方向においてそのデータセットの第２の投影が行われ、結果として、その構造体を有する第２の画像を生じさせる。
有利には、本発明のこの例示的な実施形態によれば、これは、生体検査針の表示方向を視覚化する第１の画像スライスと、生体検査針自身を視覚化する第２の画像スライスと、生体検査針を有する平面に関するデータとを提供することができる。これは、うまく成功するかつ高速な生体検査又は内視鏡検査を行うのに必要な情報を効果的に視覚化することを可能にすることができる。
本発明の別の例示的な実施形態が請求項４に記載され、そこでは、視覚化パラメタの少なくとも１つがそのデータセットの視覚化の間に表示される。
有利には、これは、生体検査針又は内視鏡を操作する医師に、例えば、注目対象に対する構造体の相対的な位置に関する重要な情報を与えることができる。
請求項５に記載される本発明の別の例示的な実施形態によれば、その方法は、そのデータセットの視覚化から生じる画像においてレンダリング方法を変更するステップを更に有し、そこでは、そのレンダリング方法の変更が、画像の非一様な品質をもたらす。更に、請求項６に記載される本発明の例示的な実施形態によれば、レンダリング方法の変更は、画像におけるサンプリングレートの変更を有し、そのレンダリング方法の変更は、視覚化パラメタに基づき行われる。
有利には、請求項５及び６に記載される本発明の例示的な実施形態によれば、これは、画像スライスの中心(それは、生体検査針が示される場所である)における最大画像品質を可能にすると同時に、その画像スライスのエッジ(それは、ユーザにとってあまり興味のない場所である)において低下された画像品質を可能にすることができる。有利には、これは、計算コストの削減を提供することができる。
請求項７に記載される本発明の別の例示的な実施形態によれば、セグメント化が、Hough変換とアクティブローカライザ(active localizer)の決定とのいずれかに基づき行われる。
これは、その構造体の効果的で信頼性のあるセグメント化を可能にすることができる。
請求項８に記載される本発明の別の例示的な実施形態によれば、そのデータセットは、超音波画像化システム、CT画像化システム及びMR画像化システムを用いて取得される。
請求項９に記載される本発明の別の例示的な実施形態によれば、多次元データセットを視覚化する画像処理デバイスが与えられ、それは、データセットを格納するメモリと、以下の処理を行うよう適合される画像プロセッサとを有する：つまり、データをロードする処理と、そのデータセットにおける構造体のセグメント化を行う処理と、そのデータセットの視覚化を行う処理とである。その視覚化の投影方向は、その構造体に基づき決定される。
有利には、これは、改良された視覚化を可能にすることができる。
画像処理デバイスの更なる例示的な実施形態が請求項１０に記載される。
本発明はまた、多次元データセットを格納するメモリと、そのデータセットの視覚化を行うよう適合される画像プロセッサとを有する画像化システムにも関する。本発明の側面によれば、その画像化システムは、MR画像化システム、CT画像化システム及び超音波画像化システムのいずれかである。本発明による画像化システムは、請求項１１から１３に記載される。
有利には、これは、CT画像化システム、MR画像化システム又は超音波画像化システムにより取得される多次元データセットの改良された視覚化を可能にすることができる。
本発明はまた、例えば画像プロセッサのようなプロセッサで実行されることができるコンピュータプログラムにも関する。斯かるコンピュータプログラムは、例えば、CTスキャナシステム、MRスキャナシステム又は超音波画像化システムの一部であってもよい。本発明の例示的な実施形態によるコンピュータプログラムは、請求項１４に記載される。こうしたコンピュータプログラムは、好ましくは、画像プロセッサ又は汎用コンピュータのワーキングメモリにロードされることができる。こうして画像プロセッサは、本発明の方法の例示的な実施形態を実行する機能を備えられる。そのコンピュータプログラムは、CD-ROMのようなコンピュータ可読媒体に格納されることができる。また、コンピュータプログラムは、ネットワーク、例えば、ワールドワイドウェブを介して提供されることもでき、斯かるネットワークから、画像プロセッサのワーキングメモリにダウンロードされることができる。本発明のこの例示的な実施形態によるコンピュータプログラムは、例えば、C++のような任意の適切なプログラム言語で書かれることができる。
本発明の例示的な実施形態の要点として、注目対象に対する(ユーザによってもたらされる)介入(intervention)が、医師であるユーザによる対話的な入力を必要とすることなく視覚化されることであると理解されることができる。実際、視覚化処理のためのパラメタ、例えば表示方向に関するものは、データ取得の間に自動的に選択されることができる。そのことは、患者の腹部内のシスト又は患者の子宮内の芽細胞種(plastoma)又は新生物(neoplasm)といった注目対象に関して、生体検査針といった構造体の実際の方向及び相対的な位置を効率的にトラッキングすることを可能にすることができる。
本発明のこれら及び他の側面は、本書において述べられる実施形態から明らかとなり、又は実施形態を参照して説明されるであろう。
本発明の例示的な実施形態が、以下の図面を参照して以下に説明されることになる。
図１は、本発明によるMR画像化システムの本発明の例示的な実施形態を示す。この例示的な実施形態及び図２に表される実施形態(超音波画像化システム)を参照して、本発明は、医療画像化の分野における用途に関して説明が行われることになる。しかしながら、本発明は、医療画像化の分野における用途に限定されるものではなく、例えば、荷物の中身に含まれる爆発物といった危険物質を発見するための荷物検査の分野において起こりうる、侵襲性が最小の処理のいずれかの他の形式といった他の用途、又は材料検査といった他の産業上の用途においても使用されることができることに留意されたい。
検査されなければならない又は組織プローブが取られる患者２１５が置かれる検査空間２１７を囲い、軸２１８に沿って配置されるコイル２１０を、MRスキャナシステムは有する。有利には、患者は、検査空間２１７の低い部分に配置される可動テーブル又はコンベヤベルト２１６上に横たわる。検査空間２１７を囲うコイル２１０の系は、HFコイル２１９と、内部コイル２１３及びアクティブシールドコイル又はシールド２１２を有するグラジエントコイルのアクティブシールド(actively shielded)装置と、磁場の生成の間、冷却するために中にコイルが配置される低温保持装置２１１とを有する。グラジエントコイルの装置２１３、２１２は、グラジエント増幅器２２０に接続されることができる。
更に、MRスキャナ又は画像化システムは、個別のモータ、例えば、コンベヤベルト２１６を動かすためのモータに関するモータ制御ユニットと、計算ユニット(図１において図示省略)とを有することができる。
計算ユニットは、データセットを格納するメモリを有する画像処理デバイスに一体化される画像プロセッサにより実現されることができ、また、本発明による方法の例示的な実施形態に基づくデータセットの視覚化を行うよう適合されることもできる。本発明の側面によるデータプロセッサ又は画像プロセッサは、データセットにおける構造体のセグメント化を行うため、そのデータセットをロードするよう適合されることができる。更に、データプロセッサは、データセットの視覚化を行うよう適合されることができ、そこでは、視覚化の投影方向がその構造体に基づき決定される。
更に、計算ユニットは、例えば自動的にアラームを出力するためにラウドスピーカ(図１において図示省略)に接続されることができる。
図２は、本発明の例示的な実施形態に基づき超音波画像化システムにより視覚化される、介入的な生体検査法の概略的な表現を示す。生体検査針２０５は、腹部２０６から組織サンプルを取るために、小さな切開口２０８を通して患者に挿入される。生体検査針２０５は、腹部の壁から組織プローブの破片２０７を切除するために操作手段２０１により操作されることができる。生体検査針２０５の動きと、注目対象２０７に対するその相対的な位置を追跡するために、本発明の例示的な実施形態によれば、超音波画像化システム２０２が使用されることができる。超音波画像化システム２０２は、注目対象２０７に向かって伝播する超音波信号２０４を生成し、注目対象２０７から反射されるエコー信号を受信するのに使用される超音波トランスデューサを有することができる。斯かる超音波画像化システムは従来においてもよく知られており、ここでは詳細な説明は行わない。
本発明によれば、画像化システム２０２は、必ずしも超音波画像化システムである必要はなく、例えば、MR画像化システム又はCT画像化システムといった他の適切な種類の画像化システムであっても良いことを理解されたい。
いずれも場合であっても、画像化システム２０２は、注目対象２０７の多次元データセットの取得を提供する。動作中、多次元データセットは、コンスタントに更新されることができる。多次元データセットは、腹部のボリュームを表す３次元データセット又は、例えば、動き検出及び動き補償用の、心電図を用いた心拍のような追加的な情報を有する４次元データセットとすることができる。更に、例えば、３次元データセットの連続によって形成される４次元データセットであってもよい。しかし、本発明は、３次元又は４次元データセットに限定されるものではなく、３次元ボリューム情報及びECG情報の範囲を超える情報を有する５次元又はそれ以上の次元のデータセットの視覚化のために同様に実現されることができる点を理解されたい。
超音波画像化システムにより取得されるボリューム内のどこかに、生体検査針が存在する。臓器の表面を表示することは全く役に立たない。なぜなら、その針は臓器の中に隠れてしまうからである。ボリュームを通る標準的な投影は、組織が抽出されなければならない箇所に対する針の方向に関するわずかな影響となるにすぎない。
ここでは、本発明の側面による方法は、有利にはリアルタイムに、Hough変換のようなボリューム処理方法を用いて、ボリュームから生体検査針をセグメント化する。このセグメント化は、生体検査針の位置及び延伸方向を与えることができる。ボリュームが針の延伸方向に投影されるならば、針が注目対象の中心を向いている(target)か否かが即座に明らかとなる。同時に、表示スライスにおいて横たわる針を伴うボリュームを通るセクションが、針の先(needle tip)から目標領域までの距離に関する情報を与えることができる。
その概念は、シック・スラップ・オリエンテーション(thick slap orientation)、表面レンダリング視点の選択及びアクティブローカライザ(active localizer)の一体化にまで拡張されることができることを理解されたい。例えば、セグメント化は、必ずしもHough変換によって行われなければならないわけではない。Hough変換は、線、円及び容易にパラメタ化されることのできる又は離散的なポピュラリティアルゴリズム(popularity algorithm)の観点から成型されることができる(cast)何か他のものといった広範囲な特徴を堅牢に検出可能なコンピュータ可視アルゴリズム(computer vision algorithm)である。例えば、その物理的特性のいくつかが周囲の組織の物理的特性(例えば反射係数)に似ているという理由で、その構造体が形状において線形ではあるが、画像化システムに対しては可視でない場合、セグメント化においてHough変換を用いることは有利ではない場合がある。その代わりに、アクティブローカライザがその構造体(例えば生体検査針)に一体化され、その一体化されたアクティブローカライザが、交互性のある外部電磁場と適切な検出器とを用いて個別にセグメント化されることができる。アクティブローカライザの検出は、よく知られており、ここでは詳細には説明されない。一体化されたアクティブローカライザの検出の後、その構造体の方向及び位置が容易に実行されることができる。
図３は、本発明の例示的な方法により視覚化される２つの投影の概略的な表現を示す。第１の投影つまり画像スライス３０１は、腹腔内部の注目対象２０７を表す。画像スライス３０１は、生体検査針２０５(図２参照)の方向に投影され、そこで、生体検査針２０５がどの方向を向いているかに関するアイデアをユーザに与える。生体検査針２０５の向きは、クロス３０３で表されることができる。
画像スライス３０２は、注目対象２０７(例えば、シスト、膿瘍又は新生物)と生体検査針２０５とを示す。画像スライス３０２は、生体検査針２０５の平面において取られるので、生体検査針２０５の先端と注目対象２０７との距離は、データセットから計算され、画像スライス上に表示されることができる(ここでは、5cm)。画像スライス３０１及び３０２は共に、生体検査の間医師を効率的に手助けし、従って、生体検査の高速な実行と注目対象２０７からの組織の正確な抽出を可能にする。
図４は、本発明による多次元データセットを視覚化する方法の例示的な実施形態のフローチャートを示す。その方法はステップＳ０で始まり、その後、ステップＳ１において、例えば、CT画像化の場合、例えば、多色ビームを生成する電磁照射の多色源を用いて、及び多色ビームを検出する照射検出器を用いてデータセットの取得が行われる。
その後、ステップＳ２において、Hough変換又は一体化されたアクティブローカライザの検出に基づき、生体検査針のセグメント化が行われる。そして、ステップＳ３において、そのデータセットの低レベル分析が行われ、視覚化パラメタが選択される。視覚化パラメタは、注目対象に対するその構造体の相対位置、その構造体への相対的な方向、その構造体と注目対象との距離、並びに例えばECGデータに基づく動き推定及び動き補償を有することができる。動きは、動きマップの生成とその動きマップに基づく画像スライスの動き補償された再構築を行う事とにより補償されることができる。動き推定及び補償は従来技術においてよく知られており、ここでは、詳細な説明は行われない。
データセットの視覚化は、結果として、生体検査針の長手軸に垂直な画像表面領域を持つ画像スライスを生じさせる、その長手軸の方向でのデータセットの第１の投影と、結果として、生体検査針を有する第２の画像スライスを生じさせる、生体検査針の長手軸に垂直な方向での第２の投影とを有する。
言い換えると、データセットからの特定の選択された画像スライスが、患者の検査又は操作の間に視覚化される。画像スライスは、医師からの入力を必要とすることなく、超音波画像化システムにより自動的に選択される。有利には、画像スライスは、生体検査針の表示方向と生体検査針の表示方向に垂直な方向とでの投影を表す。従って、医師は、超音波源２０２に対する実際の位置とは独立して、常に自身の生体検査針２０５の方向を「目にする」ことになる(図２及び３参照)。
ステップＳ５において、データセットの第１及び第２の投影のレンダリングをする間、画像スライスにおけるレンダリング方法が変更されることができ、結果として、画像の非一様な品質を生じさせる。レンダリング方法の変更は、視覚化パラメタに基づき、データセットの画像又は投影のサンプリングレートを変更することを有することができる。例えば、図３におけるクロス３０３に隣接する領域は、高いサンプリングレートでレンダリングされることができ、結果として、画像スライス３０１の中心における最大の画像品質を生じさせる。一方、画像スライス３０１の外端領域は、低いサンプリングレートでレンダリングされることができ、結果として、画像スライス３０１のエッジにおいては低い画像品質を生じさせる。従って、画像スライス３０１の重要な部分(つまり中心)は、高い画像品質で表示され、一方注目度の低い部分(外端領域)は、より低い画像品質で表され、従って、計算コストを削減し、改良されたレンダリング速度を生じさせる。
その後、ステップＳ６において、例えば、その構造体と注目対象との距離のような、データセットの低レベル分析に基づくパラメタが、そのデータセットの視覚化の間に表示される。
その方法はステップＳ７で終了する。
図５は、本発明の方法の例示的な実施形態を実行するための、本発明による画像処理デバイスの例示的な実施形態を表す。図５に表される画像処理デバイスは、患者の体の組織片のような注目対象を表す画像を格納するメモリ１５２に接続される中央処理ユニット(CPU)、つまり画像プロセッサ１５１を有する。画像プロセッサ１５１は、複数の入力／出力ネットワーク、又はMRデバイス若しくは超音波画像化システムといった診断デバイスに接続されることができる。画像プロセッサは更に、例えば、コンピュータモニタのような、画像プロセッサ１５１で計算又は適合される情報又は画像を表示する表示デバイス１５４に接続される。操作者は、キーボード１５５及び／又は図５において図示省略されている他の出力デバイスを介して、画像プロセッサ１５１と対話することができる。
更に、バスシステム１５３を介して、画像処理及び制御プロセッサ１５１を、例えば、注目対象の動きを監視するモーションモニタに接続することも可能である。例えば、患者の肺が生体検査又は内視鏡検査の対象である場合、モーションセンサは、呼気センサとすることができる。心臓が画像化される場合、モーションセンサは、心電図(ECG)とすることができる。
Claims (12)
- 画像処理デバイスにより多次元データセットを視覚化する方法において、前記画像処理デバイスが、前記データセットにおける構造体のセグメント化を行うステップと、前記データセットの視覚化を行うステップとを有し、前記視覚化の投影方向が、前記構造体に基づき決定され、
前記方法が更に、前記画像処理デバイスが、前記データセットの視覚化から生じる画像においてレンダリング方法を変更するステップを有し、前記レンダリング方法の変更が、前記画像における非一様な品質をもたらし、
前記レンダリング方法の変更が、前記画像におけるサンプリングレートを変更することを有し、前記レンダリング方法の変更は、視覚化パラメタに基づき行われる、方法。 - 前記視覚化が、前記投影方向を有する視覚化パラメタに基づき行われ、前記視覚化パラメタは、前記データセットの前記セグメント化と低レベル分析との少なくとも１つに基づき決定され、前記視覚化パラメタが、前記構造体の相対位置、前記構造体に対する方向、前記構造体と注目対象との距離、動き推定及び動き補償からなるグループから選択される、請求項１に記載の方法。
- 前記構造体が、生体検査針及び内視鏡プローブのいずれかであり、前記データセットの第１の投影は、前記構造体の長手軸の方向で行われ、結果として、前記長手軸の方向に垂直な画像表面領域を持つ第１の画像を生じさせ、前記データセットの第２の投影が、前記構造体の長手軸に垂直な方向で行われ、結果として、前記構造体を有する第２の画像を生じさせる、請求項１に記載の方法。
- 前記視覚化パラメタの少なくとも１つが、前記データセットの視覚化の間に表示される、請求項３に記載の方法。
- 前記セグメント化が、Hough変換とアクティブローカライザの決定とのいずれかに基づき行われる、請求項１に記載の方法。
- 前記データセットが、超音波画像化システム、CT画像化システム及びMR画像化システムのいずれかを用いて得られる、請求項１に記載の方法。
- 多次元データセットを視覚化するための画像処理デバイスであって、前記データセットを格納するメモリと、前記データセットをロードする処理、前記データセットにおける構造体のセグメント化を行う処理及び前記データセットの視覚化を行う処理を行う画像プロセッサとを有し、前記視覚化の投影方向が、前記構造体に基づき決定され、
前記データセットの視覚化から生じる画像におけるレンダリング方法が変更され、前記レンダリング方法の変更が、前記画像における非一様な品質をもたらし、
前記レンダリング方法の変更が、前記画像におけるサンプリングレートを変更することを有し、前記レンダリング方法の変更は、視覚化パラメタに基づき行われる、画像処理デバイス。 - 前記構造体が生体検査針であり、前記視覚化は視覚化パラメタに基づき行われ、前記視覚化パラメタが、前記データセットの前記セグメント化と低レベル分析との少なくとも１つに基づき決定され、前記視覚化パラメタは、前記構造体の相対位置、前記構造体に対する方向、前記構造体と注目対象との距離、及び動き推定からなるグループから選択され、前記データセットの第１の投影が、前記生体検査針の長手軸の方向で行われ、結果として、前記長手軸の方向に垂直な画像表面領域を持つ第１の画像を生じさせ、前記データセットの第２の投影は、前記生体検査針の長手軸に垂直な方向で行われ、結果として、前記生体検査針を有する第２の画像を生じさせる、請求項７に記載の画像処理デバイス。
- 画像化システムであって、多次元データセットを格納するメモリと、前記データセットの視覚化を行う画像プロセッサとを有し、該画像プロセッサが、前記データセットをロードする処理と、前記データセットにおける構造体のセグメント化を行う処理と、前記データセットの視覚化を行う処理とを行い、前記視覚化の投影方向は、前記構造体に基づき決定され、
前記データセットの視覚化から生じる画像におけるレンダリング方法が変更され、前記レンダリング方法の変更が、前記画像における非一様な品質をもたらし、
前記レンダリング方法の変更が、前記画像におけるサンプリングレートを変更することを有し、前記レンダリング方法の変更は、視覚化パラメタに基づき行われる、画像化システム。 - 前記構造体が生体検査針であり、前記視覚化は視覚化パラメタに基づき行われ、前記視覚化パラメタが、前記データセットの前記セグメント化と低レベル分析との少なくとも１つに基づき決定され、前記視覚化パラメタは、前記構造体の相対位置、前記構造体に対する方向、前記構造体と注目対象との距離、及び動き推定からなるグループから選択され、前記データセットの第１の投影が、前記生体検査針の長手軸の方向で行われ、結果として、前記長手軸の方向に垂直な画像表面領域を持つ第１の画像を生じさせ、前記データセットの第２の投影は、前記生体検査針の長手軸に垂直な方向で行われ、結果として、前記生体検査針を有する第２の画像を生じさせる、請求項９に記載の画像化システム。
- 前記画像化システムが、MR画像化システム、CT画像化システム及び超音波画像化システムのいずれかである、請求項９に記載の画像化システム。
- 多次元データセットの視覚化を行うためのコンピュータプログラムであって、該コンピュータプログラムは、画像プロセッサで実行されるとき、該画像プロセッサに、前記データセットをロードする処理と、前記データセットにおける構造体のセグメント化を行う処理と、前記データセットの視覚化を行う処理とを行わせ、前記視覚化の投影方向が前記構造体に基づき決定され、
前記データセットの視覚化から生じる画像におけるレンダリング方法が変更され、前記レンダリング方法の変更が、前記画像における非一様な品質をもたらし、
前記レンダリング方法の変更が、前記画像におけるサンプリングレートを変更することを有し、前記レンダリング方法の変更は、視覚化パラメタに基づき行われる、コンピュータプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP04101579.3 | 2004-04-16 | ||
| EP04101579 | 2004-04-16 | ||
| PCT/IB2005/051186 WO2005101277A2 (en) | 2004-04-16 | 2005-04-11 | Data set visualization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007532226A JP2007532226A (ja) | 2007-11-15 |
| JP4829217B2 true JP4829217B2 (ja) | 2011-12-07 |
Family
ID=34963765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007507909A Expired - Fee Related JP4829217B2 (ja) | 2004-04-16 | 2005-04-11 | データセットの視覚化 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7742639B2 (ja) |
| EP (1) | EP1741042A2 (ja) |
| JP (1) | JP4829217B2 (ja) |
| CN (1) | CN101002205B (ja) |
| WO (1) | WO2005101277A2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7398116B2 (en) | 2003-08-11 | 2008-07-08 | Veran Medical Technologies, Inc. | Methods, apparatuses, and systems useful in conducting image guided interventions |
| US8150495B2 (en) | 2003-08-11 | 2012-04-03 | Veran Medical Technologies, Inc. | Bodily sealants and methods and apparatus for image-guided delivery of same |
| US20070066881A1 (en) | 2005-09-13 | 2007-03-22 | Edwards Jerome R | Apparatus and method for image guided accuracy verification |
| WO2007033206A2 (en) | 2005-09-13 | 2007-03-22 | Veran Medical Technologies, Inc. | Apparatus and method for image guided accuracy verification |
| US8195278B2 (en) * | 2006-05-15 | 2012-06-05 | Siemens Medical Solutions Usa, Inc. | Method for automatically determining an image plane having a biopsy device therein |
| US20100165000A1 (en) * | 2007-05-29 | 2010-07-01 | Koninklijke Philips Electronics N.V. | Visualizing objects of a video signal |
| ATE469410T1 (de) * | 2007-10-09 | 2010-06-15 | Agfa Healthcare Nv | Verfahren und vorrichtung zur volumendarstellung medizinischer datensätze |
| US20100016710A1 (en) * | 2008-07-11 | 2010-01-21 | Dinesh Kumar | Prostate treatment apparatus |
| US9196046B2 (en) | 2009-03-27 | 2015-11-24 | Koninklijke Philips N.V. | Medical imaging |
| US20120071753A1 (en) | 2010-08-20 | 2012-03-22 | Mark Hunter | Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping |
| US9138165B2 (en) | 2012-02-22 | 2015-09-22 | Veran Medical Technologies, Inc. | Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation |
| GB2505926A (en) * | 2012-09-14 | 2014-03-19 | Sony Corp | Display of Depth Information Within a Scene |
| US11341156B2 (en) | 2013-06-13 | 2022-05-24 | Microsoft Technology Licensing, Llc | Data segmentation and visualization |
| JP6636500B2 (ja) | 2014-04-15 | 2020-01-29 | ４ディーエックス リミテッド | イメージング方法 |
| US20150305650A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue |
| US20150305612A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter |
| US9779134B2 (en) * | 2014-12-26 | 2017-10-03 | Business Objects Software Ltd. | System and method of data wrangling |
| WO2016127295A1 (zh) * | 2015-02-09 | 2016-08-18 | 北京汇影互联科技有限公司 | 一种磁共振系统中获得感兴趣区域位置信息的方法及装置 |
| US11723617B2 (en) | 2016-02-03 | 2023-08-15 | 4DMedical Limited | Method and system for imaging |
| AU2017225895B2 (en) | 2016-03-04 | 2022-02-10 | 4DMedical Limited | Method and system for imaging |
| JP7049325B6 (ja) * | 2016-09-23 | 2022-06-01 | コーニンクレッカ フィリップス エヌ ヴェ | 体外画像における器具に関連する画像オブジェクトの可視化 |
| CN114869313A (zh) * | 2022-07-11 | 2022-08-09 | 北京中研海康科技有限公司 | 摄影机器人 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002209890A (ja) * | 2001-01-15 | 2002-07-30 | Fuji Photo Film Co Ltd | 超音波診断装置 |
| JP2003512915A (ja) * | 1999-11-03 | 2003-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 容積均一走査形超音波診断撮像システム |
| JP2003284717A (ja) * | 2001-12-31 | 2003-10-07 | Medison Co Ltd | 生検針観察装置及びその方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7286695B2 (en) * | 1996-07-10 | 2007-10-23 | R2 Technology, Inc. | Density nodule detection in 3-D digital images |
| JP3723663B2 (ja) * | 1997-07-15 | 2005-12-07 | フクダ電子株式会社 | 超音波診断装置 |
| AU9482698A (en) | 1997-09-29 | 1999-04-23 | Medsim Advanced Radiology Medical Simulation Ltd. | Interventional radiology guidance system |
| US6348058B1 (en) * | 1997-12-12 | 2002-02-19 | Surgical Navigation Technologies, Inc. | Image guided spinal surgery guide, system, and method for use thereof |
| US6470207B1 (en) | 1999-03-23 | 2002-10-22 | Surgical Navigation Technologies, Inc. | Navigational guidance via computer-assisted fluoroscopic imaging |
| US6610013B1 (en) * | 1999-10-01 | 2003-08-26 | Life Imaging Systems, Inc. | 3D ultrasound-guided intraoperative prostate brachytherapy |
| US6826311B2 (en) | 2001-01-04 | 2004-11-30 | Microsoft Corporation | Hough transform supporting methods and arrangements |
| AUPR812601A0 (en) | 2001-10-09 | 2001-11-01 | Integra Medical Imaging (Aust) Pty Ltd | 2-D and 3-D pose estimation of articles from 2-D images |
| US7542622B1 (en) * | 2003-06-02 | 2009-06-02 | The Trustees Of Columbia University In The City Of New York | Spatio-temporal treatment of noisy images using brushlets |
-
2005
- 2005-04-11 JP JP2007507909A patent/JP4829217B2/ja not_active Expired - Fee Related
- 2005-04-11 EP EP20050718693 patent/EP1741042A2/en not_active Withdrawn
- 2005-04-11 WO PCT/IB2005/051186 patent/WO2005101277A2/en not_active Application Discontinuation
- 2005-04-11 US US10/599,864 patent/US7742639B2/en not_active Expired - Fee Related
- 2005-04-11 CN CN2005800113278A patent/CN101002205B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003512915A (ja) * | 1999-11-03 | 2003-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 容積均一走査形超音波診断撮像システム |
| JP2002209890A (ja) * | 2001-01-15 | 2002-07-30 | Fuji Photo Film Co Ltd | 超音波診断装置 |
| JP2003284717A (ja) * | 2001-12-31 | 2003-10-07 | Medison Co Ltd | 生検針観察装置及びその方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101002205B (zh) | 2010-12-08 |
| WO2005101277A8 (en) | 2006-10-05 |
| US7742639B2 (en) | 2010-06-22 |
| US20070161892A1 (en) | 2007-07-12 |
| JP2007532226A (ja) | 2007-11-15 |
| WO2005101277A3 (en) | 2006-03-30 |
| CN101002205A (zh) | 2007-07-18 |
| WO2005101277A2 (en) | 2005-10-27 |
| EP1741042A2 (en) | 2007-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4829217B2 (ja) | データセットの視覚化 | |
| JP5002599B2 (ja) | 医用３ｄデータ画像表示面を互いに関係づけるための方法及び装置 | |
| US7742631B2 (en) | Adaptive sampling along edges for surface rendering | |
| JP5478328B2 (ja) | 診断支援システム、診断支援プログラムおよび診断支援方法 | |
| US20080081998A1 (en) | System and method for three-dimensional and four-dimensional contrast imaging | |
| US20070066880A1 (en) | Image-based probe guidance system | |
| JP5295562B2 (ja) | フレキシブル３次元回転血管造影−コンピュータ断層撮影融合方法 | |
| JP2007532202A (ja) | ボリューム画像のパノラマビュー画像の作成システムおよび方法 | |
| RU2419882C2 (ru) | Способ визуализации секущих плоскостей для изогнутых продолговатых структур | |
| US20200020127A1 (en) | Examination support device, examination support method, and examination support program | |
| JP5235103B2 (ja) | 超音波診断装置 | |
| JP4686279B2 (ja) | 医用診断装置及び診断支援装置 | |
| US9589204B2 (en) | Quantification of a characteristic of a lumen of a tubular structure | |
| JP2007097902A (ja) | 超音波検査システム | |
| JP5484998B2 (ja) | 医用画像処理装置及び脂肪領域計測用制御プログラム | |
| Bartz et al. | Virtual endoscopy for cardio vascular exploration | |
| US20050148853A1 (en) | Method for supporting navigation of a medical instrument, in particular of a catheter | |
| RU2735068C1 (ru) | Система и способ для визуализации на дисплее изображения частично уплощенной поверхности внутренней поверхности полости, а также постоянный машиночитаемый носитель | |
| US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
| JP4318799B2 (ja) | 画像表示装置 | |
| JP2020018767A (ja) | 超音波診断システム | |
| WO2023032931A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| JP2008080158A (ja) | 医用画像診断装置 | |
| JP2023036499A (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| CN118154775A (zh) | 一种肺部气道三维模型的构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101125 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110203 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4829217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |