JP3836097B2 - 医用画像生成装置および方法、ならびに、プログラム - Google Patents

医用画像生成装置および方法、ならびに、プログラム Download PDF

Info

Publication number
JP3836097B2
JP3836097B2 JP2003327863A JP2003327863A JP3836097B2 JP 3836097 B2 JP3836097 B2 JP 3836097B2 JP 2003327863 A JP2003327863 A JP 2003327863A JP 2003327863 A JP2003327863 A JP 2003327863A JP 3836097 B2 JP3836097 B2 JP 3836097B2
Authority
JP
Japan
Prior art keywords
medical image
display color
shading
image generation
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003327863A
Other languages
English (en)
Other versions
JP2005087602A (ja
Inventor
和彦 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2003327863A priority Critical patent/JP3836097B2/ja
Priority to US10/913,885 priority patent/US7639867B2/en
Publication of JP2005087602A publication Critical patent/JP2005087602A/ja
Application granted granted Critical
Publication of JP3836097B2 publication Critical patent/JP3836097B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、画像診断等に用いる3次元医用画像を生成する医用画像生成装置および方法、ならびに、プログラムに関し、特に、浸潤的異状部位の診断に好適な医用画像生成装置および方法、ならびに、プログラムに関する。
従来より、例えば、CTスキャナやMRI装置などのモダリティ(撮像装置)で人体内部の断層(スライス)画像を撮像して疾病等の診断を行う画像診断が行われている。また、撮像された断層画像から、所定の臓器や器官などの3次元画像を生成して診断を行う手法なども確立しており、精緻かつ正確な診断に寄与している。
人体内部の臓器等を3次元的に表示するために、「レイキャスティング」と呼ばれる手法を用いてボリュームレンダリングを行うことが一般的である。「レイキャスティング」では、ボクセルに仮想的な光線を投射し、光線が到達したボクセル群の反射計算を行うことで、各画素毎の値(例えば、色情報であるRGB値など)を求めることで3次元画像が生成される。さらに、光線周辺のボクセル値より傾斜(グラディエント)係数を求めることで、表面の陰影が描画され、表面形状を明確に表示する手法も確立している(例えば、特許文献1)。
このような手法により腸管の腸壁表面を3次元画像化した例を図9に示す。図示するように、グラディエント計算により表面形状(陰影)が明確に表示されるため、腸壁表面上に発現したポリープ(潰瘍)など(図中矢印にて示した箇所)が明確に表示される。したがって、上記手法によって生成される3次元画像を用いた診断は、人体内部に発現した異状部位の発見に有用である。
しかしながら、上記手法による3次元画像では、表面上の異状部位については明確に表示することができるが、例えば、組織の内部に浸潤的に発現する異状部位を画像上に表すことができなかった。図10は、そのような浸潤的な異状部位が発現している腸管を上記手法により3次元画像化した例であるが、図示するように、浸潤的な異状部位を画面上で確認することはできない。
このような問題を解決するため、ボリュームレンダリングの際に表面部分の不透明度(オパシティ値)を下げることで表面を擬似的に透過させ、表面より下の部分を表示させる手法が用いられることがある。このような方法により生成された3次元画像の例を図11に示す。図示するように、このような手法によれば、上記のような浸潤的な異状部位を、例えば、着色表示などにより識別可能に表示することができる(図中矢印にて示した箇所)。しかしながら、図10と比較して明らかなように、この方法では表面部分の描画が不明確になり、表面形状が明確に表示されなくなってしまう。すなわち、浸潤的な異状部位などを表示することができる反面、表面上のポリープ等が表示されなくなるといった不都合が生じていた。このため、診断の際に、例えば、不透明度が異なる複数の画像を用意したり、あるいは、不透明度を切り替えながら表示させなければならず、煩雑な作業と時間を要し、迅速な診断の妨げとなっていた。
特開2002−312809号公報
本発明は上記実状に鑑みてなされたもので、異状部位を適切に表示できる医用画像処理装置、医用画像処理方法、および、プログラムを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点にかかる医用画像生成装置は、
生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成装置であって、
所定のボクセル値と、指定された表示色を示す表示色情報とを対応づける表示色設定手段と、
前記仮想光線の到達位置のシェーディングをおこなうシェーディング手段と、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するシフト位置特定手段と、
前記シフト位置特定手段が特定したシフト位置のボクセル値に対応づけられている表示色情報を取得する表示色情報取得手段と、
所定部位の表示色を設定する表示色設定手段と、
前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記表示色設定手段が設定した表示色に基づいて変更する色情報変更手段と、
前記シェーディング手段が算出した前記仮想光線の到達位置でのシェーディング結果と、前記色情報変更手段が変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成する画像生成手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明の第2の観点にかかる医用画像生成装置は、
生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成装置であって、
前記仮想光線の到達位置のシェーディングをおこなうシェーディング手段と、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するシフト位置特定手段と、
前記シフト位置特定手段が特定したシフト位置の階調情報を取得する階調情報取得手段と、
前記シェーディング手段による前記仮想光線の到達位置でのシェーディング結果と、前記階調情報取得手段が取得した前記シフト位置の階調情報とを用いて3次元医用画像を生成する画像生成手段と、
を備えることを特徴とする
上記医用画像生成装置は、
所定のボクセル値と、指定された表示階調を示す表示階調情報とを対応づける表示階調設定手段をさらに備えていることが望ましく、この場合、
前記シフト位置特定手段は、前記シフト位置を含んだボクセル値を取得し、
前記階調情報取得手段は、前記シフト位置特定手段が取得したボクセル値に対応づけられている表示階調情報を、前記階調情報として取得することが望ましい。
上記医用画像生成装置において、
前記シェーディング手段は、
前記仮想光線の到達位置におけるグラディエントを算出するグラディエント算出手段と、
前記グラディエント算出手段が算出したグラディエントを用いてシェーディング係数を算出するシェーディング係数算出手段と、をさらに備えていることが望ましく、この場合、
前記画像生成手段は、前記シェーディング係数算出手段が算出したシェーディング係数と、前記階調情報取得手段が取得した階調情報と、を用いて3次元医用画像を生成することが望ましい
上記医用画像生成装置は、
前記表示階調設定手段により対応づけられた情報を記憶する記憶手段をさらに備えていることが望ましい。
上記医用画像生成装置において、
前記階調情報は、色情報とすることができ、
この場合、
前記表示階調設定手段は、
所定の浸潤的異状部位の表示色を設定する表示色設定手段と、
該浸潤的異状部位を示すボクセル値に対応づけられた色情報を、前記表示色設定手段が設定した表示色に基づいて更新する色情報更新手段と、をさらに備え、
前記画像生成手段は、前記色情報更新手段が更新した色情報を用いて、前記浸潤的異状部位が前記表示色で表示された3次元医用画像を生成する、ことが望ましい。
上記目的を達成するため、本発明の第3の観点にかかる医用画像生成方法は、
コンピュータを用いて、生体内部を示すボクセルデータを用いて3次元医用画像を生成する画像生成方法において、
所定のボクセル値と、指定された表示色を示す表示色情報とを対応づけるステップと、
前記仮想光線の到達位置のシェーディングをおこなうステップと、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
前記特定したシフト位置のボクセル値に対応づけられている表示色情報を取得するステップと、
所定部位の表示色を設定するステップと、
前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記設定した表示色に基づいて変更するステップと、
前記仮想光線の到達位置でのシェーディング結果と、前記変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成するステップと、
を備えることを特徴とする
上記目的を達成するため、本発明の第の観点にかかる医用画像生成方法は、
コンピュータを用いて、生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成方法であって、
前記仮想光線の到達位置のシェーディングをおこなうステップと、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
前記特定したシフト位置の階調情報を取得するステップと、
前記仮想光線の到達位置でのシェーディング結果と、前記シフト位置の階調情報とを用いて3次元医用画像を生成するステップと、
を備えることを特徴とする。
上記目的を達成するため、本発明の第の観点にかかるプログラムは、
コンピュータに、
所定のボクセル値と、指定された表示色を示す表示色情報とを対応づけるステップと、
前記仮想光線の到達位置のシェーディングをおこなうステップと、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
前記特定したシフト位置のボクセル値に対応づけられている表示色情報を取得するステップと、
所定部位の表示色を設定するステップと、
前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記設定した表示色に基づいて変更するステップと、
前記仮想光線の到達位置でのシェーディング結果と、前記変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成するステップと、
を実行させることを特徴とする。
また、上記目的を達成するため、本発明の第6の観点にかかるプログラムは、
コンピュータに、
前記仮想光線の到達位置のシェーディングをおこなうステップと、
前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
前記特定したシフト位置の階調情報を取得するステップと、
前記仮想光線の到達位置でのシェーディング結果と、前記シフト位置の階調情報とを用いて3次元医用画像を生成するステップと、
を実行させることを特徴とする。
本発明によれば、レイキャスティング手法を用いた3次元医用画像を生成する際、対象表面の陰影形状を明確に表示しつつ、表面下に発現している浸潤的異状部位を識別可能に表示させることができる。
本発明にかかる実施の形態を、以下図面を参照して説明する。以下に説明する実施の形態においては、所定の医療施設(以下、「医療施設H」とする)における3次元画像診断に本発明が適用される場合を例に説明する。
図1は、本発明の実施の形態にかかる画像診断システムの構成を示す図である。図示するように、本実施の形態にかかる画像診断システム1は、通信ネットワーク10と、モダリティ100と、制御端末200と、画像処理装置300、から構成される。
通信ネットワーク10は、医療施設H内で、制御端末200や画像処理装置300を相互接続し、これらの間の情報伝達を媒介する通信ネットワークであり、例えば、DICOM(Digital Imaging and COmmunications in Medicine)などの所定の通信プロトコルに基づいた情報伝達を媒介する。
次にモダリティ100について説明する。モダリティ100は、人体内部を撮像する撮像装置であり、例えば、CTスキャナ(コンピュータ断層撮影装置)、ヘリカルCT、MRI(磁気共鳴画像装置)、PET(ポジトロン断層撮影装置)などである。本実施の形態では、X線を用いて人体内部の断層画像を撮像するCTスキャナをモダリティ100として採用するものとする。
本実施の形態では、モダリティ100(CTスキャナ)は、後述する制御端末200により制御され、患者や受診者など(以下、「受診者等」とする)の内部(生体内部)についての断層画像(スライス)を撮像するものである。ここで、本実施の形態では、モダリティ100としてCTスキャナを採用しているので、断層画像を示す情報には、X線吸収係数であるCT値などが含まれる。モダリティ100と制御端末200とは、例えば、DICOMなどの所定の医用画像通信規格に基づいて接続されている。
次に制御端末200について説明する。制御端末200は、ワークステーションなどの所定の情報処理装置から構成され、接続されているモダリティ100の動作を制御するとともに、モダリティ100による撮像により取得される撮像画像データ(元データ)を取得する。図2を参照して制御端末200の構成を説明する。
図2は、制御端末200の構成を示すブロック図である。図示するように、制御端末200は、制御部210と、通信制御部220と、入力制御部230と、出力制御部240と、プログラム格納部250と、記憶部260と、から構成される。
制御部210は、例えば、CPU(Central Processing Unit:中央演算処理装置)やワークエリアとなる所定の記憶装置(RAM(Random Access Memory)など)から構成され、制御端末200の各部を制御するとともに、プログラム格納部250に格納されている所定の動作プログラムに基づいて後述する各処理を実行する。
通信制御部220は、例えば、NIC(Network Interface Card)などの所定の通信装置から構成され、制御端末200とモダリティ100および通信ネットワーク10とを接続し、モダリティ100や画像処理装置300との通信を行う。
入力制御部230は、例えば、キーボードやポインティング・デバイスなどの所定の入力装置23を接続し、入力装置23から入力された、制御部210への指示などを受け付けて制御部210に伝達する。
出力制御部240は、例えば、ディスプレイ装置やプリンタなどの所定の出力装置24を接続し、制御部210の処理結果などを必要に応じて出力装置24に出力する。
プログラム格納部250は、例えば、ハードディスク装置やROM(Read Only Memory)などの所定の記憶装置から構成され、制御部210が実行する種々の動作プログラムが格納されている。プログラム格納部250に格納される動作プログラムは、制御端末200の基本動作を司る任意のOS(Operating System:基本ソフトウェア)の他に、OSと協働して後述する各処理を実現するための、以下に示すような動作プログラムが格納されているものとする。後述する制御端末200による処理は、制御部210がこれらの動作プログラムを実行することで実現される。
(1)「モダリティ制御プログラム」:モダリティ100の制御を行うプログラム
(2)「通信プログラム」:通信制御部220を制御し、モダリティ100との通信や、通信ネットワーク10を介した通信を行うプログラム
記憶部260は、例えば、RAMやハードディスク装置などの記憶装置などから構成され、モダリティ100から取得した撮像画像データを格納する。
ここで、モダリティ100から得られる「撮像画像データ」(元データ)は、撮像領域の「3次元ボリュームデータ」を示すものである。この3次元ボリュームデータは、当該領域における座標系情報、および、各座標におけるボクセル値などから構成される。本実施の形態では、モダリティ100として「CTスキャナ」を採用しているので、ボクセル値として「CT値」が用いられるものとする。ここで「CT値」は、X線吸収係数を示す値であり、このCT値に基づいて画素値を算出して画像を生成すると、CT値の違いが画像上の明るさの違いとなって現れ、生体内部の3次元画像を得ることができる。
次に、画像処理装置300について説明する。画像処理装置300は、例えば、ワークステーションなどの所定の情報処理装置から構成され、制御端末200から取得する撮像画像データ(3次元ボリュームデータ)を用いて、3次元診断画像(医用画像)を生成するものである。画像処理装置300の構成を図3を参照して以下説明する。
図3は、画像処理装置300の構成を示すブロック図である。図示するように、画像処理装置300は、制御部310と、通信制御部320と、入力制御部330と、出力制御部340と、プログラム格納部350と、記憶部360と、から構成される。
制御部310は、例えば、CPUやワークエリアとなる所定の記憶装置(RAMなど)から構成され、画像処理装置300の各部を制御するとともに、プログラム格納部350に格納されている所定の動作プログラムに基づいて後述する各処理を実行する。
通信制御部320は、例えば、NICなどの所定の通信装置から構成され、画像処理装置300と通信ネットワーク10とを接続し、制御端末200などとの通信を行う。
入力制御部330は、例えば、キーボードやポインティング・デバイスなどの所定の入力装置33を接続し、入力装置33から入力された、制御部310への指示や各データベースに記録される情報などを受け付けて制御部310に伝達する。
出力制御部340は、例えば、ディスプレイ装置やプリンタなどの所定の出力装置34を接続し、制御部310の処理結果などを必要に応じて出力装置34に出力する。
プログラム格納部350は、例えば、ハードディスク装置やROMなどの所定の記憶装置から構成され、制御部310が実行する種々の動作プログラムが格納されている。プログラム格納部350に格納される動作プログラムには、画像処理装置300の基本動作を司る任意のOSの他に、OSと協働して後述する各処理を実現するための、以下のような動作プログラムが含まれているものとする。後述する画像処理装置300による処理は、制御部310がこれらの動作プログラムを実行することで実現される。
(1)「通信プログラム」:通信制御部320を制御し、通信ネットワーク10を介して制御端末200などと通信を行うプログラム
(2)「入出力制御プログラム」:記憶部360の入出力を制御するプログラム
(3)「画像処理プログラム」:制御端末200から取得した撮像画像データに画像処理を行って医用画像を生成するプログラム
記憶部360は、例えば、半導体記憶装置やハードディスク装置などの書き換え可能な記憶装置などから構成され、撮像画像データを構成する「ボクセル値」に、「カラー値」(色彩の階調を指定するRGB値など)や「不透明度」(オパシティ値)などを対応付けた「参照テーブル」(Look-Up Table:以下、「LUT」とする)、および、後述する各処理により取得されるデータや生成される3次元診断画像などを格納する。
記憶部360に格納される「LUT」の例を図4に示す。図示するように、LUTには、例えば、人体内部を撮像した際に得られるCT値の範囲に対応するCT値(ボクセル値)毎に、RGB毎の「カラー値」および不透明度を示す「オパシティ値」が記録される。
ここで、CT値とカラー値の対応関係は任意に設定できるものである。すなわち、人体内部を構成する物質毎に得られるおよそのCT値が予め決まっているので、診断対象部位を示すCT値と対応する色情報とを予め任意に設定することで、当該部位を着色表示させることができる。例えば、「骨」を赤い色調で表示させたい場合は、骨を示すCT値に対応する画素を赤い色調で表示するよう、当該CT値に対応するRGB値を設定する。同様にして、所定の観察対象領域に生じる異状部位を示すCT値に対応するRGB値を適宜設定することで、異状部位を任意の色調で着色表示させて、他の部分より識別的に表示することができる。ここで、画像処理装置300は、例えば、着色表示に用いる色の色見本を表示し、オペレータに所望の色を選択させる。画像処理装置300は、対象とする異常部位を示すCT値に応じて、当該異常部位が指定された色の色調で表示されるよう、各CT値に対応するカラー値を設定する。
また、オパシティ値は、例えば、診断内容などに基づく表示対象の違いなどにより任意に設定できるものである。例えば、「空気」を表示させたくない場合には、「空気」を示すCT値に対応するオパシティ値を「0」に設定する。
次に、本実施の形態にかかる画像診断システム1の動作を以下説明する。
まず、本実施の形態にかかる「撮像処理」を図5に示すフローチャートを参照して説明する。本処理は、モダリティ100と制御端末200との協働により、受診者等の人体内部断層画像(スライス)を取得するためのものであり、主に制御端末200の動作を中心に以下説明する。
撮像動作を実行するにあたり、まず、制御端末200において所定の撮像条件情報が設定される(ステップS101)。ここでは、撮像対象領域の指定や造影剤使用の有無などといった撮像諸条件が設定される。
制御端末200は、ステップS101で設定された撮像条件に従い、モダリティ100を制御する(ステップS102)。すなわち、モダリティ100は、制御端末200の制御により、上記撮像条件に基づいた撮像動作を行う。この結果、モダリティ100は、設定された撮像領域における、撮像画像データ(3次元ボリュームデータ)を取得する。
モダリティ100の撮像動作が終了すると、制御端末200は、モダリティ100から撮像した撮像画像データを取得し(ステップS103)、記憶部260に格納して(ステップS104)、処理を終了する。
本発明では、上記「撮像処理」で取得した撮像画像データを用いたレイキャスティング手法により、人体内部の3次元画像(以下、「3次元医用画像」とする)を生成するものとする。レイキャスティング手法による3次元医用画像生成の概念を図6を参照して説明する。
図6において、510は空間におかれた任意の始点O(Ox,Oy,Oz)、520はボクセルデータで表現される3次元物体、530は仮想投影面である。
始点510から照射される仮想光線(レイ)に沿って仮想反射光を算出するためのレイ到達点が一定の間隔で刻まれる。521は始点O(Ox,Oy,Oz)からレイ到達点R(Rx,Ry,Rz)に至るレイベクトル、522はレイ到達点を刻む間隔を表わすステップベクトルΔS=(ΔSx,ΔSy,ΔSz)、531は仮想投影面530上の座標(u,v)に投影された仮想反射光E(u,v)である。ここで、「Rx、Ry、Rz、ΔSx、ΔSy、ΔSz」は(u,v)の関数になる。
図6では仮想投影面530が仮想光線の到達方向にあるが、始点510を、例えば、仮想的な眼球の水晶体と考えると、この眼球の網膜512上の座標(u,v)に仮想反射光511がE’(u,v)として投影され、これを始点510に対して対称方向に拡大表示したものが仮想投影面530上の仮想反射光E(u,v)であると考えることができる。
ここで、仮想光線上のn番目のレイ到達点Rnに位置するボクセルVn(Rxn,Ryn,Rzn)について、そのボクセル値に対して与えられた不透明度を「α(Rxn,Ryn,Rzn)」、ボクセルデータのグラディエントから得られたシェーディング係数を「β(Rxn,Ryn,Rzn)」、ボクセルV(n−1)からの残存光を「I(n−1)」、ボクセルVnの残存光を「In」、ボクセルVnの減衰光を「Dn」、ボクセルVnによる部分反射光を「Fn」、ボクセルVnに対応する階調情報を「Cn」とすると、以下の数式1〜数式3を得る。
(数1)
Dn=α(Rxn,Ryn,Rzn)×I(n−1)
(数2)
Fn=Cnβ(Rxn,Ryn,Rzn)×Dn=Cnβ(Rxn,Ryn,Rzn)×α(Rxn,Ryn,Rzn)×I(n−1)
(数3)
In=I(n−1)−Dn=(1−α(Rxn,Ryn,Rzn))×I(n−1)
また、仮想投影面530上の座標(u,v)に投影される仮想反射光E(u,v)を求めると、前述の表記法を用いて次の数式4を得る。
(数4)
E(u,v)=Σ(i=1;終端条件)Fi=I(0)×(Σ(i=1;終端条件)Ci×β(Rxi,Ryi,Rzi)×α(Rxi,Ryi,Rzi)×(Π(j=1;i−1)(1−α(Rxj,Ryj,Rzj))))
ここで、終端条件は仮想光線が物体を通り抜けるか、残存光が0になったときである。このようにして、仮想投影面530上のすべての座標(u,v)についてE(u,v)を算出することにより仮想的な3次元イメージの透視画像が形成される。
上記のようなレイキャスティング手法を用いた、本実施の形態にかかる「医用画像生成処理」を図7に示すフローチャートを参照して説明する。この「医用画像生成処理」は、画像処理装置300が「画像処理プログラム」を実行することによって実現されるものであり、例えば、オペレータによる所定の操作により開始される。なお、本実施の形態では、「腸管」を診断対象とし、腸管表面および表面下に浸潤的に発現する異状部位の発見を目的とした3次元医用画像を生成するものとする。また、上記各記号と同一の記号で示される値については、上記数式1〜4のうちの対応する数式によって算出されるものとする。
まず、制御部310は、始点O(Ox,Oy,Oz)、ステップベクトルΔS=(ΔSx,ΔSy,ΔSz)を設定するとともに、反射光E=0、残存光I=1に初期化する(ステップS201)。
次に、発見対象とする浸潤的異状部位について、表面からの深度(以下、「浸潤部位深度」とする)を設定するとともに、当該異状部位の着色設定をおこなう(ステップS202)。ここでは、オペレータにより、腸管表面を示すボクセルからどの程度表面下にある浸潤的異状部位を対象とするかを示す距離情報を入力し、制御部310がこれをシフトベクトル値SV(SVx,SVy,SVz)として設定する。また、オペレータにより、当該異状部位をどのような色調で着色表示するかが設定入力されると、制御部310は、記憶部360にアクセスし、当該浸潤的異状部位を示すCT値に対応するRGB値が設定した色調となるようLUTを更新する。なお、シフトベクトルSVの設定は、上記のような距離情報の入力に限られず、例えば、ベクトル値で入力してもよい。また、これらの情報の入力は、オペレータからの入力の他、例えば、画像処理装置300などのコンピュータ装置によって自動的に入力することもできる。この場合の入力値は、予め設定された既定値を用いることができる他、画像処理装置300などが随時算出してもよい。また、所定のデータベースなどに複数の既定値を格納しておき、そこから選択的に取得して入力してもよい。
制御部310は、レイ到達点R(Rx,Ry,Rz)の補間ボクセル値Vを算出する(ステップS203)。ここでは、例えば、レイ到達点Rを囲む8個の立方格子点のボクセルデータから、x方向、y方向、z方向それぞれの補間計算をおこなう。
制御部310は、当該補間ボクセル値Vに対応するオパシティ値αをLUTから取得する(ステップS204)。
次に制御部310は、レイ到達点の座標(Rx,Ry,Rz)にシフトベクトルSVを加算したシフト位置SRを算出する。すなわち、現在計算位置から設定した深度分進んだ位置の座標(SRx,SRy,SRz)を求める。制御部310はさらに、ステップS203と同様の処理により、当該シフト位置SR周辺のボクセルデータから、補間ボクセル値SVを求める(ステップS205)。
制御部310は、記憶部360のLUTを参照し、ステップS205で求めた補間ボクセル値SVに対応するカラー値SCを取得し、ワークエリアなどに保持する(ステップS206)。
制御部310は、レイ到達点R周辺のボクセルデータに基づき、当該位置のグラディエントGを求める(ステップS207)。ここでは、各格子点(X,Y,Z)のグラディエントG(X,Y,Z)=(Gx,Gy,Gz)を、格子点(X,Y,Z)の近傍のボクセルデータから計算してメモリ等に格納する。例えば「6近傍」であれば、グラディエントG(X,Y,Z)の各ベクトル成分(成分比)は以下の数式5〜数7で求められる。
(数5)
Gx(X,Y,Z)=V((X+1),Y,Z)−V((X−1),Y,Z)
(数6)
Gy(X,Y,Z)=V(X,(Y+1),Z)−V(X,(Y−1),Z)
(数7)
Gz(X,Y,Z)=V(X,Y,(Z+1))−V(X,Y,(Z−1))
制御部310は、ステップS207で求めたグラディエントGと光線方向R−Oとに基づいて、シェーディング係数βを求める(ステップS208)。
制御部310は、レイ到達点Rにおける減衰光Dを求め、更新する(ステップS209)。ここでは、以下の数式8によりDが求められる。
(数8)
D=I×α
また、制御部310は、ステップS206で取得したカラー値SCと、ステップS208で求めたシェーディング係数β、および、ステップS209で求めた減衰光Dを用いて、部分反射光Fを求める(ステップS210)。ここでは、以下の数式9により部分反射光Fを求める。
(数9)
F=β×D×SC
すなわち、カラー値のみシフト位置SRに対応する値を用いて算出することで、レイ到達点Rにおける部分反射光FにはシフトベクトルSV分の変化が現れることになる。
制御部310はさらに、初期設定の残存光IからDを減じることで残存光Iを更新するとともに、ステップS210で求めた部分反射光Fを用いて反射光Eを更新する(ステップS211)。ここでは、初期設定の反射光EにステップS210で求めた部分反射光Fを加算する。制御部310は、求めた反射光Eの値を、ワークエリアなどに保持する。
反射光Eが求められると、制御部310は、対象位置をレイ到達点RからΔS分進行させる(ステップS212)。制御部310は、進行させた位置が終端条件(すなわち、仮想光線が物体を通り抜けるか、残存光が0になったとき)となるか否かを判別し(ステップS213)、終端条件となるまで上記処理を繰り返して、各位置での反射光Eをワークエリアに保持する(ステップS213:No)。
終端位置での反射光Eが求められると(ステップS213:Yes)、制御部310は、ワークエリアに保持されている反射光Eをピクセル値Pとして、3次元画像を生成して(ステップS214)、処理を終了する。
すなわち、ピクセル値を決定するのに必要なカラー値、オパシティ値、グラディエントの各変数のうち、カラー値のみを一定値ずらした位置から取得する。つまり、例えば腸管の内壁表面を対象とした場合、表面の陰影形状に関わる変数は当該表面の位置に対応する値を用いるが、カラー値は、当該表面より所定深度内部の位置に対応する値を用いて3次元画像を生成する。これにより、腸管の内壁表面下に発現した浸潤的異状部位を設定した任意の色調で表示させることができる。このようにして得られる3次元医用画像の例を図8に示す。図示するように、腸管表面の陰影形状が表示されるとともに、浸潤的異状部位(図中、矢印で示した箇所)が、他の部分とは異なる色調で識別可能に表示される。
なお、上記実施の形態では、カラー値を設定することにより、浸潤的異状部位を任意の色調で表示するものとしたが、グレースケールなどであってもよい。この場合、カラー値に代えてグレースケールの階調値をLUTに設定し、浸潤的異状部位の濃度を変えて表示させることで、識別可能に表示させることができる。その他、シフト位置SRの階調情報に基づいて、例えば、明度やコントラストを変えることで浸潤的異状部位を識別可能に表示させてもよい。
上記実施の形態では、ボクセル値、カラー値、オパシティ値の各変数を、予め対応付けたLUTから取得する構成としたが、各変数の取得方法はこれに限られず任意である。例えば、これらの変数のすべてあるいはいずれかを、演算により求めてもよい。この場合、画像処理装置300などのコンピュータ装置が所定の関数を演算することで求めることができる。例えば、「カラー値」は、所定の「窓関数」を用いて求めることができる他、RGB値をベクトルとみなした区分連続(piecewise)関数を用いて求めることができる。また、「オパシティ値」は、例えば、所定の窓関数やウィンドウ・レベル(WL)関数などを演算することで求めることができる。
上記実施の形態では、ボクセル値とカラー値とを対応付け、シフト位置SRのボクセル値に対応づけられたカラー値を取得する構成としたが、シフト位置SRのカラー値が取得できるのであれば、任意の方法とすることができる。例えば、仮想光源から対象ボクセルまでの距離に応じてカラー値を取得してもよい。
上記実施の形態では、シフトベクトルSVを固定値としたが、例えば、計算位置の変化に応じて可変としてもよい。
上記実施の形態にかかる画像処理装置300は、専用装置で構成可能であることはもとより、例えば、パーソナルコンピュータなどの汎用コンピュータ装置などで構成することもできる。この場合、上記各処理を実現するためのプログラムの一部または全部を汎用コンピュータ装置にインストールし、OSなどの制御下で実行することにより、画像処理装置300を構成することができる。この場合のプログラム配布形態は任意である。例えば、CD−ROMなどの記録媒体に格納して配布可能であることはもとより、搬送波に重畳させることで通信媒体(インターネットなど)を介して配布することができる。
以上説明したように、本発明によれば、レイキャスティング手法を用いた3次元医用画像を生成する際、対象表面の陰影形状を明確に表示しつつ、表面下に発現している浸潤的異状部位を識別可能に表示させることができる。
本発明の実施の形態にかかる画像診断システムの構成を示す図である。 図1に示す制御端末の構成を示すブロック図である。 図1に示す画像処理装置の構成を示すブロック図である。 図3に示す画像処理装置の記憶部に記録される「LUT」の例を示す図である。 本発明の実施の形態にかかる「撮像処理」を説明するためのフローチャートである。 本発明の実施の形態で用いられる「レイキャスティング手法」の概念を説明するための図である。 本発明の実施の形態にかかる「医用画像生成処理」を説明するためのフローチャートである。 図7に示す処理により生成される3次元医用画像の例を示す図である。 従来の方法により生成される3次元医用画像の例を示す図である。 従来の方法により生成される3次元医用画像の例を示す図である。 従来の方法により生成される3次元医用画像の例を示す図である。
符号の説明
1 画像診断システム
10 通信ネットワーク
100 モダリティ
200 制御端末
300 画像処理装置

Claims (10)

  1. 生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成装置であって、
    所定のボクセル値と、指定された表示色を示す表示色情報とを対応づける表示色設定手段と、
    前記仮想光線の到達位置のシェーディングをおこなうシェーディング手段と、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するシフト位置特定手段と、
    前記シフト位置特定手段が特定したシフト位置のボクセル値に対応づけられている表示色情報を取得する表示色情報取得手段と、
    所定部位の表示色を設定する表示色設定手段と、
    前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記表示色設定手段が設定した表示色に基づいて変更する色情報変更手段と、
    前記シェーディング手段が算出した前記仮想光線の到達位置でのシェーディング結果と、前記色情報変更手段が変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成する画像生成手段と、
    を備えることを特徴とする医用画像生成装置。
  2. 生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成装置であって、
    前記仮想光線の到達位置のシェーディングをおこなうシェーディング手段と、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するシフト位置特定手段と、
    前記シフト位置特定手段が特定したシフト位置の階調情報を取得する階調情報取得手段と、
    前記シェーディング手段による前記仮想光線の到達位置でのシェーディング結果と、前記階調情報取得手段が取得した前記シフト位置の階調情報とを用いて3次元医用画像を生成する画像生成手段と、
    を備えることを特徴とする医用画像生成装置。
  3. 所定のボクセル値と、指定された表示階調を示す表示階調情報とを対応づける表示階調設定手段をさらに備え、
    前記シフト位置特定手段は、前記シフト位置を含んだボクセル値を取得し、
    前記階調情報取得手段は、前記シフト位置特定手段が取得したボクセル値に対応づけられている表示階調情報を、前記階調情報として取得する、
    ことを特徴とする請求項2に記載の医用画像生成装置。
  4. 前記シェーディング手段は、
    前記仮想光線の到達位置におけるグラディエントを算出するグラディエント算出手段と、
    前記グラディエント算出手段が算出したグラディエントを用いてシェーディング係数を算出するシェーディング係数算出手段と、をさらに備え、
    前記画像生成手段は、前記シェーディング係数算出手段が算出したシェーディング係数と、前記階調情報取得手段が取得した階調情報と、を用いて3次元医用画像を生成する、
    ことを特徴とする請求項2または3に記載の医用画像生成装置。
  5. 前記表示階調設定手段により対応づけられた情報を記憶する記憶手段をさらに備える、
    ことを特徴とする請求項3または4に記載の医用画像生成装置。
  6. 前記階調情報は、色情報であり、
    前記表示階調設定手段は、
    所定の浸潤的異状部位の表示色を設定する表示色設定手段と、
    該浸潤的異状部位を示すボクセル値に対応づけられた色情報を、前記表示色設定手段が設定した表示色に基づいて更新する色情報更新手段と、をさらに備え、
    前記画像生成手段は、前記色情報更新手段が更新した色情報を用いて、前記浸潤的異状部位が前記表示色で表示された3次元医用画像を生成する、
    ことを特徴とする請求項3乃至5のいずれか1項に記載の医用画像生成装置。
  7. コンピュータを用いて、生体内部を示すボクセルデータを用いて3次元医用画像を生成する画像生成方法において、
    所定のボクセル値と、指定された表示色を示す表示色情報とを対応づけるステップと、
    前記仮想光線の到達位置のシェーディングをおこなうステップと、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
    前記特定したシフト位置のボクセル値に対応づけられている表示色情報を取得するステップと、
    所定部位の表示色を設定するステップと、
    前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記設定した表示色に基づいて変更するステップと、
    前記仮想光線の到達位置でのシェーディング結果と、前記変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成するステップと、
    を備えることを特徴とする医用画像生成方法。
  8. コンピュータを用いて、生体内部を撮像して得られる、少なくともボクセル値を含んだボリュームデータを取得し、該ボリュームデータに仮想的に照射される光線の仮想反射光を演算するレイキャスティング手法により生体内部の3次元医用画像を生成する医用画像生成方法であって、
    前記仮想光線の到達位置のシェーディングをおこなうステップと、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
    前記特定したシフト位置の階調情報を取得するステップと、
    前記仮想光線の到達位置でのシェーディング結果と、前記シフト位置の階調情報とを用いて3次元医用画像を生成するステップと、
    を備えることを特徴とする医用画像生成方法。
  9. コンピュータに、
    所定のボクセル値と、指定された表示色を示す表示色情報とを対応づけるステップと、
    前記仮想光線の到達位置のシェーディングをおこなうステップと、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
    前記特定したシフト位置のボクセル値に対応づけられている表示色情報を取得するステップと、
    所定部位の表示色を設定するステップと、
    前記シフト位置のボクセル値のうち、前記所定部位を示すボクセル値に対応づけられている前記表示色情報を、前記設定した表示色に基づいて変更するステップと、
    前記仮想光線の到達位置でのシェーディング結果と、前記変更した表示色情報とを用いて、前記所定部位を前記表示色で表示した3次元医用画像を生成するステップと、
    を実行させることを特徴とするプログラム。
  10. コンピュータに、
    前記仮想光線の到達位置のシェーディングをおこなうステップと、
    前記仮想光線の到達位置から所定値シフトさせた位置を特定するステップと、
    前記特定したシフト位置の階調情報を取得するステップと、
    前記仮想光線の到達位置でのシェーディング結果と、前記シフト位置の階調情報とを用いて3次元医用画像を生成するステップと、
    を実行させることを特徴とするプログラム。
JP2003327863A 2003-09-19 2003-09-19 医用画像生成装置および方法、ならびに、プログラム Expired - Fee Related JP3836097B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003327863A JP3836097B2 (ja) 2003-09-19 2003-09-19 医用画像生成装置および方法、ならびに、プログラム
US10/913,885 US7639867B2 (en) 2003-09-19 2004-08-06 Medical image generating apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003327863A JP3836097B2 (ja) 2003-09-19 2003-09-19 医用画像生成装置および方法、ならびに、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006140424A Division JP2006223894A (ja) 2006-05-19 2006-05-19 医用画像生成装置および方法、ならびに、プログラム

Publications (2)

Publication Number Publication Date
JP2005087602A JP2005087602A (ja) 2005-04-07
JP3836097B2 true JP3836097B2 (ja) 2006-10-18

Family

ID=34308796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003327863A Expired - Fee Related JP3836097B2 (ja) 2003-09-19 2003-09-19 医用画像生成装置および方法、ならびに、プログラム

Country Status (2)

Country Link
US (1) US7639867B2 (ja)
JP (1) JP3836097B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640427B1 (ko) * 2004-01-05 2006-10-30 삼성전자주식회사 휴대 단말기의 데이터 및 배경 색상변경 방법
DE102005007571A1 (de) * 2005-02-18 2006-11-09 Siemens Ag Verfahren zur Visualisierung dreidimensionaler, seitens einer Datenverarbeitungseinrichtung vorliegender und/oder empfangener vektorieller Größen mit farbcodierter Richtungsinformation sowie zugehörige Vorrichtung
CN101292260B (zh) * 2005-10-21 2014-12-10 皇家飞利浦电子股份有限公司 绘制方法和设备
JP4716903B2 (ja) * 2006-03-09 2011-07-06 株式会社日立メディコ 画像表示装置及び画像処理プログラム
JP2007313003A (ja) * 2006-05-25 2007-12-06 Yokogawa Electric Corp 画像表示装置
WO2007138551A2 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Method and apparatus for volume rendering using depth weighted colorization
JP2008017906A (ja) * 2006-07-11 2008-01-31 Ziosoft Inc 画像処理方法および画像処理プログラム
JP2009160306A (ja) * 2008-01-09 2009-07-23 Ziosoft Inc 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
KR20090088715A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 무선 광 통신 시스템을 위한 망 설계 방법
JP5371949B2 (ja) * 2008-02-29 2013-12-18 株式会社日立メディコ 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法
JP5575388B2 (ja) 2008-12-03 2014-08-20 株式会社東芝 画像表示装置及びx線ct装置
US8379955B2 (en) 2010-11-27 2013-02-19 Intrinsic Medical Imaging, LLC Visualizing a 3D volume dataset of an image at any position or orientation from within or outside
WO2013014868A1 (ja) * 2011-07-28 2013-01-31 パナソニック株式会社 切削シミュレーション装置および切削シミュレーションプログラム
KR102054680B1 (ko) * 2013-01-23 2020-01-22 삼성전자주식회사 영상 처리 장치, 초음파 영상 장치 및 영상 처리 방법
US9478065B2 (en) * 2013-03-14 2016-10-25 Robert Bosch Gmbh System and method for remote generation of indirect illumination sources in three-dimensional graphics
US10692273B2 (en) * 2017-06-01 2020-06-23 Siemens Healthcare Gmbh In-context photorealistic 3D visualization for surgical decision support
JP7131080B2 (ja) * 2018-05-28 2022-09-06 大日本印刷株式会社 ボリュームレンダリング装置
US11423608B2 (en) * 2020-10-09 2022-08-23 Canon Medical Systems Corporation Irradiance volume based image rendering apparatus and method
CN116471993A (zh) * 2020-11-25 2023-07-21 松下控股株式会社 医疗用图像显示系统、医疗用图像显示方法、以及程序
CN113823385B (zh) * 2021-09-03 2024-03-19 青岛海信医疗设备股份有限公司 一种修改dicom图像的方法、装置、设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835712A (en) * 1986-04-14 1989-05-30 Pixar Methods and apparatus for imaging volume data with shading
JPH01183687A (ja) * 1988-01-16 1989-07-21 Toshiba Corp 画像データ処理装置
JP2627607B2 (ja) * 1993-06-16 1997-07-09 日本アイ・ビー・エム株式会社 ボリュームレンダリング方法
JP3974946B2 (ja) 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US5821942A (en) * 1996-03-27 1998-10-13 General Electric Company Ray tracing through an ordered array
JP2000149047A (ja) * 1998-11-12 2000-05-30 Mitsubishi Electric Inf Technol Center America Inc ボリュ―ムレンダリングプロセッサ
US6426749B1 (en) * 1998-11-12 2002-07-30 Terarecon, Inc. Method and apparatus for mapping reflectance while illuminating volume data in a rendering pipeline
US6356265B1 (en) * 1998-11-12 2002-03-12 Terarecon, Inc. Method and apparatus for modulating lighting with gradient magnitudes of volume data in a rendering pipeline
US6369816B1 (en) * 1998-11-12 2002-04-09 Terarecon, Inc. Method for modulating volume samples using gradient magnitudes and complex functions over a range of values
US6680735B1 (en) * 2000-10-04 2004-01-20 Terarecon, Inc. Method for correcting gradients of irregular spaced graphic data
JP3542779B2 (ja) 2001-04-12 2004-07-14 ザイオソフト株式会社 3次元画像表示方法
JP3766608B2 (ja) 2001-05-02 2006-04-12 テラリコン・インコーポレイテッド ネットワーク環境における三次元画像表示装置

Also Published As

Publication number Publication date
US7639867B2 (en) 2009-12-29
US20050065425A1 (en) 2005-03-24
JP2005087602A (ja) 2005-04-07

Similar Documents

Publication Publication Date Title
JP3836097B2 (ja) 医用画像生成装置および方法、ならびに、プログラム
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
US7424140B2 (en) Method, computer program product, and apparatus for performing rendering
US7463262B2 (en) Image processing apparatus and method
JP4681885B2 (ja) プロトコルベースのボリューム可視化
US20060103670A1 (en) Image processing method and computer readable medium for image processing
JP2013505778A (ja) 運動情報を用いた医用画像解析のためのコンピュータ可読媒体、システム、および方法
CN111127430A (zh) 确定医学影像显示参数的方法及装置
JP2008508018A (ja) 画像化ジオメトリのパラメタの自動決定
JP4122463B2 (ja) 医療用可視画像の生成方法
JP2004174241A (ja) 画像形成方法
US7738701B2 (en) Medical image processing apparatus, ROI extracting method and program
US20170301129A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing system
JP2006223894A (ja) 医用画像生成装置および方法、ならびに、プログラム
JP4709603B2 (ja) 医用画像処理装置
JP2010131315A (ja) 医用画像処理装置及び医用画像処理プログラム
JP7180123B2 (ja) 医用画像処理装置、医用画像処理方法、プログラム、及びデータ作成方法
JP7003635B2 (ja) コンピュータプログラム、画像処理装置及び画像処理方法
JP6418344B1 (ja) コンピュータプログラム、画像処理装置及び画像処理方法
JP2016202319A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US7116808B2 (en) Method for producing an image sequence from volume datasets
JP2002360521A (ja) 画像処理装置
US8111890B2 (en) Medical image generating device, method and program
JP2018121857A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2001351120A (ja) 三次元画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060519

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060725

R150 Certificate of patent or registration of utility model

Ref document number: 3836097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130804

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees