JP4245976B2 - 超音波画像処理装置 - Google Patents
超音波画像処理装置 Download PDFInfo
- Publication number
- JP4245976B2 JP4245976B2 JP2003139518A JP2003139518A JP4245976B2 JP 4245976 B2 JP4245976 B2 JP 4245976B2 JP 2003139518 A JP2003139518 A JP 2003139518A JP 2003139518 A JP2003139518 A JP 2003139518A JP 4245976 B2 JP4245976 B2 JP 4245976B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional image
- cutting
- dimensional
- radial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005520 cutting process Methods 0.000 claims description 54
- 239000000523 sample Substances 0.000 claims description 23
- 238000007689 inspection Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 12
- 238000002592 echocardiography Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 102100022533 Calcium-binding protein 39 Human genes 0.000 description 1
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 101000899411 Homo sapiens Calcium-binding protein 39 Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0609—Display arrangements, e.g. colour displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Acoustics & Sound (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、検査対象物に超音波を送受して超音波画像を得るための画像処理を行う超音波画像処理装置に関する。
【0002】
【従来の技術】
近年、超音波診断装置は、医療用分野及び工業用分野において、広く用いられる。超音波診断装置は、超音波を検査対象物に送受信することにより、検査対象物内を非侵襲的に診断するものである。
【0003】
超音波診断装置は、超音波の走査により得られる画像が2次元画像となる。このため、超音波診断装置は、ユーザに対してより診断し易い画像を提供するために、2次元画像から3次元画像を構築する超音波画像処理装置と組み合わせて使用される場合がある。
【0004】
例えば特開特開2000−316864号公報の図24には3次元画像を表示できるようにしたものが開示されている。
【0005】
従来例では、表示させる前に各種パラメータの設定を行った後、3次元画像を表示(構築)するようにしていた。
【0006】
【特許文献1】
特開2000−316864号公報
【0007】
【発明が解決しようとする課題】
従来の超音波画像処理装置では、3次元画像を構築した場合、内壁面等の関心領域の表示をマウス等の画像操作手段による簡単な操作で変更することができなかった。
【0008】
(発明の目的)
本発明は、上述した点に鑑みてなされたもので、簡単な操作で表示対象物の表示状態を変更して表示することができる超音波画像処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の第1の超音波画像処理装置は、検査対象物に対して超音波プローブを3次元領域において当該プローブを所定方向に走査させると共に超音波を送受信し、得られた3次元領域のエコーデータを用いて前記検査対象物の超音波画像を表示する超音波画像処理装置において、前記エコーデータに基づき、前記プローブの走査方向に垂直な複数のラジアル画像を生成すると共に、当該複数のラジアル画像より前記検査対象物の3次元画像を構築する画像構築手段と、前記画像構築手段により構築された前記検査対象物の3次元画像に対して任意に設定された基準面において切断処理された切断面により構成された立方体表示部に新たな切断処理後3次元画像を構築し当該立方体表示部に表示可能とする3次元画像表示手段と、前記3次元画像表示手段において前記立方体表示部に表示される前記切断処理後3次元画像の表示状態を変更するための操作入力を行う画像操作入力手段と、前記画像操作入力手段に入力された入力情報に基づいて前記切断処理後3次元画像の表示状態を変更する画像表示状態変更手段と、を備え、前記画像表示状態変更手段は、前記画像操作入力手段に入力された断面移動操作に伴う入力情報に基づいて、前記立方体表示部の前記切断面の断面位置を任意に移動可能とし当該切断面の断面位置の移動に伴い前記切断処理後3次元画像をリアルタイムに更新可能とすると共に、前記画像操作入力手段に入力されたスクロール操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸を当該スクロール操作方向に任意に移動可能とし当該中心軸の移動に伴い当該切断処理後3次元画像をリアルタイムに更新可能とし、さらに、前記画像操作入力手段に入力された回転操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸周りに当該切断処理後3次元画像を任意に回転移動可能とし当該回転移動に伴い当該切断処理後3次元画像をリアルタイムに更新可能とすることを特徴とする。
本発明の第2の超音波画像処理装置は、検査対象物に対して超音波プローブを3次元領域において当該プローブの軸方向に走査させると共に超音波を送受信し、得られた3次元領域のエコーデータを用いて前記検査対象物の超音波画像を表示する超音波画像処理装置において、前記エコーデータに基づき、前記プローブの軸方向に垂直な複数のラジアル画像を生成すると共に、当該複数のラジアル画像より前記検査対象物の3次元画像を構築する画像構築手段と、前記画像構築手段により構築された前記検査対象物の3次元画像に対して任意に設定された基準面において切断処理された切断面により構成された立方体表示部に新たな切断処理後3次元画像を構築し当該立方体表示部に表示可能とすると共に、当該切断処理後3次元画像に対応する前記切断処理を施さないラジアル画像を前記立方体表示部以外の部分に表示可能とする3次元画像表示手段と、前記3次元画像表示手段において前記立方体表示部に表示される前記切断処理後3次元画像および前記立方体表示部以外の部分に表示される前記切断処理を施さないラジアル画像の表示状態を変更するための操作入力を行う画像操作入力手段と、前記画像操作入力手段に入力された入力情報に基づいて前記切断処理後3次元画像および前記切断処理を施さないラジアル画像の表示状態を変更する画像表示状態変更手段と、を備え、前記画像表示状態変更手段は、前記画像操作入力手段に入力された断面移動操作に伴う入力情報に基づいて、前記立方体表示部の前記切断面の断面位置を任意に移動可能とし当該切断面の断面位置の移動に伴い前記切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処理を施さないラジアル画像をリアルタイムに更新可能とすると共に、前記画像操作入力手段に入力されたスクロール操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸を当該スクロール操作方向に任意に移動可能とし当該中心軸の移動に伴い当該切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処理を施さない当該ラジアル画像をリアルタイムに更新可能とし、さらに、前記画像操作入力手段に入力された回転操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸周りに当該切断処理後3次元画像を任意に回転移動可能とし当該回転移動に伴い当該切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処 理を施さない当該ラジアル画像をリアルタイムに更新可能とすることを特徴とする。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図12は本発明の1実施の形態に係り、図1は1実施の形態を備えた超音波診断装置の全体構成を示し、図2は2次元画像と3次元画像を得るための超音波走査の様子を示し、図3は図2の動作からラジアル画像等が得られる様子を示し、図4は4つの表示エリアに2次元画像と3次元画像を同時に表示した表示例を示し、図5は図4とは異なるレイアウトでの2次元画像と3次元画像を同時に表示した表示例を示し、図6は多重エコーを除去するための多重エコー境界位置の検出方法の処理手順を示し、図7は多重エコー境界位置の検出の説明図を示し、図8は3次元画像描画の処理手順を示し、図9は画像操作入力手段による回転操作等の操作に対応した状態の3次元画像の表示処理を行う処理手順を示し、図10は回転操作前後の3次元画像の表示例を示し、図11は断面移動操作前後の3次元画像の表示例を示し、図12はスクロール操作前後の3次元画像の表示例を示す。
【0011】
図1に示すように本発明の1実施の形態を備えた超音波診断装置1は、超音波の送受波を行う超音波プローブ2と、この超音波プローブ2と接続され、超音波プローブ2により得られるエコー信号に対して信号処理して超音波断層像の表示を行う超音波観測装置3と、この超音波観測装置3で得られたエコーデータを基に各種画像処理を行う超音波画像処理装置本体(以下、画像処理装置本体と略記)4と、この画像処理装置本体4と接続され、超音波断層像及び3次元画像を表示するモニタ5とを有している。
【0012】
超音波プローブ2は、細長のプローブ挿入部6を有し、このプローブ挿入部6の先端側には超音波を送受波する超音波振動子7が内蔵され、超音波振動子7はプローブ挿入部6内に挿通されたフレキシブルシャフト8の先端に取り付けられている。
【0013】
また、プローブ挿入部6の後端の把持部内には駆動部9が内蔵され、この駆動部9を構成する図示しない第1モータを回転することにより、超音波振動子7は回転駆動され、超音波を放射状に順次出射する。また、駆動部9内の図示しない第2モータを回転することにより、フレキシブルシャフト8はプローブ挿入部6の軸方向(長手方向で例えばZ軸方向とする)に移動され、従って超音波振動子7により出射される超音波をZ軸方向にリニア走査することができる。
【0014】
また、超音波観測装置3とケーブル11により接続される画像処理装置本体4は、ケーブル11と接続されるネットワークインタフェース(I/Fと略記)12と、断層像及び3次元画像を生成する画像処理や、多重エコーの除去処理等を行うCPU13と、CPU13により画像処理のワークエリアとして使用されたり、画像処理に必要なデータの一時格納などに利用されるメモリ14と、CPU13が行う画像処理のプログラムデータや画像データが記録されるハードディスク装置(HDDと略記)15と、モニタ5に表示される画像データが一時格納されるフレームメモリ16と、画像データの記録を再現可能に保存(記録)する大容量の記録手段としてのDVD−RAM17及び光磁気ディスク装置(MODと略記)18とのインタフェース(I/F)としてのスカジI/S(SCSII/Fと略記)19と、入力デバイスとして操作指示や選択を行うトラックボール21及び操作指示や選択の他にコマンドやデータ入力を行うキーボード22に対するI/Fとしての入力デバイスI/F23とを内蔵し、ネットワークI/F12、CPU13、メモリ14、HDD15、フレームメモリ16、SCSII/F18、入力デバイスI/F21はバス24により接続され、データを転送可能になっている。
【0015】
なお、DVD−RAM17及びMOD18をUSBやイーサネッット(R)を介して接続しても良い。
なお、画像処理装置本体4と、モニタ5と、DVD−RAM17と、MOD18と、トラックボール21及びキーボード22とで画像処理装置が構成される。本実施の形態では、プログラムは例えばMOD18に着脱される光磁気ディスク(MOと略記)25に格納される。このMO25をMOD18に挿入し、このプログラムをインストールする作業により、HDD15にそのプログラムが実行形式で格納されるようになる。
【0016】
MO25の代わりに、CD−ROM等の他の記録媒体にプログラムを格納しても良い。インストールした後は、CPU13はHDD15からプログラムを読み出してそのプログラムに沿った処理を行うようになる。
【0017】
上述のように駆動部9には、第1モータと第2モータとを設けてあるので、第1モータと第2モータとを同期させて同時に回転駆動させることによって、超音波を出射して3次元領域を走査し、Z軸方向の座標位置が少しづつ異なる断層像を多数得ることができ、これらの断層像から3次元画像を構築することができる。
【0018】
図2はその概略の動作を示す。プローブ挿入部6内の(フレキシブルシャフト8の先端の)超音波振動子7をZ方向に移動しながら回転駆動して超音波をZ軸に直交する方向に放射状に検査対象物側に送波し、検査対象物側の音響インピーダンスの変化部分で反射された反射超音波を受波して超音波振動子7で電気信号に変換され、超音波観測装置3内部で増幅等された後検波され、さらにA/D変換されてデジタルのエコーデータ(音線データ)となり超音波観測装置3内部のメモリ等に一時格納される。
【0019】
この場合、超音波振動子7が1回転するまでに超音波を放射状に送受波する本数を多くする(例えば512本)ことにより、得られる多数の音線データからプローブ挿入部6の軸方向(つまりZ軸方向)にほぼ垂直な断面の2次元超音波画像(以下、ラジアル画像と記す)Grを生成することができる。
【0020】
超音波振動子7は、Z方向にPaからPcの位置まで、所定のピッチ単位でリニア状に移動される。その結果、超音波観測装置3を経て画像処理装置本体4のHDD15には番号N1からNn番目までの、所定のピッチ毎のラジアル画像Grが格納される。
【0021】
得られたラジアル画像Grはメモリ14に転送され、そのメモリ空間には図3の如く格納され、さらにメモリ空間からラジアル画像Grを横から見た(垂直)リニア画像Gvlのデータが読み出され、CPU13は間を補間してフレームメモリ16に転送し、モニタ5にラジアル画像Gr及び対応するリニア画像Gvlを表示することができる。
【0022】
また、図3に示すラジアル画像Grから3次元画像Gsを生成し、例えば図4に示すように、モニタ5の表示部には4つの画像表示エリア(具体的には、ラジアル画像表示エリア、垂直リニア画像表示エリア、水平リニア画像表示エリア、3次元画像表示エリア)にそれぞれラジアル画像Gr、垂直リニア画像Gvl、(右側から見た)水平リニア画像Ghl、3次元画像Gsとを表示する。
【0023】
この場合、ラジアル画像Gr上に設定したカットラインY1、X1をトラックボール21で移動すると、それに対応して垂直リニア画像Gvlと、水平リニア画像Ghlとが更新して表示される。つまり、ラジアル画像Grに表示されたカットラインY1の位置に対応した垂直リニア画像Gvlが表示され、カットラインX1の位置に対応した水平リニア画像Ghlが表示される。
【0024】
また、3次元画像表示エリアにはカットラインY1、X1に対応した切断面M1,M2で3次元画像Gsが表示される。
また、垂直リニア画像Gvl上で、或いは水平リニア画像Ghl上で、カットラインZ1を移動すると、ラジアル画像Gr及び3次元画像Gsの手前側のラジアル画像部分が更新される。
なお、カットラインを移動させる入力手段としてトラックボール21を例示したが、マウス、ジョイスティック、トラックパッド、カーソルキーなどを用いても良い。
【0025】
カットラインY1,X1や切断面M1、M2はユーザの操作で位置を変更することが可能であり、CPU13は変更された位置に対応したラジアル画像Gr、リニア画像Gvl、Ghl、3次元画像Gsを生成する処理を行い、モニタ5にはそれらの画像が表示される。
【0026】
また、本実施の形態では、表示のレイアウトを変更して表示できるようにしている。つまり、図4に示すレイアウトと図5に示すレイアウトを切り替えて(選択して)表示できるようにしており、ユーザは自由に図4のレイアウトと図5のレイアウトを選択できる。
【0027】
図5に示す画像表示のレイアウトは、図4における左側のラジアル画像Grと垂直リニア画像Gvlとの上下の表示位置を入れ替え、さらに右側の水平リニア画像Ghlと3次元画像Gsとの上下の表示位置を入れ替えたレイアウトにしている。なお、図5における3次元画像Gsの表示例では、多重エコー部分を除去して内壁面の状態を分かり易く表示するようにしている。この場合、多重エコーの全部を除去しないで、始点位置での多重エコーを残して表示することにより、リニア走査方向を分かり易くしている。
【0028】
本実施の形態では以下に説明するように、最初のフレームを対象にそのフレーム中の全音線を対象として、先頭付近に存在する2頂点の位置を検出し、2番目の頂点として最も頻度が高い位置を基にして、所定係数を乗算して多重エコー境界位置を算出するようにしている。
【0029】
このため、本実施の形態の画像処理装置本体4におけるCPU13は、最初のフレームにおける全エコーデータ(音線データ)に対してエコーデータの最大強度(最大輝度)を検出する最大強度検出手段と、検出された最大強度に対応して設定された基準強度を算出する基準強度算出手段と、超音波を送受信する位置から、エコーデータが基準強度以上となる位置までの(離間)距離を算出し、その距離に設定された係数を乗算して(エコーデータの種類が変化する)境界位置を算出する境界位置算出手段と、超音波を送受信する位置から前記境界位置間におけるエコーデータを消去するエコーデータ消去手段との機能を持つ。
【0030】
そして、エコーデータ消去手段により算出された境界位置より超音波振動子7側となるエコーデータを消去したエコーデータを用いて、多重エコーを除去した3次元画像を迅速に表示できるようにしている。
【0031】
次に本実施の形態における多重エコーを除去するために多重エコー部分の境界となる多重エコー境界位置を検出方法の処理を図6のフローチャートを参照して説明する。
【0032】
本実施の形態では最初に取得された最初のフレーム(のデジタルの音線データ)を対象として多重エコー境界位置を検出し、この検出結果で取得された多重エコー境界位置のデータにより以後のフレーム全てに対して適用することにより、簡単な処理で多重エコー境界位置を算出し、その算出結果を他のフレームの音線データに利用することにより簡単かつ迅速に多重エコーの影響を排除でき、多重エコー部分を除去した3次元画像等を迅速に表示できるようにしている。
【0033】
この多重エコー境界位置の検出処理が開始すると、図6に示す最初のステップS1で(輝度ピーク)頂点位置を頻度により検出するために、音線データを時間位置に対応して設けられ、その検出頻度データを格納するための配列(以下、頂点位置頻度配列という)を初期化(各配列要素の頻度を表す記憶内容、つまり頻度カウント数を0に)する。
【0034】
次のステップS2で全音線(具体的には512本の音線)データに対して現在の音線の番号を表すパラメータiを1にし、この第i番目の音線に対してステップS3に示すように最大輝度(最大強度)を算出する。
この最大輝度は、例えば音線データにおける時間的に最初に取り込んだデータを次に取り込んだデータと値を比較し、大きい方を残してさらに次のデータと比較することによりその音線データ全体における最大輝度のものを算出することができる。
【0035】
次のステップS4では、ステップS3で得られた最大輝度の結果を基に、2頂点の輝度を算出するための第1及び第2のしきい値V1をV2を設定する。本実施の形態では、第1及び第2のしきい値V1をV2として、
V1=最大輝度の0.8
V2=最大輝度の0.6
に設定している。なお、V1としては0.8<V1<1.0程度に設定すれば良く、またV2はV2<V1で設定しても良い。
【0036】
そして、ステップS5に示すように、現在の音線データの先頭から例えば1/8となる一部を対象に、先頭から第1のしきい値V1以上の条件を満たし、かつ第2のしきい値V2以上の条件を満たす音線データの有無を判断する。この場合、多重エコー部分の境界位置を算出する目的であるので、このように音線データの先頭側からの一部に対して行うのみで十分である。
【0037】
そして、ステップS6に示すようにこの判断条件を満たす場合における第2のしきい値V2を満たす音線データの(第2の頂点)位置に対応する頂点位置頻度配列の配列要素(の頻度カウント数)に1を加算し、次のステップS7に進む。一方、ステップS5の両条件を満たさない音線データの場合にはステップS8に示すようにiに1を加算してステップS2に戻り、次の音線データに対して同様の処理を行う。
【0038】
次のステップS7ではiが最後の音線の番号より大きいか、つまりi>512であるかの判断を行い、これに該当しない場合にはステップS8を経てステップS2に戻り、次の音線で同様の処理を繰り返す。
【0039】
そして、ステップS7により最後の音線i=512まで、同様の処理を行ったら、ステップS9に移り、頂点位置頻度配列を対象として、全音線中で、第2(2番目)の頂点として最も頻度が高い位置の配列要素Amを、全配列要素に格納された頻度カウント数が最大のものを検出することにより算出する。
【0040】
そして、ステップS10に示すようにこの最も頻度が高い位置の配列要素Amに対応する第2(2番目)の頂点位置P2に所定係数Cを乗算した位置を多重エコー境界位置Pbとして算出する。
【0041】
なお、この第2の頂点位置P2は超音波振動子7の超音波放射面の位置を0に設定しているので、この超音波振動子7の超音波放射面の位置から第2の頂点位置P2までの距離を表すことになる。即ち、この第2の頂点位置P2は、超音波を送受信する位置から第2の頂点位置P2までの距離である。
【0042】
この所定係数Cは第2の頂点の位置P2を持つエコー波形の終端部分の位置を決定するものであり、従ってこの所定係数Cを乗算して多重エコー境界位置Pbを決定する代わりに第2の頂点の位置P2を持つエコー波形の終端部分の位置を直接算出することによって多重エコー境界位置Pbを決定するようにしても良い。
【0043】
この場合、所定係数Cとして、本実施の形態ではC=2.6を採用しているが、この値に限定されるものでなく、例えば2.0<C<3.0にしても良い。 このようにして、多重エコー境界位置Pbを算出することにより、この多重エコー境界位置Pbを以後に取得されるフレーム全てに適用することにより、簡単に多重エコーを除去でき、従って2次元の複数フレームの超音波データから多重エコーを除去した3次元画像の構築を迅速に行うことができ、従ってその3次元画像の表示を迅速に行うことができる。
【0044】
図7は図6の処理の説明図を示す。図7では下方部分に最初に得たフレームのラジアル画像を示し、その場合の例えば横方向のラインで示すようにその方向に走査した場合に得た音線データ(エコーデータ)の波形をその上に示す。この場合、横軸は距離或いは時間を示し、縦軸は輝度を示している。
【0045】
この音線データでは、超音波プローブ2のシース部分等による反射で多重エコーが発生し、図7に示すように通常は第1(1番目)の頂点に続いて第2(2番目)の頂点が現れる場合が一般的である。
【0046】
本実施の形態では、上述した図6に示した処理を行うことにより、第1及び第2の頂点(ピーク位置)を検出することができる。そして、第2の頂点の位置P2から所定係数Cを乗算することにより、第2の頂点を形成するエコー波形の終端位置を多重エコー境界位置Pbとして検出することができる。なお、図6ではある1つの音線データに対する波形を示し、図6の処理では全音線に対して行ってその最大の頻度を有するものから多重エコー境界位置Pbを算出する。
【0047】
そして、多重エコー境界位置Pbより超音波の送受信側となるエコーデータ(音線データ)を全てを除去(該当するデータの値を例えば全て0に)することにより多重エコーが除去されたエコーデータ(音線データ)が得られることになる。
【0048】
また、図6のフローチャ−トでは、簡単化のため、ステップS5の条件を満たす音線データがあると、最も頻度が高い配列要素Amを自動的に算出するようにしているが、ステップS5の条件を満たす音線データの数或いは全音線データ数に対する割合等により制限するようにしても良い。また、ステップS5の条件を満たす音線データの割合が少ないような場合には検出エラーの表示を行って処理を終了するようにしても良い。
【0049】
次に、上記多重エコー境界位置Pbの検出を利用して、迅速に3次元画像を描画(表示)する処理を図8のフローチャートを参照して説明する。
最初となるステップS11で3次元画像を表示する場合の内壁面表示部分等の初期設定を行うと共に、フレーム番号を示すパラメータnを1に設定する。
【0050】
そして次のステップS12で、第n番目(この場合、第1)の1フレーム分の音線データの取得を行い、次のステップS13で図6により説明したように多重エコー境界位置Pbを算出する処理を行う。
次のステップS14でこのフレームの全音線データから多重エコー境界位置Pbより超音波送受側となる部分を除去して多重エコー部分を除去して3次元画像描画の処理を開始する。
【0051】
次のステップS15でパラメータnを1インクリメントして、次のステップS16で第n番目のフレームの音線データの取得処理を行い、そのフレームの音線データを取得する。
【0052】
そして、次のステップS17で、(ステップS13により得た)多重エコー境界位置Pbを適用して、その第nフレームでの多重エコー部分を除去する。さらに、その多重エコー部分が除去された第nフレームの音線データを用いて3次元画像の描画に使用する。
【0053】
次のステップS18で、最終フレーム数まで行ったか(つまり、最終フレームの番号以上か)の判断を行い、最終フレーム番号までの場合にはステップS15に戻り、同様の処理を繰り返す。
この繰り返しにより、リニア走査(移動)によるフレーム画像の取得と共に、3次元画像の描画が逐次に進む。
【0054】
このようにして、設定されたリニア範囲を超音波プローブ2で走査を行う場合、最初のフレームの音線データにより多重エコー境界位置Pbを算出し、この多重エコー境界位置Pbを算出すると、そのフレームでの多重エコー部分を除去して、3次元画像の描画処理を開始する。以後は順次フレームの音線データが得られるとそのフレームの音線データから多重エコー部分を除去して3次元画像構築に利用するので、フレームの順次取得と共に、3次元画像の描画が順次進む。
【0055】
そして、所定のリニア走査範囲に対する走査を終了すると、その3次元画像の描画処理も殆ど同じ時刻に完了し、その3次元画像描画の処理を終了することになる。
【0056】
また、本実施の形態ではCPU13は上述のように3次元画像を描画するが、その3次元画像の描画は以下の図9に示すような処理で生成し、ユーザによるトラックボール21等の画像操作入力手段による操作入力をトリガとして、その入力操作に対応して壁面の移動、回転、スクロール等の処理を行い、表示状態が異なる3次元画像の再構築を殆どリアルタイムで行う。
【0057】
以下、図9を参照して3次元画像の描画処理を説明する。
3次元画像の描画のために、ステップS21に示すようにこの3次元画像における壁面部分の壁面座標データが作成される。この壁面座標データは、体腔内壁の場合には略円筒状の面を表すデータとなる。そして、ステップS22に示すようにこの壁面座標データに対して現在の状態に対応して、壁面座標データを変換し、移動及び回転等の処理が行われる。
【0058】
そして、次のステップS23において、変換処理後の壁面座標データにより、3次元表示する立方体部分との交差部分を抽出し、その交差部分のデータを基に壁面を描画する。
【0059】
さらに次のステップS24において、立方体の各面について、変換処理後の壁面座標データと交差する部分を除去し、残りの領域には各面に対応した超音波断層像を描画する。
そして、ステップS25に示す3次元画像が描画される。この3次元画像の描画例は例えば図10(A)であり、壁面が例えば肌色に着色された状態で表示される。
【0060】
そして、次のステップS26により、ユーザによる(本画像処理装置に設けられている)トラックボール21等による画像操作入力手段の有無が判断される。この画像操作入力手段が操作されない場合には、ステップS25に戻り、変化しない状態で3次元画像の表示が維持される。
一方、画像操作入力手段が操作されると、その操作入力を受付けてステップS22に戻り、リアルタイムにその操作に対応する処理を行う。
【0061】
例えば画像操作入力手段としてのトラックボール21により回転操作や断面移動やスクロール操作等が行われると、各操作による微小な操作量を検出するとそれをトリガとして、その微小な操作量と殆ど同時にステップS22からS25までの処理を行い、さらに続くステップS26で回転操作等の操作入力の有無を判断し、引き続いて回転操作等がされると、その微小な回転操作等に連動して再びステップS22に戻り同様の処理を行う。なお、回転、断面移動及びスクロールの操作を行う場合、関心領域をマーキングし、そのマーキングを目印として回転、断面移動及びスクロールを行っても良い。
【0062】
このため、ユーザが壁面等の関心領域に対して回転操作等を行うと、回転操作等に連動して表示される3次元画像も回転移動することになり、ユーザが画像操作入力手段による操作入力を行うとその操作入力と殆どリアルタイムで対応する3次元画像が表示されることになる。
【0063】
図10は回転操作前後の3次元画像例を示す。つまり、図10(A)に示す3次元画像はトラックボール21による回転操作の操作入力により回転移動され、図10(B)に示すように回転操作された3次元画像が表示される。
【0064】
つまり、超音波を放射状に送受信する中心軸の回りで図10(A)に示す3次元画像を回転した場合に相当する3次元画像を表示する。この場合、回転操作により、表示が指定された壁面データ(内壁面データ)は更新されると共に、その周囲の縦横の断面の断層像のデータも更新される。
このように、本実施形態における回転操作による3次元画像は超音波振動子7のリニア移動の軸の回りでの回転操作に相当するものであり、従って2次元のラジアル画像における中心軸の周りの回転操作に対応する。
【0065】
また、断面移動の操作の場合には、断面移動の操作前の3次元画像が図11(A)であると、トラックボール21により基準面として縦断面や横断面を指定して移動操作を行うと図11(B)や図11(C)に示すように縦断面や横断面が移動した3次元画像となる。
【0066】
また、トラックボール21によりスクロール操作を行うと、スクロール操作前の図12(A)に示す3次元画像は、スクロール操作後には図12(B)に示す3次元画像となる。
このスクロール操作の場合には、ラジアル画像の中心軸がスクロール操作の方向に移動(スクロール)されることになる。
【0067】
このように、本実施の形態によれば、体腔内の壁面等の関心領域を3次元画像で表示できるようにすると共に、トラックボール21等のポインティングデバイスにより、3次元画像や関心領域を指定等して回転、断面移動やスクロール等の操作を行うことにより、その操作に対してリアルタイムに表示状態を更新され、ユーザは所望とする3次元画像を観察することができ、診断し易い超音波画像を提供できる環境を実現できる。
【0068】
また、本実施の形態では回転、断面移動及びスクロール操作は2次元の断層像の場合において、実現されているものを3次元画像において拡張したものであり、従って、ユーザは2次元画像において従来通りに回転等の操作を行って対応する2次元画像の表示状態を変更できると共に、さらに3次元画像においても同様に回転等の操作を行うことにより、2次元画像の場合と同様に3次元画像の表示状態を変更できる。
なお、画像操作入力手段はトラックボール21に限らず、上述したマウスやスクロールバー等、他の操作入力手段でも良い。
【0069】
【発明の効果】
以上説明したように本発明によれば、画像操作入力手段による簡単な操作で3次元画像の表示状態を変更することができる。
特に体腔内で得られた超音波画像に適用すると、関心領域の表示状態を容易に変更することができる。
【図面の簡単な説明】
【図1】本発明の1実施の形態を備えた超音波診断装置の全体構成を示すブロック図。
【図2】2次元画像と3次元画像を得るための超音波走査の様子を示す説明図。
【図3】図2の動作からラジアル画像等が得られる様子を示す図。
【図4】4つの表示エリアに2次元画像と3次元画像を同時に表示した表示例を示す図。
【図5】図4とは異なるレイアウトでの2次元画像と3次元画像を同時に表示した表示例を示す図。
【図6】多重エコーを除去するための多重エコー境界位置の検出方法の処理手順を示すフローチャート図。
【図7】多重エコー境界位置の検出の説明図。
【図8】3次元画像描画の処理手順を示すフローチャート図。
【図9】画像操作入力手段による回転操作等の操作に対応した状態の3次元画像の表示処理を行う処理手順を示すフローチャート図。
【図10】回転操作前後の3次元画像の表示例を示す図。
【図11】断面移動操作前後の3次元画像の表示例を示す図。
【図12】スクロール操作前後の3次元画像の表示例を示す図。
【符号の説明】
1…超音波診断装置
2…超音波プローブ
3…超音波観測装置
4…画像処理装置本体
5…モニタ
6…プローブ挿入部
7…超音波振動子
8…フレキシブルシャフト
9…駆動部
13…CPU
14…メモリ
15…HDD
16…フレームメモリ
17…DVD−RAM
18…MOD
19…SCSII/F
21…トラックボール
22…キーボード
25…MO
Claims (2)
- 検査対象物に対して超音波プローブを3次元領域において当該プローブを所定方向に走査させると共に超音波を送受信し、得られた3次元領域のエコーデータを用いて前記検査対象物の超音波画像を表示する超音波画像処理装置において、
前記エコーデータに基づき、前記プローブの走査方向に垂直な複数のラジアル画像を生成すると共に、当該複数のラジアル画像より前記検査対象物の3次元画像を構築する画像構築手段と、
前記画像構築手段により構築された前記検査対象物の3次元画像に対して任意に設定された基準面において切断処理された切断面により構成された立方体表示部に新たな切断処理後3次元画像を構築し当該立方体表示部に表示可能とする3次元画像表示手段と、
前記3次元画像表示手段において前記立方体表示部に表示される前記切断処理後3次元画像の表示状態を変更するための操作入力を行う画像操作入力手段と、
前記画像操作入力手段に入力された入力情報に基づいて前記切断処理後3次元画像の表示状態を変更する画像表示状態変更手段と、
を備え、
前記画像表示状態変更手段は、前記画像操作入力手段に入力された断面移動操作に伴う入力情報に基づいて、前記立方体表示部の前記切断面の断面位置を任意に移動可能とし当該切断面の断面位置の移動に伴い前記切断処理後3次元画像をリアルタイムに更新可能とすると共に、前記画像操作入力手段に入力されたスクロール操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸を当該スクロール操作方向に任意に移動可能とし当該中心軸の移動に伴い当該切断処理後3次元画像をリアルタイムに更新可能とし、さらに、前記画像操作入力手段に入力された回転操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸周りに当該切断処理後3次元画像を任意に回転移動可能とし当該回転移動に伴い当該切断処理後3次元画像をリアルタイムに更新可能とする
ことを特徴とする超音波画像処理装置。 - 検査対象物に対して超音波プローブを3次元領域において当該プローブの軸方向に走査させると共に超音波を送受信し、得られた3次元領域のエコーデータを用いて前記検査対象物の超音波画像を表示する超音波画像処理装置において、
前記エコーデータに基づき、前記プローブの軸方向に垂直な複数のラジアル画像を生成すると共に、当該複数のラジアル画像より前記検査対象物の3次元画像を構築する画像構築手段と、
前記画像構築手段により構築された前記検査対象物の3次元画像に対して任意に設定された基準面において切断処理された切断面により構成された立方体表示部に新たな切断処理後3次元画像を構築し当該立方体表示部に表示可能とすると共に、当該切断処理後3次元画像に対応する前記切断処理を施さないラジアル画像を前記立方体表示部以外の部分に表示可能とする3次元画像表示手段と、
前記3次元画像表示手段において前記立方体表示部に表示される前記切断処理後3次元画像および前記立方体表示部以外の部分に表示される前記切断処理を施さないラジアル画像の表示状態を変更するための操作入力を行う画像操作入力手段と、
前記画像操作入力手段に入力された入力情報に基づいて前記切断処理後3次元画像および前記切断処理を施さないラジアル画像の表示状態を変更する画像表示状態変更手段と、
を備え、
前記画像表示状態変更手段は、前記画像操作入力手段に入力された断面移動操作に伴う入力情報に基づいて、前記立方体表示部の前記切断面の断面位置を任意に移動可能とし当該切断面の断面位置の移動に伴い前記切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処理を施さないラジアル画像をリアルタイムに更新可能とすると共に、前記画像操作入力手段に入力されたスクロール操作に伴う入力情報に基づいて、前 記切断処理後3次元画像に対応するラジアル画像の中心軸を当該スクロール操作方向に任意に移動可能とし当該中心軸の移動に伴い当該切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処理を施さない当該ラジアル画像をリアルタイムに更新可能とし、さらに、前記画像操作入力手段に入力された回転操作に伴う入力情報に基づいて、前記切断処理後3次元画像に対応するラジアル画像の中心軸周りに当該切断処理後3次元画像を任意に回転移動可能とし当該回転移動に伴い当該切断処理後3次元画像および当該切断処理後3次元画像に対応する前記切断処理を施さない当該ラジアル画像をリアルタイムに更新可能とする
ことを特徴とする超音波画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003139518A JP4245976B2 (ja) | 2003-05-16 | 2003-05-16 | 超音波画像処理装置 |
EP04733142.6A EP1625827B1 (en) | 2003-05-16 | 2004-05-14 | Ultrasonic image processing apparatus |
PCT/JP2004/006865 WO2004100794A1 (ja) | 2003-05-16 | 2004-05-14 | 超音波画像処理装置 |
US11/271,478 US7697779B2 (en) | 2003-05-16 | 2005-11-10 | Ultrasonic image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003139518A JP4245976B2 (ja) | 2003-05-16 | 2003-05-16 | 超音波画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004344185A JP2004344185A (ja) | 2004-12-09 |
JP4245976B2 true JP4245976B2 (ja) | 2009-04-02 |
Family
ID=33447343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003139518A Expired - Fee Related JP4245976B2 (ja) | 2003-05-16 | 2003-05-16 | 超音波画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7697779B2 (ja) |
EP (1) | EP1625827B1 (ja) |
JP (1) | JP4245976B2 (ja) |
WO (1) | WO2004100794A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090174554A1 (en) | 2005-05-11 | 2009-07-09 | Eric Bergeron | Method and system for screening luggage items, cargo containers or persons |
US7991242B2 (en) | 2005-05-11 | 2011-08-02 | Optosecurity Inc. | Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality |
JP2007301030A (ja) * | 2006-05-09 | 2007-11-22 | Toshiba Corp | 超音波診断装置 |
US7899232B2 (en) | 2006-05-11 | 2011-03-01 | Optosecurity Inc. | Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same |
US8494210B2 (en) | 2007-03-30 | 2013-07-23 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
WO2008149540A1 (ja) * | 2007-06-04 | 2008-12-11 | Panasonic Corporation | 超音波診断装置および超音波診断装置に利用される超音波プローブ |
DE102007032609A1 (de) * | 2007-07-11 | 2009-03-05 | Corpus.E Ag | Kostengünstige Erfassung der inneren Raumform von Fußbekleidung und Körpern |
JP5220780B2 (ja) * | 2010-02-05 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
US9033879B2 (en) * | 2011-02-08 | 2015-05-19 | General Electric Company | Portable imaging system with remote accessibility |
AU2012304490B2 (en) | 2011-09-07 | 2015-06-25 | Rapiscan Systems, Inc. | X-ray inspection system that integrates manifest data with imaging/detection processing |
KR101501518B1 (ko) * | 2012-06-11 | 2015-03-11 | 삼성메디슨 주식회사 | 3차원(3d) 초음파 영상과 2차원(2d) 초음파 영상을 디스플레이하는 방법 및 장치 |
US10302807B2 (en) | 2016-02-22 | 2019-05-28 | Rapiscan Systems, Inc. | Systems and methods for detecting threats and contraband in cargo |
AU2021351347A1 (en) * | 2020-09-29 | 2023-06-01 | Terumo Kabushiki Kaisha | Image processing device, image processing system, image display method, and image processing program |
WO2022085373A1 (ja) * | 2020-10-22 | 2022-04-28 | テルモ株式会社 | 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4798210A (en) * | 1984-03-28 | 1989-01-17 | National Biomedical Research Foundation | Three-dimensional imaging system |
US5170347A (en) * | 1987-11-27 | 1992-12-08 | Picker International, Inc. | System to reformat images for three-dimensional display using unique spatial encoding and non-planar bisectioning |
JPH0810468B2 (ja) * | 1989-01-26 | 1996-01-31 | 株式会社東芝 | 画像表示装置 |
US6005916A (en) * | 1992-10-14 | 1999-12-21 | Techniscan, Inc. | Apparatus and method for imaging with wavefields using inverse scattering techniques |
US5842473A (en) * | 1993-11-29 | 1998-12-01 | Life Imaging Systems | Three-dimensional imaging system |
US5454371A (en) * | 1993-11-29 | 1995-10-03 | London Health Association | Method and system for constructing and displaying three-dimensional images |
US6106465A (en) * | 1997-08-22 | 2000-08-22 | Acuson Corporation | Ultrasonic method and system for boundary detection of an object of interest in an ultrasound image |
DE19854131A1 (de) * | 1998-11-24 | 2000-05-31 | Siemens Ag | Verfahren zum Darstellen und Bearbeiten eines an einem Anzeigemonitor wiedergebbaren Bilds, sowie Vorrichtung zum Verarbeiten und Wiegergeben digitaler Bilder |
JP2000316864A (ja) | 1999-05-11 | 2000-11-21 | Olympus Optical Co Ltd | 超音波診断装置 |
JP2002306482A (ja) * | 2001-04-17 | 2002-10-22 | Olympus Optical Co Ltd | 超音波画像処理装置 |
JP3741212B2 (ja) * | 2001-07-26 | 2006-02-01 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法 |
-
2003
- 2003-05-16 JP JP2003139518A patent/JP4245976B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-14 WO PCT/JP2004/006865 patent/WO2004100794A1/ja active Application Filing
- 2004-05-14 EP EP04733142.6A patent/EP1625827B1/en not_active Expired - Lifetime
-
2005
- 2005-11-10 US US11/271,478 patent/US7697779B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20060084872A1 (en) | 2006-04-20 |
EP1625827A1 (en) | 2006-02-15 |
JP2004344185A (ja) | 2004-12-09 |
EP1625827B1 (en) | 2017-01-18 |
EP1625827A4 (en) | 2010-07-21 |
WO2004100794A1 (ja) | 2004-11-25 |
US7697779B2 (en) | 2010-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7697779B2 (en) | Ultrasonic image processing apparatus | |
US7798966B2 (en) | Ultrasonic diagnostic apparatus | |
JP3407169B2 (ja) | 超音波画像立体表示装置及び超音波画像立体表示方法 | |
JP5433240B2 (ja) | 超音波診断装置及び画像表示装置 | |
JP4262517B2 (ja) | 超音波画像処理装置 | |
JP2009022627A (ja) | 超音波撮像装置および画像処理装置 | |
JP4328077B2 (ja) | 超音波診断装置 | |
KR100907967B1 (ko) | 초음파 진단 장치 및 초음파 화상 표시 방법 | |
JP2000276550A (ja) | 医療用診断装置及び医療診断用アプリケーションの起動チェック方法 | |
JP4109155B2 (ja) | 超音波画像処理装置 | |
JP5276407B2 (ja) | 超音波診断装置 | |
JP2000296129A (ja) | 超音波診断装置 | |
JP4515081B2 (ja) | 超音波診断装置 | |
JP4343592B2 (ja) | 超音波診断装置 | |
JP4197993B2 (ja) | 超音波診断装置 | |
JP2003325511A (ja) | 超音波画像処理装置 | |
JP2002306482A (ja) | 超音波画像処理装置 | |
JP2002306481A (ja) | 超音波画像処理装置 | |
JP3905419B2 (ja) | 超音波画像処理装置 | |
JP2006130162A (ja) | 超音波診断装置 | |
JP4054282B2 (ja) | 超音波画像処理装置 | |
JP4414720B2 (ja) | 超音波診断装置 | |
JP2008264563A (ja) | 超音波診断装置 | |
JP4445744B2 (ja) | 超音波画像生成装置の作動方法及び超音波画像生成プログラム | |
JP2005118162A (ja) | 超音波診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080407 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4245976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |