JP3834365B2 - 超音波診断装置 - Google Patents
超音波診断装置 Download PDFInfo
- Publication number
- JP3834365B2 JP3834365B2 JP27354596A JP27354596A JP3834365B2 JP 3834365 B2 JP3834365 B2 JP 3834365B2 JP 27354596 A JP27354596 A JP 27354596A JP 27354596 A JP27354596 A JP 27354596A JP 3834365 B2 JP3834365 B2 JP 3834365B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- simultaneous phase
- reference frame
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
【発明の属する技術分野】
本発明は、被検体内の断層像情報などを画像表示する超音波診断装置に適用され、画像にノイズとして現れるスペックルを低減する機能を備えた超音波診断装置に関する。
【0002】
【従来の技術】
超音波パルスを被検体内に放射し、被検体内で反射又は散乱されて返ってくるエコー信号の強度を検出し、被検体内情報を画像表示する超音波診断装置が周知である。一般に、超音波診断装置では、パルスエコー法と呼ばれる方法を多く採用している。
【0003】
このパルスエコー法は、超音波パルスを被検体内に送波し、被検体内の各部における音響インピーダンスの差に応じて反射又は散乱されて返ってくる反射波(エコー)を受波し、この受波したエコー信号の振幅に基づいて被検体内の断層画像(Bモ−ド画像)を表示する。
【0004】
ところが、このようにして得られるBモード画像には、スペックルと呼ばれる斑紋状の模様が現れ、断層画像の画質劣化の主な原因となる。パルスエコー法では、被検体内に存在する多数の散乱体からの各散乱波が干渉を起こす。このため、受波されたエコー信号の振幅はゆらぎを有し、このゆらぎはBモード画像上に斑紋状のスペックルパターンとなって現れる。
【0005】
例えば、生体組織のような不均質媒質は、多数の散乱体がランダムに分布している状態と考えることができる。生体内に超音波パルスを送波した場合には、不均質媒質からの反射エコーの干渉がランダムに生じてスペックルを形成する。
【0006】
スペックルはランダムなパターンとして現れ、生体内部組織の微細な構造を表すものではなく、むしろ生体組織の構造に関する情報をマスクするノイズでしかない。従って、このようなスペックルノイズを除去することが求められ、スペックルノイズの少ない良好な画像を得ることが、被検体内の構造を明確に画像表示する上で重要となる。
【0007】
スペックルノイズを低減するには、スペックルパターンについて相関の小さい複数の画像を重ね合わせればよい。このスペックルノイズの低減手法として、従来、空間的コンパウンド法や周波数コンパウンド法が用いられている。
【0008】
空間的コンパウンド法では、図13に示すように、送受波器100が被検体102の表面上で移動し、複数の異なる位置にて超音波パルスを送受波する。これにより超音波パルスの入射方向が異なる複数のBモード画像104、106が得られ、この複数のBモード画像104、106のデータが加算される。前述したように、スペックルノイズは、散乱波のランダムな干渉によって生じる。従って、超音波パルスの入射方向が変われば、スペックルパターンも異なる。そして、スペックルパターンの異なる画像データの加算により、スペックルノイズが低減する。
【0009】
周波数コンパウンド法では、中心周波数が異なる超音波パルスを何種類も送波し、各中心周波数に対して被検体内から反射されるエコー信号の包絡線を求める。これらの包絡線の和のデータに基づいてBモード画像を形成する。あるいは、これらの包絡線に基づいて形成されるBモード画像のデータを加算する。中心周波数が変われば、スペックルパターンも異なる。従って、周波数コンパウンド法によってもスペックルノイズを低減することができる。
【0010】
【発明が解決しようとする課題】
(1)超音波診断装置は、運動する被検体の画像を得るためにも使用される。例えば、被検体の運動の様子が動画像にて表示され、この動画像を利用して被検体の運動が適当であるか否かが診断される。
【0011】
しかし、被検体が運動する場合、以下に説明するように、従来の空間的コンパウンド法や周波数コンパウンド法によっては、スペックルノイズを低減することが困難であった。前述のように、従来手法では、スペックルパターンの異なる複数の画像データが加算される。加算される複数の画像データにおける被検体の形や位置は、同様である必要がある。しかし、被検体が運動すると、画像データにおける被検体の形や位置が刻々と変化する。従って、被検体が運動する場合には、従来手法を適用することが困難である。以上より、被検体が運動する場合において、効果的にスペックルノイズを低減することが可能な超音波診断装置の開発が望まれている。
【0012】
(2)また、空間的コンパウンド法や周波数コンパウンド法に対しては、従来より、下記のような問題が指摘されている。
【0013】
空間的コンパウンド法では、スペックルノイズを低減可能な領域が狭いという問題がある。すなわち、図13の例では、斜線にて示された領域108において、スペックルノイズが低減する。領域108にて画像データの加算が行われるからである。図示のように、領域108は、通常の走査によって画像化できる領域よりも狭い。実際、スペックルノイズの低減を図るためには、さらに多くの画像データを加算する必要がある。そして、画像データの加算数の増大に応じて、スペックルノイズが低減される領域が狭くなる。
【0014】
また、周波数コンパウンドでは、スペックルノイズ低減のために十分な数の画像データを得ることが困難であるという問題がある。超音波の送受波に使用されるトランスデューサの周波数特性は狭帯域であるため、送信する超音波パルスの中心周波数を何種類も変えることができないからである。
【0015】
(3)被検体の構造上の理由により、超音波パルスの入射方向や、超音波の中心周波数を変えることができないために従来のスペックルノイズ低減手法を適用できない場合がある。その一例は、生体組織である心臓を被検体とする場合である。心臓を被検体とする場合、肋骨を避けるようにして超音波を送受波する必要がある。そこで、一般には、セクタ走査方式の装置を用いて肋骨の隙間から超音波を送受波している。そのため、超音波を送受波できる方向が限られており、多数の方向から超音波を送受波して画像データを得ることができない。従って、このような場合には、空間的コンパウンド法を適用することが困難である。
【0016】
(発明の目的)
本発明は、前記従来の課題に鑑みなされたものであり、周期的に運動するような被検体の画像を生成する場合に適用される。本発明の目的は、被検体が周期的に運動する場合であっても、画像上に現れるスペックルノイズを良好に低減することが可能な超音波診断装置を提供することにある。また、本発明の目的は、上記(2)に説明したような、従来のスペックルノイズ低減手法の問題を解決することが可能な装置を提供することにある。さらに本発明の目的は、上記(3)に説明したような、被検体の構造上の制約を受けずにスペックルノイズを低減可能な装置を提供することにある。
【0017】
【課題を解決するための手段】
(1)本発明の超音波診断装置は、周期的に運動する被検体の超音波画像をフレームごとに記録するフレームメモリと、運動周期単位のフレーム群のそれぞれから、被検体の運動状態が同時相である同時相フレームを抽出する同時相フレーム抽出手段と、抽出された複数の同時相フレームの超音波画像を合成することにより合成フレームの超音波画像を作成する合成フレーム作成手段とを含む。
【0018】
ここで、同時相フレームは、一組だけ抽出されてもよい。この場合には、各フレーム群から一枚の同時相フレームが抽出される。また、複数組の同時相フレームが抽出されてもよい。また、フレーム群に含まれる全フレームについて、同時相フレームが抽出されてもよい。なお、被検体の運動を動画像にて表示する場合には、多数フレームの超音波画像を得るために、多数組の同時相フレームを抽出する。
【0019】
上記構成において、同時相フレームでは、画像内における被検体の形や位置が同様である。しかし、スペックルを発生させる散乱体の空間分布として見ると微妙に変化しているため、同時相フレームごとにスペックルパターンは異なる。スペックルノイズは散乱波のランダムな干渉により生じるからである。従って、複数の同時相フレームの超音波画像を合成することにより、スペックルノイズを低減することができる。ここで、合成とは、画像データの加算や加算平均などである。このように、上記構成によれば、被検体が周期的に運動する場合において、被検体の画像に現れるスペックルノイズを良好に低減することができる。そして、スペックルノイズの低減により、画像の輝度の時間的変化を精度よく得ることができるので、定量的診断が可能となる。
【0020】
また、従来の空間的コンパウンド法を適用した場合には、前述のように、スペックルノイズの低減される範囲が狭いという問題がある。一方、上記構成では、各フレームの記録範囲が同様であり、この記録範囲全体においてスペックルノイズが低減される。従って、本発明によれば、広範囲のスペックルノイズ低減が可能である。
【0021】
また、従来の周波数コンパウンド法を適用した場合には、前述のように、十分な数の画像データを得ることが困難であるという問題がある。一方、上記構成では、フレームメモリに、周期的に運動する被検体の超音波画像が記録される。そして、記録画像に含まれる運動周期の数の範囲内で、任意の数の同時相フレームが得られる。従って、本発明によれば、十分な数の同時相フレームを容易に得ることができる。
【0022】
また、本発明によれば、被検体の構造上の制約により超音波パルスの入射方向や中心周波数の変更が制約される場合であっても、スペックルノイズの低減が可能である。上記構成では、超音波パルスの入射方向や中心周波数を変更する必要がないからである。
【0023】
(2)本発明の一態様の超音波診断装置において、前記同時相フレーム抽出手段は、前記フレーム群の一つを基準フレーム群とする基準フレーム群設定手段と、前記基準フレーム群に含まれる基準フレームと他のフレーム群に含まれるフレームとの間で超音波画像の類似性を評価し、類似性の高いフレームを前記同時相フレームとして抽出する評価抽出手段とを含む。
【0024】
被検体の運動周期には、ある程度のばらつきがある。異なる運動周期のフレーム群では、フレーム枚数も異なる。従って、単に、フレーム群における順番のみに基づいては、同時相フレームを特定することができない。被検体の運動状態の異なるフレームが同時相フレームとして特定されるからである。
【0025】
そこで、上記構成では、基準フレーム群に含まれる基準フレームと他のフレーム群に含まれるフレームとの間で超音波画像の類似性を評価し、類似性の高いフレームを前記同時相フレームとして抽出する。このような構成により、被検体の運動周期にばらつきがある場合でも、スペックルノイズを低減することができる。なお、類似性の評価は、相関関数、絶対値誤差、平均2乗誤差などの周知の評価関数を画像データに対して適用することにより可能である。
【0026】
なお、超音波画像の類似性の評価は、画像の一部分の領域のみの類似性の評価でもよく、また、後述する実施形態のように、画像内の所定ラインに沿った画像データの類似性の評価でもよい。
【0027】
(3)上記(2)では、フレーム間の超音波画像の類似性の評価によって、同時相フレームの特定が確実に行われる。ここで、例えば、被検体の運動を動画像にて表示するためには、多数の合成フレームが必要であり、合成フレームの必要数に応じた組数の同時相フレームを抽出する必要がある。しかし、この場合、全組の同時相フレームを抽出するために類似性の評価を行ったのでは、計算量が膨大となり、処理時間も長くなる。
【0028】
そこで、本発明の一態様の超音波診断装置では、前記同時相フレーム抽出手段は、前記フレーム群の一つを基準フレーム群とする基準フレーム群設定手段と、前記基準フレーム群に含まれる基準フレームを代表基準フレームと代表外基準フレームに分ける代表基準フレーム設定手段と、前記代表基準フレームと他のフレーム群に含まれるフレームとの間で超音波画像の類似性を評価し、類似性の高いフレームを前記同時相フレームとして抽出する評価抽出手段と、前記代表基準フレームと前記評価抽出手段が抽出した前記同時相フレームとに基づいて、前記代表外基準フレームの時相に対応する対応時相点を前記他のフレーム群に関して求める対応時相点検出手段と、前記他のフレーム群に含まれ前記対応時相点の近傍の1または複数のフレームの超音波画像に基づいて所定の補間処理を行うことにより、前記代表外基準フレームに対する同時相フレームの超音波画像を求める補間抽出手段とを含む。
【0029】
上記構成によれば、類似性評価を用いた同時相フレームの抽出は、代表基準フレームに対してのみ行われる。代表外基準フレームについては、補間処理を利用することにより、少ない計算量にて同時相フレームが抽出される。従って、同時相フレームの抽出に要する時間が大幅に削減される。
【0030】
(4)本発明において、好適には、前記代表基準フレーム設定手段は、被検体の運動の特徴状態を記録したフレームを前記代表基準フレームとする。これにより、代表基準フレームを対象とする類似性評価がより正確に行われる。
【0031】
(5)また、本発明において、好適には、前記基準フレーム群設定手段は、被検体の運動周期長の頻度に基づいて前記基準フレーム群を定める。これにより、例えば、最も標準的な長さの運動周期を有するフレーム群が基準フレーム群とされる。
【0032】
(6)また、本発明は、好適には、前記超音波画像に基づいて被検体の特徴部分の運動軌跡を検出する運動軌跡検出手段を含み、前記評価抽出手段は、前記運動軌跡についての類似性を評価する。類似性の評価を特徴部分の運動軌跡について行うことにより、同時相フレーム抽出のための計算量がさらに低減する。また、特徴部分の運動軌跡を評価対象とするので、類似性評価がより正確に行われる。
【0033】
(7)また、前記類似性の評価の対象とされるフレームが、前記他のフレーム群の所定範囲に限定されてもよい。同時相フレームの候補となるフレームを、他のフレーム群の一部に限定することが可能である。従って、この一部のフレームについて類似性を評価すればよい。これにより、類似性を評価するフレームの数が減るので、さらに同時相フレーム抽出のための計算量を削減することができる。前記所定範囲は、例えば、被検体の運動周期長のばらつきに基づいて定められる。
【0034】
(8)また、本発明において、好適には、前記評価抽出手段は、前記類似性の評価の際に、基準フレームと評価対象のフレームとの超音波画像のずれ量を算出し、前記合成フレーム作成手段は、前記合成フレームの超音波画像を作成する際に、前記ずれ量に対応した補正を行う。この構成では、類似性の評価の際に、基準フレームと同時相フレームの超音波画像のずれ量を算出しておく。そして、合成フレームを作成する際に、例えば、ずれ量に応じて画像を移動させる。従って、同時相フレーム間の微小なずれが補正されるので、より鮮明な画像を得ることができる。
【0035】
【発明の実施の形態】
以下、本発明の実施の形態の超音波診断装置について、図面を参照し説明する。本実施形態では、本発明が、セクタ走査方式の超音波診断装置に適用される。そして、以下では、心臓が被検体とされ、心臓の断層像が動画像にて表示される場合について説明する。図1は、本実施形態の超音波診断装置の構成を示すブロック図である。
【0036】
図1において、超音波プローブ11、送受信回路12、A/D変換器14およびデジタルスキャンコンバータ(DSC)16は、互いに接続されて、Bモード画像生成部を形成している。そして、超音波プローブ11および送受信回路12は、画像生成に必要な情報を得るための超音波送受信部10を形成している。
【0037】
超音波プローブ11には、複数の超音波振動子が配列されており、超音波振動子は、電気信号と超音波とを相互に変換することにより超音波を送受信する。送受信回路12は、超音波プローブ11に対して、超音波振動子を励振するための超音波送信信号を送る。超音波送信信号に従って超音波振動子が超音波を送信する。この際、送受信回路12は、超音波送信信号に対して所定の遅延時間を与えることにより、送信ビームを形成する。また、超音波プローブ11は、受信した超音波を超音波受信信号に変換して送受信回路12へ送る。送受信回路12は、超音波受信信号を加算する。この際、超音波受信信号に所定の遅延時間を与えることにより受信ビームが形成される。さらに、送受信回路12は、加算した超音波受信信号の包絡線を示すエンベローブ信号を生成する。
【0038】
送受信回路12が生成したエンベローブ信号は、A/D変換器14によってデジタル信号に変換されたのち、DSC16に入力される。DSC16は、D/A変換器18を介して、表示装置たるCRT20に接続されている。DSC16では、エンベローブ信号が、CRT20の走査形式に適合するように走査変換される。この走査変換によって、Bモード画像データが作成される。ここで、DSC16では、Bモード画像データがフレームごとに作成される。各フレームのBモード画像データは、超音波プローブ11が電子走査される際の走査フレーム単位で得られるデータである。Bモード画像データは、D/A変換器18によってアナログ信号に変換されたのち、CRT20に表示される。この際、時間経過とともに作成された多数のフレームの画像が順次表示されることにより、被検体の運動が動画像にて表示される。また、Bモード画像データは、後述するBモード画像フレームメモリ32に記憶される。なお、DSCで走査変換した画像ではなく、走査変換前の超音波ビームデータをフレームメモリに記憶し、これに対して後述するスペックルノイズの除去処理を行ってもよい。ただしこの場合には処理後のデータをDSCによって走査変換した後、表示する必要がある。
【0039】
一方、心電プローブ22、増幅器24およびA/D変換器26は、DSC16とともに、心電波形画像を形成する。心電プローブ22は、心臓の心筋の興奮の発生に基づいて得られる心電波形を得る。この心電波形は、増幅器24によって増幅され、A/D変換器26によってデジタル信号に変換されたのち、DSC16に入力される。DSC16は、心電波形を基に心電波形図を作成してCRT20に表示させる。この際、心電波形図は、適宜、Bモード画像と並べて表示される。また、A/D変換器26から出力された心電波形は、後述する心電波形メモリ34に記憶される。
【0040】
次に、本実施形態の特徴であるスペックルノイズ除去部30について説明する。スペックルノイズ除去部30は、Bモード画像フレームメモリ32、心電波形メモリ34、画像処理部36、ユーザー入力装置38および制御回路40からなる。Bモード画像フレームメモリ32は、前述したように、DSC16にて作成されたBモード画像データをフレームごとに記憶する。また、心電波形メモリ32は、A/D変換器26から出力された心電波形を記憶する。Bモード画像フレームメモリ32および心電波形メモリ34は、記憶情報を画像処理部36へ出力する。なお、Bモード画像および心電波形としては、同じ時に記録された情報が記憶される。
【0041】
画像処理部36は、Bモード画像フレームメモリ32から入力されたBモード画像からスペックルノイズを除去する。この除去処理の際に、心電波形メモリ34から入力される心電波形が利用される。画像処理部36は、D/A変換器18を介してCRT20に接続されている。スペックルノイズを除去されたBモード画像はCRT20に表示される。
【0042】
その他、ユーザー入力装置38は、ユーザーの指示をスペックルノイズ除去部30に対して入力するための装置であり、画像処理部36および制御回路40に接続されている。また、Bモード画像フレームメモリ32、心電波形メモリ34および画像処理部36は、制御回路40によって制御される。制御回路40は、超音波診断装置全体のシステムを制御しており、前述した送受信回路12およびDSC16なども制御する。
【0043】
図2は、Bモード画像フレームメモリ32に記憶されるBモード画像と、心電波形メモリ34に記憶される心電波形を示している。同図には、スペックルノイズ除去処理の対象とされる数十心拍分のデータが示されている。図2の上段は心電波形であり、心電波形中のR波発生時においては心室が拡張状態にある。各心拍には、心拍番号j(1〜J)が付けられている。図2の中段は、心電波形と同期して、時系列に得られたBモード画像をフレームごとに示している。各フレーム画像には、順次、フレーム番号iが付けられている。フレームiの画像は、f(x,y,i)と表される。ここで、f(x,y、i)は画素値(輝度値、エコー強度など)であり、x、yは、それぞれ画素のx座標およびy座標である。従って、f(x,y,i)は、フレームiにおける座標(x,y)の画素の画素値を示す。なお、フレーム1枚分の画像データを示す場合には、図示のようにf(i)と表す。以降、一心拍分のフレームの集まりをフレーム群という。
【0044】
次に、スペックルノイズ除去部30が行うスペックルノイズ除去処理について説明する。図3は、スペックルノイズ除去処理の全体を示しており、また、図4〜図6は、一部の処理の詳細を示している。
【0045】
[基準フレーム群の設定(S10)]
まず、画像処理部36は、Bモード画像フレームメモリ32からBモード画像を読み込み、また、心電波形メモリ34から心電波形を読み込む。そして、心電波形に基づき、1つの心拍分のフレーム群を基準フレーム群とする(S10)。ここでは、図7に示すように、R波の間隔から得られる心拍周期長を基に、心拍周期長のヒストグラムを作成する。なお、図7の横軸の心拍周期長は、例えば、R波間の時間で表され、また、R波間のフレーム枚数で表される。そして、頻度が最大の心拍周期長を有するフレーム群の一つを基準フレーム群とする。ここでは、図2に示すように、心拍2のフレーム群が基準フレーム群とされる。
【0046】
基準フレーム群に含まれるフレームを基準フレームとし、基準フレームには、順次、基準フレーム番号n(1〜N)を付ける。そして、基準フレームnの画像をf0(n)と表す。
【0047】
ステップS10では、ヒストグラムを用いることにより、標準的な一心拍のフレーム群が基準フレーム群として選定されている。基準フレームは、以降の処理にて心拍間の時間的変動を補正する際の基準となるので、このように標準的な一心拍のフレーム群を選定することが好ましい。ただし、ステップS10の処理を簡単にするためには、適当な一心拍のフレーム群(例えば、最初のフレーム群)を基準フレーム群としてもよい。
【0048】
[代表基準フレームの設定(S12)]
基準フレーム群に含まれる基準フレームの内で、心臓の動きの特徴的な状態を記録した基準フレームを選出し、選出した基準フレームを代表基準フレームとする。また、代表基準フレーム以外の基準フレームを代表外基準フレームとする。ステップS12の詳細は、図4のフローチャートおよび図8の説明図に示されている。
【0049】
図8の左側には、心臓52の画像として、胸骨左縁左室長軸断面が示されている。同図には、左心室54、左心房56、僧帽弁58などが示されている。この画像上で、僧帽弁前尖60を通るように直線62が設定される(S30)。直線62上の画素を取り出して基準フレーム番号順に並べることにより、図8右側に示すMモード画像64が得られる(S32)。
【0050】
Mモード画像64から、僧帽弁前尖60部分のMモード画像66が取り出される(S34)。Mモード画像66として取り出された1次元の画像データをM0(z,n)と表す。M0は画素値である。zは、直線62に沿った距離であり、Mモード画像66における深さに相当する。また、nは前述の基準フレーム番号である。図9には、僧帽弁前尖60のMモード画像66が、心電波形とともに示されている。図9に示すように、一般に、僧帽弁前尖60の運動を表すパターンには、A点〜F点という名前が付けられている。例えば、C点は、心電波形におけるR波とほぼ同時期であり、拡張末期に近い時相である。また、E点は、収縮末期に近い時相である。
【0051】
次に、図9のパターンのC点に対応する基準フレーム、すなわち、C点の状態を記録した基準フレームを検出し、検出した基準フレームを代表基準フレームとして特定する。ここでは、C点を表すM0(z,n)から、C点に対応する基準フレームの基準フレーム番号を求める。同様にして、E点、F点、A点に対応する基準フレームを代表基準フレームとする(S36)。代表基準フレームの基準フレーム番号をそれぞれnC、nE、nF、nAとする。
【0052】
図8左側のBモード画像に直線62を設定する作業と、図8右側のMモード画像64から、僧帽弁前尖60部分の画像を取り出す作業は、ユーザーの指示に従って行われる。この作業のために画像処理部36は、Bモード画像やMモード画像をCRT20に表示される。ユーザーは、CRT20の表示を見ながら、図1のユーザー入力装置38を使用して指示を出す。
【0053】
また、上記では、直線62をBモード画像内に設定した。これに対し、以下のように、超音波送受信部10が形成する超音波ビームを利用してもよい。この場合、まず、僧帽弁前尖60を通る超音波ビームが選定される。そして、この超音波ビームに基づいて生成されるMモード画像データが、DSC16を介して画像処理部36に取り込まれる。
【0054】
また、上記において僧帽弁前尖60のMモード画像を用いたのは、下記の理由による。代表基準フレームとしては、心臓の運動における特徴的な状態を記録したフレームを選定することが好ましい。後述するステップ14におけるマッチング処理の際に、精度のよい結果が得られるからである。そして、僧帽弁前尖60の運動パターンにおける極値(C点、E点、F点、A点)は、上記の特徴的な状態に相当する。
【0055】
さらに、僧帽弁前尖60のMモード画像を用いたことにより、下記の利点が得られる。図9に示すように、僧帽弁前尖60の運動パターンには、心臓の拡張期にも収縮期にも極値が現れる。従って、代表基準フレーム同士の基準フレーム番号が適当に離れるようにして代表基準フレームを設定することができる。これにより、後述するステップ16において代表外基準フレームに対する同時相フレームを抽出する際に好結果が得られる。代表基準フレーム同士の基準フレーム番号が離れすぎないからである。
【0056】
なお、上記のステップS12を簡略化するためには、例えば、心電波形のP、Q、R、S、T波に相当する基準フレームを代表基準フレームとしてもよい。また、基準フレーム群のフレーム数Nを適当に等分割することにより、代表基準フレームの基準フレーム番号を定めてもよい。このような処理を行うのであれば、ユーザーがユーザー入力装置38を用いて指示を出すことは不要である。
【0057】
[代表基準フレームに対する同時相フレームの特定(S14)]
同時相フレームとは、心臓の運動状態が同じ心時相にあるフレームをいう。同時相フレームの超音波画像では、心臓の位置や形状が同様である。ここでは、代表基準フレームに対する同時相フレームを、基準フレーム群以外のフレーム群から特定する。この同時相フレームの特定は、代表基準フレームと他のフレーム群に含まれるフレームとの画像のマッチングを取ることによって行われる。図5は、ステップS14において代表基準フレームに対する同時相フレームを特定するための処理を示している。
【0058】
まず、代表基準フレームnCに対する同時相フレームを、最初のフレーム群(図2における心拍1のフレーム群)から特定する。図10の上段は心拍1の心電波形であり、中段は心拍1のフレーム群であり、下段は基準フレーム群である。ここでは、前述のステップS12において、代表基準フレームnCとして、n=3の基準フレームが選出されている。
【0059】
ステップS42では、同時相フレームの検索範囲を設定する。前述したように、代表基準フレームnCの時相は、心電波形のR波の時相にほぼ等しい。そこで、心電波形における最初のR波のピークに対応するフレームを検出する。そして、検出したフレームの前後の数フレームを検索範囲とする。
【0060】
検索範囲の設定には、前述のステップS10にて作成した心拍周期長のヒストグラム(図7)が用いられる。このヒストグラムから心拍周期長のばらつき(変動範囲)を求め、このばらつきをフレーム数に換算する。同時相フレームは、上記R波のピークに対応するフレームを中心とし、心拍周期長のばらつきに対応するフレーム数の範囲内にあるフレームのいずれかであると考えられる。そこで、この範囲を同時相フレームの検索範囲として設定する。
【0061】
なお、ステップS42を簡略化するためには、例えば、検索範囲を適当な所定数(例えば5フレーム)に設定してもよい。また、検索範囲は、隣のフレーム群にまたがって設定されてもよい。代表基準フレームが基準フレーム群の先頭付近のフレームである場合、同時相フレームが隣のフレーム群に含まれている可能性もあるからである。
【0062】
次に、検索範囲のフレームと代表基準フレームnCとのマッチング演算を行う(S44)。ここでは、検索範囲のフレームについて、f(x,y,i)から一次元画像データM(z,i)を求める。このM(z,i)は、前述のM0(z,i)と同様のデータである。すなわち、M(z,i)は、検索範囲のフレームにおける僧帽弁前尖60のMモード画像データであり、M0(z,i)を得るために設定された直線62と同位置の直線に沿って得られるデータである。そして、M0(z,i)と検索範囲の各フレームのM(z,i)とを用いて次式(1)の相関関数を計算する。
【0063】
【数1】
ここで、文字の上に付けられた ̄は、平均値を表す。また、uは位置のずれ量を表すパラメータであり、超音波診断装置の分解能程度の範囲で計算すればよい。なお、位置のずれが無視できる場合には、u=0としてもよい。
【0064】
R(u,i)が最大となるuおよびiを求め、それぞれ、uC1、iC1とする。フレーム番号iC1のフレームが、同時相フレームとして特定される(S46)。すなわち、フレームiC1は、心拍1のフレーム群に含まれ、かつ、代表基準フレームnCと同一心時相のフレームである。
【0065】
ステップS48では、全心拍のフレーム群について、同時相フレームを特定したか否かを検出し、特定していない場合には、ステップS42に戻り、次のフレーム群について同様の処理を行う。このようにして、心拍3から心拍Jまでの全フレーム群について、同時相フレームiCjが求められる。なお、心拍2のフレーム群は、基準フレーム群として設定されているので、ここでは処理の対象としない。
【0066】
ステップS50では、全部の代表基準フレームについて、同時相フレームを特定したか否かを検出し、特定していない場合には、ステップS42に戻り、次の代表基準フレームについて同様の処理を行う。このようにして、代表基準フレームnE、nF、nAに対する同時相フレームが求められる。なお、代表基準フレームnCに対する同時相フレームを特定する際には、ステップS42にて、検索範囲の中心が、R波のピークに対応するフレームに設定された。これに対して、例えば、心拍jのフレーム群から代表基準フレームnEに対する同時相フレームiEjを特定する際には、フレームiCj+nE−nCが、検索範囲の中心とされる。他の場合についても同様である。
【0067】
上記では、式(1)を用いてマッチング演算を行った。これに対して、その他の評価関数、例えば、絶対値誤差、平均2乗誤差などを用いて、M0(z,i)とM(z,i)の相関や誤差を求めてもよい。
【0068】
また、同時相フレームをより正確に特定するために、二次元画像データを用いてマッチング演算を行ってもよい。この場合には、式(1)にてずれ量uを求めたのと同様に、x方向およびy方向のずれ量が求められる。
【0069】
以上、本ステップでは、マッチング演算を用いた同時相フレームの特定を、代表基準フレームに限定して行っている。基準フレーム全部についてのマッチング演算を行わないので、計算量が大幅に削減されている。さらにまた、一次元画像データを用いてマッチング演算を行っているので、計算量が大幅に削減されている。
【0070】
[代表外基準フレームに対する同時相フレームの抽出(S16)]
ここでは、代表外基準フレームnに対する同時相フレームを心拍jのフレーム群から抽出する処理を例にとって説明する。図11には、ここでの同時相フレームを抽出するための処理が示されている。まず、図11に示される対応時相点i′を求める(S60)。図11の上段は心拍jのフレーム群であり、下段は基準フレーム群である。代表基準フレームnC、nEに挟まれた代表基準外フレームnに着目する。図示のように、代表基準フレームnC、nEの間隔nE−nCは、代表基準外フレームnによって、n−nC:nE−nに内分されている。一方、代表基準フレームnC、nEに対応する同時相フレームiCj、iEjの間隔はiEj−iCjである。この間隔iEj−iCjをn−nC:nE−nに内分する点i′が対応時相点である。対応時相点i′は、次式(2)によって求められる。
【0071】
【数2】
図12は、心拍jのフレーム群における対応時相点i′の近傍を示している。フレームint(i′)、フレームint(i′)+1は、対応時相点i′の前後のフレームである。int(i′)は、i′の小数点以下を切り捨てた数値である。これらのフレームの画像データを用いて補間することにより、代表外基準フレームnに対する同時相フレームの画像データが求められる。ここでは、両フレームの画像データf(int(i′))、f(int(i′)+1)を用いて、int(i′)+1−i′:i′−int(i′)の配分で線形補間が行われる(S62)。
【0072】
前述のステップS14では、式(1)のマッチング演算の際にずれ量uCj、uEj等を求めた。このずれ量uCj、uEj等を用いて、次式(3)の補間演算により、対応時相点i′におけるずれ量u′が算出される(S64)。
【0073】
【数3】
ステップS66にて全ての心拍のフレーム群についての処理を行ったか否かが判断される。これにより、代表外基準フレームnに対する同時相フレームが、心拍Jまでのフレーム群のそれぞれから一枚ずつ求められる。また、ステップS68にて全ての代表外基準フレームについての処理が行われたか否かが判断される。これにより、全ての代表外基準フレームについて、ステップS60〜S66の処理が行われる。なお、上記では、代表外基準フレームnが代表基準フレームnC、nEに挟まれている場合の処理について説明したが、他の代表基準フレームに挟まれている場合についても同様である。
【0074】
上記では、同時相フレームの抽出の際に線形補間が行われる。これに対して、非線形補間を行ってもよい。また、3枚以上のフレーム画像を用いて補間演算を行ってもよい。また、処理を簡略化するために、フレームint(i′)あるいはフレームint(i′)+1の近い方を同時相フレームとしてもよい。その他、ずれ量u′の算出の際にも非線形補間を行ってもよい。
【0075】
[同時相フレームの積算(S18)]
ここでは、基準フレームとステップS14あるいはステップS16にて抽出された同時相フレームの画像データが積算される。例えば、代表基準フレームnCと同時相フレームiC1〜iCjの画像データが積算される。他の代表基準フレームおよび代表外基準フレームについても同様である。積算処理によって形成されたフレームを合成フレームという。以上より、一心拍分の合成フレームの画像データが得られる。合成フレームのフレーム数は、基準フレーム群のフレーム数に等しい。
【0076】
積算処理の際には、前述にて求められたずれ量uCj、uEj、uFj、uAj、u′に応じた補正が行われる。ここでは、例えば、次式(4)を用いることにより、u′がx、y方向成分ux、uyに分割される。式(4)において、θは、図8の直線62がy軸となす角度である。そして、フレーム画像をx、y方向にそれぞれux、uy移動してから積算する。
【0077】
【数4】
なお、前述のステップS44において二次元画像データを用いたマッチング演算が行われる場合には、マッチング演算の結果として、すでにx方向およびy方向のずれ量が算出されている。そこで、上式(4)を用いることなく、このずれ量に従った補正を行えばよい。
【0078】
[表示装置への出力(S20)]
ステップS18によって生成された合成フレームの画像データは、図1の画像処理部36からD/A変換器18へ出力される。そして、画像データは、D/A変換器18にてアナログ信号に変換されたのち、CRT20に表示される。CRT20は、一心拍分の画像データを繰り返し表示する。
【0079】
以上、本発明の好適な実施形態について説明した。本実施形態では、同時相フレームを各心拍のフレーム群から抽出した。同時相フレームの記録時点はそれぞれ異なるので、同時相フレーム間ではスペックルパターンが異なる。従って、同時相フレームの積算により、スペックルノイズが効果的に低減される。このように、従来困難であった被検体が運動する場合におけるスペックルノイズの低減が可能となった。
【0080】
また、心臓の動きは心拍ごとに多少異なっており、また心拍周期長も心拍ごとにばらつく。従って、あるフレーム群において何番目に位置するかということだけを基準としては、同時相フレームが正確に検出されない可能性がある。この場合、時相のずれたフレーム同士の積算によって、合成フレームの画像がぼけることがある。一方、本実施形態では、マッチング演算を行うことにより、同時相フレームの検出が正確に行われる。従って、鮮明な画像を得ることができる。このような効果は、心臓のように動きの激しい被検体の画像を生成する場合に特に有用である。
【0081】
また、本実施形態では、基準フレーム群が代表基準フレームと代表外基準フレームに分けられ、代表基準フレームについてのみマッチング演算が行われる。従って、マッチング演算のための計算量が大幅に削減される。また、僧帽弁前尖の運動軌跡を示す一次元画像データを用いてマッチング演算を行ったことによっても、大幅に計算量が削減されている。
【0082】
また、1心拍の全体に渡って特徴的な運動をする僧帽弁に着目し、この僧帽弁のMモード画像を用いたので、代表基準フレームの特定が容易となり、また、マッチング演算の精度が向上している。
【0083】
さらにまた、マッチング演算の際に求めたずれ量が、フレーム積算の際に反映されているので、合成フレーム画像がより鮮明となっている。
【0084】
その他、本実施形態では、本発明がセクタ走査方式の超音波診断装置に適用される場合について説明した。これに対し、本発明は、その他の方式、例えばリニア走査方式の超音波診断装置に対しても適用可能であることはもちろんである。
【0085】
また、本実施形態では、DSC16で走査変換した画像をBモード画像フレームメモリ32に記憶し、ノイズ除去処理を行っている。これに対し、走査変換前の超音波ビームデータをフレームメモリに記憶し、このビームデータに対して本発明のノイズ除去処理を行ってもよい。この場合にはノイズ除去後のビームデータをDSCに入力して走査変換を行い、変換後のデータをCRTへ送る必要がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態の超音波診断装置の構成を示すブロック図である。
【図2】 Bモード画像および心電波形を時系列に従って示す説明図である。
【図3】 スペックルノイズ除去処理の全体を示すフローチャートである。
【図4】 代表基準フレームを設定するための処理を示すフローチャートである。
【図5】 代表基準フレームに対する同時相フレームを特定するための処理を示すフローチャートである。
【図6】 代表外基準フレームに対する同時相フレームを抽出するための処理を示すフローチャートである。
【図7】 基準フレーム群を設定するために用いられる心拍周期長のヒストグラムを示す説明図である。
【図8】 代表基準フレームを設定するための処理を示す説明図である。
【図9】 僧帽弁前尖のMモード画像を心電波形とともに示す説明図である。
【図10】 心拍1のフレーム群から同時相フレームを特定するための処理を示す説明図である。
【図11】 代表外基準フレームに対する同時相フレームを抽出する処理を示す説明図である。
【図12】 代表外基準フレームに対する同時相フレームを抽出する処理を示す説明図である。
【図13】 従来のスペックルノイズ除去手法である空間的コンパウンド法を示す説明図である。
【符号の説明】
10 超音波送受信部、11 超音波プローブ、12 送受信回路、14,26 A/D変換器、16 デジタルスキャンコンバータ(DSC)、18 D/A変換器、20 CRT、22 心電プローブ、24 増幅器、30 スペックルノイズ除去部、32B モード画像フレームメモリ、34 心電波形メモリ、36 画像処理部、38 ユーザー入力装置、40 制御回路。
Claims (9)
- 周期的に運動する被検体の超音波画像をフレームごとに記録するフレームメモリと、
前記フレームメモリに記録された運動周期単位のフレーム群のそれぞれから、被検体の運動状態が同時相である同時相フレームを抽出する同時相フレーム抽出手段と、
抽出された、互いにスペックルパターンが異なる複数の同時相フレームの超音波画像の画像データを積算することにより、スペックルノイズを低減させた合成フレーム超音波画像を作成する合成フレーム作成手段と、
を含み、
前記同時相フレーム抽出手段は、複数組の同時相フレームを抽出し、
前記合成フレーム作成手段は、複数組の同時相フレームの各組ごとに合成フレーム超音波画像を作成し、
これにより、複数組の同時相フレームから得られる複数の合成フレーム超音波画像に基づいて被検体の運動を動画像で表示する、
ことを特徴とする超音波診断装置。 - 周期的に運動する被検体の超音波画像をフレームごとに記録するフレームメモリと、
運動周期単位のフレーム群のそれぞれから、被検体の運動状態が同時相である同時相フレームを抽出する同時相フレーム抽出手段と、
抽出された複数の同時相フレームの超音波画像を合成することにより合成フレーム超音波画像を作成する合成フレーム作成手段と、
を有し、
前記同時相フレーム抽出手段は、
前記フレーム群の一つを基準フレーム群とする基準フレーム群設定手段と、
前記基準フレーム群に含まれる基準フレームと他のフレーム群に含まれるフレームとの間で超音波画像の類似性を評価し、類似性の高いフレームを前記同時相フレームとして抽出する評価抽出手段と、
を含むことを特徴とする超音波診断装置。 - 周期的に運動する被検体の超音波画像をフレームごとに記録するフレームメモリと、
運動周期単位のフレーム群のそれぞれから、被検体の運動状態が同時相である同時相フレームを抽出する同時相フレーム抽出手段と、
抽出された複数の同時相フレームの超音波画像を合成することにより合成フレーム超音波画像を作成する合成フレーム作成手段と、
を有し、
前記同時相フレーム抽出手段は、
前記フレーム群の一つを基準フレーム群とする基準フレーム群設定手段と、
前記基準フレーム群に含まれる基準フレームを代表基準フレームと代表外基準フレームに分ける代表基準フレーム設定手段と、
前記代表基準フレームと他のフレーム群に含まれるフレームとの間で超音波画像の類似性を評価し、類似性の高いフレームを前記同時相フレームとして抽出する評価抽出手段と、
前記代表基準フレームと前記評価抽出手段が抽出した前記同時相フレームとに基づいて、前記代表外基準フレームの時相に対応する対応時相点を前記他のフレーム群に関して求める対応時相点検出手段と、
前記他のフレーム群に含まれ前記対応時相点の近傍の1または複数のフレームの超音波画像に基づいて所定の補間処理を行うことにより、前記代表外基準フレームに対する同時相フレームの超音波画像を求める補間抽出手段と、
を含むことを特徴とする超音波診断装置。 - 請求項3に記載の装置において、
前記代表基準フレーム設定手段は、被検体の運動の特徴状態を記録したフレームを前記代表基準フレームとすることを特徴とする超音波診断装置。 - 請求項2〜4のいずれかに記載の装置において、
前記基準フレーム群設定手段は、被検体の運動周期長の頻度に基づいて前記基準フレーム群を定めることを特徴とする超音波診断装置。 - 請求項2〜5のいずれかに記載の装置において、
前記超音波画像に基づいて被検体の特徴部分の運動軌跡を検出する運動軌跡検出手段を含み、
前記評価抽出手段は、前記運動軌跡についての類似性を評価することを特徴とする超音波診断装置。 - 請求項2〜6のいずれかに記載の装置において、
前記類似性の評価の対象とされるフレームが、前記他のフレーム群の所定範囲に限定されることを特徴とする超音波診断装置。 - 請求項7に記載の装置において、
前記所定範囲は、被検体の運動周期長のばらつきに基づいて定められることを特徴とする超音波診断装置。 - 請求項2〜8のいずれかに記載の装置において、
前記評価抽出手段は、前記類似性の評価の際に、基準フレームと評価対象のフレームとの超音波画像のずれ量を算出し、
前記合成フレーム作成手段は、前記合成フレームの超音波画像を作成する際に、前記ずれ量に対応した補正を行うことを特徴とする超音波診断装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27354596A JP3834365B2 (ja) | 1996-10-16 | 1996-10-16 | 超音波診断装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27354596A JP3834365B2 (ja) | 1996-10-16 | 1996-10-16 | 超音波診断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10118061A JPH10118061A (ja) | 1998-05-12 |
JP3834365B2 true JP3834365B2 (ja) | 2006-10-18 |
Family
ID=17529324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27354596A Expired - Fee Related JP3834365B2 (ja) | 1996-10-16 | 1996-10-16 | 超音波診断装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3834365B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180056976A (ko) * | 2016-11-21 | 2018-05-30 | 서강대학교산학협력단 | 유사 패치를 이용하여 초음파 영상의 스페클을 제거하는 장치 및 방법 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3280625B2 (ja) * | 1998-09-08 | 2002-05-13 | アロカ株式会社 | 超音波診断装置 |
US7756304B2 (en) | 1998-12-30 | 2010-07-13 | Siemens Medical Solutions Usa, Inc. | Medical diagnostic ultrasonic imaging method and system for displaying multi-phase, multi-frame images |
US6556695B1 (en) * | 1999-02-05 | 2003-04-29 | Mayo Foundation For Medical Education And Research | Method for producing high resolution real-time images, of structure and function during medical procedures |
US6447450B1 (en) * | 1999-11-02 | 2002-09-10 | Ge Medical Systems Global Technology Company, Llc | ECG gated ultrasonic image compounding |
JP4149177B2 (ja) * | 2001-03-05 | 2008-09-10 | 松下電器産業株式会社 | 超音波診断装置及び画像処理装置 |
US7052460B2 (en) * | 2003-05-09 | 2006-05-30 | Visualsonics Inc. | System for producing an ultrasound image using line-based image reconstruction |
US7346228B2 (en) * | 2003-09-09 | 2008-03-18 | Ge Medical Systems Global Technology Company, Llc | Simultaneous generation of spatially compounded and non-compounded images |
WO2006024970A1 (en) * | 2004-08-11 | 2006-03-09 | Koninklijke Philips Electronics, N.V. | Ultrasonic diagnosis of ischemic cardiodisease |
JP5366372B2 (ja) * | 2007-04-23 | 2013-12-11 | 株式会社東芝 | 超音波診断装置及び超音波画像データ生成プログラム |
JP5331313B2 (ja) * | 2007-05-24 | 2013-10-30 | 株式会社日立メディコ | 超音波診断装置 |
JP4590002B2 (ja) * | 2009-04-01 | 2010-12-01 | 株式会社日立メディコ | 超音波診断装置とその作動方法 |
KR101121396B1 (ko) * | 2009-07-31 | 2012-03-05 | 한국과학기술원 | 2차원 초음파 영상에 대응하는 2차원 ct 영상을 제공하는 시스템 및 방법 |
US8437538B2 (en) * | 2009-09-29 | 2013-05-07 | Peking University | Volumetric image data processing |
JP5501292B2 (ja) | 2011-05-30 | 2014-05-21 | 富士フイルム株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5498989B2 (ja) * | 2011-05-30 | 2014-05-21 | 富士フイルム株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014050536A (ja) * | 2012-09-06 | 2014-03-20 | Hitachi Aloka Medical Ltd | 超音波診断装置 |
WO2015177658A1 (en) * | 2014-05-23 | 2015-11-26 | Koninklijke Philips N.V. | Motion gated-ultrasound thermometry using adaptive frame selection. |
CN107004270B (zh) * | 2014-12-17 | 2021-02-19 | 皇家飞利浦有限公司 | 用于计算感兴趣对象的位移的方法和系统 |
-
1996
- 1996-10-16 JP JP27354596A patent/JP3834365B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180056976A (ko) * | 2016-11-21 | 2018-05-30 | 서강대학교산학협력단 | 유사 패치를 이용하여 초음파 영상의 스페클을 제거하는 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JPH10118061A (ja) | 1998-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3834365B2 (ja) | 超音波診断装置 | |
US5533510A (en) | Real time ultrasound endocardial displacement display | |
US8265358B2 (en) | Ultrasonic image processing apparatus and method for processing ultrasonic image | |
JP4805669B2 (ja) | 超音波画像処理装置及び超音波画像処理装置の制御プログラム | |
JP5624258B2 (ja) | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム | |
JP4805140B2 (ja) | 線ベースの画像再構成を用いて、超音波画像を生成するためのシステム | |
US7758507B2 (en) | Blood flow imaging | |
US6488629B1 (en) | Ultrasound image acquisition with synchronized reference image | |
JP4745133B2 (ja) | 超音波診断装置、医用画像処理装置及び医用画像処理プログラム | |
EP1579244B1 (en) | Segmentation tool for identifying flow regions in an imaging system | |
JP5134787B2 (ja) | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム | |
EP2582302B1 (en) | Automated heart rate detection for 3d ultrasonic fetal imaging | |
JP2007513726A (ja) | 浸透、解像度及びフレームレートの自動制御を有する超音波画像診断システム | |
JPH06292667A (ja) | 体腔の容積をリアルタイムで求めるための方法及び装置 | |
JP4870449B2 (ja) | 超音波診断装置及び超音波画像処理方法 | |
JP4764209B2 (ja) | 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法 | |
JPH0779981A (ja) | 超音波診断装置 | |
CN113573645B (zh) | 用于调整超声探头的视场的方法和系统 | |
CN113316420B (zh) | 用于监测心脏的功能的方法和系统 | |
JP3363513B2 (ja) | 超音波診断装置 | |
JP5317391B2 (ja) | 超音波診断装置 | |
JP3405578B2 (ja) | 超音波診断装置 | |
JP2002330967A (ja) | 超音波診断装置 | |
CN104363837A (zh) | 超声波图像诊断装置 | |
JP2021115213A (ja) | 超音波診断装置、画像処理方法、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060724 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |