JP4985052B2 - 超音波診断装置および超音波診断装置の制御方法 - Google Patents

超音波診断装置および超音波診断装置の制御方法 Download PDF

Info

Publication number
JP4985052B2
JP4985052B2 JP2007096254A JP2007096254A JP4985052B2 JP 4985052 B2 JP4985052 B2 JP 4985052B2 JP 2007096254 A JP2007096254 A JP 2007096254A JP 2007096254 A JP2007096254 A JP 2007096254A JP 4985052 B2 JP4985052 B2 JP 4985052B2
Authority
JP
Japan
Prior art keywords
data
color doppler
compression
mode
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007096254A
Other languages
English (en)
Other versions
JP2008253378A (ja
Inventor
和宏 砂川
俊之 笹原
良信 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007096254A priority Critical patent/JP4985052B2/ja
Publication of JP2008253378A publication Critical patent/JP2008253378A/ja
Application granted granted Critical
Publication of JP4985052B2 publication Critical patent/JP4985052B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、生体組織の特性値を映像情報に変換して超音波診断装置において、生体組織の特性値である超音波データを圧縮し、記憶媒体に保存、あるいは、ネットワークを通じて伝送を行う超音波診断装置、および、超音波診断装置の制御方法に関する。
一般的な医用画像診断装置は、生体組織の形状測定、運動特性、および、性状特性など生体情報を測定することが可能であり、測定結果は主に生体組織の断層像として映像化されて画面に表示される。その中でも、超音波診断装置は、X線CT、あるいは、MRIなどの他の生体組織の断層像を測定する医療診断装置に比べて、計測のリアルタイム性に優れており、血流や心臓など動きの観察が重要となる循環器系疾患の診断に非常に有用である。
特に、血流計測においては、二次元の血流速度分布をカラー表示するカラードプラ法が、生体組織の形態情報であるBモード断層像に、血流速度分布に応じたカラーマップを重畳して表示できるために、非常に有用となっている。
近年、これらの医療画像・動画像のデジタル保存、あるいは、ネットワークを介しての伝送に対する需要が高まっており、記憶容量、あるいは、伝送容量を低減するために、データを圧縮する手法が試みられている。
例えば、伝送帯域幅が狭い伝送路いわゆる伝送レートが低いネットワークを用いて、高品質な画像、あるいは、映像を伝送する手法として、特許文献1に示されているように、動画像の各シーンの動き量や変化量に応じて圧縮符号化の制御、および、フレームレートを制御し、伝送する画像データを削減する手法が知られている。
また、カラードプラ法で得られたカラー画像・動画像に対して、JPEGやMPEGなどの非可逆圧縮手法を適用した際の偽色の発生を防ぐために、特許文献2に示されているように、Bモード画像、カラードプラ画像を個別に圧縮を行い、前記個別に圧縮したBモード画像、カラードプラ画像を伸張・復元後に、Bモード画像、カラードプラ画像それぞれのカラーパレット変換を行って画像合成する手法が知られている。
特開平11−298890号公報 特開2003−250799号公報
しかしながら、特許文献1に示されている手法は、各シーンの動き量や変化量を考慮した制御となっているが、これらの動き量や変化量を算出するには、1フレーム毎に全画素間のデータをスキャンする必要があり、主に血流部分のみに動き量が発生する血管の断層像では非効率である。また、血流の動きは、カラードプラ法によるカラーパレット変換後に行う必要があり、JPEGやMPEGなどの非可逆圧縮手法を適用した際には偽色が発生する場合がある。
また、特許文献2に示されている手法は、個別に圧縮したBモード画像、カラードプラ画像を伸張・復元後に、Bモード画像、カラードプラ画像それぞれのカラーパレット変換を行って画像合成を行っているが、カラードプラ法では診断に応じた複数のカラーマップを備えており、カラーパレット変換のカラーマップの種類によっては、微小な値でも輝度の高いカラーマップを適用することがあるために、場合によっては偽色と同様な現象が発生する場合がある。
カラードプラ法におけるカラードプラ画像の偽色の発生は、誤診に繋がる危険があるために、特許文献1、および、特許文献2に示されている手法では、圧縮率を高めに設定せざるを得ない。さらに、超音波受信信号(超音波データ)を映像信号に変換(走査変換)した画像を用いるため、走査変換時のデータ補間により、データ量が大きくなってしまい、また、データ量が大きくなることにより、圧縮・伸張処理の負荷が大きくなるという問題がある。
本発明は、このような従来技術の課題を解決するためになされたものであり、生体組織の特性値を映像情報に変換して表示する超音波診断装置において、カラードプラ画像を圧縮・伸張処理を行っても、偽色の発生を抑制できる超音波診断装置を提供する。
さらに、Bモードデータ、および、カラードプラデータそれぞれの圧縮率を適応的に制御することにより、効率的にBモードデータ、および、カラードプラデータを圧縮処理できる超音波診断装置を提供する。
本発明の超音波診断装置は、生体組織の特性値を映像情報に変換して表示する超音波診断装置において、Bモードデータを圧縮するBモードデータ圧縮部と、圧縮したBモードデータを伸張するBモード圧縮データ伸張部と、カラードプラデータを圧縮するカラードプラデータ圧縮部と、圧縮したカラードプラデータを伸張するカラードプラ圧縮データ伸張部と、前記圧縮したBモードデータおよび圧縮したカラードプラデータを記憶媒体に保存する記憶部と、ネットワークを介して伝送する伝達部とを有し、前記Bモードデータ圧縮部と前記カラードプラデータ圧縮部は、生体組織からの超音波エコー信号(超音波データ)の性質に基づいて圧縮率を制御することを特徴とする。
この構成により、映像情報に走査変換する前のBモードデータ、および、カラーフローデータそれぞれの圧縮率を個別に制御し、圧縮したBモードデータ、および、圧縮したカラードプラデータを、記憶媒体に保存、あるいは、ネットワークを介して伝送することが可能となる。
また、Bモードデータ、カラードプラデータを走査変換、および、カラーパレット変換を適用する前に、Bモードデータ、カラードプラデータそれぞれを独立して圧縮・伸張処理を行うため、偽色の発生を抑制することが可能となり、さらに、映像情報に走査変換する前のBモードデータ、カラードプラデータから構成される超音波データに対して圧縮・伸張処理を適用するため、走査変換後の映像情報に圧縮・伸張処理を適用する場合と比較して、データ量を削減することが可能となる。
ある好ましい実施形態において、カラードプラデータは、速度情報、パワー情報、および、分散情報から構成されている。
この構成により、カラードプラモードデータを構成する速度情報、パワー情報、および、分散情報いずれか1つの画質に基づき、前記カラードプラモードデータの圧縮率を制御することが可能となり、また、速度情報、パワー情報、および、分散情報それぞれについて、個別に圧縮率を制御することが可能となる。
ある好ましい実施形態において、Bモードデータ圧縮部は、1フレーム前の圧縮、伸張したBモードデータの品質に基づき、前記Bモードデータの圧縮率を制御する。
この構成により、Bモード画像の画質を一定に維持しながら、Bモードデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、Bモードデータ圧縮部は、異なるフレームの複数のBモードデータ間の差分に基づき、前記Bモードデータの圧縮率を制御する。
この構成により、Bモード画像の画質を一定に維持しながら、Bモードデータ圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、カラードプラデータを構成する速度情報に基づき、前記カラードプラデータの圧縮率を制御する。
この構成により、カラードプラデータに含まれる速度情報の非可逆圧縮による誤差の発生を抑制し、一定の品質を維持しながら、カラードプラデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、カラードプラデータを構成するパワー情報に基づき、前記カラードプラデータの圧縮率を制御する。
この構成により、カラードプラデータに含まれるパワー情報の非可逆圧縮による誤差の発生を抑制し、一定の品質を維持しながら、カラードプラデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、カラードプラデータを構成する分散情報に基づき、前記カラードプラデータの圧縮率を制御する。
この構成により、カラードプラデータに含まれる分散情報、速度情報、および、パワー情報の非可逆圧縮による誤差の発生を抑制し、一定の品質を維持しながら、カラードプラデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、外部に接続された心電計から得られた心電波形に基づき、前記カラードプラデータの圧縮率を制御する。
この構成により、一心周期間の、心収縮期、あるいは、心拡張期などの心周期に応じて、カラードプラデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、外部に接続された心音計から得られた心音波形に基づき、前記カラードプラデータの圧縮率を制御する。
この構成により、一心周期間の、心収縮期、あるいは、心拡張期などの心周期に応じて、カラードプラデータの圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、カラードプラデータ圧縮部は、カラードプラモードデータを構成する速度情報、パワー情報、および、分散情報それぞれについて、個別に圧縮率を制御する。
この構成により、カラードプラモードデータを構成する速度情報、パワー情報、および、分散情報それぞれについて、非可逆圧縮による誤差の抑制を個別に行い、品質を速度情報、パワー情報、および、分散情報それぞれに最適に維持するような圧縮率を適応的に制御することが可能となる。
ある好ましい実施形態において、本発明の超音波診断装置は、ネットワークを介して、受信した圧縮したBモードデータ、および、圧縮したカラードプラデータを、それぞれ伸張し、表示する。
この構成により、遠隔地などで計測・圧縮されたBモードデータ、および、同様に計測・圧縮されたカラードプラデータを、ネットワークの伝送量を抑制しながら、伝送、受信し、表示することが可能となる。
ある好ましい実施形態において、本発明の超音波診断装置は、ネットワークを介して受信した、圧縮されたBモードデータ、および、圧縮されたカラードプラデータを、それぞれ記憶媒体に保存する。
この構成により、遠隔地などで計測・圧縮されたBモードデータ、および、同様に計測・圧縮されたカラードプラデータを、ネットワークの伝送量を抑制しながら、伝送・受信し、記憶媒体に保存することが可能となる。
ある好ましい実施形態において、記憶媒体に保存されている圧縮したBモードデータ、および、圧縮したカラードプラデータを、それぞれ伸張し、表示する。
この構成により、計測・圧縮されたBモードデータ、および、同様に計測・圧縮されたカラードプラデータ、もしくは、遠隔地などで計測・圧縮されたBモードデータ、および、同様に計測・圧縮されたカラードプラデータを、記憶媒体の記憶容量を抑制しながら、記憶媒体に保存し、必要に応じて表示が可能となる。
本発明によれば、生体組織の特性値を映像情報に変換して表示する超音波診断装置において、映像情報に走査変換する前の計測されたBモードデータ、および、カラードプラデータの値から、Bモードデータ、および、カラードプラデータそれぞれの圧縮率を適応的に制御しながら、圧縮・伸張を行い、伸張後のBモードデータ、および、カラードプラデータそれぞれを走査変換し、Bモード画像に、カラーパレット変換したカラードプラ画像を重畳して表示することにより、走査変換後の映像情報に圧縮・伸張処理を適用する場合と比較して、データ量を削減することが可能な超音波診断装置を実現することができる。
以下、図面を参照しながら、本発明の超音波診断装置および超音波診断装置の制御方法の実施の形態を説明する。
(第1の実施の形態)
図1は、本発明の超音波診断装置の構成を示すブロック図である。
超音波診断装置100は、超音波プローブ1、超音波送受信部2、Bモードデータ作成部3、Bモードデータ圧縮部4、Bモード圧縮データ伸張部5、カラードプラモードデータ作成部6、カラードプラモードデータ圧縮部7、カラードプラモード圧縮データ伸張部8、表示部9、通信制御部10、記憶媒体11、および、制御部12によって構成される。
記憶媒体11は、Bモードデータ圧縮部4、Bモード圧縮データ伸張部5、カラードプラモードデータ作成部6、および、カラードプラモードデータ圧縮部7と接続され、Bモード圧縮データ、および、カラードプラモード圧縮データを保存する。
なお、記憶媒体11に、制御部12における制御情報、もしくは、設定情報などを保存できるようしても良い。
制御部12は、超音波送受信部2、Bモードデータ作成部3、Bモードデータ圧縮部4、Bモード圧縮データ伸張部5、カラードプラモードデータ作成部6、カラードプラモードデータ圧縮部7、カラードプラモード圧縮データ伸張部8、表示部9、通信制御部10、および、記憶媒体11の制御を行う。
超音波診断装置100は、通信制御部10を介して、ネットワーク13に接続され、Bモードデータ、および、カラードプラデータの送受信、さらに、電子カルテなどの診断データの送受信を行う。
なお、通信制御部10は、暗号化通信の機能を有していることが好適である。
さらに、超音波診断装置100は、外部に接続された心電計201、心音計202などの生体信号計測装置で計測した生体信号を入力する機能を有し、前記生体信号は制御部12に入力される。また、前記生体信号は、表示部10において、超音波診断画像と併せて表示することが可能である。
この構成により、映像情報に走査変換する前のBモードデータ、および、カラーフローデータそれぞれの圧縮率を個別に制御し、圧縮したBモードデータ、および、圧縮したカラードプラデータを、記憶媒体に保存、あるいは、ネットワークを介して伝送することが可能となる。
また、Bモードデータ、カラードプラデータを走査変換、および、カラーパレット変換を適用する前に、Bモードデータ、カラードプラデータそれぞれを独立して圧縮・伸張処理を行うため、偽色の発生を抑制することが可能となり、さらに、映像情報に走査変換する前のBモードデータ、カラードプラデータから構成される超音波データに対して圧縮・伸張処理を適用するため、走査変換後の映像情報に圧縮・伸張処理を適用する場合と比較して、データ量を削減することが可能となる。
(第2の実施の形態)
図1において、Bモードデータ作成部3は、超音波プローブ1、超音波送受信部2を介して受信した超音波受信信号から得られる複数の音響線データ(以下、音響線群と言う)から、1フレーム単位のBモードデータを作成する。作成されたBモードデータは、Bモードデータ圧縮部4、および、表示部9に出力される。
Bモードデータ圧縮部4は、Bモードデータ作成部3で作成された前記1フレーム単位のBモードデータを圧縮する。
図2は、Bモードデータ圧縮部4の構成を示すサブブロック図である。
Bモードデータ圧縮部4は、Bモードフレームデータ圧縮部41、および、Bモードフレームデータ圧縮制御部42で構成される。
Bモードフレームデータ圧縮部41は、Bモードデータ作成部3で作成された1フレーム単位のBモードデータの圧縮処理を行う。圧縮された前記Bモードデータ(以下、Bモード圧縮データと言う)は、Bモード圧縮データ伸張部5、通信制御部10、記憶媒体11に出力される。なお、Bモードフレームデータ圧縮部41における圧縮処理の手法は、一般的な非可逆圧縮アルゴリズムであるJPEGが好適であるが、他の非可逆圧縮アルゴリズム、もしくは、可逆圧縮アルゴリズムを用いても良い。
Bモードフレームデータ圧縮制御部42は、Bモードフレームデータ圧縮部41の圧縮パラメータの制御を行う。圧縮パラメータとは、例えば、JPEGにおけるQファクターと呼ばれる圧縮率の設定値などを指す。
図1において、Bモード圧縮データ伸張部5は、Bモードデータ圧縮部4、記憶媒体11から、あるいは、ネットワーク13から通信制御部10を介して、入力されたBモード圧縮データを伸張する。前記伸張されたBモード圧縮データ(以下、Bモード圧縮・伸張データと言う)は、表示部9に出力される。
図3は、表示部9の構成を示すサブブロック図である。
表示部9は、Bモードデータ比較部91、カラードプラモードデータ比較部92、DSC93、および、モニタ94によって構成される。
Bモードデータ比較部91、および、カラードプラデータ比較部92は、それぞれ、複数のBモードデータ、および、カラードプラデータの比較を行う。DSC93は、Bモードデータ、および、カラードプラデータを映像信号に走査変換し、モニタ94に出力する。
DSC93による走査変換(Digital Scan Convert)とは、超音波送受信時の走査(音響線方向の走査)で得られる超音波データを、音響線方向の走査から、TVなどの映像信号の走査に変換するものである。ここで、DSC93は、深さ方向(超音波受信信号の伝搬方向)の距離分解能と音響線の走査方向の距離分解能との比率が異なる超音波データを、同じ距離分解能になるように補間、もしくは、間引き処理を行う。
図4は、DSC93の走査変換の実施形態を示す模式図である。
図4(a)は、超音波プローブ1による超音波データの取得を示す模式図であり、図4(b)は、図4(a)で示した取得した超音波データを映像情報に走査変換した結果を示す模式図である。なお、超音波プローブ1は、コンベックスタイプのものを例として示しているが、他のリニアタイプ、セクタタイプの超音波プローブでも同様の処理となる。
図4(a)において、超音波プローブ1による1回の超音波送受信は、深さ方向(図中放射方向)に行われる。この1回分の超音波送受信方向を音響線方向と言い、1回の超音波送受信で得られる超音波データを音響線データとも言う。
この超音波送受信を、図4(a)に示す走査方向に繰り返すことにより、1フレーム分の超音波データを取得する。図4(a)に示すように、超音波プローブ1がコンベックスタイプの場合、超音波データは超音波プローブ1に近い部位が密、遠いところが疎になる。
図4(b)は映像情報を示しており、一般的なVGAサイズでは640×480の画素のマトリックスとなる。この映像情報のマトリックスに、図4(a)で示した1フレーム分の超音波データを、実際の断層像と同じ比率の距離分解能になるように再配置する。
図4(b)において、グレイで示した画素は、超音波データが再配置された画素であり、斜線で示した画素は超音波データが再配置されない画素である。このように、超音波プローブ1がコンベックスタイプの場合、図4(b)の斜線の画素に示すような、映像情報に再配置されない超音波データが発生し、このような場合、周辺の画素を用いて補間することが行われる。
一般的な超音波診断装置では、超音波データの距離分解能より、映像情報の空間分解能の方が高いために、補間を行って映像情報を作成する。したがって、超音波データより、DSC93により走査変換された映像情報の方が、情報量が大きくなる。
Bモードデータ比較部91は、同じフレームの、Bモードデータ作成部3で作成されたBモードデータとBモードデータ圧縮部4およびBモード圧縮データ伸張部5で圧縮・伸張されたBモードデータの比較を行う。
Bモードデータの比較は、前記それぞれのBモードデータ間のPSNR、もしくは、差分を求めることで行う。比較結果は、制御部12に出力される。
PSNR(Peak signal―to―noise ratio)とは、JPEGなどの非可逆圧縮アルゴリズムを用いたときの映像品質の客観的な画像評価指数であり、原画と圧縮/伸張した画像の平均二乗誤差の逆数で表される。両画像の相違が大きければこの値は小さくなる。
なお、Bモードデータ作成部3で作成されたBモードデータと、Bモードデータ圧縮部4およびBモード圧縮データ伸張部5で圧縮・伸張されたBモードデータについて、同じフレームか否かを判別するために、フレーム番号をそれぞれのデータのヘッダに含有するようにすることが好適である。
制御部12は、Bモードデータ比較部91から入力される同じフレームの、Bモードデータ、および、Bモードデータ圧縮部4とBモード圧縮データ伸張部5で圧縮・伸張されたBモードデータの、PSNRまたは差分の結果を、Bモードフレームデータ圧縮制御部42に出力する。
Bモードフレームデータ圧縮制御部42は、制御部12の出力結果に基づき、Bモードフレームデータ圧縮部41における圧縮パラメータの制御を行う。圧縮パラメータの制御は、例えば、PSNRに基づいてJPEGアルゴリズムのQファクターを制御する場合、予め設定したPSNR値になるように、Qファクターを制御する。この際に、現時点でのフレームの結果に基づき、次フレームのQファクターを設定するようにするのが好適である。
また、図2に示した表示部9において、Bモードデータ比較部91は、Bモードデータ作成部3で作成されたBモードデータ、もしくは、Bモードデータ圧縮部4およびBモード圧縮データ伸張部5で圧縮・伸張されたBモードデータの、異なるフレーム間の比較を行う。
Bモードデータの比較は、前記それぞれのBモードデータ間のPSNR、もしくは、差分を求めることで行う。比較結果は、制御部12に出力される。
制御部12は、Bモードデータ比較部91から入力される異なるフレームの圧縮・伸張されたBモードデータのPSNRまたは差分の結果を、Bモードフレームデータ圧縮制御部42に出力する。
Bモードフレームデータ圧縮制御部42は、制御部12の出力結果に基づき、圧縮パラメータの制御を行う。例えば、PSNRに基づいてJPEGアルゴリズムのQファクターを制御する場合、予め設定したPSNR値になるように、Qファクターを制御する。この際に、現時点でのフレームの結果に基づき、次フレームのQファクターを設定するようにするのが好適である。
なお、本実施例では、Bモードデータ比較部91からの差分結果を用いて、PSNRを求めた結果に基づき圧縮を制御する例を示したが、差分結果をそのまま用いて圧縮の制御を行っても良い。また、PSNRは、Bモードデータ比較部91、もしくは、制御部12どちらで求めても良い。
この構成により、品質を一定に維持したBモードデータの非可逆圧縮を、操作者が都度圧縮パラメータを設定することなく適応的に実施することが可能となり、また、走査変換前の超音波データ(Bモードデータ)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
(第3の実施の形態)
図1において、カラードプラモードデータ作成部6は、超音波プローブ1、超音波送受信部2を介して受信した超音波受信信号から得られる音響線群から、1フレーム単位のカラードプラモードデータを作成する。カラードプラデータは、それぞれ1フレーム単位の速度情報、パワー情報、および、分散情報から構成されている。作成されたカラードプラデータは、カラードプラデータ圧縮部7、および、表示部9に出力される。
図4は、カラードプラモードデータ作成部6の構成を示すサブブロック図である。
カラードプラモードデータ作成部6は、カラードプラ演算部61、および、カラードプラ演算制御部62によって構成される。
カラードプラ演算部61は、超音波プローブ1、超音波送受信部2を介して受信した超音波受信信号について、カラードプラ演算を行い、1フレーム単位の速度情報、パワー情報、および、分散情報から構成されるカラードプラモードデータを作成する。カラードプラ演算は、超音波受信信号に対して複素相関演算を実施することにより、速度情報、パワー情報、および、分散情報を求めるものである。
カラードプラ演算部61は、それぞれ1フレーム単位の速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65から構成されるカラードプラモードデータを、カラードプラデータ圧縮部7、および、表示部9に出力する。
カラードプラ演算制御部62は、カラードプラ演算部61において、カラードプラ演算する際の、フィルタの制御などの一般的なカラードプラ演算における設定を行う。
カラードプラデータ圧縮部7は、前記速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65から構成される1フレーム単位のカラードプラモードデータを圧縮する。
図5は、カラードプラモードデータ圧縮部7の構成を示すサブブロック図である。
カラードプラモードデータ圧縮部7は、速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、分散フレームデータ圧縮部73、および、カラードプラモードデータ圧縮制御部74によって構成される。
速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、および、分散フレームデータ圧縮部73は、それぞれ、カラードプラ演算部6で作成された1フレーム単位の速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65の圧縮処理を行う。
圧縮された速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65から成る、圧縮されたカラードプラモードデータ(以下、カラードプラモード圧縮データという)は、カラードプラモードデータ伸張部8、通信制御部10、記憶媒体11に出力される。
なお、速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、および、分散フレームデータ圧縮部73における圧縮処理の手法は、一般的な非可逆圧縮アルゴリズムであるJPEGが好適であるが、他の非可逆圧縮アルゴリズム、もしくは、可逆圧縮アルゴリズムを用いても良い。
カラードプラモード圧縮制御部74は、速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、および、分散フレームデータ圧縮部73のそれぞれに対して圧縮パラメータの制御を行う。圧縮パラメータとは、例えば、JPEGにおけるQファクターと呼ばれる圧縮率の設定値などを指す。
なお、前記圧縮パラメータは、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65に対して、同じ値に設定しても良いが、前記速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65それぞれに対して、個別に圧縮パラメータの値を設定するような構成にしておくことは、個別のデータの品質に適応して圧縮パラメータを設定できるため、好適である。
また、前記速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65のいずれか1つ、もしくは、2つのデータのみに圧縮処理を適用するようにすることでも、データ圧縮には有効であり、好適である。
図1において、カラードプラモード圧縮データ伸張部8は、カラードプラモードデータ圧縮部7、記憶媒体11、あるいは、ネットワーク13から通信制御部10を介して、入力されたカラードプラ圧縮データを伸張する。前記伸張されたカラードプラ圧縮データ(以下、カラードプラモード圧縮・伸張データと言う)は、表示部9に出力される。
図3に示した表示部9において、カラードプラデータ比較部92は、同じフレームの、カラードプラモードデータ作成部6で作成されたカラードプラモードデータとカラードプラモードデータ圧縮部7およびカラードプラモード圧縮データ伸張部8で圧縮・伸張されたカラードプラデータの比較を行う。
カラードプラデータの比較は、前記それぞれのカラードプラモードデータ間のPSNR、もしくは、差分を求めることで行い、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65について個別に行う。比較結果は、制御部12に出力される。
なお、カラードプラモードデータ作成部6で作成されたカラードプラモードデータと、カラードプラモードデータ圧縮部7およびカラードプラモード圧縮データ伸張部8で圧縮・伸張されたカラードプラデータについて、同じフレームか否かを判別するために、フレーム番号をそれぞれのデータのヘッダに含有するようにすることが好適である。
制御部12は、カラードプラデータ比較部92から入力される同じフレームの、カラードプラデータ、および、カラードプラモードデータ圧縮部7とカラードプラモード圧縮データ伸張部8で圧縮・伸張されたカラードプラデータの、PSNRまたは差分の結果を、カラードプラモードデータ圧縮制御部74に出力する。
カラードプラモードデータ圧縮制御部74は、制御部12の出力結果に基づき、圧縮パラメータの制御を行う。圧縮パラメータの制御は、図5に示す速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、および、分散フレームデータ圧縮部73のそれぞれに対して、個別に実施する。圧縮パラメータの制御は、例えば、PSNRに基づいてJPEGアルゴリズムのQファクターを制御する場合、予め設定したPSNR値になるように、Qファクターを制御する。この際に、現時点でのフレームの結果に基づき、次フレームのQファクターを設定するようにするのが好適である。
また、図3に示した表示部9において、カラードプラモードデータ比較部92は、カラードプラモードデータ作成部6で作成されたカラードプラデータ、もしくは、カラードプラモードデータ圧縮部7およびカラードプラモード圧縮データ伸張部8で圧縮・伸張されたカラードプラデータの、異なるフレーム間の比較を行う。
カラードプラデータの比較は、前記それぞれのカラードプラモードデータ間のPSNR、もしくは、差分を求めることで行い、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65について個別に行う。比較結果は、制御部12に出力される。
制御部12は、カラードプラモードデータ比較部92から入力される異なるフレームの圧縮・伸張されたカラードプラモードデータのPSNRまたは差分の結果を、カラードプラモードデータ圧縮制御部74に出力する。
カラードプラモードデータ圧縮制御部74は、制御部12の出力結果に基づき、圧縮パラメータの制御を行う。圧縮パラメータの制御は、図5に示す速度フレームデータ圧縮部71、パワーフレームデータ圧縮部72、および、分散フレームデータ圧縮部73のそれぞれに対して、個別に実施する。圧縮パラメータの制御は、例えば、PSNRに基づいてJPEGアルゴリズムのQファクターを制御する場合、予め設定したPSNR値になるように、Qファクターを制御する。この際に、現時点でのフレームの結果に基づき、次フレームのQファクターを設定するようにするのが好適である。
なお、本実施例では、カラードプラモードデータ比較部92からの差分結果を用いて、PSNRを求めた結果に基づき圧縮を制御する例を示したが、差分結果をそのまま用いて圧縮の制御を行っても良い。また、PSNRは、カラードプラモードデータ比較部92、もしくは、制御部12どちらで求めても良い。
この構成により、品質を一定に維持したカラードプラモードデータの非可逆圧縮を、操作者が都度圧縮パラメータを設定することなく適応的に実施することが可能となり、また、走査変換前の超音波データ(カラードプラモードデータ)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
(第4の実施の形態)
図5に示したカラードプラモードデータ圧縮部7において、カラードプラモードデータ圧縮制御部74は、図4に示したカラードプラモードデータ作成部6内のカラードプラ演算部61で求められた速度フレームデータ63に基づき、前記速度フレームデータ63の圧縮パラメータの制御を行う。
例えば、心収縮期においては、血流速度が高くなり、また、動脈内径の形状によっては、乱流も発生するため、前記カラードプラ演算部61で求められた速度フレームデータ63の空間周波数は広い帯域になる。一方、心拡張期においては、血流速度が低くなり、乱流も減少するために、前記カラードプラ演算部61で求められた速度フレームデータ63の空間周波数は心収縮期と比較して狭い帯域になる。
したがって、心収縮期のような血流速度が高い心周期において、JPEGアルゴリズムを適用する場合は、高周波成分を維持するような圧縮パラメータの設定を行うことが肝要となる。
カラードプラモードデータ圧縮制御部74は、カラードプラモードデータ作成部6内のカラードプラ演算部61で求められた速度フレームデータ63の速度値が、予め設定した値以上のデータを含有する割合、もしくは、速度フレームデータ63の速度値のフレーム内の空間平均値に応じて、適応的に速度フレームデータ63の圧縮パラメータを設定する。
この構成により、心周期で変化する血流速度に応じて、操作者が都度圧縮パラメータを設定することなく適応的に圧縮パラメータを設定することにより、品質を維持した速度フレームデータ63の非可逆圧縮を実現することが可能となり、また、走査変換前の超音波データ(速度フレームデータ63)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
なお、前記設定値は、複数のパターンを用意しておくことは好適であり、また、ユーザが任意に設定できるようにしても良い。
また、本実施例では、速度フレームデータ63に基づき、速度フレームデータ63の圧縮パラメータを制御する例を示したが、速度フレームデータ63に基づき、カラードプラデータを構成するパワーフレームデータ64、分散フレームデータ65に対する圧縮パラメータについても速度フレームデータ63と併せて、もしくは、個別に制御するようにしても良い。
(第5の実施の形態)
また、図5に示したカラードプラモードデータ圧縮部7において、カラードプラモードデータ圧縮制御部74は、図4に示したカラードプラモードデータ作成部6内のカラードプラ演算部61で求められたパワーフレームデータ64に基づき、前記パワーフレームデータ64の圧縮パラメータの制御を行う。
例えば、心収縮期においては、血流速度が高くなり、血流速度パワーも高くなるため、前記カラードプラ演算部61で求められたパワーフレームデータ64は高い値を多く含有する。一方、心拡張期においては、血流速度が低くなるために、前記カラードプラ演算部61で求められたパワーフレームデータ64の値は心収縮期と比較して低い値になる。
したがって、心収縮期のような血流速度パワーが高い心周期において、JPEGアルゴリズムを適用する場合は、データ品質を維持するような圧縮パラメータの設定を行うことが肝要となる。
カラードプラモードデータ圧縮制御部74は、カラードプラモードデータ作成部6内のカラードプラ演算部61で求められたパワーフレームデータ64の速度パワー値が、予め設定した値以上のデータを含有する割合、もしくは、パワーフレームデータ64の速度パワー値のフレーム内の空間平均値に応じて、適応的にパワーフレームデータ64の圧縮パラメータを設定する。
この構成により、心周期で変化する血流速度パワーに応じて、操作者が都度圧縮パラメータを設定することなく適応的に圧縮パラメータを設定することにより、品質を維持したパワーフレームデータ64の非可逆圧縮を実現することが可能となり、また、走査変換前の超音波データ(パワーフレームデータ64)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
なお、前記設定値は、複数のパターンを用意しておくことは好適であり、また、ユーザが任意に設定できるようにしても良い。
また、本実施例では、パワーフレームデータ64に基づき、パワーフレームデータ64の圧縮率を制御する例を示したが、パワーフレームデータ64に基づき、カラードプラデータを構成する速度フレームデータ63、分散フレームデータ65に対する圧縮パラメータについてもパワーフレームデータ64と併せて、もしくは、個別に制御するようにしても良い。
(第6の実施の形態)
また、図5に示したカラードプラモードデータ圧縮部7において、カラードプラモードデータ圧縮制御部74は、図4に示したカラードプラモードデータ作成部6内のカラードプラ演算部61で求められた分散フレームデータ65に基づき、前記分散フレームデータ65の圧縮率の制御を行う。
例えば、心収縮期においては、血流速度が高くなり、また、動脈内径の形状によっては、乱流も発生するため、前記カラードプラ演算部61で求められた分散フレームデータ65は高い値を多く含有し、また、フレーム内の空間周波数は広い帯域になる。一方、心拡張期においては、血流速度が低くなり、乱流も減少するために、前記カラードプラ演算部61で求められた分散フレームデータ65の値は心収縮期と比較して低い値になり、また、フレーム内の空間周波数は心収縮期と比較して狭い帯域になる。
したがって、心収縮期のような血流速度の分散が高い心周期において、JPEGアルゴリズムを適用する場合は、高周波成分を維持するような圧縮パラメータの設定を行うことが肝要となる。
カラードプラモードデータ圧縮制御部74は、カラードプラモードデータ作成部6内のカラードプラ演算部61で求められた分散フレームデータ65の速度分散値が、予め設定した値以上のデータを含有する割合、もしくは、分散フレームデータ65の速度値のフレーム内の空間平均値に応じて、適応的に分散フレームデータ65の圧縮パラメータを設定する。
この構成により、心周期で変化する血流速度の分散に応じて、操作者が都度圧縮パラメータを設定することなく適応的に圧縮パラメータを設定することにより、品質を維持した分散フレームデータ65の非可逆圧縮を実現することが可能となり、また、走査変換前の超音波データ(分散フレームデータ65)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
なお、前記設定値は、複数のパターンを用意しておくことは好適であり、また、ユーザが任意に設定できるようにしても良い。
また、本実施例では、分散フレームデータ65に基づき、分散フレームデータ65の圧縮パラメータを制御する例を示したが、分散フレームデータ65に基づき、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64に対する圧縮パラメータについても分散フレームデータ65と併せて、もしくは、個別に制御するようにしても良い。
(第7の実施の形態)
また、図5に示したカラードプラモードデータ圧縮部7において、カラードプラモードデータ圧縮制御部74は、超音波診断装置100の外部に接続された心電計201、あるいは、心音計202で計測された生体信号に基づき、図4に示したカラードプラモードデータ作成部6内のカラードプラ演算部61で求められたカラードプラデータの圧縮パラメータを制御する。超音波診断装置100の外部に接続された心電計201、および、心音計202で計測された心電信号、および、心音信号は、制御部12を介して、カラードプラモードデータ圧縮制御部74に入力される。
血流速度が高い値となる心収縮期は、一般的な目安として、心電波形ではR波からT波の間、心音波形ではI音からII音の間と言われている。また、前述のように心収縮期においては、動脈内径の形状によっては、乱流も発生し、フレーム内の空間周波数は広い帯域となる。したがって、心電波形ではR波からT波の間、心音波形ではI音からII音の間において、カラードプラデータにJPEGアルゴリズムを適用する場合は、カラードプラデータの品質を維持するような圧縮パラメータの設定を行うことが肝要となる。
制御部12は、心電波形のR波およびT波、心音波形のI音およびII音を検出し、区間を求めることで心収縮期を推定し、カラードプラモードデータ圧縮制御部74に出力する。
カラードプラモードデータ圧縮制御部74は、制御部12で心電波形、あるいは、心音波形から推定された心収縮期に応じて、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65の圧縮パラメータを設定する。
この構成により、心周期に応じて、操作者が都度圧縮パラメータを設定することなく適応的に圧縮パラメータを設定することにより、品質を維持したカラードプラモードデータの非可逆圧縮を実現することが可能となり、また、走査変換前の超音波データ(カラードプラモードデータ)に圧縮処理を適用することにより、走査変換後の映像情報に圧縮処理を適用する場合に比べて、情報量を削減することが可能となる。
なお、前記設定値は、複数のパターンを用意しておくことは好適であり、また、ユーザが任意に設定できるようにしても良い。
また、本実施例では、心電波形、あるいは、心音波形から推定された心収縮期に応じて、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65の圧縮パラメータを設定する例を示したが、カラードプラデータを構成する速度フレームデータ63、パワーフレームデータ64、および、分散フレームデータ65のそれぞれを個別に圧縮パラメータを制御するようにしても良い。
本発明は、生体組織の特性値を映像情報に変換して超音波診断装置において、生体組織の特性値である超音波データを圧縮し、記憶媒体に保存、あるいは、ネットワークを通じて伝送を行う超音波診断装置に好適に用いられる。
本発明の超音波診断装置の実施形態を示すブロック図 本発明のBモードデータ圧縮部4の構成を示すサブブロック図 本発明の表示部9の構成を示すサブブロック図 本発明のDSC93の走査変換の実施形態を示す模式図 本発明のカラードプラモードデータ作成部6の構成を示すサブブロック図 本発明のカラードプラモードデータ圧縮部7の構成を示すサブブロック図 本発明のカラードプラモード圧縮データ伸張部8の構成を示すサブブロック図
符号の説明
1 超音波プローブ
2 超音波送受信部
3 Bモードデータ作成部
4 Bモードデータ圧縮部
5 Bモードデータ伸張部
6 カラードプラモードデータ作成部
7 カラードプラモードデータ圧縮部
8 カラードプラモードデータ伸張部
9 表示部
10 通信制御部
11 記憶媒体
12 制御部
13 ネットワーク
41 Bモードフレームデータ圧縮部
42 Bモードフレームデータ圧縮制御部
61 カラードプラ演算部
62 カラードプラ演算制御部
71 速度フレームデータ圧縮部
72 パワーフレームデータ圧縮部
73 分散フレームデータ圧縮部
74 カラードプラモードデータ圧縮制御部
81 速度フレームデータ伸張部
82 パワーフレームデータ伸張部
83 分散フレームデータ伸張部
91 Bモードデータ比較部
92 カラードプラモードデータ比較部
93 DSC
94 モニタ
100 超音波診断装置
201 心電計
202 心音計

Claims (11)

  1. 生体組織の特性値を映像情報に変換して表示する超音波診断装置において
    ラードプラデータを圧縮するカラードプラデータ圧縮部を有し
    記カラードプラデータ圧縮部は、カラードプラデータを構成する速度情報、パワー情報、および分散情報の少なくとも1つに基づいて前記カラードプラデータの圧縮率を制御することを特徴とする超音波診断装置。
  2. 前記カラードプラデータ圧縮部によって圧縮されたカラードプラデータを伸張するカラードプラ圧縮データ伸張部を備えたことを特徴とする超音波診断装置。
  3. Bモードデータを圧縮するBモードデータ圧縮部と、圧縮したBモードデータを伸長するBモード圧縮データ伸長部とを有したことを特徴とする請求項1または2に記載の超音波診断装置。
  4. 圧縮したBモードデータおよび圧縮したカラードプラデータを記憶媒体に保存する記憶部を有したことを特徴とする請求項1から3のいずれか一つに記載の超音波診断装置。
  5. 前記Bモードデータ圧縮部は、1フレーム前の圧縮・伸張したBモードデータの画質に基づき、前記Bモードデータの圧縮率を制御する機能を有したことを特徴とする請求項3または4に記載の超音波診断装置。
  6. 前記Bモードデータ圧縮部は、異なるフレームの複数のBモードデータ間の差分に基づき、前記Bモードデータの圧縮率を制御する機能を有したことを特徴とする請求項3または4に記載の超音波診断装置。
  7. 前記カラードプラデータ圧縮部は、カラードプラモードデータを構成する速度情報、パワー情報、および、分散情報それぞれについて、個別に圧縮率を制御する機能を有したことを特徴とする請求項から6のいずれか一つに記載の超音波診断装置。
  8. 前記圧縮したBモードデータおよび圧縮したカラードプラデータを、ネットワークを介
    して伝送する伝達部を有したことを特徴とする請求項3から7のいずれか一つに記載の超音波診断装置。
  9. 前記超音波診断装置は、ネットワークを介して受信した、圧縮されたBモードデータ、および、圧縮されたカラードプラデータを、それぞれ伸張し、表示する機能を有したことを特徴とする請求項に記載の超音波診断装置。
  10. 前記超音波診断装置は、ネットワークを介して受信した、圧縮されたBモードデータ、および、圧縮されたカラードプラデータを、それぞれ記憶媒体に保存する機能を有したことを特徴とする請求項8または9に記載の超音波診断装置。
  11. 前記超音波診断装置は、記憶媒体に保存されている圧縮されたBモードデータ、および、圧縮されたカラードプラデータを、それぞれ伸張し、表示する機能を有したことを特徴とする請求項3〜10のいずれか一つに記載の超音波診断装置。
JP2007096254A 2007-04-02 2007-04-02 超音波診断装置および超音波診断装置の制御方法 Expired - Fee Related JP4985052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007096254A JP4985052B2 (ja) 2007-04-02 2007-04-02 超音波診断装置および超音波診断装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007096254A JP4985052B2 (ja) 2007-04-02 2007-04-02 超音波診断装置および超音波診断装置の制御方法

Publications (2)

Publication Number Publication Date
JP2008253378A JP2008253378A (ja) 2008-10-23
JP4985052B2 true JP4985052B2 (ja) 2012-07-25

Family

ID=39977633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007096254A Expired - Fee Related JP4985052B2 (ja) 2007-04-02 2007-04-02 超音波診断装置および超音波診断装置の制御方法

Country Status (1)

Country Link
JP (1) JP4985052B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012179100A (ja) * 2011-02-28 2012-09-20 Toshiba Corp データ圧縮方法、及びデータ圧縮装置
KR102342825B1 (ko) 2015-12-08 2021-12-23 삼성전자주식회사 전자 장치, 그의 신호 처리 방법, 생체 신호 측정 시스템 및 비일시적 컴퓨터 판독가능 기록매체
EP3785639B1 (en) * 2018-04-25 2023-07-26 FUJIFILM Corporation Ultrasound system and control method for ultrasound system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807222B2 (ja) * 1986-11-14 1998-10-08 株式会社東芝 画像圧縮装置
JP3664453B2 (ja) * 1995-05-17 2005-06-29 株式会社東芝 超音波診断装置
JP4621338B2 (ja) * 2000-07-11 2011-01-26 株式会社東芝 超音波遠隔診断システム
JP5044069B2 (ja) * 2000-09-26 2012-10-10 株式会社東芝 医用画像診断装置
JP3951748B2 (ja) * 2002-03-06 2007-08-01 株式会社島津製作所 超音波診断装置
JP2003265468A (ja) * 2002-03-19 2003-09-24 Ge Medical Systems Global Technology Co Llc 診断情報生成装置および超音波診断装置
JP2005058576A (ja) * 2003-08-19 2005-03-10 Shimadzu Corp 超音波診断装置

Also Published As

Publication number Publication date
JP2008253378A (ja) 2008-10-23

Similar Documents

Publication Publication Date Title
US8684931B2 (en) Ultrasonic diagnostic apparatus for elasticity imaging
US7905834B2 (en) Remote ultrasonic diagnostic subject-side apparatus, remote ultrasonic diagnostic examiner-side apparatus and remote ultrasonic diagnostic system
CN103300886B (zh) 超声波诊断装置及其控制方法
JP4999969B2 (ja) 超音波診断装置及びその制御プログラム
US20170086798A1 (en) Optimal utilization of bandwidth between ultrasound probe and display unit
JP5280379B2 (ja) 超音波診断装置、超音波弾性情報処理方法及び超音波弾性情報処理プログラム
JP4985052B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP5473527B2 (ja) 超音波診断装置
JP5863628B2 (ja) 超音波診断装置及びその制御プログラム
JP5489178B2 (ja) 超音波診断装置
JP5455592B2 (ja) 超音波診断装置、及び超音波画像表示方法
JP2012050818A (ja) カラードップラモード映像を提供する超音波システムおよび方法
KR101329944B1 (ko) 초음파 진단 장치
JP5345477B2 (ja) 超音波診断装置及びその制御プログラム
JP2005081082A (ja) 超音波診断装置及び超音波データ圧縮方法
JP6744073B2 (ja) 超音波診断装置および超音波画像診断表示システム
JP3664453B2 (ja) 超音波診断装置
US20170296146A1 (en) Ultrasonic diagnostic device and method of generating discrimination information
JP5665304B2 (ja) 超音波システム及び周期的に動く対象体の体積情報を提供する方法
JP2013240721A (ja) 超音波診断装置
CN115768356A (zh) 用于超声成像中减少数据传输的方法和系统
JP2004267301A (ja) 超音波診断装置
JP2002336251A (ja) 超音波画像表示方法および超音波診断装置
JP5485418B2 (ja) 超音波診断装置
JP5911266B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100323

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R151 Written notification of patent or utility model registration

Ref document number: 4985052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees