JP5496910B2 - 超音波診断装置、超音波診断装置の信号処理実行方法 - Google Patents

超音波診断装置、超音波診断装置の信号処理実行方法 Download PDF

Info

Publication number
JP5496910B2
JP5496910B2 JP2010537768A JP2010537768A JP5496910B2 JP 5496910 B2 JP5496910 B2 JP 5496910B2 JP 2010537768 A JP2010537768 A JP 2010537768A JP 2010537768 A JP2010537768 A JP 2010537768A JP 5496910 B2 JP5496910 B2 JP 5496910B2
Authority
JP
Japan
Prior art keywords
signal processing
processing
name
ultrasonic
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010537768A
Other languages
English (en)
Other versions
JPWO2010055818A1 (ja
Inventor
信彦 藤井
元 大滝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2010537768A priority Critical patent/JP5496910B2/ja
Publication of JPWO2010055818A1 publication Critical patent/JPWO2010055818A1/ja
Application granted granted Critical
Publication of JP5496910B2 publication Critical patent/JP5496910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波診断装置に係り、特に、被検体からの反射エコー信号を超音波画像データに変換するデータ変換部の信号処理構成を変更する技術に関する。
超音波診断装置は、超音波探触子により被検体内部に超音波を送信し、被検体内部からの反射エコー信号を受信して、例えば被検体の撮像部位の断層像(Bモード像)を生成して診断用に表示する。
例えばBモード像を生成して表示するために、超音波診断装置は被検体からの反射エコー信号に対して様々な信号処理を施している。被検体からの反射エコー信号をデジタル化して得られたエコーデータに対して、例えば対数圧縮処理及びパーシスタンス処理などの超音波走査処理と、走査変換処理及びガンマ補正処理などのTV走査処理がデータ変換部により実行されて表示される。
超音波診断装置は、Bモード像の他、撮像部位の時間変化像(Mモード像)、被検体の血流速度等に応じて得られるドプラ像など様々な超音波画像を生成して診断用に表示する。また、例えばBモード像を単体で表示するBモード,Bモード像とMモード像を並列処理により生成して同一画面に表示するB/Mモード,Bモード像とドプラ像を並列処理により生成して同一画面に表示するB/Dモードなど多くの撮像モードを有している。
このように複数の超音波画像を並列に処理して生成表示する場合、例えば特許文献1に記載されているように、メモリやデジタルスキャンコンバータ(DSC)などのデータ処理系統を並列に複数設けて、これらで信号処理を行なうことが知られている。
特開平8-252253号公報
ところで、上述のように超音波画像を生成して表示するためには様々な信号処理をデータ変換部で実行する必要があるが、特許文献1の技術は、データ変換部で実行される信号処理構成を柔軟に変更することについては考慮されていない。
すなわち、データ変換部には撮像モードに固有な信号処理構成(実行される信号処理、及び実行される信号処理の実行順序など)があらかじめ設定されており、信号処理構成にしたがって様々な信号処理を実行するものであるが、この信号処理構成を柔軟に変更することが望まれている。
例えば、超音波診断装置の開発段階において、各信号処理の内容自体は変更することなく、各信号処理を実行する順序を入れ換えたり信号処理を追加或いは削除したりしながら、超音波画像の見え方がどのように変化するかなど装置の性能を検証する場合がある。また、超音波診断装置のメンテナンス段階において、クライアントの要求等に応じて信号処理構成の変更を行なう場合がある。このような場合に変更の都度、各信号処理の内容及び実行順序などが記述されているプログラミング言語ベースのソースコードを書き換えて再コンパイルして実行するのは時間がかかって開発効率、メンテナンス効率の観点から好ましくない。
そこで、本発明は、データ変換部の信号処理構成の変更の柔軟性を向上させることを課題とする。
本発明の超音波診断装置は、被検体に超音波ビームを送信するとともに被検体からの反射エコー信号を受信する超音波探触子と、超音波探触子に超音波ビームを送信させる駆動信号を供給するビーム形成部と、反射エコー信号をデジタル化して得られたエコーデータを超音波画像データへ変換するデータ変換部と、変換された超音波画像データに基づく超音波画像を表示する表示部とを備えて構成される。
特に、上記課題を解決するため、データ変換部で実行する複数の信号処理及びこの複数の信号処理の実行順序を一般言語で書き換え可能な処理構成テキストを有し、データ変換部は処理構成テキストの記述に基づいてエコーデータに複数の信号処理を実行して超音波画像データへ変換することを特徴としている。
本発明の超音波診断装置の信号処理実行方法は、超音波探触子が被検体に超音波ビームを送信するとともに前記被検体からの反射エコー信号を受信するステップと、ビーム形成部が該超音波探触子に前記超音波ビームを送信させる駆動信号を供給するステップと、データ変換部が前記反射エコー信号をデジタル化して得られたエコーデータを超音波画像データへ変換するステップと、表示部が前記変換された超音波画像データに基づく超音波画像を表示するステップと、制御部が前記データ変換部で実行する複数の信号処理及び該複数の信号処理の実行順序を一般言語で書き換え可能な処理構成テキストを有し、前記データ変換部は前記処理構成テキストの記述に基づいて前記エコーデータに複数の信号処理を実行して前記超音波画像データへ変換するステップを含んで構成される。
これによれば、信号処理構成の変更の必要が生じたときに、各信号処理の内容自体がプログラミング言語ベースで記述されたソースコードを書き換えることなく、一般言語で記述された処理構成テキストを書き換えるだけで、信号処理構成を変更することができる。
より具体的には、処理構成テキストは、データ変換部で実行する複数の信号処理名と、この複数の信号処理名のそれぞれに対する入力バッファ名及び出力バッファ名とを記述するようにして、一の信号処理名における出力バッファ名と他の信号処理名における入力バッファ名とを一致させることにより一の信号処理名に係る信号処理と他の信号処理名に係る信号処理の実行順序を記述するように構成することができる。
これによれば、例えば各信号処理の実行順序を入れ換えたい場合には、入力バッファ名と出力バッファ名を書き換えて信号処理間の実行順序の結線情報を入れ換えればよい。また、信号処理の一部を削除したければ、削除したい信号処理に対応する信号処理名を削除して、これに整合させるように入出力バッファ名を書き換えればよい。また、信号処理を追加したければ、追加したい信号処理に対応する信号処理名を書き込んで、これに整合させるように入出力バッファ名を書き換えればよい。
このように、超音波診断装置で用いられる信号処理の名前と、信号処理名のそれぞれに対応する入力バッファ名及び出力バッファ名などを含む一般言語で書き換え可能な処理構成テキストを用いることにより、信号処理構成の変更を柔軟に行なうことができる。なお、各信号処理の実行内容自体はあらかじめ設定されており、処理構成テキストは、あらかじめ設定された複数の信号処理のうち、どの信号処理を実行するか、どの順序で実行するかを記述するものである。
ところで、データ変換部が複数のプロセッサを有して構成される場合、処理構成テキストは、複数の信号処理ブロック名と、この複数の信号処理ブロック名のそれぞれに対するデータ変換部で実行する複数の信号処理名と、この複数の信号処理名のそれぞれに対する入力バッファ名及び出力バッファ名とを記述するようにして、各信号処理ブロック名における複数の信号処理名に係る信号処理群がそれぞれ複数のプロセッサに割り当てられて並列に実行されるように構成することができる。
上述のように、超音波画像を生成表示するためには、対数圧縮処理及びパーシスタンス処理などの超音波走査処理と、走査変換処理及びガンマ補正処理などのTV走査処理が必要である。超音波走査処理とTV走査処理は互いに処理レートが異なる場合があるため、これらを同一のプロセッサで実行すると処理ロスが生じて処理効率の観点から好ましくない。そこで、例えばデータ変換部の複数のプロセッサに処理レートが異なる信号処理をそれぞれ割り当てて並列処理させることにより処理効率の向上を図ることができる。ここで、本発明のように処理構成テキストに信号処理ブロック名を記述するようにして、信号処理ブロック名ごとに並列実行する信号処理群を記述することにより、容易に並列信号処理を記述することができる。
また、処理構成テキストは、一の信号処理ブロック名に係る信号処理群と他の信号処理ブロック名に係る信号処理群の相互間で同期して実行される一対の信号処理名に対して同期名を記述可能にして、同期名が記述された信号処理名に係る信号処理が互いに同期して実行されるよう構成することができる。
すなわち、超音波診断装置は様々な撮像モードを有しており例えばB/DモードでBモード像とドプラ像を並列して生成し、これらを合成して表示する場合には、合成処理において両者の同期を取る必要が生じる。ここで、本発明のように同期して実行される一対の信号処理名に対して同期名を記述可能にすることにより、並列処理間の同期取りを容易に記述することができる。
また、処理構成テキストは、信号処理名に対して信号処理に用いられる処理係数が格納されたテーブル名を記述可能にして、テーブル名が記述された信号処理名に係る信号処理を実行する際にこのテーブル名に係る処理係数を参照するよう構成することができる。
本発明によれば、データ変換部の信号処理構成の変更の柔軟性を向上させることができる。
本発明を適用してなる超音波診断装置の構成を示すブロック図 1つのプロセッサを用いてBモード像を生成しビデオメモリに出力するまでの処理フローを示す図 実施例1の処理構成テキストの記述例を示す図 2つのプロセッサを用いてBモード像を生成しビデオメモリに出力するまでの処理フローを示す図 実施例2の処理構成テキストの記述例を示す図 4つのプロセッサを用いてBモード像とドプラ像を生成しビデオメモリに出力するまでの処理フローを示す図 実施例3の処理構成テキストの記述例を示す図
以下、本発明を適用してなる超音波診断装置の実施形態を説明する。なお、以下の説明では、同一機能部品については同一符号を付して重複説明を省略する。
図1は本発明を適用してなる超音波診断装置の構成を示すブロック図である。図1に示すように、本発明の超音波診断装置10は、被検体に超音波ビームを送信するとともに、被検体からの反射エコー信号を受信する超音波探触子12(PROBE)と、超音波探触子12の送信/受信を切り替える送受信切替部14(PRB)と、超音波探触子12に超音波ビームを送信させるための信号を供給するビーム形成部16(DBF)と、被検体からの反射エコー信号をデジタル化したエコーデータに複数の信号処理を施して超音波画像データへ変換するデータ変換部20と、データ変換部20で変換された超音波画像データに基づく超音波画像などを記憶するビデオメモリ22と、ビデオメモリ22に記憶された超音波画像などを表示する表示部24などを備えて構成される。
また、超音波画像データの撮像モードデータをエコーデータに設定する設定部26(CONSOLE)と、撮像モードデータとエコーデータとを付帯してデータセットを生成し、データセットをデータ変換部20にデータ転送したり、データ変換部20を制御して、データセット中の撮像モードデータを解析させ、その解析された撮像モードデータによりデータセット中のエコーデータを超音波画像データへ変換させる制御部28(CONT)を備えている。
超音波探触子12(PROBE)は、振動子が超音波探触子の長軸方向に1〜mチャンネル分配列される。ここで、短軸方向にもk個に切断されて1〜kチャンネル分配列されている場合、短軸方向の各振動子(1〜kチャンネル)に与える遅延時間を変えることにより、短軸方向にも送波や受波のビームフォーカスが可能になっている。また、短軸方向の各振動子に与える超音波送信信号の振幅を変えることにより送波重み付けがされ、短軸方向の各振動子からの超音波受信信号の増幅度又は減衰度を変えることにより受波重み付けがされるようになっている。さらに、短軸方向のそれぞれの振動子をオン、オフすることにより、口径制御ができるようになっている。
なお、この超音波探触子12は、圧電素子により振動子が形成されるものがある。また、超音波探触子12として、cMUT(Capacitive Micromachined Ultrasonic Transducer:IEEE Trans. Ultrason. Ferroelect. Freq. Contr. Vol45 pp.678-690 May 1998等)
と呼ばれる半導体により振動子が形成されるものを適用することもできる。
送受信切替部14は、超音波探触子12に送信信号を供給するとともに受信した反射エコー信号を処理するインターフェースの役割を果たしている。また、送受信切替部14には、被検体に送信された超音波ビームに対する被検体内からの反射エコー信号を受信し生体情報を収集する受波回路の機能を有する。
ビーム形成部16は、超音波探触子12を制御して超音波ビームの打ち出しをさせる送波回路であり、超音波探触子12の複数の振動子を駆動する超音波パルスの送信タイミングを制御して、被検体内に設定される焦点に向けて超音波ビームを形成するようになっている。また、超音波探触子の振動子の配列方向に電子的に超音波ビームを走査するようになっている。
データ変換部20は、送受信切替部14で受信された後、増幅などの受信処理、A/D変換、複数の振動子間の位相を揃えて加算する処理などが行なわれたエコーデータに対して後述する各種の信号処理を行なって超音波断層像データに変換するものであり、順次入力されるエコーデータに基づいて超音波画像を形成する。超音波画像には、Aモード像、Bモード像、カラーフローマッピング(C)モード像、ドプラ(D)モード像、弾性(エラスト)(E)モード像、Mモード像、主に被検体の体表に沿って連続して配置されるBモード像を再構成して得られる3次元超音波画像などがある。
ビデオメモリ22は、データ変換部20によって形成された超音波画像と、患者情報やボディマーク情報などの文字やグラフィック情報、設定部26のグラフィック情報を合成して記憶するものである。制御部28は、どのような表示フォーマットで表示するかを選択制御する表示制御部の機能も有している。
表示部24は、ビデオメモリ22に記憶された超音波画像を表示するもので、例えばCRTモニタあるいは液晶モニタからなる。表示部24は超音波画像が表示されて操作者によって診断可能な画像が表示されればよいのであって、アナログ出力、デジタル出力の何れのものであっても本発明に適用することができる。
設定部26は、操作者が操作卓上のキーボードやトラックボールを用いて所望の撮像モード、患者情報、撮像位置などの各種パラメータを入力するものである。
制御部28は、設定部26によって入力された各種パラメータに基づき送受信切替部14、ビーム形成部16、データ変換部20をそれぞれ機能させるように制御する制御用コンピューターシステムである。
図1に示すように、データ変換部20は、複数のプロセッサ20a〜20hと、プロセッサ20a〜20hを一括で制御するプロセッサ制御部20iと、送受信切替部14を介して送られるエコーデータを記録する内部メモリ20j(MEMORY)と、プロセッサ20a〜20h,プロセッサ制御部20i,内部メモリ20j間で相互にデータを通信可能な内部データ転送バス20kを備えている。
内部メモリ20jは、制御部28(CONT)から転送されるデータを受けて記憶するものである。プロセッサ制御部20iは、内部データ転送バス20kを介して接続されるプロセッサ20a〜20hを制御するものである。その制御の具体例は、内部メモリ20jに記憶されるデータやパラメータを解析し、プロセッサ20a〜20hに処理プログラムを割り当てて、内部メモリ20jに記憶されるデータから超音波画像を得る。
データ変換部20は、例えばCELLなど単一のパッケージ内に複数のプロセッサコアを有するアーキテクチャが標準化されたマルチプロセッサを適用することができる。CELLとは、Cell Broadband Engine(登録商標)の略記で、株式会社ソニー・コンピュータエンタテインメント等によって開発されたマイクロプロセッサである。CELLを用いる場合、プロセッサ20a〜20hはSPE(Synergistic Processor Element)、プロセッサ制御部20iはPPE(PowerPC Processor Element)、内部データ転送バス20kはEIB(Element Interconnect Bus)として構成される。
なお、超音波診断装置においては、装置の小型化に寄与するデータ処理部の回路規模の縮小という要求がある一方で、装置の高機能化に寄与するデータ処理部のデータ演算処理の高速化の要求があり、互いがトレードオフとなる技術課題が依然として存在しているが、このような単一パッケージのマルチプロセッサを採用することで回路規模の縮小とデータ演算処理の高速化に寄与することができる。また、プロセッサの数は図1において例として8個としているが、プロセッサの処理能力によって任意に設定できるため、任意の自然数の個数であってもよい。
ところで、超音波診断装置10は、詳細は後述するがデータ変換部20には撮像モードに固有な信号処理構成(実行される信号処理、及び実行される信号処理の実行順序など)があらかじめ設定されており、撮像モードに応じて信号処理構成にしたがって処理がなされる。ここで、例えば装置の開発段階において、データ変換部20における様々な信号処理の内容自体は変更することなく、各信号処理を実行する順序を入れ換えたり信号処理を追加或いは削除したりしながら、超音波画像の見え方がどのように変化するかなど装置の性能を検証する場合がある。また、超音波診断装置のメンテナンス段階において、クライアントの要求等に応じて信号処理構成の変更を行なう場合がある。
このような変更の都度、各信号処理の内容及び実行順序などが記述されているプログラミング言語ベースのソースコードを書き換えて再コンパイルして実行するのは時間がかかって開発効率、メンテナンス効率の観点から好ましくない。
そこで、本実施形態の超音波診断装置10は、データ変換部20で実行する複数の信号処理及び複数の信号処理の実行順序を一般言語で書き換え可能な処理構成テキストを有しており、データ変換部20は処理構成テキスト30の記述に基づいてエコーデータに複数の信号処理を実行して超音波画像データへ変換するよう構成されている。以下、撮像モードごとの処理構成テキスト30の記述の実施例について説明する。
実施例1は、データ変換部20の1つのプロセッサに信号処理を実行させる場合の処理構成テキストの記述例である。図2は、1つのプロセッサを用いてBモード像を生成しビデオメモリ22に出力するまでの処理フローを示す図である。図3は、本実施例の信号処理を処理構成テキストに記述した一例を示す図である。
図2に示すように、Bモード像の生成表示までに必要な処理は、データ分配処理、対数圧縮処理、パーシスタンス処理、エンハンス処理、走査変換処理、ガンマ補正処理、データ転送処理からおおよそなる。これらの信号処理は、プロセッサ制御部20iにより、プロセッサ20a〜20hのうちいずれか1つのプロセッサに割り当てられて実行される。
本実施例ではプロセッサ20aに割り当てられているとする。
データ分配処理は、制御部28を介して入力された処理対象のエコーデータがBモードであるかを判定し、その判定に基づいて処理対象エコーデータをプロセッサ20aに取り込む。エコーデータの判定は、エコーデータに付随して設定されているビーム種を示すデータをデータ変換部20が解析することにより行うことができる。
対数圧縮処理は、例えば2の20乗もある超音波受信信号のダイナミックレンジを比較的小さい回路上のダイナミックレンジ、実質的にはモニタのダイナミックレンジに圧縮する。パーシスタンス処理は、対数圧縮処理後の画素に対してモニタ上の同じ位置に表示されるデータ同士を加算平均する。エンハンス処理は、パーシスタンス処理後の画素に対して画素間の境界が鮮明になるようにエッジ強調する。
走査変換処理は、エンハンス処理後の画素を超音波ビームの走査から表示モニタの走査へ座標変換する。ガンマ補正処理は、走査変換処理後の画素に対し、画素の定義域と値域を決めるガンマ曲線で表示階調を補正する。データ転送処理は、ガンマ補正処理後の画像(Bモード像)をビデオメモリ22に送り出す。
次に、これらの処理をデータ変換部20に演算させる手法を、図3を用いて説明する。
図3に示すように、処理構成テキスト30には、信号処理ブロック名としてBW_Processが記述され、この信号処理ブロック内の記述が{}かっこでくくられている。信号処理ブロック内は、信号処理名の欄に上述の各信号処理の名前が処理順に記述されている。
また、入力欄及び出力欄には、各信号処理間を繋ぐための結線として、それぞれの信号処理名に対して入出力バッファ名が記述されている。例えば、対数圧縮処理の出力バッファがBで、パーシスタンス処理の入力がBバッファとなっていれば、対数圧縮処理で処理されたバッファBがパーシスタンス処理の入力となり、処理がパイプライン処理として繋がることになる。言い換えれば、一の信号処理名(対数圧縮処理)における出力バッファ名(B)と他の信号処理名(パーシスタンス処理)における入力バッファ名(B)とを一致させることにより一の信号処理名に係る信号処理と他の信号処理名に係る信号処理の実行順序を記述している。
この記述により、BW_Processが実行される際には、処理構成テキスト30の記述に基づいてエコーデータに各信号処理が順次実行される。なお、各信号処理の内容自体はあらかじめ設定されており、処理構成テキスト30に記述された信号処理が記述に基づく順序で実行される。
また、LUT欄には、記述した信号処理名に対して信号処理に用いられる処理係数が格納されたテーブル名(LUT:Look Up Table)が記述されている。本実施例では、パーシスタンス処理とエンハンス処理にLUTの参照の必要があるので、パーシスタンス処理に対してLUT_Persistというテーブル名が、エンハンス処理に対してLUT_Enhanceというテーブル名が記述されている。これにより、あらかじめ用意した係数LUTを使用することが可能となり、テーブル名が記述されているパーシスタンス処理を実行する際にはLUT_Persistが参照され、エンハンス処理を実行する際にはLUT_Enhanceが参照される。
このように、処理構成テキスト30には、データ変換部20で実行する複数の信号処理及び複数の信号処理の実行順序が一般言語で書き換え可能に記述されている。なお、一般言語とは、本実施例のように、複数の信号処理を1まとまりとしてとらえるための信号処理ブロック名、超音波診断装置に用いられる信号処理名、各信号処理の実行順序を示すための結線情報となる入出力バッファ名、及び信号処理に用いられる処理係数が格納されたテーブル名などを含むものである。
本実施例によれば、信号処理ブロック名、各記述をする入力欄、{}かっこなどはあらかじめフォーマットとして記述しておき、信号処理名、及び信号処理の実行順序を表す入出力バッファ名による結線情報を記述するだけで、ある信号処理群をデータ変換部20のあるプロセッサに処理させることができる。したがって、信号処理の実行順序を変更させたければ処理構成テキスト30の入出力バッファ名による結線情報を書きかえればよい。
また、信号処理を追加したい場合は信号処理名に追加したい信号処理に対応する信号処理名を処理構成テキスト30に追加し、これに整合するように入出力バッファ名による結線情報を書きかえればよい。また、信号処理を削除したい場合は、削除したい信号処理に対応する信号処理名を処理構成テキスト30から削除し、これに整合するように入出力バッファ名による結線情報を書きかえればよい。その結果、データ変換部20の例えばプログラミング言語で記述されたソースコード自体を変更することなく、処理構成テキスト30の記述を書き換えることにより、容易に信号処理構成を変更することが可能となる。
これにより、例えば超音波診断装置の開発段階で、信号処理構成を適宜変更しながら装置性能等を検証したい場合において、信号処理構成の変更を柔軟に行なうことができる。
例えば信号処理の順序を入れ換えた場合の超音波画像の見え方はどのように変化するかなどを容易に検証することができる。また、信号処理構成がテキストとして一覧できるように記述されているため、信号処理構成の全体構造の把握が容易になる。その結果、超音波診断装置の開発効率を向上させることができる。また、例えば超音波診断装置のメンテナンス段階で、クライアントの要求等に応じて信号処理構成の変更を柔軟に行なうことができるので、メンテナンス効率を向上させることができる。
実施例2は、データ変換部20の2つのプロセッサに信号処理を並列に実行させる場合の処理構成テキストの記述例である。図4は、2つのプロセッサを用いてBモード像を生成しビデオメモリ22に出力するまでの処理フローを示す図である。図5は、本実施例の信号処理を処理構成テキストに記述した一例を示す図である。
図4に示すように、Bモード像の生成表示までに必要な処理は、実施例1と同様にデータ分配処理、対数圧縮処理、パーシスタンス処理、エンハンス処理、走査変換処理、ガンマ補正処理、データ転送処理からおおよそなる。実施例1と異なるのは、これらの信号処理は、プロセッサ制御部20iにより、プロセッサ20a〜20hのうちいずれか2つのプロセッサに割り当てられて実行される点である。
この点、図4のように、Bモード像は、データ分配処理、対数圧縮処理、パーシスタンス処理、エンハンス処理からなる超音波走査処理と、走査変換処理、ガンマ補正処理、データ転送処理からなるTV走査処理に分けることができる。超音波走査処理は、プロセッサ制御部20iによりプロセッサ20a〜20hのいずれかに割り当てられ、TV走査処理は超音波走査処理に割り当てられていないプロセッサ20a〜20hの以外のいずれかに割り当てられる。本実施例では、超音波走査処理がプロセッサ20a(BM1)に割り当てられ、TV走査処理がプロセッサ20b(BM2)に割り当てられているとする。
超音波走査処理とTV走査処理は処理レートが異なるため、別々のプロセッサに割り当てて実行するのが処理効率の観点から好ましい。またこれら2つの走査処理は排他的に処理可能なため、パイプライン方式で並列に処理させることで高速化を図ることが可能である。
次に、これらの処理をデータ変換部20に演算させる手法を、図5を用いて説明する。
図5に示すように、処理構成テキスト30には、信号処理ブロック名としてBW_US_ProcessとBW_Video_Processと記述され、これらの信号処理ブロック内の記述がそれぞれ{}かっこでくくられている。信号処理ブロック内は、それぞれ信号処理名の欄に上述の各信号処理の名前が処理順に記述されている。つまり、BW_US_Processブロックにはデータ分配処理、対数圧縮処理、パーシスタンス処理、及びエンハンス処理が記述されており、BW_Video_Processブロックには走査変換処理、ガンマ補正処理、及びデータ転送処理が記述されている。
また、入力欄及び出力欄には、各信号処理間を繋ぐための結線として、それぞれの信号処理名に対して入出力バッファ名が記述されている。例えば、エンハンス処理の出力バッファがDで、走査変換処理の入力がDバッファとなっているように、信号処理ブロック間をまたいで信号処理を繋ぐこともできる。これにより、エンハンス処理で処理されたバッファDが走査変換処理の入力となり、処理がパイプライン処理として繋がることになる。
本実施例によれば、信号処理ブロック名、各記述をする入力欄、{}かっこなどはあらかじめフォーマットとして記述しておき、信号処理名、及び信号処理の実行順序を表す入出力バッファ名による結線情報を記述するだけで、複数の信号処理群をデータ変換部20の複数のプロセッサに並列処理させることができる。
すなわち、各信号処理ブロック名における複数の信号処理名に係る信号処理群(超音波走査の処理群とTV走査の処理群)がそれぞれ複数のプロセッサ(プロセッサ20a,20b)に割り当てられて並列に実行される。このように複数の信号処理群を並列に実行させたい場合に、処理構成テキスト30において信号処理ブロック名で分けて、この信号処理ブロックを複数記述するだけで、データ変換部20の例えばプログラミング言語で記述されたソースコード自体を変更することなく、容易に信号処理構成を変更することが可能となる。
これにより、例えば超音波診断装置の開発段階で、信号処理構成を適宜変更しながら装置性能を検証したい場合において、信号処理構成の変更を柔軟に行なうことができる。また、信号処理構成がテキストとして一覧できるように記述されているため、信号処理構成の全体構造の把握が容易になる。その結果、超音波診断装置の開発効率を向上させることができる。また、例えば超音波診断装置のメンテナンス段階で、クライアントの要求等に応じて信号処理構成の変更を柔軟に行なうことができるので、メンテナンス効率を向上させることができる。
特に、本実施例のように、データ変換部20が複数のプロセッサを有し、複数のプロセッサを並列して効率よく駆動するためには、各信号処理の処理レートなどを考慮して信号処理構成を様々に変更しながら装置の性能評価を行う必要がある。この点、本実施例のように、複数のプロセッサに並列に信号処理を行なわせる場合に、処理構成テキスト30に並列信号処理を容易に記述でき、また信号処理構成を容易に変更できるので、超音波診断装置の開発効率を向上させることができる。
実施例3は、データ変換部20の4つのプロセッサに信号処理を並列に実行させ、かつその並列処理間での同期取りを行なう場合の処理構成テキストの記述例である。図6は、4つのプロセッサを用いてBモード像とドプラ像を生成しビデオメモリ22に出力するまでの処理フローを示す図である。図7は、本実施例の信号処理を処理構成テキストに記述した一例を示す図である。
図6に示すように、本実施例はBモード像とドプラ像を生成して合成表示するものである。Bモード像の生成表示までに必要な処理について、実施例2と同様である部分についての説明は省略し、相違する部分のみ説明する。Bモード像のTV走査処理には、ガンマ補正処理とデータ転送処理との間に合成処理が挿入される。合成処理は、後に説明するドプラ像のTV走査処理後のデータとBモード像を合成するものである。また、データ転送処理は、合成処理後の画像(Bモード像とドプラ像の合成画像)をビデオメモリ22に送り出すこととなる。
ドプラ像の生成表示までに必要な処理は、データ分配処理、サンプルゲート(SG)設定処理、リサンプル処理、高速フーリエ変換(FFT)処理、加算平均処理、対数圧縮処理、記憶処理、走査変換処理、ガンマ補正処理からおおよそなる。
これらの各処理は、データ分配処理、SG設定処理、リサンプル処理、高速フーリエ変換(FFT)処理、加算平均処理、対数圧縮処理からなる超音波走査処理と、記憶処理、走査変換処理、ガンマ補正処理からなるTV走査処理に分けることができる。
Bモード像及びドプラ像のそれぞれについて、超音波走査処理は、プロセッサ制御部20iによりプロセッサ20a〜20hのいずれかに割り当てられ、TV走査処理は超音波走査処理に割り当てられていないプロセッサ20a〜20hの以外のいずれかに割り当てられる。本実施例では、Bモード像の超音波走査処理がプロセッサ20a(BM1)に割り当てられ、TV走査処理がプロセッサ20b(BM2)に割り当てられているとする。
また、ドプラ像の超音波走査処理がプロセッサ20c(DM1)に割り当てられ、TV走査処理がプロセッサ20d(DM2)に割り当てられているとする。
つまり、ドプラ像においても、超音波走査処理とTV走査処理は処理レートが異なるため、別々のプロセッサに割り当てて実行するのが処理効率の観点から好ましい。またこれら2つの走査処理は排他的に処理可能なため、パイプライン方式で並列に処理させることで高速化を図ることが可能である。
データ分配処理は、制御部28を介して入力された処理対象のエコーデータがDモードであるかを判定し、その判定に基づいて処理対象エコーデータをプロセッサ20cに取り込む。エコーデータの判定は、エコーデータに付随して設定されているビーム種を示すデータをデータ変換部20が解析することにより行うことができる。
SG設定処理は、被検体の超音波Bモード像上で所望の血流速診断部位にSGを設定する。リサンプル処理は、後段のフーリエ変換で演算するサンプル点を補間して求める。FFT処理は、リサンプル処理によって補間されたサンプル点について周波数分析を行い、心筋などの運動速度の遅い反射体からの比較的低周波のクラッタ成分を除去し、比較的高周波の血流成分を抽出する。加算平均処理は、FFT処理によって抽出した血流成分についていわゆるサンプル点毎の相関値を得る。対数圧縮処理は、加算平均処理結果のダイナミックレンジを実質的にはモニタのダイナミックレンジに圧縮する。
記憶処理は、対数圧縮処理した結果を内部メモリ20jに記憶する。走査変換処理は、内部メモリ20jに記憶された画素を超音波ビームの走査から表示モニタの走査へ座標変換する。ガンマ補正処理は、走査変換処理後の画素に対し、画素の定義域と値域を決めるガンマ曲線で表示階調を補正し、Bモード像の合成処理に出力する。
ここで、Bモード像処理の超音波走査処理であるBM1とドプラ像処理の超音波走査処理であるDM1は互いに異なる処理単位で動作する必要があるため同期を取る必要はないが、BモードのTV走査処理であるBM2とドプラ像処理のTV走査処理であるDM2は、同じ処理単位でビデオメモリ22に出力する必要があるため同期を取る必要がある。
そこで、BモードTV走査処理、DモードTV走査処理のようなデータ変換部のプロセッサ間、すなわち、処理単位間で同期と取るための処理構成テキスト30への記述手法を、図7を用いて説明する。図7に示すように、処理構成テキスト30には、信号処理ブロック名としてBW_US_Process、BW_Video_Process、DOP_US_Process、DOP_Video_Processが記述され、これらの信号処理ブロック内の記述がそれぞれ{}かっこでくくられている。信号処理ブロック内は、それぞれ信号処理名の欄に上述の各信号処理の名前が処理順に記述されている。
つまり、BW_US_Processブロックにはデータ分配処理、対数圧縮処理、パーシスタンス処理、及びエンハンス処理が記述されており、BW_Video_Processブロックには走査変換処理、ガンマ補正処理、及びデータ転送処理が記述されている。また、DOP_US_Processブロックには、データ分配処理、SG設定処理、リサンプル処理、FFT処理、加算平均処理、対数圧縮処理が記述されており、DOP_Video_Processブロックには、走査変換処理、ガンマ補正処理が記述されている。
また、各信号処理ブロックにおける入力欄及び出力欄には、各信号処理間を繋ぐための結線として、それぞれの信号処理名に対して入出力バッファ名が記述されている。ここで、Bモード像の超音波走査処理(BM1)とドプラ像の超音波走査処理(DM1)は、それぞれ同期を取る必要がなく、単純に並列で演算すればよいため、処理を入力・出力のバッファを結線情報として処理順に記述する。
これに対して、Bモード像のTV走査処理(BM2)とドプラ像のTV走査処理(DM2)は、合成処理で両者の画像を合成するため、Bモード像のTV走査処理における合成処理は2つの入力(結線情報)を持つ。また、BモードTV走査処理側で合成処理を行うため、合成処理の前でドプラ像のTV走査処理側のガンマ補正処理が終了するのを待つ必要がある。このため、Bモード像のTV走査処理側では合成処理前、ドプラ像のTV走査処理側ではガンマ補正後に同期処理が必要となる。
そこで処理構成テキスト30では、Bモード像のTV走査処理ブロックにおける合成処理の前に同期処理という信号処理名が記述されており、この同期処理に対応する同期名を記載する欄であるsync欄に、同期名としてsync1が記述されている。また、ドプラ像のTV走査処理ブロックにおけるガンマ補正処理の後に同期処理という信号処理名が記述されており、この同期処理に対応する同期名を記載する欄であるsync欄に、同期名としてsync1が記述されている。
また、両者の処理自体が同時間で処理しなければならないため、Bモード像のTV走査処理、及びドプラ像のTV走査処理の最後で同期処理が必要となる。そこで、処理構成テキスト30では、Bモード像のTV走査処理ブロックにおけるデータ転送処理の後に同期処理という信号処理名が記述されており、この同期処理に対応する同期名を記載する欄であるsync欄に、同期名としてsync2が記述されている。また、ドプラ像のTV走査処理ブロックにおけるsync1に対応する同期処理の後に同期処理という信号処理名が記述されており、この同期処理に対応する同期名を記載する欄であるsync欄に、同期名としてsync2が記述されている。
つまり、Bモード像のTV走査処理ブロックとドプラ像のTV走査処理ブロックのそれぞれの処理群の中に同期処理が2つずつ存在しているため、同期処理とだけ記述した場合にどちらと同期をとるかが不確定となってしまう。そこでsync属性を処理構成テキスト30のsync欄に加えることによって、同期処理にタグを付ける。これにより、図7では、sync1と記された同期処理同士が同期し、sync2と記された同期処理同士が同期する。
この処理構成テキスト30の記述により、一の信号処理ブロック名(BW_Video_Process)に係る信号処理群と他の信号処理ブロック名(DOP_Video_Process)に係る信号処理群の相互間で同期して実行される一対の信号処理名(同期処理)に対して同期名(sync1,sync2)を記述可能になっており、同期名が記述された信号処理名に係る信号処理は互いに同期して実行されることとなる。
本実施例によれば、信号処理ブロック名、各記述をする入力欄、{}かっこなどはあらかじめフォーマットとして記述しておき、信号処理名、及び信号処理の実行順序を表す入出力バッファ名による結線情報、及び同期名を記述するだけで、並列処理間の同期取りを容易に記述することができる。また、信号処理構成の変更の必要が生じた場合に、データ変換部20の例えばプログラミング言語で記述されたソースコード自体を変更することなく、容易に信号処理構成を変更することが可能となる。
これにより、例えば超音波診断装置の開発段階で、信号処理構成を適宜変更しながら装置性能を検証したい場合において、信号処理構成の変更を柔軟に行なうことができる。また、信号処理構成がテキストとして一覧できるように記述されているため、信号処理構成の全体構造の把握が容易になる。その結果、超音波診断装置の開発効率を向上させることができる。また、例えば超音波診断装置のメンテナンス段階で、クライアントの要求等に応じて信号処理構成の変更を柔軟に行なうことができるので、メンテナンス効率を向上させることができる。
特に、本実施例のように、異なる超音波画像を並列して処理し、並列処理間で同期を取る必要がある場合に、信号処理構成を変更するためにプログラミング言語ベースのソースコードを書き換えるのには困難が生じる。この点、本実施例のように、同期して実行される信号処理に対して処理構成テキスト30に同期名を記述することにより、並列処理間の同期取りを容易に実行することができる。
また、添付図面を参照して、本発明に係る超音波診断装置等の好適ないくつかの実施例について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
10 超音波診断装置、12 超音波探触子、14 送受信切替部、16 ビーム形成部、20 データ変換部、24 表示部、20a〜20h プロセッサ、30 処理構成テキスト

Claims (5)

  1. 被検体に超音波ビームを送信するとともに前記被検体からの反射エコー信号を受信する超音波探触子と、該超音波探触子に前記超音波ビームを送信させる駆動信号を供給するビーム形成部と、前記反射エコー信号をデジタル化して得られたエコーデータを超音波画像データへ変換するデータ変換部と、前記変換された超音波画像データに基づく超音波画像を表示する表示部とを備え、
    前記データ変換部で実行する複数の信号処理及び該複数の信号処理の実行順序を一般言語で書き換え可能な形で表した処理構成テキストを有し、前記処理構成テキストは、前記データ変換部で実行する複数の信号処理名と、該複数の信号処理名のそれぞれに対する入力バッファ名及び出力バッファ名とを記述するようになっており、一の信号処理名における出力バッファ名と他の信号処理名における入力バッファ名とを一致させることにより前記一の信号処理名に係る信号処理と他の信号処理名に係る信号処理の実行順序を記述し、前記データ変換部は前記処理構成テキストの記述に基づいて前記エコーデータに複数の信号処理を実行して前記超音波画像データへ変換することを特徴とする超音波診断装置。
  2. 前記データ変換部は複数のプロセッサを有して構成され、
    前記処理構成テキストは、複数の信号処理ブロック名と、該複数の信号処理ブロック名のそれぞれに対する前記データ変換部で実行する複数の信号処理名と、該複数の信号処理名のそれぞれに対する入力バッファ名及び出力バッファ名とを記述するようになっており、前記各信号処理ブロック名における複数の信号処理名に係る信号処理群がそれぞれ前記複数のプロセッサに割り当てられて並列に実行されることを特徴とする請求項1記載の超音波診断装置。
  3. 前記処理構成テキストは、一の信号処理ブロック名に係る前記信号処理群と他の信号処理ブロック名に係る前記信号処理群の相互間で同期して実行される一対の信号処理名に対して同期名を記述可能になっており、前記同期名が記述された信号処理名に係る信号処理は互いに同期して実行される請求項2記載の超音波診断装置。
  4. 前記処理構成テキストは、前記信号処理名に対して信号処理に用いられる処理係数が格納されたテーブル名を記述可能になっており、前記テーブル名が記述された信号処理名に係る信号処理を実行する際に該テーブル名に係る処理係数が参照される請求項1記載の超音波診断装置。
  5. 超音波探触子が被検体に超音波ビームを送信するとともに前記被検体からの反射エコー信号を受信するステップと、ビーム形成部が該超音波探触子に前記超音波ビームを送信させる駆動信号を供給するステップと、データ変換部が前記反射エコー信号をデジタル化して得られたエコーデータを超音波画像データへ変換するステップと、表示部が前記変換された超音波画像データに基づく超音波画像を表示するステップとを備え、
    前記データ変換部で実行する複数の信号処理及び該複数の信号処理の実行順序を一般言語で書き換え可能な形で表した処理構成テキストを有し、前記処理構成テキストは、前記データ変換部で実行する複数の信号処理名と、該複数の信号処理名のそれぞれに対する入力バッファ名及び出力バッファ名とを記述するようになっており、一の信号処理名における出力バッファ名と他の信号処理名における入力バッファ名とを一致させることにより前記一の信号処理名に係る信号処理と他の信号処理名に係る信号処理の実行順序を記述し、前記変換するステップは前記処理構成テキストの記述に基づいて前記エコーデータに複数の信号処理を実行して前記超音波画像データへ変換することを特徴とする超音波診断装置の信号処理実行方法。
JP2010537768A 2008-11-14 2009-11-10 超音波診断装置、超音波診断装置の信号処理実行方法 Active JP5496910B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010537768A JP5496910B2 (ja) 2008-11-14 2009-11-10 超音波診断装置、超音波診断装置の信号処理実行方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008292372 2008-11-14
JP2008292372 2008-11-14
JP2010537768A JP5496910B2 (ja) 2008-11-14 2009-11-10 超音波診断装置、超音波診断装置の信号処理実行方法
PCT/JP2009/069079 WO2010055818A1 (ja) 2008-11-14 2009-11-10 超音波診断装置、超音波診断装置の信号処理実行方法

Publications (2)

Publication Number Publication Date
JPWO2010055818A1 JPWO2010055818A1 (ja) 2012-04-12
JP5496910B2 true JP5496910B2 (ja) 2014-05-21

Family

ID=42169952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010537768A Active JP5496910B2 (ja) 2008-11-14 2009-11-10 超音波診断装置、超音波診断装置の信号処理実行方法

Country Status (3)

Country Link
US (1) US20110218440A1 (ja)
JP (1) JP5496910B2 (ja)
WO (1) WO2010055818A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143587A1 (ja) * 2009-06-10 2010-12-16 株式会社 日立メディコ 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム、及び超音波画像生成方法
US20140257102A1 (en) * 2013-03-07 2014-09-11 Volcano Corporation Devices, Systems, and Methods for Dual Image Intravascular Ultrasound
CN111544038B (zh) * 2020-05-12 2024-02-02 上海深至信息科技有限公司 一种云平台超声成像系统
CN113325398B (zh) * 2021-05-13 2024-08-23 英博超算(南京)科技有限公司 一种超声波雷达的多核通讯系统的使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63223830A (ja) * 1987-03-12 1988-09-19 Hitachi Ltd プログラム記述方法
JPH11206762A (ja) * 1998-01-29 1999-08-03 Hitachi Medical Corp 超音波診断装置
US6595921B1 (en) * 1999-09-14 2003-07-22 Acuson Corporation Medical diagnostic ultrasound imaging system and method for constructing a composite ultrasound image
JP2008104595A (ja) * 2006-10-24 2008-05-08 Toshiba Corp 医用画像診断システム
JP2008155022A (ja) * 2006-12-20 2008-07-10 General Electric Co <Ge> アブレーション領域の視認性の増強の方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19957594B4 (de) * 1999-11-30 2004-08-26 OCé PRINTING SYSTEMS GMBH Verfahren zum Synchronisieren von threads eines Computerprogramms
US7441100B2 (en) * 2004-02-27 2008-10-21 Hewlett-Packard Development Company, L.P. Processor synchronization in a multi-processor computer system
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
JP2007287084A (ja) * 2006-04-20 2007-11-01 Fuji Xerox Co Ltd 画像処理装置及びプログラム
US7831801B1 (en) * 2006-08-30 2010-11-09 Xilinx, Inc. Direct memory access-based multi-processor array

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63223830A (ja) * 1987-03-12 1988-09-19 Hitachi Ltd プログラム記述方法
JPH11206762A (ja) * 1998-01-29 1999-08-03 Hitachi Medical Corp 超音波診断装置
US6595921B1 (en) * 1999-09-14 2003-07-22 Acuson Corporation Medical diagnostic ultrasound imaging system and method for constructing a composite ultrasound image
JP2008104595A (ja) * 2006-10-24 2008-05-08 Toshiba Corp 医用画像診断システム
JP2008155022A (ja) * 2006-12-20 2008-07-10 General Electric Co <Ge> アブレーション領域の視認性の増強の方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013044905; 平田 昌信: 'パソコン用ソフト開発の切り札,ノン・プログラミング型アプリケーション開発ツール' 日経コンピュータ 第232号, 199008, 第67-81頁, 日経BP社 *

Also Published As

Publication number Publication date
US20110218440A1 (en) 2011-09-08
WO2010055818A1 (ja) 2010-05-20
JPWO2010055818A1 (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5566300B2 (ja) 超音波診断装置、超音波診断装置の信号処理方法
JP2010017557A (ja) 超音波データを処理する超音波システム及び方法
JP5496910B2 (ja) 超音波診断装置、超音波診断装置の信号処理実行方法
JP5436433B2 (ja) 超音波診断装置、超音波診断装置のデータ処理方法
JP2009022462A (ja) 超音波診断装置および超音波診断装置の制御プログラム
JP5514120B2 (ja) 超音波診断装置及び超音波画像生成方法
JP2008188288A (ja) 超音波診断装置及び超音波画像表示装置
JP4791820B2 (ja) 超音波診断装置及び超音波診断装置の制御プログラム
JP7005206B2 (ja) 超音波診断装置及び超音波イメージングプログラム
JP5345477B2 (ja) 超音波診断装置及びその制御プログラム
JP5317391B2 (ja) 超音波診断装置
JP5242092B2 (ja) 超音波診断装置
JP2000060851A (ja) 超音波診断装置
JP7292896B2 (ja) 解析装置、及び解析方法
JP2004195091A (ja) 超音波診断装置
JP2005245936A (ja) 超音波診断装置
JP4533478B2 (ja) 超音波診断装置
JP4519547B2 (ja) 超音波診断装置
US20240329223A1 (en) Method and system for generating low level configuration data from high level configuration data at a probe connector of an ultrasound probe
KR101120776B1 (ko) 공간합성에서 최적화된 리샘플러가 적용된 초음파영상진단장치 및 초음파영상의 최적화된 리샘플링 방법
JPH07111992A (ja) 超音波診断装置
KR20100091271A (ko) 다중 뷰 디스플레이를 이용하여 대상체 정보를 제공하는 초음파 시스템 및 방법
JPH04174657A (ja) 超音波診断装置
JP2005253832A (ja) 超音波診断装置
JP2011024758A (ja) 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

R150 Certificate of patent or registration of utility model

Ref document number: 5496910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350