JP5357684B2 - 超音波撮像装置および超音波撮像方法 - Google Patents

超音波撮像装置および超音波撮像方法 Download PDF

Info

Publication number
JP5357684B2
JP5357684B2 JP2009221937A JP2009221937A JP5357684B2 JP 5357684 B2 JP5357684 B2 JP 5357684B2 JP 2009221937 A JP2009221937 A JP 2009221937A JP 2009221937 A JP2009221937 A JP 2009221937A JP 5357684 B2 JP5357684 B2 JP 5357684B2
Authority
JP
Japan
Prior art keywords
ultrasonic
subject
signal
transmission
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009221937A
Other languages
English (en)
Other versions
JP2010042266A (ja
Inventor
隆 東
晋一郎 梅村
博隆 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2009221937A priority Critical patent/JP5357684B2/ja
Publication of JP2010042266A publication Critical patent/JP2010042266A/ja
Application granted granted Critical
Publication of JP5357684B2 publication Critical patent/JP5357684B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995Combining images from different aspect angles, e.g. spatial compounding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52077Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、医療診断等に用いられる超音波撮像装置に係り、特に、いろいろな角度から走査して得られる画像信号を合成して1つの画像として表示する、一般に、コンパウンド走査像と称される高画質の断層像を得る技術に関する。
超音波撮像装置は、被検体の表面に超音波探触子を当て、その探触子から被検体に超音波を送信するとともに、被検体内部からの反射波(エコー信号)を受信し、そのエコー信号に基づいて被検体の各部の状態を断層像により表示することにより、診断等に供するものである。
図1(A)は、超音波撮像装置の一般的な構成を示す図である。10はいわゆるパソコン等の情報処理装置である。11はCPU、12はメモリ、13はハードディスク、21は入力装置、22は表示装置である。これらの装置はバス14で連結され、必要な情報の伝達を行なう。ハードディスク13には、超音波撮像装置の動作に必要な各種のプログラムおよびデータが格納されており、必要に応じて呼び出されてメモリ12に記憶され、CPU11の管理の下に、動作に利用される。入力装置21は、キーボードあるいはマウス等であり、超音波撮像装置の使用者が必要な設定情報を入力し、あるいは、操作信号を与えるために使用される。表示装置13には必要な操作画面および撮像結果の画面等が表示される。
23および24は超音波の送波ビームフォーマおよび受波ビームフォーマであり、情報処理装置10のバス14に接続される。さらに、送波ビームフォーマ23および受波ビームフォーマ24は、送受分離器31を介して、超音波の超音波探触子32に接続される。使用者の操作信号に応じたプログラムに対応した超音波信号が超音波探触子32から送出されるように、送波ビームフォーマ23は情報処理装置10から与えられるディジタル信号に応じた超音波送信信号を作って、送受分離器31を介して、超音波の超音波探触子32に送る。一方、送信された超音波信号が被検体内部からの反射波として超音波探触子32に受信されると、これに応じた信号が送受分離器31を介して、受波ビームフォーマ24に送られる。受波ビームフォーマ24はこれにディジタル化等の必要な信号処理を施して情報処理装置10に送る。情報処理装置10では、受信信号を撮像の目的に対応したプログラムで処理して、結果を表示装置13に表示する。
図1(B)は、超音波探触子32の一例を示す図であり、3分割された直線状に配置された振動子1−1,1−2および1−3がn組並列に配列された例である。図では表示を省略したが、これらの振動子には、送信制御回路23からの送信信号を送り、振動子が検出する被検体内部からの反射波に応じた信号を受信制御回路24に送るための配線が設けられる。一方、超音波探触子32の他面には、振動子を被検体に効果的に接触させ、超音波を効率良く被検体との間で送受するための、例えば、金属粉末と高分子材料の混合物からなる音響整合層5とやはり高分子材料からなる音響レンズが設けられている。各振動子に与える信号の大きさおよびタイミングを制御することにより、超音波探触子32から照射される超音波の焦点深度、照射の向きおよび強度を任意に制御することができ、図に示すF1−F1、F2−F2のように深さおよび向きを制御することができる。また、後述する複数の角度方向から撮像した前記被検体のBモード画像データを合成するために、例えば、焦点F1−F1の軸上でビーム方向がA,BおよびCの方向になるように制御することができる。なお、超音波探触子32は、使用者が持つための把手も備えているが、図示は省略した。
超音波探触子32は、図1(B)に示す例に限られず、撮像目的に応じて、複数の振動子を等間隔で直線状、曲線状あるいは面状に配列して形成する等、種々の形態で作製される。例えば、リニア走査型の超音波撮像装置は、あらかじめ定められた口径選択機能により、同一時に駆動する振動子群を選択して口径を形成し、その口径を順次移動して被検体や物体の内部を超音波ビームで走査する。また、コンベクス走査型の超音波撮像装置においても同様である。
まず、一方向からだけの撮像の場合、反射率の角度依存性の効果によって、被検体内の反射部分の輪郭のうち超音波の進行方向に垂直な部分が強調されて画像化され、超音波の進行方向に平行な組織境界部分はほとんど画像化さず、また、高反射体の影の部分が画像化されにくいという欠点があった。これに対して、コンパウンドイメージングのように超音波の進行方向を複数持っている場合、反射体の境界面に垂直に超音波が入射する場合が増えるので、比較的輪郭がつながって見えやすく、陰になる部分も減るというように、この欠点が改善される。
二つの目の長所として、コントラスト分解能の劣化の原因となるスペックルの除去に大きな効果がある。これは、角度が十分に異なる方向から撮像された画像同士では、スペックルパターンが異なるため、本来の被検体内の反射部分を反映した部分は加算の分だけ信号強度が増加するのに比べ、スペックルパターンは加算の平方根に比例してしか信号強度が増加しないため、加算の数をNとするとNの平方根に比例してコントラスト分解能が向上する。
ところで、このようなコントラスト分解能の向上は、画像の合成をRF信号を包絡線信号に変換して、インコヒーレント化してから加算するために実現出来ることである。このことは、逆に言えば、インコヒーレント化してから加算しているため、コヒーレント加算のように空間分解能の向上は期待出来ないということになる。
一方、コヒーレント加算という観点、すなわちRF信号の段階で合成する方法として非特許文献1に開示されているような開口合成法も公知である。開口合成はコヒーレントな段階で複数の異なる方向からの信号を加算するので、実効的に開口が大きくなることと等価であり、空間分解能の向上に寄与する。
これらの、コンパウンド撮像法、開口合成法は、共に、被検体が生体のように、動く対象物である場合には、複数の撮像間の動きが問題になる。これに対して、前記の二つの公知例においては、画像の合成を行う前に画像同士の位置ずれを相関法によって推定し、被検体の動きによる画像のぼけを最小にする方法が開示されている。
特表2002−526225号公報
IEEE Transaction on Ultrasonics, Ferroelectrics, and Frequency Control, 45巻No.4,1077頁から1087頁
超音波撮像の対象物である人体の臓器は剛体ではないため、変形は局所毎に異なる。したがって、これを撮像範囲の全てに渡って理想的に補正することは困難である。また、開口合成とコンパウンド撮像では、合成する信号間の位置ずれの影響の大きさが異なる。
開口合成は、合成する信号同士間で干渉性があるため、波長の4分の1以上ずれると合成によって却って信号が劣化してしまう。一方、コンパウンド撮像の場合は、合成する信号間で干渉性は無いため、包絡線信号の包絡線の幅以内のずれであれば、信号の劣化にはならない。一般に現状の超音波撮像装置においては、包絡線の幅は波長の数倍程度である。
このように、現状の画像合成法は、コンパウンド撮像法と開口合成法の2種類の方法があり、それぞれ長所が異なるので、二つの長所を兼ね備えた撮像方法が望まれていた。すなわち、コントラスト分解能と空間分解能の向上を同時に実現すること、また被検体の動きによる画像劣化が少ない撮像法を実現することである。
現状の超音波撮像装置においては、超音波探触子32の伝達関数が周波数空間での幅が制限されていることから、時間軸上での数波程度の幅を持つ。超音波撮像では、超音波探触子32からの超音波の送信および被検体から反射される超音波の超音波探触子32による受信の送受信で、超音波探触子32の伝達関数の影響を二回受けるため、包絡線の幅は2から4波程度である。即ち、コヒーレントな場合とインコヒーレントな場合で、10倍程度、動きに対する影響が異なることがわかる。もし合成する画像間のずれの量が、完全に理想的にピクセル毎に補正できるのであれば、前記公知の二つの方法のいずれかで、動きの影響を補正することが出来るが、現実には、ノイズの影響で補正値の精度が保障されないことや、断層像と直交する方向にもずれがあることから、局所的なずれを正確に推定することは難しい。
本発明においては、局所的なずれを完全に補正することは諦めて、大局的なずれ量から、ずれが小さい(例えば波長の1/4より小さい)場合、合成をRFデータ同士で行ない、ずれが大きい場合は、合成を包絡線検波信号で行なう。ずれの大きさは、異なるフレームの画像間でのRFデータの相互相関に着目して判断することができる。さらに、ヘテロダイン検波の参照周波数を制御することにより、RFデータ同士での合成、または、包絡線検波信号での合成と切り分けることができる。
(A)は超音波撮像装置の一般的な構成を示す図、(B)は、超音波探触子の一例を示す図である。 本発明の超音波撮像装置の実施例1の信号の処理フローを示す図である。 本発明の超音波撮像装置の実施例2の信号の処理フローを示す図である。 本発明の超音波撮像装置の実施例3の信号の処理フローを示す図である。 (A)は送受信トランスジューサ32が受信するビーム進行方向の異なる3方向A,BおよびCのビームの方向を模式的に示す図、(B)は送受信トランスジューサ32が受信するRF信号の各ビーム進行方向のビームパターンを示す図、(C)は送受信トランスジューサ32が受信したRF信号の包絡線検波後のビームパターンを示す図である。 (A)は、横軸にフレームの画像間でのずれをとり、縦軸にそれらに対応して行なわれる包絡線検波およびRFデータでの加算の選択の例を示す図、(B)は、ヘテロダイン検波の参照周波数ω1の設定をするための設定曲線の例を示す図である。 図5(B)に示す、異なる3方向A,BおよびCのビームを包絡線検波して図5(C)に示す包絡線検波後のビームパターンとした後、合成したときの超音波信号強度の分布を示す図である。 (A),(B),(C)および(D)は、超音波の中心周波数ω0を2MHzとし、順に、参照波の周波数ω1を2MHz、1MHz、0MHz、−1MHzとしたときのヘテロダイン検波後の結果を示すビームパターンの例を示す図である。 (A)は図2のステップ115,117を経て得られる画像のシミュレーション結果の例、(B)は図2のステップ119,120を経て得られる画像のシミュレーション結果の例を示す図である。 (A)−(D)は図8(A)−(D)に対応する画像例を示す図である。 本発明の超音波撮像装置の実施例3において使用者が操作する参照波の周波数を設定するための入力装置の例の外観図である。
以下、本発明の実施例について図面を用いて詳細に説明する。本発明の各実施例は図1(A),(B)に示すような情報処理装置を持つ超音波撮像装置によって実現される。
図2は本発明の超音波撮像装置の実施例1の信号の処理フローを示す図である。
101は準備段階のステップで、使用する超音波探触子のタイプ、撮像の対象部位を示すコード等を入力装置21を介して入力する。103は撮像の対象部位の画像合成を行なう撮像フレ―ム数を指定するステップで、入力装置21を介して入力する。画像合成を行なうフレーム数は少なくとも3以上とする。このフレーム数を7から15程度まで増やしてもよく、フレームの枚数を増やす程、画像合成の効果および合成による欠点も増えてくるので、撮像対象(撮像対象の動き)を考慮して決めるのが良い。
105は撮像の対象部位に対する超音波の送波方向を設定するステップで、入力装置21を介して入力する。これはステップ103で指定した画像合成を行なうフレーム数に対応し、撮像済みのフレーム数に応じて、プログラムにより自動的に設定されるものとしても良い。ここで、超音波の送波方向とは、図1(B)で言えば、焦点F1−F1の面上で異なるA,BおよびCの方向に超音波を送る向きを変えることである。図5(A)では、これを模式的に実線で示す四角形A、一点鎖線で示す四角形Bおよび破線で示す四角形Cのように示した。すなわち四角形A、BとおよびCは、それぞれ、被検体に対し同一焦点深度、異なった角度で超音波ビームを送出、これをリニア走査している様子を模式的に示す。
107は1フレーム分の超音波送受波・RFデータ格納のステップである。撮像フレ―ム数が指定され(ステップ103)、送波方向が設定される(ステップ105)とCPU11により、撮像の対象部位に応じたプログラムに対応する超音波パルス信号が生成され、これが送波ビームフォーマ23で超音波探触子32の振動子に与える信号に変換されて、送受分離器31を介して超音波探触子32の振動子に与えられる。撮像の対象部位から反射された超音波信号が超音波探触子32の振動子で受信されて電気信号に変換され、送受分離器31を介して受波ビームフォーマ24に与えられる。ここで、ディジタル信号に変換されて、チャネル間で整相加算され、RFデータとしてメモリ12に記憶される。109は撮像済みのフレーム数を評価するステップで、ステップ103で指定したフレーム数だけの超音波送受波・RFデータの格納が終わったか否かを検査する。ステップ103で指定したフレーム数だけの格納が終わっていない場合は、ステップ105に戻り、次の送波方向での1フレーム分の超音波送受波・RFデータの格納を行なう。ステップ108で撮像済みのフレーム数がステップ103で指定したフレーム数に達したと評価されたら、データの評価に移る。
111は異なるフレームの画像間でのRFデータ相互相関を計算するステップである。メモリ12に格納されている各フレームの画像データを順次読み出して、相互相関を計算する。すなわち、各フレームの画像データから、各送波方向の撮像での特定の被検体内の反射部分に着目した形での移動量および変形量が計算される。
113は異なるフレームの画像間での変形が設定値より大きいか否かを評価するステップである。すなわち、ステップ111で計算された、異なるフレームの画像間でのRFデータ相互相関が設定値より大きいときは、メモリ12に格納されている各フレームのRFデータを包絡線検波して(ステップ115)、この検波後のデータから、異なるフレームの画像間でのデータ合成を行なう(ステップ117)。ステップ111で計算された、異なるフレームの画像間でのRFデータ相互相関が設定値より小さいときは、メモリ12に格納されている各フレームのRFデータから異なるフレームの画像間でのデータ合成を行ない(ステップ121)、この合成後のRFデータを包絡線検波する(ステップ121)。
123は画像表示ステップであり、ステップ117のデータ、あるいは、ステップ121のデータのいずれかから、所定のプログラムに従った画像を表示装置22に表示する。125は画質の調整の要否の判定ステップであり、例えば、画像表示ステップ123で、画面の一部に「再度データ取得が必要ですか」と言う質問と”YES”、”NO”のスイッチの表示をする。そして、使用者が、表示装置22に表示された画像に不満であり、”YES”を選択したときに、ステップ103に戻って、必要な設定から再度実行する。”NO”を選択したときには、撮像を終了する。再度、撮像を行なうときは、例えば、合成枚数を増加したり、送波方向の変化を細かくしたり等、超音波送受波・RFデータ取得の条件を変更して行なう。超音波診断機では、特に、撮像停止ボタンを押さない限り、画像を撮り続け、画面も更新し続けている。そのため、再度、データ取得の必要性を問う画面表示を行わなくても、画像に応じて操作者が設定を変更したり、それを次の撮像に反映する方法もある。
先にも述べたように、RF信号のようにコヒーレントな信号の場合と、包絡線検波信号のようにインコヒーレントな信号の場合とで、合成する信号間での、撮像の対象部位の変位の影響が大きく異なる。すなわち、コヒーレントな場合は、波長の半分のずれがあると、信号は完全に打ち消し合い、1/4以下のずれで漸くその影響を無視しうるようになる。一方インコヒーレントな場合、打ち消しあうことは無いので、包絡線の幅以下のずれであれば、その影響は少ない。
実施例1は、この点に着目して、ステップ111で異なるフレームの画像間でのRFデータ相互相関を計算し、ステップ113で異なるフレームの画像間での変形が設定値より大きいか否かを評価する。異なるフレームの画像間での撮像の対象部位の変位が設定値より大きい場合には、フレームの画像間でのずれによる影響が小さい、インコヒーレントな信号として処理をすることとし、異なるフレームの画像間での撮像の対象部位の変位が設定値より小さい場合には、コヒーレントな信号として処理をする。
ここで、相互相関による変形の計算方法について詳しく説明を行なう。1フレームの深さ方向のデータ数をM、横方向のデータ数をNとする。また、深さ方向は浅い方から深くなる方に向かって、座標が大きくなり、横方向には走査するラスターの順番に座標が大きくなるように座標系を考える。尚ここでは走査順序は、隣から順に走査することを想定する。フレーム番号kの中の、深さ方向i番目、横方向にj番目の画素の輝度をIk i,j、同位置のRF信号の振幅をAk i,jとして以下説明を行なう。
相関をとる窓の大きさをwと設定すると、画素ijにおける、二つのフレーム間相関による変形ベクトルVk i,jは、式(1)、(2)のように算出される。相互相関Cr(k,k+1)が最大となる要素番号imax1と自己相関Cr(k,k)が最大となる要素番号imax0の差、V=imax0−imax1が画素ijにおける、kフレームとk+1フレームの間の深さ方向の変形である。
Figure 0005357684
Figure 0005357684
ここで記号*は相互相関である。ここでは、wが奇数の場合を記述したが、偶数の場合も、i−(w一1)/2をi−(w−2)/2に、i+(w−1)/2をi+w/2のように置換すれば同様である。
ここで、本来、局所変形は2次元ベクトルであるところを、深さ方向のみの1次元の問題として扱っているのは、通常、超音波パルスの送受波による点応答は深さ方向に狭く、方位方向に広がっているため、深さ方法はRF波のナイキスト周波数より細かくサンプリングしているのに比べ、方位方向には、粗くデータを取得しているからである。定量的に比べると、音速1500m/s、深さ方向のサンプリング周波数50MHzの場合は、深さ方向のサンプリング間隔は15μmになる。一方で、方位方向のサンプリング間隔は通常、素子ピッチ程度もしくは、その半分程度であるため、素子幅を中心周波数での波長の半分程度と想定すると、中心周波数が3MHzの場合、125μm程度であり、深さ方向のサンプリング間隔の10倍程度である。そのため、対象物の動きに対して、フレームレートが十分に早ければ変形を深さ方向に関してのみ測定すれば良い。
相関を取る時に、窓を設定しているのは以下の二つの理由による。第一に、一度に1ラスタ−分のデータを全て使ってしまうと、生体のように剛体としては扱えない場合には、深さによって変形が異なる場合に不利である。第二に、本発明においては、角度の異なる画像同士で相関を取っているので、1ラスター全体で比較すると、深さ方向全体で場所を一致させることが出来ない。しかし窓幅を限れば、窓の範囲内では、ラスターをまたがらせないことが可能となる。例えばビーム方向が5度異なるフレーム間での変形を求める場合、ラスタ一間隔が125μm、深さ方向のサンプリング間隔が15μmの場合には、125μm/tan(5度)/15μm=95なので、窓幅が95サンプリング点以下であれば、方位方向に関しても同じ場所のデータから変位を計算しているといえる。勿論、この場合、窓を移動するに従って、相関をとる相手のラスター番号が変化していくことになる。
これらの方法で画素ijでの変位が求まった後は、ノイズの影響が小さい場合は、そのまま変位量として用いることも可能であるが、ノイズの影響が大きい場合は、空間的なローパスフイルタなどを通して、平均化した値に置き換えて、処理を行なうことも可能である。
フレームレートに比べ、対象物の動きが早い場合には、方位方向も含めた2次元相関によって2次元の変形を計算することや、一度、ラスター毎に深さ方向に積分し、別フレームの積分パターン同士の相関によって方位方向の変形を求め、既に説明した深さ方向の変形と組み合わせて2次元の変形を計算する方法も可能である。
図6(A)は、横軸にフレームの画像間でのずれをとり、縦軸にそれらに対応して行なわれる包絡線検波およびRFデータでの加算の選択の例を示す図である。フレームの画像間でのずれが超音波の中心周波数ω0の波長の1/4をしきい値とする例である。画像間でのずれが超音波の中心周波数ω0の波長の1/4を越えているときは、包絡線検波による処理、すなわち、インコヒーレントな信号として処理をする。これに対して、画像間でのずれが超音波の中心周波数ω0の波長の1/4より小さいときは、RFデータによる加算処理をした後で包絡線検波による処理、すなわち、コヒーレントな信号として処理をする。
このように、異なるフレームの画像間での撮像の対象部位のずれに応じて画像生成のための信号を選択することにより、コントラスト分解能と空間分解能の向上を同時に実現し、また被検体の動きによる画像劣化が少ない撮像法を実現する。
図3は本発明の超音波撮像装置の実施例2の信号の処理フローを示す図である。図3において、図2と同じ参照符号を付したステップは同じ処理をするステップである。
実施例2においても、実施例1と同様に、使用する超音波探触子のタイプ、撮像の対象部位を設定し(ステップ101)、画像合成を行なう撮像フレ―ム数を指定し(ステップ103)、撮像の対象部位に対する超音波の送波方向を設定し(ステップ105)、1フレーム分の超音波送受波・RFデータを格納し(ステップ107)、撮像済みのフレーム数を評価し(ステップ109)、ステップ103で指定したフレーム数に達するまで繰り返す。そして、ステップ111で異なるフレームの画像間でのRFデータ相互相関を計算する。
114はヘテロダイン検波の参照周波数ω1の設定をするステップであり、116は、参照周波数ω1の設定に応じたヘテロダイン検波の実行ステップである。118は、ステップ116の検波の結果を受けて、異なるフレームの画像間での検波後データの合成をするステップである。ステップ123および125の画像表示および画質調整に付いては、実施例1と同じである。
図6(B)は、ステップ114でヘテロダイン検波の参照周波数ω1の設定をするための設定曲線の例を示す図である。横軸に超音波の中心周波数ω0の波長に対するフレームの画像間でのずれをとり、縦軸にそれに対応して決定される参照周波数に応じたミキシング後の周波数の超音波の中心周波数ω0に対する比の例を示す図である。ここでも、実施例1と同様、フレームの画像間でのずれが超音波の中心周波数ω0の波長の1/4をしきい値とする。すなわち、画像間でのずれが超音波の中心周波数ω0の波長の1/4であるときは、ヘテロダイン検波の参照周波数を超音波の中心周波数ω0と同じ周波数とする。フレームの画像間でのずれが超音波の中心周波数ω0の波長の1/4と異なるときは、図に示すミキシング後の周波数になるように参照周波数を決定する。その結果、画像間でのずれが超音波の中心周波数ω0の波長の1/4であるときのみ、包絡線検波による処理、すなわち、インコヒーレントな信号として処理が行なわれる。一方、画像間でのずれが超音波の中心周波数ω0の波長の1/4と異なるときは、その程度に応じた参照周波数が選択されて、RFデータによるヘテロダイン検波が行なわれた後に包絡線検波による処理、すなわち、コヒーレントな信号として処理が行なわれる。
実施例2では、ステップ111で計算された、異なるフレームの画像間でのRFデータ相互相関が所定のしきい値にあるときのみ、参照周波数ω1を超音波の中心周波数ω0と同じ値に設定してホモダイン検波とする。すなわち、超音波受波のRFデータをコヒーレントな信号として、包絡線検波による画像化をする。異なるフレームの画像間でのRFデータ相互相関がしきい値以外であるときは参照周波数ω1を超音波の中心周波数ω0とは異なる値に設定してヘテロダイン検波とする。
ここで、実施例2におけるコヒーレントな信号とインコヒーレントな信号の切り替えを、ヘテロダイン検波部によって実行する方法についてもう少し具体的に説明する。
図5(A)は送受信トランスジューサ32が受信するビーム進行方向の異なる3方向A,BおよびCのビームの方向を模式的に示す図、(B)は送受信トランスジューサ32が受信するRF信号の各ビーム進行方向のビームパターンを示す図、(C)は送受信トランスジューサ32が受信したRF信号の包絡線検波後のビームパターンを示す図である。図5(B)および(C)を対比して分かるように、包絡線検波後のビームパターンでは、強度信号のみが強く表れ、位相信号が見えにくいものとなっている。
図7は、図5(B)に示す、異なる3方向A,BおよびCのビームを包絡線検波して図5(C)に示す包絡線検波後のビームパターンとした後、合成したときの超音波信号強度の分布を示す図である。すなわち、横方向に超音波信号の広がりを、縦方向に焦点深度を示す。図7は、送受信トランスジューサ32は深さ50mmの位置に焦点が合わせられており、この焦点位置で±2°の広がりがあることを示している。縦軸方向に表れている線は、超音波の強度の等高線である。
図5(B)に示すようなRF信号は時間の関数F(t)として、式(3)のように記述することが出来る。
Figure 0005357684
ここで、ω0は超音波の中心周波数、A(t)は包絡線である。
このF(t)の包絡線を検波する方法の一つにヘテロダイン検波の特異形としてのホモダイン検波法がある。
F(t)に参照波sin(ω1t)を乗じた信号をG(t)とすると、式(4)となる。
Figure 0005357684
ここで、参照波の周波数ω1を超音波の中心周波数ω0と等しくして、ホモダイン検波とした場合、式(5)となるので、
Figure 0005357684
低域透過フィルタを通して、二倍高調波を除去すると、包絡線信号が得られる。
すなわち、超音波の中心周波数ω0と等しい周波数の参照波sin(ω0t)で実行されるヘテロダイン検波の特異形であるホモダイン検波とすれば、実施例1に記述した包絡線検波によるインコヒーレント信号により画像合成ができることになる。すなわち、図6(B)に例示したように、特定の異なるフレームの画像間のずれ(図では超音波の中心周波数の波長の1/4)でのみRF信号、すなわち、コヒーレント信号による画像合成とする。そして、その前後のずれに対しては、RFデータ相互相関をパラメータとして、図に例示したように、ヘテロダイン検波の参照周波数ω1の設定を超音波の中心周波数ω0と異なったものにする。これにより、コヒーレントからインコヒーレントまで、連続的に変化させることが出来、インコヒーレント信号による画像合成およびコヒーレント信号による画像合成を総合化した形の画像合成が実現できる。
図8は、超音波の中心周波数ω0を2MHzとし、参照波の周波数ω1を2MHz、1MHz、0MHz、−1MHzとした場合を例に、図7の超音波信号強度の分布がどのように変化するかを説明する図である。
図8(A),(B),(C)および(D)は、順に、参照波の周波数ω1を2Hz、1MHz、0MHz、−1MHzとしたときのヘテロダイン検波後の結果を示すビームパターンの例である。ビームパターンの細い(広がりが小さい)ほど、方位方向の空間分解能が、よく、またサイドローブが強いほど、スペックルパターンが強く生成され、コントラスト分解能が劣化する。
図8(A)は、参照波の周波数ω1が2MHz、すなわち、参照波でミキシングし、ローパスフイルタを通した後の周波数(ヘテロダイン検波後の周波数)が0MHz、であるので、上述した包絡線検波に対応し、実施例1のステップ115による包絡線検波に対応する。この例が、この中では、最もコントラスト分解能がすぐれ、かつ空間分解能が最も悪い。図8(C)は、参照波の周波数ω1が0MHz、すなわち、ヘテロダイン検波後の周波数が2MHz、であるので、受信したRF信号を検波することに対応し、実施例1のステップ119によるRFデータの合成後に包絡線検波をすることに対応する。図8(B)は、参照波の周波数ω1が1MHz、すなわち、ヘテロダイン検波後の周波数が0MHz、であるので、上述した(A)と(C)の中間の状態の結果となる。図8(D)は、参照波の周波数ω1が−1MHz、すなわち、ヘテロダイン検波後の周波数が3MHz、である(参照波が図7(B)の逆位相)ので、最も空間分解能が優れ、コントラスト分解能が悪い状態となる。
すなわち、ビームパターン形状からも、上記の、コヒーレントからインコヒーレントに連続的に調節可能であることが分かるが、図9および図10はこれを合成後の画面の例として示すものである。
図9(A)は図2のステップ115,117を経て得られる画像のシミュレーション結果の例、図9(B)は図2のステップ119,120を経て得られる画像のシミュレーション結果の例である。この例は、人体の一部に超音波を反射しない血管が存在する部分を5cm×5cmの大きさに画像化したシミュレーション結果の例である。中央下部にある黒い部分が血管に対応し、周辺部が肉体に対応する。また左側と上辺部にある白い点は、点反射体の映像である。図9(A)、(B)を対比して分かるように、RF信号の段階で合成する図9(B)の画像の方が空間分解能が良い。
図10(A)−(D)は図8(A)−(D)に対応する画像例であり、図9(A)、(B)と同様にして得られたシミュレーション結果の例である。図10(A)は、参照波の周波数ω1を2MHzとしており、上述した包絡線検波に対応する図9(A)と同じである。図10(C)は、参照波の周波数ω1を0MHzとしており、受信したRF信号を検波することに対応し、実施例1のステップ119によるRFデータの合成後に包絡線検波をすることに対応する図9(B)と同じである。図10(B)は、図8(B)と同様、参照波の周波数ω1が1MHzであるので、上述した図10(A)と(C)の中間の状態の結果となる。図10(D)は、図8(D)と同様、参照波の周波数ω1が−1MHzである(参照波が図7(B)の逆位相)ので、最も空間分解能が優れ、コントラスト分解能が悪い状態となる。
図4は本発明の超音波撮像装置の実施例3の信号の処理フローを示す図である。図4において、図2または図3と同じ参照符号を付したステップは同じ処理をするステップである。
実施例3は、実施例2がヘテロダイン検波の参照周波数を異なるフレームの画像間でのRFデータ相互相関に応じて自動的に選択される(ステップ114)ものとしたのに対して、ステップ104で、使用者が自己の考えに基づいてヘテロダイン検波の参照周波数を操作して変更することが出来るようにした点においてのみ異なる。その他の処理は図3に示す処理フローと同じである。
図11は、実施例3においてステップ104で使用者が操作する入力装置の外観図の例である。51は操作ボタンであり、移動ガイド52に沿って左右に直線移動が可能とされる。53は表示部である。ここで例示したのは、直線移動可能な、ボリュームタイプの操作ボタンである。例えば、表示0−3は、図10(A)−(D)に対応する画像が得られる参照周波数を指定する位置である。すなわち、操作ボタン51の操作は、図6(B)に対応するヘテロダイン検波の参照周波数ω1の設定をすることを意味する。この場合、使用者は、対象物や、対象疾病に応じて、得られる画像がどのように変化するかを経験により積み重ねることができ、ケースに応じて、コントラスト分解能と空間分解能のどちらを優先させるべきかを、使用者の判断に応じて可変とすることが可能になる。
上記の説明では、合成する画像の枚数を3枚で説明したが、この枚数を大きくして、その一部により、コヒーレント画像の合成を行ない、残りでインコヒーレント画像の合成を行ない、これらの両方を混ぜて画像化することも可能となる。
本発明は、上記にある特定の実施の形態に限定されるものでなく、その技術思想の範囲を逸脱しない範囲で様々な変形が可能である。
本発明は、動きが少ない場合は合成によって、空間分解能が向上し、動きが大きい場合でもコントラスト分解能が向上する。別の言い方をすれば、合成する画像間の位置ずれに応じて、コントラスト分解能と空間分解能のバランスのとれた画像を得ることが出来る。更には、撮像対象に応じた、もしくは使用者の選択によって、コントラスト分解能と空間分解能の調節がとれた画像を得ることが出来る。
10…情報処理装置
11…CPU
12…メモリ
13…ハードディスク
14…バス
21…入力装置
22…表示装置
23…送波ビームフォーマ
24…受波ビームフォーマ
31…送受分離器
32…超音波探触子。

Claims (2)

  1. 被検体に与えるべき送波超音波ビームを形成するための超音波パルス信号を送出し、前記被検体から反射された超音波パルス信号から形成された受波超音波ビームを受信する情報処理装置と、前記超音波パルス信号に応じて送波超音波ビームを形成するための送波超音波ビームフォーマと、該送波超音波ビームフォーマの出力を送受分離器を介して与えられて前記被検体に送波超音波ビームを送出する超音波探触子と、該超音波探触子に受信される前記被検体から反射された超音波パルス信号を送受分離器を介して与えられて前記受波超音波ビームを形成する受波ビームフォーマとよりなり、
    前記情報処理装置は被検体に対して複数の角度方向から撮像した前記被検体のBモード画像データを合成し、合成画像を表示するためのプログラムを処理する処理部と、操作者が移動ガイドに沿って左右に直線移動の操作を行なうための直線移動可能なボリュームタイプの入力装置を備えるとともに、前記処理部は、前記複数の角度での各フレームの前記受波超音波ビームを、前記入力装置により指定された、画像間のずれに基づく参照周波数でヘテロダイン検波を行なう
    ことを特徴とする超音波撮像装置。
  2. 超音波探触子から超音波パルスを被検体に送信した結果、前記被検体から反射される超音波パルスから形成された受信超音波ビームに基づき、複数の角度方向から撮像した前記被検体のBモード画像データを合成し、合成画像を表示する情報処理装置による超音波撮像方法であって、
    前記情報処理装置は、
    前記受波超音波ビームをヘテロダイン検波するための参照周波数の指定が可能であり、前記複数の角度での各フレームの前記受波超音波ビームを、操作者が移動ガイドに沿って左右に直線移動の操作を行うための直線移動可能なボリュームタイプの入力装置により指定された、画像間のずれに基づく前記参照周波数でヘテロダイン検波を行なう
    ことを特徴とする超音波撮像方法。
JP2009221937A 2003-08-06 2009-09-28 超音波撮像装置および超音波撮像方法 Expired - Lifetime JP5357684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009221937A JP5357684B2 (ja) 2003-08-06 2009-09-28 超音波撮像装置および超音波撮像方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003206184 2003-08-06
JP2003206184 2003-08-06
JP2009221937A JP5357684B2 (ja) 2003-08-06 2009-09-28 超音波撮像装置および超音波撮像方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005512903A Division JP4426530B2 (ja) 2003-08-06 2004-06-09 超音波撮像装置および超音波撮像方法

Publications (2)

Publication Number Publication Date
JP2010042266A JP2010042266A (ja) 2010-02-25
JP5357684B2 true JP5357684B2 (ja) 2013-12-04

Family

ID=34131377

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005512903A Expired - Fee Related JP4426530B2 (ja) 2003-08-06 2004-06-09 超音波撮像装置および超音波撮像方法
JP2009221937A Expired - Lifetime JP5357684B2 (ja) 2003-08-06 2009-09-28 超音波撮像装置および超音波撮像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005512903A Expired - Fee Related JP4426530B2 (ja) 2003-08-06 2004-06-09 超音波撮像装置および超音波撮像方法

Country Status (5)

Country Link
US (2) US7473226B2 (ja)
EP (1) EP1652475B1 (ja)
JP (2) JP4426530B2 (ja)
CN (1) CN1805710A (ja)
WO (1) WO2005013829A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473239B2 (en) 2009-04-14 2013-06-25 Maui Imaging, Inc. Multiple aperture ultrasound array alignment fixture
WO2008051639A2 (en) 2006-10-25 2008-05-02 Maui Imaging, Inc. Method and apparatus to produce ultrasonic images using multiple apertures
EP1974672B9 (en) * 2007-03-28 2014-04-16 Kabushiki Kaisha Toshiba Ultrasonic imaging apparatus and ultrasonic velocity optimization method
US9282945B2 (en) 2009-04-14 2016-03-15 Maui Imaging, Inc. Calibration of ultrasound probes
US9788813B2 (en) 2010-10-13 2017-10-17 Maui Imaging, Inc. Multiple aperture probe internal apparatus and cable assemblies
EP2053419B1 (en) * 2007-10-25 2012-10-17 Samsung Medison Co., Ltd. Apparatus and method of estimating and compensating a motion in forming a synthetic image using a particular scan sequence
CN101438967B (zh) * 2007-11-22 2012-09-05 Ge医疗系统环球技术有限公司 超声成像设备
JP5074937B2 (ja) * 2008-01-22 2012-11-14 日立アロカメディカル株式会社 超音波診断装置
US9271697B2 (en) * 2008-03-21 2016-03-01 Boston Scientific Scimed, Inc. Ultrasound imaging with speckle suppression via direct rectification of signals
JP5666446B2 (ja) 2008-08-08 2015-02-12 マウイ イマギング,インコーポレーテッド マルチアパーチャ方式の医用超音波技術を用いた画像形成方法及びアドオンシステムの同期方法
US20100106431A1 (en) * 2008-10-29 2010-04-29 Hitachi, Ltd. Apparatus and method for ultrasonic testing
CN101810492B (zh) * 2009-02-24 2013-10-02 深圳迈瑞生物医疗电子股份有限公司 超声诊断系统及动态提高成像帧率的方法和波束合成装置
JP6274724B2 (ja) 2010-02-18 2018-02-07 マウイ イマギング,インコーポレーテッド 多開口超音波撮像を用いた点音源送信及び音速補正
JP2012030048A (ja) * 2010-07-02 2012-02-16 Toshiba Corp 超音波診断装置、画像処理装置、及び解析プログラム
JP2012071115A (ja) * 2010-08-30 2012-04-12 Toshiba Corp 超音波診断装置
KR101906838B1 (ko) 2010-10-13 2018-10-11 마우이 이미징, 인코포레이티드 오목한 초음파 트랜스듀서들 및 3d 어레이들
JP5967901B2 (ja) * 2011-11-07 2016-08-10 キヤノン株式会社 被検体情報取得装置
JP6407719B2 (ja) 2011-12-01 2018-10-17 マウイ イマギング,インコーポレーテッド ピングベース及び多数開口ドップラー超音波を用いた運動の検出
CN104080407B (zh) 2011-12-29 2017-03-01 毛伊图像公司 任意路径的m模式超声成像
WO2013126559A1 (en) 2012-02-21 2013-08-29 Maui Imaging, Inc. Determining material stiffness using multiple aperture ultrasound
WO2013148673A1 (en) 2012-03-26 2013-10-03 Maui Imaging, Inc. Systems and methods for improving ultrasound image quality by applying weighting factors
DE102012205225A1 (de) * 2012-03-30 2013-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Computertomographiesystem und verfahren zur datenermittelung für eine störeinfluss-korrigierte computertomographieaufnahme eines untersuchungsobjekts
JP6270843B2 (ja) 2012-08-10 2018-01-31 マウイ イマギング,インコーポレーテッド 多数開口超音波プローブの校正
EP3893022A1 (en) 2012-09-06 2021-10-13 Maui Imaging, Inc. Ultrasound imaging system memory architecture
WO2014160291A1 (en) 2013-03-13 2014-10-02 Maui Imaging, Inc. Alignment of ultrasound transducer arrays and multiple aperture probe assembly
US9883848B2 (en) 2013-09-13 2018-02-06 Maui Imaging, Inc. Ultrasound imaging using apparent point-source transmit transducer
CN105212964B (zh) * 2014-02-20 2018-12-25 飞依诺科技(苏州)有限公司 基于rf数据超声成像处理方法及系统
JP6150749B2 (ja) * 2014-03-11 2017-06-21 オリンパス株式会社 超音波観測装置
CN106794007B (zh) 2014-08-18 2021-03-09 毛伊图像公司 基于网络的超声成像系统
JP6734270B2 (ja) * 2014-10-30 2020-08-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波画像を形成する際の圧縮センシング
US10856846B2 (en) 2016-01-27 2020-12-08 Maui Imaging, Inc. Ultrasound imaging with sparse array probes
CN110114001B (zh) * 2017-01-18 2022-06-14 古野电气株式会社 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序
EP3845134B1 (en) * 2018-08-27 2022-07-27 FUJIFILM Corporation Ultrasound diagnosis device and ultrasound diagnosis device control method
JP2022018932A (ja) * 2020-07-16 2022-01-27 コニカミノルタ株式会社 超音波診断装置、超音波信号処理方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63241481A (ja) * 1987-03-30 1988-10-06 Yokogawa Medical Syst Ltd ソナ−システムのヘテロダイン受信機
JPH0327215U (ja) * 1989-07-27 1991-03-19
JP3262169B2 (ja) * 1990-10-23 2002-03-04 株式会社日立メディコ 超音波診断装置
JPH04208141A (ja) * 1990-11-30 1992-07-29 Aloka Co Ltd 超音波診断装置
JPH04314435A (ja) * 1991-04-15 1992-11-05 Aloka Co Ltd 超音波診断装置
US5582173A (en) * 1995-09-18 1996-12-10 Siemens Medical Systems, Inc. System and method for 3-D medical imaging using 2-D scan data
US6292433B1 (en) * 1997-02-03 2001-09-18 Teratech Corporation Multi-dimensional beamforming device
US6511426B1 (en) * 1998-06-02 2003-01-28 Acuson Corporation Medical diagnostic ultrasound system and method for versatile processing
US6283917B1 (en) 1998-10-01 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging system with blurring corrected spatial compounding
US6117081A (en) * 1998-10-01 2000-09-12 Atl Ultrasound, Inc. Method for correcting blurring of spatially compounded ultrasonic diagnostic images
US6464638B1 (en) * 2000-10-05 2002-10-15 Koninklijke Philips Electronics N.V. Ultrasound imaging system and method for spatial compounding
JP4958348B2 (ja) * 2001-09-06 2012-06-20 株式会社日立メディコ 超音波撮像装置
JP3911403B2 (ja) * 2001-10-25 2007-05-09 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US6679847B1 (en) * 2002-04-30 2004-01-20 Koninklijke Philips Electronics N.V. Synthetically focused ultrasonic diagnostic imaging system for tissue and flow imaging

Also Published As

Publication number Publication date
US20090118617A1 (en) 2009-05-07
EP1652475A4 (en) 2011-03-30
US8079956B2 (en) 2011-12-20
CN1805710A (zh) 2006-07-19
JP2010042266A (ja) 2010-02-25
US7473226B2 (en) 2009-01-06
EP1652475B1 (en) 2016-08-31
JPWO2005013829A1 (ja) 2006-09-28
EP1652475A1 (en) 2006-05-03
US20060173334A1 (en) 2006-08-03
JP4426530B2 (ja) 2010-03-03
WO2005013829A1 (ja) 2005-02-17

Similar Documents

Publication Publication Date Title
JP5357684B2 (ja) 超音波撮像装置および超音波撮像方法
US7828731B2 (en) Ultrasonographic apparatus, ultrasonographic data processing method, and ultrasonographic data processing program
JP5495607B2 (ja) 超音波診断装置
KR101202510B1 (ko) 위상 배열 프로브에 기초하여 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법
JP5719098B2 (ja) 超音波診断装置
KR102011545B1 (ko) 초음파 진단 장치, 화상 처리 장치 및 화상 처리 방법
JPH06125908A (ja) 超音波診断装置
JP2010099452A (ja) 超音波診断装置及び超音波診断方法
JP2008514264A (ja) 乳房の超音波画像診断を高精度で行う方法および装置
JP2009240667A (ja) 超音波撮像装置及び超音波撮像方法
JP2010017530A (ja) 超音波装置及びその制御方法
JP5179963B2 (ja) 超音波診断装置及びその作動方法、並びに、画像処理プログラム
KR101183017B1 (ko) 중심선에 기초하여 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법
JP2009061086A (ja) 超音波診断装置、並びに、画像処理方法及びプログラム
JP4713862B2 (ja) 超音波診断装置
JP2008073085A (ja) 超音波診断装置及び画像データ生成方法
US11103214B2 (en) Ultrasonic diagnostic apparatus using synthetic and moving aperture synthesis
EP2306186A2 (en) Ultrasound diagnostic apparatus and signal processing method thereof
JP2010234013A (ja) 超音波診断装置及び超音波診断方法
JPH11318892A (ja) 超音波撮像方法および装置
JP5247330B2 (ja) 超音波信号処理装置及び超音波信号処理方法
CN109996499B (zh) 超声波诊断装置和存储介质
JP3715745B2 (ja) 超音波撮像装置
JP2013102959A (ja) 超音波診断装置及び方法
JP2010158473A (ja) 超音波画像診断装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130603

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130830

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5357684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term