JP5713896B2 - 超音波診断装置とその内膜中膜複合体厚計測方法 - Google Patents

超音波診断装置とその内膜中膜複合体厚計測方法 Download PDF

Info

Publication number
JP5713896B2
JP5713896B2 JP2011518509A JP2011518509A JP5713896B2 JP 5713896 B2 JP5713896 B2 JP 5713896B2 JP 2011518509 A JP2011518509 A JP 2011518509A JP 2011518509 A JP2011518509 A JP 2011518509A JP 5713896 B2 JP5713896 B2 JP 5713896B2
Authority
JP
Japan
Prior art keywords
boundary
region
dividing line
intima
diagnostic apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011518509A
Other languages
English (en)
Other versions
JPWO2010143588A1 (ja
Inventor
智章 長野
智章 長野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2011518509A priority Critical patent/JP5713896B2/ja
Publication of JPWO2010143588A1 publication Critical patent/JPWO2010143588A1/ja
Application granted granted Critical
Publication of JP5713896B2 publication Critical patent/JP5713896B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels

Description

本発明は、被検者の内膜中膜複合体厚(Intima Media Thickness:IMT)を計測する超音波診断装置とそのIMT計測方法に関する。
IMT計測は、被検者の頸動脈の超音波画像を得て、超音波画像上でIMTを計測するもので、動脈硬化の発見に有効であることが知られている。IMT計測では、検者が超音波画像上に関心領域(Region Of Interest:ROI)を設定し、設定されたROI内での内膜中膜複合体の内腔側境界と外膜側境界を抽出し、抽出された境界間の距離をIMT値として算出している。
IMT計測の例は、非特許文献1に開示される。非特許文献1に開示された方法は、まず、検者は超音波診断装置を操作して、被検者の頸動脈の超音波画像を得る。次に、プロセッサは、頸動脈を含む領域部分を切り出し、ぼけ画像を作成する。そして、前記ぼけ画像を2値化処理し、頸動脈の領域部分を抽出する。さらに、プロセッサは、頸動脈の領域部分から輪郭を抽出するためのエッジ部分を抽出する。そして、プロセッサは、抽出されたエッジ部分にスネーク法を適用し、Bスプライン補間で輪郭線を生成することにより、頸動脈領域の内膜中膜と外膜の輪郭を抽出する。
C. P. Loizou et. "Snakes based segmentation of the common carotid artery intima media", Med Bio Eng Comput (2007) 45:35-49
しかしながら、非特許文献1であってもIMT計測の境界抽出の際のノイズの混入による境界抽出の精度低下は依然として課題であった。
例えば、血管の内腔や外膜の外側より発生する超音波特有のアーチファクトやスペックルノイズなどのノイズ成分がIMT計測の内腔側境界又は外膜側境界の境界上に混入する場合があり、境界上の画素が信号であるかノイズであるかを特定しなければ精度の良いIMT計測が実現できない。
本発明の目的は、IMT計測の境界抽出におけるノイズの影響を抑制することが可能な超音波診断装置とそのIMT計測方法を提供することにある。
上記目的を達成するため、本発明の超音波診断装置は、被検者の頸動脈部の超音波画像を得る撮像部と、少なくとも一つの閾値を設定して前記超音波画像を複数の領域に分割する分割線を算定する分割線算定部と、前記複数の領域を探索するための方向を特定し、特定された方向について内膜中膜領域を輝度に基づき探索し、前記探索により得た情報と前記頸動脈部の前記超音波画像における位置情報から曲線を複数形成し、前記複数形成された曲線間の距離に基づき内膜中膜複合体の厚さを算出する内膜中膜複合体厚算出部と、を備えたことを特徴とする。
また、本発明の超音波診断装置のIMT計測方法は、撮像部により被検者の頸動脈部の超音波画像を得るステップと、分割線算定部により少なくとも一つの閾値を設定して前記超音波画像を複数の領域に分割する分割線を算定するステップと、内膜中膜複合体厚算出部により前記複数の領域を探索するための方向を特定し、特定された方向について内膜中膜領域を輝度に基づき探索し、前記探索により得た情報と前記頸動脈部の前記超音波画像における位置情報から曲線を複数形成し、前記複数形成された曲線間の距離に基づき内膜中膜複合体の厚さを算出するステップと、を含むことを特徴とする。
上述したように、本発明の超音波診断装置とそのIMT計測方法によれば、撮像部により被検者の頸動脈部の超音波画像を得、分割線算定部により少なくとも一つの閾値を設定して前記超音波画像を複数の領域に分割する分割線を算定し、内膜中膜複合体厚算出部により前記複数の領域を探索するための方向を特定し、特定された方向について内膜中膜領域を輝度に基づき探索し、前記探索により得た情報と前記頸動脈部の前記超音波画像における位置情報から曲線を複数形成し、前記複数形成された曲線間の距離に基づき内膜中膜複合体の厚さを算出するので、IMT計測の境界抽出におけるノイズの影響を抑制することができる。
本発明によれば、IMT計測の境界抽出におけるノイズの影響を抑制することが可能な超音波診断装置とそのIMT計測方法を提供することができる。
実施例1における超音波診断装置の概略を示すブロック図。 実施例1における超音波診断装置のIMT計測でのモニタの表示例。 実施例1における超音波診断装置のIMT計測の動作の手順の例を説明するフローチャート。 ROIのある画素列の輝度値の深度方向の変化をグラフにて例示した図。 ROIのある画素列の輝度値の深度方向の変化をグラフにて例示した図。 画像上に現れるノイズの除去の一例を示す図。 画像上に現れるノイズの除去の一例を示す図。 領域分割の例を示す図。 領域分割の例を示す図。 領域分割の例を示す図。 領域分割の例を示す図。 内腔側分割線、外膜側分割線の補正の例を説明する図。 内腔側分割線、外膜側分割線の補正の例を説明する図。 境界位置の抽出方法を説明する図。 境界位置の抽出方法を説明する図。 境界の補正方法を説明する図。 境界の補正方法を説明する図。 境界の補正方法を説明する図。 実施例2の領域分割の例を示す図。 実施例2の領域分割の例を示す図。 実施例2の領域分割の例を示す図。 実施例2の分割線の補正の例を説明する図。 実施例2の分割線の補正の例を説明する図。 実施例2の境界位置の抽出方法を説明する図。 実施例2の境界位置の抽出方法を説明する図。 実施例3の境界抽出を説明する図。 長方形のROIが超音波の入射方向から傾きをもっている場合の例を示す図。 平行四辺形状にROIを設定した場合の例を示す図。 ROIの左右両端が超音波の入射方向に平行で上下端が頸動脈の走行方向に沿うように設定した場合の例を示す図。 頸動脈の走行方向に垂直に抽出方向を設定した場合の例を示す図。 ROIの左右両端を頸動脈の走行方向に垂直に合わせて、ROIの上下両端を頸動脈の走行方向に沿うように設定した場合の例を示す図。
以下図面を参照しながら、本発明に係る超音波診断装置とそのIMT計測方法の好適な実施形態について詳細に説明する。尚、以下の説明及び図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
実施例1は、領域分割において3値化で行うものである。また、実施例1は、生体信号に同期したタイミングで入力された頸動脈領域を含む超音波画像において、内膜中膜複合体の内膜側境界と外膜側境界を抽出し、IMT値を計測して、表示、出力を行う場合を説明する。また、本実施例では、対象とする信号を超音波画像の輝度値とし、抽出位置を頸動脈後壁として説明する。
図1は実施例1における超音波診断装置の概略を示すブロック図である。
図1に示す超音波診断装置1は、超音波を被検者へ送波し、被検者からの反射エコー信号を用いて超音波診断を行うものである。
超音波診断装置は、超音波探触子3と、超音波信号送受信部4と、超音波信号生成部5と、超音波画像生成部6と、生体信号抽出部7と、ROI設定部8と、ノイズ除去部9と、領域分割部10と、境界補正部11と、境界抽出部12と、IMT算出部13と、出力部14と、入力部15と、制御部16とを備えている。
超音波探触子3は、振動子から被検者2の対象組織に向かって超音波を送信し、被検者2から反射エコー信号を受信する器具である。超音波探触子3の種類は計測する用途によってリニア型、コンベックス型、セクタ型等がある。
超音波信号送受信部4は、超音波探触子3が送信機能を行うため超音波探触子3を駆動すると共に、超音波探触子3が受信機能を行うため送信の状態から受信の状態へ回路をスイッチし、超音波信号生成部5へ超音波探触子3が受信した反射エコー信号を超音波信号生成部5に伝達する。
超音波信号生成部5は、超音波信号送受信部4からの受信信号を、整相回路や増幅回路を通して、入力部15で設定された撮像設定に従って信号処理し、整相された超音波信号を得る。
超音波画像生成部6は、超音波信号生成部5から入力された信号から、入力部15で設定された撮像設定に基づいて超音波画像を生成する。
生体信号抽出部7は、被検者2の生体信号を抽出して電気信号に変換するものである。生体信号として、ECG(electrocardiogram)やPCG(phonocardiogram)がある。
ROI設定部8は、超音波画像生成部6から生成された超音波画像の信号上にROIを設定する。ROIは、入力部15を用いて検者の手動で設定される。また、ROIは、例えば特開平11-155862号公報に示されるように、コンピュータプログラムに設定される場合もある。ROIがコンピュータに設定される場合はROIの自動設定と称する。
ノイズ除去部9は、画像に重畳されるスペックルノイズ、音響ノイズ、熱ノイズを除去する。ノイズ除去は、画像の輝度変化を滑らかにして、境界抽出部12の抽出精度を向上させる。
領域分割部10は、ROIの輝度分布に基づくしきい値を求める方法により内腔領域、内膜中膜領域、外膜領域の3領域、または、内腔側領域、外膜側領域の2領域の境界位置となる分割線を算出する。
境界補正部11は、領域分割部10で算出された分割線から境界抽出部12の境界の位置を補正する。
境界抽出部12は、分割線の位置に基づいて、内腔側境界と外膜側境界を抽出する。例えば、境界抽出部12は、内腔側分割線から内腔側に限定した範囲で内腔側境界を抽出すると共に、外膜側分割線から外膜側に限定した範囲で外膜側境界を抽出する。
IMT算出部13は、内膜側境界と外膜側境界の間の距離をIMT値として算出する。IMT算出部13は、さらにROI内のIMT値の平均値、最大値、最小値などの統計値を算出する。
出力部14は、境界や計測値を画面に表示したり、計測レポートに出力したりするもので、画像を表示するモニタ、プリンタなどである。モニタはCRT、液晶モニタ、プラズマモニタ、有機ELモニタなど画像や文字、グラフィックの各情報を表示する出力機器である。
入力部15は、IMT計測を行うなど超音波診断装置の計測条件の設定や、ROIの設定を手動操作するためのインターフェイスであり、キーボード、トラックボール、スイッチ、ダイヤル等の入力機器である。
制御部16は、システム全体を制御するとともに、生体信号抽出部7から出力される生体信号のタイミングを利用して、IMT計測の実行タイミングや出力部14の動作タイミングを制御する。例えば、CPU等を用いている。
つまり、超音波探触子3と、超音波信号送受信部4と、超音波信号生成部5と、超音波画像生成部6とは、被検者の頸動脈部の超音波画像を得る撮像部の機能を果たす。
また、少なくとも一つの閾値を設定して前記超音波画像を複数の領域に分割する分割線を算定する分割線算定部の機能を果たす。
また、生体信号抽出部7と、ROI設定部8と、ノイズ除去部9と、領域分割部10と、境界補正部11と、境界抽出部12と、IMT算出部13と、出力部14と、入力部15と、制御部16とは、内膜中膜複合体厚算出部の機能を果たすということができる。内膜中膜複合体厚算出部は、前記複数の領域を探索するための方向を特定し、特定された方向について内膜中膜領域を輝度に基づき探索し、前記探索により得た情報と前記頸動脈部の前記超音波画像における位置情報から曲線を複数形成し、前記複数形成された曲線間の距離に基づき内膜中膜複合体の厚さを算出する。本実施形態では、前記複数の領域を探索するための方向を2方向に特定する。
次に、本実施例の動作例について図面を用いて説明する。
図2は実施例1における超音波診断装置のIMT計測でのモニタの表示例である。
図2で説明される各符号は、201が画面、202が画面201の画像表示領域、203が画面201のIMT値計測値の表示領域、204が画面201の更新タイミング表示領域、205が画面201の位置補正のパラメータの表示領域、206が画像表示領域202の関心領域(ROI)、207がROI206中のIMT計測の境界の一端、208がROI206中のIMT計測の境界の他端、209が画面201のグラフ表示領域でIMT計測値の時間経過曲線、210が画面201のグラフ表示領域でECG曲線、211はあるECGの時相(例えばR波)を示す線(点線で表示)、212がIMT値の第1計測点、213がIMT値の第2計測点である。
図3は実施例1における超音波診断装置のIMT計測の動作の手順の例を説明するフローチャートである。
超音波診断装置のIMT計測の動作例は図3のフローチャートに示した処理の流れに従って説明される。
検者は超音波探触子3を被検者2の頸部に当てて頸動脈領域を含む超音波画像を得る。頸動脈領域を含む超音波画像は単に画像と表記する場合もある(ステップ101:頸動脈像撮像)。
検者は入力部14を用い計測タイミングを設定する。計測タイミングの設定例は、生体信号をECGとして、ECGのR波毎にIMT計測処理を行うようにしてもよい。また、別の計測タイミングの設定例は、IMT計測の時間間隔を設定してもよい。図2では、例えば毎秒30フレームで画像を取得し、時間間隔は1フレーム毎とする。計測タイミングの設定は、図2の表示画面201上の更新タイミング設定状態表示204に表示される(ステップ102:計測タイミングの設定)。
次に、制御部16は、超音波画像生成部6から出力される画像から、設定された計測タイミングでの画像を取得する。画像は図2の画像202として出力部14に表示される(ステップ103:画像表示)。
次に、検者はROI設定部8を用い頸動脈画像202上でIMT計測の対象位置にROIを設定する。ROIが設定される領域は、血管内腔のノイズが少なく、かつ、内腔と内膜中膜複合体と外膜の信号強度が血管長軸方向に途切れずに、かつ、短軸方向に2段のステップ状に変化して描出されている位置に設定することが望ましい。そこで、ROIは、検者が入力部15を用いて、頸動脈画像上で位置と大きさを可変にしながら設定する。ここでは、ROIの形状を長方形として説明するが、領域として定義できるならば、円形あるいはその他の形状であってもよい。また、ROIの自動設定方法を用いることも可能である(ステップ104:ROI設定)。
次に、制御部16は、ノイズ除去部9によってROI内の画像輝度値に重畳されているスペックルノイズ、音響的ノイズ、熱ノイズによる輝度値の変化を取り除く。ノイズ除去の具体例は、図4A、図4B、図4C、図4Dを用いて説明する。図4Aから図4Bへはプロファイルに現れるノイズの除去の一例を示す図である。図4A、図4Bは、ROIのある画素列の輝度値(Br)の深度方向(De)の変化をグラフにて例示した図である。図4Aでは、グラフの○印に示されるように、輝度値がスパイク状のノイズにより局所的な極大値を持ち、極大値が誤って境界として抽出されてしまう例を示している。そこで、図4Aのような、局所的な極大値のノイズを除去は、メジアンフィルタを適用する。ノイズ除去の結果は、図4Bに示すようにグラフの○印に示されるように、ROIのあるBrのDeに対する変化が滑らかな輝度変化となっている。
また、図4C、図4Dは画像上に現れるノイズの除去の一例を示す図である。図4Cは、内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3の3領域で分割する場合で、内膜中膜領域Reg2に音響ノイズが生じて途切れてしまい、内膜中膜領域Reg2が一つの領域として分割できない場合を例示する。また、図4Cのようなノイズによる領域の途切れは、音響ノイズに起因することが多い。音響ノイズの除去のためには、例えば移動平均フィルタやモルフォロジーのクロージング演算を採用する。移動平均フィルタは、画像データを時系列に得て、それぞれ時系列に得られた画像データを平滑化する演算である。モルフォロジーのクロージング演算は、画像中の物体にある,構造要素を補間し、当該構造要素よりも小さな穴や欠けを埋める作用を有する演算である。音響ノイズを除去した結果は、図4Dのような横方向の途切れを埋めた領域が得られる。
また、熱による細かなノイズ除去は、移動平均フィルタ等のぼかしフィルタをノイズ除去に適用する(ステップ105:ノイズ除去)。
次に、制御部16は、領域分割部10によってROI内の画像輝度値を用いて内膜中膜領域を分割し、分割線を抽出する。分割線の抽出について図5A、図5B、図5C、図5Dを用いて説明する。図5A、図5B、図5C、図5Dは、領域分割の例を示す図である。図5Aは、領域と分割線を説明する図である。一般に、頸動脈画像は、内腔領域Reg1が最も輝度値が低く、内膜中膜領域Reg2、外膜領域Reg3の順で輝度値が高くなる傾向にある。
そこで、内腔領域Reg1と内膜中膜領域Reg2と外膜領域Reg3の3つの領域を分割する方法を説明する。図5Bは、図5Aの長方形のROI内の輝度値Brの頻度Frをヒストグラムとして算出し、グラフに表したものである。ヒストグラムは、3つの領域が独立してあるので、各領域に対してそれぞれ極大値Pe1,Pe2,Pe3を有する。従って、Pe1,Pe2に挟まれる極小値の位置に第1のしきい値Th12を設け、Pe2,Pe3に挟まれる極小値の位置に第2のしきい値Th23を設ければよい。第1のしきい値Th12、第2のしきい値Th23によって内腔領域Reg1と外膜領域Reg3に分割して、内腔領域Reg1から内膜中膜領域Reg2への輝度値の変化位置が内腔側分割線L12となる。
また、内膜中膜領域Reg2から外膜領域Reg3への輝度値の変化位置が外膜側分割線L23となる。しきい値算定法としては、極小値を算出する方法や、パーセンタイル法や、判別分析法などが適用できる。パーセンタイル法とは、2値または多値化した結果画像の0部分と、1部分の画素数比がp:1-pとなるようにしきい値を設定する方法である。また、判別分析法は、2値または多値化した時、各領域のクラス間分散が最大になるように閾値を決定する方法である。領域分割の結果は、第1のしきい値Th12と第2のしきい値Th23で内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3に分割され、図5Cに示すとおりになる。しかしながら、図5Cでは熱ノイズの影響により、細かいノイズNが残る場合がある。ノイズNは内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3に比べて小さな面積である。
そこで、制御部16は、内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3の面積とノイズNの面積の大小関係を計算する。さらに制御部16は、面積が大きい内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3を残して、ノイズNを除去する。これにより、図5DのようにノイズNが除去される。そして、制御部16は、ノイズNが除去された内腔領域Reg1、内膜中膜領域Reg2、外膜領域Reg3からの内腔側分割線L12、外膜側分割線L23をそれぞれ算出する。内腔側分割線L12、外膜側分割線L23は、それぞれ内腔側分割線と外膜側分割線となる(ステップ106:内膜中膜領域分割)。
次に、制御部16は、境界補正部11によって、分割線の位置を図6A、図6B、図6Cに示す例により補正する。図6A、図6B、図6Cは、内腔側分割線L12、外膜側分割線L23の補正の例を説明する図である。ステップ106で算出された内腔側分割線L12、外膜側分割線L23は図6Aでは実線で表されている。内腔側分割線L12、外膜側分割線L23は、ノイズの影響によって依然急峻性を有しており、本来の分割位置に適合せずに誤差を有している場合がある。従って、急峻性は補正される必要がある。内腔側分割線L12、外膜側分割線L23は、画面上での座標値が境界補正部11によって演算され、演算された座標値を用いて、図6Aの破線で示される内腔側分割線の近似曲線L12ap、外膜側分割線の近似曲線L23apをそれぞれ作成する。内腔側分割線の近似曲線L12ap、外膜側分割線の近似曲線L23apの作成には、例えば、移動平均フィルタや多項式近似などの近似方法を用いることができる。そして、制御部16は、内腔側分割線L12と内腔側分割線の近似曲線L12apの間の距離を算出する。
さらに、制御部16は、算出された距離がより基準値より大きい場合、内腔側分割線L12の位置を内腔側分割線の近似曲線L12apの位置に置き換え、内腔側分割線の補正曲線L12adjとする。基準値は検者が入力部15を操作し、自在に制御部16が制御に利用可能なように図示しないメモリ等に記憶される。図6Bのように、内腔側分割線L12と内腔側分割線の近似曲線L12apが離れている部分は、内腔側分割線の近似曲線L12ap上の太線部分の位置に置き換え、内腔側分割線の補正曲線L12adjとする。これにより、内腔側分割線L12は極端な急峻性を除去して、内腔側分割線L12の位置を補正することが可能となる。同様に、外膜側分割線の補正曲線L23adjについても外膜側分割線の近似曲線L23apを用いて外膜側分割線L23の位置を補正することが可能となる(ステップ107:分割線の補正)。
次に、制御部16は、境界抽出部12によって内膜中膜領域Reg2の内腔側境界と外膜側境界を抽出する。図7A、図7Bは、境界位置の抽出方法を説明する図である。図7Aの実線は、ステップ107で抽出された内腔側分割線の補正曲線L12adj、外膜側分割線の補正曲線L23adjである。内腔側分割線の補正曲線L12adj、外膜側分割線の補正曲線L23adjの位置を基準にして、内腔側境界については、矢印のように内腔側分割線から内腔側に範囲を限定して境界抽出を行う。また、外膜側境界については、矢印のように外膜側分割線から外膜側に範囲を限定して境界抽出を行う。図7Bは、図7Aのある列の断面における輝度変化を示したものである。輝度は、ステップ状に変化しており、ステップ状に変化する両側で輝度が大きく変化する位置(実線)に、それぞれ内腔側分割位置P2と外膜側分割位置P3が設定されている。内腔側分割位置P2と外膜側分割位置P3の位置からそれぞれ内腔側と外膜側に境界抽出していき、点線で示した内腔側境界位置P1と外膜側境界位置P4が抽出される。境界抽出方法としては、微分など輝度の変化量が最大となる位置を抽出する方法を用いることができる。境界抽出方法による処理はROIの全列に適用され、境界位置を抽出する。これらの境界位置の集合を内腔側境界および外膜側境界とする(ステップ108:内膜中膜境界抽出)。
次に、制御部16は、境界補正部11によって、内腔側境界と外膜側境界の位置を補正する。補正方法は、ステップ107の分割線の補正方法と同様である。図8A,図8B、図8Cは、境界の補正方法を説明する図である。図8Aの実線は、ステップ108で抽出された境界である。この境界は、ノイズの位置に誤って境界を抽出した場合に急峻性を有する場合がある。従って、急峻性を取り除く処理が必要である。
図8A、図8Bは、図6A、図6Bの分割線の処理を境界に適用した例である。そして、図8Bの太線と実線の境界部分のような不連続性を除去するために、移動平均フィルタ等の平滑化処理を行い、図8Cのような滑らかな境界L12pr、L23prを得る(ステップ109:境界の補正)。
次に、制御部16は、IMT算出部13によって境界L12pr、L23pr 間の距離に基づきIMT値を算出する。IMT値は、内腔側境界と外膜側境界の間の距離として算出される。算出値としては、境界全体のIMTの平均値、最大値、最小値や、ROIの左端、中央、右端および、ROIの左端、中央、右端の平均値が得られる(ステップ110:IMT値算出)。
次に、制御部16は、出力部14によって境界やIMT計測値を表示画面201上に表示する。内腔側境界207と外膜側境界208は、頸動脈画像202内のROI206に重畳して表示される。ROIの左端、中央、右端を示す破線がROI206内に表示され、検者が入力機器を用いて左右に移動させられるようにしておく。IMT値の最大値と最小値については、それらの値をとる位置をマークして表示する。例えば、ROI206に重畳して、最大値をとる位置212、最小値をとる位置213にマークを表示する。計測値は表形式203で表示する。IMT値は、時々刻々変化するので、グラフ化209して表示する。さらに、生体信号と同期させるので、IMTと生体信号のグラフ210を並列に表示し、現在計測値している時相にバー211を表示する(ステップ111:計測結果表示)。
次に、検者は、入力部15を用いて境界位置の微調整を行う。抽出された境界は、ノイズに対する補正処理が行われるものの十分でない場合が考えられる。このとき、検者は、ステップ111で表示された境界を観察しながら、境界位置の微調整を手動的または半自動的に調整する。手動的に調整する場合には、入力部15を用いて調整する。例えば、境界の一部をドラッグアンドロップするようにして微調整する。半自動的に調整する場合には、例えば、境界の座標、領域分割時のしきい値、境界補正時のしきい値、境界抽出範囲などの境界に係る処理パラメータを変更する方式とする(ステップ112:境界の微調整)。
次に、制御部16は、計測終了かを判断する(ステップ113)。計測を続ける場合には、ステップ102で設定された計測タイミングに従い、そのタイミングまで待った後、ステップ103からステップ112までを繰り返し実行する(ステップ113:計測終了の判定)。
本実施例によれば、IMT計測の境界抽出におけるノイズの影響を抑制することができるという効果を奏する。
また、本実施例の特有の効果は、最初に領域分割によって分割線を抽出するので、血管長軸方向に途切れずに連結した境界を抽出できる。さらに、分割位置を基準にして境界抽出範囲を限定することができるので、境界から遠い位置のノイズに影響されずに抽出することが可能である。ノイズの影響を受けても、境界補正処理により補正することが可能である。また、境界処理パラメータを変更する半自動境界調整により、検者の好みに合った境界に調整することが容易である。
実施例2は、領域分割において3値化ではなく2値化で行うものである。実施例1の装置構成の図1と、図3で説明したフローチャートのステップ106乃至ステップ108以外の手順は、実施例1と同じである。実施例2では、ステップ106乃至ステップ108についてのみ説明する。
制御部16は、領域分割部10によってROI内の画像輝度値を用いて内腔側領域と外膜側領域の2領域に分割する。分割線の抽出について図9A、図9B、図9Cを用いて説明する。図9A、図9B、図9Cは、実施例2の領域分割の例を示す図である。図9Aは、領域と分割線を説明する図である。図9Aは、図5Aの長方形のROI内の輝度値Brの頻度Frをヒストグラムとして算出し、グラフに表したものである。一般に、頸動脈画像は、内腔側領域Reg1が最も輝度値が低く、外膜側領域Reg3の順で輝度値が高くなる傾向にある。そこで、内腔領域Reg1と外膜領域Reg3の2つの領域を分割する方法を説明する。ヒストグラムは、3つの領域が独立してあるので、各領域に対してそれぞれ極大値Pe1,Pe2,Pe3を有する。内腔側領域Reg1は、内腔と内膜中膜領域の一部を含む。
また、外膜側領域Reg3は、内膜中膜領域の一部と外膜領域を含む。2領域でそれぞれ輝度が異なるので輝度値にしきい値Th13を設けることにより2分割する。しきい値Th13は極大値Pe2の頂点の位置に設ければよい。しきい値Th13によって2値化すれば、2領域に分割することが可能である。しきい値決定法としては、図中の中央部分の極大値を抽出する方法や、パーセンタイル法や、判別分析法など既存の方法を適用できる。しきい値Th13で2値化すると、図9Bに示されるような領域分割結果が得られる。しかしながら、ノイズの影響により、細かなノイズ領域も分割されてしまう場合がある。これらのノイズ領域は内腔側領域Reg1、外膜側領域Reg3に比べて小さな領域であるので、面積が大きい内腔側領域Reg1、外膜側領域Reg3を残して、小さな領域を除去する。これにより、図9Cのような内腔側領域Reg1、外膜側領域Reg3に分割される。そして、内腔側領域Reg1、外膜側領域Reg3の分割線を抽出する(ステップ106:内膜中膜領域分割)。
制御部16は、境界補正部11によって、分割線の位置を図10A、図10Bに示す例により補正する。図10A、図10Bは、実施例2の分割線L13の補正の例を説明する図である。ステップ106で算出された分割線L13は図10Aでは実線で表されている。分割線L13は、ノイズの影響によって依然急峻性を有しており、本来の分割位置に適合せずに誤差を有している場合がある。分割線L13は、画面上での座標値が境界補正部11によって演算され、演算された座標値を用いて、図10Aの破線で示される分割線の近似曲線L13apを作成する。分割線の近似曲線L13apの作成には、例えば、移動平均フィルタや多項式近似などの近似方法を用いることができる。そして、分割線L13と内腔側分割線の近似曲線L13apの間の距離を算出し、算出された距離がより基準値より大きい場合、分割線L13の位置を分割線の近似曲線L13apの位置に置き換え、分割線の補正曲線L13adjとする。基準値は検者が入力部15を操作し、自在に制御部16が制御に利用可能なように図示しないメモリ等に記憶される。図10Bのように、分割線L13と分割線の近似曲線L13apが離れている部分は、分割線の近似曲線L13ap上の太線部分の位置に置き換え、分割線の補正曲線L13adjとする。これにより、分割線L13は極端な急峻性を除去して、分割線L13の位置を補正することが可能となる(ステップ107:分割線の補正)。
次に、制御部16は、境界抽出部12によって内膜中膜領域の内腔側境界B5と外膜側境界B6を抽出する。図11A、図11Bは、実施例2の境界位置の抽出方法を説明する図である。図11Aの実線は、ステップ107で抽出された分割線L13adjである。この分割線L13adjの位置を基準にして、内腔側境界B5については、矢印Cのように分割線から内腔側に範囲を限定して境界抽出を行う。また、外膜側境界B6については、矢印Dのように分割線から外膜側に範囲を限定して境界抽出を行う。

図11Bは、図11Aの任意の一列の断面における輝度変化を示したものである。輝度は、2段のステップ状に変化しており、ステップの中央に分割位置が決定される。この位置からそれぞれ内腔側と外膜側に境界抽出していき、点線で示した内腔側境界位置P5と外膜側境界位置P6を抽出する(ステップ108:内膜中膜境界抽出)。
本実施例によれば、IMT計測の境界抽出におけるノイズの影響を抑制することができるという効果を奏する。
また、本実施例の特有の効果は、実施例1ではしきい値が2つ必要であるが、本実施例では1つでよいので、領域分割と分割線補正の演算量を少なくできる。
実施例3は、画像(実施例1では3値化画像、実施例2では2値化画像)をフリーズして閾値を再設定可能としたものである。また、実施例3は、ステップ108の別の変形例である。図12は、実施例3の境界抽出を説明する図である。
図12の太線は境界抽出を新たに開始する位置を実施例1のP2からP7へ、実施例1のP3からP8へそれぞれ変更している。変更する量は、その都度境界微調整ボタン205を用いて手動で調整する。例えば、変更量をマイナス方向にすれば、図12のように中膜領域に向かって開始位置を設定し、プラス方向にすれば、外膜側境界の場合には内腔側へ、内腔側境界の場合には外膜側へ開始位置を設定する。図12では、境界抽出開始位置をマイナス方向に変更し、中膜領域の途中から内腔または外膜に向かって境界抽出しようとする場合である。また、外膜側境界、内腔側境界で個別に設定できるようにしてもよい。変更量の設定可能範囲は、外膜側と内腔側の開始位置が重ならない範囲となっている。
本実施例によれば、IMT計測の境界抽出におけるノイズの影響を抑制することができるという効果を奏する。
また、本実施例の特有の効果は、境界位置を避けて境界抽出開始位置を設定するので抽出ずれを起こすことなく、より正確な位置での境界抽出可能になる。
実施例1乃至3では、ROIを長方形として、境界抽出の方向を長方形の左右両端(短辺)に平行な方向としていた。本実施例では、頸動脈の走行方向やプローブの方向に応じて境界抽出の方向を決定する方法である。実施例1と処理内容が異なるステップ104とステップ108について説明する。
検者はROI設定部8を用い頸動脈画像202上でIMT計測の対象位置にROIを設定する。実施例1とはROIの形状を変形させる点が異なる。検者は入力部15によってROIの形状を調整する。そしてステップ108で、ROIの形状、または、頸動脈の走行方向に応じた抽出方向を設定する。
図13Aは、長方形のROIが超音波の入射方向から傾きをもっている場合の例を示す図で、抽出方向を入射方向に平行にした場合である。長方形の辺の向きにかかわらず、入射方向に対して平行に抽出方向を設定する。この場合、格子状に配置されている輝度値を、縦方向にそのまま取得すればよいので、簡便で高速な抽出処理が可能になる。
図13Bは平行四辺形状にROIを設定した場合の例を示す図であり、ROIの左右両端の辺を超音波の入射方向に平行方向になるように設定したものである。この場合、ROIの左右両端の辺が入射方向に平行であるので、ROI全体にわたって十分な長さの抽出範囲を設定できる。
図13CはROIの左右両端が超音波の入射方向に平行で上下端が頸動脈の走行方向に沿うように設定した場合の例を示す図である。この場合、上下両端が頸動脈の走行方向に沿っているので、ROI全体にわたって十分な長さの計測範囲を設定することができる。
図14Aは頸動脈の走行方向に垂直に抽出方向を設定した場合の例を示す図である。すなわち、図14Aで示される内腔側または外膜側分割線の垂直方向をとり、これを抽出方向とするものである。この場合、境界抽出する方向と血管壁が垂直となるので、他の実施例で斜め方向に境界抽出するのに比べて、境界抽出計算が精度よく働くことになる。
図14BはROIの左右両端を頸動脈の走行方向に垂直に合わせて、ROIの上下両端を頸動脈の走行方向に沿うように設定した場合の例を示す図である。この場合、ROIの左右両端が抽出方向に平行であり、かつ、上下両端が頸動脈の走行方向に沿っているので、ROI全体において十分な計測範囲を設定でき、かつ、境界抽出を精度よく計算させることができる。
なお、本発明は、超音波信号生成部5から出力される超音波信号にも適用可能であるし、頸動脈後壁に上下対称となる頸動脈前壁を対象にしても抽出方向を逆転するだけで適用できる。
本実施例によれば、IMT計測の境界抽出におけるノイズの影響を抑制することができるという効果を奏する。
また、本実施例の特有の効果は、頸動脈の走行方向やプローブの方向に応じて、適切で十分な形状のROIを設定するので、より正確な位置での境界抽出可能になる。
また、図面を参照して、本発明に係る超音波診断装置等の好適ないくつかの実施例について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1 超音波診断装置、2 被検者、3 超音波探触子、4 超音波信号送受信部、5 超音波信号生成部、6 超音波画像生成部、7 生体信号抽出部、8 ROI設定部、9 ノイズ除去部、10 領域分割部、11 境界補正部、12 境界抽出部、13 IMT算出部、14 出力部、15 入力部、16 制御部

Claims (13)

  1. 被検者の頸動脈部の超音波画像を得る撮像部と、
    前記撮像部によって得られた超音波画像に2次元的な関心領域を設定する関心領域設定部と、
    前記関心領域内の輝度値の頻度のヒストグラムに基づいて得られた第1の閾値と第2の閾値によって前記超音波画像の関心領域内に配置する少なくとも2つの分割線を計算する分割線算定部と、
    内腔側に配置された分割線から内腔側方向に境界を抽出して内膜側境界とすると共に、外膜側に配置された分割線から外膜側に境界を抽出して外膜側境界とする境界抽出部と、
    前記分割線に基づいて得られた内膜側境界と外膜側境界の距離に基づいて、内膜中膜複合体の厚さを算出する内膜中膜複合体厚算出部と、を備えたことを特徴とする超音波診断装置。
  2. 前記被検者の生体信号を測定する生体信号測定部をさらに備え、
    前記内膜中膜複合体厚算出部は、前記生体信号と前記距離を用いて前記内膜中膜複合体の厚さを算出する請求項1に記載の超音波診断装置。
  3. 前記分割線算定部は、第1の閾値と第2の閾値を用いて前記超音波画像を血管内腔領域と内膜中膜複合体領域と外膜領域に分割する請求項1に記載の超音波診断装置。
  4. 前記分割線算定部は、第1の閾値を用いて前記超音波画像を血管内腔側領域と外膜側領域に分割する請求項1に記載の超音波診断装置。
  5. 前記分割線算定部は、各領域での面積に基づき分割線を算定する請求項1に記載の超音波診断装置。
  6. 前記分割線算定部は、各領域の面積を最大とするように分割線を算定する請求項5に記載の超音波診断装置。
  7. 前記分割線算定部は、前記面積が最大でない領域を削除する請求項5に記載の超音波診断装置。
  8. 前記境界抽出部は、内腔側境界及び外腔側境界を抽出する方向を超音波の照射の垂直方向又は頸動脈血管の走行方向の少なくとも一方向である請求項1に記載の超音波診断装置。
  9. 前記分割線または境界の少なくとも一方の位置座標を算出し、前記位置座標から近似曲線を生成し、前記近似曲線に基づき分割線または境界の少なくとも一方の位置を補正する位置補正部をさらに備えた請求項1に記載の超音波診断装置。
  10. 前記境界抽出部は、各領域内の輝度の変化量が、内腔側から外膜側に向かって正に最大となる位置を境界として抽出する請求項1に記載の超音波診断装置。
  11. 前記境界抽出部は、各領域内の輝度の変化量が、超音波の照射方向又は頸動脈血管の走行の垂直方向の少なくとも一方向に沿って正に最大となる位置を境界として抽出する請求項1に記載の超音波診断装置。
  12. 前記位置補正部は、前記超音波画像がフリーズ状態としたときに、前記境界の位置を調整し得るユーザインターフェース部をさらに備えた請求項9に記載の超音波診断装置。
  13. 被検者の頸動脈部の超音波画像を得るステップと、
    前記超音波画像に2次元的な関心領域を設定するステップと、
    前記関心領域内の輝度値の頻度のヒストグラムに基づいて得られた第1の閾値と第2の閾値によって前記超音波画像の関心領域内に配置する分割線を計算するステップと、
    内腔側に配置された分割線から内腔側方向に境界を抽出して内膜側境界とすると共に、外膜側に配置された分割線から外膜側方向に境界を抽出して外膜側境界とするステップと、前記分割線に基づいて得られた内膜側境界と外膜側境界の距離に基づいて、内膜中膜複合体の厚さを算出するステップと、を備えたことを特徴とする超音波診断装置の内膜中膜複合体厚計測方法。
JP2011518509A 2009-06-10 2010-06-04 超音波診断装置とその内膜中膜複合体厚計測方法 Active JP5713896B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011518509A JP5713896B2 (ja) 2009-06-10 2010-06-04 超音波診断装置とその内膜中膜複合体厚計測方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009139319 2009-06-10
JP2009139319 2009-06-10
PCT/JP2010/059503 WO2010143588A1 (ja) 2009-06-10 2010-06-04 超音波診断装置とその内膜中膜複合体厚計測方法
JP2011518509A JP5713896B2 (ja) 2009-06-10 2010-06-04 超音波診断装置とその内膜中膜複合体厚計測方法

Publications (2)

Publication Number Publication Date
JPWO2010143588A1 JPWO2010143588A1 (ja) 2012-11-22
JP5713896B2 true JP5713896B2 (ja) 2015-05-07

Family

ID=43308843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011518509A Active JP5713896B2 (ja) 2009-06-10 2010-06-04 超音波診断装置とその内膜中膜複合体厚計測方法

Country Status (4)

Country Link
US (1) US20120083698A1 (ja)
EP (1) EP2441392A4 (ja)
JP (1) JP5713896B2 (ja)
WO (1) WO2010143588A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10660603B2 (en) 2016-04-13 2020-05-26 Hitachi, Ltd. Ultrasound diagnostic device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163326B (zh) * 2010-12-22 2013-03-06 武汉沃生科学技术研究中心有限公司 血管超声图像中颈动脉血管内中膜的计算机自动分割和厚度均匀度分析方法
JP5984243B2 (ja) * 2012-01-16 2016-09-06 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置及びプログラム
JP5292505B1 (ja) * 2012-11-20 2013-09-18 株式会社東芝 行動推定装置、閾値算出装置、行動推定方法、行動推定プログラム
CN105050504B (zh) * 2013-03-29 2018-01-26 株式会社日立制作所 医疗诊断装置及其测量方法
JP5844325B2 (ja) * 2013-09-13 2016-01-13 富士フイルム株式会社 超音波診断装置
KR102244069B1 (ko) * 2014-02-26 2021-04-23 삼성메디슨 주식회사 점액낭의 위치 정보를 표시하는 방법 및 이를 위한 초음파 장치
AU2016404824B2 (en) * 2016-04-25 2019-08-15 Telefield Medical Imaging Limited Method and device for measuring spinal column curvature
CN109688939A (zh) * 2016-09-12 2019-04-26 富士胶片株式会社 超声波诊断系统及超声波诊断系统的控制方法
US10748290B2 (en) 2018-10-31 2020-08-18 Fei Company Smart metrology on microscope images
CN114224388B (zh) * 2021-12-31 2023-07-28 山东大学 基于多频率超声的颈动脉三维重建方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495852A (en) * 1995-01-27 1996-03-05 Boston Heart Foundation Method and apparatus for estimating diameter of an artery using B-mode ultrasonic images
JPH11318896A (ja) * 1998-05-18 1999-11-24 Masao Ito 血管膜厚測定装置及び動脈硬化診断装置
JP2002269539A (ja) * 2000-12-01 2002-09-20 Shigehiro Masui 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム
US20040116812A1 (en) * 2002-12-13 2004-06-17 Selzer Robert H. System and method for improving ultrasound image acquisition and replication for repeatable measurements of vascular structures
JP2007319255A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 超音波診断装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4116122B2 (ja) 1997-11-28 2008-07-09 株式会社東芝 超音波診断装置及び超音波画像処理装置
US6835177B2 (en) * 2002-11-06 2004-12-28 Sonosite, Inc. Ultrasonic blood vessel measurement apparatus and method
JP5230106B2 (ja) * 2007-01-15 2013-07-10 富士フイルム株式会社 超音波診断装置、imt計測方法及びimt計測プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495852A (en) * 1995-01-27 1996-03-05 Boston Heart Foundation Method and apparatus for estimating diameter of an artery using B-mode ultrasonic images
JPH11318896A (ja) * 1998-05-18 1999-11-24 Masao Ito 血管膜厚測定装置及び動脈硬化診断装置
JP2002269539A (ja) * 2000-12-01 2002-09-20 Shigehiro Masui 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム
US20040116812A1 (en) * 2002-12-13 2004-06-17 Selzer Robert H. System and method for improving ultrasound image acquisition and replication for repeatable measurements of vascular structures
JP2007319255A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 超音波診断装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10660603B2 (en) 2016-04-13 2020-05-26 Hitachi, Ltd. Ultrasound diagnostic device

Also Published As

Publication number Publication date
WO2010143588A1 (ja) 2010-12-16
US20120083698A1 (en) 2012-04-05
EP2441392A1 (en) 2012-04-18
JPWO2010143588A1 (ja) 2012-11-22
EP2441392A4 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
JP5713896B2 (ja) 超音波診断装置とその内膜中膜複合体厚計測方法
US11786210B2 (en) Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
US9119559B2 (en) Method and system of generating a 3D visualization from 2D images
US20120065499A1 (en) Medical image diagnosis device and region-of-interest setting method therefore
JP6390193B2 (ja) 超音波診断装置、超音波診断装置の制御方法、および、プログラム
US11450003B2 (en) Medical imaging apparatus, image processing apparatus, and image processing method
JP5990834B2 (ja) 診断画像生成装置および診断画像生成方法
JP7078487B2 (ja) 超音波診断装置及び超音波画像処理方法
JP2007330764A (ja) 超音波診断装置及び超音波画像生成方法
WO2015142808A1 (en) System and method for measuring artery thickness using ultrasound imaging
JP6866080B2 (ja) 医用画像処理装置及び医用画像処理プログラム
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
JP5175781B2 (ja) 前眼部3次元画像処理装置
JP6486493B2 (ja) 超音波診断装置、及び方法
JP2006068373A (ja) 乳頭検出装置およびそのプログラム
JP4537300B2 (ja) 超音波診断装置
KR101117913B1 (ko) 볼륨 데이터를 렌더링하는 초음파 시스템 및 방법
JP6204544B2 (ja) 診断画像生成装置
JP6150922B1 (ja) 超音波診断装置
JP6731275B2 (ja) 超音波診断装置
US20220384015A1 (en) Ultrasound diagnostic apparatus and image processing method
JPH10188033A (ja) スライス画像のスライス間補間処理方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150310

R150 Certificate of patent or registration of utility model

Ref document number: 5713896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250