JP4596759B2 - 画像診断装置、及び画像診断装置の作動方法 - Google Patents

画像診断装置、及び画像診断装置の作動方法 Download PDF

Info

Publication number
JP4596759B2
JP4596759B2 JP2003311291A JP2003311291A JP4596759B2 JP 4596759 B2 JP4596759 B2 JP 4596759B2 JP 2003311291 A JP2003311291 A JP 2003311291A JP 2003311291 A JP2003311291 A JP 2003311291A JP 4596759 B2 JP4596759 B2 JP 4596759B2
Authority
JP
Japan
Prior art keywords
image
movement
designated
designated point
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003311291A
Other languages
English (en)
Other versions
JP2004121834A5 (ja
JP2004121834A (ja
Inventor
博隆 馬場
修 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2003311291A priority Critical patent/JP4596759B2/ja
Priority to PCT/JP2003/011701 priority patent/WO2004024003A1/ja
Priority to EP03795425.2A priority patent/EP1543773B1/en
Priority to CNB038213168A priority patent/CN100393283C/zh
Priority to US10/527,744 priority patent/US8167802B2/en
Publication of JP2004121834A publication Critical patent/JP2004121834A/ja
Publication of JP2004121834A5 publication Critical patent/JP2004121834A5/ja
Application granted granted Critical
Publication of JP4596759B2 publication Critical patent/JP4596759B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は、超音波診断画像、磁気共鳴画像又はX線CT画像に適用される生体組織の動きの追跡方法、その追跡方法を用いた画像診断装置及びそのプログラムの技術に属する。
超音波診断装置、磁気共鳴イメージング(MRI)装置、及びX線CT装置等の画像診断装置は、いずれも被検体の検査部位に係る断層像などをモニタに表示して診断に供するものである。例えば、心臓や血管等の循環器系及びその他の動きのある臓器の場合、それらを構成する生体組織(以下、組織と総称する)の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。
特に、心臓などの機能を定量的に評価できれば、診断の精度が一層向上することが期待されている。例えば、従来、超音波診断装置により得られた画像から心壁の輪郭を抽出し、その心壁輪郭に基づいて心室等の面積、体積、それらの変化率等から心機能(心臓ポンプ機能)を評価したり、局所の壁運動を評価して診断することが試みられている(特許文献1)。また、ドプラ信号等の計測信号に基づいて組織の変位を計測して、例えば局所的収縮又は弛緩の分布を撮像し、これに基づいて心室の運動が活性化している場所を正確に決定したり、あるいは収縮期の心臓壁の厚さを計測する等、定量的に測定する方法が提案されている(特許文献2)。さらに、時々刻々変化する心房や心室の輪郭を抽出して、その輪郭を画像に重ねて表示するとともに、これに基づいて心室等の容量を求める技術が提案されている(特許文献3)。
特開平9−13145号公報 特表2001−518342号公報 米国特許第5322067号公報(USP5,322,067)
しかしながら、上記の従来技術は、いずれも心臓の全体的な機能を評価するための手法にとどまり、心筋などの各組織の動きである組織動態を計測することについては配慮されていない。特に、心壁の輪郭を画像処理により抽出し、その輪郭に基づいて心壁の厚みなどを計測する従来技術は、必ずしも十分な精度を得るまでには至っていない。
一般に、例えば、血栓等によって心筋に血が通わなくなると、心筋の動きが低下する等の因果関係があるといわれている。したがって、心室を構成する心筋の動きや厚みの変化など、心臓の各組織の動態を定量的に計測できれば、治療法などを決定する際の有効な診断情報を提供できる。例えば、虚血の程度がわかれば、冠動脈再生術などの心臓の治療法選択及び治療部位を特定する指標として有効である。また、弁輪部の動態を定量的に計測できれば、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つとして研究がなされている。
このような組織動態を定量的に計測したい対象は、心臓に限らず、血管についても要望されている。つまり、頚動脈などの大血管壁の脈波を定量的に計測できれば、動脈硬化の診断に有効であるとされている。
そこで、本発明は、断層像を用いて組織の動きを定量的に計測することを第1の課題とする。
また、本発明は、組織の動きに関する種々の情報を定量的に計測することを第2の課題とする。
また、本発明は、組織の動きの軌跡を画像上に表示することを第3の課題とする。
本発明は、次に述べる手段により、上記課題を解決するものである。
本発明の画像診断装置は、被検体の断層像を撮像する撮像手段と、前記撮像手段により得られる動画像を表示する表示部とを備えた画像診断装置において、前記断層像の追跡したい部位をマークにより指定する操作部と、前記マークで指定した部位に対応する前記断層像を抽出し、前記断層像の動きを前記マークにより追跡する追跡手段を備えることを特徴とする。この場合、撮像手段を別に設ける構成としてもよい。また、追跡手段は、マークにより指定された画像部位の動きを追跡して、マークの表示位置を移動させる表示制御手段を備えてもよい。
また、本発明の生体組織の動き追跡方法は、被検体の断層像を撮影してなる動画像の一のフレーム画像を表示する第1ステップと、該表示された前記一のフレーム画像において動きを追跡したい生体組織の指定部位に、目印を重畳表示させる指令を入力して前記指定部位を設定する第2ステップと、前記指定部位を含むサイズの切出し画像を前記一のフレーム画像に設定する第3ステップと、前記動画像の他のフレーム画像を検索して前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する第4ステップと、該一致度が最も高い局所画像と前記切出し画像の座標差に基づいて前記指定部位の移動先座標を求める第5ステップとを含んでなることを特徴とする。
すなわち、動きを追跡したい生体組織の指定部位を動画像の一のフレーム画像(静止画像)上に、指定点などの目印を重ねて表示させることにより指定する。そして、その目印に対応した指定部位を含む領域を、予め定めたサイズの切出し画像として自動で設定するか、又はその静止画像上において切出し画像の領域枠を入力設定する。次に、設定された切出し画像が続くフレーム画像のどこに移動したかを、切出し画像と画像の一致度が最も高い同一サイズの局所画像を検索する、いわゆるブロックマッチング法等の画像相関処理によって追跡する。これによって、画像の一致度が最も高い局所画像の位置を、切出し画像の移動先として追跡できる。そして、移動前後の切出し画像の座標差が、指定部位の移動前後の座標差に相当する。
したがって、移動前後の切出し画像の座標差に基づいて、指定部位の移動方向及び移動量を計測することができるから、指定部位の動きを定量的に計測することができる。例えば、指定部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めることができる。さらに、これらの計測情報の変化を線図で表示部に表示させることにより、観者は、指定部位の動きを容易に観察することができる。
このような追跡処理を、検索により抽出された画像の一致度が最も高い局所画像局所画像を新たな切出し画像として、動画像のさらに他のフレーム画像に対して画像相関法を適用することにより、指定部位の移動先座標を順次求めることができる。そして、指定部位の移動先座標を記憶しておき、その移動先の座標位置に目印を動画像に重ねて表示することにより、指定部位の移動軌跡を表示することができる。これにより、指定部位の動きを観察することが容易になる。
例えば、生体組織に指定部位を2ヶ所設定すれば、例えば心筋を挟んで少なくとも2つの指定部位を設定すれば、2つの指定部位の距離と、その距離の変化と、その距離の変化速度と、その距離の変化率、つまり心筋の厚み、厚み変化、厚み変化速度等を定量的に計測できる。この場合において、それらの心臓に係る計測値の線図と心電波形とを時間軸を関連させて表示することにより、一層診断の精度を向上できる。つまり、心筋動態の追跡や心筋厚の変化を定量的に追跡できることから、虚血性心疾患において虚血部位を特定することが可能になる。また、心筋動態を定量化できるから、虚血の程度がわかり、冠動脈再生術などの治療法選択および治療部位特定の指標にできる。さらに、弁輪部の動きを追跡できれば、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つ可能性がある。
また、指定部位を心筋に沿って複数設定し、各指定部位の移動方向を求め、心筋の移動方向の基準点を重心とし、該重心に向かう方向とその反対方向の色を代えて、その時間変化を画像表示することができる。これによれば、心臓のポンプ機能を画像表示により容易に把握することができる。この場合、移動速度に応じて輝度変調をかけることができる。さらに、指定部位を心室の内壁に沿って複数指定し、複数の指定部位を結ぶ直線又は該直線の近似曲線に基づいて心室の容積及び該容積の変化を求めることができる。これによれば、心室の容積変化などの動態情報(動きの情報)を定量的に、かつ精度よく計測することができる。
また、本発明は、心臓の各部位の動きを計測することに限らず、頚動脈などの大血管壁の脈波計測に適用できる。例えば、血管壁の長手方向に複数の指定部位を設定し、それらの指定部位の移動量を定量的に計測して比較することにより、動脈硬化の程度がわかる。
ここで、画像の追跡処理の精度をさらに向上させるため、動画像が超音波撮影法により撮影したものである場合は、動画像に対応するRF信号を記憶しておいて、RF信号による補正を加えることができる。この場合、上述した一致度が最も高い局所画像と切出し画像の座標差に基づいて指定部位の移動先座標を求め、この移動先座標の周辺に対応する複数の前記RF信号を抽出し、該抽出した複数のRF信号の相互相関をとり、該相互相関の最大値の位置に応じて前記移動先座標を補正する。
さらに、切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する処理時間を短縮するため、その検索範囲を切出し画像よりも設定画素数(例えば、上下左右に例えば3~10画素)大きい領域に設定することが好ましい。すなわち、生体組織の動きの範囲は、一般に、狭い領域に限られるからである。
一方、上述の場合において、切出し画像のサイズは、指定部位の生体組織とは異なる生体組織を含む大きさの領域に設定することが好ましい。切出し画像のサイズが小さすぎると一致する局所画像が多く出現し、真の移動先を特定できない場合が生じたり、逆に大きすぎると動画像の画像領域からはみ出して計測できない場合が生ずるからである。
本発明の画像診断装置は、被検体の断層像を撮影してなる動画像が格納される記憶部と、前記動画像を表示可能な表示部と、指令を入力する操作部と、前記表示部に表示される前記動画像の生体組織の動きを追跡する自動追跡部と、前記記憶部と前記表示部と前記操作部と前記自動追跡部とを接続してなる信号伝送路とを有してなり、前記操作部は、前記記憶部に格納された前記動画像の一のフレーム画像を前記表示部に表示させる指令と、該指令に応じて表示された前記一のフレーム画像において動きを追跡したい生体組織の指定部位に目印を重畳表示させる指令とを入力する手段を備え、前記自動追跡部は、前記表示部に表示された前記一のフレーム画像の前記目印の位置に対応する前記指定部位を含むサイズの切出し画像を設定する切出し画像設定手段と、前記記憶部から前記動画像の他のフレーム画像を読み出して、前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段と、該一致度が最も高い局所画像と前記切出し画像の座標差を求める移動量演算手段と、該座標差に基づいて前記指定部位の移動先座標を求める移動追跡手段とを備えて構成することができる。
また、本発明の生体組織の動き追跡プログラムは、操作卓からの指令に応じて記憶部から被検体の断層像を撮影してなる動画像の一のフレーム画像を読み出して表示部に表示させる第1ステップと、該表示された前記一のフレーム画像において動きを追跡したい生体組織の指定部位に目印を重畳表示させる指令入力を要求する第2ステップと、該要求に応じて操作卓から入力設定された前記目印に対応する生体組織の指定部位の座標を求める第3ステップと、前記指定部位を含むサイズの切出し画像を前記一のフレーム画像に設定する第4ステップと、前記動画像の他のフレーム画像を検索して前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する第5ステップと、該一致度が最も高い局所画像と前記切出し画像の座標差に基づいて前記指定部位の移動先座標を求める第6ステップとを含んでなることを特徴とする。
本発明によれば、断層像を用いて組織の動きを定量的に計測することができる。また、他の発明によれば、組織の動きに関する種々の情報を定量的に計測することができる。さらに他の発明によれば、組織の動きの軌跡を画像上に表示することができる。
(実施の形態1)
本発明の生体組織の動き追跡方法を適用してなる一実施の形態の画像診断装置について、図1〜図4を用いて説明する。図1は本実施形態の生体組織の動き追跡方法の手順を示し、図2は図1の生体組織の動き追跡方法を適用してなる画像診断装置のブロック構成図である。図2に示すように、画像診断装置は、被検体の断層像を撮影してなる動画像が格納される画像記憶部1と、動画像を表示可能な表示部2と、指令を入力する操作卓3と、表示部2に表示される動画像の生体組織の動きを追跡する自動追跡部4と、自動追跡部4の追跡結果に基づいて各種の計測情報を算出する動態情報算出部5と、これらを接続してなる信号伝送路6を含んで構成されている。画像記憶部1には、破線で示した診断画像撮像装置7から被検体の断層像を撮影してなる動画像がオンライン又はオフラインで格納されるようになっている。診断画像撮像装置7としては、超音波診断装置、磁気共鳴イメージング(MRI)装置及びX線CT装置等の診断装置が適用可能である。
操作卓3は、画像記憶部1に格納された動画像の一のフレーム画像を表示部2に表示させる指令を入力可能に形成されている。また、その指令に応じて表示された一のフレーム画像において動きを追跡したい生体組織の指定部位に目印を重畳表示させる指令を入力可能に形成されている。
自動追跡部4は、画像診断装置全体を制御する制御手段8と、表示部2に表示された一のフレーム画像の前記目印の位置に対応する指定部位を含むサイズの切出し画像を設定する切出し画像設定手段9と、画像記憶部1から動画像の他のフレーム画像を読み出して、切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段10と、一致度が最も高い局所画像と切出し画像の座標差を求める移動量演算手段11と、その座標差に基づいて指定部位の移動先座標を求める移動追跡手段12とを備えて構成されている。また、動態情報算出部5は、自動追跡部4で求められた指定部位の移動先座標に基づいて、指定部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めるとともに、これらの計測情報の変化を線図で表示部2に表示させる機能を有して構成されている。
次に、本実施形態の画像診断装置の詳細な機能構成について、図1に示した処理手順に従って動作とともに説明する。まず、生体組織の動き追跡動作は、操作卓3から組織の動き追跡モードを選択する指令が入力されることによって開始する(S1)。自動追跡部4の制御手段8は、画像記憶部1から動画像の最初のフレーム画像ft(t=0)を読み出して表示部2に表示させる(S2)。例えば、最初のフレーム画像f0として図3に示す心臓の心室21の断層像が表示されたものとする。図3において、操作者が動きを追跡したい生体組織の指定部位として、心筋22の特定の部位を選択したい場合、操作者は操作部3のマウスなどを操作してフレーム画像f0に重ねて目印である指定点23を表示させる。そして、その指定点23を移動操作して所望の指定部位に重畳表示させて指定部位を入力設定する。なお、図3において、符号24は僧帽弁である。
指定点23が入力設定されると、制御手段8はフレーム画像f0上の指定点23の座標を取込み、切出し画像設定手段9に送る(S3)。切出し画像設定手段9は、図4(a)に示す様に、指定点23の画像を中心として、縦横2(A+1)画素(但しAは自然数)のサイズの矩形領域を切出し画像25として設定する(S4)。ここで、切出し画像25のサイズは、指定点23の生体組織とは異なる生体組織を含む大きさの領域に設定することが好ましい。例えば、図3に示す様に、心筋22の境界を越える大きさの領域に設定する。これは、切出し画像25のサイズが小さすぎると一致する局所画像が多く出現し、真の移動先を特定できない場合が生じたり、逆に大きすぎるとフレーム画像f0の画像領域からはみ出して計測できない場合が生ずるからである。
切出し画像追跡手段10は、画像記憶部1から動画像の次のフレーム画像f1を読み出し、切出し画像25と画像の一致度が最も高い同一サイズの局所画像を抽出する(S5)。この抽出処理は、いわゆるブロックマッチング法と称される画像相関法を適用する。この抽出処理をフレーム画像f1の全領域について行なうと、処理時間がかかり過ぎる。そこで、抽出処理時間を短縮するため、本実施形態では、フレーム画像f1よりも十分に小さい、図4(b)に示す検索領域26について行なうようにしている。つまり、検索領域26は、切出し画像25に対して上下左右に一定の振り幅の画素数Bを付加した矩形領域とする。この画素数Bは、指定部位に係る組織の移動量よりも大きく、例えば3〜10画素に設定する。これは、心臓などの循環器系の動く範囲は、通常の視野において、狭い領域に限られるからである。このようにして、検索領域26内の同一サイズの局所画像27を順次ずらして切出し画像25との画像の一致度を求める。
次に、検索した複数の局所画像27の内で画像の一致度が最も高い局所画像27maxを抽出し、局所画像27maxを切出し画像25の移動先とし、局所画像27maxの座標を求める(S6)。これらの画像の座標は、中心画素の座標、あるいは矩形領域の何れかの角の座標で代表する。そして、局所画像27maxと切出し画像25の座標差を求め、これに基づいて指定点23の移動先座標を求めて記憶するとともに、表示部2のフレーム画像f1に重ねて表示する(S7)。なお、局所画像27maxと切出し画像25における指定点23の相対位置は変化しないものとして扱っている。
動態情報算出部5は、S7で求められた指定点23の移動先座標をに基づいて、指定点23の動き、つまり指定部位の組織の動きに関する各種の計測情報を算出する(S8)。すなわち、移動前後の指定部位の座標に基づいて、移動方向及び移動量を定量的に計測することができる。また、指定部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めることができる。
このようにして求めた計測情報に基づいて、さらに動態情報算出部5は、指定点23の移動に関する各種の計測情報、及びその変化をグラフで表示部に表示させる(S9)。これにより、観者は、指定部位の動きを容易に観察することができる。
次に、ステップS10に進み、動画像の全てのフレーム画像について指定点23の追跡が終了したか否か判断し、未処理のフレーム画像があれば、ステップS5に戻ってS5~S10の処理を繰り返す。全てのフレーム画像について指定点23の追跡が終了した場合は、追跡処理動作を終了する。
上述したように、本実施形態によれば、画像相関法を適用することにより、指定点23の移動先の座標を順次求めることができるから、指定部位の動きを定量的に、かつ精度よく簡単に計測することができるから、診断の情報を的確に提供することができる。
ここで、上記実施形態を用いて、生体組織の指定部位の動きを計測してなる具体例について図5〜図9を用いて説明する。図5は、図3に示した指定点23の動きに関する計測情報を表示部2に表示した画像例であり、同図(a)は指定点23の移動軌跡を破線で動画像に重ねて表示する例である。同図(b)、(c)は、それぞれ指定点23の移動量の時間変化と移動速度が表示されている。また、同図(d)、(e)は、指定点23の移動軌跡を動画像に重ねて表示する別の例であり、同図(d)は直前の数フレーム画像分の軌跡を、同図(e)は移動軌跡を実線で表示している。
一方、図6は、心筋22の心壁を挟んで2つの指定点23を設定し、2つの指定点23間の距離と、その距離の変化を計測し、それらをグラフにして表示部2に表示した例である。これにより、心筋の厚み及び厚み変化を定量的に把握することができる。また、心筋の厚みの変化率を算出して表示することもできる。この変化率は、変化前の心筋の厚みに対する変化前後の心筋の厚みの変化量を、百分率で表すことができる。これらの場合において、それらの心臓に係る計測値のグラフと、ECG波形、心音波形、などの情報を表示部2に時間軸を関連させて表示することにより、一層診断の精度を向上できる。つまり、心筋動態の追跡や心筋厚の変化を定量的に追跡できることから、虚血性心疾患において虚血部位を特定することが可能になる。また、心筋動態を定量化できるから、虚血の程度がわかり、冠動脈再生術などの治療法選択および治療部位特定の指標にできる。さらに、弁輪部24に指定点23を設定して、その動きを追跡すれば、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つことが期待できる。
図7は、心筋22の壁部に複数(図示例は、9点)の指定点23a〜23iを設定し、それらの動きを追跡し、その移動情報に基づいて同図(a)〜(f)の表示を行なった例である。同図(a)は、各指定点23a〜23iの移動方向を求め、心壁の移動方向の基準点を重心とし、その重心に向かう方向とその反対方向の色を代えて、その時間変化を画像表示した例である。これによれば、心筋の動きを画像表示により容易に把握することができる。この場合、移動速度に応じて輝度変調をかけることができる。同図(b)は、各指定点23a〜23iの移動量に応じて、それらの点を結ぶ線の太さを変えて表示した例である。同図(c)は、数フレーム画像前からの各指定点23a〜23iの移動軌跡を表示した例である。同図(d)は、各指定点23a〜23iを線で結ぶとともに、それらの点の移動量を強調して表示した例である。同図(e)は、同図(c)に示すように各指定点23a〜23iで囲まれたそれぞれの4辺形の面積の変化を表示した例であり、同図(f)はその合計面積の時間変化をグラフにして表示した例である。
図8は、心筋22の内部の全体に渡って複数の指定点23を設定した例であり、同図(a)は心筋22の厚み方向の変位合計をグラフ化したものである。同図(b)は、心筋の長さ方向の変位合計をグラフ化したものである。同図(c)は、心筋22の長さ方向に縮むのをプラスとし、厚み方向に膨れる方向をプラスとして変位合計をグラフ化して表示した例である。同図(d)は、複数の指定点23で囲まれた領域の面積変化の合計をグラフ化した例である。
図9は、心筋22の内壁に沿って複数の指定点23を設定し、同図(a)は、各指定点23が、各指定点により囲まれた領域(心室内)の重心に向かう方向を例えば「赤」で表示し、離れる方向を例えば「青」で表示し、その移動速度によって輝度変調して表示した例である。また、同図(b)は、指定点23で囲まれた領域の面積の時間変化をグラフ化したものである。これによれば、心室の容積変化などの動態情報(動きの情報)を定量的に、かつ精度よく計測することができる。
(実施形態2)
図1の実施形態では、1つのフレーム画像についての指定点の追跡が終了する度に(S7)、その指定点の移動に基づいて組織の動きに関する各種情報を算出するとともに(S8)、それらの情報を表示部に表示する(S9)ようにした例を説明した。本発明はこれに限らず、図10に示すように、図1のステップS10をステップS7の後に配置し、全てのフレーム画像についての指定点の追跡が終了した後に、ステップS8、9の処理を実行するようにしてもよい。
ここで、画像相関法による画像追跡処理の具体例を、図11を用いて説明する。図示例は、説明を簡単にするために、切出し画像25のサイズを矩形の9画素領域とし、検索領域26についても矩形の25画素領域として説明する。つまり、同図(a)に示す切出し画像25は、指定点23の画素を中心としてA=1画素に設定した例であり、同図(b)に示す検索領域26はB=1画素に設定した例である。これによれば、同図(b)に示す様に、9個の局所領域27について相関値を求め、相関が最も大きい位置が移動先座標に相当することになる。
(実施形態3)
本実施形態は、超音波撮影法により撮影して得られる動画像による生体組織の追跡処理に適用できるものである。特に、動画像に対応するRF信号を記憶しておき、画像相関法により求めた画像の一致度が最も高い局所画像の位置を、RF信号を用いて補正することにより、生体組織の動きを追跡して得られる計測値の変化を滑らかなものとすることにある。
図12に示すように、超音波診断装置17から動画像、及びその動画像の再構成に用いたRF信号(超音波エコー信号を受信処理した信号)が、それぞれオンライン又は記録媒体を介して画像記憶部1及びRF信号記憶部18に格納されるようになっている。RF信号記憶部18は、信号伝送路6を介して自動追跡部4に接続されている。また、自動追跡部4に移動量補正部13が設けられている。
図13に、本実施形態の主要部の処理手順を示す。本実施形態の追跡処理の基本は、図10のステップS6で求めた切出し画像の移動先座標を取込み、指定点23の移動先座標を算出する(S21)。次に、切出し画像25の指定点23の座標と、一致度が最も高い局所画像27maxの指定点23の座標の周辺の画像に係るRF信号をRF信号記憶部18から抽出する(S22)。つまり、移動前後の指定点23の周辺画像のRF信号を抽出する。そして、移動前後のRF信号の相互相関をとり、その相関値を求める(S23)。この場合、まず、移動前後の何れかのRF信号を画像相関法で求めた移動量(画素数)に対応する分だけ時間軸をずらし、両者の相互相関(例えば、積和演算)をとりながら、移動前後の何れかのRF信号をずらす。そして、求めた相互相関値が最大値となるずれ量τが、RF信号による移動量の補正値として求められる(S24)。そして、先に画像相関法で求めた指定点の移動量に、RF信号を用いて求めた指定点の移動量の補正値を加算して、指定点の移動量を補正する(S25)。
ここで、移動前後のRF信号の相互相関値の最大値が、指定点の移動量の相関すること、及びそれにより指定点の移動量を補正することにより、位置の計測精度が向上する理由を、図14を用いて説明する。なお、図14(a)においては、移動前の指定点周辺のRF信号41と、移動後の指定点周辺のRF信号42の時間軸を、画像相関法で求めた移動量に基づいてずらした状態で示している。そして、例えば、RF信号41の時間軸を正負何れかの方向にずらしながらRF信号42との相互相関を計算すると、同図(b)に示す最大値を示す相互相関値43が得られる。このRF信号41とRF信号42のずらした位相差をτとすると、この移動量τが画像相関法の移動量に加えて補正すべき移動量に相当する。これにより、画像相関法の移動量の計測精度を向上できる。
以上説明したように、本発明の各実施形態によれば、次のような効果が得られる。
まず、心臓の各部の動きを定量的に計測することができることから、例えば心筋動態追跡あるいは心筋厚の変化を定量的に計測することにより、虚血性心疾患において例えば虚血部位を特定することができる。また、心筋動態を定量化できるから、虚血の程度がわかり、冠動脈再生術などの治療法選択および治療部位を特定する際の指標にできる。
また、弁輪部の動きを定量的に追跡することにより、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つ可能性がある。
また、本発明は、心臓の各部位の動きを計測することに限らず、生体組織の動きを観察したい部位であれば、どのような部位の生体組織にも適用できることは明らかである。例えば、頚動脈などの大血管壁の脈波計測に適用できる。この場合、血管壁の長手方向に複数の指定部位を設定し、それらの指定部位の移動量を定量的に計測して比較することにより、動脈硬化の程度がわかる。
また、上述の実施形態は、オフラインで行なう例について説明したが、ブロックマッチング法の処理に係る速度を向上すれば、オンラインあるいはリアルタイムの動画像にも適用できる。
また、上述の実施形態は、2次元の断層像を例に説明したが、3次元断層像にも適用できることはいうまでもない。
また、画像相関法は、切出し画像と局所画像の対応する画像の一致度を算出する方法であれば公知の技術を用いることができる。例えば、一般に知られている切出し画像と局所画像の対応する画素ごとに画素値の積を求め、その絶対値の総和をもって相関値とする2次元相互相関法、切出し画像と局所画像の各画素値の平均値を画素ごとの画素値から引き、その積を求め、その絶対値の総和をもって相関値とする2次元正規化相互相関法、画素ごとに画素値の差の絶対値を求め、その絶対値の総和をもって相関値とするSAD法、画素ごとの画素値の差の二乗値を求め、その二乗値の総和をもって相関値とするSSD法などを適用できる。このとき、相関最大である局所画像を選ぶためには2次元相互相関法と2次元正規化相互相関法では相関値が最大の、また、SAD法、SSD法では相関値が最小の局所画像を画像の一致度が最も高い局所画像とすればよい。この相関最大(相関値が最大又は最小)である局所画像を選び出すことに画像相関法の特徴がある。
図1は、本発明の生体組織の動き追跡方法の一実施形態の処理手順を示す図である。 図2は、図1の生体組織の動き追跡方法を適用してなる画像診断装置のブロック構成図である。 図3は、本発明の生体組織の動き追跡を、心臓の断層像に適用して説明するための図である。 図4は、本発明に係るブロックマッチング法の一実施形態を説明する図であり、(a)は切出し画像の一例を、(b)は検索領域の一例を示す図である。 図5は、本発明の追跡方法により計測された生体組織の動きに関する計測情報の表示画像の例である。 図6は、心壁を挟んで設定された2つの指定点の距離と、その距離の変化を計測してグラフにして表示した例である。 図7は、心壁部に複数の指定点を設定し、それらの動きを追跡して得られる各種の移動情報を画像にして表示した例である。 図8は、心筋内部の全体に渡って複数の指定点を設定して、それらの指定点の動きに基づいて計測した種々の情報の表示例である。 図9は、心筋内壁に沿って複数の指定点を設定し、その動きの情報の表示画像例である。 図10は、図1の処理手順を変形した本発明の実施形態2の追跡処理手順の図である。 図11は、画像相関法による画像追跡処理を、具体例を用いて説明する図である。 図12は、本発明を超音波診断装置に適用してなる一実施形態の画像診断装置のブロック図である。 図13は、図10の画像相関法を改善したRF信号補正法の処理手順を示す図である。 図14は、RF信号補正法を説明する図である。
符号の説明
1 画像記憶部
2 表示部
3 操作卓
4 自動追跡部
5 動態情報演算部
6 信号伝送路
7 診断画像撮像装置
8 制御手段
9 切出し画像設定手段
10 切出し画像追跡手段
11 移動量演算手段
12 移動追跡手段

Claims (22)

  1. 被検体の心臓を含む部位の断層像を超音波撮影法により撮影してなる動画像をRF信号で記憶し、記憶された動画像の一のフレーム画像を表示する第1ステップと、該表示された前記一のフレーム画像において操作部に入力された指令に基づいて心筋に少なくとも1つの指定点を設定する第2ステップと、前記一のフレーム画像の前記指定点に対応付けて前記指定点を含むサイズの切出し画像を設定する第3ステップと、前記動画像の他のフレーム画像を検索して前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する第4ステップと、抽出された局所画像と前記切出し画像の座標差に基づいて前記指定点の移動先座標を求める第5ステップと、前記指定点の移動先座標に基づいて前記指定点の移動量を求め、前記指定点の移動量の時間変化を画像表示する第6ステップを含んでなる生体組織の動き追跡をする画像診断装置の作動方法。
  2. 前記第2ステップは、前記心筋の動きを追跡したい局所領域に前記指定点を複数設定し、
    前記第6ステップは、各指定点の移動方向を求め、各指定点の移動方向が前記指定点が複数設定された局所領域の重心を移動方向の基準点として、各指定点の移動方向の時間変化を前記重心に向かう方向とその反対方向の色を変えて画像表示することを特徴とする請求項1に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  3. 前記第2ステップは、前記心筋の全体にわたって前記指定点を複数設定し、
    前記第6ステップは、各指定点の移動量を前記心筋の厚み方向と前記心筋の長さ方向の少なくとも一方について求め、前記心筋の厚み方向と前記心筋の長さ方向における各指定点の移動量の時間変化を画像表示することを特徴とする請求項1に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  4. 前記第2ステップは、前記心筋の内壁に沿って前記指定点を複数設定し、
    前記第6ステップは、各指定点の移動先座標に基づいて各指定点の移動方向を求め、複数の前記指定点により囲まれた領域の重心を移動方向の基準点として、各指定点の移動方向の時間変化を前記重心に向かう方向とその反対方向の色を変えて画像表示することを特徴とする請求項1に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  5. 前記第4ステップで抽出された局所画像を前記切出し画像として、前記動画像のさらに他のフレーム画像に対して前記第4ステップと前記第5ステップを繰り返し実行して、前記指定点の移動先座標を順次求めることを特徴とする請求項1乃至4のいずれかに記載の生体組織の動き追跡をする画像診断装置の作動方法。
  6. 前記切出し画像のサイズは、前記指定点の生体組織とは異なる生体組織を含む大きさの領域であることを特徴とする請求項1乃至4のいずれかに記載の生体組織の動き追跡をする画像診断装置の作動方法。
  7. 前記第4ステップにおいて、前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する検索範囲は、前記切出し画像よりも設定画素数大きい領域に設定されることを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  8. 前記第5ステップは、前記指定点の移動先座標の周辺の複数の前記RF信号を抽出し、該抽出した複数のRF信号と移動前の前記指定点のRF信号の相互相関をとり、該相互相関が最大のRF信号の位置に前記移動先座標を補正することを含むことを特徴とする請求項1乃至4のいずれかに記載の生体組織の動き追跡をする画像診断装置の作動方法。
  9. 前記指定点の移動先に前記動画像に重ねて前記目印を表示することを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  10. 前記指定点の移動先座標を記憶しておき、前記動画像に重ねて前記目印の移動軌跡を表示することを特徴とする請求項9に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  11. 前記第6ステップは、前記指定点の移動先座標を記憶しておき、該指定点の移動量、移動速度の少なくとも1つを求めることを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  12. 前記第6ステップは、前記指定点の移動量、移動速度、移動方向の少なくとも1つの変化を線図で表示することを特徴とする請求項11に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  13. 前記第6ステップは、前記指定点の移動速度に応じて輝度変調をかけることを特徴とする請求項12に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  14. 前記第2ステップは、前記指定点を心筋を挟んで2つ設定し、
    前記第6ステップは、心筋の厚み、厚み変化、厚み変化速度、厚み変化率の少なくとも1つを算出することを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  15. 前記複数の指定点を結ぶ直線又は該直線の近似曲線に基づいて心室の容積及び該容積の変化を求める第7ステップを含むことを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡をする画像診断装置の作動方法。
  16. 被検体の心臓を含む部位の断層像を撮影してなる動画像が格納される記憶部と、前記動画像を表示可能な表示部と、指令を入力する操作部と、前記表示部に表示される前記動画像の心筋の動きを追跡する自動追跡部と、前記記憶部と前記表示部と前記操作部と前記自動追跡部とを接続してなる信号伝送路とを有してなり、
    前記操作部は、前記記憶部に格納された前記動画像の一のフレーム画像を前記表示部に表示させる指令と、該指令に応じて表示された前記一のフレーム画像において心筋に目印を重畳表示させる指令を入力して心筋に複数の指定点を設定する入力手段を備え、
    前記自動追跡部は、前記表示部に表示された前記一のフレーム画像の前記目印の位置に対応する前記指定点を含むサイズの切出し画像を設定する切出し画像設定手段と、前記記憶部から前記動画像の他のフレーム画像を読み出して、前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段と、該一致度が最も高い局所画像と前記切出し画像の座標差を求める移動量演算手段と、該座標差に基づいて前記指定点の移動先座標を求める移動追跡手段とを備え、各指定点の移動先座標に基づいて各指定点の移動方向を求め、複数の指定点により囲まれた領域の重心を移動方向の基準点として、前記各指定点の移動方向の時間変化を前記重心に向かう方向とその反対方向の色を変えて前記表示部に表示する画像診断装置。
  17. 前記自動追跡部は、前記指定点の移動先座標を記憶しておき、前記動画像に重ねて前記目印の移動軌跡を表示することを特徴とする請求項16に記載の画像診断装置。
  18. 前記自動追跡部は、前記指定点の移動先座標を記憶しておき、該指定点の移動量、移動速度の少なくとも1つを求めて、その変化を線図で前記表示部に表示することを特徴とする請求項16に記載の画像診断装置。
  19. 前記自動追跡部は、前記操作部から心筋を挟んで入力設定される2つの前記指定点に基づいて、心筋の厚み、厚み変化、厚み変化速度、厚み変化率の少なくとも1つを算出して、その線図を前記表示部に表示することを特徴とする請求項16に記載の画像診断装置。
  20. 前記自動追跡部は、前記操作部から入力設定される心室の内壁に沿った複数の前記指定点の移動先を求め、該複数の指定点を結ぶ直線又は該直線の近似曲線に基づいて心室の容積及び該容積の変化を求めて前記表示部に表示することを特徴とする請求項16に記載の画像診断装置。
  21. 前記自動追跡部は、前記各指定点の移動速度に応じて輝度変調をかけて前記表示部に画像表示させることを特徴とする請求項16に記載の画像診断装置。
  22. 前記第2ステップは、前記操作部に入力された指令に基づいて心筋の心壁を挟んで少なくとも一対の指定点を設定し、
    前記第6ステップは、前記一対の指定点間の距離の時間変化のグラフを画像表示するとともに、該グラフの時間軸に関連させて前記心臓の心電波形及び心音波形を含む計測情報を画像表示するステップを含んでなる請求項1に記載の生体組織の動き追跡をする画像診断装置の作動方法。
JP2003311291A 2002-09-12 2003-09-03 画像診断装置、及び画像診断装置の作動方法 Expired - Lifetime JP4596759B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003311291A JP4596759B2 (ja) 2002-09-12 2003-09-03 画像診断装置、及び画像診断装置の作動方法
PCT/JP2003/011701 WO2004024003A1 (ja) 2002-09-12 2003-09-12 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置
EP03795425.2A EP1543773B1 (en) 2002-09-12 2003-09-12 Biological tissue motion trace method and image diagnosis device using the trace method
CNB038213168A CN100393283C (zh) 2002-09-12 2003-09-12 生物体组织动状态跟踪方法、使用该方法的图像诊断装置
US10/527,744 US8167802B2 (en) 2002-09-12 2003-09-12 Biological tissue motion trace method and image diagnosis device using the trace method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002266864 2002-09-12
JP2003311291A JP4596759B2 (ja) 2002-09-12 2003-09-03 画像診断装置、及び画像診断装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010003595A Division JP5508035B2 (ja) 2002-09-12 2010-01-12 画像診断装置

Publications (3)

Publication Number Publication Date
JP2004121834A JP2004121834A (ja) 2004-04-22
JP2004121834A5 JP2004121834A5 (ja) 2006-08-03
JP4596759B2 true JP4596759B2 (ja) 2010-12-15

Family

ID=32301599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003311291A Expired - Lifetime JP4596759B2 (ja) 2002-09-12 2003-09-03 画像診断装置、及び画像診断装置の作動方法

Country Status (1)

Country Link
JP (1) JP4596759B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907764B2 (en) 2004-08-09 2011-03-15 Hirochika Matsuoka Apparatus, program and method for motion analysis in internal body
JP4648709B2 (ja) * 2005-01-07 2011-03-09 株式会社日立メディコ 医用画像診断装置
JP2009512486A (ja) * 2005-10-20 2009-03-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波撮像システム及び方法
JP5156206B2 (ja) * 2006-08-28 2013-03-06 株式会社日立メディコ 超音波診断装置
US8197410B2 (en) * 2007-09-07 2012-06-12 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP5215050B2 (ja) * 2008-06-10 2013-06-19 株式会社東芝 画像処理装置
JP5157919B2 (ja) * 2009-01-06 2013-03-06 コニカミノルタホールディングス株式会社 画像表示装置およびプログラム
JP5484444B2 (ja) * 2009-03-31 2014-05-07 株式会社日立メディコ 医用画像診断装置、容積計算方法
US8867813B2 (en) 2009-10-27 2014-10-21 Hitachi Medical Corporation Ultrasonic imaging device, ultrasonic imaging method and program for ultrasonic imaging
WO2011083789A1 (ja) 2010-01-07 2011-07-14 株式会社 日立メディコ 医用画像診断装置と医用画像の輪郭抽出処理方法
JP5323795B2 (ja) * 2010-10-12 2013-10-23 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
JP5660849B2 (ja) * 2010-10-26 2015-01-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置およびプログラム並びに画像診断装置
JP5238893B1 (ja) * 2012-02-22 2013-07-17 株式会社東芝 X線ct装置、画像表示装置、画像表示方法
WO2013153857A1 (ja) * 2012-04-13 2013-10-17 日立アロカメディカル株式会社 超音波診断装置及び軌跡表示方法
JP5500216B2 (ja) * 2012-07-13 2014-05-21 コニカミノルタ株式会社 画像表示装置およびプログラム
JP5784085B2 (ja) * 2013-09-04 2015-09-24 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6026466B2 (ja) * 2014-06-23 2016-11-16 東芝メディカルシステムズ株式会社 画像処理装置及び超音波診断装置
JP2019171102A (ja) * 2019-05-30 2019-10-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0390141A (ja) * 1989-09-01 1991-04-16 Fujitsu Ltd 超音波診断装置
JPH0819540A (ja) * 1994-07-08 1996-01-23 Aloka Co Ltd 超音波診断装置
JP2000210288A (ja) * 1999-01-25 2000-08-02 Aloka Co Ltd 超音波診断装置
JP2001286474A (ja) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc 対象物パラメータの動的測定
JP2002177273A (ja) * 2000-12-12 2002-06-25 Toshiba Corp 超音波診断装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0390141A (ja) * 1989-09-01 1991-04-16 Fujitsu Ltd 超音波診断装置
JPH0819540A (ja) * 1994-07-08 1996-01-23 Aloka Co Ltd 超音波診断装置
JP2000210288A (ja) * 1999-01-25 2000-08-02 Aloka Co Ltd 超音波診断装置
JP2001286474A (ja) * 2000-02-14 2001-10-16 Siemens Medical Syst Inc 対象物パラメータの動的測定
JP2002177273A (ja) * 2000-12-12 2002-06-25 Toshiba Corp 超音波診断装置

Also Published As

Publication number Publication date
JP2004121834A (ja) 2004-04-22

Similar Documents

Publication Publication Date Title
EP1543773B1 (en) Biological tissue motion trace method and image diagnosis device using the trace method
JP4389081B2 (ja) 関心領域の追従制御方法、その方法を用いた画像診断装置及び関心領域の追従制御プラグラム
JP4596759B2 (ja) 画像診断装置、及び画像診断装置の作動方法
JP5031758B2 (ja) 医用画像診断装置
JP4594610B2 (ja) 超音波画像処理装置及び超音波診断装置
JP2004514526A (ja) 超音波診断心臓画像の捕捉、分析、及び表示方法
JP2004514527A (ja) 超音波診断画像におけるひずみ速度分析方法
JP4321121B2 (ja) 診断画像における生体組織の動きの追跡方法及びその方法を用いた画像診断装置
JP5215036B2 (ja) 医用画像処理装置、及び医用画像処理プログラム
JP3844799B2 (ja) 超音波診断装置、超音波診断用のデータ処理方法、及びプログラム
JP4359749B2 (ja) 生体組織の運動表示方法及び画像診断装置
EP2059173B1 (en) System and method for measuring left ventricular torsion
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP4503238B2 (ja) 生体組織の運動表示方法及び画像診断装置
JP2004121834A5 (ja)
JP2007143606A (ja) 超音波診断装置
JP4847684B2 (ja) 画像診断装置
JP2005087594A (ja) 画像診断装置
JP5508035B2 (ja) 画像診断装置
JP2004283583A (ja) 画像形成医療検査装置の作動方法
JP4492107B2 (ja) 画像診断装置
JP4352212B2 (ja) 生体組織の動き追跡表示方法及び画像診断装置
JP5879098B2 (ja) 体内臓器の動画像生成装置および体内臓器の動画像生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100921

R150 Certificate of patent or registration of utility model

Ref document number: 4596759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term