JP4896530B2 - 医用画像処理装置、超音波診断装置及び医用画像処理プログラム - Google Patents

医用画像処理装置、超音波診断装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP4896530B2
JP4896530B2 JP2006013059A JP2006013059A JP4896530B2 JP 4896530 B2 JP4896530 B2 JP 4896530B2 JP 2006013059 A JP2006013059 A JP 2006013059A JP 2006013059 A JP2006013059 A JP 2006013059A JP 4896530 B2 JP4896530 B2 JP 4896530B2
Authority
JP
Japan
Prior art keywords
boundary
value
unit
pixel
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006013059A
Other languages
English (en)
Other versions
JP2007190288A (ja
Inventor
忠晴 小林
哲也 川岸
章一 中内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP2006013059A priority Critical patent/JP4896530B2/ja
Publication of JP2007190288A publication Critical patent/JP2007190288A/ja
Application granted granted Critical
Publication of JP4896530B2 publication Critical patent/JP4896530B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、超音波診断装置などの医用画像診断装置にて収集された医用画像データに基づいて診断部位の輪郭を抽出する医用画像処理装置に関する。
心筋の壁運動を解析するために超音波診断装置が用いられている。心筋の壁運動を解析するためには心筋の位置を検出する必要があり、心臓の画像から心室などの輪郭を抽出する方法が知られている(例えば特許文献1)。超音波診断装置を用いた検査では様々な計測が行われるため、心筋の位置を自動的に検出できる超音波診断装置や医用画像処理装置が望まれている。さらに、検査時間を短縮するため、高速に心筋の位置を検出できる超音波診断装置や医用画像処理装置などが望まれている。
心筋の位置を検出する方法として、自動輪郭追跡法(Automated Countour Tracking:ACT)が知られている。この方法によると、心臓の内膜(心内膜)の位置を高精度に検出することができるが、演算量が膨大であるため処理時間が長くなってしまう。超音波診断装置は、超音波による診断部位のスキャンからそのスキャンによって収集された信号に基づいて画像を生成して表示するまでの時間が短く、いわゆるリアルタイムに医用画像を収集して表示することができるため、心臓の動きや血流などの観察に適している。しかしながら、心筋の位置を検出するために演算量が膨大になって処理時間が長くなってしまうと、リアルタイムに心臓の動きなどを観察することができなくなってしまう問題がある。
特開2000−217818号公報
この発明は上記の問題を解決するものであり、簡便かつ高速に診断部位の輪郭を抽出することが可能な医用画像処理装置、超音波診断装置及び医用画像処理プログラムを提供することを目的とする。
請求項1に記載の発明は、医用画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、前記各経路及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定手段と、前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と求められた前記距離同士の差分の絶対値を求める差分算出手段と前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、前記境界判定手段によって判定された前記各経路における境界の位置、及び前記判定手段で判定された真の境界の位置を基に、前記組織の境界を表示手段に描画する描画手段と、を有することを特徴とする医用画像処理装置である。
請求項8に記載の発明は、被検体に超音波を送信し、前記被検体からの反射波を受信して前記反射波に基づいて前記被検体の画像を生成する超音波診断装置であって、前記画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定手段と、前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と、求められた前記距離同士の差分の絶対値を求める差分算出手段と、前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、前記境界判定手段によって判定された前記各経路における境界の位置、及び前記判定手段で判定された真の境界の位置を基に、前記組織の境界を前記画像に重畳させて表示手段に描画する描画手段と、を有することを特徴とする超音波診断装置である。
請求項9に記載の発明は、被検体に超音波を送信し、前記被検体からの反射波を受信して前記反射波に基づいて心臓の画像を生成して表示手段に表示する超音波診断装置であって、前記心臓の画像の内側における所定の点を始点として直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を前記心臓の心筋の境界の位置と判定する境界判定手段と、前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と、求められた前記距離同士の差分の絶対値を求める差分算出手段と、前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、前記境界判定手段によって判定された心筋の境界の位置、及び前記判定手段で判定された真の境界の位置とを基に、前記心筋の境界を前記心臓の画像に重畳させて前記表示手段に描画する描画手段と、を有することを特徴とする超音波診断装置である。
請求項10に記載の発明は、コンピュータに、医用画像を取り込んで、前記医用画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定機能と、前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理機能と、前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定機能と、前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出機能と、求められた前記距離同士の差分の絶対値を求める差分算出機能と、前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定機能と、前記境界判定機能によって判定された前記各経路における境界の位置、及び前記判定機能で判定された真の境界の位置を基に、前記組織の境界を表示手段に描画する描画機能と、を実行させることを特徴とする医用画像処理プログラムである。
この発明によると、簡便かつ高速に診断部位の輪郭を抽出して表示することが可能となる。
[第1の実施の形態]
この発明の第1の実施形態に係る輪郭抽出部(医用画像処理装置)の構成について、図1及び図2を参照して説明する。図1は、この発明の第1の実施形態に係る超音波診断装置の概略的な構成を示すブロック図である。図2は、この発明の第1の実施形態に係る輪郭抽出部の構成を示すブロック図である。
この実施形態に係る超音波診断装置は輪郭抽出部1に特徴があり、輪郭抽出部1以外の構成は従来からある超音波診断装置と同じ構成となっている。また、輪郭抽出部1を超音波診断装置から取り外し、医用画像処理装置として超音波診断装置と別にして用いても良い。また、この実施形態では超音波診断装置に輪郭抽出部1(医用画像処理装置)を設けているが、X線CT装置やMRI装置などの超音波診断装置以外の医用画像診断装置に輪郭抽出部1(医用画像処理装置)を設けても良い。
超音波プローブ2には、複数の超音波振動子が所定方向(走査方向)に1例に配列された1次元超音波プローブや、超音波振動子がマトリックス(格子)状に配置された2次元超音波プローブが用いられる。
送受信部3は送信部と受信部とからなり、超音波プローブ2に電気信号を供給して超音波を発生させるとともに、超音波プローブ2が受信したエコー信号を受信する。送受信部3から出力されるデータは信号処理部4に出力される。
Bモード処理部41は、エコーの振幅情報の映像化を行い、エコー信号からBモード超音波ラスタデータを生成する。CFM処理部42は、動いている血流情報の映像化を行い、カラー超音波ラスタデータを生成する。記憶部5は、信号処理部4によって生成された超音波ラスタデータを一時的に記憶、保持する。
DSC6(Digital Scan Converter:デジタルスキャンコンバータ)は、直交座標系で表される画像を得るために、超音波ラスタデータを直交座標で表される画像データに変換する(スキャンコンバージョン処理)。そして、DSC6から表示部8に画像データが出力され、表示部8にその画像データに基づく画像が表示される。例えば、DSC6は、Bモード超音波ラスタデータに基づいて2次元情報としての断層像データを生成し、その断層像データを表示部8に出力する。表示部8はその断層像データに基づく断層像を表示する。
この実施形態では、DSC6から出力された断層像データなどの画像データは、記憶部7に出力されて一時的に記憶、保持される。
輪郭抽出部1(医用画像処理装置)は記憶部7から画像データを読み込み、その画像から所望の診断部位の輪郭を抽出する。輪郭抽出部1は、画像を構成する画素の画素値に基づいて所望の診断部位の輪郭を抽出する。第1の実施形態では、輪郭抽出部1は、所定の区間(範囲)に含まれる各画素の画素値に重みを付けて画素値を加算し、その加算によって得られた加算値に基づいてその区間(範囲)内に所望の診断部位の境界が含まれているか否かを判断する。
以下、輪郭抽出部1(医用画像処理装置)の構成及び処理内容について図2から図6を参照して説明する。図3は、画素値の重み付け加算処理を行う探索経路の始点の設定を説明するための模式図である。図4は、画素値の重み付け加算処理を行う探索経路を示す模式図である。図5は、画素値の重み付け加算処理を行う区間を示す図である。図6は、抽出された輪郭と断層像とを示す図である。
なお、この実施形態では診断部位を心臓とし、画像データとして2次元情報としての断層像データ(Bモード断層像データ)が収集されている場合について説明する。例えば図3(a)に示すように、心臓の二腔断面の断層像が収集されて表示部8に表示されているものとする。
図3(a)に示すように、診断部位である心臓の二腔断面の断層像が表示部8に表示されている状態で、図3(b)に示すように、操作者が操作部(図示しない)を用いて端点S1と端点S2を指定すると、始点設定部11は端点S1と端点S2の座標を受け付けて、図3(c)に示すように、端点S1と端点S2とを結ぶ線分を予め設定された所定の間隔で分割する。この所定の間隔を示す情報を、設定情報記憶部16に予め記憶させておき、始点設定部11は設定情報記憶部16に記憶されている間隔に基づいて端点S1と端点S2とを結ぶ線分を分割する。また、操作者が任意に分割数を指定しても良い。なお、この実施形態では、心筋の輪郭を抽出することを目的とするため、操作者は心腔内の2点を指定している。
図3(c)に示す例においては、始点設定部11は端点S1と端点S2とを結ぶ線分を、分割点P1〜分割点P5によって等間隔に分割している。この分割点P1〜P5が、画素値の重み付け加算処理を行う探索経路の始点となる。
なお、この実施形態では、操作者が端点S1と端点S2を指定しているが、予め設定された位置を端点S1と端点S2として予め線分を設定しておいても良い。その場合、線分を表示部8に表示させ、操作者が超音波プローブ2を移動させたり傾けたりして、心腔内に線分が表示されるようにする。さらに、端点S1と端点S2とを結ぶ線分の長さや、端点S1と端点S2の位置は、操作者が任意に決定しても良い。また、始点設定部11は端点S1と端点S2とを結ぶ線分を等間隔に分割したが、等間隔に分割しなくても良い。例えば、各分割点間の間隔を設定情報記憶部16に記憶しておき、始点設定部11はその間隔に従って端点S1と端点S2とを結ぶ線分を分割するようにしても良い。このように、線分を予め設定したり、分割の間隔を変えたりした場合であっても、輪郭抽出部1による処理内容は変わらない。
探索経路設定部12は、始点設定部11から各分割点の座標を受けると、各分割点を始点として、端点S1と端点S2とを結ぶ線分に垂直な線を設定する。この垂線が画素値の重み付け加算処理を行う経路になる。図4(a)に探索経路設定部12によって設定された垂線の1例を示す。図4(a)は、1つの分割点を始点として、その分割点から引かれた1本の垂線を示している。なお、図4(a)に示されている垂線の反対方向にも垂線が設定される。図4に示す例においては、1つの分割点を始点とする垂線のみを示しているが、探索経路設定部12は、始点設定部11によって決定された分割点P1〜P5をそれぞれ始点とする垂線を設定する。
重み付け加算処理部13は、図4(b)に示すように、探索経路設定部12によって設定された垂線上に所定の長さの区間100を設定し、その区間100に含まれる各画素の画素値に重みを付けて加算する。重み付け加算処理の重み係数は、設定情報記憶部16に予め記憶されている。重み付け加算処理部13は、以下の式(1)に従って重み付け加算処理を行う。
(重み付け加算処理の式)
A(z)=Σ{f(n)×P(z+n)}・・・式(1)
f(n)≧0
Σ{f(n)}=1
ここで、A(z):加算値、f(n):重み係数、P(z+n):画素値、z:始点を原点とする垂線方向の区間100の位置(例えば、区間100の端部の画素の位置)、n:区間100内の画素の位置
重み付け加算処理部13は、図4(c)及び(d)に示すように、垂線Lに沿って区間100を移動させ、移動させた後の区間100に含まれる画素の画素値を用いて重み付け加算処理を行う。重み付け加算処理部13は、例えば、1画素ずつ区間100を垂線Lに沿って移動させながら重み付け加算処理を行う。そして、重み付け加算処理部13によって求められた加算値A(z)は境界判定部14に出力される。
境界判定部14は、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値T(T>0)とを比較し、加算値A(z)が閾値T以上になる区間に含まれる所定の点を心筋の境界点と判断する。なお、閾値Tは経験的に求められる値である。境界判定部14は、例えば、加算値A(z)が閾値T以上になる区間の中間点や端点を心筋の境界点とする。この閾値Tは設定情報記憶部16に予め記憶されている。境界判定部14は、境界点の座標を示す情報を描画部15に出力する。
ここで、重み付け加算処理部13及び境界判定部14による処理内容について、図5を参照して説明する。図5(a)及び(b)に示すように、重み付け加算処理部13は、垂線上に重み付け加算処理を行う区間100を設定し、その区間100に含まれる各画素の画素値に対して上述した式(1)に従った重み付けをし、各画素の画素値を加算する。そして、重み付け加算処理部13は、その区間100を垂線Lに沿って始点から1画素ずつ移動させながら区間100に含まれる各画素の画素値に重みを付けて加算する。図5(a)及び(b)に示す例では、重み付け加算処理部13は、垂線Lに沿って並ぶ5つの画素を1つの区間100とし、その区間100に含まれる5つの画素の画素値に重みを付けて加算する。この例では、5つの画素を1つの区間としているが、5つ以上又は5つ以下の画素を1つの区間として重み付け加算処理を行っても良い。また、重み付け加算処理部13は、区間100を2画素ずつや3画素ずつ移動させても良い。
そして、境界判定部14は、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値Tとを比較し、加算値A(z)が閾値T以上になった区間に含まれる所定の点を心筋(組織)の境界点と判断する。例えば、境界判定部14は、区間の中間点を心筋の境界点とする。この例では、区間の中間点を境界点としたが、中間点以外の点を心筋(組織)の境界点としても良い。例えば、区間の端点を心筋(組織)の境界点としても良い。
以上のように、所定長さの区間に亘って重み付け加算処理を行うことにより、図5(a)に示す心筋(組織)については、心筋(組織)が複数の画素に跨って存在していると考えられるため、心筋(組織)の境界では加算値A(z)は大きく変化する。一方、図5(b)に示すノイズについては、そのノイズが複数の画素に跨って存在することがないと想定すると、ノイズでは加算値A(z)は大きく変化することはない。従って、閾値Tを適切に設定することで、加算値A(z)に基づいて、所望の組織の境界とノイズとを区別して所望の組織の境界を検出することができる。
なお、ノイズの幅よりも広い範囲を重み付け加算処理の対象区間とする必要がある。図5(b)に示す例では、ノイズは1画素内に収まっているため、例えば5画素分を重み付け加算処理の対象区間とすることで、ノイズに起因する加算値A(z)と組織に起因する加算値A(z)とを区別して組織の境界を検出することができる。
重み付け加算処理部13は、分割点P1〜P5を始点とした各垂線に沿って重み付け加算処理を行い、境界判定部14はその重み付け加算処理によって得られた加算値A(z)と閾値Tとに基づいて各垂線上の境界点を求める。そして、境界判定部14は、各垂線上の境界点の座標を描画部15に出力する。このように、重み付け加算処理部13と境界判定部14によって、複数の境界点が抽出されて各境界点の座標を示す情報が描画部15に出力される。
描画部15は、境界判定部14から各境界点の座標を示す情報を受けると、各境界点を結んで所望の組織(心筋)の輪郭を描画する。このとき、描画部15は、DSC6から出力された所望の組織(心筋)の断層像に、抽出された輪郭を重畳させて表示部8に表示させる。図6に抽出された輪郭の1例を示す。図6には、抽出された輪郭を便宜的に点線で表している。
上述した始点設定部11、探索経路設定部12、重み付け加算処理部13、境界判定部14、及び描画部15は、ハードウェアで構成されていても良く、ソフトウェアとして構成されていても良い。例えば、輪郭抽出部1の演算部をCPUで構成し、演算部が記憶部(図示しない)から医用画像処理プログラムを読み込んでその医用画像処理プログラムを実行することで、始点設定部11、探索経路設定部12、重み付け加算処理部13、境界判定部14、及び描画部15の機能を実行するようにしても良い。
また、超音波診断装置1は、端点S1及び端点S2を指定したり、各種設定条件などを入力したりするための操作部(図示しない)を備えている。
(動作)
次に、この発明の第1の実施形態に係る輪郭抽出部1(医用画像処理装置)による一連の動作について図7を参照して説明する。図7は、この発明の第1の実施形態に係る輪郭抽出部(医用画像処理装置)による一連の動作を示すフローチャートである。
(ステップS01)
まず、操作者は、所望の断層像が表示部8に表示されるように、超音波プローブ2の位置や傾きなどを調整し、さらに、画質のパラメータなどを調整して所望の診断部位が表示部8に描画されるようにする。この実施形態では心臓を診断部位とし、図3(a)に示すように、心臓の二腔断面の断層像が表示部8に表示されている場合について説明する。
(ステップS02)
次に、図3(b)に示すように、操作者が操作部(図示しない)を用いて端点S1と端点S2を指定する。この実施形態では、心筋の輪郭を抽出することを目的とするため、心腔内の長軸方向に端点S1と端点S2を指定している。
(ステップS03)
ステップS02で端点S1と端点S2が指定されると、始点設定部11は端点S1と端点S2の座標を受け付けて、図3(c)に示すように、端点S1と端点S2とを結ぶ線分を予め設定された所定の間隔で分割する。始点設定部11は、例えば、端点S1と端点S2とを結ぶ線分を、分割点P1〜P5によって等間隔に分割している。
なお、この実施形態では、操作者が端点S1と端点S2を指定しているが、所定長さの線分を予め設定しておいても良い。その場合、線分を表示部8に表示させ、操作者が超音波プローブ2を移動させたり傾けたりして、心腔内に線分が表示されるようにする。また、始点設定部11は、端点S1と端点S2とを等間隔に分割せずに、予め設定された所定の間隔で線分を分割しても良い。
(ステップS04)
次に、ステップS04では、探索経路設定部12が、始点設定部11から分割点の座標を受けると、各分割点を始点として、図4(a)に示すように、端点S1と端点S2とを結ぶ線分に垂直な線を設定する。この垂線が画素値の重み付け加算処理を行う経路になる。図4(a)には、1つの分割点を始点として、その分割点から延びる1本の垂線を示しているが、探索経路設定部12は、始点設定部11によって設定された分割点P1〜P5をそれぞれ始点とする垂線を設定する。
(ステップS05)
ステップS05では、重み付け加算処理部13が、図4(b)に示すように、探索経路設定部12によって設定された垂線上に所定の長さの区間100を設定し、その区間100に含まれる画素の画素値を用いて、上述した式(1)に従って重み付け加算処理を行う。
(ステップS06、S07)
ステップS06では、境界判定部14が、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値Tとを比較する。そして、加算値A(z)が閾値T以上になった場合(ステップS06、Yes)、境界判定部14は、加算値Aが閾値T以上になった区間内の所定の点を心筋(組織)の境界点と判断する(ステップS07)。そして、境界判定部14は境界点の座標を示す情報を描画部15に出力する。
例えば、図5(a)及び(b)に示すように、重み付け加算処理部13は、5つの画素が含まれる区間100を重み付け加算処理の対象区間とし、その区間100に含まれる5つの画素の画素値に重み係数をかけて加算する。
そして、境界判定部14は、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値Tとを比較し、加算値A(z)が閾値T以上になった区間に含まれる所定の点を心筋(組織)の境界点と判断する。この実施形態では、境界判定部14は、加算値A(z)が閾値T以上になった区間100の中間点を心筋(組織)の境界点としている。また、中間点以外の点として、例えば区間100の端点を心筋(組織)の境界点としても良い。
以上のように、所定長さの区間100に亘って重み付け加算処理を行うことにより、図5(a)に示す心筋(組織)の境界では加算値A(z)は大きく変化し、図5(b)に示すノイズでは加算値A(z)は大きく変化しない。従って、閾値Tを適切に設定することで、加算値A(z)に基づいて、所望の組織の境界とノイズとを区別して所望の組織の境界を適切に検出することができる。
加算値Aが閾値T未満の場合(ステップS06、No)、図4(c)及び(d)に示すように、重み付け加算処理部13は垂線Lに沿って区間100を移動させながら区間100に含まれる画素の画素値を用いて重み付け加算処理を行う。重み付け加算処理部13は、例えば、1画素ずつ区間100を移動させ、移動後の区間100に含まれる画素の画素値に重みを付けて加算することで、区間100についての加算値A(z)を算出する(ステップ05)。この実施形態では、重み付け加算処理部13は、区間100を垂線Lに沿って1画素分移動させ、移動後の区間100に含まれる5つの画素について重み付け加算処理を行うことで、その区間100についての加算値A(z)を算出する。境界判定部14は、その加算値A(z)と閾値Tとを比較し(ステップS06)、加算値Aが閾値T以上であれば、その区間100に含まれる点を心筋(組織)の境界点と判断する(ステップS07)。
以上のように、始点からの探索で、加算値A(z)が最初に閾値T以上となった区間に含まれる所定の点を境界点とする。
そして、重み付け加算処理部13は分割点P1〜P5をそれぞれ始点とした各垂線について重み付け加算処理を行い、境界判定部14はその重み付け加算処理によって得られた加算値A(z)に基づいて心筋(組織)の境界点を判断し、境界点と判断された点の座標を描画部15に出力する。つまり、重み付け加算処理部13及び境界判定部14は、分割点P1〜P5をそれぞれ始点とした各垂線について、ステップS04からステップS07の処理を繰り返することで、各垂線上の境界点を検出する。これにより、複数の境界点が検出され、各境界点の座標を示す情報が描画部15に出力される。
(ステップS08)
ステップS08では、描画部15が境界判定部14から境界点の座標を示す情報を受け、図6に示すように、各境界点を結ぶことで診断部位(心筋)の輪郭を描画する。このとき、描画部15は、DSC6から出力された心筋の断層像に、抽出された輪郭を重畳させて表示部8に表示させる。
以上のように、この実施形態に係る輪郭抽出部1(医用画像処理装置)によると、演算に用いる情報の量や、演算の回数が多くならないため、診断部位の輪郭を簡便かつ高速に抽出して表示することが可能となる。
(第1の変形例)
次に、第1の実施形態に係る輪郭抽出部(医用画像処理装置)の第1の変形例について図8を参照して説明する。図8は、画素値の重み付け加算処理を行う探索経路の別の例を示す模式図である。上述した例では、心筋の内部に線分を設定することにより探索経路の始点を設定していたが、この変形例では、心筋の内部に1つの点を指定し、その点を始点として探索経路を設定する。
例えば、図8(a)に示すように、診断部位である心臓の二腔断面の断層像が表示部8に表示されている状態で、操作者がある1点を指定する。始点設定部11は操作者によって指定された点を始点とし、探索経路設定部12は、その始点から放射状に延びる複数の線(探索経路)を設定する。放射状に延びる線(探索経路)の数や向きを示す設定情報を、予め設定情報記憶部16に記憶させておき、探索経路設定部12は設定情報記憶部16に記憶されている設定情報に従って複数の線(探索経路)を設定する。
重み付け加算処理部13は上述した実施形態と同様に、所定長さの区間(範囲)を設定し、その区間(範囲)に含まれる画素の画素値を用いて重み付け加算処理を行う。この変形例では、重み付け加算処理部13は、図8(b)に示すように、放射状に延びる線(探索経路)に沿って区間(範囲)を移動させながらその区間(範囲)に含まれる画素の画素値に重みを付けて加算する。上述した実施形態と同様に、重み付け加算処理部13は、例えば、1画素ずつ区間を移動させながら重み付け加算処理を行う。
境界判定部14は、上述した実施形態と同様に、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値Tとを比較し、加算値A(z)が最初に閾値T以上となった区間に含まれる所定の点を心筋の境界点と判断する。例えば、区間の中間点を心筋の境界点とする。境界判定部14は、境界点の座標を示す情報を描画部15に出力する。
重み付け加算処理部13と境界判定部14は、探索経路設定部12によって設定された複数の探索経路に沿って、境界点の抽出処理を行い、各境界点の座標を示す情報を描画部15に出力する。描画部15は、境界判定部14から各境界点の座標を示す情報を受け、図8(c)に示すように、境界点を結ぶことで、診断部位(心筋)の輪郭を描画する。
この変形例のように、1点を指定し、その点を始点して放射状に延びる線に沿って重み付け加算処理を行っても、演算に用いる情報の量や、演算の回数が多くならないため、診断部位の輪郭を簡便かつ高速に抽出して表示することが可能となる。なお、操作者が始点を指定せずに、予め設定された位置を始点としても良い。
(第2の変形例)
次に、第1の実施形態に係る輪郭抽出部(医用画像処理装置)の第2の変形例について図9を参照して説明する。図9は、画素値の重み付け加算処理の別の例を示す図である。この第2の変形例では、図9(a)に示すように、心筋の他、弁などの薄い組織が存在する場合において、心筋の境界点を適切に検出する方法について説明する。
このような場合は、重み付け加算処理部13が重み付け加算処理を行う区間(範囲)の長さを長くし、各画素に対する重み付けの係数を変える。
弁などの組織が存在しない場合、重み付け加算処理部13は、図9(b)に示すように、例えば7画素が含まれるように重み付け加算処理を行う区間100を設定し、各画素に対する重み係数が区間100内の画素で対称となるように重み係数を決定している。重み付け加算処理部13は、例えば、重み係数をa、b、c及びdとし、中央の画素に対する重み係数を「d」、その隣の画素に対する重い係数を「c」、その隣の画素に対する重み係数を「b」、端部の画素に対する重み係数を「a」として、区間100内の画素に対する重み係数が対称となるように重み係数を決定している。そして、重み付け加算処理部13は、上述した式(1)に従って各区間100内における加算値A(z)を求める。
これに対して、この第2の変形例では、重み付け加算処理部13は、図9(c)に示すように、例えば13画素が含まれるように重み付け加算処理を行う区間101を設定し、各画素に対する重み付け係数が区間101内の画素で対称となるように重み係数を決定している。さらに、重み付け加算処理部13は、所定間隔おきに画素に対して重み付け加算処理を行う。例えば、1画素おきに重み係数を「0」にして、重み付け加算処理を行う。
例えば、重み付け加算処理部13は、重み係数をa、b、c及びdとし、中央の画素に対する重み係数を「d」、その隣の画素に対する重み係数を「0」とする。そして、重み付け加算処理部13は、区間の端部に向けて各画素に対する重み係数を「c」、「0」、「b」、「0」、「a」とする。このように、各画素に対する重み係数を区間内の画素で対称になるように重み係数を決定し、さらに、1画素おきに重み係数を「0」にする。これらの重み係数は設定情報記憶部16に予め記憶されている。なお、この変形例では、1画素おきに重み係数を「0」としたが、この発明は1画素おきに限定されず、所定間隔おきに重み係数を「0」にしても良い。例えば、2画素おきなどに重み係数を「0」にしても良い。
そして、重み付け加算処理部13、上述した第1の実施形態と同様に重み付け加算処理を行い、境界判定部14は、その重み付け加算処理によって得られた加算値A(z)と閾値Tとを比較し、加算値A(z)が最初に閾値T以上になった区間に含まれる所定の点を心筋(組織)の境界点とする。そして、重み付け加算処理13と境界判定部14は各垂線に沿って重み付け加算処理と境界点の検出を行い、描画部15は、図9(d)に示すように、境界判定部14によって判断された境界点を結んで心筋の輪郭を描画する。
以上のように、重み付け加算処理を行う1区間を長くし、1画素おきに重み係数を「0」にすることで、心筋などの幅が広い組織については、境界付近で加算値Aが大きく変化し、弁などの薄い組織では加算値Aの変化は小さくなる。従って、閾値Tを適切な値に設定することで、心筋などの組織と、弁などの組織とを区別することができ、所望の組織(心筋)のみを検出して輪郭を描画することが可能となる。
なお、この第2の変形例では、端点S1と端点S2を設定したが、第1の変形例のように、1点の始点を指定し、その1点の始点から放射状に延びる線に沿って重み付け加算処理を行っても良い。
また、この実施形態では、2次元情報の断層像データから組織の輪郭を抽出したが、3次元情報としてのボリュームデータから組織の輪郭を抽出することもできる。この場合、探索経路設定部12は3次元空間上に探索経路を設定し、重み付け加算処理部13は、3次元空間上に設定された探索経路に沿って所定の区間に含まれるボクセル値に重みを付けて加算する。境界判定部14は、その加算値と予め設定された閾値とを比較することで、その区間内に組織の境界が含まれているか否かを判断する。加算値がその閾値以上であれば、境界判定部14はその区間内に含まれる所定の位置を組織の境界と判断する。このように、3次元情報としてのボリュームデータについても、2次元情報の断層像データと同様に、所望の組織の境界を検出して輪郭を描画することができる。
また、この実施形態では、心筋の輪郭を描出する場合について説明したが、診断部位としては、心臓以外の臓器であっても構わない。
[第2の実施の形態]
次に、この発明の第2の実施形態に係る輪郭抽出部(医用画像処理装置)について、図10から図12を参照して説明する。図10は、この発明の第2の実施形態に係る輪郭抽出部の構成を示すブロック図である。図11は、輝度値が低い部分がある画像を示す模式図である。図12は、輝度値が低い部分の境界を求める処理を説明するための模式図である。
この第2の実施形態では、心筋(組織)の一部の描出が不完全である画像から所望の診断部位の輪郭を抽出する場合について説明する。なお、第1の実施形態と同様に、診断部位を心臓とし、画像データを断層像データ(Bモード断層像データ)とするが、心臓以外の臓器を診断部位としても良く、画像データとして3次元の画像データを用いても良い。
超音波診断装置では、骨などの障害物によって超音波が関心部位に入射しないことがあり、そのような場合は、図11(a)に示すように、心筋(組織)の一部の輝度値が低いため、その部分の組織が十分に描出されないことがある。
このような場合、例えば、図11(b)に示すように、垂線L1と垂線L3に沿って重み付け加算処理を行うと、心筋(組織)の境界点で加算値Aが閾値T以上になり、適切に心筋(組織)の境界点を抽出することができるが、垂線L2に沿って重み付け加算処理を行っても、その垂線L2上のある心筋の一部の輝度値が低いため、心筋(組織)の境界点を適切に抽出することができない。第2の実施形態では、この問題を解決するため、輪郭抽出部の構成を変える。
図10に示すように、第2の実施形態に係る輪郭抽出部1A(医用画像処理装置)は、第1の実施形態に係る輪郭抽出部1と同様に、始点設定部11、探索経路設定部12、重み付け加算処理部13、境界判定部14、描画部15、及び設定情報記憶部16を備えている。さらに、第2の実施形態に係る輪郭抽出部1Aは、上記の問題を解決するために、第1の距離算出部17、差分算出部18、判定部19、及び補正部20を備えている。
始点設定部11は、第1の実施形態と同様に、端点S1と端点S2とが指定されると、端点S1と端点S2とを結ぶ線分を所定の間隔で分割し、探索経路の始点を設定する。
探索経路設定部12は、始点設定部11によって設定された分割点を始点として垂線を設定する。さらに、探索経路設定部12は、その垂線に対して所定の角度傾斜した補助線を設定する。例えば、図12(a)に示すように、探索経路設定部12は、端点S1と端点S2と結ぶ線分に垂直な垂線L2を設定するとともに、その垂線L2に対して所定の角度傾斜した補助線L4及びL5を設定する。これら補助線L4及びL5の傾斜角度は、設定情報記憶部16に予め記憶されている。なお、操作者がその傾斜角度を任意に変更することができる。例えば、操作者が、表示部8に表示されている断層像を観察することで輝度値が低い部分の範囲を確認し、補助線L4及びL5がその輝度値が低い部分に含まれないように傾斜角度を決定する。このように断層像を確認して傾斜角度を決定することで、補助線L4及びL5を輝度値が高い部分に設定することが可能となる。
重み付け加算処理部13は、第1の実施形態と同様に、探索経路設定部12によって設定された垂線上に所定の長さの区間(範囲)を設定し、その区間(範囲)に含まれる画素の画素値に重みを付けて加算する。この第2の実施形態では、重み付け加算処理部13は、図12(b)に示すように、垂線L2上に所定長さの区間100を設定し、さらに、補助線L4及び補助線L5上にも所定の長さの区間111及び区間112を設定し、それらの区間(範囲)に含まれる画素の画素値に重みを付けて加算する。そして、重み付け加算処理部13は、例えば、1画素ずつ区間100を垂線L2に沿って移動させながら重み付け加算処理を行う。また、重み付け加算処理部13は、1画素ずつ区間111を補助線L4に沿って移動させながら重み付け加算処理を行い、区間112を補助線L5に沿って移動させながら重み付け加算処理を行う。
境界判定部14は、第1の実施形態と同様に、重み付け加算処理部13によって求められた加算値A(z)と予め設定されている閾値Tとを比較し、加算値A(z)が最初に閾値以上になる区間(範囲)に含まれる所定の点を心筋の境界点と判断する。この第2の実施形態では、垂線L2、補助線L4及び補助線L5に沿って重み付け加算処理が行われ、それぞれの線上における境界点が求められる。ここでは、垂線L2上における境界点を境界点Aとし、補助線L4上における境界点を境界点Bとし、補助線L5上における境界点を境界点Cとする。この実施形態においては、垂線L2は断層像の輝度値が低い部分の上に設定されているため、垂線L2上における境界点Aは、心筋の適切な境界を示していないため、仮の境界点となる。
第1の距離算出部17は、境界判定部14によって検出された境界点と始点との間の距離を求める。この第2の実施形態では、垂線L2上における仮の境界点A、補助線L4上における境界点B、及び補助線L5上における境界点Cが求められているため、第1の距離算出部17は、それぞれの境界点と始点との間の距離を求める。例えば、垂線L2上の仮の境界点Aと始点との間の距離をD1とし、補助線L4上の境界点Bと始点との間の距離をD2とし、補助線L5上の境界点Cと始点との間の距離をD3とする。第1の距離算出部17は、始点の座標と各境界点の座標とから、距離D1、D2、及びD3を求める。
図12(b)及び(c)に示すように、補助線L4及び補助線L5上の境界点は組織(心筋)の適切な境界点を示しているが、垂線L2上の仮の境界点Aは組織(心筋)の適切な境界点を示していないため、距離D1は、距離D2及びD3と比べて長くなる。
差分算出部18は、第1の距離算出部17によって求められた距離D1、D2、及びD3を受けて、各距離の差を求め、その差の絶対値を求める。具体的には、差分算出部18は、Abs(D1−D2)、Abs(D2−D3)、及びAbs(D3−D1)を求める。ここで、Abs(X)は、変数Xの絶対値を与える関数である。差分算出部18によって求められた各距離の差分の絶対値は判定部19に出力される。
判定部19は、差分算出部18によって求められた絶対値に基づいて、境界点A、境界点B及び境界点Cのうち、適切に心筋(組織)の境界を示している点を判定する。心筋は滑らかな形状を有しているため、例えば、垂線L2、補助線L4及びL5の全ての線上で適切に心筋の境界点が検出されている場合は、距離D1、D2、及びD3はいずれも近い値になると予想される。従って、全ての線上で適切に心筋の境界点が検出されている場合は、Abs(D1−D2)、Abs(D2−D3)、及びAbs(D3−D1)の値は、いずれも小さい値になると推定される。この場合、判定部19は、全ての境界点A、B及びCが心筋(組織)の適切な境界点であると判断する。例えば、判定部19は、差分の絶対値と予め設定された閾値とを比較し、全ての差分の絶対値がその閾値以下であれば、全ての境界点A、B及びCが心筋(組織)の適切な境界点(真の境界点)であると判断する。つまり、Abs(D1−D2)、Abs(D2−D3)、及びAbs(D3−D1)の値が閾値以下であれば、判定部19は、全ての境界点A、B及びCは心筋(組織)の適切な境界点(真の境界点)であると判断する。
これに対して、例えば、1つの線上で心筋(組織)の境界点が適切に検出されていない場合、3つの絶対値のうち、2つの値が相対的に大きな値となる。この場合、差分の絶対値のうちいずれかの値が閾値より大きくなり、判定部19は、境界点A、B、及びCのうち、いずれかの境界点が心筋(組織)の適切な境界点(真の境界点)ではないと判断する。この場合、判定部19は、3つの絶対値のうち、最も小さい値となる絶対値の組み合わせの境界点を適切な境界点であると判断する。
例えば、補助線L4上の境界点B、及び補助線L5上の境界点Cが心筋(組織)の適切な境界点(真の境界点)であり、垂線L2上の境界点Aが心筋(組織)の適切な境界点(真の境界点)でない場合、始点と境界点Aとの間の距離D1は、距離D2及びD3よりも大きい値になる。従って、Abs(D1−D2)及びAbs(D3−D1)は、Abs(D2−D3)よりも大きな値になり、Abs(D2−D3)は最小値になる。従って、Abs(D2−D3)が最小値であった場合、補助線L4上の境界点B及び補助線L5上の境界点Cは、心筋(組織)の適切な境界点(真の境界点)を示していることになる。従って、判定部19は、3つの絶対値のうち、最小値となる絶対値の組み合わせの境界点を適切な境界点(真の境界点)であると判断する。この実施形態では、Abs(D2−D3)が最小値となるため、判定部19は、補助線L4上の境界点B及び補助線L5上の境界点Cが心筋(組織)の適切な境界点(真の境界点)であると判断する。
補正部20は、判定部19から適切な境界点(真の境界点)の座標を示す情報を受け、それら境界点の中点を求める。この実施形態では、補助線L4上の境界点Bと補助線L5上の境界点Cが心筋(組織)の適切な境界点(真の境界点)を示しているため、補正部20は境界点Bと境界点Cの座標を示す情報を判定部19から受け、境界点Bと境界点Cの中間点の座標を求める。補正部20は、境界点B、境界点C、及び中間点の座標を示す情報を描画部15に出力する。この中間点が垂線L2上における心筋(組織)の境界点とされる。
描画部15は、第1の実施形態と同様に、各境界点を結ぶことで心筋(組織)の輪郭を描画する。このとき、描画部15は、補正後の境界点を結ぶことで心筋の輪郭を描画する。
以上のように、この実施形態に係る超音波診断装置によると、心筋(組織)の一部の描出が不完全であっても、心筋(組織)の輪郭を適切に描出することが可能となる。
なお、第1の実施形態と同様に、輪郭抽出部1Aの演算部をCPUで構成し、演算部が記憶部(図示しない)から医用画像処理プログラムを読み込んでその医用画像処理プログラムを実行することで、始点設定部11、探索経路設定部12、重み付け加算処理部13、境界判定部14、描画部15、第1の距離算出部17、差分算出部18、判定部19、及び補正部20の機能を実行するようにしても良い。
(動作)
次に、この発明の第2の実施形態に係る超音波診断装置(輪郭抽出部1A)による一連の動作について図13を参照して説明する。図13は、この発明の第2の実施形態に係る超音波診断装置による一連の動作を示すフローチャートである。
(ステップS20)
まず、操作者は超音波プローブ2の位置や傾きなどを調整して、図12(a)に示すように、心臓の二腔断面の断層像が表示部8に表示されるようにする。
(ステップS21)
次に、図12(a)に示すように、操作者が操作部(図示しない)を用いて端点S1と端点S2を指定する。第1の実施形態と同様に、心筋の輪郭を抽出することを目的とするため、心腔内の長軸方向に端点S1と端点S2を指定する。
(ステップS22)
ステップS21で端点S1と端点S2が指定されると、始点設定部11は端点S1と端点S2の座標を受け付けて、端点S1と端点S2とを結ぶ線分を予め設定された所定の間隔で分割する。
(ステップS23)
次に、ステップS23では、探索経路設定部12が、始点設定部11から分割点の座標を受けると、各分割点を始点として、端点S1と端点S2とを結ぶ線分に垂直な線を設定する。さらに、探索経路設定部12は、垂線に対して所定の角度傾斜した補助線を設定する。例えば、図12(a)に示すように、探索経路設定部12は、端点S1と端点S2と結ぶ線分に垂直な垂線L2を設定するとともに、その垂線L2に対して所定の角度傾斜した補助線L4及びL5を設定する。
(ステップS24)
ステップS24では、重み付け加算処理部13が、図12(b)に示すように、探索経路設定部12によって設定された垂線L2上に所定長さの区間100を設定し、その区間100に含まれる画素の画素値を用いて、上述した式(1)に従って重み付け加算処理を行う。さらに、重み付け加算処理部13は、補助線L4及びL5上にも所定の長さの区間111及び区間112を設定し、それらの区間に含まれる画素の画素値を用いて重み付け加算処理を行う。重み付け加算処理部13によって求められた加算値は境界判定部14に出力される。
(ステップS25、ステップS26)
ステップS25では、境界判定部14が、重み付け加算処理部13によって求められた加算値と予め設定されている閾値Tとを比較する。そして、加算値が閾値T以上になった場合(ステップS25、Yes)、境界判定部14は、加算値Aが最初に閾値T以上になった区間内の所定の点を心筋(組織)の境界点と判断する(ステップS26)。この第2の実施形態では、重み付け加算処理部13は垂線L2、補助線L4、及び補助線L5について重み付け加算処理を行い、境界判定部14はその重み付け加算処理によって得られた加算値に基づいて心筋(組織)の境界点を判断する。
加算値Aが閾値T未満の場合(ステップS25、No)、重み付け加算処理部13は各線に沿って各区間を移動させながら各区間に含まれる画素の画素値を用いて重み付け加算処理を行う。そして、加算値Aが閾値T以上であれば、その区間に含まれる点を心筋(組織)の境界と判断する(ステップS26)。
(ステップS27)
ステップS27では、第1の距離算出部17が、境界判定部14によって検出された境界点と始点との間の距離を求める。この第2の実施形態では、第1の距離算出部17は、垂線L2上の境界点Aと始点との間の距離D1、補助線L4上の境界点Bと始点との間の距離D2、補助線L5上の境界点Cと始点との間の距離D3を求める。
(ステップS28)
ステップS28では、差分算出部18が、第1の距離算出部17によって求められた距離D1、D2及びD3を受けて、各距離の差を求め、更にその差の絶対値を求める。具体的には、減算処理部18は、Abs(D1−D2)、Abs(D2−D3)、及びAbs(D3−D1)を求める。
(ステップS29)
ステップS29では、判定部19が、減算処理部18によって求められた絶対値に基づいて適切に心筋(組織)の境界を示している点を判定する。まず、判定部19は、差分の絶対値と予め設定された閾値とを比較し、全ての差分の絶対値がその閾値以下であれば、全ての境界点A、B及びCが心筋(組織)の適切な境界点(真の境界点)であると判断する。
一方、差分の絶対値のうちいずれかの値が閾値より大きい場合、判定部19は、境界点A、B及びCのうち、いずれかの境界点が心筋(組織)の適切な境界点(真の境界点)ではないと判断する。この場合、判定部19は、3つの絶対値のうち、最小値となる絶対値の組み合わせの境界点を心筋(組織)の適切な境界点(真の境界点)であると判断する。
図12に示す例では、Abs(D2−D3)が最小値になるため、判断部19は、補助線L4上の境界点B及び補助線L5上の境界点Cが心筋(組織)の適切な境界点(真の境界点)であると判断する。
(ステップS30)
ステップS30では、補正部20が、判定部19から適切な境界点(真の境界点)の座標を示す情報を受け、それら境界点の中点を求める。例えば、境界点Bと境界点Cが心筋(組織)の適切な境界(真の境界点)を示していると判断された場合、補正部20は境界点Bと境界点Cの中間点の座標を求める。この中間点が垂線L2上における心筋(組織)の新たな境界点となる。
また、境界点Bと境界点Cの中間点の座標を求める代わりに、補正部20が、始点から境界点Bまでの距離D2と、始点から境界点Cまでの距離D3との平均値を求め、その平均値を距離D1’とし、垂線L2に沿って始点からその距離D1’離れた点を、垂線L2上の新たな境界点としても良い。
(ステップS31)
ステップS31では、第1の実施形態と同様に、描画部16が検出された複数の境界点を結んで、心筋(組織)の輪郭を描画する。
以上のように、組織の一部の輝度値が低く、その部分の組織が十分に描出されていない場合であっても、その組織の周辺の境界点を検出して補間することで、組織の輪郭を適切に描画することが可能となる。
また、この第2の実施形態においても、第1の実施形態と同様に、3次元情報としてのボリュームデータから組織の輪郭を抽出しても良い。
[第3の実施の形態]
次に、この発明の第3の実施形態に係る輪郭抽出部(医用画像処理装置)について、図14及び図15を参照して説明する。図14は、この発明の第3の実施形態に係る輪郭抽出部の構成を示すブロック図である。図15は、輝度値が低い部分の境界を求めるための処理を説明するための模式図である。
この第3の実施形態では、第2の実施形態と同様に、心筋の一部の描出が不完全である画像から所望の診断部位の輪郭を抽出する場合について説明する。
この第3の実施形態に係る輪郭抽出部1B(医用画像処理装置)は、第1の実施形態に係る輪郭抽出部1に加えて、平滑化処理部21を備えている点が特徴である。この平滑化処理部21は、記憶部7から画像データ(断層像データ)を読み込み、その画像の所定の範囲に対して平滑化フィルタを作用させる。平滑化処理部21が作用させる平滑化フィルタは、2次元のフィルタであっても良く、1次元のフィルタであっても良い。
例えば、図15(a)に示すように、心筋(組織)の一部の輝度値が低い場合、平滑化処理部21は画像データに対して平滑化フィルタを作用させ、図15(b)に示すように、心筋(組織)の連続性を改善させる。
そして、第1の実施形態と同様に、始点設定部11によって始点が設定され、探索経路設定部12によって始点から延びる垂線が設定される。例えば、図15(c)に示すように、垂線L1、L2及びL3が設定される。そして、第1の実施形態と同様に、重み付け加算処理部13及び境界判定部14によって心筋(組織)の境界点を検出し、描画部15が検出された境界点を結んで心筋(組織)の輪郭を描画する。
平滑化フィルタを画像データ(断層像データ)に作用させると、図15(d)に示すように、平滑化処理後の心筋(組織)の境界は平滑化処理前の心筋(組織)の境界と比べて鈍くなるが、閾値Tの値を調整することにより、心筋(組織)の境界点を検出することができる。例えば、閾値Tの値を相対的に高めに設定することで、心筋(組織)の境界点を検出することができる。なお、その鈍さは平滑化の範囲に依存する。
なお、画像データ全体に対して平滑化処理を行っても良く、操作者が指定した範囲に対して平滑化処理を行っても良い。例えば、輝度値が低い部分を含む範囲に対して平滑化フィルタを作用させる。
以上のように平滑化処理を行うことにより、組織の一部の輝度値が低く、その部分の組織が十分に描出されていない場合であっても、組織の輪郭を適切に描画することが可能となる。
なお、第1の実施形態と同様に、輪郭抽出部1Bの演算部をCPUで構成し、演算部が記憶部(図示しない)から医用画像処理プログラムを読み込んでその医用画像処理プログラムを実行することで、始点設定部11、探索経路設定部12、重み付け加算処理部13、境界判定部14、描画部、及び平滑化処理部21の機能を実行するようにしても良い。
また、第2の実施形態に係る輪郭抽出部1Aに平滑化処理部21を設けても良い。
[第4の実施の形態]
次に、この発明の第4の実施形態に係る輪郭抽出部(医用画像処理装置)について、図16及び図17を参照して説明する。図16は、この発明の第4の実施形態に係る輪郭抽出部の構成を示すブロック図である。図17は、累積加算処理を行う探索経路を示す模式図である。
この第4の実施形態に係る輪郭抽出部1C(医用画像処理装置)は、第1の実施形態に係る輪郭抽出部1の重み付け加算処理部13に代えて、累積加算処理部22を備えている点が特徴である。累積加算処理部22以外の構成については、第1の実施形態に係る輪郭抽出部1の構成と同じである。
累積加算処理部22は、図17(a)に示すように、探索経路設定部12によって設定された線上に存在する画素の画素値を累積して加算し、累積して加算した値を境界判定部14に出力する。
境界判定部14は、累積加算処理部22から受けた累積加算値と、予め設定されている閾値とを比較し、図17(b)に示すように、累積加算値がその閾値以上になった画素を心筋(組織)の境界と判断する。境界判定部14は、検出した心筋(組織)の境界点の座標を示す情報を描画部15に出力する。閾値は設定情報記憶部16に記憶されている。この閾値は経験的に求めることができる。
そして、累積加算処理部22及び境界判定部14は、探索経路設定部12によって設定された複数の線について累積加算処理を施すことにより心筋(組織)の境界点を抽出する。描画部15は、累積加算処理部22及び境界判定部14によって抽出された複数の境界点を結ぶことで、心筋(組織)の輪郭を描画する。
以上のように、画素値に対して重み付け加算処理を施す代わりに、累積加算処理を行っても、適切に組織の境界を検出して描画することが可能である。
なお、累積加算処理を行う探索経路の設定方法は、第1の実施形態における方法と同じである。例えば、端点S1と端点S2とを結ぶ線分を分割し、その分割点を始点した垂線を探索経路としても良く、始点を1点のみ指定し、その始点から放射状に広がる線を探索経路としても良い。
また、第1の実施形態と同様に、輪郭抽出部1Cの演算部をCPUで構成し、演算部が記憶部(図示しない)から医用画像処理プログラムを読み込んでその医用画像処理プログラムを実行することで、始点設定部11、探索経路設定部12、累積加算処理部22、境界判定部14、及び描画部15の機能を実行するようにしても良い。
また、組織の一部の輝度値が低く、その部分の組織が十分に描出されていない場合は、第2の実施形態に係る輪郭抽出部1Aのように境界点を補間しても良く、第3の実施形態に係る輪郭抽出部1Bのように平滑化処理を行っても良い。
[第5の実施の形態]
次に、この発明の第5の実施形態に係る輪郭抽出部(医用画像処理装置)について、図18及び図19を参照して説明する。図18は、この発明の第5の実施形態に係る輪郭抽出部の構成を示すブロック図である。図19は、光線追跡処理を説明するための模式図である。
この第5の実施形態に係る輪郭抽出部1D(医用画像処理装置)は、第1の実施形態に係る輪郭抽出部1の重み付け加算処理部13に代えて、光線追跡部23を備えている点が特徴である。光線追跡部23以外の構成については、第1の実施形態に係る輪郭抽出部1の構成と同じである。
この第5の実施形態に係る輪郭抽出部1D(医用画像処理装置)は、3次元画像を生成するためのボリューム・レンダリングの概念を応用することで、心筋(組織)の境界を検出する。
ボリューム・レンダリングには不透明度(オパシティー)という概念がある。この概念は、各ボクセルのボクセル値に対応して不透明度を定義するというものである。そして、不透明度が定義されたボリュームデータに対して光線を照射すると、その光線は、各ボクセルを透過するごとに不透明度に応じて強度が減衰する。光線の減衰は、例えば以下の式(2)で表される。
光線の強度の初期値:I
不透明度:α(0≦α≦1)
光線の強度:I(z+Δz)=(1−α)×I(z)・・・式(2)
I(0)=I
z:始点を原点とする画素の位置
なお、不透明度αは、図19(b)に示すように、画素値(又はボクセル値)に対応している。また、ルックアップテーブルなどを用いて不透明度αを決定しても良い。
光線追跡部23は、画像データを構成する画素の画素値に対応して不透明度αを定義し、始点設定部11によって設定された始点から、探索経路設定部12によって設定された線の方向に光線を発し、その線上の画素を通過するごとに上記の式(2)に従って光線の強度を減衰させる。そして、光線追跡部23は、1画素を通過するごとに得られる光線の強度を境界判定部14に出力する。
境界判定部14は、光線追跡部23から出力される光線の強度を受けて、予め設定されている閾値Sと比較する。そして、境界判定部14は、光線追跡部23から出力される光線の強度が、最初に閾値S以下になった画素を心筋(組織)の境界と判断する。なお、閾値Sは予め設定情報記憶部16に記憶されている。
そして、光線追跡部23は、探索経路設定部12によって設定された複数の線について光線追跡処理を施し、境界判定部14はそれぞれの線について心筋(組織)の境界点を抽出する。描画部15は、光線追跡部23及び探索経路設定部12によって抽出された複数の境界点を結ぶことで、心筋(組織)の輪郭を描画する。
以上のように、各画素に不透明度を設定して光線追跡処理を施すことによっても、適切に組織の境界を検出して描画することが可能である。
なお、光線追跡処理を行う探索経路の設定方法は、第1の実施形態における方法と同じである。例えば、端点S1と端点S2とを結ぶ線分を分割し、その分割点を始点した垂線を探索経路としても良く、始点を1点のみ指定し、その始点から放射状に広がる線を探索経路としても良い。
なお、第1の実施形態と同様に、輪郭抽出部1Dの演算部をCPUで構成し、演算部が記憶部(図示しない)から医用画像処理プログラムを読み込んでその医用画像処理プログラムを実行することで、始点設定部11、探索経路設定部12、光線追跡部23、境界判定部14、及び描画部15の機能を実行するようにしても良い。
また、組織の一部の輝度値が低く、その部分の組織が十分に描出されていない場合は、第2の実施形態に係る輪郭抽出部1Aのように境界点を補間しても良く、第3の実施形態に係る輪郭抽出部1Bのように平滑化処理を行っても良い。
[第6の実施の形態]
次に、第6の実施形態に係る輪郭抽出部(医用画像処理装置)について、図20及び図21を参照して説明する。図20は、この発明の第6の実施形態に係る輪郭抽出部の構成を示すブロック図である。図21は、平均化処理を説明するための模式図である。
この第6の実施形態に係る輪郭抽出部1E(医用画像処理装置)は、第1の実施形態に係る輪郭抽出部1に加えて、第2の距離算出部24と平均値算出部25とを備えている点が特徴である。第2の距離算出部24と平均値算出部25以外の構成については、第1の実施形態に係る輪郭抽出部1の構成と同じである。
第2の距離算出部24は、始点設定部11によって設定された始点と、境界判定部14によって検出された境界点との間の距離を求める。平均値算出部25は、第2の距離算出部24によって求められた距離の平均値を求める。平均値算出部25は、例えば、近接する境界点同士の距離の平均値を求める。描画部15は、平均値算出部25から距離の平均値を受けると、始点から探索方向に沿ってその平均値の距離だけ離れた点を新たな境界点とし、その新たな境界点を結んで心筋(組織)の輪郭を描画する
以上のように、始点から各境界点までの距離を平均化することで、心筋(組織)の境界線を滑らかに描画することが可能となる。
なお、第2から第5の実施形態に係る輪郭抽出部に第2の距離算出部24と平均値算出部25を設置しても良い。第2から第5の実施形態に係る輪郭抽出部に第2の距離算出部24と平均値算出部25を設置した場合であっても、第6の実施形態と同様に、心筋(組織)の境界線を滑らかに描画することが可能となる。
この発明の第1の実施形態に係る超音波診断装置の概略的な構成を示すブロック図である。 この発明の第1の実施形態に係る輪郭抽出部の構成を示すブロック図である。 画素値の重み付け加算処理を行う探索経路の始点の設定を説明するための模式図である。 画素値の重み付け加算処理を行う探索経路を示す模式図である。 画素値の重み付け加算処理を行う区間を示す図である。 抽出された輪郭と断層像とを示す模式図である。 この発明の第1の実施形態に係る輪郭抽出部(医用画像処理装置)による一連の動作を示すフローチャートである。 画素値の重み付け加算処理を行う探索経路の別の例を示す模式図である。 画素値の重み付け加算処理の別の例を示す図である。 この発明の第2の実施形態に係る輪郭抽出部の構成を示すブロック図である。 輝度値が低い部分がある画像を示す模式図である。 輝度値が低い部分の境界を求める処理を説明するための模式図である。 この発明の第2の実施形態に係る超音波診断装置による一連の動作を示すフローチャートである。 この発明の第3の実施形態に係る輪郭抽出部の構成を示すブロック図である。 輝度値が低い部分の境界を求めるための処理を説明するための模式図である。 この発明の第4の実施形態に係る輪郭抽出部の構成を示すブロック図である。 累積加算処理を行う探索経路を示す模式図である。 この発明の第5の実施形態に係る輪郭抽出部の構成を示すブロック図である。 光線追跡処理を説明するための模式図である。 この発明の第6の実施形態に係る輪郭抽出部の構成を示すブロック図である。 平均化処理を説明するための模式図である。
符号の説明
1、1A、1B、1C、1D、1E 輪郭抽出部
11 始点設定部
12 探索経路設定部
13 重み付け加算処理部
14 境界判定部
15 描画部
16 設定情報記憶部
17 第1の距離算出部
18 差分算出部
19 判定部
20 補正部
21 平滑化処理部
22 累積加算処理部
23 光線追跡部
24 第2の距離算出部
25 平均値算出部

Claims (10)

  1. 医用画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、
    前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、
    前記各経路及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定手段と、
    前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と、
    求められた前記距離同士の差分の絶対値を求める差分算出手段と、
    前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、
    前記境界判定手段によって判定された前記各経路における境界の位置、及び前記判定手段で判定された真の境界の位置を基に、前記組織の境界を表示手段に描画する描画手段と、
    を有することを特徴とする医用画像処理装置。
  2. 前記探索経路設定手段は、前記複数の経路の始点を前記医用画像上にひかれた一つの線分上に設定、又は前記医用画像上の一つの点に設定することを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記経路上の所定位置の画素は、前記所定範囲に含まれる画素のうち中央又は端部の画素であることを特徴とする請求項1から請求項2のいずれかに記載の医用画像処理装置。
  4. 前記重み付け加算処理手段は、前記所定範囲に含まれる複数の画素の所定間隔おきに重み付けが0の画素を有するように前記所定範囲が長くされており、前記所定範囲内の重み付けが0以外の画素には所定の重みを付けて、前記重みを付けた画素値を加算することを特徴とする請求項1から請求項3のいずれかに記載の医用画像処理装置。
  5. 前記判定手段による判定の結果、前記二つの補助経路上に真の境界位置があると判定されたとき、これらの前記真の境界の位置の座標の平均を求め、その平均の座標の位置を前記一つの経路の新たな境界の位置とする補正手段を更に有し、
    前記描画手段は、前記新たな境界の位置を含む境界を前記表示手段に描画することを特徴とする請求項1に記載の医用画像処理装置。
  6. 前記医用画像は、平滑化処理が施された後の画像であることを特徴とする請求項1から請求項5のいずれかに記載の医用画像処理装置。
  7. 前記描画手段は、前記境界判定手段によって判定された境界の位置、及び前記判定手段で判定された真の境界の位置を基に、前記組織の境界を前記医用画像に重畳させて前記表示手段に描画することを特徴とする請求項1から請求項6のいずれかに記載の医用画像処理装置。
  8. 被検体に超音波を送信し、前記被検体からの反射波を受信して前記反射波に基づいて前記被検体の画像を生成する超音波診断装置であって、
    前記画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、
    前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、
    前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定手段と、
    前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と、
    求められた前記距離同士の差分の絶対値を求める差分算出手段と、
    前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、
    前記境界判定手段によって判定された前記各経路における境界の位置、及び前記判定手段で判定された真の境界の位置を基に、前記組織の境界を前記画像に重畳させて表示手段に描画する描画手段と、
    を有することを特徴とする超音波診断装置。
  9. 被検体に超音波を送信し、前記被検体からの反射波を受信して前記反射波に基づいて心臓の画像を生成して表示手段に表示する超音波診断装置であって、
    前記心臓の画像の内側における所定の点を始点として直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定手段と、
    前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理手段と、
    前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を前記心臓の心筋の境界の位置と判定する境界判定手段と、
    前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出手段と、
    求められた前記距離同士の差分の絶対値を求める差分算出手段と、
    前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定手段と、
    前記境界判定手段によって判定された心筋の境界の位置、及び前記判定手段で判定された真の境界の位置とを基に、前記心筋の境界を前記心臓の画像に重畳させて前記表示手段に描画する描画手段と、
    を有することを特徴とする超音波診断装置。
  10. コンピュータに、
    医用画像を取り込んで、前記医用画像上に直線的な複数の経路を設定するとともに、前記複数の経路の少なくとも一つの経路の始点を始点とし該一つの経路に対して所定角度でひかれた二つの補助経路を設定する探索経路設定機能と、
    前記経路上及び前記補助経路上の所定位置の画素の周囲の所定範囲に含まれる各画素の画素値に対して重みの値が0以上である所定の重みを付けて、前記重みを付けた画素値を加算して指標値を算出する処理を、前記各経路及び前記補助経路毎にその経路に沿って行う重み付け加算処理機能と、
    前記各経路上及び前記補助経路上で、前記重み付け加算処理手段による指標値が所定値以上になった前記所定位置を所望の組織の境界の位置と判定する境界判定機能と、
    前記一つの経路、前記二つの補助経路のそれぞれについて前記境界判定手段によって判定された各前記境界の位置と前記始点との間の距離を求める第1の距離算出機能と、
    求められた前記距離同士の差分の絶対値を求める差分算出機能と、
    前記絶対値が所定の値以下となる差分における境界の位置を真の境界の位置と判定する判定機能と、
    前記境界判定機能によって判定された前記各経路における境界の位置、及び前記判定機能で判定された真の境界の位置を基に、前記組織の境界を表示手段に描画する描画機能と、
    を実行させることを特徴とする医用画像処理プログラム。
JP2006013059A 2006-01-20 2006-01-20 医用画像処理装置、超音波診断装置及び医用画像処理プログラム Expired - Fee Related JP4896530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006013059A JP4896530B2 (ja) 2006-01-20 2006-01-20 医用画像処理装置、超音波診断装置及び医用画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006013059A JP4896530B2 (ja) 2006-01-20 2006-01-20 医用画像処理装置、超音波診断装置及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2007190288A JP2007190288A (ja) 2007-08-02
JP4896530B2 true JP4896530B2 (ja) 2012-03-14

Family

ID=38446421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006013059A Expired - Fee Related JP4896530B2 (ja) 2006-01-20 2006-01-20 医用画像処理装置、超音波診断装置及び医用画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4896530B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971748B1 (ko) 2007-11-30 2010-07-22 정춘길 근거리 무선 전력전송 시스템
JP5525713B2 (ja) * 2008-10-16 2014-06-18 株式会社東芝 超音波診断装置、超音波信号処理装置及び超音波信号処理プログラム
WO2011062108A1 (ja) * 2009-11-19 2011-05-26 株式会社 日立メディコ 画像処理装置及び画像処理方法
JP5714711B2 (ja) * 2011-09-27 2015-05-07 日本メジフィジックス株式会社 心筋輪郭判定技術
JP2017162391A (ja) 2016-03-11 2017-09-14 東芝メモリ株式会社 画像処理方法及び画像処理プログラム
JP7146528B2 (ja) * 2018-08-28 2022-10-04 株式会社Screenホールディングス 基板検査装置、基板処理装置、基板検査方法および基板処理方法
JP7213412B2 (ja) * 2018-09-12 2023-01-27 学校法人立命館 医用画像抽出装置、医用画像抽出方法、及び、コンピュータプログラム
US11918423B2 (en) 2018-10-30 2024-03-05 Corindus, Inc. System and method for navigating a device through a path to a target location

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175922A (ja) * 1993-12-20 1995-07-14 Kawasaki Steel Corp 医用診断画像の組織領域抽出方法
JP3347205B2 (ja) * 1993-12-28 2002-11-20 オリンパス光学工業株式会社 超音波診断装置および超音波診断装置における画像処理方法
JP3464533B2 (ja) * 1994-04-22 2003-11-10 株式会社日立メディコ 超音波診断装置
JP3489749B2 (ja) * 1994-06-24 2004-01-26 株式会社日立メディコ 超音波診断装置
JP3696616B2 (ja) * 1994-05-27 2005-09-21 フクダ電子株式会社 超音波診断装置
JP4253070B2 (ja) * 1999-05-06 2009-04-08 アロカ株式会社 超音波診断装置
JP2006051285A (ja) * 2004-08-16 2006-02-23 Aloka Co Ltd 超音波診断装置

Also Published As

Publication number Publication date
JP2007190288A (ja) 2007-08-02

Similar Documents

Publication Publication Date Title
JP4896530B2 (ja) 医用画像処理装置、超音波診断装置及び医用画像処理プログラム
JP5414157B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP5645811B2 (ja) 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
JP3872424B2 (ja) 超音波診断装置
JP5138369B2 (ja) 超音波診断装置及びその画像処理方法
EP2302414A2 (en) Ultrasound system and method of performing measurement on three-dimensional ultrasound image
JP5990834B2 (ja) 診断画像生成装置および診断画像生成方法
EP2612600B1 (en) Three-dimensional elastic image generation method and ultrasonic diagnosis device
JP2001340336A (ja) 超音波診断装置及び超音波診断方法
JP4879263B2 (ja) 超音波診断装置及び超音波診断方法
US11844656B2 (en) Ultrasound diagnostic apparatus, method of controlling ultrasound diagnostic apparatus, and non-transitory computer-readable recording medium storing therein computer-readable program for controlling ultrasound diagnostic apparatus
JP6381972B2 (ja) 医用画像処理装置および医用画像診断装置
US7223240B2 (en) Ultrasonic diagnostic apparatus
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP5416392B2 (ja) 超音波診断装置
JP5525713B2 (ja) 超音波診断装置、超音波信号処理装置及び超音波信号処理プログラム
JP2009039240A (ja) 超音波診断装置、及び超音波画像処理プログラム
KR101117913B1 (ko) 볼륨 데이터를 렌더링하는 초음파 시스템 및 방법
JP5331313B2 (ja) 超音波診断装置
JP4528247B2 (ja) 超音波診断装置及び超音波画像処理方法
JP2008289548A (ja) 超音波診断装置及び診断パラメータ計測装置
JP6204544B2 (ja) 診断画像生成装置
JP6150922B1 (ja) 超音波診断装置
JP4656392B2 (ja) 超音波診断装置
JP6837924B2 (ja) 超音波診断装置及びサンプルゲート設定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees