JP5226974B2 - 画像診断支援装置、方法及びプログラム - Google Patents

画像診断支援装置、方法及びプログラム Download PDF

Info

Publication number
JP5226974B2
JP5226974B2 JP2007161224A JP2007161224A JP5226974B2 JP 5226974 B2 JP5226974 B2 JP 5226974B2 JP 2007161224 A JP2007161224 A JP 2007161224A JP 2007161224 A JP2007161224 A JP 2007161224A JP 5226974 B2 JP5226974 B2 JP 5226974B2
Authority
JP
Japan
Prior art keywords
slice image
lesion area
slice
image group
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007161224A
Other languages
English (en)
Other versions
JP2009000153A (ja
JP2009000153A5 (ja
Inventor
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007161224A priority Critical patent/JP5226974B2/ja
Priority to US12/139,742 priority patent/US8150129B2/en
Publication of JP2009000153A publication Critical patent/JP2009000153A/ja
Publication of JP2009000153A5 publication Critical patent/JP2009000153A5/ja
Application granted granted Critical
Publication of JP5226974B2 publication Critical patent/JP5226974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は画像診断支援装置、方法及びプログラムに係り、特に撮影時期又はモダリティが異なるスライス画像群を比較読影するのに好適な技術に関する。
従来、第1のモダリティにより得られた病変部候補を含む画像と、第1のモダリティとは異なる第2のモダリティから得られた病変部候補を含む画像とを相互に比較対照し、両画像に含まれる病変部候補の同定を行い、これらの病変部候補を含む画像を並列表示するとともに、同定された病変部候補同士を互いに特定できるように表示するようにしたコンピュータ支援診断装置が提案されている(特許文献1)。
また、肺野領域を撮影した第1の撮影時期のスライス画像群から基準スライス画像(例えば、肺野領域の端部のスライス画像)を設定するとともに、第1の撮影時期とは異なる撮影時期の第2の撮影時期のスライス画像群から上記基準スライス画像と同じスライス位置(肺野領域の端部の位置)のスライス画像を基準スライス画像として設定し、前記第1の撮影時期のスライス画像群と第2の撮影時期のスライス画像群とから、前記基準スライス画像から等距離のスライス画像をそれぞれ選択し、両者を比較できるようにしたコンピュータ支援画像診断システムが提案されている(特許文献2)。
特開2004−180932号公報 特開2006−187499号公報
しかしながら、特許文献1に記載の発明は、異なるモダリティから得られた病変部候補を含む画像から同じ病変部候補(同定された病変部候補)を比較できるように表示することができるが、それぞれ異なるモダリティから得られたスライス画像群のスライス位置を合わせるものではない。
また、特許文献2に記載の発明は、第1の撮影時期のスライス画像群の基準スライス画像と、第2の撮影時期のスライス画像群の基準スライス画像とが同じ部位のスライス画像であっても、撮影時の呼吸などの影響により、これらのスライス画像から等距離のスライス画像が同じ部位のスライス画像とならない場合があり、特に腫瘍を対象として読影する場合には、腫瘍が存在するスライス画像がずれる可能性がある。
本発明はこのような事情に鑑みてなされたもので、撮影時期又はモダリティが異なるスライス画像群に含まれる病変領域同士を正確に比較読影することができる画像診断支援装置、方法及びプログラムを提供することを目的とする。
前記目的を達成するために請求項1に係る画像診断支援装置は、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得するスライス画像群取得手段と、前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する病変領域抽出手段と、前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する基準スライス画像決定手段と、前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択するスライス画像選択手段であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択するスライス画像選択手段と、前記選択したスライス画像を比較読影可能に表示手段に出力する出力手段と、を備え、前記基準スライス画像決定手段は、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定することを特徴としている。
即ち、撮影時期又はモダリティが異なる第1のスライス画像群及び第2のスライス画像群からそれぞれ抽出した第1の病変領域及び第2の病変領域を元に第1の基準スライス画像及び第2の基準スライス画像を決定し、これらの第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択して比較読影可能に表示手段に出力するようにしている。このように病変領域を元に基準スライス画像を決定するようにしたため、病変領域の比較読影を行う観点からは、撮影時期又はモダリティが異なるスライス画像の位置合わせを効果的に行うことができる。尚、病変領域としては、脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞等の候補領域が含まれる。
請求項2に係る画像診断支援装置は、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得するスライス画像群取得手段と、前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する病変領域抽出手段と、前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する基準スライス画像決定手段と、前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択するスライス画像選択手段であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択するスライス画像選択手段と、前記選択したスライス画像を比較読影可能に表示手段に出力する出力手段と、を備え、前記基準スライス画像決定手段は、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定することを特徴としている。
前記所定の係数が0.5の場合には、病変領域のスライス方向の長さの中央位置におけるスライス画像が基準スライス画像となる。
請求項に示すように請求項1又は2に記載の画像診断支援装置において、前記病変領域抽出手段は、前記取得した第1のスライス画像群及び第2のスライス画像群を解析して各スライス画像に含まれる第1の病変領域及び第2の病変領域をそれぞれ自動抽出する自動抽出手段と、前記自動抽出した第1の病変領域及び第2の病変領域の外形情報を取得する外形情報取得手段とを有することを特徴としている。
請求項に示すように請求項1又は2に記載の画像診断支援装置において、前記病変領域抽出手段は、前記取得した第1のスライス画像群及び第2のスライス画像群のうちの少なくとも1枚のスライス画像をそれぞれ表示する表示手段と、前記表示手段に表示されたスライス画像上で第1の病変領域及び第2の病変領域内のシード点を指定する指定手段と、前記指定されたシード点を基準にして第1の病変領域及び第2の病変領域を抽出する抽出手段と、前記抽出した第1の病変領域及び第2の病変領域の外形情報を取得する外形情報取得手段とを有することを特徴としている。
尚、前記病変領域抽出手段による病変領域の抽出結果を、スライス画像群に関連づけて記録しておくことにより、次回の比較読影時にその記録した抽出結果を利用することができる。
請求項に係る画像診断支援方法は、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する工程と、前記取得した第1のスライス画像群及び第1のスライス画像群を病変領域抽出手段に入力し、該病変領域抽出手段により前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する工程と、基準スライス画像決定手段により前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する工程であって、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定する工程と、スライス画像選択手段により前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する工程であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する工程と、前記選択したスライス画像を比較読影可能に表示手段に表示させる工程と、を含むことを特徴としている。
請求項6に係る画像診断支援方法は、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する工程と、前記取得した第1のスライス画像群及び第1のスライス画像群を病変領域抽出手段に入力し、該病変領域抽出手段により前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する工程と、基準スライス画像決定手段により前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する工程であって、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定する工程と、スライス画像選択手段により前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する工程であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する工程と、前記選択したスライス画像を比較読影可能に表示手段に表示させる工程と、を含むことを特徴としている。
請求項7に係る画像診断支援プログラムは、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する機能と、前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する機能と、前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する機能であって、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定する機能と、前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する機能であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する機能と、前記選択したスライス画像を比較読影可能に表示手段に表示させる機能と、をコンピュータに実現させることを特徴としている。
請求項8に係る画像診断支援プログラムは、撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する機能と、前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する機能と、前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する機能であって、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定する機能と、前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する機能であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する機能と、前記選択したスライス画像を比較読影可能に表示手段に表示させる機能と、をコンピュータに実現させることを特徴としている。
本発明によれば、撮影時期又はモダリティが異なるスライス画像群に含まれる病変領域を元に基準スライス画像を決定し、この基準スライス画像から等距離のスライス画像を各スライス画像群から選択して比較読影可能にしたため、病変領域の比較読影の観点から良好なスライス画像の提示を行うことができる。
以下、添付図面に従って本発明に係る画像診断支援装置、方法及びプログラムの好ましい実施の形態について説明する。
<装置構成>
図1は本発明に係る画像診断支援装置を含む画像診断支援ネットワークシステムのシステム構成図である。
この画像診断支援ネットワークシステムは、主として読影医、臨床医等が操作する画像診断支援装置10と、X線CT装置50と、MRI装置52と、画像データベース(画像DB)60と、これらを接続する院内LANなどのネットワーク網70とによって構成されている。
画像診断支援装置10は、パーソナルコンピュータ(パソコン)によって構成されており、主として各構成要素の動作を制御する中央処理装置(CPU)12と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ14と、液晶ディスプレイ、CRTディスプレイ等のモニタ装置30の表示を制御するグラフィックボード16と、ネットワーク網70と接続される通信インターフェース(通信I/F)18と、パソコンのオペレーティングシステム(OS)、パソコンに接続された周辺機器のデバイスドライバ、本発明に係る画像診断支援プログラムを含む各種のアプリケーションソフト等が格納されるハードディスク装置20と、CD−ROMドライブ22と、キーボード32のキー操作を検出して指示入力としてCPU12に出力するキーボードコントローラ24と、位置入力装置としてのマウス34の状態を検出してモニタ装置30上のマウスポインタの位置やマウス34の状態等の信号をCPU12に出力するマウスコントローラ26とから構成されている。
尚、上記構成のパソコンは、ハードディスク装置20に格納されている、本発明に係る画像診断支援プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。
X線CT装置50及びMRI装置52は、それぞれ図2に示すようにz軸方向(被検体の体軸方向)に沿って連続した多数のスライス画像を撮影する。X線CT装置50及びMRI装置52によって撮影されたスライス画像群は、画像DB60に格納される。
画像DB60は、患者、撮影日時、撮影部位、及びX線CT装置50やMRI装置52などのモダリティの種類に関連づけて、各モダリティによって撮影されたスライス画像群を保存・管理する。
読影医や臨床医は、画像診断支援装置10を操作し、画像DB60からネットワーク網70を介してスライス画像群を取得させ、後述するように所望のスライス画像をモニタ装置30に表示させ、モニタ装置30に表示された画像を読影し、読影レポートやカルテを作成する。
<画像診断支援方法>
図3は本発明に係る画像診断支援方法の処理手順を示すフローチャートであり、この処理は、画像診断支援プログラムを起動することによって実施される。
読影医は、画像診断支援装置10のキーボード32やマウス34を操作し、患者名、撮影日時、撮影部位、及び3Dモダリティの種類等を入力し、この入力した情報に基づいて画像DB60から所望のスライス画像群(第1撮影時期のスライス画像群)を取得させる(ステップS10)。
画像診断支援装置10は、画像診断支援プログラムによる画像解析により前記取得した第1撮影時期のスライス画像群から病変領域(3D腫瘍領域)を半自動又は全自動で抽出する(ステップS12)。
ここで、病変領域を半自動で抽出する抽出方法について説明する。
まず、読影医は、前記取得したスライス画像群の各スライス画像を順次モニタ装置30に表示させながら画像診断を行い、所望のスライス画像(例えば、病変領域が比較的大きく撮影されているスライス画像)を選択する。
続いて、図4に示すようにモニタ装置30に表示されたスライス画像上の病変領域80の中心(シード点)にカーソル82をマウス操作によって移動させ、1クリック3D計測でマーキングし、病変領域の半自動抽出を実行させる。
病変領域の1クリック3D計測は、以下のようにして行う。
まず、図5の(a)に示すように、指示された点Cを中心とした、病変領域(腫瘍領域)を抽出する。この点Cは、腫瘍領域の中心に近い点を指示するのが望ましい。
腫瘍領域を充分に含む一定半径の領域を判別領域TTとして決定する。
次に、図5(a)に示すような判別領域TTの画像を、点Cからの距離と、点Cを通る所定の直線とのなす角度θで表す極座標平面上に展開した判別画像PPに変換する。例えば、図5(a)に示す画像の半径方向の線分CDを基準とし、時計回りの方向の角度θとして極座標変換して得られた図5(b)の極座標画像を用いて、判別領域内の各画素に対して腫瘍領域の輪郭であるか否かの判定を行なう。
判別領域内の各画素(x、y)と点Cを通る直線上の1次元輝度プロファイル内の輝度情報から抽出される特徴量に基づいて、判別領域内の各画素(x、y)が輪郭を表す画素であるかどうかの評価値を算出する。
各画素(x、y)と点Cを通る直線上の1次元輝度プロファイルは、腫瘍領域の輪郭であるところの前後で輝度値が急激に変化する。そこで、輝度値から特徴量を算出して、この特徴量を用いた判別器を生成する。判別器から得られた結果に基づいて、図5(c)の太線Bで示すような輪郭を構成する画像(x、y)を求める。そこで、極座標系で表されている判別領域PPを通常の座標系に逆変換して図5(d)に示すように判別領域TTの画像上の輪郭を決定する。この輪郭に囲まれた領域を腫瘍領域(つまり、病変領域)として抽出する。
あるいは、“Wormanns D, Kohl G, Klotz E, et al. Volu- metric measurements of pulmonary nodules at multi-row detector CT: in vivo reproducibility. Eur Radiol 2004;14(1):86-92.”などに示されている領域分離技術を用いて、病変領域を抽出してもよい。
上記の病変領域の抽出を、連続するスライス画像にわたって行うことによって病変領域の3次元の外形情報を取得する。
また、病変領域を自動抽出する場合には、スライス画像を解析し、注目領域の特徴を分析する。
注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。
(1) 形態の特徴
異常陰影の形態は、図6に示すような、類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形に分けられる(詳細は、“岩野他、孤立性肺結節の良悪性コンピュータ支援診断、JRC2006”などを参照)。
これらの形態は、円形度(周囲長と面積の比)、二次重心モーメント(結節重心と結節内画素点間距離の2乗総和を面積の2乗で正規化したもの)を用いて分類することができる。
円形度と二次モーメントは図7に示すような分布を示し、各楕円で囲まれた範囲内にそれぞれ類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形(前述のいずれにも
属さないもの)に分類される。そこで、既存の非線形判別手法、設計判別手法などを用いて、円形度と二次モーメントなどの特徴量を入力することによってどのような形態であるかを出力する判別器を実現することができる。
(2) 大きさの特徴
異常陰影の大きさは、面積、体積、長軸および短軸径などによって表され、抽出された注目領域から自動的に計測することができる。
(3) 注目領域内の濃度の特徴
異常陰影は、濃度によってPure GGO(スリガラス影)、Mixed GGO(スリガラス影と高
濃度)、Solid(高濃度)に分けられる。前述の抽出手段43によって抽出された注目領
域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。
更に、濃度値から、異常陰影の領域内に石灰化有無や空洞有無で分けることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値(例えば、目安CT値500)以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値(例えば、目安CT値500)以下の場合に空洞が存在すると判定する。
(4) 注目領域の辺縁部の濃度の特徴
異常陰影の辺縁部は、明瞭であるか、不明瞭であるかに分けることができる。辺縁部が、明瞭であるか不明瞭であるかは、分析プログラム14によって抽出された注目領域の輪郭内外の濃度差を用いて分類を行う。図8に示す太線を輪郭とする注目領域の内部領域(輪郭の内側)と周囲(輪郭の外側の斜線部)の濃度値から濃度差を、次式で求める。
濃度差=[濃度値の平均値(周囲)-平均値(内部)]/[分散(周囲)+分散(内部)]
(5) 解剖学的な位置
次に、注目領域の解剖学的な位置を認識する。例えば、胸部画像では、図9に示すように、まず、入力された胸部画像(同図(a)参照)より自動的に肺野の抽出(同図(b)参照)と気管支の抽出(同図(d))を行う。更に、気管支の形状から葉間裂を抽出して(同
図(c)(e)参照)、肺野を分けた肺葉分類(右上、中、下葉、左上、下葉)を行う(詳細は、文献1“林 達郎,周 向栄,原 武史,藤田広志,横山龍二郎,桐生拓司,星 博昭:胸部マルチスライスCT画像における葉間裂の自動抽出手順の開発と性能評価,電子情報通信学会技術研究報告, MI2003-53, 39-44 (2003)”、文献2“中田他、3次元胸部CT像から抽出された気管支の葉分類に関する検討、第15回コンピュータ支援画像学会、pp275-276、2005.11”、文献3“田中他、血管と気管支の空間的配置特徴に基づく胸部X線CT像からの肺動脈・肺静脈自動分類、電子情報通信学会論文誌、DII、Vol.J88、PP1421-1431、2005.4”、文献4“:Shyu C, Brodley CE, Kak A, Kosaka A,Aisen A, Broderick L. ASSERT, a physician-in-the-loop content-based image retrieval system for HRCT image databases.Computer Vision and Image Understanding,1999;74: 111-132”などを参照)。例えば、図9(a)に示す、注目領域(黒矢印が指す部分)の解剖学的位置は、「左肺・上葉・S2」として認識される。
上記のようにしてスライス画像内の注目領域の特徴量を求めることにより、その注目領域が病変領域か否かを判別し、その後、上記と同様に連続するスライス画像にわたって病変領域を抽出することにより、病変領域(3D腫瘍領域)の3D外形情報を取得する。
図3に戻って、病変領域の3D外形情報を取得すると、画像診断支援プログラムにより第1撮影時期のスライス画像群の中から最大面積の病変領域を有するスライス画像を求める。尚、スライス画像毎に病変領域の輪郭を求めているため、この輪郭内の画素数を算出することにより、各スライス画像に含まれる病変領域の面積を求めることができる。
そして、図10(a)に示すように最大面積の病変領域を有するスライス画像を基準スライス画像として決定する(ステップS14)。
また、基準スライス画像は、上記の決定方法に限らず、図10(b)に示すように病変領域80のスライス方向の長さLを求め、この長さLに0〜1の範囲の所定の係数(図10の例では、0.5)を乗算し、病変領域80の一端(図10上では、上端)から0.5Lだけ離れた位置のスライス画像を、基準スライス画像として決定するようにしてもよい。
次に、読影医は、画像診断支援装置10を操作し、画像DB60から第1撮影時期と異なる第2撮影時期のスライス画像群を取得させる(ステップS20)。尚、第1撮影時期のスライス画像群と同じ患者、同じ撮影部位のスライス画像群を取得させることは言うまでもない。
続いて、第1撮影時期のスライス画像群から3D腫瘍領域(病変領域)を抽出した方法と同様にして、第2撮影時期のスライス画像群から3D腫瘍領域を抽出し(ステップS22)、また、この抽出した3D腫瘍領域の外形情報を元に第2撮影時期のスライス画像群の中から最大面積の病変領域を有するスライス画像を求め、このスライス画像を第2撮影時期のスライス画像群の基準スライス画像として決定する(ステップS24)。
上記のようにして第1撮影時期のスライス画像群の基準スライス画像と、第2撮影時期のスライス画像群の基準スライス画像とが決定すると、これらの基準スライス画像からスライス方向に等距離のスライス画像を、第1撮影時期のスライス画像群及び第2撮影時期のスライス画像群からそれぞれ取得する(ステップS30)。尚、等距離の初期値を0にすることにより、第1撮影時期のスライス画像群の基準スライス画像と、第2撮影時期のスライス画像群の基準スライス画像とを取得することができる。
画像診断支援プログラムは、ステップS30で取得したスライス画像をモニタ装置30に並べて表示させる。図11は第1撮影時期のスライス画像Aと第2撮影時期のスライス画像Bとが比較読影可能に並べて表示されたモニタ画面のイメージ図である。
読影医は、スライス画像Aとスライス画像Bとを比較読影することにより、病変領域の大きさ、形状、濃度の変化等を容易に認識することができる。
また、読影医は、キーボード32やマウス34を操作して基準スライス画像からの距離を変更させる指示(例えば、マウスホイールを前方又は後方に回したり、キーボード32の上下キー等を操作して画面を切り換える指示)を行うことできる。この指示により基準スライス画像からの距離が変更させられると(ステップS34)、ステップS30に戻り、ここで、基準スライス画像からの変更後の距離に位置するスライス画像が、第1撮影時期のスライス画像群及び第2撮影時期のスライス画像群からそれぞれ取得される。
これにより、読影医は、第1撮影時期のスライス画像群の基準スライス画像から任意の距離に位置するスライス画像と、第2撮影時期のスライス画像群の基準スライス画像から前記任意の距離と等距離に位置するスライス画像とを比較読影することができる。
読影医によって読影終了の指示が入力されると、本画像診断支援の処理が終了する(ステップS36)。
<変形例>
この実施の形態では、撮影時期の異なる第1撮影時期及び第2撮影時期のスライス画像群からそれぞれ比較読影用のスライス画像を選択して表示するようにしたが、これに限らず、種類の異なる3Dモダリティ(X線CT装置50、MRI装置52、図示しない陽電子断層撮影装置(Positron Emission Tomography (PET装置)、 核医学診断装置(Single Photon Emission Computed Tomography (SPECT装置))によって取得されたスライス画像群からそれぞれ比較読影用のスライス画像を選択して表示する場合にも本発明は適用できる。また、比較読影するスライス画像群は、3以上であってもよい。
病変領域の外形情報に基づいて基準スライス画像を決定する方法もこの実施の形態に限らず、例えば、病変領域の重心位置を計測し、この重心位置に最も近いスライス画像を基準スライス画像として決定するようにしてもよい。
更に、スライス画像群は、院内LANなどのネットワーク網70を介して院内の画像DB60から取得する場合に限らず、IPSec,SSL-VPN等のセキュアな外部ネットワーク網を介して外部の画像DBから取得してもよい。
図1は本発明に係る画像診断支援装置を含む画像診断支援ネットワークシステムのシステム構成図である。 図2はスライス画像群を説明するために用いた図である。 図3は本発明に係る画像診断支援方法の処理手順を示すフローチャートである。 図4は病変領域を半自動抽出する際のシード点の指定を説明するために用いた図である。 図5は病変領域の自動抽出の方法を説明するために用いた図である。 図6は病変領域の形態の分類の一例を示す図である。 図7は異常陰影の形態の分類と2次モーメントと円形度との関係を表す図である。 図8は注目領域とその周囲の領域を示す図である。 図9は胸部画像の解剖学的な位置を解析する方法を説明するために用いた図である。 図10は基準スライス画像の決定方法を説明するために用いた図である。 図11はスライス画像の比較読影時のモニタ画面のイメージ図である。
符号の説明
10…画像診断支援装置(パソコン)、12…中央処理装置(CPU)、14…主メモリ、16…グラフィックボード、18…通信インターフェース、20…ハードディスク装置、22…CD−ROMドライブ、24…キーボードコントローラ、26…マウスコントローラ、30…モニタ装置、32…キーボード、34…マウス、50…X線CT装置、52…MRI装置、60…画像DB、70…ネットワーク網、80…病変領域、82…カーソル

Claims (8)

  1. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得するスライス画像群取得手段と、
    前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する病変領域抽出手段と、
    前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する基準スライス画像決定手段と、
    前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択するスライス画像選択手段であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択するスライス画像選択手段と、
    前記選択したスライス画像を比較読影可能に表示手段に出力する出力手段と、を備え、
    前記基準スライス画像決定手段は、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定することを特徴とする画像診断支援装置。
  2. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得するスライス画像群取得手段と、
    前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する病変領域抽出手段と、
    前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する基準スライス画像決定手段と、
    前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択するスライス画像選択手段であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択するスライス画像選択手段と、
    前記選択したスライス画像を比較読影可能に表示手段に出力する出力手段と、を備え、
    前記基準スライス画像決定手段は、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定することを特徴とする画像診断支援装置。
  3. 前記病変領域抽出手段は、前記取得した第1のスライス画像群及び第2のスライス画像群を解析して各スライス画像に含まれる第1の病変領域及び第2の病変領域をそれぞれ自動抽出する自動抽出手段と、前記自動抽出した第1の病変領域及び第2の病変領域の外形情報を取得する外形情報取得手段とを有することを特徴とする請求項1又は2に記載の画像診断支援装置。
  4. 前記病変領域抽出手段は、前記取得した第1のスライス画像群及び第2のスライス画像群のうちの少なくとも1枚のスライス画像をそれぞれ表示する表示手段と、前記表示手段に表示されたスライス画像上で第1の病変領域及び第2の病変領域内のシード点を指定する指定手段と、前記指定されたシード点を基準にして第1の病変領域及び第2の病変領域を抽出する抽出手段と、前記抽出した第1の病変領域及び第2の病変領域の外形情報を取得する外形情報取得手段とを有することを特徴とする請求項1又は2に記載の画像診断支援装置。
  5. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する工程と、
    前記取得した第1のスライス画像群及び第1のスライス画像群を病変領域抽出手段に入力し、該病変領域抽出手段により前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する工程と、
    基準スライス画像決定手段により前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する工程であって、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定する工程と、
    スライス画像選択手段により前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する工程であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する工程と、
    前記選択したスライス画像を比較読影可能に表示手段に表示させる工程と、
    を含むことを特徴とする画像診断支援方法。
  6. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する工程と、
    前記取得した第1のスライス画像群及び第1のスライス画像群を病変領域抽出手段に入力し、該病変領域抽出手段により前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する工程と、
    基準スライス画像決定手段により前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する工程であって、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定する工程と、
    スライス画像選択手段により前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する工程であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する工程と、
    前記選択したスライス画像を比較読影可能に表示手段に表示させる工程と、
    を含むことを特徴とする画像診断支援方法。
  7. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する機能と、
    前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する機能と、
    前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する機能であって、前記抽出した第1の病変領域を含む第1のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域を含む第2のスライス画像群のうちの最大面積の病変領域を有するスライス画像を第2の基準スライス画像として決定する機能と、
    前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する機能であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する機能と、
    前記選択したスライス画像を比較読影可能に表示手段に表示させる機能と、
    をコンピュータに実現させることを特徴とする画像診断支援プログラム。
  8. 撮影時期又はモダリティが異なる第1のスライス画像群と第2のスライス画像群とを取得する機能と、
    前記第1のスライス画像群から第1の病変領域を抽出するとともに、前記第2のスライス画像群から前記第1の病変領域に対応する第2の病変領域を抽出する機能と、
    前記抽出した第1の病変領域に基づいて前記第1のスライス画像群の第1の基準スライス画像を決定するとともに、前記抽出した第2の病変領域に基づいて前記第2のスライス画像群の第2の基準スライス画像を決定する機能であって、前記抽出した第1の病変領域のスライス方向の一端から前記第1の病変領域のスライス方向の長さに0〜1の範囲の所定の係数を乗算した長さだけ離れた位置のスライス画像を第1の基準スライス画像として決定するとともに、前記抽出した第2の病変領域のスライス方向の一端から前記第2の病変領域のスライス方向の長さに前記所定の係数と同じ係数を乗算した長さだけ離れた位置のスライス画像を第2の基準スライス画像として決定する機能と、
    前記第1のスライス画像群及び第2のスライス画像群からそれぞれ比較読影用のスライス画像を選択する機能であって、前記決定した第1の基準スライス画像及び第2の基準スライス画像から等距離のスライス画像をそれぞれ選択する機能と、
    前記選択したスライス画像を比較読影可能に表示手段に表示させる機能と、
    をコンピュータに実現させることを特徴とする画像診断支援プログラム。
JP2007161224A 2007-06-19 2007-06-19 画像診断支援装置、方法及びプログラム Active JP5226974B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007161224A JP5226974B2 (ja) 2007-06-19 2007-06-19 画像診断支援装置、方法及びプログラム
US12/139,742 US8150129B2 (en) 2007-06-19 2008-06-16 Image diagnosis supporting apparatus, method and program, and recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007161224A JP5226974B2 (ja) 2007-06-19 2007-06-19 画像診断支援装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2009000153A JP2009000153A (ja) 2009-01-08
JP2009000153A5 JP2009000153A5 (ja) 2010-04-02
JP5226974B2 true JP5226974B2 (ja) 2013-07-03

Family

ID=40160572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007161224A Active JP5226974B2 (ja) 2007-06-19 2007-06-19 画像診断支援装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US8150129B2 (ja)
JP (1) JP5226974B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961945B2 (en) * 2007-02-13 2011-06-14 Technische Universität München System and method for on-the-fly segmentations for image deformations
JP4493679B2 (ja) * 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
JP5984237B2 (ja) * 2010-10-15 2016-09-06 東芝メディカルシステムズ株式会社 医用画像処理装置及びx線コンピュータ断層撮影装置
US8798227B2 (en) 2010-10-15 2014-08-05 Kabushiki Kaisha Toshiba Medical image processing apparatus and X-ray computed tomography apparatus
KR102204437B1 (ko) 2013-10-24 2021-01-18 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
US10143220B2 (en) 2014-08-15 2018-12-04 Corn Products Development, Inc. Pet food having modified waxy cassava starch
DE102015201271A1 (de) * 2014-09-17 2016-03-17 Friedrich-Alexander-Universität Erlangen - Nürnberg Verfahren und System zur Bestimmung der lokalen Qualität von aus Volumendaten extrahierten Oberflächendaten
CN108601509B (zh) * 2015-11-26 2020-07-07 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录有程序的介质
JP6660741B2 (ja) * 2016-01-20 2020-03-11 富士フイルム医療ソリューションズ株式会社 画像抽出装置、画像抽出方法
JP2018110637A (ja) * 2017-01-10 2018-07-19 コニカミノルタ株式会社 動態画像処理装置
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570404A (en) * 1994-09-30 1996-10-29 Siemens Corporate Research Method and apparatus for editing abdominal CT angiographic images for blood vessel visualization
JP3685544B2 (ja) * 1996-05-16 2005-08-17 ジーイー横河メディカルシステム株式会社 画像の対応付け方法および医用画像診断装置
JPH11250263A (ja) * 1998-03-05 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 胸部3次元断層画像のスライス画像自動照合方法及びそのプログラムを記録した記録媒体
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
US6526117B1 (en) * 2001-11-09 2003-02-25 Ge Medical Systems Global Technology Company, Llc Method and apparatus to minimize phase misregistration artifacts in gated CT images
US7218766B2 (en) * 2002-04-15 2007-05-15 General Electric Company Computer aided detection (CAD) for 3D digital mammography
US6956926B2 (en) * 2002-07-23 2005-10-18 General Electric Company Method and apparatus for selecting a reconstruction projection set
US7346199B2 (en) * 2002-11-30 2008-03-18 Intuitive Software, Inc. Anatomic triangulation
JP4253497B2 (ja) 2002-12-03 2009-04-15 株式会社東芝 コンピュータ支援診断装置
US7596267B2 (en) * 2003-02-28 2009-09-29 Cedara Software Corp. Image region segmentation system and method
WO2005106773A2 (en) * 2004-04-15 2005-11-10 Edda Technology, Inc. Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method
JP4786184B2 (ja) * 2005-01-07 2011-10-05 株式会社東芝 コンピュータ支援画像診断システム
US7646902B2 (en) * 2005-02-08 2010-01-12 Regents Of The University Of Michigan Computerized detection of breast cancer on digital tomosynthesis mammograms
FR2897461A1 (fr) * 2006-02-16 2007-08-17 Gen Electric Dispositif de rayonnement x et procede de traitement d'images
US7840047B2 (en) * 2006-04-06 2010-11-23 Siemens Aktiengesellschaft Method for reproducibly generating views of tomographic image data
US7786990B2 (en) * 2006-11-22 2010-08-31 Agfa Healthcare Inc. Cursor mode display system and method
US7936922B2 (en) * 2006-11-22 2011-05-03 Adobe Systems Incorporated Method and apparatus for segmenting images
US7929793B2 (en) * 2007-03-19 2011-04-19 General Electric Company Registration and compression of dynamic images
US7929743B2 (en) * 2007-10-02 2011-04-19 Hologic, Inc. Displaying breast tomosynthesis computer-aided detection results

Also Published As

Publication number Publication date
JP2009000153A (ja) 2009-01-08
US8150129B2 (en) 2012-04-03
US20090003676A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
JP5226974B2 (ja) 画像診断支援装置、方法及びプログラム
US8160320B2 (en) Medical image display apparatus, method and program, and recording medium for the program
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
US10417517B2 (en) Medical image correlation apparatus, method and storage medium
JP5081390B2 (ja) 腫瘍量を監視する方法及びシステム
US7388974B2 (en) Medical image processing apparatus
JP5128154B2 (ja) レポート作成支援装置、レポート作成支援方法およびそのプログラム
JP2008253292A (ja) 症例画像検索装置及びシステム
CN105431089B (zh) 根据肝脏扫描确定肝功能的系统和方法
US8150120B2 (en) Method for determining a bounding surface for segmentation of an anatomical object of interest
US20050107695A1 (en) System and method for polyp visualization
US8150121B2 (en) Information collection for segmentation of an anatomical object of interest
CN102231963A (zh) 重新参数化的牛眼图
JP2004180932A (ja) コンピュータ支援診断装置
EP2391986B1 (en) Gradient based image analysis for transmural perfusion
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
US20210082567A1 (en) Method for supporting viewing of images and apparatus using same
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
KR101919847B1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
EP2619729A1 (en) Quantification of a characteristic of a lumen of a tubular structure
KR102099350B1 (ko) 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
US20110285695A1 (en) Pictorial Representation in Virtual Endoscopy
US20230223124A1 (en) Information processing apparatus, information processing method, and information processing program
US20240112786A1 (en) Image processing apparatus, image processing method, and image processing program
JP7151464B2 (ja) 肺画像処理プログラム、肺画像処理方法および肺画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130315

R150 Certificate of patent or registration of utility model

Ref document number: 5226974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250