JP5383486B2 - 脳出血部位セグメンテーションする装置の作動方法および装置 - Google Patents

脳出血部位セグメンテーションする装置の作動方法および装置 Download PDF

Info

Publication number
JP5383486B2
JP5383486B2 JP2009514611A JP2009514611A JP5383486B2 JP 5383486 B2 JP5383486 B2 JP 5383486B2 JP 2009514611 A JP2009514611 A JP 2009514611A JP 2009514611 A JP2009514611 A JP 2009514611A JP 5383486 B2 JP5383486 B2 JP 5383486B2
Authority
JP
Japan
Prior art keywords
region
value
cerebral hemorrhage
index
hemorrhage site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009514611A
Other languages
English (en)
Other versions
JP2009539510A (ja
Inventor
シー チャオ
スエリ ワング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2009539510A publication Critical patent/JP2009539510A/ja
Application granted granted Critical
Publication of JP5383486B2 publication Critical patent/JP5383486B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Neurosurgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、脳出血部位セグメンテーション(cerebral hemorrhage segmentation)方法および装置に関し、特に、脳出血を発症している頭部のX線CT(Computed Tomography)画像について、脳出血部位を特定する方法および装置に関する。
脳出血(cerebral hemorrhage)の診断および治療のために、頭部のX線CT画像について、脳出血部位のセグメンテーションが行われる。セグメンテーションは専門医が介在して人為的に行われる(例えば、特許文献1参照)。
特開2005−118510号公報
専門医が介在する人為的なセグメンテーションは、労力と時間がかかり、しかもセグメンテーションの結果は担当者の技量等に左右される。また、自動化するにしても、脳出血部位のCT値は症状によって様々な値を取り、正常な他の部位のCT値と重なることもあるので、単一の閾値によるセグメンテーションでは目的が達せられない。
そこで、本発明の目的は、脳出血部位のセグメンテーションを適切に行う方法および装置を実現することである。
上記の課題を解決するための第1の観点での発明は、
頭部の医用画像において脳出血部位をセグメンテーションする方法であって、
前記頭部の医用画像において、頭骨の内側領域を区分する工程と、
該頭骨の内側領域を区分する工程において区分された領域の中から、脳出血部位が含まれる可能性のある領域を区分する工程と、
該脳出血部位が含まれる可能性のある領域を区分する工程により区分された領域の中から、脳出血部位を判定する工程と
を備えた脳出血部位をセグメンテーションする方法である。
さらに好ましくは、前記脳出血部位が含まれる可能性のある領域を区分する工程は、
前記頭骨の内側領域を区分する工程において区分された領域のうち、CT値が緩やかに変化する領域を区分する工程と、
該CT値が緩やかに変化する領域を区分する工程において区分された領域のうち、画素数が所定の数よりも大きい領域を区分する工程と、
該画素数が所定の数よりも大きい領域を区分する工程において区分された領域から、比較的CT値の大きい領域を区分する工程と、
該比較的CT値の大きい領域を区分する工程において抽出された領域について、CT値が緩やかに変化する領域を区分する工程と、
を含んでいる。
さらに好ましくは、
前記脳出血部位を判定する工程は、
前記脳出血部位が含まれる可能性のある領域を区分する工程において区分された領域について、該領域のCT値及び大きさに基づいて、該領域が脳出血部位か否かを判定する第1の工程と、
該第1の工程において脳出血部位と判定された領域以外の領域のうち、脳出血部位の可能性がある領域について、該領域とその周辺の領域とのCT値の差又は該領域のCT値に基づいて、該領域が脳出血部位か否かを判定する第2の工程と、
を含んでいる。
さらに好ましくは、
脳出血部位をセグメンテーションする方法は、
前記脳出血部位を判定する工程において脳出血部位であると判定された領域についてバーシャルボリューム効果の影響を補正する工程をさらに含んでいる。
さらに特定的には、本発明は、頭部のX線CT画像について脳出血部位をセグメンテーションする方法であって、前処理工程と、1次探索工程と、分析・調整工程と、フィルタリング工程と、2次探索工程と、分析・判定工程と、後処理工程とを有し、
前記前処理工程では、頭部のX線CT画像について、第1の設定値より大きいCT値を持つ画素と第2の設定値より小さいCT値を持つ画素を除外し、第3の設定値に基づいて頭骨の境界を特定し、前記特定した境界に基づいて頭骨の外側領域を除外し、
前記1次探索工程では、前記前処理が行われた画像について、CT値変化が緩やかな領域を探索し、前記探索により判明した領域ごとにラベルを付与し、
前記分析・調整工程では、前記1次探索が行われた画像について、前記領域ごとに画素数を求め、画素数が第4の設定値より少ない領域を除外し、
前記フィルタリング工程では、前記分析・調整が行われた画像について、前記領域ごとに、2次元座標i,jが増加する方向にそれぞれ隣接する画素間のCT値の差の絶対値の和を画素ごとに求め、前記和が第5の設定値以上となる画素位置を特定し、前記特定した全ての画素位置におけるCT値の平均値を求め、前記平均値以下のCT値を持つ画素を除外し、
前記2次探索工程では、前記フィルタリングが行われた画像について、CT値変化が緩やかな領域を探索し、前記探索により判明した領域ごとにあらためてラベルを付与し、
前記分析・判定工程では、前記2次探索においてラベルが付与された画像について、前記領域の画素のCT値をCTregion、第6の設定値をCTmax、第7の設定値をCTmin、第8の設定値をCTbloodとしたとき、
第1のインデックスIndexCTを、
CTmin<=CTregion<=CTbloodならば
とし、
CTblood<CTregion<=CTmaxならば
とし、
それ以外は
とし、
前記領域の面積および周長をそれぞれAreaおよびPerimeterで表し、前記領域の特性値を
としたとき、
第2のインデックスindexradianを、
Radianが第9の設定値Radianmaxより大きければindexradian=1とし、
Radianが第10の設定値Radianminより小さければindexradian=0とし、
Radianが第9の設定値Radianmax以下で第10の設定値Radianmin以上ならば
とし、
第3のインデックスIndex0を、
とし、
Index0>=20%ならば、その領域は脳出血部位であると判定し、
Index0<=3%ならば、その領域は脳出血部位でないと判定し、
3%<Index0<20%ならば、そのような領域の周囲の領域の画素のCT値をCTAroundRegionとし、そのような全ての領域の平均CT値をCTAverage-All-Regionとしたとき、
第4のインデックスIndexSubを、
とし、
第5のインデックスIndexOderを、
とし、
IndexSub>=8またはIndexOrder>=10ならば、その領域は脳出血部位であると判定し、
IndexSub<=0またはIndexOrder<=-5ならば、その領域は脳出血部位でないと判定し、
0<IndexSub<8かつ-5<IndexOrder<10ならば、
第6のインデックスIndexFinalを、
とし、
IndexFinal>=50%ならば、その領域は脳出血部位であると判定し
IndexFinal<50%ならば、その領域は脳出血部位でないと判定し、
前記後処理工程では、前記分析・判定により脳出血部位であると判定された領域についてパーシャルボリューム効果の影響を補正する、
ことを特徴とする脳出血部位セグメンテーション方法である。
上記の課題を解決するための第2の観点での発明は、
頭部のX線CT画像において脳出血部位をセグメンテーションする装置であって、
前記頭部のX線CT画像において、頭骨の内側領域を区分する手段と、
該頭骨の内側領域を区分する手段により区分された領域の中から、脳出血部位が含まれる可能性のある領域を区分する手段と、
該脳出血部位が含まれる可能性のある領域を区分する手段により区分された領域の中から、脳出血部位を判定する手段と
を備えた脳出血部位をセグメンテーションする装置である。
さらに好ましくは、前記脳出血部位が含まれる可能性のある領域を区分する手段は、
前記頭骨の内側領域を区分する手段により区分された領域のうち、CT値が緩やかに変化する領域を区分する手段と、
該CT値が緩やかに変化する領域を区分する手段により区分された領域のうち、画素数が所定の数よりも大きい領域を区分する手段と、
該画素数が所定の数よりも大きい領域を区分する手段により区分された領域から、比較的CT値の大きい領域を区分する手段と、
該比較的CT値の大きい領域を区分する手段により区分された領域について、CT値が緩やかに変化する領域を区分する手段と、
を含んでいる。
さらに好ましくは、前記脳出血部位を判定する手段は、
前記脳出血部位が含まれる可能性のある領域を区分する手段により区分された領域について、該領域のCT値及び大きさに基づいて、該領域が脳出血部位か否かを判定する第1の手段と、
該第1の手段により脳出血部位と判定された領域以外の領域のうち、脳出血部位の可能性がある領域について、該領域とその周辺の領域とのCT値の差又は該領域のCT値に基づいて、該領域が脳出血部位か否かを判定する第2の手段と、
を含んでいる。
さらに好ましくは、脳出血部位をセグメンテーションする装置は、
前記脳出血部位を判定する手段により脳出血部位であると判定された領域についてバーシャルボリューム効果の影響を補正する手段をさらに含んでいる。
さらに特定的には、本発明は、頭部のX線CT画像について脳出血部位をセグメンテーションする装置であって、前処理手段と、1次探索手段と、分析・調整手段と、フィルタリング手段と、2次探索手段と、分析・判定手段と、後処理手段とを有し、
前記前処理手段は、頭部のX線CT画像について、第1の設定値より大きいCT値を持つ画素と第2の設定値より小さいCT値を持つ画素を除外し、第3の設定値に基づいて頭骨の境界を特定し、前記特定した境界に基づいて頭骨の外側領域を除外し、
前記1次探索手段は、前記前処理が行われた画像について、CT値変化が緩やかな領域を探索し、前記探索により判明した領域ごとにラベルを付与し、
前記分析・調整手段は、前記1次探索が行われた画像について、前記領域ごとに画素数
を求め、画素数が第4の設定値より少ない領域を除外し、
前記フィルタリング手段は、前記分析・調整が行われた画像について、前記領域ごとに、2次元座標i,jが増加する方向にそれぞれ隣接する画素間のCT値の差の絶対値の和を画素ごとに求め、前記和が第5の設定値以上となる画素位置を特定し、前記特定した全ての画素位置におけるCT値の平均値を求め、前記平均値以下のCT値を持つ画素を除外し、
前記2次探索手段は、前記フィルタリングが行われた画像について、CT値変化が緩やかな領域を探索し、前記探索により判明した領域ごとにあらためてラベルを付与し、
前記分析・判定手段は、前記2次探索においてラベルが付与された画像について、前記領域の画素のCT値をCTregion、第6の設定値をCTmax、第7の設定値をCTmin、第8の設定値をCTbloodとしたとき、
第1のインデックスIndexCTを、
CTmin<=CTregion<=CTbloodならば
とし、
CTblood<CTregion<=CTmaxならば
とし、
それ以外は
とし、
前記領域の面積および周長をそれぞれAreaおよびPerimeterで表し、前記領域の特性値を
としたとき、
第2のインデックスindexradianを、
Radianが第9の設定値Radianmaxより大きければindexradian=1とし、
Radianが第10の設定値Radianminより小さければindexradian=0とし、
Radianが第9の設定値Radianmax以下で第10の設定値Radianmin以上ならば
とし、
第3のインデックスIndex0を、
とし、
Index0>=20%ならば、その領域は脳出血部位であると判定し、
Index0<=3%ならば、その領域は脳出血部位でないと判定し、
3%<Index0<20%ならば、そのような領域の周囲の領域の画素のCT値をCTAroundRegionとし、そのような全ての領域の平均CT値をCTAverage-All-Regionとしたとき、
第4のインデックスIndexSubを、
とし、
第5のインデックスIndexOderを、
とし、
IndexSub>=8またはIndexOrder>=10ならば、その領域は脳出血部位であると判定し、
IndexSub<=0またはIndexOrder<=-5ならば、その領域は脳出血部位でないと判定し、
0<IndexSub<8かつ-5<IndexOrder<10ならば、
第6のインデックスIndexFinalを、
とし、
IndexFinal>=50%ならば、その領域は脳出血部位であると判定し
IndexFinal<50%ならば、その領域は脳出血部位でないと判定し、
前記後処理手段は、前記分析・判定により脳出血部位であると判定された領域についてパーシャルボリューム効果の影響を補正する、
ことを特徴とする脳出血部位セグメンテーション装置である。
前記前処理における頭骨境界の特定は、前記第3の設定値より小さい値から大きい値へのCT値変化点または前記第3の設定値より大きい値から小さい値へのCT値変化点を検出することにより行うことが、境界特定を適切に行う点で好ましい。
前記1次探索および前記2次探索における領域探索は、隣接する画素間のCT値の相違が5以下である領域を探索することによって行うことが、領域探索を適切に行う点で好ましい。
前記後処理における前記補正は、前記領域に関するダイレーション演算によって行うことが、領域補正を適切に行う点で好ましい。
前記第1の設定値は245であり、前記第2の設定値は30であり、前記第3の設定値は190であり、前記第4の設定値は300であり、前記第5の設定値は4であり、前記第6の設定値は100であり、前記第7の設定値は40であり、前記第8の設定値は70であり、前記第9の設定値は0.015であり、前記第10の設定値は0.003であることが、セグメンテーションを高精度に行う点で好ましい。
上記各観点での本発明によれば、候補領域の画素のCT値に関するインデックスIndexCTと、候補領域の特性に関するインデックスindexradianを用いてインデックスIndex0を生成し、Index0>=20%ならばその領域は脳出血部位であると判定し、Index0<=3%ならばその領域は脳出血部位でないと判定する。3%<Index0<20%のときは、そのような領域についてインデックスIndexSubとインデックスIndexOderを生成し、IndexSub>=8またはIndexOrder>=10ならばその領域は脳出血部位であると判定し、IndexSub<=0またはIndexOrder<=-5ならばその領域は脳出血部位でないと判定する。0<IndexSub<8かつ-5<IndexOrder<10のときは、インデックスIndexFinalを生成し、IndexFinal>=50%ならばその領域は脳出血部位であると判定しIndexFinal<50%ならばその領域は脳出血部位でないと判定する。これにより、脳出血部位のセグメンテーションを適切に行う方法および装置を実現することができる。
以下、図面を参照して発明を実施するための最良の形態を説明する。なお、本発明は、発明を実施するための最良の形態に限定されるものではない。図1に画像処理装置の構成をブロック(block)図によって示す。
本装置は発明を実施するための最良の形態の一例である。本装置の構成によって、脳出血部位セグメンテーション装置に関する発明を実施するための最良の形態の一例が示される。本装置の動作によって、脳出血部位セグメンテーション方法に関する発明を実施するための最良の形態の一例が示される。
図1に示すように、本装置は、データ(data)処理部10、表示部20、操作部30、記憶部40および入出力部50を有する。データ処理部10は、表示部20および操作部30を通じてのユーザー(user)によるインタラクティブ(interactive)な操作に基づいて、記憶部40に記憶されたデータについて所定のデータ処理を行う。
データ処理部10は、また、入出力部50を通じて外部装置に対するデータ入出力を行う。脳出血部位セグメンテーションを行うべきX線CT画像も、入出力部50を通じて外部装置から入力される。
外部装置は例えばX線CT装置や医用画像サーバー(server)等である。なお、本装置は、X線CT装置や医用画像サーバーの一部であってもよい。その場合は、入出力部50は必ずしも必要でない。図2に、脳出血部位セグメンテーション対象となるX線CT画像の一例を示す。
本装置によって行われる脳出血部位セグメンテーションについて説明する。図3に、脳出血部位セグメンテーションの工程を示す。図3に示すように、脳出血部位セグメンテーションは7つの工程P1−P7によって行われる。
工程P1は前処理工程である。工程P2は1次探索工程である。工程P3は分析・調整工程である。工程P4はフィルタリング工程である。工程P5は2次探索工程である。工程P6は分析・判定工程である。工程P7は後処理工程である。
これらの工程は、データ処理部10によって遂行される。データ処理部10は、本発明における前処理手段の一例であり、1次探索手段の一例であり、分析・調整手段の一例であり、フィルタリング手段の一例であり、2次探索手段の一例であり、分析・判定手段の一例であり、後処理手段の一例である。以下、各工程について詳細に説明する。
図4に、前処理工程P1の詳細なステップ(step)を示す。図4示すように、前処理工程P1では、頭部のX線CT画像について、ステップ101で、画素選別を行う。画素選別は、第1の設定値より大きいCT値を持つ画素と、第2の設定値より小さいCT値を持つ画素を、画像全体にわたって除外することによって行われる。第1の設定値は例えば245であり、第2の設定値は例えば30である。これによって、245より大きいCT値を持つ画素と、30より小さいCT値を持つ画素が除外される。
ステップ102で、頭骨境界特定が行われる。頭骨境界特定は、第3の設定値に基づいて行われる。頭骨境界の特定は、第3の設定値より小さい値から大きい値へのCT値変化点または第3の設定値より大きい値から小さい値へのCT値変化点を、画像全体にわたって検出することにより行われる。第3の設定値は例えば190である。特定された頭骨境界に基づいて、ステップ103で、頭骨の外側領域を除外することにより、頭骨の内側領域を区分する。
ステップ101−103の処理によって、245より大きいCT値を持つ画素と30より小さいCT値を持つ画素、および、頭骨の外側領域が除外される。このような前処理によって、例えば図5に示すような画像が得られる。図5において、黒塗り部分は、除外されずに残った部分を示す。この部分が、次工程の処理の対象となる。
図6に、1次探索工程P2の詳細なステップを示す。図6示すように、1次探索工程P2では、前処理が行われた画像について、ステップ201で、CT値変化が緩やかな領域を探索する。CT値変化が緩やかな領域の探索は、隣接する画素間のCT値の相違が例えば5以下である領域を探索することによって行われる。そして、ステップ202で、探索により判明した領域ごとにラベルを付与することにより、CT値が緩やかに変化する領域を区分する。
図7に、分析・調整工程P3の詳細なステップを示す。図7示すように、分析・調整工程P3では、1次探索が行われた画像について、ステップ301で、領域ごとに画素数を求める。そして、ステップ302で、画素数が第4の設定値より少ない領域を除外することにより、画素数が第4の設定値以上の領域を区分する。
第4の設定値は、画像のデファインドFOV(defined Field of View)が25cmのとき例えば300である。なお、この設定値はデファインドFOVが25cm以外のときは300以外の適宜の値としてよい。
このような1次探索および分析・調整によって、例えば図8に示すような画像が得られる。図8において、黒塗り部分は、CT値変化が緩やかで画素数が300以上の部分を示す。この部分が、次工程の処理の対象となる。
図9に、フィルタリング工程P4の詳細なステップを示す。図9示すように、フィルタリング工程P4では、分析・調整が行われた画像について、ステップ401で、領域ごとに、2次元座標i,jが増加する方向にそれぞれ隣接する画素間のCT値の差の絶対値の和を画素ごとに求める。すなわち、次式による演算を行う。
ここで、F[i,j]は2次元座標i,jにおける画素のCT値であり、F[i+1,j]は座標iが増加する方向に隣接する画素のCT値であり、F[i,j+1]は座標jが増加する方向に隣接する画素のCT値である。CT値F[i,j]、F[i+1,j]、 F[i,j+1]およびF[i+1,j+1]の空間的位置関係は図10に示すとおりである。
ステップ402で、G[i,j]が第5の設定値以上となる画素位置を特定する。第5の設定値は例えば4である。ステップ403で、特定された全ての画素位置におけるCT値の平均値を求め、ステップ404で、平均値以下のCT値を持つ画素を除外することにより、残りの画素を区分する。
CT値の平均値は、元画像について、領域ごとに求められる。また、平均値以下のCT値を持つ画素の除外は、元画像について、領域ごとに行われる。これによって、バックグラウンド(back ground)の除去が領域ごとに行われる。
このようなフィルタリングによって、例えば図11に示すような画像が得られる。図11において、黒塗り部分は、除去されなかった部分を示す。この部分が、次工程の処理の対象となる。
図12に、2次探索工程P5の詳細なステップを示す。図12示すように、2次探索工程P5では、フィルタリングが行われた画像について、ステップ501で、CT値変化が緩やかな領域を探索する。CT値変化が緩やかな領域の探索は、隣接する画素間のCT値の相違が例えば5以下である領域を探索することによって行われる。そして、ステップ502で、探索により判明した領域ごとにあらためてラベルを付与することによって、CT値が緩やかに変化する領域を区分する。このような2次探索によって、例えば図13に示すような画像が得られる。
図14に、分析・判定工程P6の詳細なステップを示す。図14示すように、分析・判定工程P6では、2次探索によりラベルが付与された画像について、ステップ601で、第1のインデックスIndexCTを求める。
インデックスIndexCTは、領域の画素のCT値をCTregion、第6の設定値をCTmax、第7の設定値をCTmin、第8の設定値をCTbloodとしたとき、
CTmin<=CTregion<=CTbloodならば
とし、
CTblood<CTregion<=CTmaxならば
とし、
それ以外は
とする。なお、第6の設定値CTmaxは例えば100であり、第7の設定値CTminは例えば40であり、第8の設定値CTbloodは70である。
ステップ602で、第2のインデックスindexradianを求める。第2のインデックスindexradianは、領域の面積および周長をそれぞれAreaおよびPerimeterで表し、領域の特性値を
としたとき、
Radianが第9の設定値Radianmaxより大きければindexradian=1とし、Radianが第10の設定値Radianminより小さければindexradian=0とし、Radianが第9の設定値Radianmax以下で第10の設定値Radianmin以上ならば
とする。なお、第9の設定値Radianmaxは例えば0.015であり、第10の設定値Radianminはたとえばあ0.003である。
ステップ603で、第3のインデックスIndex0を、
とする。
ステップ604で、第3のインデックスIndex0の値に応じて、その領域が脳出血部位であるか否かを判定する。すなわち、Index0>=20%ならば、その領域は脳出血部位である(CH)と判定し、Index0<=3%ならば、その領域は脳出血部位でない(not CH)と判定し、3%<Index0<20%ならば、次のステップ605に移行する。
ステップ605では、第4のインデックスIndexSubと第5のインデックスIndexOderを求める。すなわち、3%<Index0<20%である領域の周囲の領域の画素のCT値をCTAroundRegionとし、3%<Index0<20%である全ての領域の平均CT値をCTAverage-All-Regionとしたとき、
第4のインデックスIndexSubを、
とし、
第5のインデックスIndexOderを、
とする。
ステップ606で、第4のインデックスIndexSubと第5のインデックスIndexOderの値に応じて、その領域が脳出血部位であるか否かを判定する。すなわち、IndexSub>=8またはIndexOrder>=10ならば、その領域は脳出血部位である(CH)と判定し、IndexSub<=0またはIndexOrder<=-5ならば、その領域は脳出血部位でない(not CH)と判定し、0<IndexSub<8かつ-5<IndexOrder<10ならば、次のステップ607移行する。
ステップ607では、第6のインデックスIndexFinalを、
とする。
ステップ608で、第6のインデックスIndexFinalの値に応じて、その領域が脳出血部位であるか否かを判定する。すなわち、IndexFinal>=50%ならば、その領域は脳出血部位
である(CH)と判定し、IndexFinal<50%ならば、その領域は脳出血部位でない(not CH)と判定する。
以上のような3段階の分析・判定によって、脳出血部位の正確なセグメンテーションが行われ、例えば図15に示すような画像が得られる。図15において、黒塗り部分は脳出血部位を示す。黒塗り部分は、実際の脳出血部位の位置と範囲を精度良く示すものとなる。
脳出血部位が頭骨に近接しているときは、パーシャルボリューム効果(partial volume effect)のために脳出血部位のCT値が変化して、脳出血部位のセグメンテーションが不正確になることがあり得る。
図16に、そのような例を示す。図16において、黒塗り部分がセグメンテーションされた領域であるが、この領域の右側の輪郭は頭骨境界に達していない。これは、パーシャルボリューム効果でCT値が変化した部分が除外されたためである。このようなセグメンテーション結果については、後処理工程P7によって、パーシャルボリューム効果の影響を補正する。
図17に、後処理工程P7の詳細なステップを示す。図17示すように、後処理工程P7では、分析・判定により脳出血部位であると判定された領域すなわちCH領域について、ステップ701で、周囲の画素のCT値がCH領域の平均CT値より大きいか否かを判定し、大きいときは、CH領域の外縁が頭骨境界に到達するまでダイレーション(dilation)演算を行う。このような後処理によって、例えば図18に示すように、CH領域についてパーシャルボリューム効果の影響が補正された画像が得られる。
本発明を実施するための最良の形態の一例の画像処理装置の構成を示す図である。 X線CT画像の一例を中間調の写真で示す図である。 脳出血部位セグメンテーションを行うための工程を示す図である。 前処理工程の詳細を示す図である。 前処理後のX線CT画像の一例を中間調の写真で示す図である。 1次探索工程の詳細を示す図である。 分析・調査工程の詳細を示す図である。 1次探索および分析・調査後のX線CT画像の一例を中間調の写真で示す図である。 フィルタリング工程の詳細を示す図である。 画素値の空間的位置関係を示す図である。 フィルタリング後のX線CT画像の一例を中間調の写真で示す図である。 2次探索工程の詳細を示す図である。 2次探索後のX線CT画像の一例を中間調の写真で示す図である。 分析・判定工程の詳細を示す図である。 分析・判定後のX線CT画像の一例を中間調の写真で示す図である。 分析・判定後のX線CT画像の一例を中間調の写真で示す図である。 後処理工程の詳細を示す図である。 後処理後のX線CT画像の一例を中間調の写真で示す図である。
符号の説明
10 データ処理部
20 表示部
30 操作部
40 記憶部
50 入出力部

Claims (15)

  1. 頭部の医用画像において脳出血部位をセグメンテーションする装置の作動方法であって、
    前記頭部の医用画像において、頭骨の内側領域を区分する工程と、
    該頭骨の内側領域を区分する工程において区分された領域の中から、脳出血部位が含まれる可能性のある領域を区分する工程と、
    該脳出血部位が含まれる可能性のある領域を区分する工程により区分された領域の中から、脳出血部位を判定する工程と
    を備え、
    前記脳出血部位が含まれる可能性のある領域を区分する工程は、
    前記頭骨の内側領域を区分する工程において区分された領域のうち、CT値が緩やかに変化する領域を区分する工程と、
    該CT値が緩やかに変化する領域を区分する工程において区分された領域のうち、画素数が所定の数よりも大きい領域を区分する工程と、
    該画素数が所定の数よりも大きい領域を区分する工程において区分された領域から、比較的CT値の大きい領域を区分する工程と、
    該比較的CT値の大きい領域を区分する工程において抽出された領域について、CT値が緩やかに変化する領域を区分する工程と、
    を含んでいる脳出血部位をセグメンテーションする装置の作動方法。
  2. 前記脳出血部位を判定する工程は、
    前記脳出血部位が含まれる可能性のある領域を区分する工程において区分された領域について、該領域のCT値及び大きさに基づいて、該領域が脳出血部位か否かを判定する第1の工程と、
    該第1の工程において脳出血部位と判定された領域以外の領域のうち、脳出血部位の可能性がある領域について、該領域とその周辺の領域とのCT値の差又は該領域のCT値に基づいて、該領域が脳出血部位か否かを判定する第2の工程と、
    を含んでいる請求項1に記載の脳出血部位をセグメンテーションする装置の作動方法。
  3. 前記脳出血部位を判定する工程において脳出血部位であると判定された領域についてバーシャルボリューム効果の影響を補正する工程をさらに含んでいる請求項1に記載の脳出血部位をセグメンテーションする装置の作動方法。
  4. 頭部のX線CT画像について脳出血部位をセグメンテーションする方法であって、
    前処理工程と、1次探索工程と、分析・調整工程と、フィルタリング工程と、2次探索工程と、分析・判定工程と、後処理工程とを有し、
    前記前処理工程では、頭部のX線CT画像について、
    第1の設定値より大きいCT値を持つ画素と第2の設定値より小さいCT値を持つ画素を除外し、
    第3の設定値に基づいて頭骨の境界を特定し、
    前記特定した境界に基づいて頭骨の外側領域を除外し、
    前記1次探索工程では、前記前処理が行われた画像について、
    CT値変化が緩やかな領域を探索し、
    前記探索により判明した領域ごとにラベルを付与し、
    前記分析・調整工程では、前記1次探索が行われた画像について、
    前記領域ごとに画素数を求め、
    画素数が第4の設定値より少ない領域を除外し、
    前記フィルタリング工程では、前記分析・調整が行われた画像について、
    前記領域ごとに、
    2次元座標i,jが増加する方向にそれぞれ隣接する画素間のCT値の差の絶対値の和を画素ごとに求め、
    前記和が第5の設定値以上となる画素位置を特定し、
    前記特定した全ての画素位置におけるCT値の平均値を求め、
    前記平均値以下のCT値を持つ画素を除外し、
    前記2次探索工程では、前記フィルタリングが行われた画像について、
    CT値変化が緩やかな領域を探索し、
    前記探索により判明した領域ごとにあらためてラベルを付与し、
    前記分析・判定工程では、前記2次探索においてラベルが付与された画像について、
    前記領域の画素のCT値をCTregion、第6の設定値をCTmax、第7の設定値をCTmin、第8の設定値をCTbloodとしたとき、
    第1のインデックスIndexCTを、
    CTmin<=CTregion<=CTbloodならば
    とし、
    CTblood< CTregion<= CTmaxならば
    とし、
    それ以外は
    とし、
    前記領域の面積および周長をそれぞれAreaおよびPerimeterで表し、前記領域の特性値を
    としたとき、
    第2のインデックスindexradianを、
    Radianが第9の設定値Radianmaxより大きければindexradian =1とし、
    Radianが第10の設定値Radianminより小さければindexradian =0とし、
    Radianが第9の設定値Radianmax以下で第10の設定値Radianmin以上ならば
    とし、
    第3のインデックスIndex0を、
    とし、
    Index0>=20%ならば、その領域は脳出血部位であると判定し、
    Index0<=3%ならば、その領域は脳出血部位でないと判定し、
    3%<Index0<20%ならば、そのような領域の周囲の領域の画素のCT値をCTAroundRegionとし、そのような全ての領域の平均CT値をCTAverage -All-Regionとしたとき、
    第4のインデックスIndexSubを、
    とし、
    第5のインデックスIndexOderを、
    とし、
    IndexSub>=8またはIndexOrder> =10ならば、その領域は脳出血部位であると判定し、
    IndexSub<=0またはIndexOrder< =-5ならば、その領域は脳出血部位でないと判定し、
    0<IndexSub< 8かつ-5< IndexOrder<10ならば、
    第6のインデックスIndexFinalを、
    とし、
    IndexFinal>=50%ならば、その領域は脳出血部位であると判定し
    IndexFinal<50%ならば、その領域は脳出血部位でないと判定し、
    前記後処理工程では、前記分析・判定により脳出血部位であると判定された領域についてパーシャルボリューム効果の影響を補正する、
    ことを特徴とする脳出血部位セグメンテーションする装置の作動方法。
  5. 前記前処理における頭骨境界の特定は、前記第3の設定値より小さい値から大きい値へのCT値変化点または前記第3の設定値より大きい値から小さい値へのCT値変化点を検出することにより行う
    ことを特徴とする請求項4に記載の脳出血部位セグメンテーションする装置の作動方法。
  6. 前記1次探索および前記2次探索における領域探索は、隣接する画素間のCT値の相違が5以下である領域を探索することによって行う
    ことを特徴とする請求項4に記載の脳出血部位セグメンテーションする装置の作動方法。
  7. 前記後処理における前記補正は、前記領域に関するダイレーション演算によって行う
    ことを特徴とする請求項4に記載の脳出血部位セグメンテーションする装置の作動方法。
  8. 前記第1の設定値は245であり、前記第2の設定値は30であり、前記第3の設定値は190であり、前記第4の設定値は300であり、前記第5の設定値は4であり、前記第6の設定値は100であり、前記第7の設定値は40であり、前記第8の設定値は70であり、前記第9の設定値は0.015であり、前記第10の設定値は0.003であることを特徴とする請求項4に記載の脳出血部位セグメンテーションする装置の作動方法。
  9. 頭部のX線CT画像において脳出血部位をセグメンテーションする装置であって、
    前記頭部のX線CT画像において、頭骨の内側領域を区分する手段と、
    該頭骨の内側領域を区分する手段により区分された領域の中から、脳出血部位が含まれる可能性のある領域を区分する手段と、
    該脳出血部位が含まれる可能性のある領域を区分する手段により区分された領域の中から、脳出血部位を判定する手段と
    を備え、
    前記脳出血部位が含まれる可能性のある領域を区分する手段は、
    前記頭骨の内側領域を区分する手段により区分された領域のうち、CT値が緩やかに変化する領域を区分する手段と、
    該CT値が緩やかに変化する領域を区分する手段により区分された領域のうち、画素数が所定の数よりも大きい領域を区分する手段と、
    該画素数が所定の数よりも大きい領域を区分する手段により区分された領域から、比較的CT値の大きい領域を区分する手段と、
    該比較的CT値の大きい領域を区分する手段により区分された領域について、CT値が緩やかに変化する領域を区分する手段と、
    を含んでいる脳出血部位をセグメンテーションする装置。
  10. 前記脳出血部位を判定する手段は、
    前記脳出血部位が含まれる可能性のある領域を区分する手段により区分された領域について、該領域のCT値及び大きさに基づいて、該領域が脳出血部位か否かを判定する第1の手段と、
    該第1の手段により脳出血部位と判定された領域以外の領域のうち、脳出血部位の可能性がある領域について、該領域とその周辺の領域とのCT値の差又は該領域のCT値に基づいて、該領域が脳出血部位か否かを判定する第2の手段と、
    を含んでいる請求項9に記載の脳出血部位をセグメンテーションする装置。
  11. 前記脳出血部位を判定する手段により脳出血部位であると判定された領域についてバーシャルボリューム効果の影響を補正する手段をさらに含んでいる請求項9に記載の脳出血部位をセグメンテーションする装置。
    頭部のX線CT画像について脳出血部位をセグメンテーションする装置であって、
    前処理手段と、1次探索手段と、分析・調整手段と、フィルタリング手段と、2次探索手段と、分析・判定手段と、後処理手段とを有し、
    前記前処理手段は、頭部のX線CT画像について、
    第1の設定値より大きいCT値を持つ画素と第2の設定値より小さいCT値を持つ画素を除外し、
    第3の設定値に基づいて頭骨の境界を特定し、
    前記特定した境界に基づいて頭骨の外側領域を除外し、
    前記1次探索手段は、前記前処理が行われた画像について、
    CT値変化が緩やかな領域を探索し、
    前記探索により判明した領域ごとにラベルを付与し、
    前記分析・調整手段は、前記1次探索が行われた画像について、
    前記領域ごとに画素数を求め、
    画素数が第4の設定値より少ない領域を除外し、
    前記フィルタリング手段は、前記分析・調整が行われた画像について、
    前記領域ごとに、
    2次元座標i,jが増加する方向にそれぞれ隣接する画素間のCT値の差の絶対値の和を画素ごとに求め、
    前記和が第5の設定値以上となる画素位置を特定し、
    前記特定した全ての画素位置におけるCT値の平均値を求め、
    前記平均値以下のCT値を持つ画素を除外し、
    前記2次探索手段は、前記フィルタリングが行われた画像について、
    CT値変化が緩やかな領域を探索し、
    前記探索により判明した領域ごとにあらためてラベルを付与し、
    前記分析・判定手段は、
    前記2次探索においてラベルが付与された画像について、
    前記領域の画素のCT値をCTregion、第6の設定値をCTmax、第7の設定値をCTmin、第8の設定値をCTbloodとしたとき、
    第1のインデックスIndexCTを、
    CTmin<= CTregion<= CTbloodならば
    とし、
    CTblood< CTregion<= CTmaxならば
    とし、
    それ以外は
    とし、
    前記領域の面積および周長をそれぞれAreaおよびPerimeterで表し、前記領域の特性値を
    としたとき、
    第2のインデックスindexradianを、
    Radianが第9の設定値Radianmaxより大きければindexradian =1とし、
    Radianが第10の設定値Radianminより小さければindexradian =0とし、
    Radianが第9の設定値Radianmax以下で第10の設定値Radianmin以上ならば
    とし、
    第3のインデックスIndex0を、
    とし、
    Index0>=20%ならば、その領域は脳出血部位であると判定し、
    Index0<=3%ならば、その領域は脳出血部位でないと判定し、
    3%<Index0<20%ならば、そのような領域の周囲の領域の画素のCT値をCTAroundRegionとし、そのような全ての領域の平均CT値をCTAverage -All-Regionとしたとき、
    第4のインデックスIndexSubを、
    とし、
    第5のインデックスIndexOderを、
    とし、
    IndexSub>=8またはIndexOrder> =10ならば、その領域は脳出血部位であると判定し、
    IndexSub<=0またはIndexOrder< =-5ならば、その領域は脳出血部位でないと判定し、
    0<IndexSub< 8かつ-5< IndexOrder<10ならば、
    第6のインデックスIndexFinalを、
    とし、
    IndexFinal>=50%ならば、その領域は脳出血部位であると判定し
    IndexFinal<50%ならば、その領域は脳出血部位でないと判定し、
    前記後処理手段は、前記分析・判定により脳出血部位であると判定された領域についてパーシャルボリューム効果の影響を補正する、
    ことを特徴とする脳出血部位セグメンテーション装置。
  12. 前記前処理における頭骨境界の特定は、前記第3の設定値より小さい値から大きい値へのCT値変化点または前記第3の設定値より大きい値から小さい値へのCT値変化点を検出することにより行う
    ことを特徴とする請求項11に記載の脳出血部位セグメンテーション装置。
  13. 前記1次探索および前記2次探索における領域探索は、隣接する画素間のCT値の相違が5以下である領域を探索することによって行う
    ことを特徴とする請求項11に記載の脳出血部位セグメンテーション装置。
  14. 前記後処理における前記補正は、前記領域に関するダイレーション演算によって行う
    ことを特徴とする請求項11に記載の脳出血部位セグメンテーション装置。
  15. 前記第1の設定値は245であり、前記第2の設定値は30であり、前記第3の設定値は190であり、前記第4の設定値は300であり、前記第5の設定値は4であり、前記第6の設定値は100であり、前記第7の設定値は40であり、前記第8の設定値は70であり、前記第9の設定値は0.015であり、前記第10の設定値は0.003であることを特徴とする請求項11に記載の脳出血部位セグメンテーション装置。
JP2009514611A 2006-06-13 2006-06-13 脳出血部位セグメンテーションする装置の作動方法および装置 Expired - Fee Related JP5383486B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/001314 WO2008006238A1 (en) 2006-06-13 2006-06-13 Method and apparatus for cerebral haemorrhage segmentation

Publications (2)

Publication Number Publication Date
JP2009539510A JP2009539510A (ja) 2009-11-19
JP5383486B2 true JP5383486B2 (ja) 2014-01-08

Family

ID=38922896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009514611A Expired - Fee Related JP5383486B2 (ja) 2006-06-13 2006-06-13 脳出血部位セグメンテーションする装置の作動方法および装置

Country Status (4)

Country Link
US (1) US8340384B2 (ja)
JP (1) JP5383486B2 (ja)
CN (1) CN101466311B (ja)
WO (1) WO2008006238A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200101B2 (ja) * 2007-06-20 2013-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ct画像データにおける出血性脳卒中の検出
KR102226837B1 (ko) * 2020-03-26 2021-03-11 경북대학교 산학협력단 정상 뇌와 이상 뇌를 비교하여 분석하는 뇌출혈 진단 장치 및 뇌출혈에 관한 정보를 제공하는 방법
CN113298830B (zh) * 2021-06-22 2022-07-15 西南大学 一种基于自监督的急性颅内ich区域图像分割方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466695B2 (ja) * 1994-03-18 2003-11-17 株式会社東芝 X線コンピュータ断層撮影装置
US6138045A (en) 1998-08-07 2000-10-24 Arch Development Corporation Method and system for the segmentation and classification of lesions
US6454711B1 (en) 1999-04-23 2002-09-24 The Regents Of The University Of California Microwave hemorrhagic stroke detector
US20060079773A1 (en) 2000-11-28 2006-04-13 Allez Physionix Limited Systems and methods for making non-invasive physiological assessments by detecting induced acoustic emissions
WO2002043564A2 (en) 2000-11-28 2002-06-06 Allez Physionix Limited Systems and methods for making non-invasive physiological assessments
JP4582974B2 (ja) * 2001-09-07 2010-11-17 株式会社日立メディコ 画像処理装置
US6875175B2 (en) 2002-07-01 2005-04-05 Reichert, Inc. Duel mode non-contact tonometer
US6891922B2 (en) * 2002-11-22 2005-05-10 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for the classification of nodules
JP2005118510A (ja) * 2003-10-15 2005-05-12 Lexi:Kk 脳の出血部位、腫瘍、挫傷等の計測および観察用プログラム
JP4509531B2 (ja) * 2003-10-29 2010-07-21 株式会社東芝 急性脳梗塞診断治療支援装置
CN1261910C (zh) * 2003-12-08 2006-06-28 西安理工大学 彩色多窗ct图像的自动生成方法
JP4817689B2 (ja) * 2004-03-31 2011-11-16 株式会社東芝 医用画像処理装置及び医用画像処理プログラム
JP2006043200A (ja) * 2004-08-05 2006-02-16 Japan Science & Technology Agency 脳内出血/くも膜下出血診断支援システム
DE102004055460A1 (de) * 2004-11-17 2006-04-20 Siemens Ag Bildgebendes Verfahren sowie Vorrichtung zur Visualisierung von koronaren Herzkrankheiten, insbesondere von Herzinfarktschäden
CN1907225B (zh) 2005-08-05 2011-02-02 Ge医疗系统环球技术有限公司 用于脑内出血损伤分割的方法和设备
CN1977770B (zh) 2005-12-01 2011-08-10 Ge医疗系统环球技术有限公司 计算脑溢血3d体积的方法和装置

Also Published As

Publication number Publication date
US8340384B2 (en) 2012-12-25
WO2008006238A1 (en) 2008-01-17
CN101466311A (zh) 2009-06-24
US20100040271A1 (en) 2010-02-18
CN101466311B (zh) 2012-01-11
JP2009539510A (ja) 2009-11-19

Similar Documents

Publication Publication Date Title
CN111325739B (zh) 肺部病灶检测的方法及装置,和图像检测模型的训练方法
CN106127730B (zh) 使用机器学习和扩展的霍夫变换的自动化感兴趣区域检测
RU2739713C1 (ru) Обучение аннотированию объектов в изображении
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
KR102410955B1 (ko) 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램
US8913817B2 (en) Rib suppression in radiographic images
US20080310716A1 (en) Editing of pre-segmented images using seeds derived from contours
CN110136153B (zh) 一种图像处理方法、设备及存储介质
CN101061511A (zh) X射线照片方向的检测和校正方法
US9269139B2 (en) Rib suppression in radiographic images
US20130322720A1 (en) Apparatus and method for parsing human body image
KR102349515B1 (ko) 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법
CN114332132A (zh) 图像分割方法、装置和计算机设备
US9672600B2 (en) Clavicle suppression in radiographic images
JP5383486B2 (ja) 脳出血部位セグメンテーションする装置の作動方法および装置
US11715208B2 (en) Image segmentation
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN115210755A (zh) 解决训练数据中遗漏注释的类别不同损失函数
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
CN113469942B (zh) 一种ct图像病变检测方法
CN109919935B (zh) 一种头颈体血管分割方法及设备
CN112634266A (zh) 喉镜图像的半自动标注方法、介质、设备及装置
JP2005305048A (ja) 患者位置決め装置および患者位置決め方法
Kawaguchi et al. Image registration methods for contralateral subtraction of chest radiographs

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120306

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131001

R150 Certificate of patent or registration of utility model

Ref document number: 5383486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees