JP5579535B2 - 胎児の肋骨数を測定する超音波システムおよび方法 - Google Patents

胎児の肋骨数を測定する超音波システムおよび方法 Download PDF

Info

Publication number
JP5579535B2
JP5579535B2 JP2010183346A JP2010183346A JP5579535B2 JP 5579535 B2 JP5579535 B2 JP 5579535B2 JP 2010183346 A JP2010183346 A JP 2010183346A JP 2010183346 A JP2010183346 A JP 2010183346A JP 5579535 B2 JP5579535 B2 JP 5579535B2
Authority
JP
Japan
Prior art keywords
ribs
rib
image
measuring
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010183346A
Other languages
English (en)
Other versions
JP2011041804A (ja
JP2011041804A5 (ja
Inventor
ソン ヒ キム,
ジョン キム,
ゾン シク キム,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Medison Co Ltd
Original Assignee
Samsung Medison Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Medison Co Ltd filed Critical Samsung Medison Co Ltd
Publication of JP2011041804A publication Critical patent/JP2011041804A/ja
Publication of JP2011041804A5 publication Critical patent/JP2011041804A5/ja
Application granted granted Critical
Publication of JP5579535B2 publication Critical patent/JP5579535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Description

本発明は、胎児の肋骨数を測定する超音波システムおよび方法に関し、より詳しくは、ユーザにより3次元超音波映像上に設定された関心領域(ROI)内の肋骨数を測定して、その肋骨数を表示する超音波システムおよび方法に関する。
一般に超音波システムは、被検体の体表から体内の所定部位に向けて超音波信号を照射し、体内の組織で反射されてプローブに戻ってきた超音波信号を用いて軟部組織の断層像や血流に関する情報を得る装置である。
このような超音波システムは、小型で安価である上、X線などによる被爆がなく、安定性が高い長所を有するため、X線診断装置、CT(Computerized Tomograghy)スキャナー、MRI(Magnetic Resonance Image)装置、核医学診断装置などの他の画像診断装置と共に広く用いられている。特に、超音波システムは、身体内部の映像をリアルタイムで表示することができるため、その利用形態も多岐に渡る。
この超音波システムの使用領域が拡大するのに伴ない、超音波システムが提供する超音波映像に対する要求も拡大している。特に、検診、生体検査、手術などの施術のためには、患者の病変や組織をより精密に見なければならないため、超音波システムは3次元の超音波映像を取得する必要がある。
一般に、胎児の肋骨数は、図1の3次元超音波映像が示すように12個であることが正常であるが、これとは異なり、肋骨数が11個であるとダウン症候群の危険度が増す。したがって、胎児の肋骨数は胎児の異常度合いを測定するために重要な指標として用いられる。
従来の超音波システムは、図1に示すようにレンダリングされた3次元映像からユーザが直接胎児の肋骨数を数えなければならないという煩わしさがある。
本発明は、3次元超音波映像から胎児の肋骨数を正確に測定する超音波システムおよび方法を提供することにある。
また、本発明は、3次元超音波映像から映像処理された肋骨領域および測定された肋骨数を画面に表示する超音波システムおよび方法を提供する。
本発明の一実施形態に係る超音波システムは、ユーザが胎児の肋骨の3次元超音波映像の肋骨数を測定する部分を関心領域として設定する設定部と、前記設定された関心領域において肋骨自動抽出アルゴリズムを用いて前記肋骨数を測定する測定部と、前記測定された肋骨数を表示する表示部とを備える。
本発明の一実施形態において、前記測定部は、前記関心領域において前記肋骨の3次元超音波映像を強調させ、その強調された肋骨の3次元超音波映像から基準値以上の明るさを有する領域を抽出して前記肋骨の2値画像(binary image)を生成し、前記2値画像から離散領域を分類し、そこで分類された離散領域を基準軸に沿って連結して前記肋骨領域を生成し、その肋骨領域の個数を数えて前記肋骨数を測定する。
前記測定部は、前記関心領域で肋骨の3次元超音波映像の分割を行うため、該映像に強調フィルタリング処理を行って前記肋骨の3次元超音波映像の画質または解像度を強調させる。
また、本発明の一実施形態において、表示部は、前記肋骨領域と測定された肋骨数を表示する。
また、本発明の一実施形態に係る、設定部、測定部および表示部を備える超音波システムを用いて胎児の肋骨の3次元超音波映像から前記肋骨の数を測定する方法は、前記設定部でユーザが前記3次元超音波映像上に前記胎児の前記肋骨数を測定するための関心領域を設定するステップと、前記測定部が前記関心領域内にある前記肋骨数を肋骨自動抽出アルゴリズムを用いて測定するステップと、前記表示部が前記測定された肋骨数を表示するステップとを含む。
本発明によれば、胎児の3次元超音波映像上で肋骨数を、自動で測定してくれるため、ユーザは肋骨数を数えることなく知ることができる利便性を有する。
一般的な3次元超音波映像で正常な胎児の肋骨数を示す図である。 本発明の一実施形態に係る胎児の肋骨数を測定する超音波システムの構成図である。 本発明の一実施形態において、肋骨数を測定するための関心領域が設定された一例を示す図である。 本発明の一実施形態において、肋骨自動抽出アルゴリズムの手順を段階別に示す実例図である。 本発明の一実施形態において、映像処理された肋骨領域および測定された肋骨数を表示した一例を示す。 本発明の一実施形態に係る胎児の肋骨数を測定する方法を示すフローチャートである。 本発明の一実施形態において、胎児の肋骨数を測定する手順の詳細を示すフローチャートである。
以下、添付図および添付図に記載された内容を参照して本発明の実施形態を詳細に説明するが、本発明が実施形態によって制限または限定されることはない。
図2は、本発明の一実施形態に係る胎児の肋骨数を測定する超音波システムの構成図である。
図2を参照すれば、本発明の一実施形態に係る胎児の肋骨数を測定する超音波システム200は設定部210、測定部220および表示部230を備える。また、超音波システム200は、図示しない超音波映像形成部を含んでいてもよい。この超音波映像形成部は、胎児の肋骨に超音波信号を送信し、肋骨から反射される超音波エコー信号を受信することにより、肋骨の2次元超音波映像および3次元超音波映像を形成する。
設定部210において、ユーザは3次元超音波映像の肋骨数を測定する部分を関心領域として設定する。
図3は、本発明の一実施形態において、肋骨数を測定するための関心領域が設定された一例を示す図である。
図3を参照すれば、設定部210において、ユーザは3次元超音波映像300の肋骨数を測定するための部分を関心領域(ROI:Region Of Interest)310として設定する。
測定部220は、設定された関心領域310で肋骨自動抽出アルゴリズムを用いて肋骨数を測定する。すなわち、測定部220は、まず初めに関心領域310で肋骨映像を強調させ、その強調された肋骨映像を用いてある基準値以上の明るさを有する領域を抽出して肋骨の2値画像を生成し、その2値画像から離散領域を分類し、その分類された離散領域を離散領域の基準軸(principle axis)に沿って連結して肋骨領域を生成し、全ての肋骨領域の個数を数えて肋骨数を決定する。
図4は、本発明の一実施形態において、肋骨自動抽出アルゴリズムの進行手順を段階別に表す実例である。
図4を参照すれば、測定部220は、関心領域310の映像410に対する前処理(preprocessing)として超音波映像を分割(segmentation)するため、肋骨映像を強調するフィルタリング処理を施して強調された映像420を生成する。この強調された映像420は、関心領域310の映像410において肋骨がよりよく見えるように3次元超音波映像300の画質や解像度が強調されたものである。すなわち、測定部220は、関心領域310で分割のための肋骨映像強調フィルタリング処理を行って肋骨映像の画質または解像度を強調する。一例として、測定部220は、平滑化(smoothing)、先鋭化(sharping)などのようなさまざまな方式を用いて映像強調(image enhancement)処理を行い、関心領域310の映像410に対して肋骨を強調する。そして、測定部220は、前記で強調された肋骨映像420についてある基準値以上の明るさを有する領域を抽出して肋骨の2値画像を生成する。このようにして測定部220は、2値画像から離散領域を分類した映像430を生成する。次に、測定部220は、その分類された離散領域を基準軸に沿って連結して肋骨領域を表す映像440を生成する。そして更に、測定部220は、肋骨の個数を数えるための最終映像450を生成する。
表示部230は、測定された肋骨数を表示する。
図5は、本発明の一実施形態において、映像処理された肋骨領域および測定された肋骨数を表示した一例を示す。
図5を参照すれば、表示部230は、3次元超音波映像500について、映像処理された肋骨領域510と測定された肋骨数520を表示する。一例として、映像処理された肋骨領域510は、7本の真肋骨(true ribs)部分511と、5本の仮肋骨(false ribs)部分512とに区分することができる。
このように、本発明の一実施形態に係る超音波システム200は、ユーザが3次元超音波映像の肋骨数を測定する部分を関心領域310として設定し、その設定された関心領域310において肋骨数を測定して、その値を表示する。
以上のようにして、本発明の一実施形態に係る超音波システム200は、映像処理された肋骨領域と測定された肋骨数を表示することができるため、ユーザが臨床的に重要な肋骨数を直接数える煩わしさを省き、ユーザの利便性を高めることができる。
図6は、本発明の一実施形態に係る胎児の肋骨数を測定する手順を示すフローチャートである。
図2〜図6を参照すれば、ステップS610で、設定部210においてユーザは、3次元超音波映像上に胎児の肋骨数を測定するための関心領域を設定する。一例として、図3はユーザが3次元超音波映像300に肋骨数を数える部分を関心領域310として設定する。
次に、ステップS620で、測定部220は関心領域310で肋骨自動抽出アルゴリズムに従って肋骨数を測定する。以下、図7を参照して、肋骨自動抽出アルゴリズムに従って胎児の肋骨数を測定する手順をより詳細に説明する。
図7は、本発明の一実施形態において、胎児の肋骨数を測定する手順をより詳しく示すフローチャートである。
図7を参照すれば、ステップS710で、測定部220は関心領域310で肋骨映像を強調させる前処理を行う。すなわち、ステップS710で、測定部220は測定部220が関心領域310で肋骨を分割するための肋骨映像強調フィルタリング(rib enhancement filtering)処理を行い、関心領域310に含まれる肋骨映像がよりよく見えるようにする。次に、ステップS720で、測定部220は関心領域310の映像410に対して平滑化、先鋭化などのさまざまな方法による映像強調処理を行なって、3次元超音波映像300の画質または解像度が強調された映像420を生成する。
ステップS720で、測定部220は解像度が強調された肋骨映像420についてある基準値以上の明るさを有する領域を抽出する2値画像を生成する。
次にステップS730で、測定部220は2値画像の信号レベルに従って離散領域(discrete regions)を分類する。すなわち、ステップS730で、測定部220は2値画像に対して離散領域を分類して分類された領域映像430を生成する。
ステップS740で、測定部220は分類された離散領域を基準軸に沿って連結し、肋骨領域を生成する。すなわち、ステップS740で、測定部220は分類された離散領域に対して基準軸に沿って、領域が切れた部分を結合して連結映像440を生成する。これにより、肋骨領域が得られる。
更にステップS750で、測定部220は肋骨領域にある肋骨の個数を数えて肋骨数に関する情報を得る。一例として、ステップS750で、測定部220は図4の映像処理された映像450において、肋骨領域の個数を数えて肋骨数を測定する。
最後にステップS630で、表示部230は測定された肋骨数の情報を表示する。一例として、ステップS630で、表示部230は測定された肋骨数の情報として、図3の3次元超音波映像300から映像処理された肋骨領域510と測定された肋骨数520とを表示する(図5参照)。
このように、本発明の一実施形態に係る超音波システムにおいて、肋骨数測定方法は、ユーザが3次元超音波映像の肋骨数を測定する部分を関心領域として設定し、その設定された関心領域において肋骨数を自動で測定してその値を表示する。これによって、ユーザが肋骨数を直接数えるという煩わしさをなくし、ユーザの利便性を高めることができる
なお、本発明の一実施形態においては、3次元超音波映像を例に挙げて説明したが胎児の肋骨数を測定する方法は2次元超音波映像にも拡張が可能であることは、当業者にとっては自明である。
なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて構成することもでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、オプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体であっても良い。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記ハードウェア装置は、本発明の動作を実行するために、1つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
上述したように、本発明の好ましい実施形態を図を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更することができることを理解するであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
200:超音波システム
210:設定部
220:測定部
230:表示部
300、500:3次元超音波映像
310:関心領域
510:肋骨領域
511:真肋骨部分
512:仮肋骨部分
520:肋骨数

Claims (9)

  1. 胎児の肋骨の3次元超音波映像において、ユーザが前記肋骨の数を測定する部分を関心領域として設定する設定部と、
    前記設定された関心領域を肋骨がよりよく見えるようにフィルタリング処理して向上された肋骨映像を生成し、前記向上された肋骨映像に基づいて自動的に前記肋骨数を測定する測定部と、
    前記測定された肋骨数を表示する表示部と、
    を備える胎児の肋骨数を測定する超音波システム。
  2. 前記測定部は、
    前記向上された肋骨映像から基準値以上の明るさを有する領域を抽出して肋骨の2値画像を生成し、前記2値画像から領域のレベルによって離散領域を分類し、前記分類された離散領域を基準軸に沿って連結して肋骨領域を生成し、前記肋骨領域の個数を数えて前記肋骨数を測定する、請求項1に記載の胎児の肋骨数を測定する超音波システム。
  3. 前記測定部は、
    前記関心領域の3次元超音波映像を分割するため、肋骨映像強調フィルタリング処理によって前記肋骨の3次元超音波映像の画質または解像度を向上させて前記肋骨がよりよく見えるようにする、請求項2に記載の胎児の肋骨数を測定する超音波システム。
  4. 前記表示部は、
    前記肋骨領域と前記測定された肋骨数とを表示する、請求項2に記載の胎児の肋骨数を測定する超音波システム。
  5. 設定部、測定部および表示部を備える超音波システムを用いて、胎児の肋骨の3次元超音波映像から前記肋骨の数を測定する方法であって、
    前記設定部がユーザの入力により前記3次元超音波映像に前記胎児の前記肋骨数を測定するための関心領域を設定するステップと、
    前記測定部が前記関心領域を肋骨がよりよく見えるようにフィルタリング処理して向上された肋骨映像を生成し、前記向上された肋骨映像に基づいて自動的に前記肋骨数を測定するステップと、
    前記表示部が前記測定された肋骨数を表示するステップと、
    を含む肋骨数測定方法。
  6. 前記肋骨数を測定するステップは、
    前記向上された肋骨映像を生成するステップと、
    前記測定部が前記向上された肋骨映像の3次元超音波映像から基準値以上の明るさを有する領域を抽出して前記肋骨の2値画像を生成するステップと、
    前記測定部が前記2値画像の信号レベルにより離散領域を分類するステップと、
    前記測定部が前記分類された離散領域を基準軸に沿って連結し、前記肋骨領域を生成するステップと、
    前記測定部が前記肋骨領域の個数を数えて前記肋骨数を測定するステップと、
    を含む、請求項5に記載の肋骨数測定方法。
  7. 前記向上された肋骨映像を生成するステップは、
    前記測定部が前記関心領域において前記肋骨の3次元超音波映像を分割するため、肋骨映像強調フィルタリング処理により前記肋骨の3次元超音波映像の画質または解像度を向上させて前記肋骨がよりよく見えるようにする、請求項6に記載の肋骨数測定方法。
  8. 前記肋骨数を表示するステップは、
    前記表示部が前記肋骨領域と前記測定された肋骨数を表示する、請求項6に記載の肋骨数測定方法。
  9. 請求項5ないし請求項8のうちのいずれか1項の方法を実行するためのプログラムが記録されていることを特徴とするコンピュータで読取可能な記録媒体。
JP2010183346A 2009-08-20 2010-08-18 胎児の肋骨数を測定する超音波システムおよび方法 Expired - Fee Related JP5579535B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090077096A KR101113217B1 (ko) 2009-08-20 2009-08-20 태아의 늑골 수를 측정하는 초음파 시스템 및 방법
KR10-2009-0077096 2010-08-20

Publications (3)

Publication Number Publication Date
JP2011041804A JP2011041804A (ja) 2011-03-03
JP2011041804A5 JP2011041804A5 (ja) 2011-10-13
JP5579535B2 true JP5579535B2 (ja) 2014-08-27

Family

ID=43027746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010183346A Expired - Fee Related JP5579535B2 (ja) 2009-08-20 2010-08-18 胎児の肋骨数を測定する超音波システムおよび方法

Country Status (4)

Country Link
US (1) US20120046549A1 (ja)
EP (1) EP2302587A1 (ja)
JP (1) JP5579535B2 (ja)
KR (1) KR101113217B1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492254B1 (ko) 2013-05-14 2015-02-10 사회복지법인 삼성생명공익재단 정도관리를 위한 초음파 진단 장치 및 초음파 진단 방법
CN106308848B (zh) 2015-07-10 2024-01-23 通用电气公司 一种用于测量超声影像的方法及装置
CN113164158A (zh) * 2018-11-30 2021-07-23 皇家飞利浦有限公司 用于检测骨折的装置和方法
CN115429325A (zh) * 2018-12-28 2022-12-06 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法及超声成像设备
US11457891B2 (en) 2020-08-17 2022-10-04 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686289B1 (ko) * 2004-04-01 2007-02-23 주식회사 메디슨 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
KR100863745B1 (ko) * 2005-08-18 2008-10-16 주식회사 메디슨 초음파 영상 진단 시스템에서 초음파 영상 처리 장치 및방법
US9373181B2 (en) 2005-10-17 2016-06-21 Siemens Medical Soultions Usa, Inc. System and method for enhanced viewing of rib metastasis
KR100803328B1 (ko) * 2006-07-06 2008-02-14 이화여자대학교 산학협력단 태아 초음파 영상에서 목덜미투명대의 자동 측정방법
JP5364290B2 (ja) * 2008-04-17 2013-12-11 富士フイルム株式会社 画像表示装置並びに画像表示制御方法およびプログラム

Also Published As

Publication number Publication date
JP2011041804A (ja) 2011-03-03
KR101113217B1 (ko) 2012-02-20
US20120046549A1 (en) 2012-02-23
KR20110019531A (ko) 2011-02-28
EP2302587A1 (en) 2011-03-30

Similar Documents

Publication Publication Date Title
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
KR101578770B1 (ko) 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
US20100014738A1 (en) Method and system for breast cancer screening
JP2013056156A (ja) 病状を超音波式で自動式に検出、定量化及び追跡するための方法及びシステム
KR20130023735A (ko) 장기 모델 영상 생성 방법 및 장치
KR102180466B1 (ko) 대상체의 측정값과 관련된 부가 정보를 디스플레이하기 위한 방법 및 장치
KR20150106779A (ko) 대상체에 대한 복수의 상이한 영상들을 디스플레이하는 방법 및 장치
JP5579535B2 (ja) 胎児の肋骨数を測定する超音波システムおよび方法
RU2636262C2 (ru) Способ и система для обработки данных ультразвуковой визуализации
US10546205B2 (en) System and method for multi-modality segmentation of internal tissue with live feedback
US9589204B2 (en) Quantification of a characteristic of a lumen of a tubular structure
JP2010000126A (ja) 超音波診断装置
US20120078101A1 (en) Ultrasound system for displaying slice of object and method thereof
KR102185724B1 (ko) 대상체의 측정에 사용될 캘리퍼 타입에 따라 위치가 교정된 포인트를 의료 영상에서 표시하기 위한 방법 및 장치
KR102250086B1 (ko) 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체
JP5314342B2 (ja) 画像を評価するための方法およびシステム
KR101501517B1 (ko) 초음파 영상 상에 의료용 기구를 표시하는 방법 및 장치
Ranger et al. Breast imaging with ultrasound tomography: A comparative study with MRI
Ilangovan et al. Biomedical imaging techniques
JP2004135867A (ja) 異常陰影候補検出方法及び異常陰影候補検出装置
JP7187734B1 (ja) 画像処理装置及びプログラム
KR101501516B1 (ko) 촬영된 영상의 확대 영상과 휘도 정보를 이용하여 촬영된 대상체를 메저링하기 위한 방법 및 그 장치
Ranger et al. Breast imaging with acoustic tomography: a comparative study with MRI
Singh et al. Biomedical Imaging and Sensor Fusion
Ranger Breast ultrasound tomography versus magnetic resonance imaging for clinical display of anatomy and tumor rendering: Preliminary results

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140709

R150 Certificate of patent or registration of utility model

Ref document number: 5579535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees