JP5748970B2 - 血管セグメンテーションを行う超音波システムおよび方法 - Google Patents

血管セグメンテーションを行う超音波システムおよび方法 Download PDF

Info

Publication number
JP5748970B2
JP5748970B2 JP2010172680A JP2010172680A JP5748970B2 JP 5748970 B2 JP5748970 B2 JP 5748970B2 JP 2010172680 A JP2010172680 A JP 2010172680A JP 2010172680 A JP2010172680 A JP 2010172680A JP 5748970 B2 JP5748970 B2 JP 5748970B2
Authority
JP
Japan
Prior art keywords
slice
ultrasonic
slices
segmentation
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010172680A
Other languages
English (en)
Other versions
JP2011036653A (ja
Inventor
ジュン ギョ イ,
ジュン ギョ イ,
ドン ギュ ヒョン,
ドン ギュ ヒョン,
ゼ フン ユ,
ゼ フン ユ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Medison Co Ltd
Original Assignee
Samsung Medison Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Medison Co Ltd filed Critical Samsung Medison Co Ltd
Publication of JP2011036653A publication Critical patent/JP2011036653A/ja
Application granted granted Critical
Publication of JP5748970B2 publication Critical patent/JP5748970B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、超音波システムに関し、特に、血管セグメンテーション(segmentation)を行う超音波システムおよび方法に関する。
超音波システムは、無侵襲および非破壊特性を有しており、対象体内部の情報を得るために医療分野で広く用いられている。超音波システムは、対象体を直接切開して観察する外科手術の必要がなく、対象体の内部組織を高解像度の映像で医師に提供することができるので、医療分野で非常に重要なものとして用いられている。
3次元の超音波映像を用いた超音波システムは、2次元超音波映像では提供することができない空間情報や解剖学的な形態情報を提供してくれる。即ち、この超音波システムは、超音波信号を対象体に送信して対象体から反射される超音波信号(即ち、超音波エコー信号)を用いてボリュームデータを形成し、その形成されたボリュームデータをレンダリングして3次元超音波映像を形成する。
一方、超音波システムは、3次元超音波映像にセグメンテーション(segmentation)を行い、3次元超音波映像で関心物体(例えば血管)のみを抽出することができる。しかし、セグメンテーション処理を行っても、それで得られる血管の構造が複雑な場合、その多数の血管の中から特定の血管を識別するのが困難であるだけでなく、血管連結点(または分岐点)の位置を把握するのが困難である場合がある。
特表2007−512862号公報 特開1995−178086号公報 特表2001−504603号公報 特開1993−137728号公報
本発明の目的は、3次元超音波映像に複数のスライスを設定し、互いに隣接するスライス間に血管境界の位置差を用いて血管のセグメンテーションを行う超音波システムおよび方法を提供することにある。
本発明における超音波システムは、血管を含む対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して前記対象体に対応する超音波データを取得する超音波データ取得部と、前記超音波データを用いてボリュームデータを形成するボリュームデータ形成部と、前記ボリュームデータを用いて3次元超音波映像を形成し、前記3次元超音波映像に複数のスライスを設定し、互いに隣接したスライス間のおける前記血管の整列程度(degree of registration)に基づいて、前記血管のセグメンテーション(segmentation)を行うプロセッサとを備える。
また、血管セグメンテーションの方法は、a)血管を含む対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して前記対象体に対応する超音波データを取得する段階と、b)前記超音波データを用いてボリュームデータを形成する段階と、c)前記ボリュームデータを用いて3次元超音波映像を形成する段階と、d)前記3次元超音波映像に複数のスライスを設定する段階と、e)前記互いに隣接したスライス間における前記血管の整列程度に基づいて前記血管のセグメンテーション(segmentation)を行う段階とを備える。
本発明は、3次元超音波映像を用いて血管のセグメンテーション(segmentation)を正確に行うことができ、血管をツリー形態で表現することができるだけでなく、各血管の太さ、長さ、血流などの臨床的情報を容易に取得することができる。
本発明の実施例における超音波システムの構成を示すブロック図である。 本発明の実施例における超音波データ取得部の構成を示すブロック図である。 本発明の実施例におけるプロセッサの構成を示すブロック図である。 本発明の実施例における複数のスライスおよび血管の境界を示す例示図である。 本発明の実施例によって隣接するスライス間に血管の境界の位置差を示す例示図である。 本発明の実施例における血管セグメンテーションの例を示す例示図である。
以下、添付した図面を参照して本発明の実施例を説明する。
図1は、本発明の実施例における超音波システム100の構成を示すブロック図である。超音波システム100は、超音波データ取得部110、ボリュームデータ形成部120、プロセッサ130、ディスプレイ部140および制御部150を備える。
超音波データ取得部110は、超音波信号を対象体に送信し、対象体から反射される超音波信号(即ち、超音波エコー信号)を受信して対象体の超音波データを取得する。
図2は、本発明の実施例における超音波データ取得部110の構成を示すブロック図である。超音波データ取得部110は、送信信号形成部210、複数の変換素子(transducer element)(図示せず)を含む超音波プローブ220、ビームフォーマ230および超音波データ形成部240を備える。
送信信号形成部210は、変換素子の位置および集束点を考慮して送信信号を形成する。本実施例で、送信信号は、複数のフレームのそれぞれを得るための送信信号を含む。
超音波プローブ220は、送信信号形成部210から送信信号が提供されると、送信信号を超音波信号に変換して対象体に送信し、対象体から反射される超音波エコー信号を受信して受信信号を形成する。
ビームフォーマ230は、超音波プローブ220から受信信号が提供されると、受信信号をアナログデジタル変換してデジタル信号を形成する。また、ビームフォーマ230は、変換素子の位置および集束点を考慮してデジタル信号を受信集束させて受信集束信号を形成する。
超音波データ形成部240は、ビームフォーマ230から受信集束信号が提供されると、受信集束信号を用いて超音波データを形成する。超音波データは、RF(radio frequency)データおよびIQ(in−phase/quardrature)データを含む。
再び図1を参照すると、ボリュームデータ形成部120は、超音波データ取得部110から提供される超音波データを用いてボリュームデータを形成する。ボリュームデータは、複数のフレームからなり、輝度値を有する複数のボクセル(voxel)で形成される。
プロセッサ130は、ボリュームデータ形成部120から提供されるボリュームデータを用いて対象体内の血管を含む3次元超音波映像を形成し、3次元超音波映像を用いて血管のセグメンテーション(segmetation)を行う。
図3は、本発明の実施例におけるプロセッサ130の構成を示すブロック図である。プロセッサ130は、映像形成部310、境界検出部320、スライス設定部330およびセグメンテーション部340を備える。
映像形成部310は、ボリュームデータ形成部120から提供されるボリュームデータにレンダリングを行って3次元超音波映像を形成する。レンダリングは、レイキャスティング(ray−casting)レンダリング、表面レンダリングなどを含む種々の方法で行なうことができる。
境界検出部320は、映像形成部310から提供される3次元超音波映像に境界検出を行って血管の境界を検出する。境界は、ソーベル(Sobel)マスク、プレウィット(Prewitt)マスク、ロバート(Robert)マスク、キャニー(Canny)マスクなどのような境界マスク(edge mask)を用いて検出することができる。または、境界は、構造テンソル(structure tensor)を用いた固有値(eigen value)の差を用いて検出することもできる。
また、境界検出部320は、後述するスライス設定部330により複数のスライスS〜Sが設定された後、それら複数のスライスS〜S上における血管の境界を検出することもできる。
スライス設定部330は、図4に示すように複数のスライスS〜Sを境界検出された3次元超音波映像に設定する。本実施例で、複数のスライスは、複数のフレームに対応するスライスであってもよい。また、スライス設定部330は、複数のスライスS〜Sを境界検出されていない3次元超音波映像に設定してもよい。
セグメンテーション部340は、互いに隣接したスライス間の血管の整列程度(degree of registration)に基づいて、血管のセグメンテーションを行う。一実施例で、セグメンテーション部340は、血管の境界を用いて隣接するスライス間で血管位置を比較して血管のセグメンテーションを行う。図4を参照してセグメンテーション部340の動作を説明すると次の通りである。
セグメンテーション部340は、第1のスライスSを分析して第1のスライスS上で血管境界VE11、VE12を検出する。セグメンテーション部340は、第2のスライスSを分析して第2のスライスS上で血管境界VE21、VE22を検出する。
セグメンテーション部340は、図5に示すように、隣接するスライス、即ち、第1のスライスSと第2のスライスSとの間で血管境界の位置差を検出する。即ち、セグメンテーション部340は、第1のスライスSの血管境界VE11と第2のスライスSの血管境界VE21との間の位置差を検出すると伴に、第1のスライスSの血管境界VE11と第2のスライスSの血管境界VE22との間の位置差を検出する。また同様にして、セグメンテーション部340は、第1のスライスSの血管境界VE12と第2のスライスSの血管境界VE21との間の位置差を検出すると伴に、第1のスライスSの血管境界VE12と第2のスライスSの血管境界VE22との間の位置差を検出する。
セグメンテーション部340は、第1のスライスSの血管境界VE11と第2のスライスSの血管境界VE21との間の位置差および第1のスライスSの血管境界VE12と第2のスライスSの血管境界VE22との間の位置差が予め設定しておいたしきい値以下であり、第1のスライスSの血管境界VE11と第2のスライスSの血管境界VE22との間の位置差および第1のスライスSの血管境界VE12と第2のスライスSの血管境界VE21との間の位置差が予め定めておいたしきい値を超える場合は、第2のスライスSの血管境界VE21と第1のスライスSの血管境界VE11を連結すると伴に、第2のスライスSの血管境界VE22と第1のスライスSの血管境界VE12を連結する。
セグメンテーション部340は、第3のスライスSおよび第4のスライスSに対しても前述したのと同様な操作を行う。
セグメンテーション部340は、第5のスライスSを分析し、第5のスライスSで血管境界VEを検出する。セグメンテーション部340は、隣接するスライス、即ち第4のスライスSと第5のスライスSとの間で血管境界の位置差を検出する。そして、セグメンテーション部340は、第4のスライスSの血管境界VE41と第5のスライスSの血管境界VE間の位置差および第4のスライスSの血管境界VE42と第5のスライスSの血管境界VE間の位置差が予め定めておいたしきい値以下であれば、第5のスライスSの血管境界Vと第4のスライスSの血管境界VE41およびVE42を連結する。
セグメンテーション部340は、第6のスライスSを分析して第6のスライスSで血管境界VEを検出する。セグメンテーション部340は、隣接するスライス、即ち第5のスライスSと第6のスライスSとの間に血管境界の位置差を検出する。セグメンテーション部340は、第5のスライスSの血管境界VEと第6のスライスSの血管境界VEとの間の位置差が予め定めておいたしきい値以下であれば、第6のスライスSの血管境界Vと第5のスライスSの血管境界VEとを連結する。
セグメンテーション部340は、第7〜第nのスライスS〜Sに対しても前述したと同様な操作を行い、図6に示すように血管のセグメンテーションを行う。
再び図1を参照すると、ディスプレイ部140は、プロセッサ130で形成された3次元超音波映像を表示する。また、ディスプレイ部140は、プロセッサ130により前記方法で血管セグメンテーション処理された3次元超音波映像を表示する。
制御部150は、超音波データの取得を制御し、ボリュームデータおよび3次元超音波映像の形成を制御する。また、制御部150は、3次元超音波映像の処理(即ち、血管セグメンテーション)を制御する。
本発明は望ましい実施例によって説明および例示をしたが、当業者であれば添付した特許請求の範囲の事項および範疇を逸脱することなく様々な変形および変更が可能である。
100 超音波システム
110 超音波データ取得部
120 ボリュームデータ形成部
130 プロセッサ
140 ディスプレイ部
150 制御部
210 送信信号形成部
220 超音波プローブ
230 ビームフォーマ
240 超音波データ形成部
310 映像形成部
320 境界検出部
330 スライス設定部
340 セグメンテーション部

Claims (2)

  1. 複数の血管を含む対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して前記対象体に対応する超音波データを取得する超音波データ取得部と、
    前記超音波データを用いてボリュームデータを形成するボリュームデータ形成部と、
    前記ボリュームデータを用いて3次元超音波映像を形成し、前記3次元超音波映像に複数のスライスを設定し、互いに隣接したスライス間における前記複数の血管の整列程度(degree of registration)に基づいて、前記複数の血管のセグメンテーション(segmentation)を行うプロセッサと
    を備え、
    前記プロセッサは、
    前記複数のスライスのそれぞれに対して前記複数の血管のそれぞれの境界を検出する境界検出部と、
    前記互いに隣接するスライスにおいて、一方のスライスにおける前記複数の血管の境界と、他方のスライスにおける前記複数の血管の境界との間で複数の位置差を求め、当該複数の位置差のそれぞれを所定のしきい値と比較して前記複数の血管の前記セグメンテーションを行うセグメンテーション部とを備えることを特徴とする超音波システム。
  2. a)複数の血管を含む対象体に超音波信号を送信し、前記対象体から反射される超音波エコー信号を受信して前記対象体に対応する超音波データを取得する段階と、
    b)前記超音波データを用いてボリュームデータを形成する段階と、
    c)前記ボリュームデータを用いて3次元超音波映像を形成する段階と、
    d)前記3次元超音波映像に複数のスライスを設定する段階と、
    e)互いに隣接したスライス間における前記複数の血管の整列程度に基づいて前記複数の血管のセグメンテーション(segmentation)を行う段階と
    を備え、
    前記血管のセグメンテーションを行う段階e)は、
    前記複数のスライスのそれぞれに対して前記複数の血管のそれぞれの境界を検出する段階と、
    前記互いに隣接するスライスにおいて、一方のスライスにおける前記複数の血管の境界と、他方のスライスにおける前記複数の血管の境界との間で複数の位置差を求め、当該複数の位置差のそれぞれを所定のしきい値と比較して前記複数の血管のセグメンテーションを行う段階とを備えることを特徴とする血管セグメンテーション方法。
JP2010172680A 2009-08-07 2010-07-30 血管セグメンテーションを行う超音波システムおよび方法 Expired - Fee Related JP5748970B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0072559 2009-08-07
KR1020090072559A KR101014563B1 (ko) 2009-08-07 2009-08-07 혈관 세그먼테이션을 수행하는 초음파 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2011036653A JP2011036653A (ja) 2011-02-24
JP5748970B2 true JP5748970B2 (ja) 2015-07-15

Family

ID=42556939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010172680A Expired - Fee Related JP5748970B2 (ja) 2009-08-07 2010-07-30 血管セグメンテーションを行う超音波システムおよび方法

Country Status (4)

Country Link
US (1) US8724873B2 (ja)
EP (1) EP2293242B1 (ja)
JP (1) JP5748970B2 (ja)
KR (1) KR101014563B1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101185728B1 (ko) * 2011-09-21 2012-09-25 주식회사 인피니트헬스케어 의료영상에서의 세그멘테이션 방법 및 그 장치
KR101731512B1 (ko) 2012-07-30 2017-05-02 삼성전자주식회사 복수의 문턱값들을 이용하는 혈관 세그먼테이션 방법과 그 방법을 이용한 장치
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
CN107274428B (zh) * 2017-08-03 2020-06-30 汕头市超声仪器研究所有限公司 基于仿真和实测数据的多目标三维超声图像分割方法
CN109711333B (zh) * 2018-12-26 2022-10-18 西安科技大学 基于信号区段分割的超声信号接收及处理方法
KR102641346B1 (ko) 2022-10-14 2024-02-27 주식회사 에어스메디컬 혈관 검출 방법 및 이를 수행하는 컴퓨터 프로그램

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3047265B2 (ja) 1991-11-25 2000-05-29 株式会社日立メディコ 超音波診断装置における三次元画像作成方法
JP3402703B2 (ja) 1993-12-21 2003-05-06 株式会社東芝 超音波診断装置
JP3329546B2 (ja) 1993-12-24 2002-09-30 ジーイー横河メディカルシステム株式会社 連続体識別装置および超音波血流表示装置
AU6276696A (en) 1995-06-15 1997-01-15 Regents Of The University Of Michigan, The Method and apparatus for composition and display of three-dimensional image from two-dimensional ultrasound
US6424732B1 (en) * 1998-12-01 2002-07-23 The Board Of Trustees Of The Leland Stanford Junior University Object segregation in images
US6251072B1 (en) 1999-02-19 2001-06-26 Life Imaging Systems, Inc. Semi-automated segmentation method for 3-dimensional ultrasound
US6390984B1 (en) * 2000-09-14 2002-05-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for locking sample volume onto moving vessel in pulsed doppler ultrasound imaging
US7978887B2 (en) 2003-06-17 2011-07-12 Brown University Methods and apparatus for identifying subject matter in view data
EP1639546B1 (en) 2003-06-17 2011-05-04 Brown University Method and apparatus for model-based detection of structure in projection data
CA2449080A1 (en) 2003-11-13 2005-05-13 Centre Hospitalier De L'universite De Montreal - Chum Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method
WO2005055126A1 (en) * 2003-11-26 2005-06-16 Viatronix Incorporated System and method for vascular visualization using planar reformation of vascular central axis surface with biconvex slab
US20060020204A1 (en) * 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
US20070242869A1 (en) * 2006-04-12 2007-10-18 Eastman Kodak Company Processing and measuring the spine in radiographs
JP5137728B2 (ja) 2008-07-30 2013-02-06 Hoya株式会社 内視鏡

Also Published As

Publication number Publication date
EP2293242A1 (en) 2011-03-09
US8724873B2 (en) 2014-05-13
KR101014563B1 (ko) 2011-02-16
JP2011036653A (ja) 2011-02-24
US20110033096A1 (en) 2011-02-10
KR20110015058A (ko) 2011-02-15
EP2293242B1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
EP1973076B1 (en) Ultrasound system and method for forming an ultrasound image
KR100969536B1 (ko) 초음파 영상을 형성하는 초음파 시스템 및 방법
JP5748970B2 (ja) 血管セグメンテーションを行う超音波システムおよび方法
JP2011152416A (ja) 3次元超音波映像に映像処理および関心物体の大きさ測定を行う超音波システムおよび方法
JP2010221018A (ja) ボリュームデータに表面レンダリングを行う超音波システムおよび方法
KR101116925B1 (ko) 초음파 영상을 정렬시키는 초음파 시스템 및 방법
JP2011120901A (ja) 超音波空間合成映像を提供する超音波システムおよび方法
US8663110B2 (en) Providing an optimal ultrasound image for interventional treatment in a medical system
JP5642997B2 (ja) 複数のスライス映像を提供する超音波システムおよび方法
JP2011031023A (ja) サジタルビューを設定する超音波システムおよび方法
EP2446827B1 (en) Providing a body mark in an ultrasound system
JP2011036667A (ja) 血管ラベリングを行う超音波システムおよび方法
KR101175402B1 (ko) 가상의 변환소자에 기초하여 스캔라인의 스티어링을 설정하는 초음파 시스템 및 방법
JP2010046484A (ja) 弾性映像を形成する超音波システム及び弾性映像形成方法
EP3053528B1 (en) Ultrasound diagnosis apparatus and operating method thereof
KR101208216B1 (ko) Imt 측정 영역을 설정하는 초음파 시스템 및 방법
KR101024857B1 (ko) 3차원 초음파 영상에 컬러 모델링 처리를 수행하는 초음파 시스템 및 방법
KR101097539B1 (ko) 볼륨 데이터를 보정하는 초음파 장치 및 방법
KR101097630B1 (ko) 3차원 초음파 데이터에 기초하여 대상체의 측정정보를 제공하는 초음파 시스템 및 방법
EP2454996A1 (en) Providing an optimal ultrasound image for interventional treatment in a medical system
KR101067230B1 (ko) 볼륨 데이터의 저장을 제어하는 초음파 시스템 및 방법
KR101060386B1 (ko) 탄성 영상을 형성하는 초음파 시스템 및 방법
KR20120060504A (ko) 디지털 워터마킹에 기초하여 초음파 영상 처리를 수행하는 초음파 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150513

R150 Certificate of patent or registration of utility model

Ref document number: 5748970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees