JP5453450B2 - 診断支援システムおよびプログラム - Google Patents

診断支援システムおよびプログラム Download PDF

Info

Publication number
JP5453450B2
JP5453450B2 JP2011540498A JP2011540498A JP5453450B2 JP 5453450 B2 JP5453450 B2 JP 5453450B2 JP 2011540498 A JP2011540498 A JP 2011540498A JP 2011540498 A JP2011540498 A JP 2011540498A JP 5453450 B2 JP5453450 B2 JP 5453450B2
Authority
JP
Japan
Prior art keywords
image processing
image
processing flow
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011540498A
Other languages
English (en)
Other versions
JPWO2011058949A1 (ja
Inventor
雅之 太田
久美子 瀬戸
俊太郎 由井
和喜 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011540498A priority Critical patent/JP5453450B2/ja
Publication of JPWO2011058949A1 publication Critical patent/JPWO2011058949A1/ja
Application granted granted Critical
Publication of JP5453450B2 publication Critical patent/JP5453450B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、診断支援システムおよびプログラムに関するものである。
医療分野において、CTやMRI、PETに代表される画像診断装置の高性能化が急激に進んでいる。感度や画像解像度の向上、撮像時間の短縮といったハード面での改良に加え、造影剤をはじめとする新規薬剤の研究開発成果との相乗効果で、今後もさらなる進歩が見込まれている。それと同時に病院情報システム、殊に画像診断に係るシステムも、この急激な進歩に追随して進歩していく必要がある。データの入出力に関してはDICOMやHL7といった標準的な規格が既に存在するため、例えば新規の画像診断装置が開発されて医療現場で活用されることになっても、画像診断装置側が対応することにより大きな問題が生じることはないが、新規の画像診断装置から出力される画像をどのように扱ってどのように解釈すべきかが大きな課題となる。
医用画像データが血液・生化学検査結果などの数値データと異なる点は、診断装置の出力データそのものから医学的な意味を持つ数値データが直接得られるとは限らない点である。放射線科医は、画像の拡大・縮小や色調変更、フィルタリングといった基本的な画像処理から、時系列データ間や別モダリティデータ間の位置合わせ(レジストレーション)、領域抽出(セグメンテーション)などの高度な画像処理まで、多種多様の画像処理機能を組み合わせて連続的に画像処理を行うことが可能である。しかし、画像処理一つを取り上げてみても多くのパラメータが存在するため、画像処理機能を組み合わせて連続的に行われる一連の画像処理すなわち画像処理フローのパターンは無数である。一方で放射線科医が読影作業に費やすことのできる時間には限りがあるため、効率的で安全性の高い診断支援技術が求められている。
放射線科医が日々の読影業務の中で実行する画像処理フローを適切に記録して活用することは、医療現場の様々なシーンにおける効果が期待できる。例えば、カンファレンスにおいて臨床医と放射線科医、放射線科技師などの医療従事者が集まってある症例について議論をする場面では、CT検査結果の原画像を提示したりそこから病変部位の定量評価を行った結果を示したりしながらその症例に関する情報を共有し合うが、原画像から定量値算出に至るまでの画像処理フローを記録しておくことによって、放射線科医の作業手順を確認しながら議論をすることが可能となる。あるいは、ある患者の画像データに対して記録しておいた画像処理フローを記録しておき、次回検査の画像データに対してその画像処理フローを適用することで、時点の異なるデータ間の比較を効率的かつ精度良く行うことができる。
上記のような画像処理フローをはじめとする、医療現場における作業履歴を活用する技術としてはこれまでにも以下のような技術が開示されている。
特許文献1では、情報処理装置及び情報処理方法について記載されている。診断の対象となった医用画像に関するリンク情報と画像処理履歴情報と診断レポートとを対応付けた電子カルテを好適に作成することに関する特許文献である。
特許文献2では、診断支援方法、診断支援装置、診断支援システム、及び診断支援プログラムについて記載されている。操作指示を入力するための複数のアイコンを表示し、統計情報を用いて表示するアイコンを抽出しユーザに提示することに関する特許文献である。
特開2004−334789号公報 特開2007−330374号公報
しかし、上記の既に開示されている技術では、記録された画像処理フローを再生する場面において画像処理前の原画像からもう一度画像処理フローを全て演算し直す必要があるので、演算時間のかかる高度な画像処理フローの再生に対しては適切な技術であるとはいえない。また、医療機関によってネットワークやサーバの容量を含めたシステム構成が異なるため、医療機関ごとにカスタマイズした形式で画像処理フローの保存が容易に行えることも重要な課題である。
上記課題を解決するために、本発明の診断支援システムおよびプログラムは、
画像データを入出力する画像データ入出力部と、
前記画像データ入出力部から入力された画像を表示する画像データ表示部と、
前記画像データ表示部に表示された画像データに対する画像処理命令を入力する画像処理命令入力部と、
前記画像処理命令入力部から入力された画像処理を実行する画像処理実行部と、
前記画像処理実行部によって実行される一連の画像処理を画像処理フローとして記録する画像処理フロー記録部と、
前記画像処理フローを記憶する記憶部と、
前記記憶部から前記画像処理フローを受け取り再生する画像処理フロー再生部と、
を備えることを特徴とする。
また、前記画像処理フローは、個々の画像処理を実行する直前の中間画像あるいは直後の中間画像あるいは画像処理パラメータの少なくともいずれか1以上を含む個々の画像処理履歴を順列に保持することが好ましい。
さらに、前記記憶部に記憶された前記画像処理フローに対し、前記画像処理フローの最適化を実行する最適化実行部をさらに備え、前記最適化実行部は前記中間画像を1ずつ削除することで最適化を実行することが好ましい。
また、前記最適化実行部は、前記画像処理フローの総演算時間を算出し、前記総演算時間が規定時間内に収まるように、あるいは前記画像処理フローのデータサイズを算出し前記データサイズが規定データサイズ内に収まるように、前記画像処理フローの中間画像を1ずつ削除することが好ましい。
医療従事者が行った画像処理フローを記録・保存し、必要な場面で保存しておいた画像処理フローを高速に再生することが容易となる。また、医療機関ごとに画像処理フローの保存方法をカスタマイズし、個々の医療機関に適した方法で保存することが容易となる。
本発明の実施例1におけるシステム構成図である。 腫瘍サイズの3次元的定量化における画像処理フローチャートの例である。 画像処理履歴のデータ構造を示す図である。 画像処理フローの最適化フローチャートである。 画像処理フローの最適化フローチャートである。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
図1は、本発明の実施形態のシステム構成を表すシステム構成図である。図1において、画像データ入出力部101は、CT, MRI, PET, SPECT, US等、画像診断機器との通信、あるいは画像サーバとの通信により画像データを入出力する。上記通信はネットワーク102を介して行われる。システムのクライアント領域103には、入力された画像を表示する画像データ表示部104、画像処理命令を入力する画像処理命令入力部105、画像処理フロー再生部106が含まれる。画像データ表示部104は、US断層像やX線透過画像などの2次元画像、CT, MRIなどの3次元画像、さらには時間軸を加えた4次元画像を表示する。また、同一患者の時相が異なるデータ、日時が異なるデータ、あるいは類似症例を並べて表示する場合には、複数の画像データを縦または横に並べて表示する。
以降の説明は、癌症例における腫瘍の3次元的定量化を例に挙げて実施形態を詳細に説明するが、本例は本実施形態の範囲を限定するものではない。
癌の腫瘍サイズは、腫瘍の性状や位置情報とともに病期の判定や治療方針決定に関わる重要な要素の一つである。検査画像データを3次元的なボリュームデータとして扱い一連の画像処理を実行することで、腫瘍の体積を算出したり、腫瘍の最大長径、最大短径を3次元的に算出したりすることが可能となる。しかし、これらの画像定量値を算出する方法においては、実行する画像処理機能の種類、画像処理パラメータのみならず、画像処理の順序や、造影CT画像に対する処理であれば動脈相や遅延相など複数の時相が存在するためどのデータに対して画像処理を実行するか、などが選択肢になるため、放射線科医をはじめとするユーザは各自が最適と判断した方法やパラメータを用いて定量値を算出することになる。
上述の一連の画像処理は、まず画像処理命令入力部105から画像処理命令が入力され、次に画像処理実行部107において画像処理が実行され、さらに画像処理実行部107によって実行された画像処理結果は画像データ表示部104に表示され、再び画像処理命令入力部105から画像処理命令が入力され画像処理が実行されることによって行われる。腫瘍の3次元的定量化においては腫瘍の体積、最大長径、最大短径などを算出することが画像処理フローの目的かつ出力データであるが、これらの定量値算出を以って画像処理フローが完了する。
図2のフローチャートは、複数の画像処理が連続的に実行される画像処理フローの一例である。古典的肝細胞癌の腫瘍は造影CTの動脈相で高濃度を呈し、遅延相で低濃度となる。ここで示す画像処理フローは腫瘍の定量化を目的として、この2つの時相データを入力画像としてシステムに読み込み(201)、レジストレーション(202)を実行後、差分画像を生成し(203)、ある閾値で二値化するフィルタリング(204)を実行後、肝腫瘍領域を抽出(205)し、最後に腫瘍の体積、最大長径、最大短径などの定量値を算出(206)する、という過程を経る一連の画像処理である。ここで挙げた画像処理フローは個々の画像処理機能の組み合わせの一例であり、ユーザは自由自在に画像処理機能を組み合わせたり、あるいは個々の画像処理のパラメータを設定したりすることが可能である。
図3に、図2の画像処理フローと対応した個々の画像処理履歴のデータ構造を示す。個々の画像処理履歴には画像処理実行直前の画像データ301、画像処理実行直後の画像データ302、画像処理パラメータ303、画像処理演算時間304、自身のデータサイズ305などがデータ項目として含まれ得る。画像処理演算時間304は、代わりに画像処理演算開始時刻と終了時刻を記録しておいてもよい。この例では、図3のNo.1〜5のレコードの集合と、最後の画像処理である定量値算出の結果得られる画像定量値を合わせたデータが画像処理フローのデータとなる。
個々の画像処理が実行されると、後述するデータ構造をもつ画像処理履歴として画像処理フロー記録部108に記録される。一連の画像処理が完了すると、画像処理フロー記録部108に記録されていた画像処理履歴は画像定量値とともに画像処理フローとして記憶部109に記憶される。
画像処理フローのデータサイズをなるべく小さくすることを考慮すると、上述のデータ項目のうち中間画像データは保存をしない方が好ましいが、中間画像データを保存しておかないと画像処理フロー再生時に画像処理フロー再生部106にてその画像処理を再度実行する必要が生じるため再生に要する時間は長くなる。逆に中間画像データを保存しておけば画像処理を再度実行する必要はなく、画像処理フローの再生を速やかに行うことが可能であるがデータサイズは大きくなってしまう。
そこで、最適化実行部110は、画像処理フローから必要に応じて中間画像を間引き、記憶部109に記憶する。前述したように画像データを画像処理フローのデータとして保存するか否かは記憶部のストレージ容量節約と画像処理フローの再生速度向上とのトレードオフであり、医療機関ごとに事情が異なる。さらに、記憶部のストレージ容量増設等の環境変化に伴い画像処理フローの保存方針の変更が必要となることも十分に想定される。したがって、医療機関ごとの事情を考慮した画像処理フローの保存形式を最適化し、またカスタマイズ可能な柔軟な機構が必要となる。これを実現しているのが最適化実行部110である。
図4は、最適化実行部110で行われる画像処理フロー最適化の一例を示すフローチャートである。このフローチャートでは画像処理フローを快適に再生するため、画像処理フローの再生速度向上に重点を置いた最適化を実行している。まず、最適化すべき画像処理フローの総演算時間を算出する。総演算時間は、図3で示したデータ項目のうち、個々の画像処理演算時間を全て加算することで算出することができる。次に、算出された総演算時間が、あらかじめ規定しておいた規定時間を超過しているか否かの判定を行う。超過している場合には、総演算時間が規定時間内に収まるまで中間画像データを1つずつ削除していく。その時、画像演算時間がより短時間で完了した画像処理の中間画像データから優先的に削除していくことで、画像処理フロー再生時に再生時間を規定時間内に収め、かつ、データサイズを最小にすることができる。なお、本発明は、中間画像データを1つずつ削除せずに、数個一緒に削除する形態でもよい。本発明のように、画像演算時間が短い中間画像データから削除し、画像演算時間が長い中間画像データは残すようにすることにより、演算時間を短くし、かつ、サーバの容量も少なくて済む診断支援システムを提供可能となる。
図5は、図4と同様に最適化実行部110で行われる画像処理フロー最適化の一例を示すフローチャートである。このフローチャートでは画像処理フローのデータサイズをより小さくすることで、ストレージ容量を節約することに重点を置いた最適化を実行している。この最適化においては、総ファイルサイズが規定ファイルサイズ内に収まるまで中間画像データを1つずつ削除していく。
あるいは、記憶部のストレージ容量節約と画像処理フローの再生速度向上とのバランスを重視し、最適化フローチャートの分岐条件として総演算時間と総ファイルサイズの両方に条件を規定してもよい。
画像処理フロー再生部106において画像処理フローの再生は、再生する画像処理フローの中間画像を時系列順に提示することで実行される。最適化実行部110によって削除された中間画像に関しては、画像処理実行部107によって再度画像処理を実行すればよい。
本実施例における本発明の効果は、3次元画像データに対する画像処理フローを適切な形式で保存しておくことによって、画像処理フローを快適に再生できることにある。カンファレンスにおける症例検討の場において、あるいは他の医師が行った画像処理について確認したい場面において効果的である。
101 画像データ入出力部
102 ネットワーク
103 クライアント領域
104 画像データ表示部
105 画像処理命令入力部
106 画像処理フロー再生部
107 画像処理実行部
108 画像処理フロー記録部
109 記憶部
110 最適化実行部
201 3次元画像データ読み込み処理
202 レジストレーション処理
203 差分処理
204 フィルタリング処理
205 セグメンテーション処理
206 定量値算出処理
301 画像処理実行直前の中間画像データ
302 画像処理実行直後の中間画像データ
303 画像処理パラメータ
304 画像処理演算時間
305 データサイズ

Claims (3)

  1. 画像データを入出力する画像データ入出力部と、
    前記画像データ入出力部から入力された画像を表示する画像データ表示部と、
    前記画像データ表示部に表示された画像データに対する画像処理命令を入力する画像処理命令入力部と、
    前記画像処理命令入力部から入力された画像処理を実行する画像処理実行部と、
    前記画像処理実行部によって実行される一連の画像処理を画像処理フローとして記憶する記憶部と、
    前記記憶部から前記画像処理フローを受け取り再生する画像処理フロー再生部と、
    を備え、
    前記画像処理フローは、個々の画像処理を実行する直前の中間画像あるいは直後の中間画像の少なくともいずれかと、前記画像処理に要した時間である画像処理演算時間とを含む個々の画像処理履歴を順列に保持するものであることを特徴とする診断支援システム。
  2. 前記記憶部に記憶された前記画像処理フローに対し、前記画像処理フローの最適化を実行する最適化実行部をさらに備え、前記最適化実行部は、前記画像処理演算時間が短い画像から、前記中間画像を削除することを特徴とする請求項1に記載の診断支援システム。
  3. コンピュータを、請求項1または請求項2に記載の診断支援システムとして機能させるためのプログラム。
JP2011540498A 2009-11-13 2010-11-08 診断支援システムおよびプログラム Expired - Fee Related JP5453450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011540498A JP5453450B2 (ja) 2009-11-13 2010-11-08 診断支援システムおよびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009259426 2009-11-13
JP2009259426 2009-11-13
JP2011540498A JP5453450B2 (ja) 2009-11-13 2010-11-08 診断支援システムおよびプログラム
PCT/JP2010/069844 WO2011058949A1 (ja) 2009-11-13 2010-11-08 診断支援システムおよびプログラム

Publications (2)

Publication Number Publication Date
JPWO2011058949A1 JPWO2011058949A1 (ja) 2013-04-04
JP5453450B2 true JP5453450B2 (ja) 2014-03-26

Family

ID=43991608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540498A Expired - Fee Related JP5453450B2 (ja) 2009-11-13 2010-11-08 診断支援システムおよびプログラム

Country Status (2)

Country Link
JP (1) JP5453450B2 (ja)
WO (1) WO2011058949A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5857708B2 (ja) * 2011-12-14 2016-02-10 Nkワークス株式会社 画像処理プログラムおよび画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258031A (ja) * 1992-03-16 1993-10-08 Nec Corp 画像管理システム
JPH07110868A (ja) * 1993-10-12 1995-04-25 Fuji Xerox Co Ltd 画像処理装置
JP2004264945A (ja) * 2003-02-28 2004-09-24 Konica Minolta Holdings Inc 記録装置、画像データ記録プログラム、画像処理装置、画像処理プログラム、画像読取装置、画像読取プログラムおよび画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258031A (ja) * 1992-03-16 1993-10-08 Nec Corp 画像管理システム
JPH07110868A (ja) * 1993-10-12 1995-04-25 Fuji Xerox Co Ltd 画像処理装置
JP2004264945A (ja) * 2003-02-28 2004-09-24 Konica Minolta Holdings Inc 記録装置、画像データ記録プログラム、画像処理装置、画像処理プログラム、画像読取装置、画像読取プログラムおよび画像処理システム

Also Published As

Publication number Publication date
WO2011058949A1 (ja) 2011-05-19
JPWO2011058949A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
US10229497B2 (en) Integration of medical software and advanced image processing
JP6689919B2 (ja) 医療情報用の進化型コンテキスト臨床データエンジン
JP5823259B2 (ja) 医用データ生成装置
US8370293B2 (en) Workflow template management for medical image data processing
US8837794B2 (en) Medical image display apparatus, medical image display method, and medical image display program
JP6793994B2 (ja) 一連のスライス画像を再構成する方法およびこれを利用した装置
KR101287382B1 (ko) 속성 정보와 영상 특성 정보를 활용하는 의료 영상 처리 및 디스플레이 장치 및 방법
JP7240001B2 (ja) 画像の閲覧を支援する方法およびこれを利用した装置
CN105765591B (zh) 用于预取比较医学研究的系统、方法及存储介质
JP2020518047A (ja) 全人的患者放射線医療ビューワ
US20210257083A1 (en) Medical image processing apparatus, program installable into medical image processing apparatus, and medical image processing method
JP5329993B2 (ja) 画像表示プログラム、医用画像診断装置および医用画像処理装置
US10176569B2 (en) Multiple algorithm lesion segmentation
JP7023162B2 (ja) 予測装置、予測方法、及び予測プログラム
JP6440386B2 (ja) 情報処理装置及びプログラム
JP2021182403A (ja) 変換装置、変換方法、及びプログラム
JP6413232B2 (ja) 情報処理装置及び情報処理方法
JP5453450B2 (ja) 診断支援システムおよびプログラム
WO2013121679A1 (ja) 領域抽出処理システム
JP2011081512A (ja) 医療情報管理装置、方法、及びプログラム、並びに、医療情報システム
JP6825606B2 (ja) 情報処理装置及び情報処理方法
US20150145779A1 (en) Image Display Apparatus And Image Display Method
JP4263942B2 (ja) 遠隔画像解析システムおよびその方法
JP6797525B2 (ja) 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
Shen et al. Internet based tele-diagnostic interface for breast pathology

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5453450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees