JP5398518B2 - 医療診断支援装置 - Google Patents

医療診断支援装置 Download PDF

Info

Publication number
JP5398518B2
JP5398518B2 JP2009295647A JP2009295647A JP5398518B2 JP 5398518 B2 JP5398518 B2 JP 5398518B2 JP 2009295647 A JP2009295647 A JP 2009295647A JP 2009295647 A JP2009295647 A JP 2009295647A JP 5398518 B2 JP5398518 B2 JP 5398518B2
Authority
JP
Japan
Prior art keywords
medical
information
input information
image
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009295647A
Other languages
English (en)
Other versions
JP2011131022A (ja
Inventor
将実 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009295647A priority Critical patent/JP5398518B2/ja
Priority to US12/973,780 priority patent/US8949171B2/en
Publication of JP2011131022A publication Critical patent/JP2011131022A/ja
Application granted granted Critical
Publication of JP5398518B2 publication Critical patent/JP5398518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、医療診断を支援する情報を提供する技術に関するものである。
医療の分野において、医師は、患者を撮影した医用画像をモニタに表示し、モニタに表示された医用画像を読影して、病変部の状態や経時変化を観察する。この種の医用画像を生成する装置としては、例えば、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波装置等が挙げられる。これらの医用画像を用いた診断(画像診断)は、医用画像から異常陰影等を発見してその特徴を得る工程と、その陰影が何であるかを鑑別診断する工程に分けることができる。
従来、医師による鑑別診断の支援を目的として、異常陰影の特徴(読影所見)などを入力情報として、その陰影が何であるかを推論して提示する医療診断支援装置の開発が行われている。例えば、胸部X線CT画像のある陰影が悪性腫瘍である確率と良性腫瘍である確率を算出して、これを提示するような装置が考えられている。通常、このような装置を実際の臨床現場で用いる場合の正しい手順としては、まず医師による鑑別診断が行われ、その後に、医療診断支援装置が出力した推論結果を医師が参考情報として参照する。
ここで、未入力の情報が多数ある場合には、医療診断支援装置による推論の精度が低くなるという課題が生じる。そこで、推論に必要な未入力情報を装置が選択して、その追加を医師に促すことで、より信頼できる推論結果を得るという試みがなされている。
例えば、下記の特許文献1には、入力済みの情報(既入力情報)に基づく装置の推論結果(現在の推論結果)と、既入力情報に未入力情報を加えた場合の推論結果から、注目すべき未入力情報を選択して提示する技術が記載されている。この技術では、現在の推論結果に対して未入力情報の夫々が与える影響度を算出し、影響度が大きい未入力情報を提示する。また、下記の特許文献1には、影響度の算出方法としては、現在の推論結果において最も高い確率を持つ診断名に着目して、未入力情報が入った場合の確率の変化量を影響度とする方法が開示されている。また、下記の特許文献1には、現在の推論結果における各診断名の確率に着目して、未入力情報が入った場合の各確率の変化量の総和を影響度とする方法が開示されている。そして、下記の特許文献1では、これにより、既入力情報に基づく装置の推論結果に大きな影響を与える未入力情報の提示が可能となっている。
特許第3226400号公報
近藤他:「3次元胸部X線CT像による腫瘍影の含気型と充実型への分類およびその良悪性鑑別への応用」、信学技報、MI2000−16、2000−05 多田他:マルチスライスCT画像を用いた気管支抽出アルゴリズムの検討」、信学技報、MI2004−37、2004−09
しかしながら、特許文献1では、既入力情報に基づく装置の推論結果に大きな影響を与えるという基準のみで、注目すべき未入力情報を選択するものであった。そのため、医用画像上に存在する可能性が低い情報(所見)が、注目すべき未入力情報として提示されてしまう場合があった。
本発明は、このような問題点に鑑みてなされたものであり、医師が優先的に確認すべき情報を効率的に提示することを実現できるようにすることを目的とする。
本発明の医療診断支援装置は、医療診断を支援する情報を提供する医療診断支援装置であって、前記医療診断の対象となる医用画像の入力を行う医用画像入力手段と、前記医用画像に係る1つ以上の医用情報を既入力情報として取得する医用情報取得手段と、前記医用画像から画像特徴量を取得する画像特徴量取得手段と、前記既入力情報以外の医用情報である未入力情報の中から、前記画像特徴量に関連付けられた複数の未入力情報を、提示の候補である提示未入力情報候補として選択する提示未入力情報候補選択手段と、前記既入力情報と前記提示未入力情報候補の夫々を用いて推論結果を得る推論手段と、複数の前記推論結果に基づいて、前記提示未入力情報候補の中から、提示未入力情報を選択する提示未入力情報選択手段と、前記提示未入力情報選択手段で選択した提示未入力情報を提示する提示手段とを有する。
本発明によれば、医師が優先的に確認すべき情報を効率的に提示することができる。
本発明の実施形態に係る医療診断支援装置を含む医療診断支援システムの概略構成の一例を示す模式図である。 本発明の実施形態に係る医療診断支援装置の制御方法における処理手順の一例を示すフローチャートである。 本発明の実施形態を示し、ベイジアンネットワークを用いた確率推論モデルの一例を示す模式図である。 図2に示すステップS205における詳細な処理手順の一例を示すフローチャートである。 本発明の実施形態を示し、極座標形式により縦軸を距離rとし横軸を角度θとし、辺縁の各点から領域の重心までの距離と角度との関係の一例を示す模式図である。 本発明の実施形態におけるモニタ表示画面の一例を示す模式図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
図1は、本発明の実施形態に係る医療診断支援装置を含む医療診断支援システムの概略構成の一例を示す模式図である。
図1に示すように、医療診断支援システム10は、医療診断支援装置100と、医用画像データベース200と、診断録データベース300と、ローカルエリアネットワーク(LAN)400を有して構成されている。即ち、図1に示す医療診断支援システム10は、医療診断支援装置100が、LAN400を介して、医用画像データベース200及び診断録データベース300に接続される構成となっている。
医療診断支援装置100は、医師等による医療診断を支援する情報を提供する装置であり、具体的には、入力された複数の医用情報に基づいて医療診断に係る推論処理を行って、注目すべき(医師等が優先的に確認すべき)未入力情報を提示するものである。
医療診断支援装置100は、制御部110と、モニタ120と、マウス130と、キーボード140を有して構成されている。
制御部110は、医療診断支援装置100の動作を制御するものであり、中央処理装置(CPU)111と、主メモリ112と、磁気ディスク113と、表示メモリ114と、バス115を有して構成されている。そして、CPU111が、例えば主メモリ112に格納されているプログラムを実行することにより、医用画像データベース200及び診断録データベース300との通信、医療診断支援装置100の全体の制御等の各種制御が実行される。
CPU111は、主として、医療診断支援装置100の各構成要素の動作を制御して、医療診断支援装置100の動作を統括的に制御する。
主メモリ112は、CPU111が実行する制御プログラムを格納したり、CPU111によるプログラムの実行時の作業領域を提供したりする。
磁気ディスク113は、オペレーティングシステム(OS)や、周辺機器のデバイスドライバ、各種のアプリケーションソフト等、及び、各種のアプリケーションソフト等が生成または使用する作業用データ等を格納する。
表示メモリ114は、モニタ120に表示するための表示用データを一時記憶する。
バス115は、医療診断支援装置100の各構成要素を相互に通信可能に接続するとともに、当該医療診断支援装置100とLAN400を通信可能に接続する。
モニタ120は、例えばCRTモニタや液晶モニタ等で構成されており、CPU111の制御に従って、表示メモリ114の表示用データに基づく画像等を表示する。また、CPU111が実行するプログラムの実行状況や実行結果は、必要に応じて、モニタ120に表示される。なお、本実施形態では、注目すべき未入力情報等をモニタ120に提示する例を説明するが、本発明においては、これに限定されるものではない。例えば、これらの未入力情報等を、プリンタ等に出力して提示する形態や、音声その他の手段により出力して提示する形態も本発明に含まれる。
マウス130及びキーボード140は、それぞれ、ユーザによるポインティング入力及び文字等の入力を行うためのものである。ユーザ(医師等)は、このマウス130やキーボード140を操作することで、医療診断支援装置100に様々なコマンド(指示・命令)を入力する。
本実施形態の医療診断支援装置100は、LAN400を介して、医用画像データベース200から各種の画像データを読み出すことができ、また、診断録データベース300から各種の診断録データを読み出すことができる。ここで、医用画像データベース200として、例えば、既存のPACS(Picture Archiving and Communication System)を利用することができる。また、診断録データベース300として、例えば、既存のHIS(Hospital Information System)のサブシステムである電子カルテシステムを利用することができる。或いは、医療診断支援装置100に外部記憶装置、例えばFDD、HDD、CDドライブ、DVDドライブ、MOドライブ、ZIPドライブ等を接続し、それらのドライブから医用画像データ及び診断録データを読み込むようにしてもよい。
医用画像データベース200は、例えば医用画像撮影装置(不図示)による撮影により得られた各種の医用画像データを格納する。医療診断支援装置100は、LAN400を介して医用画像データベース200に接続され、そこから必要な医用画像データを取得する。ここで、本実施形態で用いる医用画像の種類の一例としては、単純X線画像(レントゲン画像)や、X線CT画像、MRI画像、PET画像、SPECT画像、超音波画像などがある。
診断録データベース300は、各種の診断録データを格納する。医療診断支援装置100は、LAN400を介して診断録データベース300に接続され、そこから必要な診断録データを取得する。本実施形態で用いる診断録には、患者の個人情報(氏名、生年月日、年齢、性別など)、臨床情報(様々な検査値、主訴、既往歴、治療歴など)、医用画像データベース200に格納された患者の医用画像データへの参照情報及び主治医の所見情報などが記載される。さらに、診断が進んだ段階で、当該診断録には、確定診断名が記載される。
LAN400は、医療診断支援装置100と、医用画像データベース200及び診断録データベース300とを通信可能に接続するものである。
次に、本実施形態に係る医療診断支援装置100の制御方法における処理手順について説明する。
図2は、本発明の実施形態に係る医療診断支援装置100の制御方法における処理手順の一例を示すフローチャートである。具体的に、図2に示すフローチャートは、CPU111が主メモリ112に格納されているプログラムを実行することにより実現される。
また、図3は、本発明の実施形態を示し、ベイジアンネットワークを用いた確率推論モデルの一例を示す模式図である。
以下の説明では、医療診断支援装置100を用いて肺の異常陰影に係る医療診断の支援を行う場合を例として説明する。もちろん、推論対象はこれに限定されるものではなく、以下に示す診断名の選択肢や入力可能な医用情報などは、何れも医療診断支援装置100の処理の工程を説明するための一例に過ぎない。
また、以下の説明では、医療診断支援装置100が取り扱う診断名の選択肢(異常の種類)を、「D」を用いて表記する。本実施形態では、診断名の選択肢として、図3のステート303に示された原発性肺癌、癌の肺転移、その他の異常を取り扱うものとし、以下では、夫々の診断名を、「D1」、「D2」、「D3」と表記する。
また、以下の説明では、医療診断支援装置100が取り扱う医用情報を、「Ij」と表記する。本実施形態では、図3に示した7種類の医用情報I1〜I7を取り扱うものとする。例えば、図3の医用情報I1の「形状」は、異常陰影の形状を表している。また、図3の医用情報I5の「胸膜の引込・巻込」は、臓器内での胸膜の引込・巻込の有無を表している。
また、以下の説明では、夫々の「Ij」が取り得る状態(離散値)を「Sjk」と表記する。ここで、kの範囲は「Ij」により様々な値となる。本実施形態では、図3に示すように、例えば医用情報I1の「形状」は、S11の「形状−球形」、S12の「形状−分葉状」、S13の「形状−不整形」の3状態を取ることができる。
また、以下の説明では、「Ij」の組を「N」と表記する。また、「Sjk」の組を「C」、「E」と表記する。
ここで、「C」は、単純な「Sjk」の組を表す。例えば、要素として、S11、S12、S51がある場合、C={S11,S12,S51}となる。図3に示す例では、C={形状−球形,形状−分葉状,胸膜の引込・巻込−ある}となる。
一方、「E」は、設定可能な「Sjk」の組を表す。ここで、設定可能とは、同じ「Ij」に関する「Sjk」が1つの「E」の中に同時に存在しないことを示す。先ほどの例と同様に、要素として、S11、S12、S51がある場合、{S11,S51}は取り得るが、{S11,S12}は取り得ない。これは、1つの医用情報は、1つの状態しか取ることができないからである。図3に示す例では、{形状−球形,胸膜の引込・巻込−ある}の組は取ることができるが、{形状−球形,形状−分葉状}の組は取ることができない。
まず、図2のステップS201において、CPU111は、マウス130やキーボード140の入力に応じて、医用画像データベース200から所望の医用画像データを医療診断支援装置100に入力する処理を行う(医用画像入力工程)。
以下、ステップS201で入力された医用画像データを「読影対象画像」と呼ぶ。この読影対象画像データの入力処理は、上述したように、CPU111が、撮影された医用画像データを保存する医用画像データベース200からLAN400を介して所望の医用画像データを読影対象画像として受信することで行われる。なお、ステップS201の処理は、CPU111が、医療診断支援装置100に接続された記憶装置、例えばFDD、CD−RWドライブ、MOドライブ、ZIPドライブ等の各種記憶媒体から、所望の医用画像データを読影対象画像として読み出す形態でもよい。
続いて、ステップS202において、CPU111は、ステップS201で医療診断支援装置100に入力した読影対象画像をモニタ120に表示する処理を行う。
ステップS203において、CPU111は、モニタ120に表示された読影対象画像を見ながらマウス130やキーボード140などを用いて医師が入力する読影所見を、医用情報として取得する処理を行う(医用情報取得工程)。
このステップS203の処理は、例えば、テンプレート形式の読影所見入力支援方法を用いて、医用情報Ijの夫々に関してその状態Sjkの中の何れか1つをGUIで選択できるような機能を医療診断支援装置100が備えることで実現される。
ここで、以下の説明では、ステップS203で取得した医用情報Ijの集合を「Nf」、その状態Sjkの集合を「Ef」と表記し、これらの情報を「既入力情報」と呼ぶ。例えば、ステップS203で取得した医用情報は、図3のS11の「形状−球形」、S33の「放射状−ない」、S41の「気管支の引込・巻込−ある」、S53の「胸膜の引込・巻込−ない」、S71「大きさ−小さい」であるとする。この場合、既入力情報Nfとして{I1,I3,I4,I5,I7}が取得され、既入力情報Efとして{S11,S33,S41,S53,S71}が取得される。
なお、読影対象画像上に複数の腫瘤が存在している場合には、医師が読影対象とした(所見を入力した)腫瘤が何れであるかを、何らかの方法で同定する必要がある。これは、例えば、モニタ120に表示されている読影画像上において、マウス130を用いて医師が腫瘤の位置を指定することによって実現される。ここで、腫瘤の位置の指定方法としては、例えば、腫瘤の中心をクリックする方法や、或いは、腫瘤を囲む矩形領域を指定する方法を取ることができる。
続いて、ステップS204において、CPU111は、ステップS201で入力した読影対象画像に画像処理を行って、ステップS203で医師がマウス130等を用いて読影対象として指定した腫瘤に関する種々の画像特徴量を取得する(画像特徴量取得工程)。
具体的に、ステップS204の処理では、画像特徴量として、以下の情報を取得する。
まず、読影対象として指定された腫瘤の領域を2値化処理により抽出し、その領域を距離変換して極大値を持つ画素のみを逆変換して得られた領域の一致度を基に辺縁の凹凸度を算出する(詳細は、例えば上述の非特許文献1を参照)。また、読影対象として指定された腫瘤の領域を抽出後、辺縁の各点から当該領域の重心までの距離とその分散を算出する。また、上述の非特許文献2等の手法を用いて気管支を抽出し、腫瘤内部に気管支が存在するかどうかを判定し、さらに、腫瘤内部に気管支が存在すると判定した場合には、腫瘤の内部濃度に基づいて、空気の環状構造が認められるか否かを判定する。また、腫瘤の最大径を算出する。
なお、これらの画像特徴量は、本実施形態における画像特徴量を説明するために示した一例に過ぎず、取得する画像特徴量は、これに限定されるものではない。
また、ステップS204で取得する画像特徴量は、未入力情報の絞り込みを行うためのものであるので、未入力情報に影響を与える画像特徴量のみを求めてもよい。言い換えると、ステップS203で得た既入力情報Nfのみに影響を与える画像特徴量を求める処理は省略してもよい。例えば、図3に示すS71の「大きさ−小さい」を既入力情報として得ている場合には、腫瘤の最大径は算出しなくてもよい。
続いて、ステップS205において、CPU111は、ステップS203で取得した、読影対象画像の医用情報と、ステップS204で取得した画像特徴量とに基づいて、ステップS206で提示する未入力情報(以下、提示未入力情報)を選択する。
本実施形態では、既入力情報Efによる推論結果のうち、最も確率が高いものを予想診断名Dfとし、予想診断名Dfを最も肯定する未入力情報Ehと、予想診断名Dfを最も否定する未入力情報Elとを推定し、これを提示未入力情報として選択する。
以下、図2に示すステップS205における処理手順の詳細について説明する。
図4は、図2に示すステップS205における詳細な処理手順の一例を示すフローチャートである。
図2のステップS205の処理が開始されると、まず、図4のステップS401において、CPU111は、既入力情報Efを入力として、夫々の診断名Di(i=1〜3)に属する確率P(Di|Ef)を確率推論モデルにより計算して取得する。この際、CPU111は、確率P(Di|Ef)のうち、最も確率の高いDiを予想診断名Dfとして主メモリ112に保存するとともに、この際の確率P(Di|Ef)(以下、これを「Pf」とする)を主メモリ112に保存する。
以下の説明では、既入力情報Efを入力として推論した際に、診断名D2の「癌の肺転移」に関し、最大の確率Pf=66.2%が得られた場合を例として説明を行う。この推論確率Pfの計算が本実施形態における第2推論工程であり、得られた推論確率Pfが第2推論結果に相当する。
なお、入力情報を用いて注目する診断名に属する推論確率を算出する推論処理を行う推論モデルには様々なものがあるが、本実施形態では、具体的な例として、図3に示すようなベイジアンネットワーク(Bayesian Network)を用いる。もちろん、以下に示す例は、推論モデルの一例であり、推論方法、推論モデルの構造などはこれに限定されない。
図3に示すベイジアンネットワークは、現象を複数の事象と事象との間の因果関係で表現したモデルである。図3に示すベイジアンネットワークでは、事象間の関係は確率で表され、対象とする現象を構成する事象をノード301で表現し、ノード間の関係をリンク302で表現する。
図3に示すように、リンク302は矢印で表され、矢印の根元にあたるノードを親ノード、矢印の先にあたるノードを子ノードと呼ぶ。各ノードには、ノードの状態を示すステート303を複数個持っており、各ステートに生起確率(「事前確率」と呼ばれる)が付与される。親ノードと子ノードとの間の関係は、親ノードを条件とした条件付確率によって与えられる。この条件付確率を表にしたものを条件付確率表(CPT:conditional probability table)と呼ぶ。図3に示すCPT304は、親ノード301と子ノードであるノードI7との間のCPTの一例である。また、対象モデルの少なくとも1つのノードのステート(303等)が何であるかを示す情報をエビデンスという。このエビデンスとCPT(304)及びベイズの定理を用いて、求めたいノードの確率(「事後確率」と呼ばれる)を確率伝播法により求めることができる。
ここで、図4の説明に戻る。
ステップS401の処理が終了すると、ステップS402に進む。
ステップS402に進むと、入力可能な全ての医用情報から既入力情報Nfを除いた(既入力情報以外の)医用情報の状態の集合、即ち未入力の医用情報の状態の組(以下、「Cv」とする)を取得する。
例えば、図3の例において、既入力情報Nfが{I1,I3,I4,I5,I7}であったとすると、「Cv」として、I2,I6の各状態の組{S21,S22,S23,S61,S62,S63}が取得される。
続いて、ステップS403において、CPU111は、ステップS204において取得した画像特徴量から、当該画像特徴量に対応し得る医用情報の状態の組(以下、「Cif」とする)を取得する。
例えば、画像特徴量の1つである辺縁の凹凸度を利用して、図3に示すI1の「形状」の状態の選択を行う。例えば、辺縁の凹凸度が大きい(所定の閾値以上である)と判定した場合には、S12の{形状−不整形}及びS13の{形状−分葉状}を、対応する可能性がある状態として「Cif」の要素とする。逆に、辺縁の凹凸度が小さい(所定の閾値以下である)と判定した場合には、S11の{形状−球形}を、対応する可能性がある状態として「Cif」の要素とする。
また、画像特徴量の1つである辺縁の距離に基づいて、I2の「切れ込み」の状態の選択を行う。以下、図5を用いて、その選択方法の一例について説明する。
図5は、本発明の実施形態を示し、極座標形式により縦軸を距離rとし横軸を角度θとし、辺縁の各点から領域の重心までの距離と角度との関係の一例を示す模式図である。
まず、各領域511〜531の重心点G(図5の白丸)と、当該重心点Gからの距離が最大(r0)となる辺縁上の点Ma(図5の黒丸)を求める。そして、この2つの点を結んだ線分の向き(以下、「基準方向」と呼ぶ)を求める。
このとき、辺縁上の任意の点は、重心点Gとの距離rと、重心点Gと辺縁上の点を結んだ線分と基準方向とがなす角θ(時計回り方向とする)によって表すことができる。次に、重心点Gとの距離rが閾値rth以下となる角度の範囲θsk(k≧1)を求める。また、θskの範囲内で最小となるr(以下、「rmink」とする)を求める。θskが所定の範囲内にあり、θskが1回または2回取得された場合に、切れ込みがある可能性が高い(ただし、弱いか強いかは不明)と判定する。
図5の上段(511及び512)の例では、θskは2回取得されるが、いずれのθskも所定の範囲(不図示)内に入っていないため、切れ込みがある可能性が低いと判定される。そして、図3に示すS22の{切れ込み−弱い}及びS23の{切れ込み−ない}を、対応する可能性がある状態として「Cif」の要素とする。
一方、図5の中段(521及び522)の例では、θskは1回取得され、所定の範囲(不図示)内に入っているので、切れ込みがある可能性が高いと判定される。そして、図3に示すS21の{切れ込み−強い}及びS22の{切れ込み−弱い}を、対応する可能性がある状態として「Cif」の要素とする。
また、図5の下段(531及び532)の例では、θskが6回取得されているので、切れ込みがある可能性が低いと判定される。そして、図3に示すS22の{切れ込み−弱い}及びS23の{切れ込み−ない}を、対応する可能性がある状態として「Cif」の要素とする。
また、画像特徴量の1つである辺縁の距離の分散に基づいて、図3に示すI3の「放射状」の状態の選択を行う。例えば、分散が大きい(所定の閾値以上である)と判定した場合には、図3に示すS31の{放射状−強い}及びS32の{放射状−弱い}を、対応する可能性がある状態として「Cif」の要素とする。逆に、分散が小さい(所定の閾値以下である)と判定した場合には、図3に示すS32の{放射状−弱い}及びS33の{放射状−ない}を、対応する可能性がある状態として「Cif」の要素とする。
同様に、画像特徴量の1つである腫瘤内部に気管支が存在するか否かの情報に基づいて、図3に示すI6の「気管支透亮像」の状態の選択(判定)を行う。
例えば、腫瘤内部に気管支が存在しないと判定される場合、気管支透亮像に関する状態全てを「Cif」の要素から除外する。例えば、主気管支の側や胸壁の近くに腫瘤がある場合である。これは、気管支透亮像に関する情報が画像に存在しないと判定可能なためである。なお、S63の{気管支透亮像−ない}という状態は、腫瘤内部に気管支が存在する場合に透亮がない状態を示すため、上述の例とは異なる状態を示す。
一方、腫瘤に気管支が存在すると判定される場合、画像特徴量の1つである腫瘤内部に空気の環状構造が認められるか否かの情報に基づいて、図3に示すI6の「気管支透亮像」の状態の判定を更に行う。例えば、腫瘤内部に空気の管状構造が認められる場合、S61の{気管支透亮像−ある}を、対応する可能性がある状態として「Cif」の要素とする。一方、環状構造が認められない場合には、判断が難しいので、S61の{気管支透亮像−ある}、S62の{気管支透亮像−わからない}、及び、S63の{気管支透亮像−ない}の全てを、対応する可能性がある状態として「Cif」の要素とする。
また、画像特徴量の1つである腫瘤のサイズから、図3に示すI7の「大きさ」の状態の選択(判定)を行う。
取得した腫瘤サイズが所定の閾値より小さい場合、S71の{大きさ−小さい}及びS72の{大きさ−中程度}を、対応する可能性がある状態として「Cif」の要素とする。逆に、所定の閾値より多い場合、S73の{大きさ−大きい}及びS72の{大きさ−中程度}を、対応する可能性がある状態として「Cif」の要素とする。
なお、画像特徴量から判定されない医用情報に関しては、その全ての状態を「Cif」の要素とする。
また、上述した例は、画像特徴量と医用情報の状態との対応を示す一例であり、使用する画像特徴量や状態の選択方法などはこれに限定されない。例えば、上記で例示した判定処理の一部のみを用いてもよい。例えば、腫瘤内部に気管支が存在しないと判定した場合に、図3に示すI6の「気管支透亮像」に関する全ての状態を「Cif」から除外するという処理のみを行ってもよい。また、上記で例示した以外の何れの画像特徴量を用いてもよく、その画像特徴量から状態の存在可能性を判定する何れの判定処理を用いてもよい。
例えば、ステップS204の処理において、
・辺縁の凹凸度:所定の閾値以下、
・辺縁の距離の形状:θskが0回取得されている、
・辺縁の距離の分散:所定の閾値以下、
・腫瘤に気管支が存在する、
・腫瘤内部に空気の環状構造が認められる、
・腫瘤のサイズ:所定の閾値以下、
が得られたとすると、ステップS403では、「Cif」として、{S11,S22,S23,S32,S33,S41,S42,S43,S51,S52,S53,S61,S71,S72}が設定される。
ここで、図4の説明に戻る。
ステップS403の処理が終了すると、ステップS404に進む。
ステップS404に進むと、CPU111は、ステップS402で取得した「Cv」と、ステップS403で取得した「Cif」との間で共通の状態を求め、取り得る未入力の医用情報の状態の組(以下、「Cuf」とする)を取得する。前述した例では、「Cv」と「Cif」との間で共通の状態を取ると、「Cuf」として、{S22の「切れ込み−弱い」、S23の「切れ込み−ない」、S61「気管支透亮像−ある」}が取得される。言い換えると、S21の「切れ込み−強い」、S62の「気管支透亮像−わからない」、S63の「気管支透亮像−ない」の夫々が、可能性が低い状態として提示候補から除外される。
続いて、ステップS405において、CPU111は、変数mを用意して、m=1を設定する。
続いて、ステップS406において、CPU111は、まず、未入力の医用情報の状態の候補の集合である「Cuf」の中から1つ以上の「Sjk」を選択する。そして、仮想的な「Sjk」の組Emを作成(取得)して、これを提示未入力情報候補とする(提示未入力情報候補選択工程)。ここで、m>1の場合(即ち、ステップS406の処理が2回目以降の場合)には、今までに作成したE1からEm−1とは異なる組をEmとして作成(取得)する。なお、Emに属する「Sjk」の個数は、複数個或いは当該複数個以下であってもよく、医師が個数を指定してもよい。以下の説明では、「Sjk」の個数は、1として説明する。例えば、前述した例においては、「Cuf」は、図3に示すS22の「切れ込み−弱い」、S23の「切れ込み−ない」、S63の「気管支透亮像−ある」である。この場合、例えば、E1を{S22の「切れ込み−弱い」}として作成(取得)する。
ステップS407において、CPU111は、既入力情報Efと提示未入力情報候補Emとの組を入力として、予想診断名Dfに属する確率P(Df|Ef,Em)を推論モデルにより計算する。そして、得られた推論確率(以下では、「Pm」とする)を、提示未入力情報候補Emに関連付けて主メモリ112に保存する。
なお、この推論確率Pmの計算が本実施形態における推論工程であり、得られた推論確率Pmが推論結果に相当する。例えば、予想診断名Dfが「癌の肺転移」であったとして、Ef={S11,S33,S41,S53,S71}、E1={S22}の組を入力として図3の推論モデルで「癌の肺転移」に属する推論確率を計算すると、60.2%となる。そして、この推論確率を、E1={S22}に関連付けて保存する。
続いて、テップS408において、CPU111は、変数mに1を加算する処理を行う。
続いて、ステップS409において、CPU111は、ステップS406からステップS408までの処理を反復実行するか否かの判断を行う。具体的に、ステップS409において、CPU111は、変数mの値が、Emが取り得る組み合わせの数(以下、「CE」とする)よりも大きいか否かの判断を行う。
ステップS409の判断の結果、変数mの値がCEよりも大きくない(即ち、変数mの値がCE未満である)場合には、全てのPmを得ていないので、ステップS406に戻って、再度、ステップS406以降の処理を行う。
一方、ステップS409の判断の結果、変数mの値がCEよりも大きい場合には、ステップS410に進む。例えば、前述した例においては、Emが取り得る組み合わせの数は、CE=3であるので、E3までステップS406〜ステップS409の処理を繰り返すことになる。そして、m=4となったところで、mがCEよりも大きくなるので、ステップS410に進むことになる。
ステップS410に進むと、CPU111は、ステップS406で作成し取得したEmの何れかを、医師に提示する価値が最も大きいであろう未入力情報として選択する(提示未入力情報選択工程)。
具体的には、上記の処理で主メモリ112に保存された推論確率Pmを最大とするEmを、予想診断名を最も肯定する未入力情報Ehとして主メモリ112に保存する。また、このときの推論確率(以下では、「Ph」とする)を、未入力情報Ehに関連付けて主メモリ112に保存する。同様に、推論確率Pmを最小とするEmを、予想診断名を最も否定する未入力情報Elとして主メモリ112に保存する。また、このときの推論確率(以下では、「Pl」とする)を、未入力情報Elに関連付けて主メモリ112に保存する。
Figure 0005398518
表1は、前述の例におけるE1〜E3、及び、推論確率P(Df|Ef,Em)の例を示したものである。この例では、E2における図3のS23の{切れ込み−ない}の時に推論確率71.6%で最大となり、E3における図3のS61の{気管支透亮像−ある}の時に44.1%で最小となる。したがって、この場合、Eh={S23}、El={S61}として主メモリ112に保存される。
ステップS410の処理が終了すると、図4のフローチャートの処理を終了する。
以上、図4のステップS401〜S410の処理を経ることにより、図2に示すステップS205の処理が実行される。
ここで、図2の説明に戻る。
ステップS205の処理が終了すると、ステップS206に進む。
ステップS206に進むと、CPU111は、ステップS205で選択した、注目すべき未入力情報等(提示未入力情報等)をモニタ120に表示して提示する処理を行う(提示工程)。即ち、CPU111は、主メモリ112に保存されているEh(Dfを肯定する未入力情報)及びEl(Dfを否定する未入力情報)等をモニタ120に表示する。
図6は、本発明の実施形態におけるモニタ表示画面の一例を示す模式図である。この図6に示す例では、モニタ表示画面600に、ステップS202で表示された読影対象画像610が示されている。また、モニタ表示画面600には、ステップS401で取得した予想診断名Df(癌の肺移転)が予想診断名620に示され、ステップS203で取得した医用情報(既入力情報)Efが既入力情報630に示されている。また、モニタ表示画面600には、注目すべき未入力情報640が示されている。具体的に、注目すべき未入力情報641として、予想診断名を肯定する未入力情報Ehの「切れ込み−ない」が示され、注目すべき未入力情報642として、予想診断名を否定する未入力情報Elの「気管支透亮像−ある」が示されている。
本実施形態に係る医療診断支援装置100を用いることで、医師は、提示された未入力情報を参照することにより、優先的に見るべき医用情報を得ることができ、診断の一助となる情報を得ることができる。
本実施形態に係る医療診断支援装置100では、読影対象画像中に存在しそうな未入力情報であって、かつ、予想診断名に影響を与える未入力情報を提示することができる。これにより、優先的かつ診断の一助となる医用情報を医師等に提示することができる。また、本実施形態に係る医療診断支援装置100では、明らかに可能性の低い状態を提示候補から除外するという目的にのみ、画像特徴量が用いられている。そのため、画像特徴量から所見を自動的に決定するというような処理とは異なり、画像特徴量の検出精度や状態との関連付けの信頼性が完全ではなくても、その情報を有効に利用した診断支援が実現可能である。
以上、本実施形態に係る医療診断支援装置100によれば、推論結果への影響が大きく、かつ、存在する可能性が高い未入力情報を選択して提示するので、医師が優先的に確認すべき情報を効率的に提示することができる。
<変形例>
上述した実施形態では、図2のステップS203において、医療診断支援装置100が表示した医用画像を医師が読影して、その所見を医用情報として取得するものであった。本発明においては、医用情報の取得方法は、この形態に限定されるものではない。例えば、被検査者(患者)に関する過去の読影レポートやカルテ、及び診断支援処理に利用できる他の情報等を含む医用検査データの医用情報を処理の対象(既入力情報/未入力情報)とすることもできる。
また、図2のステップS204における画像特徴量の取得処理は、図2のステップS203の前工程でもよく、また、ステップS402の後であってもよい。
なお、上述した実施形態では、全ての医用情報が離散値を取るものとして説明を行ったが、連続値を入力情報として取得して、その値を離散化して用いてもよい。
また、上述した実施形態では、図4のステップS403の処理において、画像特徴量によって有無の判定が行われなかった所見に関しては、その全ての状態を「Cif」の要素とするものであった。しかしながら、本発明においては、この形態に限定されるものではなく、その全ての状態を「Cif」から除外するという構成であってもよい。
また、図2のステップS205で選択される提示未入力情報は、図4のステップS401で得られた最も確率の高い診断名に対して選択されるものであった。しかしながら、本発明においては、この形態に限定されるものではない。例えば、夫々の診断名(D1、D2、D3)の確率を最も高くする(或いは、最も低くする)未入力情報を夫々選択して、これを夫々の診断名と対応付けて提示する構成であってもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:医療診断支援システム、100:医療診断支援装置、110:制御部、111:中央処理装置(CPU)、112:主メモリ、113:磁気ディスク、114:表示メモリ、115:バス、120:モニタ、130:マウス、140:キーボード、200:医用画像データベース、300:診断録データベース、400:ローカルエリアネットワーク(LAN)

Claims (1)

  1. 医療診断を支援する情報を提供する医療診断支援装置であって、
    前記医療診断の対象となる医用画像の入力を行う医用画像入力手段と、
    前記医用画像に係る1つ以上の医用情報を既入力情報として取得する医用情報取得手段と、
    前記医用画像から画像特徴量を取得する画像特徴量取得手段と、
    前記既入力情報以外の医用情報である未入力情報の中から、前記画像特徴量に関連付けられた複数の未入力情報を、提示の候補である提示未入力情報候補として選択する提示未入力情報候補選択手段と、
    前記既入力情報と前記提示未入力情報候補の夫々を用いて推論結果を得る推論手段と、
    複数の前記推論結果に基づいて、前記提示未入力情報候補の中から、提示未入力情報を選択する提示未入力情報選択手段と、
    前記提示未入力情報選択手段で選択した提示未入力情報を提示する提示手段と
    を有することを特徴とする医療診断支援装置。
JP2009295647A 2009-12-25 2009-12-25 医療診断支援装置 Expired - Fee Related JP5398518B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009295647A JP5398518B2 (ja) 2009-12-25 2009-12-25 医療診断支援装置
US12/973,780 US8949171B2 (en) 2009-12-25 2010-12-20 Medical diagnostic supporting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009295647A JP5398518B2 (ja) 2009-12-25 2009-12-25 医療診断支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013220474A Division JP2014061397A (ja) 2013-10-23 2013-10-23 医療診断支援装置、医療診断支援システム、医療診断支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011131022A JP2011131022A (ja) 2011-07-07
JP5398518B2 true JP5398518B2 (ja) 2014-01-29

Family

ID=44188677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009295647A Expired - Fee Related JP5398518B2 (ja) 2009-12-25 2009-12-25 医療診断支援装置

Country Status (2)

Country Link
US (1) US8949171B2 (ja)
JP (1) JP5398518B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221377A (ja) * 2015-09-01 2015-12-10 キヤノン株式会社 医療診断支援装置
JP2016021248A (ja) * 2015-09-01 2016-02-04 キヤノン株式会社 医療診断支援装置
JP2017136462A (ja) * 2017-05-18 2017-08-10 キヤノン株式会社 医療診断支援装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859528A (zh) * 2010-05-19 2013-01-02 加利福尼亚大学董事会 使用生物网络识别药物靶点的系统和方法
EP2506173B1 (en) 2011-03-28 2020-01-01 Canon Kabushiki Kaisha Medical diagnosis support apparatus and medical diagnosis support method
JP6021346B2 (ja) * 2012-02-14 2016-11-09 キヤノン株式会社 診断支援装置及びその制御方法
JP5967968B2 (ja) * 2012-02-14 2016-08-10 キヤノン株式会社 医療診断支援システム、医療診断支援装置、情報処理方法、及びプログラム
JP6071338B2 (ja) * 2012-08-30 2017-02-01 キヤノン株式会社 医療診断支援装置、医療診断支援方法及びプログラム
KR102135153B1 (ko) * 2013-05-07 2020-07-20 삼성전자주식회사 초음파 영상 장치 및 그 영상 표시 방법
JP6362061B2 (ja) 2013-07-10 2018-07-25 キヤノン株式会社 診断支援システム、その作動方法、およびプログラム
CN105683973B (zh) 2013-07-29 2019-06-25 皇家飞利浦有限公司 具有集成病变分级器的报告工具、方法和计算机存储介质
JP6525527B2 (ja) * 2014-08-07 2019-06-05 キヤノン株式会社 読影レポート作成支援装置、読影レポート作成支援方法及びプログラム
JP6386956B2 (ja) * 2015-03-24 2018-09-05 株式会社日立製作所 データ作成支援システム、データ作成支援方法及びプログラム
JP6532287B2 (ja) * 2015-05-14 2019-06-19 キヤノン株式会社 医療診断支援装置、情報処理方法及びプログラム
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
WO2017194642A1 (en) * 2016-05-13 2017-11-16 Koninklijke Philips N.V. System and method for tracking informal observations about a care recipient by caregivers
JP6448588B2 (ja) * 2016-08-25 2019-01-09 キヤノン株式会社 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム
JP6220435B2 (ja) * 2016-10-05 2017-10-25 キヤノン株式会社 診断支援装置及びその制御方法
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
JP6808557B2 (ja) * 2017-03-30 2021-01-06 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
CN110913746B (zh) * 2017-07-20 2022-02-18 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法及存储介质
JP6530841B2 (ja) * 2018-06-18 2019-06-12 キヤノン株式会社 診断支援システム、その作動方法、診断支援装置、およびプログラム
JP7537905B2 (ja) * 2020-04-17 2024-08-21 キヤノンメディカルシステムズ株式会社 読影レポート作成装置
US11158412B1 (en) * 2020-10-22 2021-10-26 Grand Rounds, Inc. Systems and methods for generating predictive data models using large data sets to provide personalized action recommendations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5878746A (en) * 1993-08-25 1999-03-09 Lemelson; Jerome H. Computerized medical diagnostic system
JP3226400B2 (ja) * 1993-12-06 2001-11-05 富士通株式会社 診断装置
US6067466A (en) * 1998-11-18 2000-05-23 New England Medical Center Hospitals, Inc. Diagnostic tool using a predictive instrument
JP4021179B2 (ja) * 2000-11-29 2007-12-12 富士通株式会社 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
US7392199B2 (en) * 2001-05-01 2008-06-24 Quest Diagnostics Investments Incorporated Diagnosing inapparent diseases from common clinical tests using Bayesian analysis
JP4795681B2 (ja) * 2004-12-27 2011-10-19 富士フイルム株式会社 診断支援装置、診断支援方法およびそのプログラム
JP5264136B2 (ja) * 2007-09-27 2013-08-14 キヤノン株式会社 医用診断支援装置及びその制御方法、ならびにコンピュータプログラム及び記憶媒体
JP5582707B2 (ja) * 2009-02-27 2014-09-03 キヤノン株式会社 医療意志決定支援装置及びその制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221377A (ja) * 2015-09-01 2015-12-10 キヤノン株式会社 医療診断支援装置
JP2016021248A (ja) * 2015-09-01 2016-02-04 キヤノン株式会社 医療診断支援装置
JP2017136462A (ja) * 2017-05-18 2017-08-10 キヤノン株式会社 医療診断支援装置

Also Published As

Publication number Publication date
US20110161278A1 (en) 2011-06-30
JP2011131022A (ja) 2011-07-07
US8949171B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
JP5398518B2 (ja) 医療診断支援装置
JP6016406B2 (ja) 医療診断支援装置及び医療診断支援方法及び入力支援システム
JP2011092286A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010200840A (ja) 医療意志決定支援装置及びその制御方法
JP6257564B2 (ja) 診断支援装置、診断支援システム、診断支援装置の作動方法及びプログラム
JP2016045662A (ja) 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JPWO2007000940A1 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
JP6362061B2 (ja) 診断支援システム、その作動方法、およびプログラム
JP2014039852A (ja) 情報処理装置、情報処理方法及びプログラム
JP7525248B2 (ja) 医用情報処理装置及び医用情報処理プログラム
JP7416183B2 (ja) 情報処理装置、医用画像表示装置及びプログラム
JP5864942B2 (ja) 画像処理装置及び画像処理方法
JP2012515965A (ja) 画像処理の間のユーザとの対話を予測する方法及び装置
JP7008017B2 (ja) 正確な放射線科推奨を生成するシステムおよび方法
JP6403832B2 (ja) 診断支援装置、診断支援方法及びプログラム
JP5816321B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP6147304B2 (ja) 医療診断支援装置及び医療診断支援システム
JP6686085B2 (ja) 診断支援装置、診断支援装置の作動方法及びプログラム
JPWO2012005023A1 (ja) 医用画像表示システム及びプログラム
CN113327665A (zh) 医用信息处理系统以及医用信息处理方法
JP2014061397A (ja) 医療診断支援装置、医療診断支援システム、医療診断支援方法及びプログラム
JP6313741B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP6193964B2 (ja) 情報処理装置、情報処理装置の作動方法および情報処理システム
JP2018136961A (ja) 画像処理装置及び画像処理装置の作動方法
JP2009066060A (ja) 医用画像システム、所見レポート生成装置、所見レポート生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R151 Written notification of patent or utility model registration

Ref document number: 5398518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees