JP5173700B2 - データ検索装置およびその制御方法、データ検索システム - Google Patents

データ検索装置およびその制御方法、データ検索システム Download PDF

Info

Publication number
JP5173700B2
JP5173700B2 JP2008246599A JP2008246599A JP5173700B2 JP 5173700 B2 JP5173700 B2 JP 5173700B2 JP 2008246599 A JP2008246599 A JP 2008246599A JP 2008246599 A JP2008246599 A JP 2008246599A JP 5173700 B2 JP5173700 B2 JP 5173700B2
Authority
JP
Japan
Prior art keywords
case data
data
confirmed
diagnosis
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008246599A
Other languages
English (en)
Other versions
JP2010079568A (ja
JP2010079568A5 (ja
Inventor
義夫 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008246599A priority Critical patent/JP5173700B2/ja
Priority to PCT/JP2009/003459 priority patent/WO2010035380A1/ja
Publication of JP2010079568A publication Critical patent/JP2010079568A/ja
Priority to US12/770,613 priority patent/US20100274776A1/en
Publication of JP2010079568A5 publication Critical patent/JP2010079568A5/ja
Application granted granted Critical
Publication of JP5173700B2 publication Critical patent/JP5173700B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、症例データベースから類似の症例データを検索する技術に関するものである。
近年、病院情報システム(HIS:Hospital Information System)や画像保管通信システム(PACS:Picture Archiving and Communication System)等の医用情報システムの普及に連れて、医用文書及び医用画像の電子化が進展している。これにより、以前はフィルムに現像されてからシャーカステン上で見ることが多かった医用画像(X線画像、CT画像あるいはMRI画像など)は、現在ではデジタル化されている。デジタル化された医用画像(デジタル画像)はPCASに格納され、必要な時にPACSから読み出され端末のモニタ上に表示される。また、診療記録等の医用文書も電子化されてきており、患者の診療記録をHISから読み出して端末のモニタ上に表示することも可能となってきた。さらに、電子化された環境にいる読影医は、読影の依頼箋を電子的なメッセージにより受け取り、患者を撮影した医用画像データをPACSから読み出して端末の読影専用モニタ上に表示することも出来る。また、必要に応じて患者の診療記録をHISから読み出して、別のモニタ上に表示することができる。
ところで、医師が医用画像を読影して画像診断を行う際に、読影中の画像に写った患部が見慣れない画像特徴を持つ場合や、類似した画像特徴を持つ疾患が複数存在する場合などは、診断名の判断に迷うことがある。この様な場合、迷った医師は他のベテラン医師に相談するか、または、医学書等の文献を調べて、疑わしい疾患名に関する画像特徴の解説文を読むことがある。あるいは、写真付きの医学文献を調べ、読影中の画像に写った患部と類似した写真を見つけ、その写真に対応する疾患名を見ることで、診断の参考にしようとすることがある。しかし、常に相談できる他の医師がいるとは限らない。また、文献を調べたからといって、必ず読影中の画像に写った患部と類似した写真あるいは画像特徴の解説文が見つかるとは限らない。そこで、近年、類似症例を検索する装置が提案されている。検索装置の基本的な考え方は、過去に蓄積した症例データの中から何らかの基準に基づき症例データを検索して医師に提示することにより、診断の支援をしようとするものである。
例えば、特許文献1では、過去に診断された画像データを、所見と病名を含む診断情報と対応付けてデータベースに蓄積する技術が開示されている。また、新たに診断しようとする画像に対する所見が入力されると、同様の所見を含む過去の診断情報を検索し、対応する画像データや病名を表示する技術も併せて開示されている。そして、特許文献2では、診断履歴比較手段によって、画像診断結果と確定診断結果とが食い違っている参考症例(画像診断が間違っていた症例)を検出して参考症例データベースに登録する技術が開示されている。また、後から識別情報を指定することで必要な参考症例画像を参照可能な参考症例検索方式を開示している。
特開平6−292656号公報 特開平5−101122号公報
しかしながら、例えば、特許文献1に記載の技術では、類似症例検索結果として画像データと病名の両方が得られるものの、文章の類似性に基づいて検索しているため必ずしも画像特徴の類似性を保障している訳ではない。また、類似した所見を持つ症例データの病名しか得られないため、複数の異なる病名が得られるとも限らない。また、特許文献2に記載の技術では、医師に対して誤診に対する注意喚起をすることはできるが、必ずしも現在読影中の画像の正しい診断名を類推させる症例データが示せる訳ではない。そのため、ある症例について過去の症例データを検索する際に、医師が判断に迷う可能性のある異なる確定診断結果を持つ複数の症例データが得られないという問題があった。
本発明は、上述の問題点に鑑みなされたものであり、ある症例について過去の症例データを検索する際に、異なる確定診断結果を持つ複数の症例データを抽出可能とする技術を提供することを目的とする。
上述の問題点を解決するため、本発明のデータ検索装置は以下の構成を備える。すなわち、医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースから1以上の確定症例データを抽出するデータ検索装置において、医用画像データを含む症例データの入力を受け付ける入力受付手段と、前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付手段により入力された前記症例データとの類似度を導出する導出手段と、前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類手段と、前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択手段と、前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定手段と、前記類似グループおよび該類似グループの関連グループの各々から、前記導出手段により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出手段と、を含む。
上述の問題点を解決するため、本発明のデータ検索装置の制御方法は以下の構成を備える。すなわち、医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースから1以上の確定症例データを抽出するデータ検索装置の制御方法において、入力受付手段が、医用画像データを含む症例データの入力を受け付ける入力受付工程と、導出手段が、前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付工程により入力された前記症例データとの類似度を導出する導出工程と、分類手段が、前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類工程と、選択手段が、前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択工程と、設定手段が、前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定工程と、抽出手段が、前記類似グループおよび該類似グループの関連グループの各々から、前記導出工程により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出工程と、を含む。
上述の問題点を解決するため、本発明のデータ検索システムは以下の構成を備える。すなわち、医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースと、該症例データベースにアクセスして1以上の確定症例データを抽出するデータ検索装置と、を含むデータ検索システムにおいて、医用画像データを含む症例データの入力を受け付ける入力受付手段と、前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付手段により入力された前記症例データとの類似度を導出する導出手段と、前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類手段と、前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択手段と、前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定手段と、前記類似グループおよび該類似グループの関連グループの各々から、前記導出手段により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出手段と、を含む。
本発明によれば、ある症例について過去の症例データを検索する際に、異なる確定診断結果を持つ複数の症例データを抽出可能とする技術を提供することができる。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係るデータ検索装置の第1実施形態として、医療用データ検索システムにおける類似症例検索装置を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態に係る類似症例検索装置の機器構成を示す図である。
類似症例検索装置1は、制御部10、モニタ104、マウス105、キーボード106を有する。制御部10は、中央処理装置(CPU)100、主メモリ101、磁気ディスク102、表示メモリ103、共有バス107を有する。そして、CPU100が主メモリ101に格納されたプログラムを実行することにより、症例データベース2、医用画像データベース3および診療録データベース4へのアクセス、類似症例検索装置1の全体の制御、等の各種制御が実行される。
CPU100は、主として類似症例検索装置1の各構成要素の動作を制御する。主メモリ101は、CPU100が実行する制御プログラムを格納したり、CPU100によるプログラム実行時の作業領域を提供したりする。磁気ディスク102は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する類似症例検索処理等を行うためのプログラムを含む各種アプリケーションソフト、およびそれらのソフトが生成または使用する作業用データ等を格納する。表示メモリ103は、モニタ104のための表示用データを一時記憶する。モニタ104は、例えばCRTモニタや液晶モニタ等であり、表示メモリ103からのデータに基づいて画像を表示する。マウス105及びキーボード106はユーザによるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は共有バス107により互いに通信可能に接続されている。
第1実施形態では、類似症例検索装置1はLAN5を介して、症例データベース2から症例データを、医用画像データベース3から画像データを、および診療録データベース4から診療録データを、それぞれ読み出すことができる。ここで、症例データベース2は、医用画像データとその医用画像データに対応する確定診断情報とを含む症例データ(確定症例データ)を複数保管する症例データ保管手段として機能する。そして、医用画像データベース3として既存のPACSを利用することができる。また、診療録データベース4として既存のHISのサブシステムである電子カルテシステムを利用することができる。なお、類似症例検索装置1に外部記憶装置、例えばFDD、HDD、CDドライブ、DVDドライブ、MOドライブ、ZIPドライブ等を接続し、それらのドライブから確定症例データ、画像データおよび診療録データを読み込むように構成しても良い。
なお、医用画像の種類には、単純X線画像(レントゲン画像)、X線CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像、PET(Positron Emission Tomography)画像、SPECT(Single Photon Emission Computed Tomography)画像、超音波画像などがある。
診療録には、患者の個人情報(氏名、生年月日、年齢、性別など)、臨床情報(様々な検査値、主訴、既往歴、治療歴など)、医用画像データベース3に格納された患者の画像データへの参照情報および主治医の所見情報などが記載される。さらに、診断が進んだ段階で、診療録には確定診断名が記載される。
症例データベース2に保管される症例データは、診療録データベース4に保管された確定診断名付きの診療録データおよび医用画像データベース3に保管された画像データの一部を、コピーまたは参照することにより作成される。
<データ構造>
図9および図10に、症例データベース2に保管される症例データテーブルの例を示す。症例データテーブルとは、同じ構成要素から成る複数の症例データを規則正しく並べたデータの集まりである。
症例データの構成要素は以下の意味を持つ。“症例データID(DID)”は、症例データを一意に識別するための識別子である。DIDには、症例データが追加された順番にシーケンシャルな番号を付ける。“確定診断名”は、診療録データに記載された確定診断名をコピーすることで得られる。なお、“確定診断名”は必ずしも文字列である必要はなく、標準化された診断コード(確定診断名を数値と一意に対応付けたもの)を用いてもよい。“診断グループID(GID)”は、診断グループを一意に識別するための識別子である。ここで、診断グループとは、画像診断を行う上で識別不要な複数の確定診断名の集まりである。具体例を挙げて説明すると、例えば肺で見られる疾患として、肺癌、肺炎、結核などの疾患が知られているが、これらはいずれも治療方法が異なるため、画像診断においても識別が必要である。一方、肺腺癌、肺扁平上皮癌、肺小細胞癌などは、いずれも肺癌をより詳細に診断したものであり、画像診断上は識別困難かつ識別不要であるので、すべて肺癌と同じ診断グループに分類する。診断グループを決めるためには、画像診断に関連する医学的な知識が必要である。
図13に、複数の“確定診断名”と“診断グループID(GID)”との対応表の例を示す図である。ただし、図13では具体的な確定診断名を記載していない。確定診断名は診療科ごとに非常に多くの診断名があり、さらに医療機関によって同様の疾患を異なる診断名で表現することがある。従って、確定診断名と診断グループID(GID)との対応表は、使用先の診療科や医療機関ごとに適切に決めることが望ましい。
第1実施形態では、図13に例示した対応表を類似症例検索装置1の磁気ディスク102に格納し、必要に応じて対応表を書き換え可能とする。対応表の書き換えは、予め決めた所定の手順により、所定の権限を持つ者が行う。対応表の書き換えは、所定の権限を持つ者が、新たな対応表を不図示の外部記憶装置から読み出すか、またはLAN5経由で受信した後、磁気ディスク102に格納することにより実施される。
再び図9を参照すると、“診療録データへの参照情報”は、診療録データベース4から症例データに対応した診療録データを読み出すための参照情報である。症例データ中に、診療録データそのものをコピーするのではなく、“診療録データへの参照情報”を記憶することで、症例データテーブルのサイズを小さくすることができ、記憶容量の節約となる。
“画像撮影日”および“画像の種類”は、いずれも診療録データまたは画像データのヘッダ情報から読み出すことができる。“対象臓器”は、後述する画像の関心領域がどの臓器に含まれるかを示す情報であり、症例データを作成する際に医師が入力する。あるいは、最新のコンピュータ画像処理技術を用いて臓器を自動識別することで、“対象臓器”を自動入力することも可能である。
“画像データへの参照情報”は、医用画像データベース3から症例データに対応した画像データを読み出すための参照情報である。症例データ中に、画像データそのものをコピーするのではなく、“画像データへの参照情報”を記憶することで、症例データテーブルのサイズを小さくすることができ、記憶容量の節約となる。
“関心スライス番号”は、医用画像の種類がCT画像、MRI画像またはPET画像などの複数スライスから成る画像である場合に必要な情報であり、画像診断上最も注目すべき領域(関心領域)が何番目のスライス画像に含まれるかを示す。“関心領域の座標情報(X0,Y0,X1,Y1)”は、前記“関心スライス番号”によって示されるスライス画像において、関心領域がどのXY座標範囲に含まれるかを示す情報である。通常、画像の左上を原点とし、右方向をX座標軸方向、下方向をY座標軸方向に取った直交座標系において、画素単位の位置情報として座標情報が表現される。座標情報(X0,Y0,X1,Y1)は、関心領域の左上隅の座標(X0,Y0)と、関心領域の右下の座標(X1,Y1)をまとめて表現したものである。
関心領域は、例えば以下のようにして得られる。まず、上述の“画像データへの参照情報”を用いて、医用画像データベース3から症例データに対応した画像データを読み出す。次に、“関心スライス番号”によって指定されるスライス画像を選択する。最後に、“関心領域の座標情報(X0,Y0,X1,Y1)”によって指定される範囲内の画像データを抽出することで、関心領域の画像データを得ることができる。
“関心領域の画像特徴情報F”は、関心領域の画像データの特徴を表す情報である。Fは複数の画像特徴量(f1,f2,f3,…)からなる多次元情報(ベクトル情報)である。個々の画像特徴量の具体例を以下に例示する。
・患部のサイズ(長径/短型/平均径などの直径、面積など)
・患部の輪郭線の長さ
・患部の形状(長型と短径との比、輪郭線の長さと平均径との比、輪郭線のフラクタル次元、予め決めた複数のモデル形状との一致度など)
・患部の平均濃度値
・患部の濃度分布パターン
もちろん、これらの他にも様々な画像特徴量を計算することが可能である。
患部に関する画像特徴量を計算するためには、予め患部の範囲(境界線)を特定しておく必要がある。患部の範囲を特定する方法としては、一般に、医師が画像を見ながら患部の境界線を指定する方法(マニュアル抽出法)と、画像処理技術を利用した自動抽出法がある。本実施例では、マニュアル抽出法と自動抽出法のどちらを用いてもよい。Fをどの様な画像特徴量の組み合わせとして表現するかは、画像データの類似度を計算する上で重要である。一般に、より多くの画像特徴量を使用した方が画像データの特徴を詳細に表現できるという利点があるが、その一方で、より多くの画像特徴量を使用すると類似度の計算時間が長くなるという欠点もある。通常、互いに相関する情報が少ない10〜数10程度の画像特徴量の組み合わせとしてFが定義される。
図10は、図9とは異なる構成要素を持つ症例データテーブルの他の例を示す図である。
“症例データID(DID)”、“確定診断名” および“診断グループID(GID)”は、いずれも図9と同じものである。
“所定の臨床情報C”は、診療録データベース4に保管されている診療録データから必要な臨床情報を選択的にコピーしたものである。そして、Cは複数の臨床情報(c1,c2,c3,…)からなる多次元情報(ベクトル情報)である。個々の臨床情報の具体例としては、各種検査値(身体検査値、血液検査値、癌マーカーや炎症マーカーなど特定の疾患に関連した検査値など)、既往歴、治療歴など、様々なものがある。Cをどの様な臨床情報の組み合わせとして表現するかは、臨床情報の類似度を計算する上で重要である。適切なCの決め方は、主に診断対象とする臓器や疾患の種類に大きく依存する。
“画像撮影日”、“画像の種類”および“対象臓器”は、いずれも図9と同じものである。
“関心領域の画像データI”は、医用画像データベース3に保管されている画像データから関心スライス画像を選択し、さらに関心スライス画像内の関心領域に含まれる画像データをコピーしたものである。つまり、Iは注目領域に含まれる画素数分の画素情報(i1,i2,i3,…)からなる多次元情報(ベクトル情報)である。
“関心領域の画像特徴情報F”は、図9と同じものである。
なお、図9と図10の主な違いは、臨床情報Cおよび画像データIへの参照情報として間接的に記憶するか(図9)、直接記憶するか(図10)にある。症例データベース2の容量が十分大きい場合は、図10に例示した様に、すべてのデータを症例データテーブル内に直接記憶するとよい。なぜなら、一つのデータベースに保管されているデータを読み出すためには一回のデータ読み出し処理で済むためである。一方、複数のデータベースに保管されているデータを読み出すためには複数回のデータ読み出し処理が必要となり、それだけ処理手順および処理時間が余計にかかる。
図2は、類似症例検索における関心領域の画像特徴量と診断グループとの概念的な関係を示す図である。図2では、関心領域の画像特徴情報Fは、画像特徴量1(f1)と画像特徴量2(f2)によって定義されているものと仮定している。一般に、Fは10〜数10個程度の画像特徴量から定義されるが、ここでは図をわかりやすくするために、Fによって表される画像特徴空間(多次元ベクトル空間)を2次元のXY座標空間によって表現している。また、図2では、画像特徴情報Fのみによって診断グループの範囲を表現しているが、症例データは所定の臨床情報Cも含むので、画像特徴情報Fと所定の臨床情報Cの両方を利用して、より高次の多次元ベクトル空間によって診断グループの範囲を表現してもよい。この場合、後述の未確定症例データと確定診断名付き症例データとの類似度は、画像特徴情報Fと所定の臨床情報Cの両方を用いて定義される。
なお、図2においては、画像特徴空間(XY座標空間)内に、楕円によって示されたG1からG7までの診断グループが存在している。各診断グループの境界線は、各診断グループに属する症例データが分布する範囲(の限界)を示すものである。異なる各診断グループに属する、異なる種類の疾患であっても、画像特徴情報が互いに非常に似ている場合があるため、複数の診断グループが部分的に重なる範囲が存在する。
また、図2においては、未確定症例データD0が“x”印によって示された位置に相当する画像特徴情報F0を持つものとする。この時、未確定症例データD0は、診断グループG2、G3およびG4のいずれかに属する可能性が高いので、類似症例検索結果としては、少なくとも診断グループG2、G3およびG4に属する複数の確定診断名付き症例データが表示されることが期待される。
<装置の動作>
以下、図3〜図5のフローチャートおよび図11〜図17のデータテーブルを参照して、制御部10がどのように類似症例検索装置1を制御しているかについて説明する。なお、以下のフローチャートによって示される処理は、CPU100が主メモリ101に格納されているプログラムを実行することにより実現される。また、ここでは、医師が、マウス105やキーボード106を操作することで、類似症例検索装置1に様々なコマンド(指示・命令)を入力するものとする。
また、CPU100が実行するプログラムの実行状況や実行結果は、CPU100が別途実行するOS及び表示プログラムの機能により、モニタ104に表示される。また、症例データベース2には、図10に例示された症例データテーブルが保管されているものとする。
図3は、第1実施形態に係る類似症例検索装置の処理フローチャートである。
ステップS310では、ユーザ(医師)のコマンド入力に従い、CPU100は未確定症例データD0の入力受付を実行する。具体的には、未確定症例データD0を医用画像データベース3または不図示の医用画像撮影装置から共有バス107およびLAN5を経由して、主メモリ101に読み込む。あるいは、CPU100は未確定症例データD0を、磁気ディスク102または不図示の外部記憶装置から共有バス107を経由して、主メモリ101に読み込んでもよい。なお、以下の説明においては、説明を簡単にするため、未確定症例データD0は画像データに関する情報のみを含むものとする。つまり、未確定症例データD0には、画像撮影日、画像の種類、対象臓器、関心領域の画像データI0および関心領域の画像特徴情報F0は含まれるが、所定の臨床情報C0は含まれない。従って、類似症例検索処理は類似画像検索処理とほぼ同様の処理となっている。ただし、未確定症例データD0に、各種臨床検査結果等から得られた所定の臨床情報C0を含んでいてもよい。未確定症例データD0に所定の臨床情報C0を含む場合と含まない場合とでは、類似度の計算にC0を含めるか含めないかが異なるだけであり、基本的な処理手順に違いはない。
ステップS320では、医師のコマンド入力に従い、CPU100は類似症例検索条件の決定を行う。ここで、類似症例検索条件とは、類似症例検索を行う対象となる症例データを限定するための条件である。具体的には、症例データの構成要素である“画像の種類”および“対象臓器”が、未確定症例データD0の構成要素である“画像の種類”および“対象臓器”に一致する場合のみ類似症例検索の対象とする。なぜなら、一般的には、これらの構成要素が異なる場合、関心領域の画像特徴情報Fも大きく異なる場合が多いため、これらの構成要素が異なる症例データは最初から検索対象から除外しておいた方が、作業効率がよいためである。ただし、“画像の種類”および/または“対象臓器”が異なる症例データの中から類似症例検索を行う場合に備え、類似症例検索条件の決定は、医師のコマンド入力に従って柔軟に変更可能なように構成しておくと好適である。
以下では、未確定症例データD0の“画像の種類”は”造影CT画像”であり、“対象臓器”は”肺”である場合の処理例を説明する。つまり、類似症例検索条件として、“画像の種類”を”造影CT画像”、“対象臓器”を”肺”に設定するコマンド入力がなされた場合の処理例を説明する。
ステップS330では、ステップS320で決定された類似症例検索条件に従い、CPU100は図11に例示された検索用症例データテーブルを主メモリ101上に作成する。この際、もし主メモリ101に十分な空き記憶容量がなければ、磁気ディスク102上に検索用症例データテーブルを作成し、後述の処理において必要なデータのみを主メモリ101上に読み出すように制御してもよい。検索用症例データテーブルの作成方法については、後述する。
図11は、検索用症例データテーブルの一例である。“症例データ第2ID(D’ID)”は、検索用症例データテーブル内の症例データを一意に識別するための識別子である。D’IDには、後述する検索用症例データテーブルのソートが終了した段階で、上の行から順番にシーケンシャル番号を付ける。“症例データID(DID)”、“診断グループID(GID)”および“関心領域の画像特徴情報F”は、すでに図9と図10で説明したものと同じである。“類似度R”は、未確定症例データD0と検索用症例データテーブル内の各症例データ(D’1,D’2,D’3,…)との間の類似度を意味するが、ステップS330の時点ではまだ類似度Rは算出されていない。
以下、検索用症例データテーブルの作成方法を詳述する。CPU100は、症例データベース2から共有バス107およびLAN5を経由して、類似症例検索条件に合致する症例データを読み込む。ステップS320で説明した通り、本実施例では類似症例検索条件として、“画像の種類”が造影CT画像であり、“対象臓器”が肺である症例データに限定している。従って、図11には、図10に示した症例データの内、“画像の種類”が造影CT画像であり、“対象臓器”が肺である症例データのみが読み込まれる。また、CPU100は無駄なデータ転送を減らすため、検索用症例データテーブルに必要な構成要素(“症例データID(DID)”、“診断グループID(GID)”および“関心領域の画像特徴情報F”)のみを読み込む。“類似度R”には、初期値として値0を代入する。症例データの読み込み終了後、CPU100は、後述のステップS370における処理を高速化する目的で、検索用症例データテーブル内の各行を診断グループID(GID)に基づいてソートする。図11には、診断グループID(GID)が昇順となる様にソートした結果が例示されている。検索用症例データテーブルのソートが終了した後、“症例データ第2ID(D’ID)”に、上の行から順番にシーケンシャル番号を付ける。
なお、第1実施形態では、任意の表に含まれる行データを現す記法として、行の先頭(最初の列)に書かれた値(通常は何らかのID)が値Xである時、行データ全体をXと表記する。つまり、X={X,…}の関係がある。図11の例では、1行目の症例データをD’1、2行目の症例データをD’2、n行目の症例データをD’nと表記する。他の表についても、同じ記法を用いる。
ステップS340では、CPU100は、図11に例示した検索用症例データテーブルの中から、上位類似症例データ(T1,T2,…,Tm)を選出する。ここで、上位類似症例データとは、検索用症例データテーブル内の全症例データを、未確定症例データD0との類似度が高い順に並べた場合の、先頭からm個目までの症例データ(T1,T2,…,Tm)を呼ぶ。ここで、値m(上位類似症例データ数)は予め設定しておく必要がある。制御部10の不図示の読み出し専用メモリまたは不揮発性メモリには、予めmの初期値が書き込まれている。さらに、医師のコマンド入力に従い、CPU100が不図示の不揮発性メモリに値mを書き込むことにより、値mを変更することができる。ステップS340の詳細な処理手順については、図4、図11および図12を用いて以下に説明する。
図12は、図11に例示した検索用症例データテーブルに対してステップS340を実行することにより作成される上位類似症例データテーブルの例を示す図である。上位類似症例データテーブルとは、CPU100がステップS340で選出した上位類似症例データを主メモリ101上にテーブル形式で記憶したものである。図12の例では、値m(上位類似症例データ数)は値3に設定されている。従って、図12の上位類似症例データテーブルは3行(T1,T2,T3)から構成される。
“上位類似症例データID(TID)”は、上位類似症例データを一意に識別するための識別子である。TIDには、ステップS340における上位類似症例データの選出が終了した後に、上の行から順番にシーケンシャル番号を付ける。“症例データ第2ID(D’ID)”、“診断グループID(GID)”および“類似度R”は、すでに図11で説明したものと同じであり、検索用症例データテーブル(図11)からコピーする。図12の例では、図11の症例データの内、D’5,D’3およびD’6の症例データが上位類似症例データとして選出されている。そして、図12のテーブルの各行は、“類似度R”の値が昇順となるようにソートされているので、値R5≧値R3≧値R6、の関係がある。
図4は、ステップS340の詳細な処理手順を示すフローチャートである。
ステップS410では、CPU100は、図12に例示された上位類似症例データテーブルを主メモリ101上に作成し、上位類似症例データテーブルの全構成要素を値0で初期化する。図12の例では値m=値3なので、3行の上位類似症例データテーブルを作成し、全構成要素に値0を代入する。
ステップS420では、CPU100は、図11に例示した検索用症例データテーブルに含まれる症例データの総数(検索用症例データテーブルの行数)値Nを調べ、この値Nを主メモリ101に記憶する。また、CPU100は、図11に例示した検索用症例データテーブルの何行目に着目しているかを示すインデックス変数nに初期値1を代入し、このインデックス変数nを主メモリ101に記憶する。
ステップS430では、CPU100は、図11に例示した検索用症例データテーブルから、n行目の症例データD’nを読み出す。
ステップS440では、CPU100は、ステップS310で読み込んだ未確定症例データD0と、ステップS430で読み出した症例データD’nとの類似度Rnを計算する。さらにCPU100は、類似度Rnを主メモリ101に記憶した検索用症例データテーブルのn行目の“類似度R”欄に書き込むことで記憶する。類似度Rnの計算方法は、未確定症例データD0と症例データD’nの両方に含まれる情報を利用したものであれば任意の計算方法を定義することができる。図11の例では、“関心領域の画像特徴情報F”(F={f1,f2,f3,…})が類似度Rnの計算に利用可能である。式(1)に、未確定症例データD0の関心領域の画像特徴情報F0と、症例データD’nの関心領域の画像特徴情報Fnとの類似度Rnの計算式の一例を示す。ただし、類似度Rnの計算方法は式(1)に限定されるものではない。
Figure 0005173700
なお、式(1)において、F0={f01,f02,f03,…}であり、Fn={fn1,fn2,fn3,…}である。式(1)を幾何学的に表現すると、F0ベクトルとFnベクトル間のユークリッド距離の逆数と言うことができる。類似度Rnはベクトル間距離が近いほど大きな値を取るべきなので、ベクトル間距離の逆数としたが、計算量を減らすために、類似度Rnの代わりに式(2)によって相違度R’nを計算してもよい。あるいは、さらに計算量を減らすために、式(3)によって相違度R”nを計算してもよい。類似度Rnの代わりに相違度R’nまたはR”nを計算した場合は、後述する通りステップS450における判断方法を変更する。また、ステップS450と同様なので説明は省略するが、図5のステップS535における判断方法も変更する。
Figure 0005173700
Figure 0005173700
ステップS450では、CPU100は、ステップS440で計算した類似度Rnと、上位類似症例データテーブル内の最終行にある上位類似症例データTm(図12の例ではT3)の類似度Rとを比較する。値RnがTmのR値以上である場合は、上位類似症例データを入れ替える必要があるので、ステップS460に進む。逆に、値RnがTmのR値未満である場合は、上位類似症例データを入れ替える必要はないので、ステップS480へ進む。
なお、ステップS440において、類似度Rnの代わりに相違度R’nまたはR”nを計算した場合は、ステップS450の判断方法は以下のように変更する。値R’nまたは値R”nがTmのR’値またはR”値未満である場合は、上位類似症例データを入れ替える必要があるので、ステップS460に進む。逆に、値R’nまたは値R”nがTmのR’値またはR”値以上である場合は、上位類似症例データを入れ替える必要はないので、ステップS480へ進む。
ステップS460では、CPU100は、上位類似症例データテーブルのTm(図12の例ではT3)の行に、ステップS430で読み出した症例データD’nの3つの構成要素を上書きする。ここで、3つの構成要素とは、“症例データ第2ID(D’ID)”の値D’n、“診断グループID(GID)”の値および“類似度R”の値である。
ステップS470では、CPU100は、上位類似症例データテーブル内のすべての行(T1からTmまで)を“類似度R”の値が昇順となる様にソートする。
ステップS480では、CPU100は、インデックス変数nをインクリメント(1を加算)する。
ステップS490では、CPU100は、インデックス変数nと検索用症例データテーブルの行数Nとを比較する。値nが値Nより大きい場合は、検索用症例データテーブル内の全症例データをすでに読み終えたことになるので、ステップS340の処理を終了する。逆に、値nが値N以下の場合は、検索用症例データテーブル内の全症例データをまだ読み終えていないことになるので、ステップS430に戻って処理を継続する。上述したように、上位類似症例データテーブル(図12)の内容は、検索用症例データテーブル(図11)の内容に対して、上述のステップS340を実行することにより得られるものである。
ステップS350では、CPU100は、上位類似診断グループIDと、それらの関連グループIDを調べ、これらのIDをすべて合わせたものを検索対象グループIDとして決定する。この時の処理手順を、図12および図14を用いて以下に詳述する。
まず、CPU100は、図12に例示した上位類似症例データテーブルの“診断グループID(GID)”列の値を全行に渡って調べる。そして、発見したすべてのGID値(図12の例では値G3と値G4)を上位類似診断グループIDとして主メモリ101に記憶する。次に、CPU100は、図14に例示した“診断グループID(GID)”と複数の“関連グループID”との対応表を参照し、上述の上位類似診断グループIDに対する関連グループIDをすべて調べ、これらの関連グループIDを主メモリ101に記憶する。この際、複数の上位類似診断グループIDに関連する関連グループID(重複関連グループID)と、一つの上位類似診断グループIDだけに関連する関連グループID(単独関連グループID)とを区別して記憶しておく。図12および図14の例では、上位類似診断グループIDである値G3と値G4の両方に対する関連グループIDである値G2は重複関連グループIDであり、値G3だけに対する関連グループIDである値G6および値G7は単独関連グループIDである。後述の処理において、CPU100は、上述の上位類似診断グループIDとそれらの関連グループIDを合わせたものを、検索対象グループIDとして処理する。なお、図14の例は、上述の図2に例示した診断グループ間の関係に対応している。つまり、図2において、G1はG2およびG5と重なる範囲に分布しているので、図14において、診断グループID=値G1、に対しては、関連グループID={値G2,値G5}、となっている。
ステップS360では、CPU100は、上述の検索対象グループIDごとに、類似症例データの選出数の下限値と上限値を決定する。つまりグループごとに抽出基準を設定する。
図15は、“検索対象グループID”と類似症例データの“選出数(下限,上限)”との対応表の一例である。図15に例示した内容は、図12および図14に例示した内容と対応している。まず、CPU100は、ステップS350で主メモリに記憶した検索対象グループID(上位類似診断グループIDとそれらの関連グループIDを合わせたもの)の総数を調べ、この総数と同じ行数を持つ、図15に例示した対応表を作成する。次に、CPU100は、図15に例示した対応表の“検索対象グループID”列に、上の行からそれぞれ順番に、上位類似診断グループID(値G3,値G4)、重複関連グループID(値G2)および単独関連グループID(値G6,値G7)を書き込む。さらに、CPU100は、図15に例示した対応表の“選出数(下限,上限)”列に、以下の規則に基づいて、類似症例データの選出数の下限値と上限値を書き込む。
以下、図15を用いて選出数(下限,上限)の決め方について説明する。基本的な考え方は、選出数(下限,上限)は、上位類似診断グループID、重複関連グループIDおよび単独関連グループIDのそれぞれに対して、予め決めておいた値を使用する。図15の例では、以下の規則に基づいて計算している。
・上位類似診断グループID(G3とG4)に対しては、予め決めておいた選出数の下限値(値3)を使用する。
・重複関連グループID(G2)に対する選出数の下限値は、上位類似診断グループIDの選出数の下限値より1小さい値(値2)を使用する。
・単独関連グループID(G6とG7)に対する選出数の下限値は、重複関連グループIDの選出数の下限値より1小さい値(値1)を使用する。
・いずれの選出数の上限値も、下限値に2を足した値を使用する。
上述の規則を適用することにより、予め決めておく値は最初の一つだけで済む。さらに、医師からのコマンド入力によって、予め決めておく値を変更可能とすることで、類似症例検索結果として表示する類似症例数は変更可能となる。上述の決め方以外にも、様々な選出数(下限,上限)の決め方が考えられるが、どのような決め方がよいかは、ユーザである医師の嗜好または類似症例検索結果を表示するウィンドウサイズ等によって異なる。従って、予め複数の選出数(下限,上限)の決め方を用意しておき、医師からのコマンド入力によって、選出数(下限,上限)の決め方を変更可能としてもよい。
なお、第1実施形態においては、類似症例データの選出数の下限値と上限値を決めたが、必ずしも下限値と上限値の両方を決める必要はない。例えば、類似症例データの選出数に幅を持たせずに、各検索対象グループIDに対して、それぞれ一つずつ選出数を決めてもよい。この場合、選出数を一つずつ決めるということは、上述の選出数の下限値と上限値を等しくすることと等価である。従って、選出数を一つずつ決めた場合の処理手順は、選出数の下限値と上限値を決める場合の処理手順に含まれることになる。
ステップS370では、CPU100は、上述の検索対象グループIDごとに、類似症例データを選出する。ステップS370の詳細な処理手順については、図5、図16および図17を用いて以下で説明する。
図16は、図15に例示した“検索対象グループID”と類似症例データの“選出数(下限,上限)”との対応表を、“検索対象グループID”が昇順となる様にソートしたものである。このソートにより、以下で説明するステップS370の詳細な処理手順を簡素化することができる。
図17は、検索対象グループ別類似症例データテーブルの一例である。図16の例では、検索対象グループとしてG2、G3、G4、G6およびG7の5グループあるため、図17の例では、それぞれG2用、G3用、G4用、G6用およびG7用の類似症例データテーブルが作成される。
図5は、ステップS370の詳細フローチャートである。
ステップS510では、CPU100は、図16に例示した対応表の最終行にある“検索対象グループID”の値を調べ、この値を“検索対象グループID”の最大値Gmaxとして主メモリ101に記憶する。また、CPU100は、図16に例示したソート済み対応表の何行目に着目しているかを示すインデックス変数kに初期値1を代入し、この値kを主メモリ101に記憶する。
ステップS515では、CPU100は、図16に例示した対応表を参照しながら、図17に例示した検索対象グループ別類似症例データテーブルを主メモリ101上に作成し、全テーブルの全構成要素を値0で初期化する。以下に、図16と図17の例を用いて、検索対象グループ別類似症例データテーブルの作成手順を詳細に説明する。
CPU100は、図16の各行を1行ずつ処理することで、各検索対象グループ用の類似症例データテーブルを作成する。まず、CPU100は、1行目の“検索対象グループID”の値G2および“選出数(下限,上限)”の値(2,4)を読み出し、選出数の上限値に等しい行数(4行)を持つG2用類似症例データテーブルを作成し、テーブルの全構成要素を値0で初期化する。CPU100は、図16の2行目以下も同様に処理することで、図17に例示した各検索対象グループ別類似症例データテーブルを作成する。
ステップS520では、CPU100は、図11に例示した検索用症例データテーブルに含まれる症例データの総数(検索用症例データテーブルの行数)Nを調べ、この値Nを主メモリ101に記憶する。なお、値Nは、図4のステップS420においてすでに主メモリ101に記憶済みなので、図4の処理(ステップS340の処理)終了後も値Nが記憶されているならば、ステップS520において再度値Nを記憶する必要はない。次に、CPU100は、図11に例示した検索用症例データテーブルの何行目に着目しているかを示すインデックス変数nに初期値1を代入し、この値nを主メモリ101に記憶する。
ステップS525では、CPU100は、図11に例示した検索用症例データテーブルから、n行目の症例データD’nを読み出す。
ステップS530では、CPU100は、ステップS525で読み出した症例データD’nに含まれる診断グループID(GID)の値と、以下で説明する値Gkとを比較する。この比較結果が等しい場合、ステップS535に進み、逆に、比較結果が等しくない場合、ステップS560に進む。
ここで、図16および図17に示した表を用いて、値Gkの求め方を具体的に説明する。まず、値Gkの添え字kは、ステップS510で述べたインデックス変数kである。そして、Gkは、図16のk行目の“検索対象グループID”の値である。つまり、図16に書かれている通り、k=1の時はGk=G2、k=2の時はGk=3、k=3の時はGk=4、k=4の時はGk=6、k=5の時はGk=7、である。
ステップS530が最初に実行される時は、図11の1行目の症例データD’1が読み出されるので、D’1のGID=値G1である。一方、最初はインデックス変数k=1なので、Gk=G2となる。G1≠G2なので、ステップS530が最初に実行された後は、ステップS560に進む。この処理により、図11に例示された症例データの内、症例データの持つ診断グループID(GID)の値が、図16に例示された検索対象グループIDのいずれかの値と一致する場合のみ、ステップS535に進む。これにより、検索対象グループに属する症例データのみを、類似症例検索の対象とすることができる。
ステップS535では、CPU100は、2つの“類似度R”の値を比較する。一方の“類似度R”の値は、ステップS525で読み出した症例データD’nに含まれる“類似度R”の値Rnである。もう一方の“類似度R”の値は、図17に例示したGk用類似症例データテーブルの最終行GTmの“類似度R”の値(Gk用GTmのR値、と略記する)である。値RnがGk用GTmのR値以上の場合は、Gk用類似症例データテーブルの内容を更新する必要があるので、ステップS540に進む。逆に、値RnがGk用GTmのR値未満の場合は、ステップS550に進む。
ステップS540では、CPU100は、図17に例示したGk用類似症例データテーブルの最終行GTmに、ステップS525で読み出した症例データD’nの“症例データID(DID)”の値Dnと“類似度R”の値Rnを上書きする。
ステップS545では、CPU100は、Gk用類似症例データテーブルの全ての行(GT1からGTmまで)を“類似度R”が昇順となる様にソートする。これにより、Gk用類似症例データテーブル内では、GTmの“類似度R”が最も小さい値となる。
ステップS550では、CPU100は、インデックス変数nに1を加算する。
ステップS555では、CPU100は、インデックス変数nと値N(図11に例示した検索用症例データテーブルの行数)とを比較する。インデックス変数nが値Nより大きい場合は、ステップS370の処理を終了する。逆に、インデックス変数nが値N以下の場合は、ステップS525に戻って処理を継続する。
ステップS560では、CPU100は、インデックス変数kに1を加算する。
ステップS565では、CPU100は、インデックス変数kと値Gmax(図16に例示した対応表の最終行の“検索対象グループID”の値、図16の例ではGmax=G7)とを比較する。インデックス変数kが値Gmaxより大きい場合は、ステップS370の処理を終了する。逆に、インデックス変数kが値Gmax以下の場合は、ステップS530に戻って処理を継続する。
以上、図5を用いて説明したステップS370の処理により、図17に例示した検索対象グループ別(=診断グループ別)の類似症例データテーブルが出来上がる。
図5を用いて説明したステップS370の処理手順においては、未確定症例データと確定症例データとの間の類似度を単に閾値処理して類似症例データを選出する替わりに、確定症例データを類似度の高い順に並べて、上位から所定数だけ選択するのである。もし、類似度を単に閾値処理して類似症例データを選出したとすると、以下の問題が生じる。すなわち、症例データベース2に保管された症例データ数が増加すると、互いに類似度が高い症例データ数が増加する。従って、類似度の閾値を変えない限り、選出される類似症例データ数が増加してしまう。つまり、類似度の閾値処理による類似症例検索を行う場合は、症例データベース2に保管される症例データ数に応じて、類似症例検索結果が変動してしまう。一方、第1実施形態における処理手順においては、症例データベース2のサイズ変動には影響されないため、常に一定数の診断グループ別類似症例データを検索できるという利点を持つ。
ステップS380では、CPU100は、ステップS370で作成した診断グループ別類似症例データテーブルの内容を参照して、診断グループごとにグループ分けして類似症例データを表示する。以下に、図15および図17の具体例を用いて、CPU100が、検索対象グループごとに類似症例データを読み出す際の処理手順を詳述する。
CPU100は、図15に例示した対応表の“検索対象グループID”の値を1行目から順番に読み出す。そして、読み出した“検索対象グループID”の値に対応する類似症例データテーブルを、図17に例示した検索対象グループ別類似症例データテーブルから選択する。具体的には、まず図15の対応表の1行目から値G3を読み出し、次に図17のG3用類似症例データテーブルを選択する。
次に、CPU100は、図17のG3用類似症例データテーブルの“症例データID(DID)”の値を1行目から順番に読み出し、読み出したDIDの値に対応する症例データを、図9または図10に例示した症例データテーブルから読み出す。具体的には、図17のG3用類似症例データテーブルの1行目からDIDの値D9を読み出し、図9または図10からDIDの値がD9である(=9行目の)症例データD9を読み出す。
図10からD9を読み出した場合は、D9に含まれる“確定診断名”、“所定の臨床情報C”および“関心領域の画像データI”を取り出すことで、G3用の1つ目の確定診断名付き類似症例データが得られる。他の確定診断名付き類似症例データについても、同様の手順で得ることができる。
一方、図9からD9を読み出した場合は、“確定診断名”は直接取り出せるが、所定の臨床情報および関心領域の画像データは、それぞれ診療録データベース4および医用画像データベース3から読み出す必要がある。所定の臨床情報を取り出すためには、まず、図9から読み出したD9に含まれる“診療録データへの参照情報”を取り出す。次に、この参照情報によって参照される診療録データを、診療録データベース4から読み出す。そして、この診療録データの中から、所定の臨床情報を取り出すことになる。関心領域の画像データを取り出すためには、まず、図9から読み出したD9に含まれる“画像データへの参照情報”を取り出す。次に、この参照情報によって参照される画像データを、医用画像データベース3から読み出す。さらに、図9から読み出したD9に含まれる“関心スライス番号”および“関心領域の座標情報(X0,Y0,X1,Y1)”を取り出す。そして、これらの情報を用いて、医用画像データベース3から読み出した画像データの関心スライス番号と関心領域を特定することで、関心領域の画像データが得られる。
このようにして、図15および図17の例では、G3,G4,G2,G6およびG7の検索対象グループ別に、それぞれ5症例,5症例,4症例,3症例および3症例ずつ、確定診断名付き類似症例データが得られることになる。つまり、各グループから類似した所定数以上の確定症例データを抽出される。
もし、類似症例検索結果を表示するウィンドウサイズが小さいなどの理由で、確定診断名付き類似症例データ数を削減したい場合は、検索対象グループ(=診断グループ)ごとの類似症例データの選出数を減らす。この際、図15に例示した類似症例データの選出数の下限値を参照することで、検索対象グループ(=診断グループ)ごとの類似症例データの選出数を、下限値(1以上)を限度として減らすことができる。
図7は、ステップS380における処理の結果、表示される画面の例である。図7の最上段には診断中の画像データの一部が表示されている。これらの画像はいずれも、医師が診断中の画像データから関心領域を切り出したものである。例えば、「新画像1」は、胸部CT画像の肺野領域の一部に写った異常陰影を囲む関心領域を切り出した画像であるかも知れない。医師が「新画像1」と書かれた画像を選択し、類似症例検索の実行を指示するコマンド入力すると、上述の処理の結果、画面の境界線より下の部分に、類似症例検索結果が表示される。この画面例では、診断グループ名、診断グループ(=検索対象グループ)別に類似度の高い順に並べた確定診断名付き類似症例データ(=類似画像データ)および診断グループに対するTips(診断上の注意点など)が表示されている。
以上説明したとおり第1実施形態に係る類似症例検索装置によれば、入力した未確定症例データに対して、症例データベース2から異なる診断結果を有する複数の確定症例データを抽出することが可能となる。それにより、ユーザ(医者)は、抽出された複数の確定症例データの診断結果に基づいて、入力した症例データに対応する可能性のある複数の診断結果を検討することが可能となる。
(第2実施形態)
第2実施形態では、第1実施形態に比較しより多彩な確定症例データを抽出する技術について説明する。なお、装置構成は、第1実施形態と同様であるため説明は省略する。また、図3および図4のフローチャートを用いて上述した処理手順についても同様であるため説明は省略する。第2実施形態では、主に第1実施形態におけるS370の詳細手順の一部が異なる。
以下、図5および図6のフローチャート、および図18に示すデータテーブルを参照して、第2実施形態に係るS370の処理手順について説明する。
ステップS510における処理は、第1実施形態における処理と同様である。
ステップS515における処理は、第1実施形態における処理とほぼ同様であるが、図17に例示した検索対象グループ別類似症例データテーブルの変わりに、図18に例示した検索対象グループ別類似症例データテーブルを作成する点が異なる。
図18は、検索対象グループ別類似症例データテーブルの他の例である。図18に例示したGk用類似症例データテーブルは、図17に例示したGk用類似症例データテーブルに、後述する2列の情報を加えたものとなっている。なお、追加した第1の列は“関心領域の画像特徴情報F”であり、追加した第2の列は“重複数”である。
ステップS515では、CPU100は、図18に例示した検索対象グループ別類似症例データテーブルを主メモリ101上に作成し、全テーブルの全構成要素を値0で初期化する。
ステップS520からステップS535までの処理、およびステップS550からステップS565までの処理は、第1実施形態における処理と同様であるため説明は省略する。
第2実施形態における処理において第1実施形態と大きく異なるのは、図5のステップS540およびステップS550の部分である。第2実施形態における処理手順では、図5のステップS540およびステップS545は実行せず、その代わりに、図6のフローチャートに示したステップS610からS690までを実行する。
図6は、第2実施形態に係る処理手順を示したフローチャートである。
ステップS610では、CPU100は、図18に例示したGk用類似症例データテーブルの行数mを調べ、この値mを主メモリ101に記憶する。また、CPU100は、図18に例示したGk用類似症例データテーブルの何行目に着目しているかを示すインデックス変数iに初期値1を代入し、このインデックス変数iを主メモリ101に記憶する。なお、上述のGk用類似症例データテーブルのGkとは、図16に例示した“検索対象グループID”の値である。また、Gkの添え字のkとは、図5のステップS510において説明した通り、図16に例示したソート済み対応表の何行目に着目しているかを示すインデックス変数である。
ステップS620では、CPU100は、図18に例示したGk用類似症例データテーブルから、i行目の症例データGTiを読み出す。
ステップS630では、CPU100は、図5のステップS525で読み出した症例データD’nと、ステップS620で読み出したGTiとの類似度GkRiを計算する。類似度GkRiの計算方法は、図4のステップS440で説明した類似度Rnの計算方法と同様である。つまり、症例データD’nの関心領域の画像特徴情報をFnとし、症例データGTiの関心領域の画像特徴情報をFiとすれば、式(4)を用いて類似度GkRiを計算できる。
Figure 0005173700
式(4)において、Fn={fn1,fn2,fn3,…}であり、Fi={fi1,fi2,fi3,…}である。また、図4のステップS440で説明したのと同様に、類似度GkRiの変わりに、式(5)または(6)を用いて相違度GkR’iまたはGkR”iを計算してもよい。類似度GkRiの代わりに相違度GkR’iまたはGkR”iを計算した場合は、後述のステップS640における判断方法も変更する。
Figure 0005173700
Figure 0005173700
ステップS640では、CPU100は、ステップS630で計算した類似度GkRiと、予め決めた所定の閾値とを比較する。ここで、所定の閾値とは、同じ診断グループに属する2つの症例データが非常に似ているかどうかを判断するための閾値である。類似度GkRiが所定閾値以上である(症例データD’nとGTiが非常に似ている)場合は、ステップS650に進む。逆に、類似度GkRiが所定閾値未満である(症例データD’nとGTiがそれほど似ていない)場合は、ステップS660に進む。
なお、ステップS630において、類似度GkRiの代わりに相違度GkR’iまたはGkR”iを計算した場合は、ステップS640の判断方法は以下のように変更する。相違度GkR’iまたはGkR”iが所定の閾値未満である場合は、ステップS650に進む。逆に、相違度GkR’iまたはGkR”iが所定の閾値以上である場合は、ステップS660に進む。
ステップS650では、CPU100は、症例データGTiの“重複数”を1加算した後、図18に例示されたGk用類似症例データテーブルのi行目の“重複数”の列に書き込む。その後、図6の処理を終了する。ここでの処理により、同じ診断グループ(類似グループ)に属する互いによく似た類似症例データがあった場合、いずれか一つの類似症例データしか選出されないようになる。ただし、非常によく似ていたために選出されなかった類似症例データがいくつあったかをユーザ(医師)に知らせるために、“重複数”を加算している。
ステップS660では、CPU100は、インデックス変数iに1を加算する。
ステップS670では、CPU100は、インデックス変数iとステップS610で調べた値mとを比較する。ここで、iがmより大きければステップS680に進み、iがm以下であればステップS620に戻る。
ステップS680では、CPU100は、Gk用類似症例データテーブルの最終行GTm(図18のG2用類似症例データテーブルの例ではGT4)に、図5のステップS525で読み出した症例データD’nの3つの構成要素を上書きする。つまり、ステップS680に進んだ段階で、CPU100は、図5のステップS525で読み出した症例データD’nと非常によく似た類似症例データは、図18に例示したGk用類似症例データテーブル内には存在しないことを確認したことになるからである。具体的には、上書きする3つの構成要素は、“症例データID(DID)”の値Dn、“関心領域の画像特徴情報F”の値Fnおよび“類似度R”の値Rnである。また、この時、Gk用類似症例データテーブルの最終行GTmの“重複数”には、初期値として0を書き込む。
ステップS690では、CPU100は、Gk用類似症例データテーブル内のすべての行(GT1からGTmまで)を“類似度R”の値が昇順となる様にソートする。その後、図6の処理を終了する。
図8は、第2実施形態に係る図3のステップS380における処理の結果、表示される画面の例である。図8に例示した画面例の大半は、図7に例示した画面例と同様である。ただし、診断グループ別類似症例検索結果として表示された各類似症例データの表示している。より詳細には、図6のステップS650において計算した、同じ診断グループに属する類似症例データ同士の“重複数”を、画像データおよび確定診断名と一緒に表示している。これにより、一つ一つの類似症例データがそれぞれ他の何例の類似症例データと非常に似ていたかを知ることができる。つまり、画像診断を行う医師は“重複数”を見ることによって、各類似症例データが症例データベース2においてどの程度頻繁に現れる症例データであるかを知ることができる。なお、上述の“重複数”の代わりに、重複数から導出される他の情報(グラフなど)を表示してもよい。
以上説明したとおり第2実施形態に係る類似症例検索装置によれば、入力した未確定症例データに対して、症例データベース2から異なる診断結果を有する複数の確定症例データを抽出することが可能となる。特に、第1実施形態に比較しより広範な(多彩な)複数の確定症例データを抽出可能とすると共に、”重複数”を表示することにより入力した症例データとの関連度合いを知ることが可能となる。
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク(CD、DVD)、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ROMなどがある。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
第1実施形態に係る類似症例検索装置の機器構成を示す図である。 類似症例検索における関心領域の画像特徴量と診断グループとの関係を概念的に示す図である。 第1実施形態に係る類似症例検索装置の処理フローチャートである。 ステップS340の詳細な処理手順を示すフローチャートである。 ステップS370の詳細な処理手順を示すフローチャートである。 ステップS370の処理手順の一部の詳細手順を示すフローチャートである(第2実施形態)。 第1実施形態に係る類似症例検索装置における処理結果の表示例を示す図である。 第2実施形態に係る類似症例検索装置における処理結果の表示例を示す図である。 症例データベース2に保管される症例データテーブルの例を示す図である。 症例データベース2に保管される症例データテーブルの他の例を示す図である。 検索用症例データテーブルの例を示す図である。 上位類似症例データテーブルの例を示す図である。 複数の“確定診断名”と“診断グループID(GID)”との対応表の例を示す図である。 “診断グループID(GID)”と複数の“関連グループID”との対応表の例を示す図である。 “検索対象グループID”と類似症例データの“選出数(下限,上限)”との対応表の例を示す図である。 図15の対応表を、“検索対象グループID”が昇順となる様にソートした表を示す図である。 検索対象グループ別類似症例データテーブルの例を示す図である。 検索対象グループ別類似症例データテーブルの他の例を示す図である。
符号の説明
1 類似症例検索装置
2 症例データベース
3 医用画像データベース
4 診療録データベース
5 LAN
10 制御部
100 中央処理装置(CPU)
101 主メモリ
102 磁気ディスク
103 表示メモリ
104 モニタ
105 マウス
106 キーボード
107 共有バス

Claims (6)

  1. 医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースから1以上の確定症例データを抽出するデータ検索装置であって、
    医用画像データを含む症例データの入力を受け付ける入力受付手段と、
    前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付手段により入力された前記症例データとの類似度を導出する導出手段と、
    前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類手段と、
    前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択手段と、
    前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定手段と、
    前記類似グループおよび該類似グループの関連グループの各々から、前記導出手段により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出手段と、
    を含むことを特徴とするデータ検索装置。
  2. 前記抽出手段は、前記類似グループおよび該類似グループの関連グループの各々に対して前記類似度に基づく抽出基準を変更することを特徴とする請求項1に記載のデータ検索装置。
  3. 前記選択手段は、前記症例データベースに記憶される前記複数の確定症例データのうち、前記導出手段により導出された類似度が大きい方から所定数だけの確定症例データを選出し、選出された確定症例データが含まれる診断グループを前記類似グループとして選択することを特徴とする請求項1又は2に記載のデータ検索装置。
  4. 医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースから1以上の確定症例データを抽出するデータ検索装置の制御方法であって、
    入力受付手段が、医用画像データを含む症例データの入力を受け付ける入力受付工程と、
    導出手段が、前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付工程により入力された前記症例データとの類似度を導出する導出工程と、
    分類手段が、前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類工程と、
    選択手段が、前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択工程と、
    設定手段が、前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定工程と、
    抽出手段が、前記類似グループおよび該類似グループの関連グループの各々から、前記導出工程により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出工程と、
    を含むことを特徴とするデータ検索装置の制御方法。
  5. 医用画像データと該医用画像データに対応する確定した診断情報とを含む複数の確定症例データを記憶する症例データベースと、該症例データベースにアクセスして1以上の確定症例データを抽出するデータ検索装置と、を含むデータ検索システムであって、
    医用画像データを含む症例データの入力を受け付ける入力受付手段と、
    前記症例データベースに記憶された前記複数の確定症例データの各々について、前記入力受付手段により入力された前記症例データとの類似度を導出する導出手段と、
    前記症例データベースに記憶される前記複数の確定症例データを、該複数の確定症例データの各々に含まれる確定した診断情報に基づいて複数の診断グループに分類する分類手段と、
    前記複数の診断グループのうち前記症例データとの類似度が所定閾値以上である確定症例データを含む診断グループを類似グループとして選択する選択手段と、
    前記複数の診断グループの各々について、診断グループに含まれる確定症例データと類似度が高い確定症例データが含まれる他の1以上の診断グループを関連グループとして設定する設定手段と、
    前記類似グループおよび該類似グループの関連グループの各々から、前記導出手段により導出された類似度に基づいて所定数以上の確定症例データを抽出する抽出手段と、
    を含むことを特徴とするデータ検索システム。
  6. コンピュータを請求項1乃至の何れか一項に記載のデータ検索装置の各手段として機能させるためのプログラム。
JP2008246599A 2008-09-25 2008-09-25 データ検索装置およびその制御方法、データ検索システム Expired - Fee Related JP5173700B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008246599A JP5173700B2 (ja) 2008-09-25 2008-09-25 データ検索装置およびその制御方法、データ検索システム
PCT/JP2009/003459 WO2010035380A1 (ja) 2008-09-25 2009-07-23 データ検索装置およびその制御方法、データ検索システム
US12/770,613 US20100274776A1 (en) 2008-09-25 2010-04-29 Data search apparatus, control method therefor, and data search system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008246599A JP5173700B2 (ja) 2008-09-25 2008-09-25 データ検索装置およびその制御方法、データ検索システム

Publications (3)

Publication Number Publication Date
JP2010079568A JP2010079568A (ja) 2010-04-08
JP2010079568A5 JP2010079568A5 (ja) 2011-11-10
JP5173700B2 true JP5173700B2 (ja) 2013-04-03

Family

ID=42059396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008246599A Expired - Fee Related JP5173700B2 (ja) 2008-09-25 2008-09-25 データ検索装置およびその制御方法、データ検索システム

Country Status (3)

Country Link
US (1) US20100274776A1 (ja)
JP (1) JP5173700B2 (ja)
WO (1) WO2010035380A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257979A (ja) * 2010-06-09 2011-12-22 Olympus Imaging Corp 画像検索装置、画像検索方法、およびカメラ
CN102985924A (zh) 2011-02-14 2013-03-20 松下电器产业株式会社 相似病例检索装置以及相似病例检索方法
WO2013088807A1 (ja) * 2011-12-13 2013-06-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム
JP5677348B2 (ja) * 2012-03-23 2015-02-25 富士フイルム株式会社 症例検索装置、症例検索方法及びプログラム
JP5635030B2 (ja) * 2012-03-23 2014-12-03 富士フイルム株式会社 症例データベース管理システム及び方法
US9262442B2 (en) 2012-09-20 2016-02-16 International Business Machines Corporation Techniques for generating a representative image and radiographic interpretation information for a case
JP2014157542A (ja) * 2013-02-18 2014-08-28 Nec Personal Computers Ltd 端末装置および装置のプログラム
WO2014155273A1 (en) * 2013-03-29 2014-10-02 Koninklijke Philips N.V. A context driven summary view of radiology findings
US9613181B2 (en) * 2014-05-29 2017-04-04 Globalfoundries Inc. Semiconductor device structure including active region having an extension portion
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
JP6521053B2 (ja) * 2015-03-06 2019-05-29 富士通株式会社 検索プログラム、検索方法および検索装置
JP6074455B2 (ja) * 2015-05-14 2017-02-01 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム
JP6697743B2 (ja) 2015-09-29 2020-05-27 パナソニックIpマネジメント株式会社 情報端末の制御方法及びプログラム
CN113257431B (zh) * 2021-06-18 2021-09-28 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2955873B2 (ja) * 1989-08-10 1999-10-04 富士写真フイルム株式会社 画像処理装置
JP4021179B2 (ja) * 2000-11-29 2007-12-12 富士通株式会社 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2004173748A (ja) * 2002-11-25 2004-06-24 Hitachi Medical Corp 類似医用画像データベース作成方法、類似医用画像データベース並びに類似医用画像検索方法及び装置
US7580929B2 (en) * 2004-07-26 2009-08-25 Google Inc. Phrase-based personalization of searches in an information retrieval system
JP2006155002A (ja) * 2004-11-26 2006-06-15 Hitachi Medical Corp レポート作成支援システム
US8384729B2 (en) * 2005-11-01 2013-02-26 Kabushiki Kaisha Toshiba Medical image display system, medical image display method, and medical image display program
JP4799251B2 (ja) * 2006-04-05 2011-10-26 富士フイルム株式会社 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007275440A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP4979334B2 (ja) * 2006-10-18 2012-07-18 富士フイルム株式会社 医用画像読影支援システム及びプログラム
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム

Also Published As

Publication number Publication date
WO2010035380A1 (ja) 2010-04-01
JP2010079568A (ja) 2010-04-08
US20100274776A1 (en) 2010-10-28

Similar Documents

Publication Publication Date Title
JP5173700B2 (ja) データ検索装置およびその制御方法、データ検索システム
EP2478834B1 (en) Radiograph interpretation report creation device, method, and program
US8625867B2 (en) Medical image display apparatus, method, and program
US6785410B2 (en) Image reporting method and system
JP4905967B2 (ja) 類似症例検索装置、方法、およびプログラム
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
US7639890B2 (en) Automatic significant image generation based on image characteristics
JP5431924B2 (ja) 臨床医駆動の例示ベースのコンピュータ支援診断
JP2010165127A (ja) 情報処理装置および情報処理方法
US20100189322A1 (en) Diagnostic supporting apparatus and method for controlling the same
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
JP2008217363A (ja) 類似症例検索装置、方法、およびプログラム
JP5355111B2 (ja) 診断支援装置及び診断支援方法
JP2010211413A (ja) 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序
JP5784082B2 (ja) 診断支援装置及び診断支援方法
JP7426908B2 (ja) 医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム
JP2006235971A (ja) 画像参照装置及び画像分類検索方法
JPH04333971A (ja) 医用画像保管通信システム
JP2017189383A (ja) 医用レポート作成装置およびその制御方法
JP2024149284A (ja) 情報処理装置、方法およびプログラム
JP5863916B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R151 Written notification of patent or utility model registration

Ref document number: 5173700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees