JP5641684B2 - 医用画像検索システム - Google Patents

医用画像検索システム Download PDF

Info

Publication number
JP5641684B2
JP5641684B2 JP2008251681A JP2008251681A JP5641684B2 JP 5641684 B2 JP5641684 B2 JP 5641684B2 JP 2008251681 A JP2008251681 A JP 2008251681A JP 2008251681 A JP2008251681 A JP 2008251681A JP 5641684 B2 JP5641684 B2 JP 5641684B2
Authority
JP
Japan
Prior art keywords
image data
medical image
information
search
related information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008251681A
Other languages
English (en)
Other versions
JP2010082002A (ja
Inventor
文彰 手島
文彰 手島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008251681A priority Critical patent/JP5641684B2/ja
Publication of JP2010082002A publication Critical patent/JP2010082002A/ja
Application granted granted Critical
Publication of JP5641684B2 publication Critical patent/JP5641684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、ネットワークを介して医用画像データの検索を行う医用画像検索システムに関する。
従来より、被検体の病変部位等を被侵襲的に撮像して3次元医用画像を得るための各種の医用画像診断装置が開発され、適用されている。このような医用画像診断装置としては、超音波画像診断装置やCT画像診断装置、X線画像診断装置、MRI(Magnetic Resonance Imaging)画像診断装置などが一般に用いられており、一般的にマルチモダリティと総称されている。これらのマルチモダリティによれば、特に最近の画像処理技術の発達に伴い、高精細な3次元医用画像を短時間で得ることができる。
これらの3次元医用画像に基づいて、それぞれのモダリティ毎に固有の特長を生かした画像診断の手法が確立されており、それぞれの各種専門分野の医学会において研究発表も活発に行われている。
また、作成された高精度な3次元画像は、常時使用可能とするために格納装置に医用画像データとして保存され、診断結果としての関心領域であるROI(Region of Interest)の必要性が生じた場合に、必要性が生じたROIの医用画像データを、前記格納装置の中から選択することができる。
ところで、格納装置に医用画像データとして断面画像を保存した後に再度断面画像を表示させる場合であって、表示された断面画像と、その表示された断面画像のコロナル、サジタル、アキシャル、オブリーク画像と、を同時表示させた場合に各々の画像についてそれぞれの対応関係が分からなくなる問題が生じている。また、表示画像としてコロナル、サジタル、アキシャル、オブリークの断面画像を任意に選択することができないという問題も生じている。
これらの問題を解決する技術として、例えば特許文献1には次のような技術が開示されている。すなわち、特許文献1には、被検体を撮影して得た画像情報を表示するための画像表示装置において、前記画像情報における断面画像を表示するために断面画像情報の生成を行う断面画像情報生成手段と、前記生成された断面画像情報とは異なる方向から所定の演算処理により縮小した縮小画像情報の生成を行う縮小画像情報生成手段と、前記断面画像情報と前記縮小画像情報とを同時に表示する同時表示手段と、前記同時表示手段により表示される画像を保存する保存手段とを備える画像表示装置が開示されている。
この特許文献1に開示されている技術によれば、表示される断面画像とそれに対応するコロナル、サジタル、アキシャル、オブリークの縮小画像及びその縮小画像に入力された位置表示を同時表示した画像を保存することにより、各々の断面画像がどこの位置における断面画像であるかを容易に理解可能な画像表示装置が提供される。
特開2003−10135号公報
しかしながら、特許文献1に開示されている技術を用いた場合であっても、或る医用画像データから直接的に参照医用画像データ(当該医用画像データに対して何らかの関連性を有する医用画像データ)を検索することができない。さらに、特許文献1に開示されている技術では、異なる装置間においては参照医用画像データの検索を行うこと自体不可能である。
本発明は、前記の事情に鑑みて為されたものであり、医用画像データ間の関連性を示す関連情報を生成して利用することで、或る医用画像データと所定の関連性を有する医用画像データを直接的に検索することができ、且つ複数の異なる装置間であっても前記検索が可能な医用画像検索システムを提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様による医用画像検索システムは、
医用画像データの取得及び/又は送信を行なった装置を識別する為の装置識別情報と、医用画像データを識別する為の医用画像データ識別子と、医用画像データに係る患者情報・検査情報・画像データ情報と、当該医用画像データと所定の関連性を有する医用画像データである参照医用画像データの医用画像データ識別子である参照医用画像データ識別子と、前記所定の関連性を示す情報である関連情報と、を管理し、且つ該管理に係る情報の登録処理、更新処理、削除処理、及び検索処理を実行する医用画像データ関連情報管理部と、
前記医用画像データ関連情報管理部に登録された情報に基づいて、同一画像の複製関係、所定の疾病に対する一連の治療に関する関係、画像処理に関する関係に関する前記関連情報の作成処理及び更新処理を行う医用画像データ関連情報作成部と、
を具備し、
前記医用画像データ関連情報管理部は、医用画像データについて当該医用画像データに係る医用画像データ識別子を検索条件として端末装置から検索処理を要求されると、当該検索処理を実行し、当該医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を検出して前記端末装置に送信することを特徴とする医用画像検索システム。
前記の目的を達成するために、本発明の第2の態様による医用画像検索システムは、
医用画像データを保管する医用画像データ保管装置と、
前記医用画像データを表示する医用画像データ表示装置と、
前記医用画像データのネットワーク上における所在を管理する医用画像データ所在管理装置と、
を具備し、
前記医用画像データ保管装置は、
医用画像データの取得及び/又は送信を行なった装置を識別する為の装置識別情報と、医用画像データを識別する為の医用画像データ識別子と、医用画像データに係る患者情報・検査情報・画像データ情報と、当該医用画像データと所定の関連性を有する医用画像データである参照医用画像データの医用画像データ識別子である参照医用画像データ識別子と、前記所定の関連性を示す情報である関連情報と、を取得する情報取得部と、
前記医用画像データ識別子と、前記参照医用画像データ識別子と、前記患者情報・検査情報・画像データ情報と、を前記装置識別情報と関連付けて、医用画像データ所在管理装置に対して登録要求する医用画像データ関連情報登録要求部と、
を有し、
前記医用画像データ表示装置は、
所望の医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報について、前記医用画像データ所在管理装置に検索処理要求を行い且つ当該検索処理結果を取得する医用画像データ関連情報検索要求部と、
前記医用画像データ関連情報検索要求部により取得した情報を表示し、該表示に係る情報が選択された場合、当該選択された情報に含まれる装置識別情報及び参照医用画像データ識別子に基づいて、当該選択された情報に係る医用画像データを、前記ネットワークを介して取得して表示する医用画像データ表示部と、
を有し、
前記医用画像データ所在管理装置は、
前記装置識別情報と、前記医用画像データ識別子と、前記患者情報・検査情報・画像データ情報と、前記参照医用画像データ識別子と、前記関連情報と、を管理し、該管理に係る情報の登録処理、更新処理、削除処理、及び検索処理を実行する医用画像データ関連情報管理部と、
前記医用画像データ関連情報管理部に登録された情報に基づいて、同一画像の複製関係、所定の疾病に対する一連の治療に関する関係、画像処理に関する関係に関する前記関連情報の作成処理及び更新処理を実行する医用画像データ関連情報作成部と、
を有し、
前記医用画像データ関連情報管理部は、医用画像データについて当該医用画像データに係る医用画像データ識別子を検索条件として前記医用画像データ表示装置から検索処理を要求されると、当該検索処理を実行し、当該医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を検出して前記医用画像データ表示装置に送信することを特徴とする。
本発明によれば、医用画像データ間の関連性を示す関連情報を生成して利用することで、或る医用画像データと所定の関連性を有する医用画像データを直接的に検索することができ、且つ複数の異なる装置間であっても前記検索が可能な医用画像検索システムを提供することができる。
[第1実施形態]
以下、図面を参照して本発明の第1実施形態に係る画像検索装置及び画像検索システムについて説明する。
図1は、本第1実施形態に係る医用画像検索システムの一構成例を示す図である。図1に示すように、医用画像検索システム1は、医用画像データ保管装置11と、医用画像データ表示装置13と、医用画像データ所在管理装置15と、を具備する。ここで、医用画像検索システム1を構成する各装置は、ネットワーク10を介して医用画像診断機器17A,17Bと接続されている。
前記医用画像データ保管装置11は、例えば、所謂PACS(Picture Archiving and Communication System)サーバと称されている装置であり、医用画像データを保管する装置である。
前記医用画像データ表示装置13は、例えば、画像解析・処理・計測用のワークステーション(Work Station)又はPACSのクライアントシステム(Client System)であり、DICOM(Digital Imaging and Communications in Medicine)規格に準拠した医用画像データを表示可能な装置である。
前記医用画像データ所在管理装置15は、後述する関連情報の作成処理及び管理を行い、医用画像データの検索を実行する装置である。
前記医用画像診断機器17A,17Bは、例えばCT装置等の所謂モダリティであり、診断に要する医用画像データを取得する為の装置である。
前記ネットワーク10は、例えば、イーサネット(登録商標)等の規格に基づく10BASE−T/100BASE−TX/1000BASE−T等のネットワークとTCP/IP等のネットワーク規格に基づいて敷設されたLANに対して前記の各装置が接続する形態のネットワークである。
ここで、前記医用画像データ保管装置11、前記医用画像データ表示装置13、及び前記医用画像診断機器17A,17Bは、DICOM規格に基づいた通信を行う。
なお、図1に示す例では医用画像データ所在管理装置15は、医用画像検索システム1上において医用画像データ保管装置11とは独立した装置として構成されているが、医用画像データ保管装置11を構成するコンピュータ上に実装させる構成としても勿論よい。
以下、上述した各装置の詳細な構成について説明する。
前記医用画像データ保管装置11は、医用画像データ関連情報登録要求部11aを有する。この医用画像データ関連情報登録要求部11aは、後述する医用画像データ識別子と、参照医用画像データ識別子と、患者情報・検査情報・画像データ情報と、送信装置識別情報と、を関連付け、後述する医用画像データ関連情報管理部15aに対して登録要求する。
前記医用画像データ識別子は、医用画像データを一意に識別するための識別子である。前記参照医用画像データ識別子は、参照医用画像データ(当該医用画像データと関連を有する医用画像データ)の医用画像データ識別子である。前記患者情報・検査情報・画像データ情報は、当該医用画像データに係る患者を示す情報、検査を示す情報、及び画像情報である。前記送信装置識別情報は、ネットワーク10上で各々の装置を識別する為の情報であり、医用画像データを取得・送信した装置を識別可能にする為の情報である。
ここで、前記医用画像データ識別子、前記参照医用画像データ識別子、前記患者情報・検査情報・画像データ情報、及び前記送信装置識別情報は、医用画像データ表示装置13及び医用画像データ保管装置11上で、医用画像データを解析することにより抽出・取得される情報である。
前記医用画像データ表示装置13は、医用画像データ関連情報登録要求部13aと、医用画像データ関連情報検索部13bと、医用画像データ表示部13cと、を有する。
前記医用画像データ関連情報登録要求部13aは、医用画像データ識別子と、参照医用画像データ識別子と、患者情報・検査情報・画像データ情報と、送信装置識別情報と、を関連付け、後述する医用画像データ関連情報管理部15aに対して登録要求する。
前記医用画像データ関連情報検索部13bは、医用画像データ識別子を検索条件として、医用画像データ関連情報管理部15aから、当該医用画像データ識別子と関連を有する医用画像データの送信装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を取得する。前記関連情報は、関連を有する医用画像データ間の関係性を示す情報であり、詳細は後述する。
換言すれば、前記医用画像データ関連情報検索部13bは、検索処理対象の医用画像データの医用画像データ識別子と関連を有する医用画像データ識別子に対応する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を、医用画像データ関連情報管理部15aから取得する。さらに、該取得した情報を前記医用画像データ表示部13cに表示させ、該表示に係る情報がユーザにより選択された場合、当該選択された情報に含まれる装置識別情報及び参照医用画像データ識別子に基づいて、当該選択された情報に係る医用画像データを、前記ネットワーク10を介して取得して前記医用画像データ表示部13cに表示させる。
前記医用画像データ表示部13cは、現在表示している医用画像データについての送信装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を、医用画像データ関連情報検索部13bによって取得し、該取得した情報を表示画像上に表示する。さらに、前記医用画像データ表示部13cは、前記の情報のうち何れかが選択されると、前記医用画像データ関連情報検索部13bにより、それらの情報に含まれる送信装置識別情報、参照医用画像データ識別子に基づいて当該医用画像データを取得して表示する。
前記医用画像データ所在管理装置15は、医用画像データ関連情報管理部15aと、医用画像データ関連情報作成部15bと、を有する。
前記医用画像データ関連情報管理部15aは、装置識別情報と、医用画像データ識別子と、患者情報・検査情報・画像データ情報と、参照医用画像データ識別子と、関連情報と、を管理し、それら情報の登録処理・更新処理・削除処理・検索処理を行う管理部である。
前記医用画像データ関連情報作成部15bは、医用画像データ関連情報管理部15aに登録された情報に基づいて、医用画像データ識別子と参照医用画像データ識別子とを検索条件として医用画像データ関連情報管理部15aを検索し、また検査情報及び画像データ情報に基づいて、関連のある医用画像データの関連情報を作成・更新する。
以下、画像検査における一連の処理について説明する。
まず、医用画像診断機器17A,17Bにより対象患者の画像検査を実施して取得した検査画像を、ネットワーク10を介して医用画像データ保管装置11に送信する。医用画像データ表示装置13では、医師が読影や診断、説明などの目的で、対象患者の検査画像について医用画像データ保管装置11を検索して当該検査画像を取得して表示させる。なお、医用画像データ保管装置11から予め決められた送信ルールに基づいて事前に医用画像データ表示装置13に検査画像を送信しておく場合もある。例えば、医用画像データ保管装置11に送信されたCT検査画像は、必ず医用画像データ表示装置13に送信する等の送信ルールである。
ところで、DICOM規格(Digital Imaging and Communications in Medicine)に基づいて検査画像の送受信を行う場合には、DICOM規格が定めた通信手順(通信プロトコル)に基づくと同時に、DICOM規格に定められたデータ表現に従う必要がある。
すなわち、DICOM規格においては、検査画像に含まれる情報は、例えば図2に示すように、患者、検査、シリーズ、画像の階層的な構造を持ち、各検査画像の経緯(いきさつ)を容易に理解できる論理的階層構造を採っている。また、DICOM規格では検査、シリーズ、画像を一意に識別するための仕組みとしてUnique ID(単にUIDとも略称される)という概念を設けているため、その検査画像に含まれる情報をもとに、図2に示すように患者、検査、シリーズ、画像という階層構造に基づいて、医用画像データを系統的に分類・処理できるようになっている。
この図2に示すような論理的階層構造を利用することで、医用画像データ表示装置13では、ユーザは次のような画像選択を行うことができる。すなわち、まず医用画像データ表示装置13は患者一覧を表示し、該患者一覧表示の中からユーザは患者を選択し、続いて医用画像データ表示装置13は該選択された患者について実施された検査一覧を表示し、該検査一覧表示の中からユーザは所望の検査を選択し、続いて医用画像データ表示装置13は該選択された検査が実施されたシリーズ一覧を表示し、該シリーズ一覧表示の中からユーザは所望のシリーズを選択し、最後に医用画像データ表示装置13は該選択されたシリーズに属する画像一覧を表示し、該画像一覧表示の中からユーザは所望の画像を選択する。
さらに、応用的な画像選択方法としては、例えば、医用画像データ表示装置13は患者情報を含む検査一覧を最初に表示し、ユーザは該表示を参照して患者と検査とを同時に選択してから画像を選択する方法や、医用画像データ表示装置13がシリーズと画像とをまとめて表示し、ユーザは該表示を参照して画像を選択する方法等を挙げることができる。また、検索条件として、ユーザが患者名、患者ID、性別、及び検査日等を指定し、当該検索結果の中からシリーズや画像を選択する方法も考えられる。
ところで、任意の装置に保持されている検査画像に含まれる情報を解析することで、その装置にはどんな患者の画像が保存されているのか、各患者はいつ検査を行ったのか、その検査はどんな検査で、何回撮影が行われたのか、撮影結果である画像は、どんな大きさや撮影位置で行われたのかを知ることができる。
例えば、図2に示す例では、各医用画像データを解析することで、次のような情報(その経緯)を把握することができる。
(把握可能な情報例1)患者Aは、3回検査が行われており、それぞれ2008年1月1日と、2008年2月1日と、2008年3月1日である。
(把握可能な情報例2)2008年1月1日に行われた検査は、CT検査で2回撮影が行われた。
(把握可能な情報例3)1回目の撮影と2回目の撮影でそれぞれN枚、M枚の画像が作成された。
なお、上述したような経緯に係る情報は、当然ながら各医用画像データに明示的に記されているのではなく、ユーザによる解釈で導き出される情報である。
図3は、DICOM規格における医用画像データの基本的なデータ構造を示す図である。図3に示すように、医用画像データは、データ要素のセット(系列)として構成される。各データ要素は、タグ(Tag)と、VR(データ型: Value Representation)と、Value Length(データ長)と、Value Field(データ)と、により構成される。
前記タグは、さらにGroupとElementに分類できるが固定長である。図4は、DICOM規格におけるGroup例を示す図である。Groupは、データの種別(カテゴリ)を表す。他方、Elementは、同一Group内でデータを一意に識別するための番号である。
前記VRは、データ型を示す情報を格納するためのものであり、転送条件(Transfer Syntax)により省略される場合もある。また、VRは固定長である。図5は、VRの例を示す図である。
前記Value Lengthは固定長であり、Value Fieldに格納されるデータの長さを格納する。ここで、Value Fieldは、タグに対応するデータそのものを格納する領域である。
医用画像データとしてどのようなデータ要素を含めるかは、DICOM規格で定められたサービス種別(SOP Class UID: Service Object Pair Class : 例えば、CT Image Storage)により基本的に決まっている。図6は、サービス種別の例を示す図である。
さらに、各タグは、サービス種別ごとにタイプが決められている。タイプとしては、1,2,3が存在する。前記1はタグとデータが必須、前記2は少なくともタグは必須、前記3はタグとデータの両方が省略可である。前記1と前記2については、条件が合致した場合には、タグとデータとを両方セットしなければならないConditionalという修飾語をつけることができる。すなわち、この場合のタイプは1C,2Cとなる。
ところで、近年の医用画像診断機器の高機能化・高性能化に伴い、検査時間の大幅な短縮や検査精度の改良により、作成される検査画像の枚数も増大の一途をたどっている。このため、診断の根拠となる医用画像データについては、印をつけておき、その検査を代表する医用画像データとして扱えるようにして、医療職からの画像検査指示情報(病院情報システム・オーダーエントリシステムにおけるオーダー情報)に紐付けて参照できるようにしていることが多い。
しかしながら、この方法では、各医用画像データに対して紐付けが行われているわけではない。従って、任意の医用画像データを選択し表示している場合に、その医用画像データの参照画像を表示できるわけではないので、有効な診療情報を見逃したり、必要な医用画像データを見つけるのに手間が掛かる等の問題が発生している。また、画像検査指示情報に基づく「紐付け」の場合には、異なる医療施設間では利用することができない。
本第1実施形態に係る画像検索装置及び画像検索システムは、このような問題に鑑みてなされたものであり、本第1実施形態に係る画像検索装置及び画像検索システムによれば、表示している医用画像データに関連する医用画像データを簡便に検索・参照することが可能となり、医療施設を跨いでの検索・参照も可能となる。
以下、検査画像である医用画像データの種類について詳細に説明する。検査画像は次のように3種類に分類される。
(検査画像1)オリジナル画像
医用画像診断機器で作成された医用画像データ。
(検査画像2)オリジナル画像のソフトコピー
医用画像診断機器で作成された画像であって、ネットワークやオフラインメディアなどを介して他の装置に取り込まれた医用画像データ。
(検査画像3)派生画像
オリジナル画像をもとに、3D等の画像解析やフュージョン等の画像処理が施されて新たに作成された医用画像データ。
以下、関連情報について詳細に説明する。関連情報は次のように5種類に分類される。本第1実施形態においては、関連情報を作成・更新する医用画像データについては、医用画像データ関連情報管理部15aに保管されている全ての医用画像データとの間で、以下説明する5種類の関連情報の関係に該当するか否かを判定する。そして、何れかの関連情報の関係に該当する場合には、医用画像データ関連情報管理部15aに保管されている医用画像データに関連する医用画像データとして、当該医用画像データを関連情報と共に登録する。なお、関連情報を決定するためのチェック項目については、後に詳述する。
(関連情報1)複製(COPY)関係を示す情報
同一画像の複製関係。
対応するチェック項目;「同一患者チェック」+「同一検査チェック」+「同一シリーズチェック」+「同一画像チェック」+「同一撮影装置チェック」
(関連情報2)部位−経過観察関係を示す情報
ある疾病の一連の治療に関連する関係。
対応するチェック項目;「同一患者チェック」+「同一部位チェック」+「同一撮影位置チェック」
(関連情報3)部位−画像処理関係を示す情報
元画像から作成された画像の関係。
対応するチェック項目;「同一患者チェック」+「同一部位チェック」+「作成方法チェック」
(関連情報4)類推関係1を示す情報
重要画像であるとの類推(登録回数の多さ)による。
(関連情報5)類推関係2を示す情報
重要画像であるとの類推(参照回数の多さ)による。
ここで、関連情報を決定するためのチェック項目としては、以下の項目を挙げることができる。
(チェック項目1)同一患者チェック
医用画像データを解析し、図7に示す患者情報の同一性判定条件例において“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに既に登録されている患者情報と比較して、全て一致する場合(換言すれば、全ての項目に関して同一性有りの場合)には、同一患者を撮影した医用画像データであると判定する。
なお、図7に示す患者情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータが無い場合には比較対象から外しても構わない。
(チェック項目2)同一検査チェック
同一患者チェックで、同一患者であると判定された場合に、当該医用画像データについて更に解析を行い、図8に示す検査情報の同一性判定条件例にある“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに登録されている検査情報と比較して、全て一致する場合には同一検査で取得された医用画像データであると判定する。
なお、図8に示す検査情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
(チェック項目3)同一シリーズチェック
同一検査チェックで、同一検査で取得された医用画像データであると判定された場合に、医用画像データについて更に解析を行い、図9に示すシリーズ情報の同一性判定条件例における“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに登録されているシリーズ情報と比較して、全て一致する場合には同一シリーズで取得された医用画像データであると判定する。
なお、図9に示すシリーズ情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
(チェック項目4)同一画像チェック
同一シリーズチェックで、同一シリーズで取得された医用画像データあると判定された場合に、医用画像データについて更に解析を行い、図10に示す画像情報の同一性判定条件例にある“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに登録されている画像情報と比較して、全て一致する場合には同一の医用画像データであると判定する。
なお、図10に示す画像情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
(チェック項目5)同一撮影装置チェック
医用画像データを解析して、図11に示す撮影装置情報の同一性判定条件例にある“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに登録されている撮影装置情報と比較して、全て一致する場合には同一撮影装置で取得された医用画像データであると判定する。
なお、図11に示す撮影装置情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
(チェック項目6)同一部位チェック
医用画像データを解析して、図12Aに示す部位情報の同一性判定条件例における“同一性比較有無”欄に○が付いている項目について、予め決められた部位変換表(部位コードと部位分類コードとの対応関係表;図12B参照)に基づいて、部位コードを部位分類コードに変換し、該変換後に医用画像データ関連情報管理部15aに登録されている部位情報と比較し、全て一致する場合には同一部位を撮影して取得した医用画像データであると判定する。
なお、図12に示す部位情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
ところで、部位コードは、DICOM規格で定められている場合や各医療施設毎に定められている場合がある。また、部位コードは非常に細かく分類されている場合があり、それらをより大きな分類にまとめたコードが部位分類コードである。従って、例えば図12Bに示すような部位変換表により部位コードを部位分類コードに変換した後に上述した比較を行うことで、部位の同一性を比較判定することが可能となる。
(チェック項目7)同一撮影位置チェック
医用画像データを解析して、図13に示す撮影位置情報の同一性判定条件例における“同一性比較有無”欄に○が付いている項目について、医用画像データ関連情報管理部15aに登録されている撮影位置情報と比較して、Patient_PositionとPatient_Orientationが同じで、且つSlice_Locationの空間上の距離が予め登録されている許容範囲内である場合には、同一位置で撮影されて取得された医用画像データあると判定する。
なお、図13に示す撮影位置情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わないし、医用画像データに当該タグのデータがない場合には比較対象から外しても構わない。
(チェック項目8)作成方法チェック
医用画像データを解析して、図14Aに示す作成方法情報の同一性判定条件例にある同一性比較有無に○が付いている項目のうち、Application Nameを予め定められた作成方法変換表(図14B参照)に基づいて変換したものと、Application Manufacturerとが、医用画像データ関連情報管理部15aに登録されている作成方法情報と比較して同じである場合には、同一のアプリケーションにより作成された医用画像データであると判定する。
なお、図14に示す作成方法情報の同一性判定条件例に、他の属性情報を追加して比較判定しても構わない。
以下、本第1実施形態に係る医用画像検索装置及び医用画像検索システムによる処理について説明する。本第1実施形態に係る医用画像検索装置及び医用画像検索システムによる基本的な処理動作を大きく分類すると、
(1)検査画像(医用画像データ)に関する情報(以降、付帯情報と称する)の登録処理
(2)付帯情報に基づく関連情報の作成処理
(3)関連情報の検索処理、関連情報の表示処理、関連情報の選択処理、及び関連画像(関連情報に係る医用画像データ)の表示処理
に分類される。
図15は、図1に示すシステム構成例に記した構成要件のうち、本第1実施形態に係る医用画像検索装置及び医用画像検索システムによる基本的な処理動作に係る構成要件を抽出して示す図である。
図16は、図1及び図15に示すシステム構成例における各構成要件である各装置を実現する基本的なハードウェア構成例を示す図である。図16に示すように、各装置は、パーソナルコンピュータ等のコンピュータ本体51と、コンピュータ本体51に接続されているキーボードやマウス等の入力デバイス53と、プリンタ等の出力デバイス55と、表示装置57と、磁気ディスク装置などの外部記憶装置59と、メモリなどの内部記憶装置61と、を備えている。
図17は、医用画像データ関連情報管理部15aが保持するデータベースの各テーブル構造例を示す図である。
<ステップ1:検査画像(医用画像データ)に関する情報(付帯情報)の登録処理>
上述したように、医用画像診断機器17A,17Bによる検査対象患者の画像診断で得られた検査画像(医用画像データ)は、当該医用画像診断機器17A,17Bから医用画像データ保管装置11及び医用画像データ表示装置13にネットワーク10を介して送信される。
なお、医用画像データ表示装置13は、医用画像データ保管装置11に保存されている医用画像データを、ネットワーク10を介して取得することが可能である。
医用画像データ保管装置11は、検査画像(医用画像データ)を受信すると、受信した検査画像(医用画像データ)に含まれる付帯情報をチェックする。そして、付帯情報に関して問題が無い場合、医用画像データ保管装置11は、当該検査画像(医用画像データ)をファイル保存するとともに、当該検査画像(医用画像データ)を管理するデータベースである画像管理データベースに、必要な付帯情報を抽出して保存する。
このように画像管理データベースに付帯情報を保存する理由は、同一医用画像データの重複登録のチェックや外部からの検査画像の問合せに対応する為である。ここで付帯情報のチェックとは、例えば、DICOM規格上の文法違反のチェック、各装置が必要とする情報の有無のチェック等を挙げることができる。
なお、上述した付帯情報の保存処理を、医用画像データ保管装置11のみならず医用画像データ表示装置13にも行わせても勿論よい。
上述したように付帯情報の保存を行った後、医用画像データ関連情報登録要求部11aを起動する。そして、医用画像データ関連情報登録要求部11aは、当該検査画像の医用画像データに係る医用画像データ識別子、参照医用画像データ識別子、及び患者情報・検査情報・画像データ情報を、前記送信装置識別情報と関連付けて、医用画像データ関連情報管理部に15aに対して登録要求する。
前記患者情報は、例えば図17に示すPatient_Tableの各項目が該当する。例えば、Patient_TableのP_IDは、患者情報を医用画像データ関連情報管理部15aに登録する前に、データベース側で自動的に発番される。従って、データベースに対してP_IDの発番要求を行い、該発番結果をPatient_TableのP_IDにセットして登録する。
前記検査情報は、図17に示すStudy_TableとSeries_Tableの各項目が該当する。Study_TableのE_IDとSeries_TableのS_IDは、検査情報を医用画像データ関連情報管理部15aに登録する前に、データベース側で自動的に発番される。従って、データベースに対してE_IDやS_IDの発番要求を行い、該発番結果をPatient_TableのE_IDやS_IDにセットして登録する。
なお、検査情報を登録する際には、事前に当該患者をPatient_Tableに対して検索して、該当するP_IDを併せてセットして登録する。
前記画像データ情報は、図17に示すImage_Tableの各項目が該当する。Image_TableのI_IDは、画像データ情報を医用画像データ関連情報管理部15aに登録する前に、データベース側で自動的に発番される。従って、データベースに対してI_IDの発番要求を行い、該発番結果をImage_TableのI_IDにセットして登録する。
なお、画像データ情報を登録する際には、事前に当該シリーズをSeries_Tableに対して検索して、該当するS_IDを併せてセットして登録する。
前記送信装置識別情報は、図17に示すEquipment_Tableの各項目である。Equipment_TableのD_IDは、装置識別情報を医用画像データ関連情報管理部15aに登録する前に、データベース側で自動的に発番される。従って、データベースに対してD_IDの発番要求を行い、該発番結果をEquipment_TableのD_IDにセットして登録する。
なお、送信装置識別情報を登録する際には、事前に当該検査画像(医用画像データ)をImage_Tableに対して検索し、該当するI_IDを併せてセットして登録する。ここで、Equipment_TableのNetwork_Address及びAE_Titleは医用画像データ中には含まれていない。従って、その医用画像データを受信した装置のNetwork_Address(Internet Protocol Addressやドメイン名を含むホスト名)及びAE_Titleについては、装置設定情報等から取得したものを利用する。
前記医用画像データ識別子は、Image_Tableの中のSOP_Instance_UIDが該当する。
前記参照医用画像データ識別子はImage_Tableの中のReferenced_SOP_Instance_UIDが該当する。
なお、Image_Tableの中のSOP_Class_UIDとReferenced_SOP_Class_UIDを参照することで、当該医用画像データの種類を知ることができる(上述した図6参照)。
なお、上述した通信手段は、医用画像データ関連情報管理部15aに搭載されている関係型データベース管理システムが提供するデータ操作言語を介して行う。同一医用画像データが既に登録されている場合には、Image_TableのRegistration_Numberの値をインクリメントしてそのレコードを更新すると共に、Network_AddressとAE_Titleが異なる場合には、Equipment_Tableに新しいレコードを登録する。
<ステップ2:検査画像(医用画像データ)に関する情報(付帯情報)に基づく関連情報の作成処理>
医用画像データの付帯情報が医用画像データ関連情報管理部15aに登録されると、引き続いて医用画像データ関連情報作成部15bが起動される。
なお、関係型データベース管理システムが持つトリガー機能をImage_Tableにセットしておき、Image_Tableに新しいレコードが登録されたときに医用画像データ関連情報作成部15bが起動されるようにしてもよい。また、OSが提供するスケジューラに定期的に医用画像データ関連情報作成部15bを起動するように設定しておき、Image_Tableにチェック用フラグを設け、未チェックのレコードを検索して、医用画像データ関連情報作成部15bを起動するようにしても勿論よい。さらには、医用画像データ保管装置11や医用画像データ表示装置13側から、RSH(リモートシェル)等を利用して直接、医用画像データ関連情報作成部15bを起動するようにしても勿論よい。
ところで、医用画像データ関連情報作成部15bは、上述した5つの関連情報に対応する次の5つの関係性をチェックする。
(関連情報1に対応する関係性)複製(COPY)関係
(関連情報2に対応する関係性)部位−経過観察関係
(関連情報3に対応する関係性)部位−画像処理関係
(関連情報4に対応する関係性)類推関係1(登録回数の多さ)
(関連情報5に対応する関係性)類推関係2(参照回数の多さ)
ただし、ここでは(関連情報1に対応する関係性)については、医用画像データの付帯情報を登録する際に既にチェックされているので、(関連情報2に対応する関係性)及び(関連情報3に対応する関係性)についてチェックする。
(関連情報2に対応する関係性)については、次のようにチェックする。まず、当該検査画像(医用画像データ)に係る患者の検査一覧を取得し、同一部位の検査/シリーズ下の医用画像データに絞り込んで、該絞り込みで抽出された医用画像データとの撮影位置における距離を算出し、該算出された距離が予め決められた値以下の距離であれば、当該医用画像データをRelation_Tableに登録する。すなわち、データベースに対して番号の発番要求を行い、該発番結果をRelation_TableのR_IDにセットして登録する。なお、関連情報を登録する際には、当該医用画像データのI_ID及びD_IDをセットすると共に、REFERENCE_UIDに当該医用画像データのImage_TableのSOP_Instance_UIDをセットし、REFERENCE_TYPEに“OBSERVED”をセットする。そして、UID_TYPEには、IMAGE_LEVELをセットして登録する。
(関連情報3に対応する関係性)については、次のようにチェックする。まず、当該検査画像(医用画像データ)に係る患者の検査一覧を取得し、同一部位の検査/シリーズ下の画像に絞り込み、該絞り込みで抽出された医用画像データのImage_Typeが“ORIGINAL”ではなく”DERIVED”のものを抽出し、Series_TableのApplication Nameから変換した作成方法を取得し、当該医用画像データをRelation_Tableに登録する。すなわち、データベースに対して番号の発番要求を行い、該発番結果をRelation_TableのR_IDにセットして登録する。なお、関連情報を登録する際には、その画像のI_ID及びD_IDをセットすると共に、REFERENCE_UIDに当該医用画像データのImage_TableのSOP_Instance_UIDをセットし、REFERENCE_TYPEに変換した作成方法(例えば、MIP、MPR、Fusion、SCなど)をセットする。そして、UID_TYPEには、IMAGE_LEVELをセットして登録する。
なお、例えばフュージョン等のような画像処理の場合には、2種類の画像(CTとPET、CTとMRなど)が参照画像となるので、1枚の医用画像データに1つ以上の関連情報が登録される。また、3D等のような画像処理の場合には、一連の医用画像データ(たとえば、シリーズの全画像など)が参照画像となるので、その場合にはシリーズのSOP_Instance_UIDをセットし、UID_TYPEにSERIES_LEVELをセットする。
(関連情報4に対応する関係性)については、次のようにチェックする。まず、当該検査画像(医用画像データ)に係る患者の検査一覧を取得し、同一部位の検査/シリーズ下の画像に絞り込み、該絞り込みで抽出された医用画像データのRegistration_Numberが予め決められた値を超えている場合に、その画像をRelation_Tableに登録する。すなわち、データベースに対して番号の発番要求を行い、該発番結果をRelation_TableのR_IDにセットして登録する。なお、関連情報を登録する際には、その画像のI_IDと、D_IDをセットするとともに、REFERENCE_UIDに当該医用画像データのImage_TableのSOP_Instance_UIDをセットし、REFERENCE_TYPEに“Heuristic”をセットする。そして、UID_TYPEには、IMAGE_LEVELをセットして登録する。これは、マクロな視点で見たときに診断根拠となる医用画データは複数の医療施設に流通し、医療従事者が参照しているという経験則によるものである。
(関連情報5に対応する関係性)については、次のようにチェックする。まず、当該検査画像(医用画像データ)に係る患者の検査一覧を取得し、同一部位の検査/シリーズ下の画像に絞り込み、該絞り込みで抽出された医用画像データのReferenced_Numberが予め決められた値を超えている場合に、当該医用画像データをRelation_Tableに登録する。すなわち、データベースに対して番号の発番要求を行い、該発番結果をRelation_TableのR_IDにセットして登録する。なお、関連情報を登録する際には、その画像のI_ID及びD_IDをセットすると共に、REFERENCE_UIDに当該医用画像データのImage_TableのSOP_Instance_UIDをセットし、REFERENCE_TYPEに“Heuristic”をセットする。そして、UID_TYPEには、IMAGE_LEVELをセットして登録する。これは、マクロな視点で見たときに診断根拠となる医用画像は複数の医療施設に流通し、医療従事者が参照しているという経験則によるものである。なお、Referenced_Numberとは、関連情報の検索時に、検索結果として応答した回数を記録したデータである。
<ステップ3:関連情報の検索処理>
ユーザは、所望の医用画像データを医用画像データ表示装置13に表示させる為に、医用画像データ関連情報検索部13bを起動する。医用画像データ関連情報検索部13bは、医用画像データ識別子を検索条件として、医用画像データ関連情報管理部15aから、当該医用画像データ識別子に対応する医用画像データと関連を有する医用画像データに係る送信装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を取得する。
換言すれば、医用画像データ関連情報検索部13bは、表示されている医用画像データのSOP_Instance_UIDを検索条件として前記医用画像データ関連情報管理部15aに検索要求を行い、当該検索処理結果として当該検索処理に係る医用画像データと関連を有する医用画像データに係るPatient_Tableと、Study_Table、Series_Tableと、Image_Tableと、Equipment_Tableと、Relation_Tableと、をJOINして、Equipment_TableのNetwork_Addressと、AE_Titleと、Relation_TableのReference_UIDと、Reference_Typeと、Series_TableのModalityと、Series_Dateと、Image_TableのSOP_Class_UIDと、SOP_Instance_UIDと、を前記医用画像データ関連情報管理部15aから取得する。なお、上述した情報以外の情報を取得しても勿論構わない。
また、Series_Dateでソートして、検索結果を日付順とする。さらに、SOP_Instance_UIDがImage_TableのSOP_Instance_UIDと同じになるものと、Relation_TableのReference_UIDと一緒になるレコードの、上記の情報を検索結果として取得する。
ところで、Image_TableのSOP_Instance_UIDは、その医用画像データが親ノードとなり、参照医用画像データが子ノードとなる。これに対し、Relation_TableのReference_UIDはその医用画像データが子ノードとなり、参照医用画像データが親ノードとなる。この識別は、検索結果のSOP_Instance_UID及びReference_UIDと、検索条件のSOP_Instance_UIDとを比較することでわかる。
これらの通信は、医用画像データ関連情報管理部15aに搭載されている関係型データベース管理システムが提供するデータ操作言語を介して行っても構わないし、要求側と応答側を設けて、SOAP(Simple Object Access Protocol)や、RPC(Remote Procedure Call)等の通信プロトコルで実装しても構わない。
以下、要求側と応答側とに分けて処理の流れを詳細に説明する。
[ステップS3−1]要求側は、応答側が動作しているネットワーク10上のアドレス(例えば、IPアドレスやURL等)を指定して、データタグを通信プロトコルで定められたデータ形式に変換し、該通信プロトコルに則って応答側に送信する。以下、SOAP形式で通信する場合を例に説明する。
SOAP形式を採る場合には、基本的には、メッソド名、パラメータ名、パラメータのデータ型、パラメータの値をSOAP形式で送信する。以下、具体的に一例を示す。
・メソッド名:Query DICOM Method
・パラメータ名:SOP_Instance_UID
・パラメータのデータ型:String(文字列型)
・パラメータの値:1.2.3.4.5.6
[ステップS3−2]応答側は、受信したデータであるデータタグに基づいて、医用画像データ関連情報管理部15aのデータベースを検索する。そして、応答側は、検索結果をXMLデータに変換して、要求側に対して返信する。
SOAP形式の場合には、基本的には、レスポンスデータ名、レスポンスデータのデータ型、及びレスポンスデータの値をSOAP形式で返信する。以下、具体的に一例を示す。
・レスポンスデータ名:SetDICOMMethod
・レスポンスデータのデータ型:String(文字列型)
・レスポンスデータの値:<ROOT><RECORD> <NETWORD_ADDRESS>192.1.1.10</NETWORD_ADDRESS> <AE_TITLE>TOSHIBA_WS1</AE_TITLE> <REFERENCE_UID>3.4.5.6.7</REFERENCE_UID> <REFERENCE_TYPE>MPR</REFERENCE_TYPE> <MODALITY>CT</MODALITY><SERIES_DATE>20080301</SERIES_DATE></RECORD></ROOT>
[ステップS3−3]要求側は、受信したデータ(XML)を解析して、該当するレコードの有無を判断し、該判断結果に基づいて、当該レコードから検索結果を取得する。
なお、SOAPは,Remote Procedure Call(以降、RPCと略称する)という通信方式を採用しており、RPCクライアント(送信データ作成情報照会手段)は、送信データ作成情報照会回答手段であるRPCサーバに対して、データタグを検索するようにリクエストメッセージを送信する(コールする)。RPCサーバは、RPCクライアントから送られたリクエストメッセージを受信し、メソッド名(Query DICOM Method)から、そのパラメータとしてデータタグの値を受け取り、該受け取ったデータタグを検索条件として検索を行い、該検索結果をレスポンスメッセージとしてRPCクライアントに送信する。
<ステップ4:関連情報の表示処理>
医用画像データ表示装置13は、ステップS3における検索処理で検索された関連情報を取得し、該関連情報をメニュー形式にて医用画像データ表示部13Cに表示する。図18は、この一表示画面例を示す図である。図18に示す例では、メニュー形式の関連情報表示100を次のように表示している。すなわち、親ノードへの参照100Aと子ノードへの参照100Bとを、メニューの境界線100Cで区切って表示し、且つ矢印の向きにより区別できるように表示している。また、参照情報としては、検査日、モダリティ種別、及び関係種別を表示している。
ここで、図19は医用画像データ上に直接関連情報を表示する例を示す図である。それぞれの関連情報はソフトボタン101として表示され、ユーザがそれらソフトボタン101を表示画面上でクリックすると、その関連情報に係る関連画像が新たなウインドウ内に表示される。図19に示す例では、表示に係る医用画像データの付帯情報を表示する為に多くの表示領域を使用しているので、親ノードへの参照と子ノードへの参照とは三角形のアイコン101Aの向きと色で区別して表示している。また、マウスポイントを前記三角形のアイコン101A上に移動させると、チップヘルプ形式で参照情報として、検査日とモダリティ種別と関係種別とが表示されるように構成している。
なお、メニューボタンの色及びサイズ等を、関連情報のREFERENCE_TYPEに応じて変更しても勿論よいし、関連情報が多数存在する場合には、表示する関連情報の数を切り替えたり、予め決められた数までの関連情報を最初に表示させるように構成しても勿論よい。
ところで、関連情報は日付順にソートされている為、例えば最初のレコードは検索日から最も近い医用画像データとなり、最後のレコードは検索日から最も遠い医用画像データとなる。なお、実際に診断に用いられる医用画像データは、1年以内に取得された医用画像データが主であるという経験則がある。従って、例えば図20に示すように、取得日から1ヶ月以内、3ヶ月以内、6ヶ月以内、12ヶ月以内、及びそれ以降等のように、表示する医用画像データをその取得時からの経過期間を示す情報102を関連情報として表示し、選択された経過期間によって表示を切り替えるように構成しても勿論よい。
<ステップ5:関連情報の選択処理と関連画像の表示処理>
上述したステップS4において、ユーザにより所望の関連情報(関連画像)が選択されると、医用画像データ表示装置13は、関連情報のうちのNETWORK_ADDRESS及びAE_TITLEを用いたDICOM規格で定められたQuery&Retrieveサービスクラスを利用して、指定されたSOP_Instance_UIDの医用画像データを取得し、該医用画像データを、関連情報のうちのREFERENCE_TYPEに応じた画像表示アプリケーションを起動して表示させる。
例えば、REFERENCE_TYPEに“MIP”とあれば、MIP処理が可能な画像表示アプリケーションを使ってその画像を表示させる。また、DICOM規格で定められたWeb Accessサービスクラスを利用して、医用画像データを直接Webブラウザ上で表示させる構成としても勿論よい。この場合には、Web Accessサービス(WADO: Web Access to DICOM Persistent. Objects)で定められた形式に変換してNETWORK_ADDRESSにより指定されたコンピュータに、SOP_Instance_UIDを指定して要求すると、該要求の結果として汎用医用画像データ形式の当該医用画像データが医用画像データ表示装置13に送信される。そして、医用画像データ表示装置13は、この医用画像データをWebブラウザ上で参照表示する。
このように構成することにより、複数の機器や施設を跨って、医用画像データを共有することができ、且つ個々の医用画像データから最も有効な参照画像を検索・表示することが可能となり、診療行為を大きく補助することができる。
なお、本第1実施形態では、説明の便宜上、単一の医療施設で用いる場合を例に説明したが、複数の医療施設間で用いることも勿論可能である。その方法としては、例えばVPN等のネットワーク技術を利用して、複数の医療施設間でプライベートネットワークを構築し、あたかも1つの医療施設内のネットワークであるかのように複数医療施設を接続する手法や、各医療施設をインターネットなどのパブリックネットワークに接続し、パブリックネットワークからアクセスできるようなネットワークアドレスを付与し、特定の医療施設からの通信を許可して、医療施設内の装置との通信が出来るようにする手法や、リバースプロキシーサーバをパブリックネットワーク上に設置して、外部からの通信を医療施設内にフォワードしたりする手法等を挙げることができる。
以上説明したように、本第1実施形態によれば、医用画像データ間の関連性を示す関連情報を生成して利用することで、或る医用画像データと所定の関連性を有する医用画像データを直接的に検索することができ、且つ複数の異なる装置間であっても前記検索が可能な画像検索装置及び画像検索システムを提供することができる。
換言すれば、本第1実施形態に係る画像検索装置及び画像検索システムによれば、所望の医用画像データから直接的に参照医用画像データを検索することができ、且つ複数の異なる装置間で上述した関連情報を共有することで任意の端末装置上で参照医用画像データの検索を行うことが可能となる。
つまり、本第1実施形態に係る画像検索装置及び画像検索システムによれば、複数の機器や施設を跨って医用画像データを共有することができると共に、個々の医用画像データから最も有効な参照画像を検索・表示することが可能となる為、診療行為の質の向上に大いに寄与する。
[第2実施形態]
以下、本発明の第2実施形態に係る画像検索装置及び画像検索システムについて説明する。なお、説明の重複を避ける為、第1実施形態に係る画像検索装置及び画像検索システムとの相違点について説明する。
第1実施形態に係る画像検索装置及び画像検索システムと、本第2実施形態に係る画像検索装置及び画像検索システムとの主な相違点の一つは次の点である。すなわち、本第2実施形態に係る画像検索装置及び画像検索システムでは、医用画像データ関連情報検索部13bによる上述の検索処理で抽出された関連情報の件数が予め定められた件数よりも多い場合には、関連情報のうちのREFERENCE_TYPE及びSERIES_DATEに基づいて、後述する“確度情報”を算出し、該算出した確度を関連情報と同時に医用画像データ表示部13cに表示する。図21は、医用画像データ表示部13cに、確度情報と関連情報とを同時に示す表示103を表示させる場合の一表示例を示す図である。
図21に示すように確度情報はパーセント表示される情報であり、ユーザは該確度情報を参照して、より適切な関連情報を選択することが可能となる。具体的には、確度情報は例えば以下のように算出される。
IF INT(SERIES_DATE − TODAY) / 30) < = 12 THEN
確度 = 100% − (12 − INT(SERIES_DATE − TODAY) / 30) * 5%
ELSE
確度 = 40%
ENDIF
IF (REFERENCE_TYPE = “OBSERVED”) THEN
確度 = 確度
ELSE IF (REFERENCE_TYPE = “MIP”) THEN
確度 = 確度
ELSE IF (REFERENCE_TYPE = “MPR”) THEN
確度 = 確度
ELSE IF (REFERENCE_TYPE = “FUSION”) THEN
確度 = 確度
ELSE IF (REFERENCE_TYPE = “Heuristic”) THEN
確度 = 確度 − 10%
ENDIF
なお、REFERENCE_TYPE及びSERIES_DATEに加えて、Registration_Number,Referenced_Number,Modality等の情報を更に加味して確度を算出しても勿論よい。
以上説明したように、本第2実施形態によれば、第1実施形態に係る画像検索装置及び画像検索システムと同様の効果を奏する上に、医用画像データ関連情報検索部13bによる上述の検索処理で抽出された関連情報の件数が予め定められた件数よりも多い場合には、ユーザは上述した確度情報を参照して、より有用な関連情報を絞り込むことが可能な画像検索装置及び画像検索システムを提供することができる。
[第3実施形態]
以下、本発明の第3実施形態に係る画像検索装置及び画像検索システムについて説明する。なお、説明の重複を避ける為、第1実施形態に係る画像検索装置及び画像検索システムとの相違点について説明する。
第1実施形態に係る画像検索装置及び画像検索システムと、本第3実施形態に係る画像検索装置及び画像検索システムとの主な相違点の一つは次の点である。本第3実施形態に係る画像検索装置及び画像検索システムは、医用画像データ表示部13c上に表示できる情報量に限りがあることを鑑みて提案されたものであり、医用画像データ表示部13cに表示する情報を制御する。
すなわち、医用画像データ関連情報検索部13bによる上述の検索処理結果に基づいて関連の深さ情報(後述する“位置確度”及び“時間的距離”)を算出し、該関連の深さ情報を参照して、医用画像データ表示部13cに実際に表示する関連情報を制御する。
図22は、縦軸に“医用画像データ間(対象医用画像データと参照医用画像データと)の撮影位置における距離(撮影位置のずれ量;以降、位置確度と称する)”を取り、横軸に“参照医用画像データにおける当該検索処理当日から検査日までの時間的距離”を取ったグラフを示す図である。図22においてグラフ上に示される三角形状(三角形の開き角度)を、関連情報の所望表示件数に適合するように設定することで、該三角形状に応じた関連情報の間引き処理が行われる。
なお、縦軸に取る“医用画像データ間(対象医用画像データと参照医用画像データと)の撮影位置における距離D”は、2枚の医用画像データの撮影位置(原点)をそれぞれ図23に示すようにO,Oとすると、
Figure 0005641684
と表される。なお、X軸、Y軸、及びZ軸は任意に設定できる。
詳細には、例えば図22に示す三角形状71を採る場合には検査日(撮影による取得日)から1ヶ月以内、三角形状73を採る場合には検査日から3ヶ月以内、三角形状75を採る場合には検査日から6ヶ月以内、三角形状77を採る場合には検査日から1年以内、三角形状79を採る場合には検査日から1年以上経過、の医用画像データであって、且つそれぞれの三角形状が該当する“位置確度”を満たす医用画像データが選択されて医用画像データ表示部13cに表示される。図24は、医用画像データ表示部13cに、関連情報として検査日からの経過期間と位置確度とを同時に示す表示104を表示させる場合の一表示例を示す図である。
換言すれば、例えば横軸に関して大きな値を取った三角形状を採用した場合、広い期間の関連情報が表示されるように間引きされるように成り、横軸に関して小さな値を取った三角形状を採用した場合、選択されている関連情報を中心にして“位置確度”に関しては間引き基準が緩く成る。
更に言えば、図22に示すグラフにおける三角形の面積を小さく設定するほど、抽出される関連情報の関連性は高くなり、三角形の面積を大きく設定するほど、抽出される関連情報の関連性は低くなる。
以上説明したように、本第3実施形態によれば、第1実施形態に係る画像検索装置及び画像検索システムと同様の効果を奏する上に、医用画像データ関連情報検索部13bによる上述の検索処理結果に基づいて関連の深さ情報(“位置確度”及び“時間的距離”)を算出し、該関連の深さ情報を参照して、医用画像データ表示部13cに表示する関連情報を制御することができる画像検索装置及び画像検索システムを提供することができる。
[第4実施形態]
以下、本発明の第4実施形態に係る画像検索装置及び画像検索システムについて説明する。なお、説明の重複を避ける為、第1実施形態に係る画像検索装置及び画像検索システムとの相違点について説明する。
第1実施形態に係る画像検索装置及び画像検索システムと、本第4実施形態に係る画像検索装置及び画像検索システムとの主な相違点の一つは次の点である。本第4実施形態に係る画像検索装置及び画像検索システムは、医用画像データ関連情報検索部13bによる上述の検索処理結果に基づいて検索要求頻度情報(検索要求された頻度を示す情報)を算出し、該検索要求頻度情報に基づいて医用画像データ表示部13cに表示する関連情報を制御する。
具体的には、例えば検索要求頻度情報を高頻度・中頻度・低頻度の3段階に設定し、図25に示すように医用画像データ表示部13cに関連情報として高頻度・中頻度・低頻度の検索要求頻度情報表示105を表示する。ここで、これら検索要求頻度情報についてユーザが所望の段階を選択可能なように構成し、ユーザにより選択された検索要求頻度に応じて、医用画像データ表示部13cに表示する関連情報を切り替える。
なお、高頻度・中頻度・低頻度に該当する範囲は、予め設定することができるように構成してもよい。例えば、1回以下は、低頻度、2回以上5回以下は中頻度、6回以上は高頻度、等に設定すればよい。
以上説明したように、本第4実施形態によれば、第1実施形態に係る画像検索装置及び画像検索システムと同様の効果を奏する上に、検索要求頻度情報に基づいて医用画像データ表示部13cに表示する関連情報を制御することができる画像検索装置及び画像検索システムを提供することができる。
[第5実施形態]
以下、本発明の第5実施形態に係る画像検索装置及び画像検索システムについて説明する。なお、説明の重複を避ける為、第1実施形態に係る画像検索装置及び画像検索システムとの相違点について説明する。
第1実施形態に係る画像検索装置及び画像検索システムと、本第5実施形態に係る画像検索装置及び画像検索システムとの主な相違点の一つは次の点である。本第5実施形態に係る画像検索装置及び画像検索システムは、医用画像データ関連情報検索部13bによる検索処理で抽出された件数が0件の場合に、自動的に同一性判定条件の基準を段階的に緩和して、少なくとも1件は抽出されるまで、検索処理を繰り返し実行する。
具体的には、例えば、同一性判定条件としていくつかの基準値を予め設けておき(例えば距離であれば10ピクセル、20ピクセル、50ピクセル等)、それら基準値を段階的に緩和していく。これにより、ユーザ自ら検索処理に係る検索条件を何回も変更する必要がなくなる。
なお、検索処理結果を基準値としてRelation_Tableに格納しておき、検索条件としてその基準値を与えるように構成することで、動的に基準値を切り替えることが可能となる。
以上説明したように、本第5実施形態によれば、第1実施形態に係る画像検索装置及び画像検索システムと同様の効果を奏する上に、ユーザ自ら検索処理に係る検索条件を何回も変更せずとも、少なくとも1件は抽出されるまで検索処理が繰り返し実行される画像検索装置及び画像検索システムを提供することができる。
以上、第1実施形態乃至第5実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び応用が可能なことは勿論である。
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
本発明の第1実施形態に係る医用画像検索システムの一構成例を示す図。 医用画像データの論理的階層構造の一例を示す図。 DICOM規格におけるデータ構造の一例を示す図。 DICOM規格におけるGroup例を示す図。 DICOM規格におけるVR例を示す図。 DICOM規格におけるサービス種別例を示す図。 患者情報の同一性判定条件例を示す図。 検査情報の同一性判定条件例を示す図。 シリーズ情報の同一性判定条件例を示す図。 画像情報の同一性判定条件例を示す図。 装置情報の同一性判定条件例を示す図。 部位情報の同一性判定条件例を示す図。 部位コードと部位分類コードとの対応関係表を示す図。 撮影位置情報の同一性判定条件例を示す図。 作成方法情報の同一性判定条件例を示す図。 Application Nameを変換する為の作成方法変換表の一例を示す図。 図1に示すシステム構成例に記した構成要件のうち、本発明の第1実施形態に係る医用画像検索装置及び医用画像検索システムによる基本的な処理動作に係る構成要件を抽出して示した図。 図1及び図15に示すシステム構成例における各構成要件である各装置の基本的なハードウェア構成例を示す図。 医用画像データ関連情報管理部15aが保持するデータベースの各テーブル構造例を示す図。 関連情報の表示画面例を示す図。 関連情報の表示画面例を示す図。 関連情報の表示画面例を示す図。 関連情報の表示画面例を示す図。 縦軸に“医用画像データ間(対象医用画像データと参照医用画像データと)の撮影位置における距離(位置確度)”を取り、横軸に“参照医用画像データにおける当該検索処理当日から検査日までの時間的距離”を取ったグラフを示す図。 医用画像データ間(対象医用画像データと参照医用画像データと)の撮影位置における距離Dを示す図。 関連情報の表示画面例を示す図。 関連情報の表示画面例を示す図。
符号の説明
1…医用画像検索システム、 10…ネットワーク、 11…医用画像データ保管装置、 11a…医用画像データ関連情報登録要求部、 13…医用画像データ表示装置、 13a…医用画像データ関連情報登録要求部、 13b…医用画像データ関連情報検索部、 13c…医用画像データ表示部、 15…医用画像データ所在管理装置、 15a…医用画像データ関連情報管理部、 15b…医用画像データ関連情報作成部、 17A.17B…医用画像診断機器、 51…コンピュータ本体、 53…入力デバイス、 55…出力デバイス、 57…表示装置、 59…外部記憶装置、 61…内部記憶装置。

Claims (8)

  1. 医用画像データの取得及び/又は送信を行なった装置を識別する為の装置識別情報と、医用画像データを識別する為の医用画像データ識別子と、医用画像データに係る患者情報・検査情報・画像データ情報と、当該医用画像データと所定の関連性を有する医用画像データである参照医用画像データの医用画像データ識別子である参照医用画像データ識別子と、前記所定の関連性を示す情報である関連情報と、を管理し、且つ該管理に係る情報の登録処理、更新処理、削除処理、及び検索処理を実行する医用画像データ関連情報管理部と、
    前記医用画像データ関連情報管理部に登録された情報に基づいて、同一画像の複製関係、所定の疾病に対する一連の治療に関する関係、画像処理に関する関係に関する前記関連情報の作成処理及び更新処理を行う医用画像データ関連情報作成部と、
    を具備し、
    前記医用画像データ関連情報管理部は、医用画像データについて当該医用画像データに係る医用画像データ識別子を検索条件として端末装置から検索処理を要求されると、当該検索処理を実行し、当該医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を検出して前記端末装置に送信することを特徴とする医用画像検索システム。
  2. 前記関連情報の有用性を示す情報である確度情報を、検査情報及び画像データ情報に基づいて算出して提示する確度情報算出部を含むことを特徴とする請求項1に記載の医用画像検索システム。
  3. 医用画像データ間の撮影位置のずれ量を示す情報と、医用画像データが検査により取得された検査日から検索処理当日までに経過した時間を示す情報と、に基づいて、ユーザに提示する関連情報の取捨選択を制御する制御部を含むことを特徴とする請求項1に記載の医用画像検索システム。
  4. 検索要求された頻度を示す検索要求頻度情報に基づいて、ユーザに提示する関連情報の取捨選択を制御する制御部を含むことを特徴とする請求項1に記載の医用画像検索システム。
  5. 医用画像データを保管する医用画像データ保管装置と、
    前記医用画像データを表示する医用画像データ表示装置と、
    前記医用画像データのネットワーク上における所在を管理する医用画像データ所在管理装置と、
    を具備し、
    前記医用画像データ保管装置は、
    医用画像データの取得及び/又は送信を行なった装置を識別する為の装置識別情報と、医用画像データを識別する為の医用画像データ識別子と、医用画像データに係る患者情報・検査情報・画像データ情報と、当該医用画像データと所定の関連性を有する医用画像データである参照医用画像データの医用画像データ識別子である参照医用画像データ識別子と、前記所定の関連性を示す情報である関連情報と、を取得する情報取得部と、
    前記医用画像データ識別子と、前記参照医用画像データ識別子と、前記患者情報・検査情報・画像データ情報と、を前記装置識別情報と関連付けて、医用画像データ所在管理装置に対して登録要求する医用画像データ関連情報登録要求部と、
    を有し、
    前記医用画像データ表示装置は、
    所望の医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報について、前記医用画像データ所在管理装置に検索処理要求を行い且つ当該検索処理結果を取得する医用画像データ関連情報検索要求部と、
    前記医用画像データ関連情報検索要求部により取得した情報を表示し、該表示に係る情報が選択された場合、当該選択された情報に含まれる装置識別情報及び参照医用画像データ識別子に基づいて、当該選択された情報に係る医用画像データを、ネットワークを介して取得して表示する医用画像データ表示部と、
    を有し、
    前記医用画像データ所在管理装置は、
    前記装置識別情報と、前記医用画像データ識別子と、前記患者情報・検査情報・画像データ情報と、前記参照医用画像データ識別子と、前記関連情報と、を管理し、該管理に係る情報の登録処理、更新処理、削除処理、及び検索処理を実行する医用画像データ関連情報管理部と、
    前記医用画像データ関連情報管理部に登録された情報に基づいて、同一画像の複製関係、所定の疾病に対する一連の治療に関する関係、画像処理に関する関係に関する前記関連情報の作成処理及び更新処理を実行する医用画像データ関連情報作成部と、
    を有し、
    前記医用画像データ関連情報管理部は、医用画像データについて当該医用画像データに係る医用画像データ識別子を検索条件として前記医用画像データ表示装置から検索処理を要求されると、当該検索処理を実行し、当該医用画像データと関連を有する医用画像データに係る装置識別情報、患者情報・検査情報・画像データ情報、参照医用画像データ識別子、及び関連情報を検出して前記医用画像データ表示装置に送信することを特徴とする医用画像検索システム。
  6. 前記医用画像データ表示装置は、
    各々の前記関連情報の有用性を示す情報である確度情報を、検査情報及び画像データ情報に基づいて算出して提示する確度情報算出部を含むことを特徴とする請求項5に記載の医用画像検索システム。
  7. 前記医用画像データ表示装置は、
    医用画像データ間の撮影位置のずれ量を示す情報と、医用画像データが検査により取得された検査日から検索処理当日までに経過した時間を示す情報と、に基づいて、ユーザに提示する関連情報の取捨選択を制御する制御部を含むことを特徴とする請求項5に記載の医用画像検索システム。
  8. 前記医用画像データ表示装置は、
    検索要求された頻度を示す検索要求頻度情報に基づいて、ユーザに提示する関連情報の取捨選択を制御する制御部を含むことを特徴とする請求項5に記載の医用画像検索システム。
JP2008251681A 2008-09-29 2008-09-29 医用画像検索システム Active JP5641684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008251681A JP5641684B2 (ja) 2008-09-29 2008-09-29 医用画像検索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008251681A JP5641684B2 (ja) 2008-09-29 2008-09-29 医用画像検索システム

Publications (2)

Publication Number Publication Date
JP2010082002A JP2010082002A (ja) 2010-04-15
JP5641684B2 true JP5641684B2 (ja) 2014-12-17

Family

ID=42246563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008251681A Active JP5641684B2 (ja) 2008-09-29 2008-09-29 医用画像検索システム

Country Status (1)

Country Link
JP (1) JP5641684B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5765899B2 (ja) * 2010-08-30 2015-08-19 キヤノン株式会社 制御装置および制御方法
JP5558990B2 (ja) * 2010-09-21 2014-07-23 株式会社東芝 医用情報表示装置
JP6490894B2 (ja) 2012-12-05 2019-03-27 キヤノンメディカルシステムズ株式会社 画像観察装置及び画像観察プログラム
JP2015116365A (ja) * 2013-12-19 2015-06-25 株式会社日立メディコ 医用画像診断装置
JP7237517B2 (ja) * 2018-10-25 2023-03-13 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法
KR102471120B1 (ko) * 2019-08-27 2022-11-25 (주)아이알엠 의료 정보 데이터를 송수신하기 위한 데이터 전송 시스템 및 데이터 전송 방법
WO2024083311A1 (en) * 2022-10-17 2024-04-25 Smart Reporting Gmbh Generation of and search for medical reference image data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072985A (ja) * 2005-09-09 2007-03-22 Nec Corp データ変換装置およびデータ変換プログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP4288526B2 (ja) * 2007-02-16 2009-07-01 国立大学法人名古屋大学 レポート作成装置、及びレポート作成プログラム

Also Published As

Publication number Publication date
JP2010082002A (ja) 2010-04-15

Similar Documents

Publication Publication Date Title
JP5641684B2 (ja) 医用画像検索システム
JP5843414B2 (ja) 医療記録ソフトウエアと高度画像処理の統合
CA2798592A1 (en) Visual indexing system for medical diagnostic data
US10977796B2 (en) Platform for evaluating medical information and method for using the same
US8935196B2 (en) System and method for providing instance information data of an instance
US20090192824A1 (en) Medical information system and medical image storage apparatus
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
Deserno et al. Extended query refinement for medical image retrieval
US9002075B2 (en) Interpretation support system
JP2008090644A (ja) 医用レポート作成システム、医用レポート作成方法
US20220293246A1 (en) Systems and Methods for Processing Medical Images Using Relevancy Rules
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
US11961606B2 (en) Systems and methods for processing medical images for in-progress studies
US20130195331A1 (en) Apparatus for sharing and managing information in picture archiving communication system and method thereof
JP2017033257A (ja) 読影レポート作成支援システム、読影レポート作成支援方法、及び読影レポート作成支援プログラム
US20210407671A1 (en) Method and system for automatically morphing and repairing medical image tags based on a centralized collection of rules
JP5698787B2 (ja) 医用情報システム
JP5148357B2 (ja) 画像データ通信装置及び画像データ通信システム
JP2011076463A (ja) 内視鏡検査情報管理システム、内視鏡検査情報管理方法、内視鏡検査情報管理プログラム
KR20170012076A (ko) 의료 영상과 관련된 장치들 간에 송수신되는 의료 데이터를 생성하는 방법 및 장치.
JP5635030B2 (ja) 症例データベース管理システム及び方法
KR20130088730A (ko) 의료영상 저장 전송 시스템의 정보 공유, 관리 장치 및 방법
US20220328164A1 (en) Systems and methods for universal artifical intelligence integration services
Konstantinopoulou et al. Potential assessment of lung samples by X-ray histology (XRH) during surgery
JP2011043971A (ja) 医用レポート入力支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141028

R150 Certificate of patent or registration of utility model

Ref document number: 5641684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350