JP5465135B2 - 医療情報表示装置および方法、並びにプログラム - Google Patents

医療情報表示装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5465135B2
JP5465135B2 JP2010191853A JP2010191853A JP5465135B2 JP 5465135 B2 JP5465135 B2 JP 5465135B2 JP 2010191853 A JP2010191853 A JP 2010191853A JP 2010191853 A JP2010191853 A JP 2010191853A JP 5465135 B2 JP5465135 B2 JP 5465135B2
Authority
JP
Japan
Prior art keywords
medical information
gesture
display
information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010191853A
Other languages
English (en)
Other versions
JP2012048602A (ja
Inventor
正弘 浅見
一 白坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010191853A priority Critical patent/JP5465135B2/ja
Priority to CN2011800419414A priority patent/CN103153171A/zh
Priority to PCT/JP2011/004710 priority patent/WO2012029255A1/ja
Priority to EP11821279.4A priority patent/EP2612591A4/en
Publication of JP2012048602A publication Critical patent/JP2012048602A/ja
Priority to US13/780,687 priority patent/US20130174077A1/en
Application granted granted Critical
Publication of JP5465135B2 publication Critical patent/JP5465135B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、タッチパネル等の直感的なユーザインターフェースを用いて、ユーザが所望する医療情報を表示させる技術に関するものである。
医療現場では、CT、MRI、US、PET等のモダリティで取得された画像情報の他、心電図や脳波等の波形の情報、血圧、体温等の数値情報、各種検査報告、カルテ等の文字情報等、多種多様な医療情報が発生している。
医療機関には、このような医療情報を管理するシステムが構築されているところがある。例えば、これらの医療情報は電子データとしてデータベースに格納され、クライアント端末からの要求に応じて、ユーザが所望する医療情報がデータベースから選択され、クライアント端末に接続されたディスプレイに表示される。
このような医療情報の選択および表示の操作性を向上するために、様々なユーザインターフェースが提案されている。例えば、表示画面に表示された人型内の部位や、体の一部を示すイメージ内の部位をポインティングデバイスで指定することにより、指定された部分およびその周辺における疾患部位に関する医用画像情報が医用情報データベースから抽出され、抽出された医用画像情報の一覧画面が表示されるものが知られている(例えば、特許文献1)。
また、医用画像処理用ワークステーションに接続されて使用されるタッチパネル式ディスプレイを備えた入力装置で、タッチ操作により、アキシャル断面画像中に基準線を作成すると、作成された基準線を切断面とするコロナル断面画像を作成して表示させるようにしたものが知られている(例えば、特許文献2)。
特開2003−260030号公報 特開2009−119000号公報
しかしながら、特許文献1に記載されたユーザインターフェースは、1つの部位を指定することによって、より多くの医用画像情報を取得しようとするものであるが、前述のとおり、医療現場では多種多様な医療情報が発生していることに鑑みると、このユーザインターフェースでは非常に多くの医療情報が一覧表示されてしまい、所望の医療情報を直感的かつ適切にかつ迅速に絞り込むことが困難になってしまうことがありうる。また、特許文献2に記載されたユーザインターフェースは、既に選択されている画像を切り替える操作のためのものであり、所望の医療情報を適切に絞り込むためのものではない。
本発明は上記事情に鑑みてなされたものであり、所望の医療情報を、より直感的な操作で、より容易に取得可能にする医療情報表示装置および方法、並びにプログラムを提供することを目的とするものである。
本発明の医療情報表示装置は、所与の情報を表示する表示手段と、該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するジェスチャ入力手段と、被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示させる第1の表示制御手段と、該被検体外観画像の表示中に前記ジェスチャ入力手段によって検出されたジェスチャ操作に応じて出力された前記ジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するジェスチャ種別解析手段と、前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、該被検体外観画像の表示中のジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するジェスチャ部位解析手段と、該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得する医療情報取得手段と、該取得された医療情報を前記表示手段に表示させる第2の表示制御手段とを設けたことを特徴とする。
本発明の医療情報表示システムは、被検体についての医療情報を、所与の医療情報取得条件に基づいて選択的に提供する医療情報提供装置と、本発明の医療情報表示装置とがネットワークを介して通信可能に接続されたシステムである。
ここで、医療情報提供装置は、複数件の前記医療情報を、所与の前記医療情報取得条件に基づいて選択可能なデータ構造で記憶する医療情報記憶手段と、前記医療情報表示装置から前記医療情報取得条件を受信する取得条件受信手段と、該受信した医療情報取得条件を満たす前記医療情報を前記医療情報記憶手段から取得する医療情報検索手段と、該取得された医療情報を、前記医療情報取得条件を送信した医療情報表示装置に送信する医療情報送信手段とを有するものとしてもよい。
本発明の医療情報表示方法は、被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示するステップと、該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するステップと、前記出力されたジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するステップと、前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、前記ジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するステップと、該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、該取得された医療情報を前記表示手段に表示するステップとを有することを特徴とする。
本発明の医療情報表示制御プログラムは、コンピュータに、被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示させるステップと、該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するステップと、前記出力されたジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するステップと、前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、前記ジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するステップと、該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、該取得された医療情報を前記表示手段に表示させるステップとを実行させることを特徴とする。
本発明において、ジェスチャの入力は、タッチパネル式の入力手段を用いてもよい。
被検体外観画像は、被検体を模式的に表した画像としてもよい。
被検体外観画像の表示については、被検体外観画像の表示中に検出されたジェスチャ操作に対応する、前記ジェスチャ種別および/または前記ジェスチャ部位に基づいて、前記被検体外観画像中の被検体の態様を、前記検出されたジェスチャ操作に応じた所定の態様に変更して表示させるようにしてもよい。
あるいは、被検体外観画像の表示中に検出された第1のジェスチャ操作について判別された第1の前記ジェスチャ種別、および/または、該第1のジェスチャ操作について特定された第1の前記ジェスチャ部位に基づいて、前記被検体外観画像中の被検体の態様を、前記検出されたジェスチャ操作に応じた所定の態様に変更して表示させるようにし、前記第1のジェスチャ種別、前記第1のジェスチャ部位、前記変更後の被検体外観画像の表示中に検出された第2のジェスチャ操作について判別された第2の前記ジェスチャ種別、該第2のジェスチャ操作について特定された第2の前記ジェスチャ部位の少なくとも一部に基づいて、前記第1のジェスチャ操作および前記第2のジェスチャ操作に対応する前記医療情報取得条件を特定するようにしてもよい。
医療情報取得条件の特定の際、前記ジェスチャ種別と前記ジェスチャ部位の組合せに対して前記医療情報取得条件を関連づけた参照データに基づいて、前記医療情報取得条件を特定するようにしてもよい。
ここで、参照データは、1組の前記ジェスチャ種別と前記ジェスチャ部位の組合せに対して、1以上の前記医療情報取得条件が関連づけられたものとし、該組合せに対して2以上の前記医療情報取得条件が関連づけられた場合には、該複数の医療情報取得条件の各々には、該医療情報取得条件の優先順位がさらに関連づけられたものとしてもよい。
さらに、参照データの編集を行えるようにしてもよい。
医療情報の取得については、所与の条件を満たす医療情報を前記医療情報記憶手段から先行取得するようにしてもよい。さらに、前記被検体外観画像に表された被検体中の各部位を、該部位に関する医療情報が該先行取得された医療情報の中に存在する部位と、該部位に関する医療情報が該先行取得された医療情報の中に存在しない部位とが異なる態様となるように表示させるようにしてもよい。
医療情報の表示の際、前記医療情報取得手段によって検査時期の異なる同種の検査に関する複数件の医療情報を取得した場合に、該複数件の医療情報を比較可能な態様で表示させるようにしてもよい。
前記被検体を表す医用画像が前記医療情報記憶手段から取得された場合、必要に応じて、前記取得された医用画像に対して、前記医療情報取得条件を満たす医用画像を得るための所定の画像処理を行うようにしてもよい。
前記医療情報取得条件を満たす医療情報を複数件取得した場合、該複数件の医療情報を前記表示手段に一覧表示させ、表示対象の前記医療情報の選択を受け付けるようにし、選択された医療情報を表示させるようにしてもよい。
ここで、抽出された複数の医療情報の一覧表示の際、前記複数件の医療情報をサムネイルまたはアイコンの態様で表示させるようにしてもよい。
本発明によれば、表示手段に被検体外観画像が表示されているときに、その表示面に対するジェスチャ操作を受け付け、そのジェスチャ操作の内容を表すジェスチャ情報に基づいて、ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別し、被検体外観画像の表示位置の情報と、被検体外観画像データに関連づけられた部位識別情報と、ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、ジェスチャ操作に対応する被検体の部位であるジェスチャ部位を特定し、ジェスチャ種別およびジェスチャ部位に基づいて、被検体外観画像の表示中のジェスチャ操作に対応する医療情報を取得するための医療情報取得条件を特定し、特定された医療情報取得条件を満たす医療情報を、複数件の医療情報を記憶する医療情報記憶手段から選択的に取得し、取得された医療情報を表示手段に表示することができる。したがって、所望の医療情報を、より直感的なジェスチャ操作で、より容易に取得することが可能になる。
本発明の実施形態となる医療情報表示装置を含む医療情報統合システムとその周辺システムの構成を表した図 本発明の実施形態となる医療情報表示装置の外観を模式的に表した図 本発明の実施形態となる医療情報表示装置の主要構成要素を表したブロック図 本発明の第1、第2の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第1、第2の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第1の実施形態における医療情報データベースのデータ構造と登録されたデータの例を表した図 人体アイコンの一例を表した図 人体アイコンの各位置の位置情報と部位情報の関連づけの一例を表した図 人体アイコンに対するナイフジェスチャの一例を模式的に表した図 ナイフジェスチャによって人体アイコンが変形する様子を模式的に表した図 人体アイコンに対する指定ジェスチャの一例を模式的に表した図 指定ジェスチャによって指定された部位が強調表示される様子を模式的に表した図 人体アイコンに対する掴みジェスチャの一例を模式的に表した図 掴みジェスチャによって指定された部位が掴み出される様子を模式的に表した図 人体アイコンに対するハンマージェスチャの一例を模式的に表した図 ハンマージェスチャによって人体アイコンが変形する様子を模式的に表した図 取得条件テーブルの設定例を表した図 取得条件テーブル編集用ユーザインターフェースの一例を表した図 CT断面画像の表示例を模式的に表した図 心電図波形データの表示例を表した図 心臓を表すボリュームレンダリング画像の表示例を模式的に表した図 頭骨、脳実質、脳血管のボリュームレンダリング画像の合成表示例を模式的に表した図 本発明の第2の実施形態における取得条件入力用ユーザインターフェースの一例を表した図 ナイフジェスチャと上向き指定ジェスチャを組み合わせた取得条件の入力例を模式的に表した図 ナイフジェスチャと上向き指定ジェスチャを組み合わせた取得条件の入力例に対応する取得条件テーブルの設定例を表した図 ナイフジェスチャと上向き指定ジェスチャを組み合わせた取得条件の入力例に対応する、医療情報データベースに登録された医療情報の例を表した図 人体アイコンに対する上下方向のナイフジェスチャの一例を模式的に表した図 人体アイコンに対する左右方向の回転ジェスチャの一例を模式的に表した図 側面を向いた人体アイコンに対する上下方向のナイフジェスチャの一例を模式的に表した図 上下方向のナイフジェスチャと左右方向の回転ジェスチャによる取得条件の入力に対応する取得条件テーブルの設定例を表した図 上下方向のナイフジェスチャと左右方向の回転ジェスチャによる取得条件の入力に対応する、医療情報データベースに登録された医療情報の例を表した図 掴みジェスチャと指定ジェスチャを組み合わせた取得条件の入力例を模式的に表した図 掴みジェスチャと指定ジェスチャを組み合わせた取得条件の入力例に対応する取得条件テーブルの設定例を表した図 本発明の第3の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第3の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第4の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第4の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第4の実施形態における人体アイコンの表示例を表した図 本発明の第5の実施形態に対応する医療情報データベースに登録された医療情報の例を表した図 本発明の第5の実施形態における医療情報の比較表示例を表した図 本発明の第6の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第6の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 医療情報選択用画面の一例を表した図 医療情報選択用画面の他の一例を表した図 本発明の第7の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第7の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第7の実施形態に対応する医療情報データベースに登録された医療情報の例を表した図 本発明の第8の実施形態における取得条件テーブルの構成と設定例を表した図 取得条件テーブルに設定された表示条件(レイアウト)の一例を模式的に表した図 本発明の第8の実施形態における医療情報の表示例を模式的に表した図
図1は、本発明の実施形態となる医療情報表示装置1を含む医療情報統合システム3とその周辺のシステムの構成を表したものである。図に示したように、医療情報統合システム3は、電子カルテシステム4、画像診断システム5、内視鏡検査システム6、病理検査システム7、各診療科システム8とネットワーク9を介して通信可能に接続されて構成されている。また、医療情報統合システム3は、本発明の実施形態となる医療情報表示装置1と医療情報管理サーバ2とからなる。
本実施形態では、電子カルテシステム4、画像診断システム5、内視鏡検査システム6、病理検査システム7、各診療科システム8で発生した医療情報は、医療情報管理サーバ2によって統合的に収集・管理されている。そして、医療情報表示装置1は、医療情報管理サーバ2に対して所望の医療情報を要求し、医療情報管理サーバ2から提供された、その要求に合致する医療情報を表示する。
図2は本発明の実施形態となる医療情報表示装置1の外観を模式的に表したものであり、図3は医療情報表示装置1の主要構成要素を表したブロック図である。
図2に示したように、医療情報表示装置1は、タッチパネル11と一体的に形成された液晶ディスプレイ12を正面に有しており、側面には、無線通信のためのアンテナ部13と電源スイッチ14とを有している。
また、図3に示したように、医療情報表示装置1は、CPU15、主記憶装置16と、補助記憶装置17、タッチパネル11、液晶ディスプレイ12、通信インターフェース18等とがデータバスで接続された構成となっている。
CPU15は、補助記憶装置17に記憶されている、オペレーティングシステム等のミドルウェア、本発明の医療情報の取得および表示のためのアプリケーションソフトウェア等の各プログラムを、主記憶装置16にロードして各処理を実行する。これにより、タッチパネル11を介したユーザによる入力操作の受付け、医療情報等の各種情報の液晶ディスプレイ12への表示等の入出力制御、通信インターフェース18を介した通信等が行われる。
補助記憶装置17としては、公知のフラッシュメモリドライブ(SSD:Solid State drive)やハードディスクドライブ(HDD)が用いられる。補助記憶装置17には、上記各種プログラムがインストールされている。本発明の医療情報の表示のためのアプリケーションソフトウェアは、医療情報表示装置1に接続されたディスクドライブ等を用いてCD−ROM等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。また、補助記憶装置17は、医療情報管理サーバ2から取得した医療情報を一時的に記憶するのにも用いられる。
タッチパネル11としては、抵抗膜、静電容量、電磁誘導、表面弾性波(超音波)、赤外線等の公知の方式のものを用いることができるが、本実施形態では、多様なジェスチャパターンについて説明するため、投影型の静電容量方式等の、複数の位置でのタッチであるマルチタッチを検出可能なものを用いているものとする。タッチパネル11によるタッチ操作は、ユーザの指や所定のペン等を用いて行う。タッチパネル11は、その制御プログラムによって規定された時間間隔で、タッチパネル11に対するタッチの開始、タッチ位置の移動、タッチの終了を検出し、検出されたタッチの種類、および、その時点でのタッチパネル11の座標系におけるタッチの位置情報を出力する。ここで、タッチの開始とはタッチパネル11上の新たな位置に触れる操作であり、タッチの移動とはタッチパネル11に触れたままタッチ位置を移動させる操作であり、タッチの終了とは指やペン等をタッチパネル11から離す操作である。これによって、タッチパネル11上で行われる様々なジェスチャ操作を検出することが可能になる。すなわち、タッチの開始から、タッチの移動、タッチの終了までの一連の操作が1つのジェスチャ操作として検出され、一連の操作の各時点で検出されたタッチの種類と位置情報とがジェスチャ情報として得られる。なお、タッチパネル11の座標系と液晶ディスプレイ12の座標系は、医療情報表示装置1の製造時等にキャリブレーションを行うことにより、対応関係が特定されており、相互に座標変換を行うことが可能である。以下では、説明を簡潔にするため、液晶ディスプレイ12の座標系とタッチパネル11の座標系を同一の座標系とし、表示装置の座標系という。
通信インターフェース18は、公知の移動体通信網や無線LAN等での通信を制御する。本実施形態では、医療情報管理サーバ2等との通信がこの通信インターフェース18を介して行われる。
一方、医療情報管理サーバ2は、医療情報データベースを備えたコンピュータである。ハードウェア構成としては、CPU、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のものの他、外部記憶装置を備えている。また、医療情報管理サーバ2には、周知のオペレーティングシステムやデータベース管理用ソフトウェアの他、医療情報データベースへの医療情報の登録やこのデータベースからの医療情報の抽出を行うためのアプリケーションソフトウェアがインストールされている。これらのソフトウェアは、CD−ROM等の記録媒体からインストールされたものか、あるいは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものである。
また、電子カルテシステム4は公知のコンピュータシステムであり、例えば、各診療科等の端末と、電子カルテ情報が格納された電子カルテデータベースを備えた電子カルテ管理サーバとがネットワークを介して通信可能に接続された構成となっている。各診療科等の端末で入力された電子カルテ情報が電子カルテデータベースを用いて管理されている。ここで、電子カルテ情報には、例えば、患者の氏名、生年月日、性別等の患者情報、各種検査の日付、内容、結果等の検査履歴情報、受診した日付、主訴、確定診断名等の診断履歴情報、手術、処置、投薬等の治療が行われた日付、内容等の治療履歴情報等が含まれる。また、本実施形態では、電子カルテデータベースは、各患者を識別する患者IDが上記電子カルテ情報と関連づけられたデータベース構造となっている。
画像診断システム5も公知のコンピュータシステムであり、例えば、画像診断医用ワークステーションと、CT、MRI等のモダリティでの撮影によって得られた画像データが格納された画像データベースを備えた画像管理サーバと、撮影で得られた画像の読影結果を含む読影レポートが格納された読影レポートデータベースを備えた読影レポートサーバとがネットワークを介して通信可能に接続された構成となっている。ここで、画像診断医用ワークステーションは、診断目的・対象に応じて、MIP、MPR、CPR、ボリュームレンダリング(VR)等の公知の画像処理や、骨抽出・除去、血管抽出、臓器抽出、異常陰影検出等の公知の画像解析処理を組み合わせて実行することが可能であり、これらの処理・解析済みの画像データも、画像データベースに格納される。また、画像データには、2次元画像(ピクセルデータ)と3次元画像(ボクセルデータ)の両方、および、静止画と動画の両方が含まれ得る。さらに、画像データベースでは、患者IDの他、個別の画像を識別する画像ID、その画像が得られたモダリティの情報、その画像に表されている被検体の部位の情報等の付帯情報が画像データに関連づけられて格納されている。モダリティの情報は、モダリティ側で画像生成時に付与される。一方、被検体の部位の情報は、検査オーダ等に基づいてモダリティ側で画像生成時に付与してもよいし、CT等の断層画像の場合であれば、公知の部位認識処理(例えば特開2008−259682号公報等参照)を用いて、画像診断医用ワークステーション側でスライス毎に付与してもよい。また、読影レポートデータベースは、読影レポートと患者IDと読影対象の画像の画像IDとが関連づけられたデータベース構造となっている。画像データや読影レポートは、個々の検査(撮影)を識別する検査IDを介して間接的に患者IDと関連づけられていてもよい。
内視鏡検査システム6も公知のシステムであり、各種内視鏡での撮影によって得られた実内視鏡画像データや内視鏡検査の結果がまとめられた内視鏡検査レポート等が検査IDや患者IDと関連づけられた内視鏡検査データベースを備えた内視鏡検査管理サーバが、内視鏡検査データベースへのアクセスの制御を行っている。
病理検査システム7も公知のシステムであり、病理検査で得られた顕微鏡画像や病理検査の結果がまとめられた病理検査レポート等が検査IDや患者IDと関連づけられた病理検査データベースを備えた病理検査管理サーバが、病理検査データベースへのアクセスの制御を行っている。
各診療科システム8には、その診療科特有の検査データや検査レポート等が検査IDや患者IDと関連づけられた各診療科のデータベースを備えた各診療科の管理サーバが、各診療科のデータベースへのアクセスの制御を行っている。ここで、各診療科特有の検査データとは、例えば、循環器科であれば心電図データ等(波形、数値等)、耳鼻咽喉科であれば聴覚検査データ等(波形、数値等)、眼科であれば視力検査や眼底検査データ等(数値等)である。
なお、本実施形態では、内視鏡検査システム6と病理検査システム7を各診療科システム8とは別のシステムとしているが、各診療科システム8の一部として構成してもよい。この場合、内視鏡検査や病理検査の情報は、その検査内容に応じて、各診療科の検査データとして管理される。
本発明の第1の実施形態は、医療情報表示装置1での様々なタッチパネル操作に応じて、その操作に応じた医療情報を医療情報管理サーバ2から取得し、医療情報表示装置1の液晶ディスプレイ12に表示するものである。図4は、本発明の第1の実施形態において、医療情報表示装置1と医療情報管理サーバ2に実装される機能を模式的に表したブロック図である。図に示したように、本発明の医療情報表示装置1は、患者ID入力用ユーザインターフェース(UI)31、取得条件入力用UI32、ジェスチャ種別解析部33、ジェスチャ部位解析部34、取得条件特定部35、医療情報取得部36、医療情報表示制御部37、人体アイコン45、取得条件テーブル46とから構成されている。また、医療情報表示装置1内に示された患者ID、ジェスチャ情報、ジェスチャ部位情報、ジェスチャ種別情報、医療情報取得条件、医療情報(実データ)は、上記各処理部によって、医療情報表示装置1の主記憶装置16または補助記憶装置17内の所定の領域に対して読み書きされるデータである。一方、医療情報管理サーバ2は、医療情報登録部51と医療情報検索部52と医療情報データベース53とから構成されている。医療情報管理サーバ2内に示された医療情報登録条件、医療情報、医療情報取得条件、医療情報(実データ)は、上記各処理部によって、医療情報管理サーバ2の主記憶装置、補助記憶装置、または外部記憶装置内の所定の領域に対して読み書きされるデータである。
医療情報データベース53は、患者IDと、医療情報取得条件に対応するインデックス情報(詳細は後述)と、医療情報の実データとが関連づけられたデータ構造を有している。
医療情報管理サーバ2の医療情報登録部51は、他システム(電子カルテシステム4、画像診断システム5、内視鏡検査システム6、病理検査システム7、各診療科システム8を意味する)で発生した医療情報を、所定の時間間隔で取得し、取得した医療情報から患者IDおよびインデックス情報を抽出し、さらに、取得した医療情報を医療情報データベース53のデータ構造に変換し、医療情報データベース53に登録する。これにより、医療情報データベース53には、医療情報表示装置1による表示対象となる医療情報が蓄積される。
図5は、本発明の第1の実施形態において、医療情報統合システム3で行われる医療情報の表示処理の流れを示したフローチャートである。図に示した#1から#7、#11から#12の処理ステップは、医療情報表示装置1で実行されるアプリケーションのメインプログラムによって制御される。以下、図4および図5を主に用いて、この医療情報表示処理の全体の流れとともに、医療情報表示装置1の各処理部と医療情報管理サーバ2の医療情報検索部52で行われる個々の処理の内容について説明する。
まず、医療情報表示装置1において、患者ID入力用UI31は、患者IDの入力を受け付け、入力された患者IDを主記憶装置16の所定の領域に格納する(#1)。具体的には、例えば、液晶ディスプレイ12にキーボードやテンキーの画像を表示させ、タッチパネル11のタッチ位置に表示されたキーの入力を受け付けるソフトウェアキーボード方式を用いて、患者IDの入力を受け付ける。
次に、取得条件入力用UI32は、補助記憶装置17から人体アイコン画像(図7参照)を読み込み、液晶ディスプレイ12の所定の表示位置に表示させ(#2)、ユーザによる、人体アイコン45に対するジェスチャ入力をタッチパネル11から受け付け、入力されたジェスチャ情報を主記憶装置16の所定の領域に格納する(#3)。ここで、人体アイコン45は、図7および図8に例示したように、人体の全身を模式的に表したものであり、人体アイコン45の座標系の各位置に対して、人体の部位を識別する部位情報が関連づけられている。また、ジェスチャ情報は、各時点でのタッチの種類(開始、移動、終了)、および、表示装置の座標系におけるタッチの位置を表す位置情報を含んでいる。
ジェスチャ種別解析部33は、ジェスチャ情報に基づいて、入力されたジェスチャが所定の複数のジェスチャパターンのうちのいずれであるかを判別し、判別結果を主記憶装置16のジェスチャ種別情報を格納する所定の領域に出力する(#4)。なお、入力されたジェスチャに対応するジェスチャパターンが特定されなかった場合は、新たなジェスチャの入力待ち状態に戻る。
ジェスチャ部位解析部34は、まず、ジェスチャ情報と、人体アイコン45の位置情報とに基づいて、ジェスチャ入力が人体アイコン45のどの位置で行われたかを特定する。すなわち、ジェスチャ情報は表示装置の座標系での位置情報であるのに対して、人体アイコン45の位置情報は人体アイコン45の座標系での情報であるので、ジェスチャ部位解析部34は、表示装置の座標系での人体アイコン45の表示位置の情報を用いて、両位置情報を同じ座標系での位置情報に変換する。これにより、ジェスチャ入力を構成する点の人体アイコン45上での位置であるジェスチャ相対位置が特定される。なお、ジェスチャ相対位置は、表示装置の座標系と人体アイコン45の座標系のいずれでも表現することが可能であるが、本実施形態では人体アイコンの座標系で表現されたものとする。次に、ジェスチャ部位解析部34は、入力されたジェスチャのジェスチャ相対位置と関連づけられた人体アイコン45の部位を識別する部位情報を特定し、主記憶装置16のジェスチャ部位情報を格納する所定の領域に出力する(#5)。なお、入力されたジェスチャに対応する人体アイコン45上の部位が特定されなかった場合、人体アイコン45の外側のみでジェスチャ操作を行った場合等は、新たなジェスチャの入力待ち状態に戻る。
取得条件特定部35は、取得条件テーブル46を参照し、ジェスチャ種別解析部33で出力されたジェスチャ種別情報とジェスチャ部位解析部34で出力されたジェスチャ部位情報とに対応する医療情報取得条件を特定し、特定された医療情報取得条件を主記憶装置16の所定の領域に出力する(#6)。なお、入力されたジェスチャに対応する医療情報取得条件が特定されなかった場合は、新たなジェスチャの入力待ち状態に戻る。
次に、医療情報表示装置1の医療情報取得部36は、取得条件特定部35によって設定された医療情報取得条件を医療情報管理サーバ2に送信する(#7)。医療情報管理サーバ2の医療情報検索部52は、医療情報取得条件を医療情報表示装置1から受信し(#8)、医療情報データベース53の検索を行い、データベース中の取得条件のインデックス情報が、受信した医療情報取得条件を満たす医療情報の実データを抽出し(#9)、抽出された医療情報の実データを医療情報表示装置1に送信する(#10)。医療情報表示装置1の医療情報取得部36は、送信されてきた医療情報の実データを受信し、主記憶装置16または補助記憶装置17の所定の領域に格納する(#11)。そして、医療情報表示制御部37は、受信した医療情報の実データに基づいて、その医療情報を液晶ディスプレイ12に表示させる(#12)。なお、医療情報取得条件を満たす医療情報が医療情報データベース53に登録されていなかった場合には、その旨が表示される。
このように、本発明の第1の実施形態では、医療情報表示装置1のタッチパネル11から人体アイコン45に対するジェスチャが入力されると、そのジェスチャに応じた医療情報取得条件が特定され、特定された医療情報取得条件を満たす医療情報が医療情報管理サーバ2の医療情報データベース53から抽出され、抽出された医療情報が医療情報表示装置1の液晶ディスプレイ12に表示される。以下では、様々なジェスチャ入力について、そのジェスチャに対応する医療情報が取得されるまでの一連の処理の詳細について具体的に説明する。
図6は、医療情報データベース53のデータ構造と、医療情報データベース53に登録された医療情報の具体例を表したものである。図に示したとおり、本実施形態では、医療情報データベース53は、患者ID、検査日時、検査部位、情報種別、実データから構成される。検査部位と情報種別とが医療情報取得条件に対応するインデックス情報となっている。したがって、取得条件特定部35で特定される医療情報取得条件も、取得対象の医療情報の検査部位の条件を表す検査部位条件と情報種別の条件を表す情報種別条件とからなる。
医療情報登録部51は、各システムから医療情報を収集し、収集された医療情報を用いて医療情報データベース53への登録データを作成する。具体的には、医療情報データベース53の患者IDの項目には、収集された各医療情報から患者IDを抽出して設定する。検査部位の項目には、収集された医療情報の付帯情報等から患者の部位の情報を抽出して設定する。情報種別の項目には、収集された医療情報の付帯情報等からその医療情報の種別を表す情報を抽出して設定する。ここで、検査部位および情報種別は、予め設計されたコード体系に基づく値が定義されている。各医療情報の検査部位および情報種別は、所定の設定条件に基づいて、医療情報登録部51によって自動的に設定される。実データの項目には、収集された医療情報の実データを設定する。そして、作成した登録データを医療情報データベース53に登録(挿入)する。例えば、腹部に対するCT撮影で得られたアキシャル断面画像データの場合、本実施形態では、検査部位に「腹部」、情報種別に「CT」が、インデックス情報として設定される(情報No.11)。
図7は、人体アイコン45の一例を表したものである。また、図8は、人体アイコン45が有する情報を表したものである。図8に示したように、人体アイコン45の座標系の各位置に対して、人体の部位を識別する部位情報が階層的に関連づけられている。すなわち、人体アイコン45の各位置は、頭部、胸部等の人体の体部を表す体部情報と、臓器、器官等の部位よりも細かい単位を表す部位詳細情報と関連づけられている。例えば、人体アイコンの(x,y)の位置は、体部としては頭部に属し、その詳細情報としては脳に属している。また、(x,y)の位置のように、1つの位置が複数の部位詳細情報(ここでは心臓、気管、食道)と関連づけられていてもよいし、(x,y)の位置のように、部位詳細情報とは関連づけられていなくてもよい。
本実施形態では、ジェスチャ種別解析部34は、入力されたジェスチャが、ナイフ、指定、掴み、ハンマーの4つのジェスチャパターンのいずれであるかを順次判別するものとする。
図9Aは、ナイフジェスチャの一例を模式的に表したものである。図に示したように、ユーザが、人体アイコン45の右脇腹に指をタッチパネル11にタッチし(タッチの開始)、指をタッチしたまま右方向に移動させ(タッチの移動)、左脇腹で指をタッチパネル11から離す(タッチの終了)という一連の操作を行う。これにより、人体アイコン45の腹部をスライスするようなジェスチャが取得条件入力用UI32によって受け付けられる。
ジェスチャ種別解析部33は、ジェスチャ情報に含まれる、上記のタッチの開始から、タッチの移動を経て、終了に至るまでの各時点での位置情報に基づいて、公知のパターン認識処理により、入力されたジェスチャの軌跡が直線(線分)であると認識された場合に、そのジェスチャをナイフジェスチャと認識し、ナイフジェスチャを表すジェスチャ種別情報を出力する。したがって、図9Aの例では、ジェスチャの軌跡が直線を描いているので、ナイフジェスチャと認識される。
ジェスチャ部位解析部34は、ジェスチャ種別情報がナイフジェスチャである場合、ジェスチャ情報に含まれる、上記のタッチの開始から、タッチの移動を経て、終了に至るまでの各時点での位置情報に基づいて、上述した座標変換により、各時点での人体アイコン45上でのジェスチャ相対位置を特定し、さらに、特定された各相対位置と関連づけられた体部および部位詳細の情報を得る。図9Aの例では、体部の情報として「腹部」、部位詳細の情報として、「大腸」、「小腸」等が得られる。
なお、取得条件入力用UI32は、ジェスチャ種別解析部33によって、入力されたジェスチャがナイフジェスチャであると認識された場合、図9Bに例示したように、ジェスチャの軌跡に沿って、人体アイコン45を分離して表示させるようにしてもよい。
図10Aは、指定ジェスチャの一例を模式的に表したものである。図に示したように、ユーザが、人体アイコン45の心臓の位置を指でタッチし(タッチの開始)、指をタッチしたまま移動させることなく、指をタッチパネル11から離す(タッチの終了)という一連の操作を行う。これにより、人体アイコン45の心臓をタップするジェスチャが取得条件入力用UI32によって受け付けられる。
ジェスチャ種別解析部33は、ジェスチャ情報に含まれる、上記のタッチの開始から、タッチの移動を経て、終了に至るまでの各時点での位置情報に基づいて、タッチ位置の移動量が所定の閾値より小さい(ほぼ0に等しい)場合に、そのジェスチャを指定ジェスチャと認識し、指定ジェスチャを表すジェスチャ種別情報を出力する。したがって、図10Aの例では、タッチ位置の移動量が0であるから、指定ジェスチャと認識される。
ジェスチャ部位解析部34は、ジェスチャ種別情報が指定ジェスチャである場合、ジェスチャ情報に含まれる、上記のタッチの開始または終了時点での位置の情報に基づいて、上述した座標変換により、その時点での人体アイコン45上でのジェスチャ相対位置を特定し、さらに、特定されたジェスチャ相対位置と関連づけられた体部および部位詳細の情報を得る。図10Aの例では、体部の情報として「胸部」、部位詳細の情報として、「心臓」等が得られる。
なお、取得条件入力用UI32は、ジェスチャ種別解析部33によって、入力されたジェスチャが指定ジェスチャであると認識された場合、図10Bに例示したように、指定位置と関連づけられた部位詳細情報に表された臓器等(ここでは心臓)を、人体アイコン45の他の領域とは異なる表示態様で表示させるようにしてもよい。ここで、ジェスチャ相対位置が複数の部位詳細情報と関連づけられている場合(例えば、心臓、気管、食道)、それらすべてを他の領域とは異なる表示態様で表示させてもよいし、それらのうちのどれを異なる表示態様で表示させるかを、ユーザに選択させるようにしてもよい。
図11Aは、掴みジェスチャの一例を模式的に表したものである。図に示したように、このジェスチャではマルチタッチを用いる。まず、ユーザは、人体アイコン45の心臓の上方と下方の位置を2本の指でタッチし(タッチの開始;図の(1)の矢印の始点)、指をタッチしたまま、心臓を掴む向きに移動させ(タッチの移動;図の(1)の矢印の方向)、さらに、指をタッチしたまま、人体アイコン45の外側に向かって移動させ(タッチの移動;図の(2)の矢印)、指をタッチパネル11から離す(タッチの終了;図の(2)の矢印の終点)という一連の操作を行う。これにより、人体アイコン45の心臓を掴み出すジェスチャが取得条件入力用UI32によって受け付けられる。
ジェスチャ種別解析部33は、ジェスチャ情報に含まれる、上記のタッチの開始から、タッチの移動を経て、終了に至るまでの各時点での位置情報に基づいて、公知のパターン認識処理により、タッチされた2点が互いに接近する第1の向きに移動した後、その移動後の2点間の距離を保ちながら、第1の向きとは異なる第2の向きに共に移動するような軌跡が認識された場合に、そのジェスチャを掴みジェスチャと認識し、掴みジェスチャを表すジェスチャ種別情報を出力する。したがって、図11Aの例では、タッチ位置が(1)の矢印の区間では接近し、(2)の矢印の区間では、(1)とは異なる向きに平行移動しているので、掴みジェスチャと認識される。
ジェスチャ部位解析部34は、ジェスチャ種別情報が掴みジェスチャである場合、ジェスチャ情報に含まれる、上記のタッチの開始から移動を経て終了に至るまでの位置情報に基づいて、タッチされた2点が第1の向きに移動した後、移動の向きが変わる時点での2点(図11Aの(1)の各矢印の終点)の間の位置をジェスチャ位置と特定し、上述した座標変換により、人体アイコン45上でのジェスチャ相対位置を特定し、さらに、特定されたジェスチャ相対位置と関連づけられた体部および部位詳細の情報を得る。図11Aの例では、(1)の各矢印の終点の間の各位置の体部の情報として「胸部」、部位詳細の情報として、「心臓」等が得られる。
なお、取得条件入力用UI32は、ジェスチャ種別解析部33によって、入力されたジェスチャが指定ジェスチャであると認識された場合、図11Bに例示したように、ジェスチャ部位解析部34で得られた部位詳細情報に表された臓器等(ここでは心臓)を、人体アイコン45の他の領域とは異なる表示態様で表示させるとともに、上記第2の向き(図11Bの(2)の矢印の向き)に移動させることにより、心臓が人体アイコン45から掴み出される様子をアニメーション表示させるようにしてもよい。ここで、ジェスチャ部位解析部34で特定されたジェスチャ相対位置が複数の部位詳細情報と関連づけられている場合(例えば、心臓、気管、食道)、それらすべてを上記のように表示させてもよいし、それらのうちのどれを上記のように表示させるかを、ユーザに選択させるようにしてもよい。
図12Aは、ハンマージェスチャの一例を模式的に表したものである。図に示したように、ユーザが、人体アイコン45の頭部の位置を指でタッチし(タッチの開始)、指をタッチしたまま所定の時間以上移動させることなく維持してから、指をタッチパネル11から離す(タッチの終了)という一連の操作を行う。これにより、人体アイコン45の頭部を砕き割るジェスチャが取得条件入力用UI32によって受け付けられる。
ジェスチャ種別解析部33は、ジェスチャ情報に含まれる、上記のタッチの開始から、タッチの移動を経て、終了に至るまでの各時点での位置情報に基づいて、タッチ位置の移動量が所定の閾値より小さく(ほぼ0に等しく)、かつ、タッチの開始から終了までのジェスチャ時間が所定の閾値となる時間より長い場合に、そのジェスチャをハンマージェスチャと認識し、ハンマージェスチャを表すジェスチャ種別情報を出力する。なお、この認識方法では、ジェスチャ時間が所定の時間以下の場合には、指定ジェスチャと認識される。したがって、図12Aの例では、タッチ位置の移動量が0で、かつ、ジェスチャ時間が所定の時間より長いので、ハンマージェスチャと認識される。
ジェスチャ部位解析部34は、ジェスチャ種別情報がハンマージェスチャである場合、ジェスチャ情報に含まれる、上記のタッチの開始または終了時点での位置の情報に基づいて、上述した座標変換により、その時点での人体アイコン45上でのジェスチャ相対位置を特定し、さらに、特定されたジェスチャ相対位置と関連づけられた体部および部位詳細の情報を得る。図12Aの例では、体部の情報として「頭部」、部位詳細の情報として、「脳」が得られる。
なお、取得条件入力用UI32は、ジェスチャ種別解析部33によって、入力されたジェスチャがハンマージェスチャであると認識された場合、図12Bに例示したように、指定位置と関連づけられた部位詳細情報に表された臓器等(ここでは脳)を砕き割った様子を表す表示態様で表示させるようにしてもよい。ここで、ジェスチャ相対位置が複数の部位詳細情報と関連づけられている場合(例えば、心臓、気管、食道)、それらすべてを他の領域とは異なる表示態様で表示させてもよいし、それらのうちのどれを異なる表示態様で表示させるかを、ユーザに選択させるようにしてもよい。
上記のジェスチャの他、例えば、ジェスチャ種別解析部33が、所定の医療機器を人体アイコン45に対して操作するジェスチャ(例えば内視鏡を挿入するジェスチャ)を認識するようにし、ジェスチャ部位解析部34がその医療機器の操作対象の部位を認識するようにしてもよい。また、上記各ジェスチャとは異なるジェスチャを上記各ジェスチャパターンと対応づけてもよい。
前述のとおり、取得条件特定部35によって特定される医療情報取得条件は、取得対象の医療情報の検査部位の条件を表す検査部位条件と情報種別の条件を表す情報種別条件とからなる。取得条件特定部35は、取得条件テーブル46を参照し、ジェスチャ種別解析部33で出力されたジェスチャ種別情報とジェスチャ部位解析部34で出力されたジェスチャ部位情報との組合せに対応する情報種別条件を特定するとともに、この情報種別条件の特定に用いられたジェスチャ部位情報を検査部位条件に設定する。
図13Aは、取得条件テーブル46の設定例を表したものである。図に示したように、本実施形態では、取得条件テーブル46は、ジェスチャ種別とジェスチャ部位の組合せに対して、医療情報取得条件(情報種別条件)が優先順位を付けて関連づけられている。
この取得条件テーブル46は、取得条件テーブル編集用UI38によって編集可能となっている。図13Bは、取得条件テーブル46の編集画面の一例であり、図に示したように、取得条件テーブル46の登録内容をリスト形式で表示している。ユーザが医療情報取得条件を追加したい場合、リストの最終行の各項目にタッチすると、図の下部に示したような、その項目に設定可能な値が一覧表示されたリストボックスが表示される。図13Bでは、ジェスチャ種別の項目が選択されているので、ジェスチャ種別解析部33によって認識可能なジェスチャパターンの一覧がリストボックスに表示されている。ユーザは、リストボックスに表示された値の一覧から所望の値にタッチして選択することにより、選択された値がその項目に設定される。既に登録済みの医療情報取得条件の内容を変更する場合には、変更したい項目にタッチすることにより、上記と同様のリストボックスが表示され、上記と同様に所望の値にタッチして選択することにより、その項目の値が変更される。既に登録済みの医療情報取得条件を削除したい場合には、削除したい医療情報取得条件を表す行の任意の位置をタッチし、指をタッチしたまま、医療情報取得条件のリストの外まで移動させ、そこで指をタッチパネルから離す操作を行うことにより、その医療情報取得条件が削除される。
図9Aに例示した腹部に対するナイフジェスチャの場合、取得条件特定部35は、ジェスチャ種別情報とジェスチャ部位情報のすべての組合せ、すなわち、ジェスチャ種別情報「ナイフ」と体部情報である「腹部」との組合せ、ジェスチャ種別情報「ナイフ」と部位詳細情報である「大腸」、「小腸」等との組合せの各々を用いて取得条件テーブル46を参照する。その結果、ジェスチャ種別情報「ナイフ」と体部情報である「腹部」との組合せが、取得条件テーブル46のジェスチャ種別「ナイフ」、ジェスチャ部位「指定体部(ジェスチャ部位解析部34で出力された体部情報)」との組合せに該当するので、情報種別条件として、「CT」、「MR」が優先順位の順に得られるとともに、検査部位条件としては、取得条件テーブル46の上記エントリを取得するのに用いられたジェスチャ部位情報である「腹部」が得られる。
医療情報管理サーバ2の医療情報検索部52は、医療情報表示装置1の取得条件特定部35で特定された医療情報取得条件を医療情報取得部36から受信し、受信した医療情報取得条件を優先順位の高い順に検索条件として用いて医療情報データベース53を検索する。ここで、その検索条件を満たす医療情報が抽出された場合には、残りの優先順位のより低い医療情報取得条件による検索は行わない。一方、その検索条件を満たす医療情報が抽出されなかった場合には、受信した医療情報取得条件のうち、現在の検索条件の次に優先順位の高い医療情報取得条件を新たな検索条件として検索を行う。
図9Aに例示した腹部に対するナイフジェスチャの場合、医療情報検索部52は、まず、検査部位条件を「腹部」、情報種別条件を優先順位が最も高い「CT」として、図6に例示された医療情報データベース53を検索し(患者IDは「012345」が入力されたものとする)、これらの条件を満たす情報No.11の医療情報の実データであるCTアキシャル断面画像データを抽出し、検索を終了する。抽出されたデータは医療情報表示装置1の医療情報取得部36に送信され、医療情報表示制御部37が、図14に例示されたようなCTアキシャル断面画像を表示させる。なお、情報No.11の医療情報が医療情報データベース53に登録されていなかった場合には、上記の検索条件に該当する医療情報が存在しないので、情報種別条件を、次に優先順位が高い「MR」に変更して再度検索が行われる。
図10Aに例示した心臓に対する指定ジェスチャの場合、取得条件特定部35がジェスチャ種別情報とジェスチャ部位情報のすべての組合せを用いて取得条件テーブル46を参照した結果、ジェスチャ種別「指定」とジェスチャ部位「心臓」と関連づけられた情報種別条件である、「心電図」、「CPR」、「VR」が優先順位の順に得られるとともに、検査部位条件としては、取得条件テーブル46の上記エントリを取得するのに用いられたジェスチャ部位情報である「心臓」が得られる。そして、医療情報管理サーバ2の医療情報検索部52では、検査部位条件を「心臓」、情報種別条件を「心電図」とする検索条件に合致する情報No.13の心電図波形データが抽出され、医療情報表示装置1の医療情報取得部36に送信される。医療情報表示制御部37は、図15に例示されたような心電図波形を表示させる。
図11Aに例示した心臓に対する掴みジェスチャの場合、取得条件特定部35がジェスチャ種別情報とジェスチャ部位情報のすべての組合せを用いて取得条件テーブル46を参照した結果、ジェスチャ種別「掴み」とジェスチャ部位「心臓」と関連づけられた情報種別条件である「VR」が得られる。検査部位条件としては、取得条件テーブル46の上記エントリを取得するのに用いられたジェスチャ部位情報である「心臓」が得られる。そして、医療情報管理サーバ2の医療情報検索部52では、検査部位条件を「心臓」、情報種別条件を「VR」とする検索条件に合致する情報No.14の心臓VR画像データが抽出され、医療情報表示装置1の医療情報取得部36に送信される。医療情報表示制御部37は、図16に例示されたような心臓を表すVR画像を表示させる。
図12Aに例示した頭部に対するハンマージェスチャの場合、取得条件特定部35がジェスチャ種別情報とジェスチャ部位情報のすべての組合せを用いて取得条件テーブル46を参照した結果、ジェスチャ種別「ハンマー」とジェスチャ部位「頭部」と関連づけられた情報種別条件である「頭骨・脳実質・脳血管VR合成」が得られる。検査部位条件としては、取得条件テーブル46の上記エントリを取得するのに用いられたジェスチャ部位情報である「頭部」が得られる。そして、医療情報管理サーバ2の医療情報検索部52では、検査部位条件を「頭部」、情報種別条件を「頭骨・脳実質・脳血管VR合成」とする検索条件に合致する情報No.16の頭骨・脳実質・脳血管VR合成画像データが抽出され、医療情報表示装置1の医療情報取得部36に送信される。医療情報表示制御部37は、図17に例示されたような頭骨・脳実質・脳血管VR合成画像を表示させる。なお、図17に示した頭骨・脳実質・脳血管VR合成画像は、頭部非造影CTおよび頭部造影CTのボリュームデータを用いてボリュームレンダリング処理を行い、得られた画像を合成することによって得られる。具体的には、頭部非造影CTのボリュームデータに対して、骨のCT値を有色不透明にするためのカラーテンプレートとオパシティカーブに基づいてボリュームレンダリング処理を行うことにより、頭骨全体のVR画像が得られる。同様に、頭部非造影CTのボリュームデータに対して、脳実質のCT値を有色不透明にするためのカラーテンプレートとオパシティカーブに基づいてボリュームレンダリング処理を行うことにより、脳実質全体のVR画像が得られる。さらに、頭部の左半分および右半分を表す非造影CTのボリュームデータに対しても同様のボリュームレンダリング処理を行うことにより、頭骨、脳実質の左半分、右半分を表すVR画像が得られる。一方、頭部造影CTのボリュームデータに対して、造影剤のCT値を有色不透明にするためのカラーテンプレートとオパシティカーブに基づいてボリュームレンダリング処理を行うことにより、脳血管全体のVR画像が得られる。最後に、これらのVR画像を図17に示したようなレイアウトになるように合成することによって、頭骨・脳実質・脳血管VR合成画像が得られる。なお、頭骨全体のVR画像(図17上段)、左右の頭骨のVR画像および脳実質のVR画像(図17中段)、左右の頭骨と脳実質のVR画像および脳血管全体のVR画像(図17下段)の順に各画像を切り替えて表示することによって、頭部を、外側の頭骨、その内側の脳実質の順に砕き割っていく様子を動画的に表現してもよい。
以上のように、本発明の第1の実施形態では、例えば図10Aに示した心臓に対する指定ジェスチャと図11Aに示した心臓に対する掴みジェスチャの場合のように、人体アイコン45の同じ部位であっても、ジェスチャパターンによって異なる医療情報を取得して表示させることが可能になる。
また、図13Aの取得条件テーブル46に示したように、例えば同じ指定ジェスチャであっても、ジェスチャが行われた部位が心臓であれば、心電図、冠動脈CPR画像、心臓VR画像が取得されることになり、ジェスチャが行われた部位が肝臓であれば、ICG検査結果数値、肝臓VR画像が取得されることになる。このように、人体アイコン45に対するジェスチャパターンが同じであっても、そのジェスチャが行われた部位によって異なる医療情報を取得して表示させることが可能になる。
このように、本発明の第1の実施形態では、取得条件入力用UI32で入力されたジェスチャを、ジェスチャ種別解析部33およびジェスチャ部位解析部34が解析することによって得られた、入力ジェスチャのパターンと位置に応じて、取得条件特定部35が、そのジェスチャが直感的に表す医療情報取得条件を、取得条件テーブル46を用いて特定することができる。そして、医療情報取得部36が、特定された医療情報取得条件を満たす医療情報を医療情報管理サーバ2の医療情報データベース53から取得し、医療情報表示制御部37が、取得された医療情報を液晶ディスプレイ12に表示させることができる。したがって、ユーザは、医療情報表示装置1のタッチパネル11に対して直感的なジェスチャ操作を行うという1つのアクションのみで、所望の医療情報をきわめて容易に絞り込んで取得し、表示させることが可能になる。このように、本実施形態の医療情報表示装置1は、きわめて操作性が高い、実用的価値の高いものとなっている。
また、取得条件テーブル46を編集するための取得条件テーブル編集用UI38が提供されているので、ユーザの嗜好や医療現場での要求に合致した医療情報取得条件を柔軟に定義することが可能になり、医療情報表示装置1の操作性や柔軟性がさらに向上し、医療現場での作業効率のさらなる向上に資する。
また、人体アイコン45には、体部情報と部位詳細情報というように、各位置に対して部位情報が階層的に関連づけられているので、より柔軟かつより高度にジェスチャパターンとジェスチャ部位とを組み合わせることが可能になる。
上記第1の実施形態では、タッチの開始から移動を経て終了に至る1つのジェスチャ操作に基づいて、そのジェスチャに対応する医療情報が得られるように構成されているので、比較的単純かつ容易な操作性が提供されており、操作に不慣れな初心者向きのユーザインターフェースとなっている。一方、このユーザインターフェースだけでは、操作に熟練したユーザは操作性が不十分と感じてしまう可能性がある。そこで、本発明の第2の実施形態では、操作に熟練したユーザ向けのより複雑な操作性を有するユーザインターフェースを提供することを目的とする。本発明の第2の実施形態における医療情報表示装置と医療情報管理サーバに実装される機能構成、および、医療情報統合システムで行われる医療情報の表示処理の流れは、第1の実施形態と同様である(図4、図5参照)。
図18は、本発明の第2の実施形態における取得条件入力用UI32の一例を表したものである。図に示したように、人体アイコン45の他に、医療情報取得ボタン47が設けられている。ユーザが、人体アイコン45に対してジェスチャ操作を行った後、この医療情報取得ボタン47にタッチすると、それまでに行われた1以上のジェスチャ操作に応じた医療情報取得条件の特定処理が、取得条件特定部35によって行われる。すなわち、第1の実施形態では、1つのジェスチャ操作(タッチの開始から終了まで)が完了すると、自動的に後続の処理が行われていたのに対して、第2の実施形態では、医療情報取得ボタン47が後続の処理の実行のためのトリガとなっている。これにより、第2の実施形態では、人体アイコン45に対する複数のジェスチャ操作を受け付けることが可能になる。
図19は、複数のジェスチャ操作を組み合わせた取得条件の入力例を模式的に表したものである。図の(1)に示したように、ユーザは、まず、人体アイコン45の腹部に対する左右方向のナイフジェスチャを行う。取得条件入力用UI32は、このナイフジェスチャに応じて、ジェスチャの軌跡に沿って人体アイコン45を分離して表示させる。次に、図の(2)、(3)に示したように、ユーザは、分離された人体アイコン45の下側、上側の順に指定ジェスチャを行う。
ジェスチャ種別解析部33およびジェスチャ部位解析部34は、取得条件入力用UI32で入力された複数のジェスチャの各々について、すなわち、タッチの開始から終了までの単位でジェスチャを分割して、各ジェスチャについて、ジェスチャ種別情報およびジェスチャ部位情報を出力する。
図20は、このような複数のジェスチャの入力に対応する取得条件テーブル46の一例を表したものである。図に示したように、本実施形態では、取得条件の入力操作が複数のジェスチャからなるものについては、各ジェスチャ種別、各ジェスチャ部位を、それらの複数のジェスチャが行われた順に並べたものを登録しておく。また、本実施形態では、ジェスチャ種別およびジェスチャ部位の組合せに対して、情報種別条件だけでなく、検査部位条件と情報詳細条件が関連づけられている。図19に例示した入力例では、腹部に対するナイフジェスチャ、腹部より下側の指定ジェスチャ、腹部より上側の指定ジェスチャが行われているので、図20に例示した取得条件テーブル46の2番目のジェスチャ種別とジェスチャ部位の組合せに該当する。したがって、取得条件特定部35によって、この組合せに対応する医療情報取得条件である、検査部位条件「ナイフ指定体部」、すなわち、「腹部」、情報種別条件「CT」、「MR」、情報詳細条件「尾頭方向」が特定される。ここで、図19に例示した入力例において、(2)と(3)のジェスチャを逆順で行った場合には、図20に例示した取得条件テーブル46の3番目のジェスチャ種別とジェスチャ部位の組合せに該当し、検査部位条件「ナイフ指定体部(腹部)」、情報種別条件「CT」、「MR」、情報詳細条件「頭尾方向」が特定される。このように、図19に例示した入力例では、第2、第3の指定ジェスチャの位置の並び順によって、情報詳細条件が特定されている。
なお、図9Aに例示したナイフジェスチャのみの場合には、図20に例示した取得条件テーブル46の1番目のジェスチャ種別とジェスチャ部位の組合せに該当し、検査部位条件「ナイフ指定体部(腹部)」、情報種別条件「CT」、「MR」、情報詳細条件「尾頭方向」が特定される。このように、本実施形態では、図18の医療情報取得ボタン47にタッチするまでを取得条件の入力とすることにより、1つのジェスチャによる取得条件の入力も、2以上のジェスチャによる取得条件の入力も受け付けられるようになっている。
図21は、本発明の第2の実施形態における医療情報データベースのデータ構造と、図19および図20の例に対応する医療情報の登録例を表したものである。図に示したように、第1の実施形態の医療情報データベース(図6参照)に対して、医療情報取得条件に対応するインデックス情報として情報詳細の項目が付加された構成となっている。この情報詳細の項目には、医療情報登録部51によって、医療情報の付帯情報等から抽出されたその医療情報の情報種別を補足する詳細情報が設定される。
図19に例示した入力例の場合、取得条件特定部35で特定された、検査部位条件「腹部」、情報種別条件「CT」、情報詳細条件「尾頭方向」を満たす情報No.22の医療情報である腹部CT尾頭方向アキシャル断面画像データが、医療情報検索部52によって医療情報データベース53から抽出され、医療情報取得部36に送信される。なお、腹部CT尾頭方向アキシャル断面画像とは、腹部CTで得られるアキシャル断面画像で、患者の下から上に向かう向き(尾頭方向)に見た断面を表す画像である。一方、図19の(2)と(3)の入力を逆順にした場合には、検査部位条件「腹部」、情報種別条件「CT」、情報詳細条件「頭尾方向」を満たす情報No.21の医療情報である腹部CT頭尾方向アキシャル断面画像データが、医療情報検索部52によって医療情報データベース53から抽出される。
このように、本発明の第2の実施形態では、取得条件入力用UI32が、複数のジェスチャからなる、第1の実施形態よりも複雑な入力を受付可能であり、ジェスチャ種別解析部33およびジェスチャ部位解析部34が、入力された複数のジェスチャの各々について、そのジェスチャ種別および部位を認識し、取得条件特定部35が、複数のジェスチャの種別および部位と関連づけられた医療情報取得条件を特定する。これにより、取得条件入力用UI32はより多くの情報の入力を受け付けることができ、それに応じて、より詳細な医療情報取得条件が特定可能となる。
図22から図25は、本発明の第2の実施形態の他の具体例を説明するためのものである。図22は、1つのジェスチャによる医療情報取得条件の入力例である。図に示したように、ユーザが人体アイコン45の胸部から腹部までを上下方向にナイフジェスチャを行うと、本具体例では、ジェスチャ種別解析部33は、ナイフジェスチャの方向も認識し、ジェスチャ種別情報として、「上下方向ナイフ」を出力する。一方、図23Aおよび図24Bは、2つのジェスチャによる医療情報取得条件の入力例である。図に示したように、ユーザが、まず、人体アイコン45の左手側にタッチし、指をタッチしたまま、円弧を描くように左方向に指を動かし、人体アイコン45の右手側で指を離す操作を行うと、本具体例では、ジェスチャ種別解析部33が、このジェスチャの軌跡をパターン認識し、人体アイコン45の頭側から見て時計回りの回転を表すジェスチャと判定する。取得条件入力用UI32は、この判定結果に応じて、人体アイコン45を上記時計回りに90度回転させて図23Bのように表示させる。ここで、ユーザが、人体アイコン45の胸部から腹部までを上下方向にナイフジェスチャを行うと、ジェスチャ種別解析部33が、上記と同様に、ジェスチャ種別情報として「上下方向ナイフ」を出力する。
図24は、本具体例に対応する取得条件テーブル46を表したものである。図22の入力例の場合、取得条件特定部35は、ジェスチャ種別情報「上下方向ナイフ」、ジェスチャ部位情報「胸部・腹部」に対応する1番目のエントリに基づいて、情報種別条件として「CT」、「MR」、情報詳細条件として「サジタル」を特定する。一方、図23Aおよび図23Bの入力例の場合、取得条件特定部35は、ジェスチャ種別情報「時計回り回転+上下方向ナイフ」、ジェスチャ部位情報「胸部・腹部」に対応する2番目のエントリに基づいて、情報種別条件として「CT」、「MR」、情報詳細条件として「コロナル」を特定する。なお、検査部位条件は、第1の実施形態と同様にして、医療情報取得条件の特定に用いられた部位情報である「胸部・腹部」が、両入力例とも設定されるものとする。また、本具体例に対応するために、取得条件テーブル46に人体アイコンの向きの項目を追加し、例えば、上記1番目のエントリでは「正面」、2番目のエントリでは「側面」と設定しておいてもよい。この場合、取得条件入力用UI32が、各時点での人体アイコン46の向きを表す情報も出力するようにすればよい。
図25は、本具体例に対応する医療情報データベースの医療情報の登録例である。図22に例示した入力例の場合、取得条件特定部35で特定された、検査部位条件「胸部・腹部」、情報種別条件「CT」、情報詳細条件「サジタル」を満たす情報No.31の医療情報である胸部から腹部のCTサジタル断面画像データが、医療情報検索部52によって医療情報データベース53から抽出され、医療情報取得部36に送信される。一方、図23Aおよび図23Bに例示した入力例の場合、取得条件特定部35で特定された、検査部位条件「胸部・腹部」、情報種別条件「CT」、情報詳細条件「コロナル」を満たす情報No.32の医療情報である胸部から腹部のCTコロナル断面画像データが、医療情報検索部52によって医療情報データベース53から抽出される。
このように、本具体例では、取得条件入力用UI32で行われた第1のジェスチャである回転ジェスチャに応じて人体アイコン45を回転させ、その後の第2のジェスチャである上下方向ナイフジェスチャによって、コロナル方向の断面画像を取得するための医療情報取得条件を特定することが可能になる。
図26および図27は、本発明の第2の実施形態のさらに他の具体例を説明するためのものである。図26は本具体例によるジェスチャ入力例を表したものである。図の(1-1)および(1-2)に示したように、ユーザが、まず人体アイコン45の心臓に対して掴みジェスチャを行うと(図11A参照)、ジェスチャ種別解析部33が入力ジェスチャを掴みジェスチャと認識し、ジェスチャ部位解析部34がそのジェスチャの対象となる詳細部位が心臓であると認識する。本具体例では、取得条件入力用UI32は、これらの認識結果に応じて、掴みジェスチャの対象である心臓を人体アイコン45から掴み出すように移動させる表示を行うとともに(図11B参照)、心臓の形状を模式的に表す心臓アイコンを表示させる。この心臓アイコンは、人体アイコン45と同様に、心臓の各位置に対して、心臓の各部位(冠動脈、左心室等)を表す部位情報が関連づけられたものである。ユーザが、例えば図の(2)に示したように、心臓アイコンの冠動脈の位置に対して指定ジェスチャを行うと、ジェスチャ種別解析部33が、そのジェスチャを指定ジェスチャと認識するとともに、ジェスチャ部位解析部34が、そのジェスチャの部位を、心臓アイコンの上記関連づけに基づいて「冠動脈」と認識する。
図27は、本具体例に対応する取得条件テーブル46を表したものである。図26の入力例の場合、取得条件特定部35は、ジェスチャ種別情報「掴み→指定」、ジェスチャ部位情報「心臓→冠動脈」に対応する検査部位条件である「冠動脈」、および、各種情報種別条件を特定する。
このように、本具体例では、取得条件入力用UI32で行われた第1のジェスチャである心臓の掴みジェスチャに応じて心臓アイコンを表示させ、その後の第2のジェスチャである冠動脈の指定ジェスチャに応じて、冠動脈の医療情報を取得するための医療情報取得条件を特定することが可能になる。また、本具体例と同様にして、人体アイコン45の所定の臓器等に対する掴みジェスチャに応じてその臓器等を表すアイコンを表示させ、その臓器等のアイコンに対するジェスチャに応じて、医療情報取得条件を特定できるようにすることができる。したがって、人体アイコン45では入力しづらい小さな臓器等に対しても、人体アイコンに対する第1のジェスチャに応じてその臓器等のアイコンを拡大表示させ、その拡大表示された臓器等のアイコンに対する第2のジェスチャ入力を受け付けることにより、臓器中の特定の構成要素のような人体アイコン45では入力しづらい微細な構造物に対してもジェスチャ入力を行うことが可能になり、操作性が向上する。
なお、第1の実施形態で説明したジェスチャパターンについても、複数のジェスチャから構成されるようにしてもよい。例えば、ジェスチャ種別解析部33が所定の時間内での2回のタップ操作を指定ジェスチャと認識するようにしてもよいし、所定の時間内での3回以上のタップ操作をハンマージェスチャと認識するようにしてもよい。
上記の第1、第2の実施形態の場合、医療情報表示装置1の取得条件特定部35が、入力ジェスチャを解析して医療情報取得条件を特定した後で、医療情報管理サーバ2から医療情報を取得する処理を行うため、医療情報表示装置1のユーザにとっては、ジェスチャの完了から医療情報の表示までの間の待ち時間が長くなってしまい、操作性が低下してしまう。本発明の第3の実施形態は、このような問題点を解決するものである。
図28は、本発明の第3の実施形態における医療情報表示装置1と医療情報管理サーバ2の機能ブロック図である。図に示したように、本実施形態は、上記第1、第2の実施形態の医療情報表示装置1に、医療情報先行取得部39を付加するとともに、第1、第2の実施形態の医療情報取得部36を医療情報抽出部40に置換した構成となっている。図29は、本発明の第3の実施形態において、医療情報統合システム3で行われる医療情報の表示処理の流れを示したフローチャートである。
図に示したように、患者ID入力用UI31が、第1に実施形態と同様にして患者IDの入力を受け付けた後(#21)、医療情報先行取得部39が、入力された患者IDのみが設定された医療情報取得条件を医療情報管理サーバ2に送信する(#22)。医療情報管理サーバ2の医療情報検索部52は、医療情報取得条件(患者IDのみ)を医療情報表示装置1から受信し(#23)、医療情報データベース53の検索を行い、データベース中の患者IDが、受信した医療情報取得条件の患者IDと一致する医療情報を抽出する(#24)。このとき、医療情報の実データだけでなく、医療情報取得条件に対応するインデックス情報も抽出される。医療情報検索部52は、抽出された医療情報を医療情報表示装置1に送信する(#25)。医療情報表示装置1の医療情報先行取得部39は、送信されてきた医療情報を受信し、補助記憶装置17または主記憶装置16の所定の領域に格納する(#26)。
一方、医療情報表示装置1では、医療情報先行取得部39が上記の処理を行う間、第1の実施形態のステップ#2から#7と同様に、ジェスチャ入力の受付と、そのジェスチャに応じた医療情報取得条件の設定が行われる(#27から#31)。
そして、医療情報抽出部40は、入力されたジェスチャに応じて特定された医療情報取得条件と、医療情報先行取得部39によって取得された医療情報中のインデックス情報とに基づいて、特定された医療情報取得条件を満たす医療情報を、先行取得された医療情報の中から抽出する(#32)。そして、医療情報表示制御部37は、抽出された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ12に表示させる(#33)。
以上のように、本発明の第3の実施形態では、医療情報表示装置1において、医療情報先行取得部39が、取得条件入力用UI32によるジェスチャ入力の受付、および、取得条件特定部35による医療情報取得条件の特定の各処理と並行して、患者ID入力用UI31で入力された患者IDと関連づけられた医療情報を医療情報管理サーバ2の医療情報データベース53から先行取得するので、入力されたジェスチャに応じた医療情報を満たす医療情報を取得する際に、医療情報管理サーバ2の医療情報データベース53にアクセスする必要がなくなる。したがって、医療情報表示装置1のユーザは、取得条件入力用UI32でのジェスチャ入力後に、医療情報管理サーバ2による検索処理や、医療情報表示装置1と医療情報管理サーバ2との間の通信処理を待つ必要がなくなるので、ユーザから見たスループットが向上し、操作性が向上する。この実施形態は、特に、医療情報管理サーバ2やネットワーク9の負荷が高かったり、性能が低かったりする場合であっても、医療情報の取得を先行して行うことにより、その影響を軽減することができる。
上記各実施形態では、ジェスチャが行われた部位に関する医療情報が存在するかどうかについては、取得条件入力用UI32でのジェスチャ入力の時点では、ユーザは知ることができない。本発明の第4の実施形態は、この問題を解決するものである。
図30は、本発明の第4の実施形態における医療情報表示装置1と医療情報管理サーバ2の機能ブロック図である。図に示したように、本実施形態は、上記第3の実施形態と処理部は同様であるが、取得条件入力用UI32が、医療情報先行取得部39によって取得された医療情報を入力として用いる点が第3の実施形態と異なる。図31は、本発明の第4の実施形態において、医療情報統合システム3で行われる医療情報の表示処理の流れを示したフローチャートである。
図に示したように、本発明の第4の実施形態では、第3の実施形態と同様に、患者ID入力用UI31が、第1に実施形態と同様にして患者IDの入力を受け付けた後(#41)、医療情報先行取得部39が、入力された患者IDのみが設定された医療情報取得条件を医療情報管理サーバ2に送信する(#42)。医療情報管理サーバ2の医療情報検索部52は、医療情報取得条件(患者IDのみ)を医療情報表示装置1から受信し(#43)、医療情報データベース53の検索を行い、データベース中の患者IDが、受信した医療情報取得条件の患者IDと一致する医療情報を抽出する(#44)。このとき、医療情報の実データだけでなく、医療情報取得条件に対応するインデックス情報も抽出される。ここで、本実施形態では、医療情報検索部52は、抽出された医療情報のうちインデックス部のみを医療情報表示装置1に送信する(#45)。医療情報表示装置1の医療情報先行取得部39は、送信されてきた医療情報のインデックス部を受信し、補助記憶装置17または主記憶装置16の所定の領域に格納する(#46)。また、本実施形態では、医療情報先行取得部39が上記の処理を行う間、取得条件入力用UI32による人体アイコンの表示(第3の実施形態におけるステップ#27)は行われない。
取得条件入力用UI32が、送信されてきた医療情報の検査部位の情報を読み込み、人体アイコン中の各部位を、医療情報が存在する部位と存在しない部位に分類し、両部位が識別可能な態様で人体アイコン45を表示させる(#47)。図30は表示される人体アイコンの一例である。図に示した例では、医療情報が存在する部位は存在しない部位よりも濃い色となっている。そして、上記各実施形態と同様に、取得条件入力用UI32が人体アイコンに対するジェスチャ入力の受付(#48)から取得条件特定部35による医療情報取得条件の特定(#51)が行われる。その間、バックグラウンドでは、医療情報管理サーバ2の医療情報検索部52が、ステップ#44で抽出された医療情報の実データ部を医療情報表示装置1に送信し(#52)、医療情報表示装置1の医療情報先行取得部39が、送信されてきた医療情報の実データ部を受信し、補助記憶装置17または主記憶装置16の所定の領域に格納する(#43)。
そして、上記第3の実施形態のステップ#32と同様に、医療情報抽出部40が、特定された医療情報取得条件を満たす医療情報を、先行取得された医療情報の中から抽出し(#54)、医療情報表示制御部37が、抽出された医療情報を表示させる(#55)。
このように、本発明の第4の実施形態では、取得条件入力用UI32が、表示可能な医療情報が存在する部位と存在しない部位とを識別可能な態様で人体アイコン45を表示させるので、取得条件入力用UI32でジェスチャ入力を行う前に、患者ID入力用UI31で指定した患者について、人体アイコン45の各部位に関する医療情報が存在するかどうかを知ることができ、医療情報が得られない不必要なジェスチャ入力を回避することが可能になり、操作効率が向上する。
また、人体アイコン45を上記のように表示するには、取得条件入力用32が、医療情報先行取得部39によって先行取得された医療情報を参照する必要があるので、上記第3の実施形態と同様に、人体アイコン45の表示と医療情報全体の先行取得を並行して行うことができない。ここで、医療情報検索部52が、上記第3の実施形態と同様に、患者IDに基づいて抽出された医療情報のすべてを医療情報表示装置1に送信してしまうと、患者IDの入力から人体アイコンの表示までの待ち時間が長くなってしまい、操作性や作業効率が低下する。そこで、医療情報検索部52が、抽出された医療情報のうち、取得条件入力用UI32が必要とするインデックス部のみを先行して送信するようにしたので、患者IDの入力から人体アイコンの表示までの待ち時間が、医療情報の全項目を受信する場合に比べて大幅に短縮される。また、並行して行うことが可能な、ジェスチャ入力の受付から医療情報取得条件の特定までの処理と、医療情報の実データ部の受信については、第3の実施形態と同様に並行して行うようにしたので、ジェスチャ入力の完了後に所望の医療情報が表示されるまでの待ち時間は、上記第1、第2の実施形態と比べて短縮される。
上記各実施形態では、例えば、図33の医療情報データベースの登録例のように、検査日時の異なる、同一患者、同一検査部位、同一情報種別の医療情報が存在する場合、すなわち、同じ優先順位の医療情報取得条件を満たす医療情報が複数件抽出される場合については考慮されていない。このような場合、検査日時の新しい方の医療情報を自動的に選択して表示させたり、表示対象の医療情報の選択を受け付けるユーザインターフェースを設けたりすることが考えられる。
本発明の第5の実施形態では、このような場合のさらに効果的な医療情報の表示を実現するものである。本実施形態における医療情報表示装置と医療情報管理サーバに実装される機能構成、および、医療情報統合システムで行われる医療情報の表示処理の流れは、上記各実施形態と同様である。ただし、医療情報管理サーバ2からは、医療情報取得条件を満たす医療情報が複数件あっても、全件が医療情報表示装置1に送信されるものとし、また、送信される医療情報は、実データ部だけでなく、インデックス部も送信されてくるものとする。
本実施形態では、医療情報表示制御部37は、表示対象の医療情報のインデックス部を参照し、検査日時の異なる、同一患者、同一検査部位、同一情報種別の医療情報が存在する場合、これらを比較可能な態様で液晶ディスプレイ12に表示させる。図34は、図33に例示した検査日時の異なる2つの腹部CTアキシャル断面画像の表示例である。図に示したように、2つの腹部CTアキシャル断面画像が左右に並べられ、検査日が付されて表示されている。これにより、ユーザは、検査日時のみ異なる複数の医療情報を容易に比較することが可能になり、作業効率が向上する。なお、検査日時の異なる、同一患者、同一検査部位、同一情報種別の医療情報が存在する場合、上記のような表示を行うかどうかの選択を受け付けるユーザインターフェースを設け、ユーザの選択に応じて上記の用事を行うようにしてもよい。
上記の各実施形態では、医療情報取得条件に付された優先順位に基づいて、より優先順位の高い医療情報が表示されるようになっているが、入力されたジェスチャに対応する、優先順位のより低い医療情報を表示させたい場合も考えられる。本発明の第6の実施形態はこのような場合を考慮に入れたものである。
図35は、本発明の第6の実施形態における医療情報表示装置1と医療情報管理サーバ2の機能ブロック図である。図に示したように、本実施形態は、上記第4の実施形態の医療情報表示装置1に医療情報選択用UI41を付加した構成となっている。
図36は、本発明の第6の実施形態において、医療情報統合システム3で行われる医療情報の表示処理の流れを示したフローチャートである。図に示したように、ステップ#61から#73までは第4の実施形態のステップ#41から#53までと同様である。
医療情報抽出部40は、取得条件特定部35で特定された、優先順位の異なる複数の医療情報取得条件の各々を満たす医療情報を抽出する(#74)。ここで、医療情報抽出部40によって抽出された医療情報が1件の場合(#75;NO)、上記第4の実施形態と同様に、医療情報表示制御部37は、抽出された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ12に表示させる(#78)。一方、医療情報抽出部40によって抽出された医療情報が複数件の場合(#75;YES)、医療情報選択用UI41が、抽出された医療情報を、その医療情報が満たした医療情報取得条件の優先順位の順に並べ替えてリスト化した医療情報選択用画面を液晶ディスプレイ12に表示させる(#76)。図37Aは医療情報選択用画面の一例を表したものである。この画面は、図10Aに例示した心臓の指定ジェスチャに対応する医療情報を、図6に例示された医療情報データベース53中の医療情報から抽出した場合を表している。すなわち、この画面では、患者ID=「012345」、検査部位条件=「心臓」、情報種別条件=「心電図」または「CPR」または「VR」を満たす医療情報が、医療情報抽出部40によって抽出された場合を示している。医療情報選択用UI41は、抽出された医療情報のインデックス情報を、対応する医療情報取得条件の優先順位の順に並べ替えてリスト表示する。そして、医療情報選択用UI41は、ユーザが所望する医療情報を表す行の選択(タッチ操作)を受け付ける(#77)。図37Bは、より視覚的効果の高い医療情報選択用画面の一例を表したものである。図に示したように、この医療情報選択用画面では選択対象の医療情報がサムネイル表示されている。ここで、その医療情報に関する読影レポートや検査報告が存在するものについては、そのレポートや検査報告と関連づけられた医療情報のサムネイルにレポートを表すアイコンを付して表示してもよい。また、サムネイルの並び順は、その医療情報に対応する優先順位の順とすることができる。また、上記第5の実施形態のように、同一優先順位で検査日時の異なる医療情報が抽出される場合を考慮して、検査日時の順でもよいし、これらを組み合わせた並び順でもよい。この画面例では、医療情報選択用UI41は、ユーザが所望する医療情報を表すサムネイル画像またはアイコンの選択(タッチ操作)を受け付ける。そして、医療情報表示制御部37は、医療情報選択用UI41で選択された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ12に表示させる(#78)。
以上のように、本発明の第6の実施形態では、医療情報表示装置1の医療情報抽出部40において、取得条件特定部35によって特定された医療情報取得条件を満たす医療情報が複数件抽出された場合に、医療情報選択用UI41が表示対象の医療情報の選択を受け付けるので、ユーザは、簡単なタッチ操作で所望の医療情報を表示させることが可能になり、操作性がさらに向上する。
上記の各実施形態では、例えば医療情報が画像である場合、画像診断システム5において生成済みの画像が医療情報データベース53に登録されていることを前提としている。これに対して、本発明の第7の実施形態は、医療情報としてボリュームデータ等が医療情報データベースに格納されている場合に対応したものである。
図38は、本発明の第7の実施形態における医療情報表示装置1と医療情報管理サーバ2の機能ブロック図である。図に示したように、本実施形態は、上記第4の実施形態の医療情報表示装置1に表示画像生成部42を付加した構成となっている。また、医療情報データベース53には、図40に具体的に表したように、第1の実施形態のデータ構造において、医療情報の実データとして、生成済みの画像ではなく、CT等の各種モダリティで得られたボリュームデータが格納されている。
図39は、本発明の第7の実施形態において、医療情報統合システム3で行われる医療情報の表示処理の流れを示したフローチャートである。図に示したように、ステップ#81から#94までは第4の実施形態のステップ#41から#54までと同様である。
ここで、医療情報取得条件を満たす医療情報として、ボリュームデータが医療情報抽出部40によって抽出された場合(#95;YES)、表示画像生成部42は、そのボリュームデータと関連づけられた医療情報の検査部位と情報種別を読み込み、それらの内容に応じた表示画像を生成する。例えば、図40の情報No.51の医療情報の場合、検査部位「腹部」、情報種別「CT」に基づいて、腹部CTボリュームデータからアキシャル断面画像が生成される。ここで、アキシャル断面の位置は、プログラムの起動パラメータや設定ファイル等で予め定められた位置とすることができる。あるいは、取得条件入力用UI32で受け付けられたナイフジェスチャ(図9A参照)の位置に基づいて、その位置が属する部位(腹部)の上下方向の長さに対する、その位置のその部位の上端からの長さの比率を算出し、抽出された腹部CTボリュームデータにおける、その比率に対応する体軸方向の位置をアキシャル断面の位置としてもよい。なお、抽出された情報No.51の医療情報が、アキシャル断面画像の集合体である場合には、その中から前述の方法によって定められた位置におけるアキシャル断面画像を選択すればよい。また、情報No.54の医療情報の場合、検査部位「心臓」、情報種別「VR」に基づいて、胸部CTボリュームデータから心臓を表すボリュームレンダリング画像が生成される。
以上のように、本発明の第7の実施形態では、医療情報登録部51が、生成済みの医用画像の代わりに、その医用画像の生成元データとなるボリュームデータ等を医療情報データベース53に登録しておき、その医療情報が医療情報取得条件を満たす医療情報として抽出された場合には、表示画像生成部42が、その医療情報のインデックス情報に応じた表示画像を生成するようにしたので、このような場合でも、上記各実施形態と同様の医療情報(画像)を表示させることが可能になる。
また、本実施形態において、表示画像の生成条件を変更するためのユーザインターフェースをさらに設ければ、例えば、断面の位置や向き、ボリュームレンダリングのカラーテンプレートやオパシティカーブ、視点の位置や視線方向等の生成条件を自由に変更することが可能になり、表示画像生成部42は、変更後の生成条件に応じた表示画像を生成することが可能になる。これにより、医療情報表示装置1での、よりインタラクティブな医療情報の表示が実現される。
上記各実施形態では、取得条件テーブル46に定義された優先順位の異なる医療情報取得条件に基づいて取得された複数件の医療情報が同時に表示されることがなかったが、ユーザの嗜好や医療現場の要求によっては、これらの医療情報を同時に表示したい場合もありうる。このような場合、複数件の医療情報をどのようなレイアウトで同時表示させるかが問題となる。本発明の第8の実施形態は、このような問題を解決するものである。
図41は、本発明の第8の実施形態における取得条件テーブル46の構成を表したものである。図に示したように、表示条件の項目が付加された構成となっている。この表示条件の項目は、表示対象の複数の医療情報に対して1つ定義されるものであり、この例では、情報No.1から8までの医療情報に対してレイアウトNo.1で識別される表示条件が関連づけられる。図42は、このレイアウトNo.1の表示条件の一例を模式的に表したものである。図に示したように、この表示条件では、冠動脈の平均径を表すグラフGRが表示される領域WGR、冠動脈のストレートCPR画像ST−CPRが表示される領域WST−CPR、冠動脈の直交断面を表すMPR画像MPR−0が表示される領域WMPR−0、アキシャル、サジタル、コロナル断面を表す3つのMPR画像MPR−1、MPR−2、MPR−3がそれぞれ表示される領域WMPR−1、WMPR−2、WMPR−3、ストレッチCPR画像SC−CPRが表示される領域WSC−CPR、ボリュームレンダリング画像VRが表示される領域WVRの8つの領域が配置されたレイアウトを示している。
本実施形態では、医療情報取得部36または医療情報抽出部40が、優先順位の異なる医療情報取得条件の各々を満たす医療情報をすべて取得する。また、医療情報表示制御部37が、取得条件テーブル46を参照し、取得された各医療情報が満たしている医療情報取得条件に関連づけられた表示条件を特定し、取得された各医療情報を、特定された表示条件に基づいて表示させる。図43は、図41に例示された医療情報取得条件を満たす各医療情報を、各医療情報と関連づけられたレイアウトNo.1の表示条件(図42に例示)に基づいて表示させた例を表している。
このように、本実施形態では、医療情報表示制御部37が、取得条件テーブル46を参照し、表示対象の医療情報に対応する医療情報取得条件と関連づけられている表示条件を特定し、特定された表示条件に基づいて、表示対象の医療情報を表示させることができる。したがって、上記のように、表示対象の医療情報が複数件存在する場合であっても、適切なレイアウトで医療情報を表示させることが可能になる。
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
例えば、本発明の実施形態は、各実施形態の特徴的構成を適宜組み合わせ実施形態であってもよい。具体的には、本発明の第2の実施形態の取得条件テーブル46を第3から第8の実施形態で採用してもよいし、第6の実施形態の医療情報選択用UI41を第1、第2の実施形態に付加してもよい。
また、上記各実施形態の医療情報データベース53は、医療情報の実データも登録されているものとして説明を行ったが、医療情報の実データの代わりに、その実データにアクセスするためのリンク情報(アドレス情報)を登録しておき、実データは、登録元の他システムのデータベースのものを用いるようにし(リンク情報のリンク先を他システムのデータベースとし)、その医療情報が表示対象となった場合にのみ、そのリンク情報に基づいて、実データを取得するようにしてもよい。
また、上記実施形態では、医療情報が統合的に管理される医療情報管理サーバ2を設け、医療情報表示装置1は、医療情報管理サーバ2が備える医療情報データベース53から医療情報を取得するようにしていたが、画像診断システム5や内視鏡検査システム6等の他システムの各々から、直接、医療情報を取得するようにしてもよい。
また、医療情報表示装置1が医療情報データベース53を備えていてもよい。この場合、医療情報取得部36または医療情報先行取得部39に、医療情報検索部52の機能を持たせればよい。
また、上記実施形態では、本発明の医療情報表示装置1を、図2に示したように携帯型の装置として説明してきたが、タッチパネル付き液晶ディスプレイとコンピュータ本体を有するデスクトップ型の装置であってもよい。
また、タッチパネル11から入力されたジェスチャは、ジェスチャ種別解析部33およびジェスチャ部位解析部34で、その内容の解析を行っているが、その全部または一部を、医療情報表示装置1のオペレーティングシステムやタッチパネルドライバ(ソフトウェア)側で行うようにしてもよい。
また、医療情報の一例である画像は、静止画ではなく、動画であってもよい。
1 医療情報表示装置
2 医療情報管理サーバ
3 医療情報統合システム
4 電子カルテシステム
5 画像診断システム
6 内視鏡検査システム
7 病理検査システム
8 各診療科システム
9 ネットワーク
11 タッチパネル
12 液晶ディスプレイ
13 アンテナ部
14 電源スイッチ
15 CPU
16 主記憶装置
17 補助記憶装置
18 通信インターフェース
19 データバス
31 患者ID入力用ユーザインターフェース(UI)
32 取得条件入力用ユーザインターフェース(UI)
33 ジェスチャ種別解析部
34 ジェスチャ部位解析部
35 取得条件特定部
36 医療情報取得部
37 医療情報表示制御部
38 取得条件テーブル編集用ユーザインターフェース(UI)
39 医療情報先行取得部
40 医療情報抽出部
41 医療情報選択用ユーザインターフェース(UI)
42 表示画像生成部
45 人体アイコン
46 取得条件テーブル
51 医療情報登録部
52 医療情報検索部
53 医療情報データベース

Claims (17)

  1. 所与の情報を表示する表示手段と、
    該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するジェスチャ入力手段と、
    被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示させる第1の表示制御手段と、
    該被検体外観画像の表示中に前記ジェスチャ入力手段によって検出されたジェスチャ操作に応じて出力された前記ジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するジェスチャ種別解析手段と、
    前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、該被検体外観画像の表示中のジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するジェスチャ部位解析手段と、
    該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、
    該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得する医療情報取得手段と、
    該取得された医療情報を前記表示手段に表示させる第2の表示制御手段とを備えたことを特徴とする医療情報表示装置。
  2. 前記ジェスチャ入力手段は、タッチパネル式の入力手段であることを特徴とする請求項1に記載の医療情報表示装置。
  3. 前記被検体外観画像が、前記被検体を模式的に表した画像であることを特徴とする請求項1または2に記載の医療情報表示装置。
  4. 前記第1の表示制御手段が、前記被検体外観画像の表示中に検出されたジェスチャ操作に対応する、前記ジェスチャ種別および/または前記ジェスチャ部位に基づいて、前記被検体外観画像中の被検体の態様を、前記検出されたジェスチャ操作に応じた所定の態様に変更して表示させるものであることを特徴とする請求項1から3のいずれか1項に記載の医療情報表示装置。
  5. 前記第1の表示制御手段が、前記被検体外観画像の表示中に検出された第1のジェスチャ操作について、前記ジェスチャ種別判別手段によって判別された第1の前記ジェスチャ種別、および/または、該第1のジェスチャ操作について、前記ジェスチャ部位判別手段によって特定された第1の前記ジェスチャ部位に基づいて、前記被検体外観画像中の被検体の態様を、前記検出されたジェスチャ操作に応じた所定の態様に変更して表示させるものであり、
    前記取得条件特定手段が、前記第1のジェスチャ種別、前記第1のジェスチャ部位、前記変更後の被検体外観画像の表示中に検出された第2のジェスチャ操作について、前記ジェスチャ種別判別手段によって判別された第2の前記ジェスチャ種別、該第2のジェスチャ操作について、前記ジェスチャ部位判別手段によって特定された第2の前記ジェスチャ部位の少なくとも一部に基づいて、前記第1のジェスチャ操作および前記第2のジェスチャ操作に対応する前記医療情報取得条件を特定するものであることを特徴とする請求項1から3のいずれか1項に記載の医療情報表示装置。
  6. 前記取得条件特定手段は、前記ジェスチャ種別と前記ジェスチャ部位の組合せに対して前記医療情報取得条件を関連づけた参照データに基づいて、前記医療情報取得条件を特定するものであることを特徴とする請求項1から5のいずれか1項に記載の医療情報表示装置。
  7. 前記参照データは、1組の前記ジェスチャ種別と前記ジェスチャ部位の組合せに対して、1以上の前記医療情報取得条件が関連づけられたものであり、該組合せに対して2以上の前記医療情報取得条件が関連づけられた場合には、該複数の医療情報取得条件の各々には、該医療情報取得条件の優先順位がさらに関連づけられたものであることを特徴とする請求項6に記載の医療情報表示装置。
  8. 前記参照データの編集を行う参照データ編集手段をさらに備えたことを特徴とする請求項6または7に記載の医療情報表示装置。
  9. 所与の条件を満たす医療情報を前記医療情報記憶手段から先行取得する医療情報先行取得手段をさらに備え、
    前記第1の表示制御手段が、前記被検体外観画像に表された被検体中の各部位を、該部位に関する医療情報が該先行取得された医療情報の中に存在する部位と、該部位に関する医療情報が該先行取得された医療情報の中に存在しない部位とが異なる態様となるように表示させるものであることを特徴とする請求項1から8のいずれか1項に記載の医療情報表示装置。
  10. 前記第2の表示制御手段が、前記医療情報取得手段によって検査時期の異なる同種の検査に関する複数件の医療情報を取得した場合に、該複数件の医療情報を比較可能な態様で表示させるものであることを特徴とする請求項1から9のいずれか1項に記載の医療情報表示装置。
  11. 前記被検体を表す医用画像が前記医療情報取得手段によって前記医療情報記憶手段から取得された場合、必要に応じて、前記取得された医用画像に対して、前記医療情報取得条件を満たす医用画像を得るための所定の画像処理を行う画像処理手段をさらに備えたことを特徴とする請求項1から10のいずれか1項に記載の医療情報表示装置。
  12. 前記医療情報取得手段が前記医療情報取得条件を満たす医療情報を複数件取得した場合、該複数件の医療情報を前記表示手段に一覧表示させ、表示対象の前記医療情報の選択を受け付ける選択受付手段をさらに備え、
    前記第2の表示制御手段は、前記選択受付手段によって選択された医療情報を表示させるものであることを特徴とする請求項1から11のいずれか1項に記載の医療情報表示装置。
  13. 前記選択受付手段は、前記一覧表示の際、前記複数件の医療情報をサムネイルまたはアイコンの態様で表示させるものであることを特徴とする請求項12に記載の医療情報表示装置。
  14. 被検体についての医療情報を、所与の医療情報取得条件に基づいて選択的に提供する医療情報提供装置と、該医療情報を表示する医療情報表示装置とがネットワークを介して通信可能に接続された医療情報表示システムであって、
    該医療情報表示装置は、
    所与の情報を表示する表示手段と、
    該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するジェスチャ入力手段と、
    被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示させる第1の表示制御手段と、
    該被検体外観画像の表示中に前記ジェスチャ入力手段によって検出されたジェスチャ操作に応じて出力された前記ジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するジェスチャ種別解析手段と、
    前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、該被検体外観画像の表示中のジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するジェスチャ部位解析手段と、
    該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、
    該特定された医療情報取得条件を満たす前記医療情報を前記医療情報提供装置から取得する医療情報取得手段と、
    該取得された医療情報を前記表示手段に表示させる第2の表示制御手段とを備えたものであることを特徴とする医療情報表示システム。
  15. 前記医療情報提供装置は、
    複数件の前記医療情報を、所与の前記医療情報取得条件に基づいて選択可能なデータ構造で記憶する医療情報記憶手段と、
    前記医療情報表示装置から前記医療情報取得条件を受信する取得条件受信手段と、
    該受信した医療情報取得条件を満たす前記医療情報を前記医療情報記憶手段から取得する医療情報検索手段と、
    該取得された医療情報を、前記医療情報取得条件を送信した医療情報表示装置に送信する医療情報送信手段とを備えたものであることを特徴とする請求項14に記載の医療情報表示システム。
  16. 被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示するステップと、
    該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するステップと、
    前記出力されたジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するステップと、
    前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、前記ジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するステップと、
    該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、
    該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、
    該取得された医療情報を前記表示手段に表示するステップとを有することを特徴とする医療情報表示方法。
  17. コンピュータに、
    被検体の外観を表す被検体外観画像の画像データであって、該画像中の各位置に対して、該被検体の部位を識別する部位識別情報が関連づけられたものに基づいて、該被検体外観画像を前記表示手段の所定の表示位置に表示させるステップと、
    該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するステップと、
    前記出力されたジェスチャ情報に基づいて、該ジェスチャ操作が所定の複数のジェスチャ操作パターンのうちのいずれであるかを表すジェスチャ種別を判別するステップと、
    前記被検体外観画像の表示位置の情報と、前記被検体外観画像データに関連づけられた部位識別情報と、前記ジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作が行われた位置を表すジェスチャ位置情報とに基づいて、前記ジェスチャ操作に対応する前記被検体の部位であるジェスチャ部位を特定するステップと、
    該ジェスチャ種別および該ジェスチャ部位に基づいて、前記被検体外観画像の表示中のジェスチャ操作に対応する前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、
    該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、
    該取得された医療情報を前記表示手段に表示させるステップとを実行させることを特徴とする医療情報表示制御プログラム。
JP2010191853A 2010-08-30 2010-08-30 医療情報表示装置および方法、並びにプログラム Expired - Fee Related JP5465135B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010191853A JP5465135B2 (ja) 2010-08-30 2010-08-30 医療情報表示装置および方法、並びにプログラム
CN2011800419414A CN103153171A (zh) 2010-08-30 2011-08-24 医疗信息显示设备、方法和程序
PCT/JP2011/004710 WO2012029255A1 (ja) 2010-08-30 2011-08-24 医療情報表示装置および方法、並びにプログラム
EP11821279.4A EP2612591A4 (en) 2010-08-30 2011-08-24 DEVICE AND METHOD FOR DISPLAYING MEDICAL INFORMATION, AND PROGRAM
US13/780,687 US20130174077A1 (en) 2010-08-30 2013-02-28 Medical information display apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010191853A JP5465135B2 (ja) 2010-08-30 2010-08-30 医療情報表示装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012048602A JP2012048602A (ja) 2012-03-08
JP5465135B2 true JP5465135B2 (ja) 2014-04-09

Family

ID=45772382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010191853A Expired - Fee Related JP5465135B2 (ja) 2010-08-30 2010-08-30 医療情報表示装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20130174077A1 (ja)
EP (1) EP2612591A4 (ja)
JP (1) JP5465135B2 (ja)
CN (1) CN103153171A (ja)
WO (1) WO2012029255A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5628927B2 (ja) * 2010-08-31 2014-11-19 富士フイルム株式会社 医療情報表示装置および方法、並びにプログラム
JP2013210911A (ja) * 2012-03-30 2013-10-10 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及びプログラム
US8908947B2 (en) * 2012-05-21 2014-12-09 Terarecon, Inc. Integration of medical software and advanced image processing
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
JP5747007B2 (ja) * 2012-09-12 2015-07-08 富士フイルム株式会社 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
EP2939202A4 (en) * 2012-12-28 2016-09-21 Volcano Corp DEVICES, SYSTEMS AND METHOD FOR HANDLING OF DATA RELATED TO MULTIMODAL INVASIVE MEDICAL SYSTEMS
USD742891S1 (en) * 2013-04-23 2015-11-10 Eidetics Corporation Display screen or portion thereof with a graphical user interface
WO2015012006A1 (ja) 2013-07-22 2015-01-29 オリンパスメディカルシステムズ株式会社 医療用携帯端末装置
JP6232940B2 (ja) 2013-11-01 2017-11-22 富士ゼロックス株式会社 画像情報処理装置及びプログラム
CN103605426A (zh) * 2013-12-04 2014-02-26 深圳中兴网信科技有限公司 基于手势识别的信息显示系统及其信息显示方法
JP2015215740A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101599890B1 (ko) 2014-07-22 2016-03-04 삼성전자주식회사 의료 영상 처리 장치 및 방법
JP2016033777A (ja) * 2014-07-31 2016-03-10 富士通株式会社 カルテ入力支援プログラム、カルテ入力支援方法及びカルテ入力支援装置
US9928570B2 (en) * 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
US10162935B2 (en) 2014-11-26 2018-12-25 Koninklijke Philips N.V. Efficient management of visible light still images and/or video
JP6902012B2 (ja) * 2014-12-26 2021-07-14 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP6462358B2 (ja) * 2014-12-26 2019-01-30 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
USD749115S1 (en) * 2015-02-20 2016-02-09 Translate Abroad, Inc. Mobile device with graphical user interface
CN113384360A (zh) * 2015-10-02 2021-09-14 索尼公司 医疗控制设备、控制方法、程序以及医疗控制系统
CN105528158B (zh) * 2015-12-25 2018-12-07 北京嘉和美康信息技术有限公司 图片显示方法及图片显示装置
CN106682429A (zh) * 2016-12-30 2017-05-17 上海联影医疗科技有限公司 医学数据处理方法及医学数据管理系统
JP7172093B2 (ja) * 2017-03-31 2022-11-16 大日本印刷株式会社 コンピュータプログラム、表示装置、表示システム及び表示方法
JP2017169222A (ja) * 2017-05-10 2017-09-21 合同会社IP Bridge1号 リンク先指定用インタフェース装置、視聴者用インタフェース装置、及びコンピュータプログラム
JP2019200463A (ja) * 2018-05-14 2019-11-21 オリンパス株式会社 検査画像表示制御方法、検査画像表示制御装置及び検査画像表示制御システム
EP3709307A1 (en) 2019-03-13 2020-09-16 Koninklijke Philips N.V. Storing and rendering audio and/or visual content of a user
JP7525248B2 (ja) * 2019-04-10 2024-07-30 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理プログラム
JP7331462B2 (ja) * 2019-05-24 2023-08-23 京セラドキュメントソリューションズ株式会社 ロボットシステム、ロボット制御方法及び電子装置
CN110288579A (zh) * 2019-06-24 2019-09-27 珠海格力智能装备有限公司 显示设备的检测方法及装置
JP6934256B2 (ja) * 2019-11-29 2021-09-15 株式会社シェアメディカル 聴診部位マッピングシステム及び聴診音データ生成アプリ

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572651A (en) * 1993-10-15 1996-11-05 Xerox Corporation Table-based user interface for retrieving and manipulating indices between data structures
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6692258B1 (en) * 2000-06-26 2004-02-17 Medical Learning Company, Inc. Patient simulator
WO2001069500A1 (en) * 2000-03-10 2001-09-20 Medorder, Inc. Method and system for accessing healthcare information using an anatomic user interface
JP2004514981A (ja) * 2000-11-22 2004-05-20 リケア・インコーポレイテッド 医学検査の医療上の発見を記録するシステム及び方法
US20030146942A1 (en) * 2002-02-07 2003-08-07 Decode Genetics Ehf. Medical advice expert
JP2003260030A (ja) * 2002-03-08 2003-09-16 Konica Corp 医用画像システム、及び医用画像情報の抽出表示方法
US7225131B1 (en) * 2002-06-14 2007-05-29 At&T Corp. System and method for accessing and annotating electronic medical records using multi-modal interface
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2005080969A (ja) * 2003-09-10 2005-03-31 Konica Minolta Medical & Graphic Inc 選択支援システム、選択支援方法
US20050273363A1 (en) * 2004-06-02 2005-12-08 Catalis, Inc. System and method for management of medical and encounter data
US20050283387A1 (en) * 2004-06-21 2005-12-22 Epic Systems Corporation System for providing an interactive anatomical graphical representation of a body for use in a health care environment
US7421647B2 (en) * 2004-07-09 2008-09-02 Bruce Reiner Gesture-based reporting method and system
US20060173858A1 (en) * 2004-12-16 2006-08-03 Scott Cantlin Graphical medical data acquisition system
US7639852B2 (en) * 2005-03-16 2009-12-29 Siemens Aktiengesellschaft Method for associating data with medical image datasets
US8238999B2 (en) * 2005-06-23 2012-08-07 Siemens Aktiengesellschaft Method for display of at least one medical finding
US20070192694A1 (en) * 2006-02-13 2007-08-16 Microsoft Corporation Information display for disparate data sets
US20080114614A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity
US10540731B2 (en) * 2006-11-24 2020-01-21 Compressus Inc. Pre-fetching patient data for virtual worklists
JP2008259682A (ja) 2007-04-12 2008-10-30 Fujifilm Corp 部位認識結果修正装置、方法、およびプログラム
US20080273774A1 (en) * 2007-05-04 2008-11-06 Maged Mikhail System and methods for capturing a medical drawing or sketch for generating progress notes, diagnosis and billing codes
EP2017756A1 (de) * 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
US20090037223A1 (en) * 2007-08-01 2009-02-05 Medical Development International Ltd. Inc. System and method for accessing patient history information in a health services environment using a human body graphical user interface
JP2009119000A (ja) 2007-11-14 2009-06-04 Nemoto Kyorindo:Kk 医療画像処理用の補助コントローラ、画像処理システム、及び医療画像の処理方法
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US20100050110A1 (en) * 2008-08-19 2010-02-25 General Electric Company Integration viewer systems and methods of use
JP5274180B2 (ja) * 2008-09-25 2013-08-28 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US20100328235A1 (en) * 2009-06-29 2010-12-30 Frederick Charles Taute Medical Code Lookup Interface
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures

Also Published As

Publication number Publication date
JP2012048602A (ja) 2012-03-08
EP2612591A1 (en) 2013-07-10
CN103153171A (zh) 2013-06-12
WO2012029255A1 (ja) 2012-03-08
US20130174077A1 (en) 2013-07-04
EP2612591A4 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5465135B2 (ja) 医療情報表示装置および方法、並びにプログラム
JP5777078B2 (ja) 医療情報表示装置および方法、並びにプログラム
US9144407B2 (en) Image processing device and method, and program
JP5572440B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP5523891B2 (ja) 病変領域抽出装置、その作動方法およびプログラム
US20140071072A1 (en) Medical image display apparatus, method and program
JP2018175216A (ja) 医用画像表示装置及びプログラム
JP2015102944A (ja) 医用情報処理装置
US9792261B2 (en) Medical image display apparatus, medical image display method, and recording medium
JP6235610B2 (ja) マルチモダリティ医療用撮像システムにおける測定および強調
JP2013178742A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP5556674B2 (ja) 医用画像表示装置及びプログラム
JP6471409B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP5657451B2 (ja) 医用文書作成支援装置、医用文書作成支援方法、並びに医用文書作成支援プログラム
US10796433B2 (en) Interpretation support apparatus, operation method thereof, and non-transitory computer readable medium
KR20210012492A (ko) 의료 영상 분석 보조 시스템, 화면을 갖는 전자 장치에서 수행되는 방법, 화면을 갖는 전자 장치의 그래픽 사용자 인터페이스
JP2009061028A (ja) 画像処理装置及びそれを備えた医用ワークステーション
KR20220026236A (ko) 의료 영상 분석 보조 시스템, 화면을 갖는 전자 장치에서 수행되는 방법, 화면을 갖는 전자 장치의 그래픽 사용자 인터페이스
JP2005301729A (ja) 医用画像健診システム
JP2024101315A (ja) 画像解析支援装置、画像解析支援システム、画像解析支援方法及び画像解析支援プログラム
CN115586936A (zh) 病人信息呈现方法及电子装置
JP2010061489A (ja) 医用画像表示方法及び装置、並びに医用画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140121

R150 Certificate of patent or registration of utility model

Ref document number: 5465135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees