JP5628927B2 - 医療情報表示装置および方法、並びにプログラム - Google Patents

Description

本発明は、タッチパネル等の直感的なユーザインターフェースを用いて、ユーザが所望する医療情報を表示させる技術に関するものである。

医療現場では、ＣＴ、ＭＲＩ、ＵＳ、ＰＥＴ等のモダリティで取得された画像情報の他、心電図や脳波等の波形の情報、血圧、体温等の数値情報、各種検査報告、カルテ等の文字情報等、多種多様な医療情報が発生している。

例えば内視鏡検査の場合、気管支鏡、消化管内視鏡、胸腔鏡、腹腔鏡、関節鏡等、被検体の部位に応じた内視鏡があり、様々な内視鏡画像が得られ、得られた内視鏡画像の所見等が記された内視鏡検査の報告書が作成される。また、ＣＴ等で得られた３次元のボリュームデータを入力として中心投影法による画素値の投影処理を行えば、被検体内を仮想的な内視鏡で観察した様子を表す仮想内視鏡画像が生成される。生成された内視鏡画像は画像診断で用いられ、読影レポートが作成される。

医療機関には、このような医療情報を管理するシステムが構築されているところがある。例えば、これらの医療情報は電子データとしてデータベースに格納され、クライアント端末からの要求に応じて、ユーザが所望する医療情報がデータベースから選択され、クライアント端末に接続されたディスプレイに表示される。

このような医療情報の選択および表示の操作性を向上するために、様々なユーザインターフェースが提案されている。例えば、患者の所定部位の指定を行う際に、表示部に表示される人体アイコン画像を用いたGUIから概略部位を選択させ、選択された概略部位に対応する詳細な部位情報を表示部に表示し、表示された詳細な部位情報から所望する詳細部位の選択を可能にしたものが知られている（例えば、特許文献１）。

また、医用画像処理用ワークステーションに接続されて使用されるタッチパネル式ディスプレイを備えた入力装置で、タッチ操作により、アキシャル断面画像中に基準線を作成すると、作成された基準線を切断面とするコロナル断面画像を作成して表示させるようにしたものが知られている（例えば、特許文献２）。

特開２００５−８０９６９号公報 特開２００９−１１９０００号公報

しかしながら、特許文献１に記載されたユーザインターフェースは、概略部位のみを直感的に選択できるようになっているが、前述のとおり、医療現場では多種多様な医療情報が発生しているので、このような概略部位の選択だけで所望の医療情報を直感的かつ適切かつ迅速に絞り込むことができるとは限らない。また、特許文献２に記載されたユーザインターフェースは、既に選択されている画像を切り替える操作のためのものであり、所望の医療情報を適切に絞り込むためのものではない。

本発明は上記事情に鑑みてなされたものであり、実際の、および／または、仮想的な内視鏡検査についての医療情報を、より直感的、かつ、より簡便な操作で取得可能にする医療情報表示装置、システム、および方法、並びに医療情報表示制御プログラムを提供することを目的とするものである。

本発明の医療情報表示装置は、所与の情報を表示する表示手段と、該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するジェスチャ入力手段と、被検体の外観を表す被検体外観画像を前記表示手段の所定の表示位置に表示させる第１の表示制御手段と、該被検体外観画像の表示中に前記ジェスチャ入力手段によって検出されたジェスチャ操作に応じて出力された前記ジェスチャ情報と、前記被検体外観画像の表示位置の情報とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得する医療情報取得手段と、該取得された医療情報を前記表示手段に表示させる第２の表示制御手段とを備えた医療情報表示装置であって、前記取得条件特定手段には、前記被検体外観画像の表示位置の情報と、該被検体外観画像の表示中のジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作の軌跡を表すジェスチャ軌跡情報とが、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する操作を表す内視鏡ジェスチャ条件を満たす場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定する内視鏡条件特定手段を設けたことを特徴とする。

本発明の医療情報表示システムは、被検体についての医療情報を、所与の医療情報取得条件に基づいて選択的に提供する医療情報提供装置と、本発明の医療情報表示装置とがネットワークを介して通信可能に接続されたものである。ここで、前記医療情報提供装置は、複数件の前記医療情報を、所与の前記医療情報取得条件に基づいて選択可能なデータ構造で記憶する医療情報記憶手段と、前記医療情報表示装置から前記医療情報取得条件を受信する取得条件受信手段と、該受信した医療情報取得条件を満たす前記医療情報を前記医療情報記憶手段から取得する医療情報検索手段と、該取得された医療情報を、前記医療情報取得条件を送信した医療情報表示装置に送信する医療情報送信手段とを有するものとしてもよい。

本発明の医療情報表示方法は、被検体の外観を表す被検体外観画像を表示手段に表示するステップと、該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャの入力を受け付け、該入力されたジェスチャの該表示面における位置を表すジェスチャ位置情報を出力するステップと、該出力されたジェスチャ位置情報と、該被検体外観画像の前記表示面における位置とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、該取得された医療情報を表示するステップとを有する医療情報表示方法であって、前記医療情報取得条件を特定するステップが、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、該内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定するステップを含むようにしたことを特徴とする。

本発明の医療情報表示制御プログラムは、コンピュータに、被検体の外観を表す被検体外観画像を表示手段に表示させるステップと、該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャの入力を受け付け、該入力されたジェスチャの該表示面における位置を表すジェスチャ位置情報を出力するステップと、該出力されたジェスチャ位置情報と、該被検体外観画像の前記表示面における位置とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、該取得された医療情報を表示させるステップとを実行させる医療情報表示制御プログラムであって、前記医療情報取得条件を特定するステップにおいて、前記コンピュータに、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、該内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定するステップを実行させるようにしたことを特徴とする。

ここで、前記被検体外観画像の具体例としては、前記被検体を模式的に表した画像が挙げられる。前記被検体外観画像は、該画像中の各位置の位置情報に対して、前記被検体の部位を識別する部位識別情報が関連づけられた画像としてもよい。

前記内視鏡ジェスチャ条件を満たすかどうかの判断、および／または、前記の内視鏡検査についての医療情報取得条件の特定は、前記被検体外観画像に表された前記被検体上の、前記ジェスチャ操作の軌跡の始点に近い位置、前記ジェスチャの終点の、前記被検体外観画像に表された前記被検体上での位置、前記ジェスチャ上の複数の点の、前記被検体外観画像に表された前記被検体上での位置である軌跡通過位置、前記ジェスチャの形状のうちの少なくとも１つに基づいて行うようにしてもよい。

前記内視鏡検査についての医療情報を取得するための医療情報取得条件を満たす医療情報として、実際の内視鏡による撮像によって形成された実内視鏡画像と、前記被検体を表す３次元医用画像から再構成された、該被検体の体腔内の所与の位置から見た該体腔内を表す仮想内視鏡画像とを取得した場合、該実内視鏡画像と該仮想内視鏡画像とを同時に表示させるようにしてもよい。また、それに先立って、該実内視鏡画像と該仮想内視鏡画像とを同時に表示させるか否かの選択を受け付けるようにしてもよい。

前記被検体を表す医用画像を前記医療情報記憶手段から取得した場合、必要に応じて、前記取得された医用画像に対して所定の画像処理を行うようにし、前記仮想的な内視鏡検査についての医療情報を取得するための医療情報取得条件を満たす医療情報として、前記被検体を表す３次元医用画像を取得した場合、該３次元医用画像に基づいて、前記被検体の体腔内の所与の位置から見た該体腔内を表す仮想内視鏡画像を生成するようにし、該生成された仮想内視鏡画像を表示させるようにしてもよい。

前記医療情報取得条件を満たす医療情報を複数件取得した場合、該複数件の医療情報を前記表示手段に一覧表示させ、表示対象の前記医療情報の選択を受け付けるようにし、選択された医療情報を表示させるようにしてもよい。ここで、複数件の医療情報は、異なる時期の検査を表すものであってもよいし、前記被検体の異なる部位を表すものであってもよい。また、前記一覧表示の際、前記複数件の医療情報をサムネイルまたはアイコンの態様で表示させるようにしてもよい。

本発明によれば、表示手段に被検体外観画像が表示されているときに、その表示面に対して行われたジェスチャの入力を受け付け、そのジェスチャの位置情報と被検体外観画像の表示面における位置とに基づいて、被検体外観画像に表された被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての医療情報を取得するための医療情報取得条件を特定し、特定された医療情報取得条件を満たす医療情報を複数件の医療情報を記憶する医療情報記憶手段から選択的に取得し、取得された医療情報を表示することができる。したがって、より直感的、かつ、より簡便な操作で内視鏡検査についての医療情報を取得することが可能になる。

本発明の実施形態となる医療情報表示装置を含む医療情報統合システムとその周辺システムの構成を表した図 本発明の実施形態となる医療情報表示装置の外観を模式的に表した図 本発明の実施形態となる医療情報表示装置の主要構成要素を表したブロック図 本発明の第１の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第１の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 人体アイコンの一例を表した図 本発明の第１、第２の実施形態における医療情報データベースのデータ構造と登録されたデータの一例を表した図 医療情報データベースに登録される内視鏡関連情報の登録条件をまとめた表 人体アイコンで表された人体に上部消化管内視鏡を挿入するジェスチャの一例を表した図 人体アイコンで表された人体に大腸上部消化管内視鏡を挿入するジェスチャの一例を表した図 内視鏡ジェスチャの判定に用いられる参照データの第１の例を表した表 内視鏡ジェスチャの判定に用いられる参照データの第２の例を表した表 内視鏡ジェスチャの判定に用いられる参照データの第３の例を表した表 内視鏡ジェスチャの判定に用いられる参照データの第４の例を表した表 内視鏡ジェスチャの判定に用いられる参照データの第５の例を表した表 内視鏡ジェスチャの判定に用いられる参照データの第６の例を表した表 内視鏡ジェスチャの軌跡形状モデルの一例を模式的に表した図 内視鏡ジェスチャの軌跡形状モデルの他の一例を模式的に表した図 本発明の第２の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第２の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第３の実施形態において、医療情報表示装置と医療情報管理サーバに実装される機能を模式的に表したブロック図 本発明の第３の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート（前半） 本発明の第３の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート（後半） 本発明の第３の実施形態における医療情報データベースのデータ構造と登録されたデータの一例を表した図 医療情報選択用画面の一例を表した図 医療情報選択用画面の他の一例を表した図 本発明の第４の実施形態において、医療情報統合システムで行われる医療情報の表示処理の流れを示したフローチャート 本発明の第４の実施形態における医療情報データベースのデータ構造と登録されたデータの一例を表した図（前半） 本発明の第４の実施形態における医療情報データベースのデータ構造と登録されたデータの一例を表した図（後半） 本発明の第４の実施形態における医療情報データベースのデータ構造と登録されたデータの一例を表した図 医療情報選択用・内視鏡画像表示態様選択用画面の一例を表した図 実内視鏡画像と仮想内視鏡画像の同時表示の第１の具体例を表した図 実内視鏡画像と仮想内視鏡画像の同時表示の第２の具体例を表した図 実内視鏡画像と仮想内視鏡画像の同時表示の第３の具体例を表した図 実内視鏡画像と仮想内視鏡画像の同時表示の第４の具体例を表した図

図１は、本発明の実施形態となる医療情報表示装置１を含む医療情報統合システム３とその周辺のシステムの構成を表したものである。図に示したように、医療情報統合システム３は、電子カルテシステム４、画像診断システム５、内視鏡検査システム６、病理検査システム７、各診療科システム８とネットワーク９を介して通信可能に接続されて構成されている。また、医療情報統合システム３は、本発明の実施形態となる医療情報表示装置１と医療情報管理サーバ２とからなる。

本実施形態では、電子カルテシステム４、画像診断システム５、内視鏡検査システム６、病理検査システム７、各診療科システム８で発生した医療情報は、医療情報管理サーバ２によって統合的に収集・管理されている。そして、医療情報表示装置１は、医療情報管理サーバ２に対して所望の医療情報を要求し、医療情報管理サーバ２から提供されたその要求に合致する医療情報を表示する。

図２は本発明の実施形態となる医療情報表示装置１の外観を模式的に表したものであり、図３は医療情報表示装置１の主要構成要素を表したブロック図である。

図２に示したように、医療情報表示装置１は、タッチパネル１１と一体的に形成された液晶ディスプレイ１２を正面に有しており、側面には、無線通信のためのアンテナ部１３と電源スイッチ１４とを有している。

また、図３に示したように、医療情報表示装置１は、ＣＰＵ１５、主記憶装置１６と、補助記憶装置１７、タッチパネル１１、液晶ディスプレイ１２、通信インターフェース１８等とがデータバスで接続された構成となっている。

ＣＰＵ１５は、補助記憶装置１７に記憶されている、オペレーティングシステム等のミドルウェア、本発明の医療情報の取得および表示のためのアプリケーションソフトウェア等の各プログラムを、主記憶装置１６にロードして各処理を実行する。これにより、タッチパネル１１を介したユーザによる入力操作の受付け、医療情報等の各種情報の液晶ディスプレイ１２への表示等の入出力制御、通信インターフェース１８を介した通信等が行われる。

補助記憶装置１７としては、公知のフラッシュメモリドライブ（ＳＳＤ：Solid State drive）やハードディスクドライブ（ＨＤＤ）が用いられる。補助記憶装置１７には、上記各種プログラムがインストールされている。本発明の医療情報の表示のためのアプリケーションソフトウェアは、医療情報表示装置１に接続されたディスクドライブ等を用いてＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。また、補助記憶装置１７は、医療情報管理サーバ２から取得した医療情報を一時的に記憶するのにも用いられる。

タッチパネル１１としては、抵抗膜、静電容量、電磁誘導、表面弾性波（超音波）、赤外線等の公知の方式のものを用いることができる。また、投影型の静電容量方式等の、複数の位置でのタッチであるマルチタッチを検出可能なものを用いてもよい。タッチ操作は、ユーザの指や所定のペン等を用いて行う。タッチパネル１１は、その制御プログラムによって規定された時間間隔で、タッチパネル１１に対するタッチの開始、タッチ位置の移動、タッチの終了を検出し、検出されたタッチの種類、および、その時点でのタッチパネル１１の座標系におけるタッチの位置情報を出力する。ここで、タッチの開始とはタッチパネル１１上の新たな位置に触れる操作であり、タッチの移動とはタッチパネル１１に触れたままタッチ位置を移動させる操作であり、タッチの終了とは指やペン等をタッチパネル１１から離す操作である。これによって、タッチパネル１１上に軌跡を描くジェスチャ操作を点列として検出することが可能になる。すなわち、軌跡を描くための、タッチの開始から、タッチの移動、タッチの終了までの一連の操作が１つのジェスチャ操作として検出され、一連の操作の各時点で検出された複数の位置情報がジェスチャ情報として得られる。なお、タッチパネル１１の座標系と液晶ディスプレイ１２の座標系は、医療情報表示装置１の製造時等にキャリブレーションを行うことにより、対応関係が特定されており、相互に座標変換を行うことが可能である。以下では、説明を簡潔にするため、液晶ディスプレイ１２の座標系とタッチパネル１１の座標系を同一の座標系とし、表示装置の座標系という。

通信インターフェース１８は、公知の移動体通信網や無線ＬＡＮ等での通信を制御する。本実施形態では、医療情報管理サーバ２等との通信がこの通信インターフェース１８を介して行われる。

一方、医療情報管理サーバ２は、医療情報データベースを備えたコンピュータである。ハードウェア構成としては、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のものの他、外部記憶装置を備えている。また、医療情報管理サーバ２には、周知のオペレーティングシステムやデータベース管理用ソフトウェアの他、医療情報データベースへの医療情報の登録やこのデータベースからの医療情報の抽出を行うためのアプリケーションソフトウェアがインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものか、あるいは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものである。

また、電子カルテシステム４は公知のコンピュータシステムであり、例えば、各診療科等の端末と、電子カルテ情報が格納された電子カルテデータベースを備えた電子カルテ管理サーバとがネットワークを介して通信可能に接続された構成となっている。各診療科等の端末で入力された電子カルテ情報が電子カルテデータベースを用いて管理されている。ここで、電子カルテ情報には、例えば、患者の氏名、生年月日、性別等の患者情報、各種検査の日付、内容、結果等の検査履歴情報、受診した日付、主訴、確定診断名等の診断履歴情報、手術、処置、投薬等の治療が行われた日付、内容等の治療履歴情報等が含まれる。また、本実施形態では、電子カルテデータベースは、各患者を識別する患者ＩＤが上記電子カルテ情報と関連づけられたデータベース構造となっている。

画像診断システム５も公知のコンピュータシステムであり、例えば、画像診断医用ワークステーションと、ＣＴ、ＭＲＩ等のモダリティでの撮影によって得られた画像データが格納された画像データベースを備えた画像管理サーバと、撮影で得られた画像の読影結果を含む読影レポートが格納された読影レポートデータベースを備えた読影レポートサーバとがネットワークを介して通信可能に接続された構成となっている。ここで、画像診断医用ワークステーションは、診断目的・対象に応じて、ＭＩＰ、ＭＰＲ、ＣＰＲ、ボリュームレンダリング等の公知の画像処理や、骨抽出・除去、血管抽出、臓器抽出、異常陰影検出等の公知の画像解析処理を組み合わせて実行することが可能であり、これらの処理・解析済みの画像データも、画像データベースに格納される。また、画像データには、２次元画像（ピクセルデータ）と３次元画像（ボクセルデータ）の両方、および、静止画と動画の両方が含まれ得る。さらに、画像データベースでは、患者ＩＤの他、個別の画像を識別する画像ＩＤ、その画像が得られたモダリティの情報、その画像に表されている被検体の部位の情報等の付帯情報が画像データに関連づけられて格納されている。モダリティの情報は、モダリティ側で画像生成時に付与される。一方、被検体の部位の情報は、検査オーダ等に基づいてモダリティ側で画像生成時に付与してもよいし、ＣＴ等の断層画像の場合であれば、公知の部位認識処理（例えば特開２００８−２５９６８２号公報等参照）を用いて、画像診断医用ワークステーション側でスライス毎に付与してもよい。また、読影レポートデータベースは、読影レポートと患者ＩＤと読影対象の画像の画像ＩＤとが関連づけられたデータベース構造となっている。画像データや読影レポートは、個々の検査（撮影）を識別する検査ＩＤを介して間接的に患者ＩＤと関連づけられていてもよい。

内視鏡検査システム６も公知のシステムであり、各種内視鏡での撮影によって得られた実内視鏡画像データや内視鏡検査の結果がまとめられた内視鏡検査レポート等が検査ＩＤや患者ＩＤと関連づけられた内視鏡検査データベースを備えた内視鏡検査管理サーバが、内視鏡検査データベースへのアクセスの制御を行っている。

病理検査システム７も公知のシステムであり、病理検査で得られた顕微鏡画像や病理検査の結果がまとめられた病理検査レポート等が検査ＩＤや患者ＩＤと関連づけられた病理検査データベースを備えた病理検査管理サーバが、病理検査データベースへのアクセスの制御を行っている。

各診療科システム８には、その診療科特有の検査データや検査レポート等が検査ＩＤや患者ＩＤと関連づけられた各診療科のデータベースを備えた各診療科の管理サーバが、各診療科のデータベースへのアクセスの制御を行っている。ここで、各診療科特有の検査データとは、例えば、循環器科であれば心電図データ等（波形、数値等）、耳鼻咽喉科であれば聴覚検査データ等（波形、数値等）、眼科であれば視力検査や眼底検査データ等（数値等）である。

なお、本実施形態では、内視鏡検査システム６と病理検査システム７を各診療科システム８とは別のシステムとしているが、各診療科システム８の一部として構成してもよい。この場合、内視鏡検査や病理検査の情報は、その検査内容に応じて、各診療科の検査データとして管理される。

本発明の第１の実施形態は、医療情報表示装置１での内視鏡を表すタッチパネル操作に応じて、医療情報管理サーバ２から内視鏡検査に関する医療情報（内視鏡関連情報）を取得し、医療情報表示装置１の液晶ディスプレイ１２に表示するものである。図４は、本発明の第１の実施形態において、医療情報表示装置１と医療情報管理サーバ２に実装される機能を模式的に表したブロック図である。図に示したように、本発明の医療情報表示装置１は、患者ＩＤ入力用ユーザインターフェース（ＵＩ）３１、取得条件入力用ＵＩ３２、取得条件特定部３３、医療情報取得部３５、医療情報表示制御部３６、人体アイコン４５とから構成されている。取得条件特定部３３には内視鏡条件特定部３４が含まれている。また、医療情報表示装置１内に示された患者ＩＤ、ジェスチャ情報、医療情報取得条件、医療情報（実データ）は、上記各処理部によって、医療情報表示装置１の主記憶装置１６または補助記憶装置１７内の所定の領域に対して読み書きされるデータである。一方、医療情報管理サーバ２は、医療情報登録部５１と医療情報検索部５２と医療情報データベース５３とから構成されている。医療情報管理サーバ２内に示された医療情報登録条件、医療情報、医療情報取得条件、医療情報（実データ）は、上記各処理部によって、医療情報管理サーバ２の主記憶装置、補助記憶装置、または外部記憶装置内の所定の領域に対して読み書きされるデータである。

医療情報データベース５３は、患者ＩＤと、医療情報取得条件に対応するインデックス情報（詳細は後述）と、医療情報の実データとが関連づけられたデータ構造を有している。

医療情報管理サーバ２の医療情報登録部５１は、他システム（電子カルテシステム４、画像診断システム５、内視鏡検査システム６、病理検査システム７、各診療科システム８を意味する）で発生した医療情報のうち、所定の医療情報登録条件（詳細は後述）を満たす医療情報を、所定の時間間隔で取得し、取得した医療情報から患者ＩＤおよびインデックス情報を抽出し、さらに、取得した医療情報を医療情報データベース５３のデータ構造に変換し、医療情報データベース５３に登録する。これにより、医療情報データベース５３には、医療情報表示装置１による表示対象となる医療情報が蓄積される。

図５は、本発明の第１の実施形態において、医療情報統合システム３で行われる医療情報の表示処理の流れを示したフローチャートである。図に示した#1から#8、#12から#13の処理ステップは、医療情報表示装置１で実行されるアプリケーションのメインプログラムによって制御される。以下、図４および図５を主に用いて、この医療情報表示処理の全体の流れとともに、医療情報表示装置１の各処理部と医療情報管理サーバ２の医療情報検索部５２で行われる個々の処理の内容について説明する。

まず、医療情報表示装置１において、患者ＩＤ入力用ＵＩ３１は、患者ＩＤの入力を受け付け、入力された患者ＩＤを主記憶装置１６の所定の領域に格納する(#1)。具体的には、例えば、液晶ディスプレイ１２にキーボードやテンキーの画像を表示させ、タッチパネル１１のタッチ位置に表示されたキーの入力を受け付けるソフトウェアキーボード方式を用いて、患者ＩＤの入力を受け付ける。

次に、取得条件入力用ＵＩ３２は、補助記憶装置１７から人体アイコン画像４５を読み込み、液晶ディスプレイ１２の所定の表示位置に表示させ(#2)、ユーザによる、人体アイコン４５に対するジェスチャ入力をタッチパネル１１から受け付け、入力されたジェスチャ情報を主記憶装置１６の所定の領域に格納する(#3)。ここで、人体アイコン４５は、図６に例示したように、人体の全身を模式的に表したものであり、人体アイコン４５の座標系の各位置に対して、人体の部位を識別する部位情報が関連づけられている。また、ジェスチャ情報としては、表示装置の座標系における位置情報を表すものであり、タッチパネル１１に描かれたジェスチャの軌跡を構成する複数の点の、表示装置の座標系での位置情報が出力される。

次のステップ#4から#7までの処理は、取得条件特定部３３で行われる。取得条件判定部は、人体アイコン４５の部位情報と取得条件入力用ＵＩ３２から出力されたジェスチャ情報とに基づいて、取得条件入力用ＵＩ３２で入力されたジェスチャ入力を解析し、そのジェスチャが直感的に表している検査に関する医療情報を取得するための医療情報取得条件を特定する。本実施形態では、取得条件特定部３３は、判定対象のジェスチャ入力の種類に応じて、複数の個別の条件特定部から構成されており、内視鏡条件特定部３４はその１つである。

まず、取得条件特定部３３は、個別の条件特定部に共通の前処理として、ジェスチャ情報と、人体アイコン４５の位置情報とに基づいて、ジェスチャ入力が人体アイコン４５のどの位置で行われたかを特定する。すなわち、ジェスチャ情報は表示装置の座標系での位置情報であるのに対して、人体アイコン４５の部位情報は人体アイコン４５の座標系での位置情報と関連づけられているので、取得条件特定部３３は、表示装置の座標系での人体アイコン４５の表示位置の情報を用いて、両位置情報を同じ座標系での位置情報に変換する。これにより、ジェスチャ入力を構成する複数の点の人体アイコン４５上での位置が特定される。

次に、取得条件特定部３３のうちの内視鏡条件特定部３４が、人体アイコン４５の部位情報と取得条件入力用ＵＩ３２から出力されたジェスチャ情報とに基づいて、取得条件入力用ＵＩ３２で入力されたジェスチャが、人体アイコン４５で表された人体に内視鏡を挿入するジェスチャ（内視鏡ジェスチャ；図９Ａ、図９Ｂ参照）であるかどうかを判定する(#4)。そして、内視鏡ジェスチャと判定された場合には(#4:YES)、内視鏡条件特定部３４が、内視鏡関連情報を取得するための医療情報取得条件（内視鏡条件）を主記憶装置１６の所定の領域に格納する(#5)。なお、内視鏡ジェスチャ入力や内視鏡条件の具体的な内容については後述する。

一方、入力されたジェスチャが内視鏡ジェスチャではないと内視鏡条件特定部３４によって判定された場合には(#4;NO)、取得条件特定部３３のうちの他の条件特定部（図示なし）が、内視鏡条件特定部３４と同様にして、入力されたジェスチャが内視鏡ジェスチャとは異なる所定のジェスチャであるかどうかを判定し(#6)。その所定のジェスチャと判定された場合には(#6:YES)、他の条件特定部が、内視鏡検査とは異なる、その所定のジェスチャに応じた検査に関する医療情報を取得するための医療情報取得条件を主記憶装置１６の所定の領域に格納する(#7)。一方、所定のジェスチャではないと判定された場合には(#6;NO)、取得条件入力用ＵＩ３２での新たなジェスチャの入力待ち状態に戻る(#3)。

なお、図５では、個別の条件特定部は、内視鏡条件判定部と他の条件判定部の２種類となっているが、３以上の個別の条件特定部を設けてもよい。

次に、医療情報表示装置１の医療情報取得部３５は、取得条件特定部３３によって設定された医療情報取得条件を医療情報管理サーバ２に送信する(#8)。医療情報管理サーバ２の医療情報検索部５２は、医療情報取得条件を医療情報表示装置１から受信し(#9)、医療情報データベース５３の検索を行い、データベース中の取得条件のインデックス情報が、受信した医療情報取得条件を満たす医療情報の実データを抽出し(#10)、抽出された医療情報の実データを医療情報表示装置１に送信する(#11)。医療情報表示装置１の医療情報取得部３５は、送信されてきた医療情報の実データを受信し、主記憶装置１６または補助記憶装置１７の所定の領域に格納する(#12)。そして、医療情報表示制御部３６は、受信した医療情報の実データに基づいて、その医療情報を液晶ディスプレイ１２に表示させる(#13)。なお、医療情報取得条件を満たす医療情報が医療情報データベース５３に登録されていなかった場合には、その旨が表示される。

このように、本発明の第１の実施形態では、医療情報表示装置１のタッチパネル１１から人体アイコン４５に対する内視鏡ジェスチャが入力されると、その内視鏡ジェスチャに応じて、医療情報管理サーバ２の医療情報データベース５３から内視鏡関連情報が抽出され、抽出された内視鏡関連情報が医療情報表示装置１の液晶ディスプレイ１２に表示される。以下では、この内視鏡関連情報を取得する一連の処理の詳細について具体的に説明する。なお、本実施形態では、内視鏡関連情報とは、各種内視鏡を用いた検査で得られた実内視鏡画像、および、その検査の報告書の他、ＣＴ等で得られた３次元のボリュームデータから生成された仮想内視鏡画像、および、その仮想内視鏡画像に対する読影レポートであるものとする。

図７は、医療情報データベース５３のデータ構造と、医療情報データベース５３に登録された内視鏡関連情報の具体例を表したものである。図に示したとおり、医療情報データベース５３は、患者ＩＤ、医療情報取得条件に対応するインデックス情報、実データから構成される。インデックス情報は、その医療情報が取得されるべきジェスチャの種類を識別するジェスチャ種別インデックスと、その医療情報が取得されるべきジェスチャによって特定された部位を表すジェスチャ部位インデックスとから構成される。したがって、医療情報取得条件も取得対象の医療情報のジェスチャ種別インデックスの条件を表すジェスチャ種別条件とジェスチャ部位インデックスの条件を表すジェスチャ部位条件とからなる。

医療情報データベース５３に登録するための医療情報登録条件は、医療情報の収集元であるシステム毎、データベース毎に予め規定されている。内視鏡ジェスチャに応じて抽出される内視鏡関連情報の医療情報登録条件は、図８の表にまとめたとおり、内視鏡検査システム６の内視鏡検査データベースの全件（条件No.1）、画像診断システム５の画像データベースでは、仮想内視鏡画像を意味する付帯情報を有しているもの（条件No.2）、画像診断システム５の読影レポートデータベースでは、画像データベースに格納された仮想内視鏡画像の画像ＩＤと関連づけられているもの（条件No.3）の３つの条件とすることができる。なお、これらの医療情報登録条件は、参照データとして定義してもよいし、登録条件毎にサブプログラムとして実装していてもよい。

医療情報登録部５１は、上記の３つの医療情報登録条件を満たす医療情報を各システムから収集し、収集された医療情報を用いて医療情報データベース５３への登録データを作成する。具体的には、医療情報データベース５３の患者ＩＤの項目には、収集された各医療情報から患者ＩＤを抽出して設定する。インデックス情報のジェスチャ種別インデックスの項目には、内視鏡ジェスチャを表す情報（文字列、コード値等。ここでは「内視鏡」と表している）を設定する。ジェスチャ部位インデックスの項目には、収集された医療情報の付帯情報等から患者の部位の情報を抽出して設定する。実データの項目には、収集された医療情報の実データを設定する。そして、作成した登録データを医療情報データベース５３に登録（挿入）する。図７の具体例では、情報No.1, 2, 4, 5の登録データは、図８の条件No.1の医療情報登録条件に基づいて登録されたものを表し、情報No.3, 6の登録データは、図８の条件No.2の医療情報登録条件に基づいて登録されたものを表し、情報No.7の登録データは、図８の条件No.3の医療情報登録条件に基づいて登録されたものを表している。

取得条件入力用ＵＩ３２は、図９Ａおよび図９Ｂに例示したような内視鏡ジェスチャ入力を受け付け、そのジェスチャ情報を出力する。図９Ａは、上部消化管内視鏡の挿入操作を表すジェスチャ入力の一例を表したものであり、人体アイコン４５の口または鼻の位置から食道を通って、胃、十二指腸に到達する軌跡を描くジェスチャが矢印で表されている。また、図９Ｂは、大腸内視鏡の挿入操作を表すジェスチャ入力の一例を表したものであり、人体アイコン４５の肛門の位置から直腸、結腸付近に至る軌跡を描くジェスチャが矢印で表されている。

内視鏡条件特定部３４は、入力されたジェスチャが内視鏡ジェスチャであるかどうかを判定し、内視鏡ジェスチャと判定された場合には、そのジェスチャに応じた内視鏡関連情報を取得するための医療情報取得条件を出力する。ここで、ジェスチャの判定の際には、複数の内視鏡ジェスチャのパターンを表す情報と、必要に応じて、内視鏡ジェスチャのパターン毎の医療情報取得条件の部位に設定される情報とが定義された参照データが用いられる。

図１０Ａは参照データの第１の例を示したものであり、ジェスチャの始点と終点の部位の組合せを、内視鏡ジェスチャのパターンを表す参照データとしている。すなわち、内視鏡条件特定部３４は、入力されたジェスチャの始点と終点が人体アイコン４５上のどの部位にあるかを特定し、特定された始点と終点の部位の組合せが参照データに定義された組合せであれば、入力されたジェスチャが内視鏡ジェスチャであると判定する。ここで、入力されたジェスチャの始点が人体アイコン４５の外側にある場合には、視点から最も近い人体アイコン４５の部位を始点の部位としてもよいし、入力されたジェスチャの軌跡上をジェスチャの始点から進んで行ったときに最初に人体アイコン４５と交わる（接する）位置と関連づけられた部位を始点の部位としてもよい。図１０Ａの例では、入力されたジェスチャの始点の部位が口または鼻で、かつ、終点の部位が食道、胃、十二指腸、小腸、気管、気管支のいずれかの場合、または、始点の部位が肛門で、かつ、終点の部位が大腸または小腸の場合、そのジェスチャを内視鏡ジェスチャであると判定されるように参照データが定義されている。そして、内視鏡ジェスチャと判定された場合、内視鏡条件特定部３４は、ジェスチャ種別を「内視鏡」、ジェスチャ部位をジェスチャの終点の部位とする医療情報取得条件を出力する。例えば、図９Ａに示したジェスチャが入力された場合、医療情報取得条件のジェスチャ部位は「胃」となり、図９Ｂに示したジェスチャが入力された場合、医療情報取得条件のジェスチャ部位は「大腸」となる。

この第１の例では、ジェスチャの始点と終点の間の軌跡はまったく考慮されないので、例えば、口→食道→気管→気管支→肺→胃→食道のような軌跡を描くジェスチャであっても内視鏡ジェスチャと判定されてしまう。

そこで、図１０Ｂに示した参照データの第２の例では、ジェスチャの始点から終点までの間に通過した人体アイコン４５上の部位を通過した順に並べた軌跡上の部位の移動パターンを参照データとしている。内視鏡条件特定部３４は、入力されたジェスチャの軌跡上の各点をジェスチャの始点から順にたどり、各点での部位を特定し、入力されたジェスチャの軌跡上の部位の移動パターンを特定する。そして、特定された部位の移動パターンが参照データに定義されたパターンと一致する場合に、そのジェスチャを内視鏡ジェスチャと判定する。したがって、例えば、口または鼻→食道の順に通過する軌跡を描くジェスチャが入力された場合、そのジェスチャは内視鏡ジェスチャと判定される。一方、上記のように口→食道→気管→気管支→肺→胃→食道のような軌跡を描くジェスチャが入力された場合には、内視鏡ジェスチャと判定されない。内視鏡条件特定部３４は、入力されたジェスチャを内視鏡ジェスチャと判定した場合、ジェスチャ種別を「内視鏡」、ジェスチャ部位をジェスチャの軌跡の終点の部位とする医療情報取得条件を出力する。

上記の２例では、入力されたジェスチャの軌跡が通過した人体アイコン４５上の部位を用いて内視鏡ジェスチャのパターンかどうかを判定しているが、入力されたジェスチャの軌跡の描かれた向きや形状に着目して、内視鏡ジェスチャかどうかを判定してもよい。

図１０Ｃは参照データの第３の例であり、軌跡の形状モデルと終点の部位との組合せを参照データとしている。ここでは、内視鏡ジェスチャの軌跡の形状を、口または鼻から挿入する経口または経鼻内視鏡のものと、肛門から挿入する経肛門的内視鏡のものとに分類し、２種類の軌跡形状モデルを用意している。図１１Ａは、経口／経鼻内視鏡の軌跡形状モデル（モデル０１）を模式的に表したものである。図に示したように、このモデル０１は、左または右から下方向にカーブして下方向に進む軌跡の形状を表したものであり、軌跡の終点付近では、左右にカーブする軌跡、直進する軌跡のいずれをも含み、下方向に進む区間の長さ（図中に「Ｌ」で表した区間）は任意となっている。図１１Ｂは、経肛門的内視鏡の軌跡形状モデル（モデル０２）を模式的に表したものである。図に示したように、このモデル０２は、左または右から上方向にカーブして上方向に進む軌跡の形状を表したものであり、上方向に進んだ後の形状は任意となっている。これらの形状モデルは、軌跡が描かれた向き、軌跡を構成する複数の点間の相対的な位置関係等を定義したものであり、人体アイコン４５上の位置（部位）の情報は含まれていない。そこで、この第３の例では、内視鏡条件特定部３４は、ジェスチャの終点の部位の情報をさらに用いることにより、入力されたジェスチャの形状が、上記２つの形状モデルのいずれかと合致し、かつ、ジェスチャの終点の部位が、参照データにおいてその軌跡形状モデルと関連づけられた終点の部位と一致する場合に、入力されたジェスチャが内視鏡ジェスチャであると判定する。例えば、入力されたジェスチャの形状が経口/経鼻内視鏡の軌跡形状モデルと合致し、ジェスチャの終点の部位が胃であれば、そのジェスチャは内視鏡ジェスチャと判定される。一方、入力されたジェスチャの形状が経口/経鼻内視鏡の軌跡形状モデルと合致しても、ジェスチャの終点の部位が大腸であれば、経口/経鼻式の大腸内視鏡は存在しないので、そのような軌跡形状モデルと終点の部位の組合せは参照データに定義されておらず、そのジェスチャは内視鏡ジェスチャとは判定されない。そして、この第３の例においても、内視鏡ジェスチャと判定された場合、内視鏡条件特定部３４は、ジェスチャ種別を「内視鏡」、ジェスチャ部位をジェスチャの終点の部位とする医療情報取得条件を出力する。なお、入力されたジェスチャが軌跡形状モデルと合致するかどうかの判定については、文字認識や指紋認証等で用いられる公知のパターン認識技術により、入力されたジェスチャと軌跡形状モデルの特徴量の一致度（類似度）を算出し、算出された一致度（類似度）が所定の閾値以上であれば、両者は合致すると判定すればよい（例えば、特開平８−８３３１８号公報参照）。

上記の３つの例では、人体アイコン４５の各位置に対して部位の情報が関連づけられていることを前提としているが、図１０Ａから１０Ｃの部位名を、その部位が存在しうる座標値の範囲を表す情報に置き換えた参照データを用いてもよい。図１０Ｄは参照データの第４の例であり、図１０Ｂの参照データのうち軌跡上の部位の移動パターンを座標値範囲で表現した場合を表している。この場合、内視鏡条件特定部３４は、例えば、入力されたジェスチャの軌跡上の各点をジェスチャの始点から順に探索し、探索点の座標値が、口または鼻に相当する座標値範囲から食道に相当する座標値範囲に移動し、食道に相当する座標値範囲で探索点がジェスチャの終点に達した場合、そのジェスチャを内視鏡ジェスチャと判定する。この例の場合、人体アイコン４５の各位置に対して部位の情報が関連づけられていないため、ジェスチャの終点の位置が人体アイコン４５の食道の部分であることは認識できない。そこで、この場合には、参照データにおいて、個々の軌跡上の座標値範囲の移動パターンに対して、ジェスチャの終点の部位、すなわち、医療情報取得条件の部位の情報を関連づけておけばよい。これにより、内視鏡条件特定部３４は、入力されたジェスチャが内視鏡ジェスチャであると判定された場合に、医療情報取得条件のジェスチャ種別を「内視鏡」とするとともに、医療情報取得条件のジェスチャ部位として、その内視鏡ジェスチャの軌跡上の座標値範囲の移動パターンと関連づけられた医療情報取得条件のジェスチャ部位の情報を参照データから取得し、その入力ジェスチャに対応する医療情報取得条件を出力することができる。なお、図１０Ａや図１０Ｃについても、上記と同様に、ジェスチャの始点や終点の部位を座標値範囲で定義し、医療情報取得条件の部位の情報を関連づけた参照データを用いてもよい。

図１０Ｅは参照データの第５の例であり、軌跡の形状と人体アイコン４５上での位置とを合わせてモデル化した軌跡形状・位置モデルを用いて内視鏡ジェスチャを判定するものである。すなわち、軌跡形状・位置モデルは、図９Ａや図９Ｂをそのままモデル化したものということができる。例えば、図９Ａに対応する軌跡形状・位置モデルであれば、人体アイコン４５の口または鼻の位置に左または右から入り、下方向にカーブして食道を通り、胃に到達する軌跡を表したものとなる。このようにモデル化した場合、図１０Ｅの軌跡形状・位置モデルの項目に例示したように、内視鏡の種類と到達位置に応じたモデルが必要となる。内視鏡条件特定部３４は、入力されたジェスチャの形状および位置が、図１０Ｅに示された軌跡形状・位置モデルのいずれかと合致する場合に、入力されたジェスチャが内視鏡ジェスチャであると判定する。この判定には、上記第３の例と同様に、公知のパターン認識技術を用いることができる。また、この例では、内視鏡ジェスチャかどうかの判定の際に、ジェスチャの終点の部位を特定していないので、その代わりに、参照データにおいて、各軌跡形状・位置モデルに医療情報取得条件の部位の情報が関連づけられている。したがって、内視鏡ジェスチャと判定された場合、内視鏡条件特定部３４は、入力ジェスチャと合致する軌跡形状・位置モデルに関連づけられた部位を参照データから取得し、ジェスチャ種別を「内視鏡」とするとともに、ジェスチャ部位をその取得された部位とする医療情報取得条件を出力する。なお、参照データに医療情報取得条件のジェスチャ部位の情報を持たせずに、医療情報取得条件の出力の際に、入力されたジェスチャの終点の人体アイコン４５上での部位を特定するようにし、特定された部位を医療情報取得条件のジェスチャ部位の情報として出力するようにしてもよい。

また、図１０Ｅの例では、１つのモデルに形状だけでなく位置の情報も含むため、モデルの数が多くなってしまい、入力されたジェスチャのパターン認識処理の負荷が高くなってしまう。そこで、図１０Ｆのように、参照データにジェスチャの始点の部位の情報を持たせ、内視鏡条件特定部３４は、パターン認識処理の前に、入力されたジェスチャの始点の部位を特定し、参照データにおいてその部位と関連づけられた軌跡形状・位置モデルのみとパターン認識処理を行うようにしてもよい。例えば、入力されたジェスチャの始点の部位が口であった場合には、図１０Ｆの参照データであれば、始点の部位が口となっているモデル１１から１６とのみパターン認識処理を行えばよく、入力されたジェスチャの始点の部位が肛門であった場合には、図１０Ｆの参照データ中で始点の部位が肛門となっているモデル１７および１８とのみパターン認識処理を行えばよい。このように、参照データにジェスチャの始点の部位の情報を持たせることにより、入力ジェスチャの始点の部位を用いてパターン認識処理の対象となる軌跡形状・位置モデルを絞り込むことができ、処理負荷を軽減することが可能になる。

医療情報管理サーバ２の医療情報検索部５２は、以上のようにして設定された医療情報取得条件を医療情報表示装置１の医療情報取得部３５から受信し、受信した医療情報取得条件を満たす医療情報、すわなち、内視鏡関連情報を医療情報データベース５３から抽出する。例えば、医療情報データベース５３に図７に示した医療情報が格納されているものとし、医療情報表示装置１において、患者ＩＤとして「012345」が入力され、図９Ａに示された内視鏡ジェスチャが入力された場合、医療情報取得条件には、患者ＩＤ＝「012345」、ジェスチャ種別＝「内視鏡」、ジェスチャ部位＝「胃」が設定され、医療情報管理サーバ２に送信される。ここで、医療情報検索部５２は、インデックス情報が上記医療情報取得条件を満たす情報No.1の医療情報を抽出し、医療情報表示装置１に送信する。一方、上記の患者ＩＤが入力され、図９Ｂに示された内視鏡ジェスチャが入力された場合、医療情報取得条件には、患者ＩＤ＝「012345」、ジェスチャ種別＝「内視鏡」、ジェスチャ部位＝「大腸」が設定され、医療情報管理サーバ２に送信される。ここで、医療情報検索部５２は、インデックス情報が上記医療情報取得条件を満たす情報No.3の医療情報を抽出し、医療情報表示装置１に送信する。医療情報表示装置１では、医療情報取得部３５は、送信されてきた医療情報を取得し、医療情報表示制御部３６は、取得した医療情報を液晶ディスプレイ１２に表示させる。

以上のように、本発明の第１の実施形態によれば、内視鏡条件特定部３４が、取得条件入力用ＵＩ３２でタッチパネル１１から入力された、内視鏡操作を表す、きわめて直感的かつ簡便なジェスチャ操作を認識することができる。そして、この内視鏡操作を表すジェスチャを認識した場合に、医療情報取得部３５が、内視鏡関連情報を医療情報管理サーバ２の医療情報データベース５３から取得し、医療情報表示制御部３６が、取得した内視鏡関連情報を液晶ディスプレイ１２に表示させることができる。したがって、ユーザは、医療情報表示装置１のタッチパネル１１に対して内視鏡ジェスチャ操作を行うという１つのアクションのみで、所望の部位の内視鏡関連情報を表示させることが可能になる。このとき、例えば、同じ部位を表す仮想内視鏡画像と断面画像が医療情報データベース５３に登録されていたとしても、仮想内視鏡画像が表示される。このように、本実施形態の医療情報表示装置１は、きわめて操作性が高い、実用的価値の高いものとなっている。

上記の第１の実施形態の場合、医療情報表示装置１の取得条件特定部３３が、入力ジェスチャを解析して医療情報取得条件を特定した後で、医療情報管理サーバ２から医療情報を取得する処理を行うため、医療情報表示装置１のユーザにとっては、ジェスチャの完了から医療情報の表示までの間の待ち時間が長くなってしまい、操作性が低下してしまう。

そこで、本発明の第２の実施形態では、患者ＩＤの入力を受け付けた後、ジェスチャ入力を受け付けている間に、バックグラウンドで、入力された患者ＩＤに応じた医療情報を先行して取得するようにしている。

図１２は、本発明の第２の実施形態における医療情報表示装置１と医療情報管理サーバ２の機能ブロック図である。図に示したように、本実施形態は、上記第１の実施形態の医療情報表示装置１に、医療情報先行取得部３７を付加するとともに、第１の実施形態の医療情報取得部３５を医療情報抽出部３８に置換した構成となっている。図１３は、本発明の第２の実施形態において、医療情報統合システム３で行われる医療情報の表示処理の流れを示したフローチャートである。

図に示したように、患者ＩＤ入力用ＵＩ３１が、第１に実施形態と同様にして患者ＩＤの入力を受け付けた後(#21)、バックグラウンドの処理として、医療情報先行取得部３７が、入力された患者ＩＤのみが設定された医療情報取得条件を医療情報管理サーバ２に送信する(#28)。医療情報管理サーバ２の医療情報検索部５２は、医療情報取得条件（患者ＩＤのみ）を医療情報表示装置１から受信し(#29)、医療情報データベース５３の検索を行い、データベース中の患者ＩＤが、受信した医療情報取得条件の患者ＩＤと一致する医療情報を抽出する(#30)。このとき、医療情報の実データだけでなく、医療情報取得条件に対応するインデックス情報も抽出される。医療情報検索部５２は、抽出された医療情報を医療情報表示装置１に送信する(#31)。医療情報表示装置１の医療情報先行取得部３７は、送信されてきた医療情報を受信し、補助記憶装置１７または主記憶装置１６の所定の領域に格納する(#32)。

一方、医療情報表示装置１では、医療情報先行取得部３７が上記の処理を行う間、第１の実施形態のステップ#2から#7と同様に、ジェスチャ入力の受付と、そのジェスチャに応じた医療情報取得条件の設定が行われる(#22から#27)。

そして、医療情報抽出部３８は、入力されたジェスチャに応じて設定された医療情報取得条件と、医療情報先行取得部３７によって取得された医療情報中のインデックス情報とに基づいて、設定された医療情報取得条件を満たす医療情報を、先行取得された医療情報の中から抽出する(#33)。そして、医療情報表示制御部３６は、抽出された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ１２に表示させる(#34)。

以上のように、本発明の第２の実施形態では、医療情報表示装置１において、医療情報先行取得部３７が、取得条件入力用ＵＩ３２によるジェスチャ入力の受付、および、取得条件特定部３３による医療情報取得条件の特定の各処理と並行して、患者ＩＤ入力用ＵＩ３１で入力された患者ＩＤと関連づけられた医療情報を医療情報管理サーバ２の医療情報データベース５３から先行取得するので、入力されたジェスチャに応じた医療情報を満たす医療情報を取得する際に、医療情報管理サーバ２の医療情報データベース５３にアクセスする必要がなくなる。したがって、医療情報表示装置１のユーザは、ジェスチャ入力後に、医療情報管理サーバ２による検索処理や、医療情報表示装置１と医療情報管理サーバ２との間の通信処理を待つ必要がなくなるので、ユーザから見たスループットが向上し、操作性が向上する。この実施形態は、特に、医療情報管理サーバ２やネットワーク９の負荷が高かったり、性能が低かったりする場合であっても、医療情報の取得を先行して行うことにより、その影響を軽減することができる。

本発明の第３の実施形態は、医療情報取得条件を満たす医療情報が複数件抽出される場合の操作性を向上させることを目的としたものである。

図１４は、本発明の第３の実施形態における医療情報表示装置１と医療情報管理サーバ２の機能ブロック図である。図に示したように、本実施形態は、上記第２の実施形態の医療情報表示装置１に医療情報選択用ＵＩ３９を付加した構成となっている。また、医療情報データベース５３は、図１６にさらに具体的に表したように、第１の実施形態のデータ構造に、選択リスト用情報を付加した構成となっている。図１６の例では、選択リスト用情報は、検査日時、検査種別、情報種別の情報から構成されている。なお、これらの選択リスト用情報は、医療情報登録部５１が、登録対象の医療情報の取得元のシステム名やデータベース名、登録対象の医療情報の付帯情報等から抽出することができる。

図１５Ａおよび図１５Ｂは、本発明の第３の実施形態において、医療情報統合システム３で行われる医療情報の表示処理の流れを示したフローチャートである。図に示したように、ステップ#41から#53までは第２の実施形態のステップ#21から#33までと同様である。

ステップ#53において、医療情報抽出部３８が医療情報取得条件を満たす医療情報を１件のみ抽出した場合(#54;NO)、上記第２の実施形態と同様に、医療情報表示制御部３６は、抽出された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ１２に表示させる(#57)。一方、医療情報抽出部３８が医療情報取得条件を満たす医療情報を複数件抽出した場合(#54;YES)、医療情報選択用ＵＩ３９が医療情報選択用画面を液晶ディスプレイ１２に表示させる(#55)。図１７Ａは医療情報選択用画面の一例を表したものである。この図では、患者ＩＤ＝「001098」を満たす医療情報が、図１６に例示した医療情報データベース５３から医療情報先行取得部３７によって取得され、ジェスチャ種別＝「内視鏡」、ジェスチャ部位＝「大腸」を満たす医療情報が、医療情報抽出部３８によって抽出された場合を示している。医療情報選択用ＵＩ３９は、抽出された医療情報の選択リスト用情報をリスト表示する。そして、医療情報選択用ＵＩ３９は、ユーザが所望する医療情報を表す行の選択（タッチ操作）を受け付ける(#56)。図１７Ｂは、より視覚的効果の高い医療情報選択用画面の一例を表したものである。図に示したように、この医療情報選択用画面では、情報種別が画像である医療情報は、その医療情報（画像）が検査種別毎にサムネイル表示されている。また、情報種別がレポートである医療情報は、そのレポートの対象と関連づけられた医療情報（画像）の右下に、レポートを表すアイコンとして表示されている。さらに、選択リスト用情報の検査日時の情報に基づいて、各医療情報は、横軸方向を時間軸として配置されている。この画面例では、医療情報選択用ＵＩ３９は、ユーザが所望する医療情報を表すサムネイル画像またはアイコンの選択（タッチ操作）を受け付ける。そして、医療情報表示制御部３６は、医療情報選択用ＵＩ３９で選択された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ１２に表示させる(#57)。

以上のように、本発明の第３の実施形態では、医療情報表示装置１の医療情報抽出部３８において、取得条件特定部３３によって特定された医療情報取得条件を満たす医療情報が複数件抽出された場合に、医療情報選択用ＵＩ３９が表示対象の医療情報の選択を受け付けるので、ユーザは、簡単なタッチ操作で所望の医療情報を表示させることが可能になり、操作性がさらに向上する。

上記の各実施形態では、画像診断システム５において生成済みの仮想内視鏡画像が医療情報として用いられている。これに対して、本発明の第４の実施形態は、内視鏡関連の医療情報をよりインタラクティブに表示させることを目的とするものである。

図１８は、本発明の第４の実施形態における医療情報表示装置１と医療情報管理サーバ２の機能ブロック図である。図に示したように、本実施形態は、上記第３の実施形態の医療情報表示装置１に内視鏡画像表示態様選択用ＵＩ４０と、仮想内視鏡画像生成部４１とを付加した構成となっている。

また、医療情報データベース５３には、図２０に具体的に表したように、第３の実施形態のデータ構造において、選択リスト用情報の検査種別をモダリティに置換した構成となっている。ここで、モダリティ種別には、その医療情報（画像）が取得されたモダリティを表すモダリティ種別が格納されている。このモダリティ種別は、医療情報登録部５１が、登録対象の医療情報の取得元のシステム名やデータベース名、登録対象の医療情報の付帯情報等から抽出することができる。また、本実施形態では、医療画像の実データとして、仮想内視鏡画像ではなく、ＣＴで得られたボリュームデータ（図中ではＣＴ画像）が格納されている。すなわち、本実施形態では、医療情報登録部５１は、医療情報登録条件として、図８の条件No.2の代わりに、画像診断システム５の画像データベースにおいて、ＣＴ画像を意味する付帯情報を有しているものという条件を満たす医療情報を登録している。また、本実施形態では、実内視鏡画像を表す医療情報には、その実内視鏡画像が取得された患者内の位置や撮影方向を表す付帯情報が含まれているものとする。

図１９Ａおよび図１９Ｂは、本発明の第４の実施形態において、医療情報統合システム３で行われる医療情報の表示処理の流れを示したフローチャートである。図に示したように、ステップ#61から#74までは第３の実施形態のステップ#41から#54までと同様である。

医療情報抽出部３８が医療情報取得条件を満たす医療情報を複数件取得した場合(#74;YES)、取得条件入力用ＵＩ３２で入力されたジェスチャが内視鏡ジェスチャであり、かつ、医療情報抽出部３８によって抽出された医療情報の中にＣＴ画像が含まれていれば（医療情報の選択リスト用情報のモダリティ種別が「ＣＴ」で、情報種別が「画像」の情報が存在していれば）、医療情報選択用ＵＩ３９および内視鏡画像表示態様選択用ＵＩ４０が、医療情報選択用・内視鏡画像表示態様選択用画面を液晶ディスプレイ１２に表示させる(#76)。図２１は、この医療情報選択用・内視鏡画像表示態様選択用画面の一例を表したものである。図に示したように、この画面例は、図１７Ａの画面例の下部に、「実内視鏡画像と仮想内視鏡画像の同時表示を行う」という内視鏡画像の表示態様の選択を受け付けるチェックボックスを付加したものとなっている。なお、医療情報選択用・内視鏡画像表示態様選択用画面は、例えば、図１７Ｂの画面例に、上記の内視鏡画像の表示態様の選択を受け付けるチェックボックスを付加したものであってもよい。

そして、第３の実施形態と同様に、医療情報選択用ＵＩ３９は、ユーザが所望する医療情報を表す行の選択（タッチ操作）を受け付けるとともに(#57)、内視鏡画像表示態様選択用ＵＩ４０は、ユーザが所望する内視鏡画像の表示態様の選択（チェックボックスへのタッチ操作）を受け付ける(#77)。

ここで、ＣＴ画像を表す医療情報が選択されなかった場合には(#78;NO)、第３の実施形態と同様に、医療情報表示制御部３６が、医療情報選択用ＵＩ３９で選択された医療情報の実データに基づいて、その医療情報を液晶ディスプレイ１２に表示させる(#85)。これに対して、ＣＴ画像を表す医療情報が選択された場合には(#78;YES)、内視鏡画像表示態様選択用ＵＩ４０が、実内視鏡画像と仮想内視鏡画像の同時表示の選択を受け付けたかどうかの判定が行われる。

判定の結果、同時表示の選択が行われなかった場合には(#79:NO)、仮想内視鏡画像生成部４１は、予め定められた画像生成条件に基づいて、医療情報選択用ＵＩ３９で選択された医療情報であるＣＴ画像から仮想内視鏡画像を生成する(#82)。そして、医療情報表示制御部３６は、生成された仮想内視鏡画像を液晶ディスプレイ１２に表示させる(#85)。なお、仮想内視鏡画像の生成条件（位置、撮影方向、カラーテンプレート等）の設定を受け付けるユーザインターフェースをさらに設け、設定された生成条件に基づいて仮想内視鏡画像が生成されるようにしてもよい。

一方、同時表示の選択が行われた場合には(#79:YES)、仮想内視鏡画像生成部４１は、医療情報選択用ＵＩ３９で選択された実内視鏡画像を表す医療情報の実データから、その実内視鏡画像が取得された患者内の位置や撮影方向を表す付帯情報を取得し、その位置に対応する、医療情報選択用ＵＩ３９で選択されたＣＴ画像上での位置や撮影方向を特定する(#80)。仮想内視鏡画像生成部４１は、特定された位置や撮影方向に基づいて、医療情報選択用ＵＩ３９で選択されたＣＴ画像から仮想内視鏡画像を生成する(#81)。そして、医療情報表示制御部３６は、医療情報選択用ＵＩ３９で選択された実内視鏡画像と、仮想内視鏡画像生成部４１で生成された仮想内視鏡画像とを液晶ディスプレイ１２に同時表示させる(#85)。

なお、仮想内視鏡画像生成部４１は、所与の位置を視点とし、所与の撮影方向が視野の中心方向となるように、所与の画角の範囲で視点からの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影することによって、仮想内視鏡画像を生成する。

また、実内視鏡画像と仮想内視鏡画像（ＣＴ画像）の位置や撮影方向を対応づける具体的な方法については、実内視鏡画像が取得された患者内の位置が、内視鏡挿入位置からの内視鏡経路上の長さによって表されている場合、仮想内視鏡画像生成部４１は、まず、公知の画像認識処理によって、ＣＴ画像から内視鏡挿入経路（例えば、大腸の場合であれば、大腸の芯線）を検出するとともに、実内視鏡の挿入位置に対応する位置を検出する。次に、実内視鏡挿入位置から実内視鏡画像の取得位置までの内視鏡経路上の長さに対応する、ＣＴ画像中での内視鏡挿入経路上の長さの分だけ、実内視鏡の挿入位置に対応する位置から進んだ位置を求め、その位置を仮想内視鏡画像の生成位置とすることができる。あるいは、実内視鏡検査時の座標系とＣＴ画像の座標系との対応関係がわかれば、その対応関係に基づく座標変換によって、実内視鏡画像の取得位置に対応する、ＣＴ画像中での位置、すなわち、仮想内視鏡画像の生成位置を算出することができる（例えば、特開２００６−１９８０３２号公報等参照）。

図２２Ａから図２２Ｄは、実内視鏡画像と仮想内視鏡画像の同時表示の具体例を表したものである。図２２Ａは、上記の公知の手法で求められた、相対応する位置での実内視鏡画像（左）と、仮想内視鏡画像（右）とを並べて表示した例である。図２２Ｂは、表示対象の部位であるジェスチャ部位（ここでは大腸）を外から見たボリュームレンダリング画像（以下、外観画像）を生成しておき、相対応する位置での実内視鏡画像（左）と、仮想内視鏡画像（右下）とともに、外観画像（右上）を表示し、さらに、外観画像上に、上記相対応する位置を矢印で表示したものである。図２２Ｃは、仮想内視鏡画像生成部４１が、実内視鏡画像の取得位置に対応する位置において、実内視鏡の進行方向に沿った断面を表す断面画像を生成し、生成された断面画像（右）と実内視鏡画像とを並べて表示した例である。なお、断面画像中の矢印は上記対応する位置を表している。図２２Ｄは、実内視鏡画像（内側の円内）と仮想内視鏡画像（外側の矩形内）とを、上記相対応する位置が一致するように重ね合わせて表示した例である。

以上のように、本発明の第４の実施形態では、医療情報登録部５１が、生成済みの仮想内視鏡画像の代わりに、仮想内視鏡画像の生成元データとなるＣＴ画像を医療情報データベース５３に登録しておき、ＣＴ画像が表示対象の医療情報として選択された場合には、仮想内視鏡画像生成部４１が、所与の条件に応じた仮想内視鏡画像を生成するようにしたので、様々な位置や方向から見た仮想内視鏡画像を柔軟に生成して表示させることが可能になる。

また、内視鏡画像表示態様選択用ＵＩ４０が、実内視鏡画像と仮想内視鏡画像の同時表示の選択を受け付けるようにしたので、相対応する位置での実内視鏡画像と仮想内視鏡画像の同時表示が可能になる。このように、本発明の第４の実施形態では、内視鏡関連の医療情報をよりインタラクティブに表示させることにより、ユーザの要求にさらに合致した画像の表示が可能になる。

上記第４の実施形態の仮想内視鏡画像生成部４１は、医療情報表示装置１に設けられているが、医療情報表示装置１がネットワーク９を介して通信可能な別の装置（例えば、医療情報管理サーバ２等の上述のサーバや、別途設けた画像処理サーバ）に実装し、医療情報表示装置１が、仮想内視鏡画像の生成条件をその別の装置に送信し、その装置で、受信した生成条件に応じた仮想内視鏡画像を生成して返信するようにしてもよい。

また、上記の仮想内視鏡画像生成部４１を設けずに、第１から第３の実施形態と同様に、生成済みの仮想内視鏡画像を取得し、内視鏡画像表示態様選択用ＵＩ４０で受け付けられた選択に応じて、実内視鏡画像と同時表示してもよい。特に、実内視鏡画像の取得位置に対応する位置での仮想内視鏡画像が既に生成されている場合には、生成済みの仮想内視鏡画像を用いる方が効率的である。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、本発明の実施形態は、各実施形態の特徴的構成を適宜組み合わせ実施形態であってもよい。具体的には、本発明の第３の実施形態の医療情報選択用ＵＩ３９を第１の実施形態に付加してもよいし、第４の実施形態の内視鏡画像表示態様選択用ＵＩ４０や仮想内視鏡画像生成部４１を、第１または第２の実施形態に付加してもよい。

また、上記各実施形態の医療情報データベース５３は、医療情報の実データも登録されているものとして説明を行ったが、医療情報の実データの代わりに、その実データにアクセスするためのリンク情報（アドレス情報）を登録しておき、実データは、登録元の他システムのデータベースのものを用いるようにし（リンク情報のリンク先を他システムのデータベースとし）、その医療情報が表示対象となった場合にのみ、そのリンク情報に基づいて、実データを取得するようにしてもよい。

また、上記実施形態では、医療情報が統合的に管理される医療情報管理サーバ２を設け、医療情報表示装置１は、医療情報管理サーバ２が備える医療情報データベース５３から医療情報を取得するようにしていたが、画像診断システム５や内視鏡検査システム６等の他システムの各々から、直接、医療情報を取得するようにしてもよい。

また、医療情報表示装置１が医療情報データベース５３を備えていてもよい。この場合、医療情報取得部３５または医療情報先行取得部３７に、医療情報検索部５２の機能を持たせればよい。

また、上記実施形態では、本発明の医療情報表示装置１を、図２に示したように携帯型の装置として説明してきたが、タッチパネル付き液晶ディスプレイとコンピュータ本体を有するデスクトップ型の装置であってもよい。

また、内視鏡ジェスチャに応じて表示される医療情報（画像）は、静止画ではなく、動画であってもよい。例えば、図１０Ｂの参照データに基づいて、ジェスチャの軌跡上の部位の移動パターンが認識された場合には、その軌跡上の各部位を順に表す実内視鏡動画像や仮想内視鏡動画像を医療情報データベース５３から取得するようにしてもよい。あるいは、ＣＴ画像等のボリュームデータを医療情報データベース５３から取得し、医療情報表示装置側で、仮想内視鏡動画像を生成するようにしてもよい。

また、上記のようにジェスチャの軌跡上の部位の移動パターンが認識された場合には、その軌跡上の各部位を表す実内視鏡画像や仮想内視鏡画像を医療情報データベース５３から取得するようにし、上記第３の実施形態と同様のユーザインターフェースで（図１７Ａ、図１７Ｂ参照）、ユーザが所望の部位の実内視鏡画像や仮想内視鏡画像を選択できるようにしてもよい。あるいは、仮想内使用画像を医療情報データベース５３から取得する代わりに、上記第４の実施形態のようにＣＴ画像データを取得するようにし、取得されたＣＴ画像データに基づいて、上記ユーザインターフェースで選択された部位の仮想内視鏡画像を生成するようにしてもよい。さらに、上記ユーザインターフェースで、静止画、動画の選択もできるようにしてもよい。

Claims (18)

1. 所与の情報を表示する表示手段と、
   該表示手段の表示面に対するジェスチャ操作を検出し、該検出されたジェスチャ操作の内容を表すジェスチャ情報を出力するジェスチャ入力手段と、
   被検体の外観を表す被検体外観画像を前記表示手段の所定の表示位置に表示させる第１の表示制御手段と、
   該被検体外観画像の表示中に前記ジェスチャ入力手段によって検出されたジェスチャ操作に応じて出力された前記ジェスチャ情報と、前記被検体外観画像の表示位置の情報とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、
   該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得する医療情報取得手段と、
   該取得された医療情報を前記表示手段に表示させる第２の表示制御手段とを備えた医療情報表示装置であって、
   前記取得条件特定手段は、前記被検体外観画像の表示位置の情報と、該被検体外観画像の表示中のジェスチャ操作に応じて出力されたジェスチャ情報に含まれる、該ジェスチャ操作の軌跡を表すジェスチャ軌跡情報とが、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する操作を表す内視鏡ジェスチャ条件を満たす場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定する内視鏡条件特定手段を有するものであることを特徴とする医療情報表示装置。
2. 前記被検体外観画像が、前記被検体を模式的に表した画像であることを特徴とする請求項１に記載の医療情報表示装置。
3. 前記内視鏡条件特定手段は、前記被検体外観画像に表された前記被検体上の、前記ジェスチャ操作の軌跡の始点に近い位置を認識し、該認識された位置に基づいて、前記内視鏡ジェスチャ条件を満たすかどうかの判断、および／または、前記医療情報取得条件の特定を行うものであることを特徴とする請求項１または２に記載の医療情報表示装置。
4. 前記内視鏡条件特定手段が、前記ジェスチャの終点の、前記被検体外観画像に表された前記被検体上での位置を認識し、該認識された位置に基づいて、前記内視鏡ジェスチャ条件を満たすかどうかの判断、および／または、前記医療情報取得条件の特定を行うものであることを特徴とする請求項１から４のいずれか１項に記載の医療情報表示装置。
5. 前記内視鏡条件特定手段が、前記ジェスチャ上の複数の点の、前記被検体外観画像に表された前記被検体上での位置である軌跡通過位置を認識し、該軌跡通過位置に基づいて、前記内視鏡ジェスチャ条件を満たすかどうかの判断、および／または、前記医療情報取得条件の特定を行うものであることを特徴とする請求項１から４のいずれか１項に記載の医療情報表示装置。
6. 前記被検体外観画像が、該画像中の各位置の位置情報に対して、前記被検体の部位を識別する部位識別情報が関連づけられた画像であることを特徴とする請求項３から５のいずれか１項に記載の医療情報表示装置。
7. 前記内視鏡条件特定手段が、前記ジェスチャの形状を認識し、該形状に基づいて、前記内視鏡ジェスチャ条件を満たすかどうかの判断、および／または、前記医療情報取得条件の特定を行うものであることを特徴とする請求項１から６のいずれか１項に記載の医療情報表示装置。
8. 前記医療情報取得手段が、前記内視鏡検査についての医療情報を取得するための医療情報取得条件を満たす医療情報として、実際の内視鏡による撮像によって形成された実内視鏡画像と、前記被検体を表す３次元医用画像から再構成された、該被検体の体腔内の所与の位置から見た該体腔内を表す仮想内視鏡画像とを取得した場合、前記表示制御手段が、該実内視鏡画像と該仮想内視鏡画像とを同時に表示させるものであることを特徴とする請求項１から７のいずれか１項に記載の医療情報表示装置。
9. 前記医療情報取得手段が前記実内視鏡画像と前記仮想内視鏡画像とを取得した場合、前記表示制御手段に該実内視鏡画像と該仮想内視鏡画像とを同時に表示させるか否かの選択を受け付ける選択受付手段をさらに備え、
   前記第２の表示制御手段は、前記選択受付手段が該同時表示をさせる旨の選択を受け付けた場合に、該実内視鏡画像と該仮想内視鏡画像とを同時に表示させるものであることを特徴とする請求項８に記載の医療情報表示装置。
10. 前記医療情報取得手段が、前記被検体を表す医用画像を前記医療情報記憶手段から取得した場合、必要に応じて、前記取得された医用画像に対して所定の画像処理を行う画像処理手段をさらに有し、
    前記医療情報取得手段が、前記仮想的な内視鏡検査についての医療情報を取得するための医療情報取得条件を満たす医療情報として、前記被検体を表す３次元医用画像を取得した場合、前記画像処理手段が、該３次元医用画像に基づいて、前記被検体の体腔内の所与の位置から見た該体腔内を表す仮想内視鏡画像を生成するものであり、前記表示制御手段が、該生成された仮想内視鏡画像を表示させるものであることを特徴とする請求項１から９のいずれか１項に記載の医療情報表示装置。
11. 前記医療情報取得手段が前記医療情報取得条件を満たす医療情報を複数件取得した場合、該複数件の医療情報を前記表示手段に一覧表示させ、表示対象の前記医療情報の選択を受け付ける第２の選択受付手段をさらに備え、
    前記第２の表示制御手段は、前記第２の選択受付手段によって選択された医療情報を表示させるものであることを特徴とする請求項１から１０のいずれか１項に記載の医療情報表示装置。
12. 前記複数件の医療情報は異なる時期の検査を表すものであることを特徴とする請求項１１に記載の医療情報表示装置。
13. 前記複数件の医療情報は前記被検体の異なる部位を表すものであることを特徴とする請求項１１または１２に記載の医療情報表示装置。
14. 前記第２の選択受付手段は、前記一覧表示の際、前記複数件の医療情報をサムネイルまたはアイコンの態様で表示させるものであることを特徴とする請求項１１から１３のいずれか１項に記載の医療情報表示装置。
15. 被検体についての医療情報を、所与の医療情報取得条件に基づいて選択的に提供する医療情報提供装置と、該医療情報を表示する医療情報表示装置とがネットワークを介して通信可能に接続された医療情報表示システムであって、
    該医療情報表示装置は、
    所与の情報を表示する表示手段と、
    該表示手段の表示面に対するジェスチャの入力を検出し、該検出されたジェスチャの該表示面における位置を表すジェスチャ位置情報を出力するジェスチャ入力手段と、
    被検体の外観を表す被検体外観画像を前記表示手段に表示させ、該被検体外観画像の表示中に前記ジェスチャ入力手段によるジェスチャの入力を受け付け、該ジェスチャの入力に応じて出力された前記ジェスチャ位置情報と、該被検体外観画像の前記表示面における位置とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定する取得条件特定手段と、
    該特定された医療情報取得条件を満たす前記医療情報を、前記医療情報提供装置から取得する医療情報取得手段と、
    該取得された医療情報を前記表示手段に表示させる表示制御手段とを備え、
    前記取得条件特定手段が、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、該内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定する内視鏡条件特定手段を有するものであることを特徴とする医療情報表示システム。
16. 前記医療情報提供装置は、
    複数件の前記医療情報を、所与の前記医療情報取得条件に基づいて選択可能なデータ構造で記憶する医療情報記憶手段と、
    前記医療情報表示装置から前記医療情報取得条件を受信する取得条件受信手段と、
    該受信した医療情報取得条件を満たす前記医療情報を前記医療情報記憶手段から取得する医療情報検索手段と、
    該取得された医療情報を、前記医療情報取得条件を送信した医療情報表示装置に送信する医療情報送信手段とを備えたものであることを特徴とする請求項１５に記載の医療情報表示システム。
17. 被検体の外観を表す被検体外観画像を表示手段に表示するステップと、
    該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャの入力を受け付け、該入力されたジェスチャの該表示面における位置を表すジェスチャ位置情報を出力するステップと、
    該出力されたジェスチャ位置情報と、該被検体外観画像の前記表示面における位置とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、
    該特定された医療情報取得条件を満たす前記医療情報を複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、
    該取得された医療情報を表示するステップとを有する医療情報表示方法であって、
    前記医療情報取得条件を特定するステップが、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、該内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定するステップを含むものであることを特徴とする医療情報表示方法。
18. コンピュータに、
    被検体の外観を表す被検体外観画像を表示手段に表示させるステップと、
    該被検体外観画像の表示中に該表示手段の表示面に対するジェスチャの入力を受け付け、該入力されたジェスチャの該表示面における位置を表すジェスチャ位置情報を出力するステップと、
    該出力されたジェスチャ位置情報と、該被検体外観画像の前記表示面における位置とに基づいて、前記被検体についての医療情報を取得するための医療情報取得条件を特定するステップと、
    該特定された医療情報取得条件を満たす前記医療情報を、複数件の前記医療情報を記憶する医療情報記憶手段から選択的に取得するステップと、
    該取得された医療情報を表示させるステップとを実行させる医療情報表示制御プログラムであって、
    前記医療情報取得条件を特定するステップにおいて、前記コンピュータに、前記被検体外観画像に表された前記被検体に対して内視鏡を挿入する経路を表す内視鏡ジェスチャを認識し、該内視鏡ジェスチャを認識した場合、実際の、および／または、仮想的な内視鏡検査についての前記医療情報を取得するための前記医療情報取得条件を特定するステップを実行させるものあることを特徴とする医療情報表示制御プログラム。

Images