JP6747956B2 - 情報統合装置 - Google Patents

Description

本開示は、手術で使用される医療装置から取得した医療情報を表示する技術に関する。

手術で使用される複数の医療装置から医療情報を取得し、複数の医療情報を統合して表示装置に表示させる技術が知られている。
例えば、特許文献１に記載の技術では、医療情報を取得した時間を表す時間タグと医療情報の種類を表す種類タグとを、取得した医療情報に付与して保存する。そして、特許文献１に記載の技術では、例えば始期と終期とにより時間領域を設定し、設定した時間領域に属する時間の時間タグを有する医療情報を、画像、グラフ、表等で表示装置に表示する。

また、特許文献１に記載の技術では、例えば、特定の生体情報について急変するという条件を満たすときの時間タグを読み出し、読み出した時間タグの時間を始期または終期または中心とする時間領域を設定する。そして、特許文献１に記載の技術では、設定した時間領域に属する時間タグを有する医療情報を表示装置に表示する。

特開２０１５−１８５１２５号公報

特許文献１に記載されている技術では、設定した時間領域に属する時間タグを有する医療情報を表示装置に表示するものの、時間領域において注目したい医療情報を抽出して表示することは考慮されていない。

本開示の一側面は、時間領域において注目したい医療情報を抽出して表示する技術を提供することを目的とする。

本開示の一態様は、情報取得部（３０、４０〜５０）と、情報保存部（３０）と、イベント抽出部（７２、Ｓ４０６）と、領域設定部（７２、Ｓ４０４）と、表示部（７２、Ｓ４０８、Ｓ４１２、Ｓ４１６、Ｓ４２０、Ｓ４２４）と、を備えている。

情報取得部は、手術で使用される複数の医療装置（１０２〜１１２）から医療情報を取得する。情報保存部は、情報取得部が医療情報を取得する時間を一元化された時間軸上で管理して医療情報に付与し、さらに医療情報を特定するためのラベルを医療情報に付与して記憶装置に保存する。イベント抽出部は、記憶装置に保存されている医療情報から表示装置（７４）に表示させるイベントを、医療情報に付与されたラベルに基づいて抽出する。

領域設定部は、イベント抽出部が抽出するイベントを表示装置に表示させる時間領域を設定する。表示部は、領域設定部が設定した時間領域において、医療情報として、手術箇所を含む画像とイベント抽出部が抽出したイベントとを、医療情報に付与された時間に基づいて表示装置に表示させる。

この構成によれば、複数の医療情報から表示装置に表示させるイベントを抽出し、抽出したイベントを設定した時間領域の範囲で表示装置に表示できる。これにより、注目したいイベントを注目したい時間領域の範囲で表示装置に表示し、手術の経過を検証できる。

尚、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

第１実施形態の情報統合装置の構成を示すブロック図。 情報統合処理を示すフローチャート。 電気メスの軌跡の表示例を示す説明図。 第２実施形態における表示例を示す説明図。 第３実施形態における表示例を示す説明図。 手術箇所の熱量の変化を示す特性図。

以下、本開示の実施形態を図に基づいて説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す情報統合システム２は、情報統合装置１０と、医療装置群１００と、を備えている。医療装置群１００は、生体情報検出装置１０２と、エネルギーデバイス１０４と、医療画像撮影装置１０６と、神経機能検査装置１０８と、ＤＮＡ量測定装置１１０と、３次元位置取得装置１１２と、を備えている。

情報統合装置１０は、手術室における各種の医療情報を統合して保存し、表示するための装置である。情報統合装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を備えた周知のコンピュータ２０、６０、７０を備えている。

情報統合装置１０は、コンピュータ２０、６０、７０のＣＰＵが上記ＨＤＤにインストールされたプログラムを実行することにより、後述する情報統合処理を実行する。情報統合装置１０は、機能的には、情報取得保存部３０と、ソフトウェアコンポーネント４０〜５０と、アプリケーション６２、６４と、統合表示アプリケーション７２と、表示装置７４と、を備えている。以下、アプリケーションを単にアプリとも言う。

情報取得保存部３０とソフトウェアコンポーネント４０〜５０とはコンピュータ２０により実現され、アプリ６２、６４はコンピュータ６０により実現され、統合表示アプリ７２と表示装置７４とはコンピュータ７０により実現されている。情報取得保存部３０として、例えばＯＲｉＮが使用される。ＯＲｉＮは、Open Resource interface for the Networkの略である。

情報取得保存部３０とソフトウェアコンポーネント４０〜５０とは、プログラミング言語、通信プロトコルの種類に関わらず、情報統合装置１０が医療装置群１００の間で情報のやり取りをするためのインターフェースとして機能する。ソフトウェアコンポーネント４０〜５０は、情報取得保存部３０と医療装置群１００との間で相互にデータをやりとりすることを可能にするコンポーネントである。

情報取得保存部３０は、医療装置群１００との間でやり取りして取得した医療情報として、画像、生体情報等をＨＤＤ等に保存する。
情報取得保存部３０は、所定時間間隔で取得した医療情報に、医療情報を特定するラベルと、医療情報を取得した時間とを付与してＨＤＤ等に保存する。医療情報に付与する時間は、情報統合装置１０が備える図示しない時計から取得され、一元化された時間軸上で管理されている。

アプリ６２、６４は、情報取得保存部３０が医療装置群１００との間でやり取りした医療情報を用いて、アプリ６２、６４に特有の医療処理として、解析結果をファイルに出力したり、解析結果を画像表示したり、解析結果を編集したりする。統合表示アプリ７２は、情報取得保存部３０が保存している医療情報を時間軸上で統合し、表示装置７４に表示させる。

表示装置７４は、例えばタッチパネル方式の液晶ディスプレイであり、一画面にＭＰＲ画像等の３次元画像と各種の操作ボタンとを表示可能である。ＭＰＲは、Multi Planar Reconstructionの略である。また、表示装置７４は、タッチパネルに表示された操作ボタンに対するユーザの入力操作とマウスの操作とに対応する信号を情報取得保存部３０に出力する。

生体情報検出装置１０２は、手術中の患者の生体情報として、血圧、心電図、酸素飽和度、心拍数、脈波、脳波、筋電、麻酔深度、等を検出する。
エネルギーデバイス１０４は、電気メス、ドリル、超音波照射装置等、患者の患部に対して手術を行う医療装置である。

医療画像撮影装置１０６は、ＣＴ、ＭＲＩ等の患者の患部を撮影する装置である。ＣＴはComputed Tomographyの略であり、ＭＲＩはMagnetic Resonance Imagingの略である。
神経機能検査装置１０８は、手術中の運動誘発電位、体性感覚誘発電位等を検査する。以下、運動誘発電位を略してＭＥＰ、体性感覚誘発電位を略してＳＥＰとも言う。ＭＥＰとＳＥＰも生体情報である。

ＤＮＡ量測定装置１１０は、手術中に切除された組織を生体検査し、がん細胞であるか否かの検査結果を手術中に出力する装置である。
３次元位置取得装置１１２は、医療装置として電気メス、鉗子等の手術器具の手術中における３次元位置を取得する装置である。手術器具の３次元位置を取得する方法として、例えば、予めマーカを手術器具の特定の位置に取り付け、手術が実施される空間において予め規定された基準位置から手術器具における特定の位置までのベクトルを手術器具の３次元位置として特定することが考えられる。
［１−２．処理］
次に、情報統合装置１０の統合表示アプリ７２が実行する情報統合処理について説明する。図２に示す情報統合処理のフローチャートは、情報統合装置１０の電源がオンになり、情報統合処理の開始がスイッチ等で指示されると実行される。

図２示す情報統合処理により表示装置７４に表示される画像の例として、脳に対して電気メスで手術を行ったときのＭＰＲ画像を図３に示す。ＭＰＲ画像として、ＣＴ画像またはＭＲＩ画像が使用される。

Ｓ４００において統合表示アプリ７２は、手術中に医療装置群１００から取得して情報取得保存部３０が保存している医療情報を情報取得保存部３０から読み出す。
Ｓ４０２において統合表示アプリ７２は、各医療情報に付与されている時間に基づき、一元化された時間軸上において医療情報の順序を整理する。

Ｓ４０４において統合表示アプリ７２は、表示装置７４に表示させるイベントの時間領域を設定するための基準時間となる注目点を抽出する。そして、統合表示アプリ７２は、注目点を基準時間として、注目点よりも前の例えば手術開始時間から注目点である基準時間までを、表示装置７４に画像を表示させる時間領域として設定する。時間領域は、ユーザが設定しない場合は初期値として、例えば、手術開始から手術終了までが設定される。

例えば、Ｓ４０４で注目点を抽出する条件として、ＭＥＰの値が４０％以下になるとき等がユーザにより設定される。注目点を抽出する条件は、脳に対する電気メスによる手術の場合には、統合表示アプリ７２により予め設定されていてもよい。また、ユーザがその都度、注目点を抽出する条件を設定してもよい。

また、注目点を基準時間として表示装置７４に画像とイベントとを表示させる時間領域は、時間領域の開始時間を手術開始時間として統合表示アプリ７２により予め設定されていてもよいし、注目点を基準時間としてユーザがその都度設定してもよい。また、注目点は、時間領域の終了時間ではなく、開始時間でもよいし、時間領域の途中時間でもよい。

Ｓ４０６において統合表示アプリ７２は、Ｓ４０４で設定した時間領域において、脳のＭＰＲ画像とともに表示装置７４に表示させるイベントを抽出する。
Ｓ４０８において統合表示アプリ７２は、Ｓ４０４で設定した時間領域において、ＭＰＲ画像とＳ４０６で抽出したイベントとを表示装置７４に表示させる。図３に示す表示例では、ＭＥＰの値が４０％以下になったときの時間を注目点とし、手術開始から注目点までの時間領域におけるイベントとして、電気メスの軌跡２００とＭＥＰの値とＳＥＰの値とが、ＭＰＲ画像とともに表示装置７４に表示されている。イベントのうち電気メスの軌跡２００は、ＭＰＲ画像に重畳して表示されている。

尚、表示装置７４に表示するイベントとして、電気メスの軌跡２００とＭＥＰの値とＳＥＰの値と以外に、脳波、脈波等の生体情報を医療情報から抽出して表示させてもよい。
表示装置７４に表示される表示レイアウトは、複数種類用意されており、表示する医療情報に応じて対応する表示レイアウトが統合表示アプリ７２により選択されるか、ユーザが表示レイアウトを設定する。

次に、ユーザの操作に応じて、Ｓ４１０、Ｓ４１２またはＳ４１４、Ｓ４１６またはＳ４１８、Ｓ４２０、またはＳ４２２、Ｓ４２４の処理が実行される。各処理を実行すると、処理はＳ４０８に戻る。

Ｓ４１０においてユーザが表示装置７４のタッチパネル上の再生ボタンを押下すると、Ｓ４１２において統合表示アプリ７２は、ユーザが表示装置７４のタッチパネル上の停止ボタンを押下するまで、軌跡２００上の電気メスの現在位置とそのときのＭＥＰの値とＳＥＰの値とを表示装置７４上で再生する。

Ｓ４１４においてユーザがマウスホイールを回すと、Ｓ４１６において統合表示アプリ７２は、軌跡２００上の電気メスの現在位置とそのときのＭＥＰの値とＳＥＰの値とを示す時間軸上の位置とを、マウスホイールの回転方向に応じて時間を前後させて表示装置７４上で再生する。

Ｓ４１８においてユーザがイベントを抽出すると、Ｓ４２０において統合表示アプリ７２は、抽出されたイベントが発生した時間の画像を表示装置７４に表示させる。
Ｓ４２２においてユーザが軌跡２００上でマウスをクリックすると、Ｓ４２４において統合表示アプリ７２は、マウスでクリックした軌跡２００上の時間の画像を表示装置７４に表示させる。
［１−３．効果］
第１実施形態によると、以下の効果を得ることができる。

医療情報から表示装置７４に表示させるイベントを抽出し、設定した時間領域の範囲で抽出したイベントの変化を表示装置７４に表示できる。これにより、手術中において注目したいイベントの変化を注目したい時間領域の範囲で表示装置７４に表示し、手術の経過を検証できる。

第１実施形態において、情報統合装置１０が情報統合装置に対応し、情報取得保存部３０とソフトウェアコンポーネント４０〜５０とが情報取得部に対応し、情報取得保存部３０が情報保存部に対応し、統合表示アプリ７２がイベント抽出部と領域設定部と表示部とに対応し、表示装置７４が表示装置に対応する。

また、Ｓ４０４が領域設定部の処理に対応し、Ｓ４０６がイベント抽出部の処理に対応し、Ｓ４０８、Ｓ４１２、Ｓ４１６、Ｓ４２０、Ｓ４２４が表示部の処理に対応する。
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態の情報統合システムの構成は、第１実施形態の情報統合システム２と実質的に同じであるが、表示装置７４に表示する画像の表示例が第１実施形態と異なる。第１実施形態と同じ構成部分については同一符号を用いる。第１実施形態と同一符号については、先行する説明を参照する。

図４に示すように、表示装置７４に表示された体軸断面、矢状断面、冠状断面、斜視画像のいずれかの画像上でマウス等によりユーザが空間領域２１０を指定すると、統合表示アプリ７２は、他の画像で対応する空間領域２１０を設定する。時間領域は、例えば、手術開始から手術終了までが設定される。

統合表示アプリ７２は、空間領域２１０内で発生したイベントだけを表示装置７４に表示させる。図４では、空間領域２１０の電気メスの軌跡２００がイベントとして表示されている。

そして、例えばユーザがマウスホイールを回すと、マウスホイールの回転方向に応じて、空間領域２１０の画像だけが、各画像を見る定点を変えずに時間を前後して表示装置７４に表示される。
［２−２．効果］
第２実施形態によると、注目したい空間領域２１０におけるイベントの時間変化を、表示装置７４に定点からの視点で表示できる。これにより、注目したいイベントと空間領域２１０とに基づいて、手術の経過を検証できる。

第２実施形態において、空間領域２１０が空間領域に対応する。
［３．第３実施形態］
［３−１．第１実施形態との相違点］
第３実施形態の情報統合システムの構成は、第１実施形態の情報統合システム２と実質的に同じであるが、表示装置７４に表示する画像の表示例が第１実施形態と異なる。第１実施形態と同じ構成部分については同一符号を用いる。第１実施形態と同一符号については、先行する説明を参照する。

図５に示すように、ユーザは、表示装置７４に表示された体軸断面、矢状断面、冠状断面、斜視画像のいずれかの画像上で、マウス等により空間領域２２０を指定する。統合表示アプリ７２は、いずれかの画像で空間領域２２０が指定されると、他の画像で対応する空間領域２２０を設定する。時間領域は、例えば、手術開始から手術終了までが設定される。

さらに、ユーザは、電気メス、ドリル等の手術器具により空間領域２２０内で発生する熱量または温度をイベントとして設定する。
例えば、空間領域２２０における色表示が青いほど熱量の発生量が少なく、色表示が赤いほど熱量の発生量が多いことを表す。ユーザがマウスホイールを回転することにより、設定された時間領域において、空間領域２２０の色表示が時間を前後して変化する。熱量または温度は、例えばドリルの作動状態、ドリルに加わる反力、ドリルの素材、ドリル使用時の冷却水の冷却効果等を考慮して算出する。

さらに、図６に示すように、時間領域において空間領域２２０内で発生した瞬時の熱量３００と、熱量の積算値３１０とを表示装置７４に表示してもよい。
［３−２．効果］
第３実施形態によると、注目したい空間領域２２０における熱量の変化を、設定した時間領域において表示装置７４上で容易に検証できる。

第３実施形態において、空間領域２２０が空間領域に対応する。
［４．他の実施形態］
（１）上記の基準時間を設定する注目点として、麻酔を投与した時間を抽出してもよい。そして、麻酔を投与した基準時間を含む前後の時間領域において、抽出されたイベントの時間変化を表示装置７４に表示させてもよい。

（２）情報統合装置１０は、イベントとして手術中に発生した異常原因を、情報取得保存部３０が保存している時間管理された複数の医療情報に基づいて検証してもよい。
（３）上記実施形態では、情報統合装置１０を使用して脳に対する手術を検証する例を説明した。これ以外にも、歯、骨、鼻、耳、等の手術中に動かない身体箇所に対する手術の検証に情報統合装置１０を使用してもよい。

（４）情報統合装置１０を構成するコンピュータの数は、上記実施形態で例示した２個に限るものではなく、１個でもよいし３個以上でもよい。
（５）上記実施形態における一つの構成要素が有する複数の機能を複数の構成要素によって実現したり、一つの構成要素が有する一つの機能を複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を一つの構成要素によって実現したり、複数の構成要素によって実現される一つの機能を一つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。尚、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（６）上述した情報統合装置の他、当該情報統合装置を構成要素とする情報統合システム、当該情報統合装置としてコンピュータを機能させるための情報統合プログラム、この情報統合プログラムを記録した記録媒体、情報統合方法など、種々の形態で本開示を実現することもできる。

２：情報統合システム、１０：情報統合装置、３０：情報取得保存部（情報取得部、情報保存部）、４０〜５０：ソフトウェアコンポーネント（情報取得部）、７２：統合表示アプリ（イベント抽出部、領域設定部、表示部）、７４：表示装置、２１０、２２０：空間領域

Claims (4)

1. 手術で使用される複数の医療装置（１０２〜１１２）から医療情報を取得する情報取得部（３０、４０〜５０）と、
   前記情報取得部が前記医療情報を取得する時間を一元化された時間軸上で管理して前記医療情報に付与し、さらに前記医療情報を特定するためのラベルを前記医療情報に付与して記憶装置に保存する情報保存部（３０）と、
   前記記憶装置に保存されている前記医療情報から表示装置（７４）に表示させるイベントを、前記医療情報に付与された前記ラベルに基づいて抽出するイベント抽出部（７２、Ｓ４０６）と、
   前記イベント抽出部が抽出する前記イベントを前記表示装置に表示させる時間領域を設定する領域設定部（７２、Ｓ４０４）と、
   前記領域設定部が設定した前記時間領域において、前記医療情報として、手術が行われた手術箇所を含む画像と前記イベント抽出部が抽出した前記イベントとを、前記医療情報に付与された前記時間に基づいて前記表示装置に表示させる表示部（７２、Ｓ４０８、Ｓ４１２、Ｓ４１６、Ｓ４２０、Ｓ４２４）と、
   を備え、
   前記領域設定部は、さらに、前記手術箇所を含む画像上でのユーザの操作による指定に基づいて、注目したい空間領域（２１０、２２０）として、前記手術箇所と前記手術箇所以外の前記手術箇所の周囲とを有する前記手術箇所を含む領域か、あるいは前記手術箇所以外の領域を設定し、
   前記イベント抽出部は、さらに、前記領域設定部が設定した前記空間領域で発生する前記医療情報から、前記表示装置に表示させる前記イベントとして、運動誘発電位と体性感覚誘発電位とＤＮＡ量測定装置（１１０）が出力する出力値とのうち少なくとも一つを抽出する、
   情報統合装置。
2. 請求項１に記載の情報統合装置において、
   前記表示部は、定点から見た前記イベントの前記時間領域における時間変化を前記表示装置に表示させる、
   情報統合装置。
3. 請求項１または２に記載の情報統合装置において、
   前記イベント抽出部は、さらに、手術中に発生した手術箇所の熱量を前記イベントとして抽出する、
   情報統合装置。
4. 請求項１から３のいずれか一項に記載の情報統合装置において、
   前記領域設定部は、前記医療情報である生体情報の値が設定された範囲になるときの前記時間を、前記時間領域を設定するときの基準時間とする、
   情報統合装置。

Images