JP5259692B2 - 内視鏡システム - Google Patents

Description

本発明は、複数の医療機器を制御する内視鏡システムに関する。

従来、内視鏡手術において、術者は術中画像を記録装置（以下ＶＴＲ）に録画しておき、手術後に、処置器具の動きや組織の状態などからどのような処置を行ったか確認していた。

また、内視鏡システムにおいては、電気メスの設定・出力回数や気腹装置の送気量、患者の腹腔圧パラメータの変化を保存しておくことができ、確実に手術が行なわれたか確認することが出来た。

どちらも、手術を行った証拠としては有効であるが、ＶＴＲだけであったり、パラメータの変化だけでは、どのように手術が行なわれたかがわかりづらい。

もし、その両方を関連つけることができれば、手術の行なわれた履歴を忠実に再現をすることができる。

そこで、例えば特開２００３−７６７８６号公報、特開２００３−７０７４８号公報等において、ＰＣで内視鏡画像をディジタルデータとして取り込み、医療情報と一緒にネットワーク伝送にて配信し、送り先のＰＣ上でそれぞれ同時に表示させようとする技術が提案されている。

特開２００３−７６７８６号公報 特開２００３−７０７４８号公報

従来よりネットワーク伝送を用いる技術においては、一般的にはＴＣＰ／ＩＰ、ＵＤＰ(User Datagram Protocol) 、ＲＴＰ（Real-time Transport Protocol)などの通信方式がある。

しかしながら、これらの通信プロトコルは、Ｐ2Ｐ（Peer to Peer）、もしくは１対Ｎの伝送するためのものであり、例えば上記内視鏡システムのような、異なる通信プロトコルを持つ複数の医療装置からリアルタイムにパラメータを取得しようとする場合（Ｎ対１の伝送）は、患者もしくは機器パラメータの変化と画像の変化にずれが生じてしまう。

その理由として、内視鏡画像の生成装置と、腹腔圧や血圧、そして、治療機の出力パラメータを生成する装置は各々異なるものであり、各装置のもつ時間情報にずれがあったり、通信によるディレイ時間があるため、内視鏡画像の動作と機器パラメータの変化が一致しないので正確な情報表示にならないからである。

手術中は通信によりパラメータを取得する機器が存在しているので、若干のディレイがあったとしても装置側の警告やパラメータ変化を見て確認することはできるが、保存／再生においては、各機器側の情報を見ることができないため不自然になる。

本発明は、上記事情に鑑みてなされたものであり、正確な医療情報の保存／再生し、手術中行なわれた処置内容を忠実に再現させることのできる内視鏡システムを提供することを目的としている。

本発明の内視鏡システムは、独自のリアルタイムクロックを有し、内視鏡画像データを出力する内視鏡装置と、患者情報を収集すると共にそれぞれ独自のリアルタイムクロックを有する複数の医療機器と、前記内視鏡装置および前記複数の医療機器と通信可能であると共に独自のリアルタイムクロックを有する第１のシステムコントローラと、前記第１のシステムコントローラとネットワークを介して通信可能な第２のシステムコントローラと、前記第１のシステムコントローラ内に設置され、当該第１のシステムコントローラ自身のリアルタイムクロックを有すると共に連続的なタイムスタンプを生成可能とする制御手段と、を有する内視鏡システムにおいて、
前記第１のシステムコントローラは、予め前記内視鏡装置および前記複数の医療機器との通信により、前記内視鏡装置または前記複数の医療機器それぞれの医療機器側のリアルタイムクロックと前記第１のシステムコントローラ側のリアルタイムクロックとの時間差を第１の時間差情報として取得し、当該第１の時間差情報と、前記内視鏡装置または前記複数の医療機器と当該第１のシステムコントローラとの通信に伴う第２の時間差情報とに応じた補正値を算出し、その後、前記複数の医療機器における所定のパラメータの変化が発生したタイミングに相当する医療機器側時間情報を当該患者情報と共に記録し、
かつ、前記ネットワークを介して記録した当該患者情報を前記第２のシステムコントローラに送信する際には、当該ネットワークを介して当該第２のシステムコントローラに送信するタイミングに相当するタイムスタンプ情報と共に、前記医療機器側時間情報、前記補正値、および、当該第１のシステムコントローラ側のリアルタイムクロック情報を送信し、
前記第２のシステムコントローラは、受信した前記タイムスタンプ情報、前記医療機器側時間情報、前記補正値、および前記第１のシステムコントローラ側のリアルタイムクロック情報に基づいて、前記内視鏡画像データと同期した前記医療機器における実時間情報を算出する
ことを特徴とする。

本発明によれば、正確な医療情報の保存／再生し、手術中行なわれた処置内容を忠実に再現させることができるという効果がある。

本発明の実施例１に係る内視鏡手術システムの構成を示す構成図 図１のシステムコントローラの構成を示すブロック図 図２の記憶部の記憶エリアの構成を示す図 図１の表示装置における表示レイアウトの一例を示す図 図１の電気メスの動作発生タイミングを示す図 図２のシステムコントローラの作用を示すフローチャート 図６の順次保存を行なう保存処理を示すフローチャート 本発明の実施例２に係る図８は内視鏡手術システムの構成を示す構成図 図８の内視鏡手術システムでの通信データのデータ構造を示す図 図８の第２のシステムコントローラの作用を説明するフローチャート 本発明の実施例３に係る表示装置あるいはＰＣ上の液晶モニタで再生したときの表示レイアウトの一例を示す図 本発明の実施例４に係る内視鏡手術システムの構成を示す構成図 本発明の実施例５に係る内視鏡手術システムの構成を示す構成図 図１３のローカルネットワークの構成例を示すブロック図

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図７は本発明の実施例１に係わり、図１は内視鏡手術システムの構成を示す構成図、図２は図１のシステムコントローラの構成を示すブロック図、図３は図２の記憶部の記憶エリアの構成を示す図、図４は図１の表示装置における表示レイアウトの一例を示す図、図５は図１の電気メスの動作発生タイミングを示す図、図６は図２のシステムコントローラの作用を示すフローチャート、図７は図６の順次保存を行なう保存処理を示すフローチャートである。

まず、図１を用いて手術室２に配置される内視鏡手術システム３の全体構成を説明する。

図１に示すように、手術室２内には、患者４８が横たわる患者ベッド１０と、内視鏡手術システム３が配置される。この内視鏡手術システム３は、第１カート１１及び第２カート１２を有している。

第１カート１１には、被制御装置である医療機器として例えば電気メス装置１３、気腹装置１４、内視鏡用カメラ装置１５、光源装置１６及びビデオテープレコーダ（ＶＴＲ）１７等の装置類と、二酸化炭素等を充填したガスボンベ１８が載置されている。内視鏡用カメラ装置１５は、カメラケーブル３１ａを介して第１の内視鏡３１に接続される。光源装置１６は、ライトガイドケーブル３１ｂを介して第１の内視鏡３１に接続される。

また、第１カート１１には、表示装置１９、第１の集中表示パネル２０、操作パネル２１等が載置されている。表示装置１９は、内視鏡画像等を表示する、例えばＴＶモニタである。

集中表示パネル２０は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段となっている。操作パネル２１は、例えば液晶ディスプレイ等の表示部とこの表示部上に一体的に設けられた例えばタッチセンサにより構成され、非滅菌域にいる看護師等が操作する集中操作装置になっている。

更に、第１カート１１には、制御装置であるシステムコントローラ２２が載置されている。このシステムコントローラ２２には、上述の電気メス装置１３と気腹装置１４と内視鏡用カメラ装置１５と光源装置１６とＶＴＲ１７とが、図示しない通信線を介して接続されている。システムコントローラ２２には、ヘッドセット型のマイク３３が接続できるようになっており、システムコントローラ２２はマイク３３から入力された音声を認識し、術者の音声により各機器を制御できるようになっている。

また、第１カート１１には、第１の内視鏡３１や、電気メス装置１３の処置具などに埋め込まれているＩＤタグより、物の個別ＩＤ情報を無線にて読み取り／書き取りできるＲＦＩＤ（Radio Frequency Identification）端末３５が設けられている。

一方、前記第２カート１２には、被制御装置である内視鏡用カメラ装置２３、光源装置２４、画像処理装置２５、表示装置２６及び第２の集中表示パネル２７とが載置されている。

内視鏡用カメラ装置２３はカメラケーブル３２ａを介して第２の内視鏡３２に接続される。光源装置２４はライトガイドケーブル３２ｂを介して第２の内視鏡３２に接続される。

表示装置２６は、内視鏡用カメラ装置２３でとらえた内視鏡画像等を表示する。第２の集中表示パネル２７は、手術中のあらゆるデータを選択的に表示させることが可能になっている。

これら内視鏡用カメラ装置２３と光源装置２４と画像処理装置２５とは、第２カート１２に載置された中継ユニット２８に図示しない通信線を介して接続されている。そして、この中継ユニット２８は、中継ケーブル２９によって、上述の第１カート１１に搭載されているシステムコントローラ２２に接続されている。

したがって、システムコントローラ２２は、これらの第２カート１２に搭載されているカメラ装置２３、光源装置２４及び画像処理装置２５と、第１カート１１に搭載されている電気メス装置１３、気腹装置１４、カメラ装置１５、光源装置１６及びＶＴＲ１７とを集中制御するようになっている。このため、システムコントローラ２２とこれらの装置との間で通信が行われている場合、システムコントローラ２２は、上述の操作パネル２１の液晶ディスプレイ上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示できるようになっている。さらに、システムコントローラ２２は、所望の操作スイッチが触れられて所定領域のタッチセンサが操作されることによって設定値の変更等の操作入力が行えるようになっている。

リモートコントローラ３０は、滅菌域にいる執刀医等が操作する第２集中操作装置であり、通信が成立している他の装置を、システムコントローラ２２を介して操作することができるようになっている。

このシステムコントローラ２２は、ケーブル９により患者モニタシステム４に接続されており、後述するように、患者モニタシステム４から取得した生体情報を解析し、この解析結果を所要の表示装置に表示させることができる。

また、システムコントローラ２２には、通信手段である赤外線通信ポート（図示せず）が取り付けられている。この赤外線通信ポートは、表示装置１９の近傍等の赤外線が照射しやすい位置に設けられ、システムコントローラ２２との間がケーブルで接続されている。

システムコントローラ２２は、図２に示すように、時間情報（ＲＴＣ：リアルタイムクロック）を内部に有する時間情報補正手段である制御部４１（一般的なマイコン機能として持つＲＴＣを指す）と、内視鏡カメラ装置１５と光源装置１６と気腹装置１４と電気メス装置１３との間でＲＳ−２３２Ｃのシリアル通信を行なう第１通信Ｉ／Ｆ４ ０とを備えている。

また、第１の内視鏡３１や、電気メス装置１３の処置具などに埋め込まれているＩＤタグより、物の個別ＩＤ情報を無線にて読み取り／書き取りできるＲＦＩＤ（Radio Frequency Identification）端末３５からは、読み込んだスコープＩＤや処置具ＩＤ、または、薬品ＩＤ等の個別ＩＤ情報を読み取ることができる。読み込んだ個別ＩＤ情報をバイタルサインや機器パラメータ履歴、及び画像の時間軸と関連付けることで術者や看護師がどのような処置を行なったかを履歴として残せる。

本実施例では、各通信Ｉ／Ｆで通信を行う内視鏡カメラ装置１５等にも、それぞれＲＴＣが設けられており、を持っており、かつ共有Ｉ／Ｆが設けられている。

なお、本実施例のシステムコントローラ２２では、第１通信Ｉ／Ｆ４ ０によりＲＳ−２３２Ｃシリアル通信を行うとしているが、イーサネット（登録商標）によるネットワーク通信、Ｂｌｕｅｔｏｏｔｈなどのような無線通信、赤外線通信で内視鏡カメラ装置１５と光源装置１６と気腹装置１４と電気メス装置１３との間の通信を行ってもよい。

またシステムコントローラ２２には、前記内視鏡カメラ装置１５で撮像された内視鏡画像取得処理（一般的なキャプチャ処理やＡ／Ｄ、Ｄ／Ａ変換処理）、もしくはマイク３３などから手術室内の会話の録音（圧縮・伸張処理）もしくは手術中の術者のコメントをテキスト化する処理（音声認識処理）を行なうマルチ信号入出力処理部４５がある。

また、制御部４１は第２通信通信Ｉ／Ｆ４６を介して、患者モニタシステム４と通信ができる構成となっている。ここで、第２通信通信Ｉ／Ｆ４６は、ローカルなＩＰアドレスが割り振られている機器との通信を行うＩ／Ｆである。

なお、この第２通信通信Ｉ／Ｆ４６による通信は、ＴＣＰ／ＩＰプロトコルやＵＤＰプロトコルのＬＡＮネットワーク通信でもＵＳＢやＲＳ−２３２Ｃのようなシリアル通信でも何でも良い。

また、制御部４１は、インターネットや図示しない他の病院のＰＣと通信可能な第３通信Ｉ／Ｆ４４に接続されている。ここで、第３通信通信Ｉ／Ｆ４４は、グローバルなＩＰアドレスが割り振られている機器との通信を行うＩ／Ｆである。

さらに制御部４１は、前述した各通信Ｉ／Ｆを介して取得した機器のパラメータや、画像／音声情報を取得する、例えばＲＡＭのようなワークメモリで構成される時間情報取得手段であるパラメータ取得部４９と、ある一定の期間の機器パラメータや、画像／音声情報を保存する保存手段である記憶部５０とに接続されている。

また、制御部４１は、再生手段である表示Ｉ／Ｆ５ １ を介して、前記表示装置２６に機器パラメータや画像／音声情報を表示することができるようになっている。

記憶部５０は、図３に示すように、取得した情報を識別する識別情報（カテゴリ別に、機器情報、患者情報、個体識別情報）を記憶するヘッダー情報エリア２００と、時間情報を記憶する時間情報エリア５２と、例えばＩＤで管理したときの機器ＩＤ情報を記憶するＩＤエリア５３と、設定値／測定値などのデータエリア５４とで記憶エリアを構成している。

なお、識別情報は、患者データや、機器メンテナンス、処置具などの情報取得として、所望のデータ抽出時に使用される。

記憶部５０は一般的なアドレス管理がなされており、電気的にリード／ライト可能なメモリであって、例えばフラッシュＲＯＭ（スマートメディアやコンパクトフラッシュ（登録商標）など）や、ＨＤＤ等により構成される。

また、記憶部５０では、図３のように音声データや画像データ、機器パラメータ、患者生体情報などが指定されたデータエリア５４に格納でき、画像／音声再生する時は、特定のデータエリア５４からデータを読み出し、前記表示装置２６などに再生表示できる構成になっている。

なお、音声データや画像データは、機器パラメータ、患者生体情報等と関連づけられて、データエリア５４とは別の領域である、記憶部５０の音声／画像データエリア（図示せず）に格納されている。

本実施例では、保存手段がシステムコントローラ２２内の記憶部５０となっているが、ＵＳＢ、ＡＴＡカードタイプのように着脱自在の記憶手段で構成し、別のＰＣ等で着脱自在の記憶手段がパラメータをリードし再生しても構わない。

時間情報エリア５２は、後述する計算により算出された実時間情報５５と補正値５６（後述する各パラメータ取得時の通信のずれと各機器のＲＴＣのずれ時間を加算した）を格納するエリアからなる。

なお、符号６３は各機器のＲＴＣで取得した時間情報Ａ、符号６４はシステム初期化であらかじめ取得しておいた補正値を算出する為のＲＴＣのずれ時間Ｂ、符号６５は各機器の最新時間情報を取得したときのシステムコントローラ２２のＲＴＣで取得した時間情報Ｃである。

図４は前述した表示装置２６で機器パラメータ、画像／音声データを再生するときのレイアウト例を示す。表示装置２６は、ＣＲＴ、ＬＣＤ、ＰＤＰのようなディスプレイであり、図４では、内視鏡画像をＰｉｎＰ（ピクチャ・イン・ピクチャ）表示させる内視鏡画像動画／静止画再生エリア５７と、医療情報をマルチ再生する医療情報マルチ再生エリア５８と、各機器のパラメータを表示するパラメータ数値表示エリア５９を持つレイアウト構成になっている。

図４に示すように、医療情報マルチ再生エリア５８は、時間補正して保存されている、例えば患者モニタシステム４から取得するバイタルサインデータの時間変化及び各医療機器の操作設定値／測定値の時間変化を波形で表示ができ、取得した音声データをテキスト表示することが可能となっている。

なお、医療情報マルチ再生エリア５８では、カーソル１５０を図示しないマウスやタッチパネル等のポインティングデバイスで時間軸を指定することで、関連付いている画像やパラメータをリンクさせて記憶部５０に記憶させたり、内視鏡画像動画／静止画再生エリア５７及びパラメータ数値表示エリア５９において関連付いている画像やパラメータを再生／表示することができるようになっている。

また、パラメータ数値表示エリア５９は、システムコントローラ２２が各機器と通信にて取得してきた操作情報からなる最新情報（パラメータ取得部５１に格納）をリアルタイムで表示／更新するようになっている。

図５は横軸を時間の流れとして示し、各々の動作発生タイミングの時間を説明している。図５の中の画像データは、術者が電気メスの出力を行なったタイミングにおける、内視鏡動画像てあって、画像データとしては、出力した電気メスが組織を切開している情報を表示していることになる。このときのタイミングを、各機器のＲＴＣで取得した時間情報Ａ６３とする。

次に、システムコントローラ２２が通信経由で、切開出力を行なったというパラメータを取得する時間を、電気メス出力変化取得のタイミングとし、システムコントローラ２２のＲＴＣで取得した時間情報Ｃ６５とする。時間情報Ａ６３と時間情報Ｃ６５の間には、通信による遅延時間（ずれ）と、各機器ごとのＲＴＣ時間情報のずれ分Ｂ６４が含まれている。

つまり、この２つのずれ分を補正することで、画像データと同期した実時間情報を得ることができる。

まず、内視鏡手術の準備を行なう。事前に看護師が患者４８をベッド１０に搬送し、麻酔の術者が麻酔をかける。術者は患者カルテ確認、手技確認を行なう。看護師は患者介助、麻酔介助、機器の設置、及び図示しない使用器具の準備、内視鏡、送気チューブなどの接続を行ない、図１の内視鏡システム図のように準備する。システムコントローラ２２及び、各機器、患者モニタシステム４も起動する。

そして、図６に示すように、ステップＳ１にて、システムコントローラ２２と通信可能な機器の間で通信確立を行い、各機器の時間情報を取得し、システムコントローラ２２内の時間情報との差分を算出する。

ステップＳ２において、各機器ごとの時間情報の差分（以下補正値を算出する為のＲＴＣのずれ時間Ｂ６４）を取得し、ステップＳ３において各機器のパラメータを取得する。

ステップＳ４においてパラメータの更新があったら、ステップＳ５において表示装置２６で表示されている数値を更新し、ステップＳ６において記憶部５０にパラメータを順次保存しておく。

ステップＳ７において通信が終了したならば、ステップＳ８で通信動作終了となり、そうでなければ順次各機器と通信を行なう。

次に図７を用いて順次保存を行なう保存処理（図６ステップＳ６の保存処理のサブルーチン）の動作説明を行なう。

図７に示すように、ステップＳ１１において各機器のＲＴＣで取得した時間情報Ａ６３（後述の図９のパラメータ構造／パケット構造参照）を取得し、ステップＳ１２においてシステム初期化（図６のステップＳ１）であらかじめ取得しておいた補正値を算出する為のＲＴＣのずれ時間Ｂ６４、並びに各機器の最新時間情報を取得したときのシステムコントローラ２２のＲＴＣで取得した時間情報Ｃ６５を取得する.。

ただし、各機器のＲＴＣで取得した時間情報Ａ６３はパラメータ更新の発生したタイミングでの時間情報を、各機器毎に関連つけているものである。

ステップＳ１３において時間情報にずれが発生したとする場合（ここでいう”ずれ”とは通信にかかる時間をある時間ｔを確保していればリアルタイム更新しているものとし”ずれ”はなしとみなし、時間ｔを超える通信時間が発生したとき”ずれ”があるとみなす）にずれと認識する。

例えば、
ずれ時間（発生）＝通信にかかった時間（時間情報Ｃ−時間情報Ａ−時間情報Ｂ）＞ｔとなる。

もし、ずれが発生したと認識できれば、ステップＳ１４において各々のタイミングで取得した時間情報の実時間情報を算出する。

例えば
各パラメータ取得時の補正値Ｂ５６＝（ＲＴＣのずれＢ＋通信によるずれ）実時間情報Ａ５５＝時間情報Ｃ＋補正値Ｂ（時間情報Ｃ−時間情報Ａでも良い）となる。

次にステップＳ１５において、各パラメータごと補正値と時間情報、取得したパラメータを保存する。

次に再生処理は、図３のように格納された画像データの実時間情報、音声データの実時間情報、各機器のパラメータの実時間情報を元に同期をとって再生させる。

なお本実施例では、音声データ、画像データは通信ではなく、直に入力されているため、通信にかかるディレイ時間の補正を行なってないが、通信によって取得する場合や処理に時間がかかる場合は、各機器のパラメータと同様に補正処理を行なうことができる。

このように本実施例では、異なる入力装置や異なる契機で発生した内視鏡画像、手術装置情報、患者情報等の医療処置情報がシステムコントローラ２２に集積され、このシステムコントローラ２２は、入力された情報の時間情報を補正したり、保存させたり、表示させたりすることができるので、医療処置情報の履歴として信頼性があがるという効果を得ることができる。

図８ないし図１０は本発明の実施例２に係わり、図８は内視鏡手術システムの構成を示す構成図、図９は図８の内視鏡手術システムでの通信データのデータ構造を示す図、図１０は図８の第２のシステムコントローラの作用を説明するフローチャートである。

実施例２は、実施例１と異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

図８は前記実施例１の図２で説明したシステムコントローラ２２がネットワーク通信１００により、院内／院外の第２のシステムコントローラ１０１もしくは汎用のＰＣ１０１ａと通信を行い遠隔地へのパラメータ伝送や遠隔地からの操作／支援情報を通信させることができるシステムを示している。本実施例では、各種Ｉ／Ｆから取得可能な情報に時間情報がない場合を想定しており、システムコントローラ２２内のＲＴＣにて時間情報を各機器に付与することができるようになっている。なお、付与した時間情報を記憶部５０に保存し、再生できることはいうまでもない。

さらに、本実施例では、図８に示すように、前記システムコントローラ２２と各機器１３〜１６とがＲＳ−２３２Ｃのシリアル通信により医療情報の送受を行うと共に、前記システムコントローラ２２と患者モニタシステム４とがイーサネット（登録商標）によるネットワーク通信により医療情報の送受を行う。

また、実施例１と同様に、システムコントローラ２２は音声通信によりマイク３３からの音声情報をアナログ／デジタル入力すると共に、画像通信により内視鏡用カメラ装置２３からの画像情報をアナログ／デジタル入力し、無線通信によりＲＦＩＤ端末３５からの個別ＩＤ情報を入力するようになっている。

なお、以下、上記のＲＳ−２３２Ｃのシリアル通信、イーサネット（登録商標）によるネットワーク通信、音声通信、画像通信及び無線通信を院内通信１０２と記す。

また、図８はシステムコントローラ２２と、ＴＣＰ／ＩＰやＵＤＰのようなプロトコルでネットワーク通信１００が可能な院外システムコントローラ１０１もしくは汎用のＰＣ１０１ａとで構成される内視鏡手術システムを示している。

ここで院内通信１０２は、実施例１で説明した直接入力される画像／音声データと通信により取得される各機器のパラメータ、バイタルサインデータの取得のやり取りを示している（通信データの構造は図９の院内通信を参照）。

ネットワーク通信１００は、実施例１で説明した直接入力される画像／音声データと通信により取得される各機器で取得した、各々の情報をネットワークプロトコル（前述したＴＣＰ／ＩＰやＵＤＰをさす図９のネットワーク通信参照）で、１台、もしくは複数の装置（第２のシステムコントローラ１０１もしくは汎用のＰＣ１０１ａ）に情報を伝送するのを示している。

図９は、図８の院内通信１０２、ネットワーク通信１００における、システムコントローラ２２と各機器との間で医療情報を取得するときのデータ構造の概念図を示し、特にネットワーク通信１００をパケット化することで、ネットワーク通信１００により付与した時間情報を基準に、画像、音声、ＩＤ、機器情報を配信することができる。

図１０は、図８で示した第２のシステムコントローラ１０１内の図示しない制御部の動作フローを示す。

実施例１で説明したように、パラメータ通信を行なったとき、システムコントローラ２２の時間情報を新たに追加し、システム初期化時に各システムと各装置との差分を基準値として取得しておく。

システムコントローラ２２は、図９の院内通信１０２のような形態で医療情報を取得する。このとき、システムコントローラ２２と各機器との間に通信によるデータのやり取りが発生する場合は、各機器において取得した時間情報（パラメータの変化が発生したときの機器ごとの時間情報）を付与しておく。

システムコントローラ２２は、例えばＲＴＰのようなプロトコルで通信を行なう場合、パケットのヘッダ情報として、システムコントローラ２２から第２のシステムコントローラ１０１に送信するタイミングにおける時間情報（以下、タイムスタンプと記述し、各機器から取得されている時間情報と異なる）を付与し、パケットデータを送信する。

そして、第２のシステムコントローラ１０１では、図１０のステップＳ２１において、パケット受信を行い、ステップＳ２２において、受信したパケットのデコード処理を行い、ステップＳ２３においてタイムスタンプを取得する。

ここで、受信側の装置が第２のシステムコントローラ１０１であれば図示しない第２の表示装置上で、ＰＣ１０１ａであればＰＣ上の液晶モニタ上において、再生が可能である。

そのため、ステップＳ２４において、リアルタイム再生を行なうかどうかを判断し、ステップＳ２５においてタイムスタンプ情報を元に、順次再生を行なう。

したがって、タイムスタンプは、ネットワーク通信１００による画像／音声／機器パラメータのパケットデータが受信する順番が、送信した順番と異なるために必要であることを示す指標となる。

なお、ステップＳ２４においてリアルタイム再生を行なうのではなく、データの保存として行なうのであれば、ステップＳ２５においてヘッダに付与されているタイムスタンプと各機器において取得した時間情報、補正値の基準値、並びにシステムコントローラ２２の時間情報を元に、実施例１で説明したように実時間情報を算出し、保存処理をおこなう。

このようにすることで、図８における、院内通信１０２における時間のずれとネットワーク通信１００で発生するネットワーク通信の時間のずれを補正することができる。

ここで、ネットワーク通信１００の受信側の装置が複数ある場合においては、図８のネットワーク通信１００における時間情報のずれがさらに大きくなるが、受信側の各装置毎に補正処理を行なわせることで、ずれのない保存／再生処理が行なえる。

このように本実施例では、実施例１の効果に加え、ネットワーク通信により医療情報を配信した場合でも受信機側で補正処理ができるような時間情報を付与させてデータ配信を行なえるので、各受信装置毎に信頼性の高い医療情報の履歴を残すことができる。

図１１は本発明の実施例３に係る表示装置あるいはＰＣ上の液晶モニタで再生したときの表示レイアウトの一例を示す図である。

実施例３は、実施例１あるいは２と異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

図１１は実施例１、もしくは実施例２で説明した表示装置２６やＰＣ１０１ａ上の液晶モニタで再生したときの第２のレイアウト例を示し、実施例３は内視鏡画像の再生エリアを多くとるために、医療情報をスーパーインポーズ処理にて表示させた実施例である。

ここでは、気腹装置１４の腹腔圧と患者モニタシステム４から取得可能な血圧と前記音声データ入力によって得られたテキストデータをドクターのコメントとして重畳している。

通常、スーパーインポーズというと、アナログ的には、画像データに上書きしてパラメータ情報を表示するが、実施例１のように、画像データ／音声データ／各機器パラメータのデータをそれぞれ保存させている構成になっており、選択手段である操作パネル２１などでスーパーインポーズのＯＮ／ＯＦＦや重畳データの選択（設定値／測定値／エラー情報など）が可能な構成になっている。

本実施例では、手術中においては術者は内視鏡画像を見ることに集中したいのでスーパーインポーズ処理をＯＦＦしておき、例えば、各機器のエラーが発生したときだけ重畳するようにしておく。

このとき、画像データ／音声データ／各機器のパラメータは図１の記憶部５０のようにそれぞれの情報を実時間情報と一緒に保存しておく。

そのため、手術終了した後、保存された情報の再生は、内視鏡画像だけ再生させたり、スーパーインポーズをさせながら再生させたり、エラー情報の重畳をＯＦＦさせた状態にしたりすることができる。

このように本実施例では、実施例１及び２の効果に加え、手術中に重要な内視鏡画像を小さくしたり、パラメータ重畳による欠けが発生したりしないので、ドクターの所望の状態で観察することが出来、手術後には、各機器パラメータの時間のずれがないように関連つけながら再生することができるようになる。

図１２は本発明の実施例４に係る内視鏡手術システムの構成を示す構成図である。

実施例４は、実施例２と異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本実施例は、実施例２と異なり、院内通信１０２（シリアルでもネットワークでもどちらでも良い）から取得可能な情報に時間情報がある場合、システムコントローラ２２内ＲＴＣを基準に時間情報を送信することができる実施例であって、図１２は、システムコントローラ２２のもつ時間情報を各周辺機器４、１３〜１６に送り、システムコントローラ２２のＲＴＣ情報を基準としてデータのやり取りを行なうシステム構成となっている。

本実施例では、内視鏡手術システム３を起動し、各周辺機器と通信確立を行なうとき、システムコントローラ２２からの時間情報を各周辺機器に送信させる。このとき各周辺機器ではパラメータの変化が起きたときにシステムコントローラ２２から送付されてきた時間情報を基準としパラメータ変化を通信することができる。またシステムコントローラ２２もしくはＰＣ１０１ａでは通信にて取得したパラメータの時間情報も実施例１同様に認識や保存できるので、各周辺機器間のＲＴＣのずれや、通信によるずれに関係なく再生できる。

このように本実施例では、実施例２の効果に加え、システムコントローラ２２の時間情報で通信相手に配信することで、簡単に各周辺機器のパラメータ変化と、内視鏡画像のデータのずれがなくすことが可能となる。

図１３及び図１４は本発明の実施例５に係わり、図１３は内視鏡手術システムの構成を示す構成図、図１４は図１３のローカルネットワークの構成例を示すブロック図である。

実施例５は、実施例４と異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本実施例は、図１３に示すように、実施例４のように第１の通信Ｉ／Ｆ４０と通信可能な機器４、１３〜１６がＲＴＣをもち、かつイーサネット（登録商標）通信が可能なローカルネットワーク５０１を持つ場合において、システムコントローラ２２がＰＣ１０１ａに接続されたグローバルネットワーク５０２を介してＮＴＰ（Network Time Protocol）サーバ５０３から基準時間情報を取得する実施例である。

なお、グローバルネットワーク５０２は、グローバルアドレスを持つネットワークで、例えばＤＨＣＰサーバなどからＩＰアドレスを振り分けられる。

ローカルネットワーク５００の実現構成については、図１４のようなシリアル／イーサネット（登録商標）通信アダプタ５１０及びスイッチングハブ５１１を用いても良い。

シリアル／イーサネット（登録商標）通信アダプタ５１０の実現手段として、例えば、Lantronix社 XPortデバイスだと、ネットワークヘの接続機能を経済的にかつ短期に実現することができる。なお、Lantronix社 XPortデバイスは、14.5mm×34mm×18.25 mm程度の小さなパッケージで、ＣＰＵ、メモリ、プロトコルすべての機能がRJ45イーサネット（登録商標）コネクタの中に入っている。

そのとき、本実施例では、ローカルアドレス用のＩＰアドレスを、各機器に割り当てる必要がある。システムコントローラ２２は、ＩＰアドレスを元に、スイッチングハブ５１１を経由して各機器４、１３〜１６からデータを取得する。

当然ＮＴＰプロトコルを使えば、通信データバケットに時間情報が付与されてくる。ネットワーク接続可能な機器のうち、グローバルネットワーク５０２に接続可能なＰＣ１０１ａはＮＴＰサーバ５０３などからの時間情報を元に、内部で保有する時間情報を調整することができる。

そのため、システムコントローラ２２では、ＰＣ１０１ａから調整された時間情報を取得し、ローカルなネットワーク通信可能な内視鏡カメラ装置１５、光源装置１６、気腹装置１４、電気メス装置１３などの機器に時間情報を配信し、調整することができる。

時間情報のないマイク２２からの音声情報、内視鏡カメラ装置１５からの画像情報、ＲＦＩＤ端末３５からの個別ＩＤ情報に対しては、システムコントローラ２２は、情報を取得した時点の時間情報を付与して、保存／再生することができる。

また、ＮＴＰではある一定周期で定期的に時間情報の調整をすることができるため、常にずれることがない。

当然、第１の通信Ｉ／Ｆ４０を持つシステムコントローラ２２とネットワーク通信が不可能な機器の場合は、システムコントローラ２２では、音声／画像のようなアナログ入力情報と同じように、各機器情報にも、ＮＴＰで取得した時間情報を付与し、保存再生すれば、本実施例と同様の効果を得ることができることは言うまでもない。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

２…手術室
３…内視鏡手術システム
４…患者モニタシステム
９…ケーブル
１０…患者ベッド
１１…第１のカート
１２…第２のカート
１３…電気メス
１４…気腹装置
１５…内視鏡用カメラ装置
１６…光源装置
１７…ＶＴＲ
１８…ガスボンベ
１９…表示装置
２０…集中表示パネル
２１…操作パネル
２２…システムコントローラ
２３…内視鏡用カメラ装置
２４…光源装置
２５…画像処理装置
２６…表示装置
２７…集中表示パネル
２８…中継ユニット
２９…中継ケーブル
３０…リモートコントローラ
３３…マイク
４０…第１通信Ｉ／Ｆ
４１…制御部
４４…第３通信Ｉ／Ｆ
４５…マルチ信号入出力処理部
４６…第２通信通信Ｉ／Ｆ
４９…パラメータ取得部
５０…記憶部
５１…表示Ｉ／Ｆ

Claims (1)

1. 独自のリアルタイムクロックを有し、内視鏡画像データを出力する内視鏡装置と、
   患者情報を収集すると共にそれぞれ独自のリアルタイムクロックを有する複数の医療機器と、
   前記内視鏡装置および前記複数の医療機器と通信可能であると共に独自のリアルタイムクロックを有する第１のシステムコントローラと、
   前記第１のシステムコントローラとネットワークを介して通信可能な第２のシステムコントローラと、
   前記第１のシステムコントローラ内に設置され、当該第１のシステムコントローラ自身のリアルタイムクロックを有すると共に連続的なタイムスタンプを生成可能とする制御手段と、
   を有する内視鏡システムにおいて、
   前記第１のシステムコントローラは、予め前記内視鏡装置および前記複数の医療機器との通信により、前記内視鏡装置または前記複数の医療機器それぞれの医療機器側のリアルタイムクロックと前記第１のシステムコントローラ側のリアルタイムクロックとの時間差を第１の時間差情報として取得し、当該第１の時間差情報と、前記内視鏡装置または前記複数の医療機器と当該第１のシステムコントローラとの通信に伴う第２の時間差情報とに応じた補正値を算出し、その後、前記複数の医療機器における所定のパラメータの変化が発生したタイミングに相当する医療機器側時間情報を当該患者情報と共に記録し、
   かつ、前記ネットワークを介して記録した当該患者情報を前記第２のシステムコントローラに送信する際には、当該ネットワークを介して当該第２のシステムコントローラに送信するタイミングに相当するタイムスタンプ情報と共に、前記医療機器側時間情報、前記補正値、および、当該第１のシステムコントローラ側のリアルタイムクロック情報を送信し、
   前記第２のシステムコントローラは、受信した前記タイムスタンプ情報、前記医療機器側時間情報、前記補正値、および前記第１のシステムコントローラ側のリアルタイムクロック情報に基づいて、前記内視鏡画像データと同期した前記医療機器における実時間情報を算出する
   ことを特徴とする内視鏡システム。

Images