JP6267754B2 - 支援システム - Google Patents

Description

この発明は、対象物の画像を見ながら指示を行うための支援システムに関するものである。

前立腺癌の治療において、放射線を出す多数の小さなカプセル状の線源を前立腺内にひとつずつ挿入して埋め込み、前立腺の内部から放射線を照射する方法がある。このカプセルの埋め込みの際には、超音波エコー画像を見ながら行う。

ただし、経験のない、あるいは少ない医師が、このカプセルの埋め込みを行うことは容易でない。このため、多くの施設ではこの治療の導入時に経験の豊富な医師が脇について指導をしながら埋め込みを行うことが行われている。しかし、経験豊富な医師が他施設まで出向いて指導を行うことは困難であり、特に、離島や交通不便な地域では顕著である。

このような問題は、前立腺癌の治療だけでなく、内視鏡手術などにおいても同様に生じており、対象物を見ながら手術などの技術指導などを行う場合一般に問題となっている。

これを解決するため、たとえば医療分野において、特許文献１に示すように、遠隔地にいる指導者に対象物の画像を送信することによって、指導を受けることの可能なシステムが提案されている。このシステムは、内視鏡の画像を遠隔地にいる指導者に送信し、指導者がこの画像を見て指示を画像などで送り返すものである。

特開２００５−１４３９１８

しかしながら、特許文献１の技術では、手術室において表示される対象物の画像と、指導者から返送される指示画像との間にタイムラグがある。このため、指導を受ける側は、現在表示されている対象物の画像について、指導者から特別な指示があるのかどうかが、直ちにわからないという問題があった。

そこで、この発明は、対象物の画像について、指導者からの指示があるのかどうかをタイムラグが極めて小さく知ることのできるシステムを提供することを目的とする。

(1)(2)(3)(5)(7)この発明に係る支援システムは、被指示者のための被指示装置と、指示者のための指示装置とを備えた支援システムであって、
前記被指示装置は、画像を表示するための被指示装置表示部と、前記指示装置と通信を行うための被指示装置通信部と、対象画像を受け、前記被指示装置通信部を制御して、当該対象画像を指示者装置に転送する対象画像転送手段と、前記指示者装置から送信されたきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段とを備え、
前記指示者装置は、画像を表示するための指示装置表示部と、指示内容を入力するための指示装置入力部と、前記被指示装置と通信を行うための指示装置通信部と、前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とを備え、
前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴としている。

したがって、被指示装置には、指示者が確認済みの対象画像が表示され、指示の行き違いなどが生じにくい。

(4)(6)(8)この発明に係る支援システムは、被指示装置が、被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、受信した指示者の音声を出力する被指示者装置出力手段とを備え、指示装置が、受信した被指示者の音声を出力する指示装置音声出力手段と、前記指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段を備えていることを特徴としている。

したがって、画像とともに音声による指示を受けることができる。

(9)この発明に係る支援システムは、指示装置の対象画像表示手段が、所定のタイミングにて記録された確認済対象画像の一覧を表示することを特徴としている。

したがって、過去の確認済対象画像を呼び出して指示用の画面として表示することが容易である。

(10)この発明に係る支援システムは、確認済対象画像が、指示者の記録命令の入力または指示者による前記指示内容の入力により記録されることを特徴としている。

したがって、重要な画像をサムネイル用の画像として記録することができる。

(11)この発明に係る支援システムは、被指示装置の対象画像転送手段が、前記対象画像に識別符号を付して送信し、指示装置の確認済対象画像送信手段が、前記確認済対象画像に代えて、当該確認済対象画像の識別符号と必要な指示内容を送信し、被指示装置の確認済対象画像表示手段が、識別符号に基づいて記録しておいた対象画像を取得し、必要な指示内容を反映して表示することを特徴としている。

したがって、指示装置から被指示装置への送信データ量を低減させることができる。

(12)この発明に係る支援方法は、被指示者のための被指示装置と、指示者のための指示装置とによる支援方法であって、
前記被指示装置が、対象画像を受け、被指示装置通信部を制御して、当該対象画像を指示者装置に転送し、前記指示者装置から送信されたきた確認済対象画像を受けて、被指示装置表示部において表示し、
前記指示者装置が、前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示し、前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する方法であって、前記指示装置は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴としている。

したがって、被指示装置には、指示者が確認済みの対象画像が表示され、指示の行き違いなどが生じにくい。

「対象画像転送手段」は、実施形態においては、ステップＳ３がこれに対応する。

「確認済対象画像表示手段」は、実施形態においては、ステップＳ５がこれに対応する。

「対象画像表示手段」は、実施形態においては、ステップＳ１２がこれに対応する。

「確認済対象画像送信手段」は、実施形態においては、ステップＳ１７がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

支援システムの機能ブロック図である。 支援システムのシステム構成図である。 被支援装置２のハードウエア構成を示す図である。 支援装置２０のハードウエア構成を示す図である。 被指示装置プログラムおよび指示装置プログラムのフローチャートである。 被指示装置プログラムおよび指示装置プログラムのフローチャートである。 指示装置２０に表示された超音波エコー画像である。 指示者によって指示画像が書き込まれた超音波エコー画像である。 指示画像の表示時間を設定するための画面である。 被指示装置２に表示された確認済超音波エコー画像である。 指示装置２における確認済超音波エコー画像のサムネイル表示を示す図である。 他の実施形態による画像伝送の手順を示す図である。

１．機能ブロック図
図１に、この発明の一実施形態による支援システムの機能ブロック図を示す。この支援システムは、ネットワークを介して通信可能に接続された被指示装置２と指示装置２０を備えている。被指示装置２の対象画像転送手段４は、エコー画像などの対象画像を受けて、これを被指示装置通信部６から送信するように制御する。このとき、送信対象である当該対象画像は、被指示装置表示部８において表示しない。

指示装置２０の対象画像表示手段２６は、指示装置通信部２２によって受信した対象画像を、指示装置表示部２４において表示するように制御する。確認済対象画像送信手段２８は、前記指示装置表示部２４に表示された対象画像を、確認済対象画像として、指示装置通信部２２により送り返す。

確認済対象画像を受けた被指示装置２の確認済対象画像表示手段１０は、これを被指示装置表示部８に表示する。

上記において、指示者は、指示装置表示部２４に表示された対象画像を見て、指示すべき内容があれば、指示装置入力部３０から入力を行う。このように、指示内容が入力された場合、確認済対象画像送信手段２８は、対象画像に指示内容による画像を加えて、確認済対象画像を生成して送り返す。

このようにして、被指示装置表示部８において表示される確認済対象画像は、指示者による確認のために指示装置において表示された後のものとなる。したがって、被指示者は、被指示装置表示部８において表示される確認済対象画像を見ることで、当該画像に対しての指示者の指示内容の有無および指示内容を確認することができる。

２．システム構成と処理の概要
図２に、この発明の一実施形態による支援システムの構成を示す。ここでは、前立腺癌治療のために、エコー画像を見ながら、カプセル状の線源を埋め込む処置を行う場合を例にとって説明する。

超音波エコー装置４０、エコー画像処理装置４２、被指示装置２は、支援を受ける医師（被指示者）のいる手術室に設けられている。指示装置２０は、支援を行う医師（指示者）のいる部屋に設けられている。この実施形態では、エコー画像処理装置４２、被指示装置２、指示装置２０は、ＰＣによって構成している。

超音波エコー装置４０は、患部近傍の超音波エコーデータを出力する。超音波エコー装置４０には、ＬＡＮなどによって、エコー画像処理装置４２が接続されている。したがって、超音波エコーデータは、ＬＡＮを介してエコー画像処理装置４２に送信される。

エコー画像処理装置４２は、超音波エコーデータを受けて、超音波エコー画像を生成し表示する。なお、この実施形態では、ＰＣによってエコー画像処理装置４２を構成している。支援を受ける医師（被指示者）は、エコー画像処理装置４２を用いて、超音波エコー画像に書き込みなどを行うことができる。たとえば、マウス／キーボードを用いて、指示を受けたい部位を特定するように線を書き込むことができる。

エコー画像処理装置４２のディスプレイ出力（mini D.sub15ピン出力やDVI出力）は、コンバータ４４によってＵＳＢ信号に変換され、被指示装置２に与えられる。この実施形態では、既存のエコー画像処理装置４２に変更を加えることなく、被指示装置２を設置するようにしたので、コンバータ４４を設けている。コンバータ４４としては、たとえば、(株)アルゴ社製のコンバータキャプチャボックス(VGA2 USB-GIGAE-PCI-E)を用いることができる。

被指示装置２は、ＵＳＢ信号として受け取った超音波エコー画像を表示せず、暗号化したＪＰＥＧ信号として、インターネット４６を介して指示装置２０に送信する。指示装置２０は、受信した超音波エコー画像をディスプレイに表示する。

指示者は、表示された超音波エコー画像を見ながら、必要であればマウス／キーボードにて指示を入力する。たとえば、指示をする部位を赤丸で囲むなど。指示装置２０は、表示した超音波エコー画像を、インターネット４６を介して、確認済超音波エコー画像として被指示装置２に返信する。この際、指示者からの指示内容がある場合には、超音波エコー画像に指示内容を重ねて確認済超音波エコー画像を生成して送り返す。

被指示装置２は、送信されてきた確認済超音波エコー画像をディスプレイにおいて表示する。

３．ハードウエア構成
図３に、被指示装置２のハードウエア構成を示す。ＣＰＵ５２には、メモリ５４、ディスプレイ５６、ＣＤ−ＲＯＭドライブ５８、ハードディスク６０、ＵＳＢポート６２、通信回路６４、マイク７２、スピーカ７４が接続されている。

通信回路６４は、インターネットやＬＡＮに接続するためのものである。ＵＳＢポート６２には、コンバータ４４（図２参照）が接続される。ハードディスク６０には、WINDOWS（商標）などのオペレーティングシステム（ＯＳ）６８、被指示装置プログラム７０が記録されている。被指示装置プログラム７０は、ＯＳ６８と協働してその機能を発揮する。ＯＳ６８、被指示装置プログラム７０は、ＣＤ−ＲＯＭ６６に記録されていたものを、ＣＤ−ＲＯＭドライブ５８を介してハードディスク６０にインストールしたものである。

図４に、指示装置４のハードウエア構成を示す。ＣＰＵ８２には、メモリ８４、ディスプレイ８６、ＣＤ−ＲＯＭドライブ８８、ハードディスク９０、通信回路９２、キーボード／マウス９４、マイク１０２、スピーカ１０４が接続されている。

通信回路９２は、インターネットやＬＡＮに接続するためのものである。ハードディスク９０には、ＯＳ９８、指示装置プログラム１００が記録されている。指示装置プログラム１００は、ＯＳ９８と協働してその機能を発揮する。ＯＳ９８、指示装置プログラム１００は、ＣＤ−ＲＯＭ９６に記録されていたものを、ＣＤ−ＲＯＭドライブ８８を介してハードディスク９０にインストールしたものである。

４．支援処理のフローチャート
図５、図６に、被指示装置プログラム７０、指示装置プログラム１００のフローチャートを示す。

被指示装置２のＣＰＵ５２は、コンバータ４４より送信されてくる超音波エコー画像を、ＵＳＢポート６２から取り込む（ステップＳ１）。この超音波エコー画像には、被指示者がエコー画像処理装置４２において書き加えた情報がある場合には、これも含まれている。被指示者は処置を行っているので、情報を書き加えることは少ないが、指示を受けたい箇所を明確にしたい場合などにこれを行うことがある。この実施形態では、ビデオ出力として超音波エコー画像を取得しているので、これをＪＰＥＧのパケットデータに変換し、暗号化した上で送信するようにしている。

また、被指示装置２のＣＰＵ５２は、マイク１０２によって取得した被指示者の音声を取得する（ステップＳ２）。続いて、ＣＰＵ５２は、通信回路９２を制御し、取得した超音波エコー画像および音声を、指示装置２０に送信する（ステップＳ３）。

指示装置２０のＣＰＵ８２は、被指示装置２から送られてくる超音波エコー画像および音声を受信する（ステップＳ１１）。続いて、ＣＰＵ８２は、ＪＰＥＧパケットデータによる超音波エコー画像をビデオ信号にして、ディスプレイ８６に表示する（ステップＳ１２）。また、受信した音声を、スピーカ１０４において再生する（ステップＳ１２）。

図７に、ディスプレイ８６に表示される超音波エコー画面を示す。指示者は、ディスプレイ８６に表示された超音波エコー画像を確認し、スピーカ１０４からの被指示者の音声を聞いて、必要であれば指示内容の書き込み（ステップＳ１３）、音声指示の入力を行う（ステップＳ１４）。

指示内容の書き込みは、指示者がマウス９４を操作することにより、超音波エコー画像に線などを付加することによって行う。この実施形態では、図７の描画ボタン２００をクリックすることにより、マウス９４による描画を可能としている。また、ボタン２０２をクリックすることで、キーボード９４からの文字入力を可能としている。図８に、指示者が指示のための囲み線を表示した時の画面を示す。

また、この実施形態では、ペイント消去設定ボタン２０４をクリックすることにより、描画した指示（ここでは囲み線）を消去するまでの時間を設定することができる（図９参照）。

指示装置２０のＣＰＵ８２は、通信回路９２を制御して、ディスプレイ８６にて表示した超音波エコー画像と、マイク１０２によって取得した音声を、被指示装置２に送信する（ステップＳ１７）。

被指示装置２のＣＰＵ５２は、これを受信する（ステップＳ４）。さらに、ＣＰＵ５２は、受信した確認済超音波エコー画像をディスプレイ５６に表示する（ステップＳ５）。また、受信した音声を、スピーカ７４から出力する（ステップＳ５）。このようにして、被指示者は、指示者の指示を画面および音声にて得ることができる。

被指示装置２のディスプレイ５６に表示された確認済超音波エコー画面を示す。ここでは、指示者からの指示（囲み線）が示されている。指示者からの指示がない場合には、超音波エコー画面がそのまま確認済超音波エコー画面として表示されることになる。

なお、この実施形態では、指示装置２において指示者が現在表示されている超音波エコー画面を、ハードディスク９０に記録できるようにしている。たとえば、図８に示す画面を記録する場合には、指示者はマウス９４を操作して画面キャプチャーボタン２０６をクリックする。これにより、記録の指示がＣＰＵ８２に与えられる（ステップＳ１６）。これを受けて、ＣＰＵ８２は、ハードディスク９０に超音波エコー画面をキャプチャして記録する（ステップＳ１７）。

このようにして記録された画面は、指示者の操作により、図１１のサムネイル領域２１２に示すように、サムネイル画像として表示することができる。指示者が、いずれかのサムネイル画像をマウス９４にてクリックすると、当該画像が被指示装置２に送信される。これを受けて、被指示装置２には、この選択された画像が表示されることになる。以上のようにして、過去の画像を用いて、指示者が指示を行うこともできるようになっている。

なお、指示者が指示内容を入力した画面を自動的に記録するようにしてもよい。

５．その他の実施形態
(1)なお、上記実施形態では既存の超音波エコー画像処理装置４２をそのまま用い、これに追加するようにして、支援システムを構築している。このため、ディスプレイへの出力を変換するコンバータ４４を用いている。このようにすることで、元の画像データのフォーマットに依存せず、汎用性の高いシステムを構築することができる。

しかし、他の実施形態として、超音波エコー画像処理装置４２から、超音波エコーデータを被指示者装置２に送信して処理を行うようにしてもよい。この場合には、コンバータ４４は不要である。

(2)上記実施形態では、超音波エコー画像を対象として処理を行っている。しかし、内視鏡画像など他の医療用画像を対象画像として処理を行うようにしてもよい。また、医療画像以外の画像、たとえば、コンクリート建築物の外観を対象画像として、ひび割れの状態などから、その補修を支援するようなシステムとして構築することもできる。つまり、動画や静止画を遠隔地において指示者が見ながらリアルタイムに指示を出す必要のある場合一般に適用することができる。

(3)上記実施形態では、エコー画像処理装置４２とは別に被指示装置２を設けている。しかし、エコー画像処理装置４２と被指示装置２を１台のＰＣによって実現するようにしてもよい。

(4)上記実施形態では、被指示装置２から指示装置２０に対して対象画像を送信し、指示装置２０から被指示装置２に対して確認済対象画像を返信するようにしている。

しかし、図１２に示すように、指示装置２０から被指示装置２に対しては、対象画像のフレームを示すＩＤと指示内容（存在する場合のみ）を送信するようにしてもよい。図１２に示す処理の手順は以下のとおりである。

まず、被指示装置２は、受け取った対象画像の各フレームにＩＤを付して記録する（(1)参照）。これとともに、フレーム画像とＩＤを指示装置２０に送信する（(2)参照）。指示装置２０では、受信したフレーム画像を順番に表示する（(3)参照）。指示装置２０は、表示したフレーム画像のＩＤを送信する（(4)参照）。このとき、指示内容があれば、これも併せて送信する。ＩＤを受信した被指示装置２は、当該ＩＤに対応するフレーム画像を読み出して表示する（(5)参照）。このとき、指示内容が送信されてきていれば、これを合成して表示する。

この実施形態によれば、被指示装置２の処理負担は重くなるが、指示装置２０から被指示装置２への送信データが少なくて済む。

(5)上記各実施形態では、指示内容は画像であるが、指示内容として文字のみ、文字と画像の組み合わせとしてもよい。

(6)また、被指示装置２と指示装置２０のやりとりを記録しておき、学習用の教材として使用してもよい。

Claims (14)

1. 指示装置通信部を有する指示装置とともに支援システムを構築するための被指示装置であって、
   画像を表示するための被指示装置表示部と、
   前記指示装置と通信を行うための被指示装置通信部と、
   対象画像を前記指示装置の指示装置表示部において表示するために、前記対象画像を受け、前記被指示装置通信部を制御して、指示装置に転送する対象画像転送手段と、
   前記対象画像をそのまま確認済対象画像とし、または前記対象画像に前記指示装置において入力された指示内容を反映して確認済対象画像として前記指示装置から送信されてきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段と、
   を備えた被指示装置。
2. 請求項１の装置において、
   前記被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、
   受信した指示者の音声を出力する被指示装置出力手段と、
   をさらに備えていることを特徴とする装置。
3. 被指示装置通信回路を有する被指示装置とともに支援システムを構築するための指示装置であって、
   画像を表示するための指示装置表示部と、
   指示内容を入力するための指示装置入力部と、
   前記被指示装置と通信を行うための指示装置通信部と、
   前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、
   確認済対象画像を前記被指示装置の被指示装置表示部において表示するために、前記指示装置通信部を制御し、前記送信されてきた対象画像をそのまま確認済対象画像とし、または前記送信されてきた対象画像に前記指示内容を反映して確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とを備え、
   前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする指示装置。
4. 請求項３の装置において、
   受信した被指示者の音声を出力する指示装置音声出力手段と、
   前記指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段と、
   をさらに備えていることを特徴とする装置。
5. 請求項３または４のいずれかの装置において、
   前記指示装置の対象画像表示手段は、所定のタイミングにて記録された確認済対象画像の一覧を表示することを特徴とする装置。
6. 請求項５の装置において、
   前記確認済対象画像は、指示者の記録命令の入力または指示者による指示内容の入力により記録されることを特徴とする装置。
7. 請求項１〜６のいずれかの装置において、
   前記被指示装置の対象画像転送手段は、前記対象画像に識別符号を付して送信し、
   前記指示装置の確認済対象画像送信手段は、前記確認済対象画像に代えて、当該確認済対象画像の識別符号と必要な指示内容を送信し、
   前記被指示装置の確認済対象画像表示手段は、識別符号に基づいて記録しておいた対象画像を取得し、必要な指示内容を反映して表示することを特徴とする装置。
8. 通信路によって接続された指示装置とともに支援システムを構築するための被指示装置をコンピュータによって実現するための被指示装置プログラムであって、コンピュータを、
   対象画像を前記指示装置の指示装置表示部において表示するために、前記対象画像を受け、前記被指示装置通信部を制御して、指示装置に転送する対象画像転送手段と、
   前記対象画像をそのまま確認済対象画像とし、または前記対象画像に前記指示装置において入力された指示内容を反映して確認済対象画像として前記指示装置から送信されてきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段として機能させるための被指示装置プログラム。
9. 請求項８の被指示装置プログラムにおいて、
   前記被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、
   受信した指示者の音声を出力する被指示装置出力手段とを、さらに、コンピュータによって実現するための被指示装置プログラム。
10. 通信路によって接続された被指示装置とともに支援システムを構築するための指示装置をコンピュータによって実現するための指示装置プログラムであって、コンピュータを、
    前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、
    確認済対象画像を前記被指示装置の被指示装置表示部において表示するために、前記指示装置通信部を制御し、前記送信されてきた対象画像をそのまま確認済対象画像とし、または前記送信されてきた対象画像に前記指示内容を反映して確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段として機能させ、
    前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする指示装置プログラム。
11. 請求項１０の指示装置プログラムにおいて、
    受信した被指示者の音声を出力する指示装置音声出力手段と、
    前記被指示装置と通信を行うための指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段とを、さらに、コンピュータによって実現するための指示装置プログラム。
12. 請求項１０または１１のいずれかのプログラムにおいて、
    前記指示装置の対象画像表示手段は、所定のタイミングにて記録された確認済対象画像の一覧を表示することを特徴とするプログラム。
13. 請求項１２のプログラムにおいて、
    前記確認済対象画像は、指示者の記録命令の入力または指示者による指示内容の入力により記録されることを特徴とするプログラム。
14. 請求項８〜１３のいずれかのプログラムにおいて、
    前記被指示装置の対象画像転送手段は、前記対象画像に識別符号を付して送信し、
    前記指示装置の確認済対象画像送信手段は、前記確認済対象画像に代えて、当該確認済対象画像の識別符号と必要な指示内容を送信し、
    前記被指示装置の確認済対象画像表示手段は、識別符号に基づいて記録しておいた対象画像を取得し、必要な指示内容を反映して表示することを特徴とするプログラム。