JPH0975404A - 遠隔医療システム - Google Patents

Abstract

(57)【要約】 【課題】 医師と患者がスムーズに会話しながら、医師
が患者を診察できる低コストの遠隔医療システムを提供
する。 【解決手段】この遠隔医療システムは、患者を撮影する
カメラ２４と、患者が確認するための映像を表示する表
示装置２９と、患者から離れた場所に存在する医師を撮
影するカメラ４０と、医師が確認するための映像を表示
する表示装置３８とを相互に接続してなる遠隔医療シス
テムにおいて、カメラ２４で撮影された患者映像５７を
医師側の表示装置３８に表示すると共に、表示された患
者映像５７から、患部を指定するための選択領域４９を
設定するライトペン４２と、ライトペン４２によって設
定された選択領域４９を医師側の表示装置３８に患者映
像５７に重畳して表示する監視側制御部４８と、患者の
動きに伴って患者映像５７が画面内を移動したとき、移
動前に選択領域４９内に存在した患部映像５０を識別し
て患者映像５７が移動した位置に選択領域４９を移動さ
せるための計算を行う相関計算部３５とを具備してい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、医療活動を行うた
めの遠隔医療システムに関する。

【０００２】

【従来の技術】一般に、ネットワークを通じて遠隔地間
で画像や音声などの情報を通信するネットワーク通信シ
ステムは、よく知られているが、このネットワーク通信
システムの中では、近年、特に遠隔医療システムが注目
を集めている。この遠隔医療システムは、在宅している
患者の家（自宅）と、医師が常駐している医療センター
との間を通信メディアで接続して画像通信を行うことに
より医師が患者の病気の診断および健康相談などを居な
がらにして行えるようにした医療システムがある。

【０００３】図２６に示すように、従来の遠隔医療シス
テムは、患者の家（在宅者側）に設置した被監視装置１
０００と、医療センター（医師側）に設置した監視装置
１１００とを通信網（ネットワーク）１１１０を介して
接続してなるものである。在宅者側の被監視装置１００
０は、カメラ１００、カメラ１００を移動させる雲台１
０１、カメラ１００で撮影した画像と内部バスとの間で
データを仲介するカメラインターフェース（カメラＩ／
Ｆ）１０２、雲台１０１用の雲台インターフェース（雲
台Ｉ／Ｆ）１０３、スピーカ１０４およびマイク１０５
から入力したアナログ音声をデジタル化する音声入出力
部１０６、表示装置１０７と内部バスに対してデータを
仲介する表示装置Ｉ／Ｆ１０８、内部バスと外部の通信
網１１１０とを仲介する通信Ｉ／Ｆ１０９、被監視装置
全体を制御する被監視側制御部１１０などから構成され
ている。

【０００４】また医師側の被監視装置１１００は、上記
被監視装置１０００から、雲台１０１と雲台インターフ
ェース（雲台Ｉ／Ｆ）１０１とを省いた構成（カメラ１
１４、カメラＩ／Ｆ１１５、スピーカ１２０およびマイ
ク１２１、音声入出力部１１９、表示装置１１２、表示
装置Ｉ／Ｆ１１３、通信Ｉ／Ｆ１１８）に、上記雲台１
０１の移動を操作卓Ｉ／Ｆ１１７を通じて制御するため
の操作卓１１６を追加したものである。

【０００５】すなわち、この遠隔医療システムは、医療
センターにいる医師が操作卓１１６を操作して遠隔操作
でカメラ１００を患者に向けて患者を撮影し、その映像
を医療センターの表示装置１１２で医師が観察できるシ
ステムである。

【０００６】この場合、患者側ではカメラ１００で撮影
した映像がどのように表示されるかを表示装置１０７で
確認でき、しかもこの表示装置１０７には、医療センタ
ーのカメラ１１４で撮影した医師の映像が表示されるの
で、患者が医師の様子をうかがうこともできる。

【０００７】また医師側のマイク１２１およびスピーカ
１２０と、患者側のマイク１０５およびスピーカ１０４
とを使用することにより患者と医師とは互いの表示装置
１０７、１１２でそれぞれ相手の姿を見ながら遠隔地間
でも相互に会話をしてコミニュケーションをとることが
できる。

【０００８】実際にカメラ１１４で医師を撮影し表示装
置１０７に表示すると、図２７に示すように、表示装置
１０７の表示画面１０７ａ上には、医師の上半身映像１
５６が表示される。

【０００９】一方、カメラ１００で患者を撮影し表示装
置１１２で表示すると、図２８に示すように、表示装置
１１２の表示画面上１１２ａには、患者の上半身の映像
１５７が表示される。

【００１０】したがって、医師は、医師側の表示画面１
１２ａに映し出された患者の上半身映像１５７を見て、
患者の腕の患部（傷など）１２３の状態を診断し、その
患部の症状をカメラ１１４に向かって発声することで、
患者に診断内容を通知し、患者がそれを聞いて応答すれ
ば、医師に伝わり、このようにして遠隔地間において、
音声と映像とで相互に会話をしながら患者の症状を診察
していた。

【００１１】ところで、通常、人間（患者）は、知らな
いうちに体を自然に動かしている。したがって、カメラ
１００で患者が撮影されている過程でも、患者が自然に
動いてしまう。すると、カメラ１００のアングルから患
者がずれて行き、図２９に示すように、患者あるいは観
察しようとしている患部１２３が表示画面１１２ａの端
の方に逃げてしまうことがある。

【００１２】このような場合、従来は、医師が表示装置
１１２に表示されている患者の映像１５７を見ながら操
作卓１１６を操作して雲台１０１を機械的に水平方向あ
るいは垂直方向に移動させてカメラ１００を動かし、患
者の映像を表示装置１１２の中央に位置するようにして
いた。

【００１３】しかしながら、この場合、医師は、操作卓
１１６を操作して雲台１０１を移動させるため、表示装
置１１２を注意深く観察しながら操作卓１１６を操作し
なければならず、医療技術以外に、雲台１０１などの操
作技術も要求され、医師にとって操作が大変面倒であっ
た。

【００１４】また、従来の遠隔医療システムには、雲台
１０１などの余分な設備を付加する必要があることか
ら、システム全体がコストアップする要因になってい
た。

【００１５】さらに、別な欠点として、患者の患部が一
見判り難い場合、患者が患部１２３の位置をカメラ１０
０に向けて示し、その時点では医師が判っていたもの
の、患者が動くことによって、カメラ１００で撮影され
た患部１２３の位置も動いてしまい、次に医師が表示装
置１１２を見ただけでは患部と他の正常な部位との区別
がつかなくなることがあった。

【００１６】一方、カメラの雲台などの機械的な機構を
使用せず、カメラ１００と表示装置１０７とをおおまか
に患者の方へ向けておき、カメラ１００で撮影した患者
自身の姿を患者側の表示装置１０７に表示させ、患者が
画面の端の方に寄った場合、患者自身に画面中心に移動
してもらう方法もある。

【００１７】しかしながら、この方法の場合も患者の姿
だけを患者側の表示装置１０７に表示させるだけである
ため、医師から患者に対してスピーカ１０４からの音声
のみで動きを指示することになり、会話というよりは一
方的になりがちであった。

【００１８】そこで、医師側の映像１５６と患者の映像
１５７とを適宜切り替えて表示する技術も考案されてい
る。

【００１９】しかし、この方法の場合、切り替えるタイ
ミングが決められないため医師側あるいは患者側がそれ
ぞれの意志で切り替えざるを得ず、切り替え操作がちぐ
はぐになるという欠点があった。

【００２０】他の方法として、図３０に示すように、患
者側の表示装置１０７の表示画面１０７ａ上に、医師の
映像１５６と患者の映像１５７との両方をマルチウィン
ドウで表示させる方法もある。

【００２１】しかし、この方法の場合、一つの画面１０
７ａを分割して使用するため患者の姿と医師の姿とが小
さくなってしまうという欠点がある。特に患者の小さな
患部、例えば小さな傷などは、患者自身でも表示画面１
０７ａに映し出された患部を確認することが困難になっ
てくるため、患者が医師に対して患部１２３を最もよい
アングルで見せることができなくなってくる。

【００２２】

【発明が解決しようとする課題】このように上述した従
来の遠隔医療システムでは、患者を撮影するカメラを移
動させるための機械的な機構（雲台など）を使用してい
ることから、コストがかかる上、診察中に行う機器操作
が大変であるという問題があった。

【００２３】そこで、機械的な機構を使用せず、患者に
カメラの正面に動いてもらうようにしたシステムもある
が、患者の姿が患者側の表示装置にだけ映し出されるた
め、医師から適切な指示ができないという問題があっ
た。

【００２４】さらに、医師の映像と患者の映像とを手動
で切り換えて表示するシステムもあるが、医師と患者が
それぞれの意志で切り替えざるを得ず、切り替え操作が
ちぐはぐになるという問題があった。

【００２５】また、一つの画面分割して医師の映像と患
者の映像とを表示するマルチウィンドウ機能を有するシ
ステムもあるが、画面を分割して使用するため患者や医
師の姿とが小さくなってしまうという欠点があり、特に
患者の小さな患部を診察する上では、画面の見難さが問
題となる。

【００２６】本発明はこのような課題を解決するために
なされたもので、医師と患者がスムーズに会話しなが
ら、医師が患者を診察できる低コストの遠隔医療システ
ムを提供することを目的としている。

【００２７】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の遠隔医療システムは、被検者を
撮影する被検者用カメラと、前記被検者が確認するため
の画像を表示する被検者用モニタと、前記被検者から離
れた場所に存在する検査者を撮影する検査者用カメラ
と、前記検査者が確認するための画像を表示する検査者
用モニタとを相互に接続してなる遠隔医療システムにお
いて、前記被検者用カメラで撮影された被検者画像を前
記検査者用モニタの表示画面上に表示する画像表示手段
と、前記画像表示手段により前記検査者用モニタに表示
された前記被検者画像から、その一部を指定するための
選択領域を設定する領域設定手段と、前記領域設定手段
により設定された前記選択領域を、前記検査者用モニタ
の表示画面上に前記被検者画像に重畳して表示する選択
領域表示手段と、前記被検者の動きに伴って、前記被検
者の画像が前記検査者用モニタの表示画面内を移動した
とき、移動前に前記選択領域内に存在した画像を識別し
て前記被検者の画像が移動した位置に前記選択領域を移
動させる領域移動手段とを具備している。

【００２８】本発明の遠隔医療システムは、患者側のカ
メラに雲台などの特別な機構を使用せず、患者が自分の
映像を見ながら画面内で適切なアングルになるように患
者自身が移動するシステムである。

【００２９】この請求項１記載の発明では、医師側の表
示装置に表示された患者の患部が、医師が指定すること
により選択領域を設定すると、その部分が患者の映像の
中でたえず強調されるので、医師および患者それぞれが
患部の位置をはっきり確認できる。また患者が初めの位
置から動いてしまっても、患部の映像と患部を示す選択
領域の映像も患者の動きに合わせて追尾して移動される
ので、医師が目を離したり、時間が経過しても患者およ
び医師が患部を見落とす心配がなくなる。

【００３０】また請求項２記載の遠隔医療システムは、
請求項１記載の遠隔医療システムにおいて、前記被検者
用モニタの表示画面内において前記選択領域の移動を制
限する移動制限領域を有し、前記領域移動手段により前
記選択領域が前記移動制限領域を越えて移動した場合、
前記被検者用モニタに注意メッセージを表示あるいは音
声によるメッセージの通知を行う移動報知手段を具備し
ている。

【００３１】この請求項２記載の発明では、患者が移動
して選択領域が画面の端の方に寄った場合に、患者に対
して注意を喚起するメッセージが表示されるので、患者
は元の位置に移動することにより自身の映像位置を元の
位置に修正することができる。 さらに請求項３記載の
遠隔医療システムは、請求項２記載の遠隔医療システム
において、前記検査者用モニタの表示画面上に前記被検
者画像に重畳して選択領域が表示されると、前記検査者
用カメラで撮影された検査者の画像を、前記被検者用モ
ニタ上に切り替え表示する検査者画像表示手段と、前記
検査者画像表示手段により前記被検者用モニタに前記検
査者の画像が表示されているとき、前記領域移動手段に
より移動された選択領域が前記移動制限領域を越えた場
合、前記被検者用モニタの表示画面上に前記検査者の画
像と共に、前記選択領域を含む被検者画像を表示する手
段とを有している。

【００３２】この請求項３記載の発明では、患者側の表
示装置に医師の映像を表示している中で、患部を示す選
択領域が移動制限領域を越えた場合、患者側の表示装置
の映像が患者自身の映像に切り換えられるので、患者
は、自身の映像を見て自身が動いたことに気付き、自分
の位置を元の位置に修正することができる。

【００３３】また請求項４記載の遠隔医療システムは、
請求項１記載の遠隔医療システムにおいて、前記選択領
域表示手段は、前記検査者用モニタと共に、前記検査者
画像に選択領域を重畳させた画像を前記被検者用モニタ
に表示することを特徴としている。

【００３４】この請求項４記載の発明では、検査者画像
に選択領域を重畳させた画像が、検査者用モニタと共に
被検者用モニタにも表示されるので、医師と患者とが同
じ映像を見る中で会話をスムーズに行うことができる。

【００３５】さらに請求項５記載の遠隔医療システム
は、請求項１記載の遠隔医療システムにおいて、前記検
査者用カメラで撮影された検査者の画像と、前記選択領
域とこの選択領域内に存在する被検者画像の一部とを前
記被検者用モニタ上に表示する表示制御手段を具備して
いる。

【００３６】この請求項５記載の発明では、被検者用モ
ニタ上に、選択領域とこの選択領域内に存在する被検者
画像の一部である患部などが表示されるので、被検者で
ある患者が自分の位置を把握しカメラに最適な診察ポー
ズをとることができる。

【００３７】また請求項６記載の遠隔医療システムは、
請求項１記載の遠隔医療システムにおいて、前記検査者
用カメラで撮影された検査者の画像と、前記選択領域の
位置と大きさを示すパラメータとを前記被検者用モニタ
上に表示する表示制御手段を具備している。

【００３８】この請求項６記載の発明では、被検者用モ
ニタ上に、検査者の画像と、選択領域の位置と大きさを
示すパラメータとが表示されるので、被検者である患者
は、検査者である医師と会話をしながら、画面上の自分
の患部の位置を把握することができる。

【００３９】さらに請求項７記載の遠隔医療システム
は、請求項１記載の遠隔医療システムにおいて、前記領
域移動手段は、前記選択領域が初めに設定されたときの
第１の領域データと、１フレーム時間経過後に前記選択
領域が上下左右に微小距離だけ移動した複数の第２の領
域データとから、それぞれの画素の輝度を要素として複
数の相関値を求め、前記複数の第２の領域データのうち
最も相関値が大きい領域データをもつ第２の領域データ
を選択して、前記被検者画像の移動を識別することを特
徴としている。

【００４０】この請求項７記載の発明では、選択領域が
初めに設定されたときの第１の領域データと、１フレー
ム時間経過後に選択領域が上下左右に微小距離だけ移動
した複数の第２の領域データとから、それぞれの画素の
輝度を要素として複数の相関値を求め、これらのうち最
も大きい相関値の領域データをもつ第２の領域データを
選択して被検者画像の移動を識別するので、患部が微小
に移動したときでも、選択領域を迅速に追従させること
ができる。

【００４１】また請求項８記載の遠隔医療システムは、
請求項１記載の遠隔医療システムにおいて、前記領域移
動手段は、前記選択領域を所定のブロック単位に分割
し、そのブロック内の画素における輝度の平均値を計算
し、この平均値を要素として前記相関値を求める手段
と、前記各ブロックを順次細分化する細分化手段と、前
記細分化手段により細分化された第１のブロックと、次
に細分化された第２のブロックとの相関値の絶対誤差が
所定値以下になるまで前記細分化を繰り返して相関計算
を行う相関計算手段とを具備している。

【００４２】この請求項８記載の発明では、選択領域を
所定のブロック単位に分割し、そのブロック内の画素に
おける輝度の平均値を計算し、この平均値を要素として
前記相関値を求め、各ブロックを順次細分化し、細分化
された第１のブロックと、次に細分化された第２のブロ
ックとの相関値の絶対誤差が所定値以下になるまで細分
化を繰り返して相関計算を行うので、相関計算手段が相
関計算を行う上で、計算量を少なくすることができる。

【００４３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００４４】図１は、本発明に係る一つの実施形態の遠
隔医療システムの構成を示す図である。

【００４５】同図において、１は通信網であり、例えば
ＩＮＳネット６４、Ｂ−ＩＳＤＮなどのデジタル通信網
が対象である。この通信網１には、患者の家（患者側）
に設置された被監視装置２と、医療センター（医師側）
に設置した監視装置３とが接続されている。

【００４６】まず、患者側に設置された被監視装置２の
構成から説明する。

【００４７】２４はカメラである。２５はカメラ２４で
撮影した画像と内部バスとの間でデータを仲介するカメ
ラＩ／Ｆである。２６は医師側の音声などを出力するス
ピーカである。２７は患者の音声を入力するマイクであ
る。２８はデジタル音声をアナログ音声に変換してスピ
ーカ２６に出力し、マイク２７から入力したアナログ音
声をデジタル化する音声入出力部である。２９は患者の
姿および患部、医師の姿などを表示する表示装置（モニ
タ）である。３０は表示装置２９と内部バスに対してデ
ータを仲介する表示装置Ｉ／Ｆである。３１は内部バス
と外部通信網３７との仲介をする通信Ｉ／Ｆである。３
２はカメラ２４で撮影した画像をデジタルデータ（デジ
タル画像）として格納する画面メモリである。３３は画
面メモリ３２から出力する輝度データを垂直および水平
共に複数画素にまとめる画素ブロック化部である。３４
は前記画素ブロック化部３３から出力された画素データ
を一時的に格納する画素メモリである。３５は２つの入
力データから相関値を計算する相関計算部である。３６
は被監視装置全体を制御する被監視側制御部である。

【００４８】次に、医師側に設置された監視装置３の構
成について説明する。

【００４９】３８は表示装置であり、患者の姿を表示さ
せる。３９は表示装置と内部バスとの間でデータの仲介
をする表示装置Ｉ／Ｆである。４０は医師の姿を撮影す
るカメラである。４１はカメラ４０で撮影した画像と内
部バスとの間でデータを仲介するカメラＩ／Ｆである。
４２は表示装置３８の画面上から書き込むことによりデ
ータ入力できるライトペンである。４３はライトペン４
２と内部バスとの間でデータの仲介をするライトペンＩ
／Ｆである。４４は内部バスと外部通信網１との仲介を
する通信Ｉ／Ｆである。４５は医師側の音声などを出力
するスピーカである。４６は患者の音声を入力するマイ
クである。４７はデジタル音声をアナログ音声に変換し
てスピーカ４５に出力し、マイク４６から入力したアナ
ログ音声をデジタル化する音声入出力部である。４８は
監視装置全体を制御する監視側制御部である。

【００５０】以下、この遠隔医療システムの動作につい
て説明する。

【００５１】この遠隔医療システムの場合、患者側のカ
メラ２４によって患者の姿が撮影される。ここで撮影さ
れた画像は、通信Ｉ／Ｆ３１、外部の通信網１を通じて
監視装置３の通信Ｉ／Ｆ４４に入力され、これを通じて
表示装置３８に表示される。この表示装置３８に表示さ
れた患者の姿を医師が観察し、図２に示すように、ライ
トペン４２で、表示装置３８の画面３８ａ上に表示され
た患部５０の周囲を直接なぞり、それを囲うような図形
を描くと、画面３８ａ上の患部５０に重畳して選択領域
４９の図形が長方形などで表示される。なおここで描く
図形は、患部を囲んで患部を強調できるような図形なら
長方形、円、その他どのようなものでも閉曲線であれば
構わない。

【００５２】またこの図２に示した患者側の映像は、表
示装置３８と同時に患者側の表示装置２９に表示させて
もかまわない。この場合、患者自身が自分の姿や患部を
見ることができるので、その患部５０を画面３８ａの中
央に位置するように体を移動させるように注意を払うこ
とができる。

【００５３】ここで、患部５０を指示する選択領域（長
方形状の図形）４９の位置が画面３８ａ上で固定されて
いると、患者の動きに伴って、図３に示すように、選択
領域４９と患部５０とが離れてしまう。

【００５４】この場合、患者は、患部５０が選択領域４
９内に入るように体を移動させればよいが、患部５０の
画像が不鮮明であったり患部５０を示す選択領域４９自
体が小さいときには、選択領域４９の図形中に患部５０
をとどめておくことが困難になってくる。

【００５５】そこで、図４に示すように、患者が移動し
ても常時選択領域４９の中に入っている患部の位置を認
識して追尾し、選択領域４９も患部５０と同時に移動さ
せる必要がある。

【００５６】ここで、初期状態として設定した選択領域
４９の中の映像を、患者が動いても常時全体の画面から
同じ映像を抽出して追尾する必要がある。

【００５７】そこで、本発明は、映像データから動きの
情報を抽出するため、一定時間毎に前の画面と、現在の
画面について、同じ位置の画素の変化を比較する。

【００５８】そして、画面全体に渡って同じ位置の画素
の変化についての相関計算を行い、前の画面と現在の画
面との間で相関値がどの程度変化したかによって、画面
の動きの変化を定量的に計測する。

【００５９】ここで、上記した相関計算を説明するため
の例として、画面全体にわたった動きの検出動作につい
て説明する。

【００６０】上記したように、被監視装置２のカメラ２
４で撮影された画像データは、１フレーム毎に画面メモ
リ３２に格納される。

【００６１】ここで、一般に画像データの構成要素は、
色データと輝度データとに分けられるが、画像の動きの
状態を処理する程度では、輝度データのみ扱うことで十
分である。

【００６２】そこで、本発明では、画像データから輝度
データを抽出し、それを画素ブロック化部３３に入力す
る。

【００６３】ここで、画像の動きの情報を抽出するに
は、画面の細かい部分の状態については解析する必要が
なく、また人間が動きを判断できる時間間隔もそれほど
短くする必要もない。

【００６４】そこで、画素ブロック化部３３は、元の画
面の画素データを荒い矩形にまとめ、その矩形内の輝度
データの平均と、さらにその平均データについて、複数
フレームにわたって平均を取った値を解析の基礎データ
としている。

【００６５】図５に示すように、前のフレームにおける
画面や、図６に示すように、現在のフレームにおける画
面などを、例えば横 640ドット、縦 480ドットの画面と
し、縦横 4ドットずつにまとめると、横 160個、縦 120
個などのメッシュになり、そのメッシュの総数は、 160
× 120＝ 19200個（＝Ｎ）になる。

【００６６】また画面の切り替わり、すなわち、フレー
ム時間を、例えば 1/30 秒などとして、 4フレームまと
めて処理すると、相関計算の計算間隔は、4/30秒とな
る。

【００６７】前述したように画面の画素データを面と時
間とにわたってブロック化することにより、後述する相
関計算における計算量を縮小することができる。

【００６８】ここで、画素ブロック化部３３において前
記処理を行った結果は、一度、画素メモリ３４に格納し
ておく。そして、画素ブロック化部３３から出力された
現在のフレーム（以下の説明で用いるフレームの定義
は、実際には 4フレーム分に相当する）における画素デ
ータＸｉと画素メモリ部３４から出力された前の画面の
フレームにおける画素データＹｉを相関計算部３５に入
力する。

【００６９】相関計算部３５は、画素データＸｉとＹｉ
との間で、図７で示す計算式により相関値Ｐを計算す
る。この相関値Ｐは、現在の画素と、前のフレームの同
じ画素について輝度がどの程度相関があるかを調べ、そ
して画面全体にわたって計算したものである。そしてこ
の相関値Ｐは、前のフレームにおける画面と現在におけ
るフレームの画面との間で動きのない場合は大きくな
り、最大値「１」に近くなる。

【００７０】ここで、反対に動きが大きい場合、小さく
なり、最小値「０」に近くなる。特に、シーンの切り替
わり時点では画面が大きく変わるため、両者の相関はほ
とんどなくなり、相関値Ｐは非常に小さくなる。各フレ
ームにおける相関値Ｐは、被監視側制御部３６に送られ
る。

【００７１】図８は、時間の経過による相関値Ｐの変化
を表したグラフの例である。

【００７２】この図８のグラフにおいて、相関値Ｐのピ
ークａ、ｂ、ｄ、ｆ、ｈは、画面の切り替わりを示して
おり、相関値Ｐは小さくなっている。また相関値Ｐのピ
ークｃ、ｅ、ｇは、あるシーンの中でバックの景色の変
化はないが、対象物（例えば人間など）が大きく変化し
た場合に相当する。

【００７３】次に、医師が長方形の選択領域４９で囲っ
た患部５０の動きを追尾する方法について、前記画面全
体の動き検出方法を応用する例について説明する。

【００７４】患者は、動かないように見えても、常に画
面の中で微妙に移動しているため、同じ位置における長
方形の中の画面について前述した相関計算を適用しても
追尾したことにならない。

【００７５】そこで、図９に示すように、フレームが経
過する毎に前のフレームにおける選択領域４９の位置か
ら現在のフレームにおける選択領域４９の位置を前後左
右に移動させてみる。

【００７６】図１０に示すように、Ｘ方向にはＤＸだけ
プラス、マイナス方向に移動させ、Ｙ方向にはＤＹだけ
プラス、マイナス方向に移動させそのときそれらの位置
の選択領域４９内の画像と、前のフレームにおける選択
領域４９内の画像との間で、相関値を計算してみる。

【００７７】図１１はこれら画像が微小に移動した場合
に各選択領域４９における相関値（Ｐ０〜Ｐ８）をプロ
ットしたグラフである。この図１１の中で、Ｐ２が最も
相関値が大きいことが分かる。すなわち、患部５０は左
方向にＤＸ移動したことになる。以下同様の処理を繰り
返すことにより患部５０が動いても患部５０の動きと共
に、患部５０を追尾して選択領域４８も移動して行く。

【００７８】次に、本発明の他の実施形態について説明
する。

【００７９】前述した実施形態では、患者の患部５０を
指示する長方形の選択領域４９は、患者が移動すると、
それに伴って画面の中を追尾していく。

【００８０】しかし、患者の患部５０が小さい場合、選
択領域（長方形）４９も小さくなり、患者にとって画面
２９ａ内の選択領域４９が大変見難くなる。

【００８１】したがって、図１２に示すように、画面２
９ａの端に制限領域としての制限枠５１を設け、患者が
気づかないうちに患部５０が移動し、画面２９ａの端に
寄ってしまい、選択領域４９の一辺が制限枠５１に接触
および重なった場合は、被監視側制御部３６は、表示装
置２９にメッセージを送り、図１３に示すように、患者
に対して注意を喚起するメッセージ（文言）５２を表示
させる。またこのメッセージ５２の表示と共に、スピー
カ２６から合成音声にて患者に注意を喚起する。なお上
記制限枠５１は、画面２９ａ自体の外枠で代用してもか
まわない。

【００８２】前述した実施形態は、患部５０を所定の大
きさの選択領域４９で囲う場合について限定して説明し
たが、図１４に示すように、医師が選択領域４９設定時
に、表示画面３８ａに表示された患者の顔５３を囲うよ
うにライトペン４２でなぞることにより広範囲の選択領
域５４を設定してもよい。

【００８３】この場合、患者もできるだけ患者側の表示
装置２９の画面２９ａを見ながら自身の顔５３が画面中
央部に来るように自分の上体をずらす努力を行うことに
より、特に外観的な傷よりも医師が患者の表情などをよ
く観察したい場合に有効である。

【００８４】また図１５に示すように、医師が選択領域
設定時に、表示画面３８ａに表示された患者の上半身を
含むように広い範囲で選択領域５５を設定してもよい。
この場合、患者は、体全体が画面２９ａの中央に位置す
るように注意を払うようにする。

【００８５】前述までの実施形態は、医師が患者の患部
５０を選択領域４９によって囲った後、患者側の表示装
置２９で患者自身の姿を鏡のように表示し、患部５０を
囲んだ選択領域４９で患部５０を強調することにより、
患者は画面２９ａを見ながら画面の制限領域５１から患
部５０がはみ出さないように注意できる。

【００８６】しかし、患者側の表示装置２９は、本来医
師側の映像を表示させ、相互に相手の姿を見ながら会話
をすることを目的に設置したものである。

【００８７】そこで、医師が患者の患部５０を選択領域
４９で囲う際は、図１６に示すように、患者の映像５７
を表示装置２９と表示装置３８との両方に表示させる。

【００８８】そして、選択領域設定後、患者側の表示装
置２９のみを、瞬時に、図１７に示すように、医師の映
像５６に切り替えて表示させる。このとき、医師側の表
示装置３８には、患者の映像５７をそのまま表示させて
おく。

【００８９】この状態では、医師と患者とがそれぞれの
表示装置２９、３８に表示された相手の姿を見ながら相
互に会話が進められる。

【００９０】そして、患者がいつの間にか動いてしま
い、その患部５０が画面３８ａの端に寄りすぎて、選択
領域４９が制限枠５１に接触した場合には、患者側の表
示装置２９は、医師の映像５６から、図１８に示すよう
に、患者の今の映像５７に切り替えられる。これによ
り、患者は、自分自身が医師側の画面３８ａ上で、画面
の端に寄りすぎたことに気付き、患者側の画面２９ａを
見ながらその中央に戻る努力をするようになる。

【００９１】すなわち、患者の患部５０が画面の制限枠
５１に入っているうちは、患者側の表示装置２９に医師
の映像５６が表示され、医師と一般的な会話が行える。
そして、患者が自然に動き、その患部５０が画面の端に
寄りすぎた場合は、患者側の表示装置２９の画面が切り
換えられて患者自身の映像５７が表示されるようにな
り、患者に注意を喚起することができる。

【００９２】前述した実施形態では、医師が患者の患部
５０を選択領域４９で囲った後、患者の患部５０が制限
枠５１の中に入っているうちは、患者側の表示装置２９
に医師の映像５６のみを表示していたが（図１７参
照）、これ以外にも、図１９に示すように、患者側の表
示装置２９の画面２９ａ中央部に医師の映像５６を表示
しつつ、この医師の映像５６に重畳させるように、患者
側に設定した選択領域４９を点線などで表示させること
もできる。

【００９３】この場合、患者は、医師の映像５６を見な
がら医師と一般的な会話を行い、これ同時に自分に設定
された選択領域４９がどこに位置しているかを常に確認
できる。

【００９４】また図２０に示すように、表示画面２９ａ
の中央部に医師の映像５６を表示したまま、患者に設定
した選択領域４９とその内部の患部映像５７ａとを、医
師の映像５６に邪魔にならない程度にその輪郭などを薄
く表示することもできる。この場合、患部５０の輪郭
と、選択領域４９の輪郭とを抽出し、それぞれを点線な
どで表示する。この逆に選択領域４９を強調するために
医師の映像５６と色を変えたりすることもできる。

【００９５】さらに、医師が患者の患部５０を示す選択
領域４９を設定した後、患者側の表示装置２９に医師の
映像５６をマルチウィンドウで同時に表示させることも
できる。

【００９６】すなわち、図２１に示すように、表示装置
２９の表示画面２９ａの一角に医師の映像５６を表示し
たウィンドゥ画面５８ａを表示させ、それ以外の画面領
域５８ｂに患者自身の映像（選択領域４９や患部５０の
映像を含む）５７を表示させる。

【００９７】この場合、患者は、自分自身の映像５７を
見ながら自分の患部５０が画面２９ａの端に移動しない
ように注意を払いつつ、同時に医師の映像５６を見なが
ら医師と相互に会話することができる。

【００９８】また、図２２に示すように、表示装置２９
の表示画面２９ａに医師の映像５６を表示すると共に、
患部５０を示す選択領域４９を表示する代わりに、画面
２９ａの上端（あるいは下端）と右端（あるいは左端）
に患部５０を囲った選択領域４９の位置が確認できるバ
ー（棒）５９ｘ、５９ｙなどのパラメータを表示させる
こともできる。なお図中の点線は表示させない。各バー
５９ｘ、５９ｙは、患部５０が移動すると、移動に伴っ
て上下左右に移動し、患者は、各バー５９ｘ、５９ｙが
画面２９ａの中に入っていれば、患部５０も画面の中に
位置していることを確認できる。

【００９９】前述した相関計算部３５による相関計算
は、図５に示したように、予めＮの値を固定していた
が、図７に示した相関計算式に、かけ算が含まれるため
計算量が多くなってしまう。

【０１００】そこで、計算量を少なくする方法として、
図２３に示すように、最初はＮを４として一つのブロッ
クの中で画素（輝度）の平均値をとる。そして、このと
きの相関値をＰ１とする。

【０１０１】次に、図２４に示すように、Ｎを２倍して
上記と同様に各ブロック内の輝度の平均値をとり相関計
算を行う。このときの相関値をＰ２とし、上記Ｐ１とＰ
２の差をとる。この差が予め決められた誤差より大きけ
れば、図２５に示すように、さらにＮを２倍して相関計
算を繰り返す。

【０１０２】そして、互いの差が予め決められた誤差よ
り小さくなったら相関計算をやめる。この相関計算の方
法は、画面の変化が少ない場合は、前のフレームにおけ
る画面と現在のフレームにおける画面との間では相関値
が大きくなり、相関値の変化が少ないので相関計算を簡
略化してもかまわない。

【０１０３】その反面、画面の変化が大きい場合は、相
関値が大きく変化するため、相関値の計算も精密に計算
する必要がある。この方法によると、ブロックを荒くし
て計算しだんだん細かくして行くことにより前記画面の
変化に適合した相関計算をその計算量を少なくして可能
となる。

【０１０４】このようにこの実施の形態の遠隔医療シス
テムによれば、患者の患部５０の位置を医師が選択領域
４９として設定することにより、患者側の表示装置２９
にその選択領域４９の位置が分かりやすく強調するなど
して表示されるので、患者はその選択領域４９を表示装
置２９で確認しながら、最適な診察ポーズをとることが
できる。

【０１０５】またこの選択領域４９は、患部５０が移動
すると、移動した患部５０を常に識別して追尾表示さ
れ、例えば患部５０が画面２９ａの端に寄った場合、患
者に注意を喚起するためのメッセージの表示が行われ
る。

【０１０６】さらに医師が患部５０の位置を選択領域４
９として設定した後は、患者側の表示装置２９がただち
に医師の映像５６に切り替えられるので、患者と医師が
相互に相手の画面を見ながら会話をすることができる。

【０１０７】そしてこの会話の間、患部５０が画面２９
ａの端に寄った場合には、患者側の表示装置２９が患者
自身の映像５７に切り替えられるので、患者は患部５０
が画面２９ａの端に寄ったことに気付き、患部５０を画
面２９ａの中央に移動させるように移動することができ
る。

【０１０８】

【発明の効果】以上説明したように本発明によれば、患
者側にカメラを移動させるための雲台などの特別な機構
を使用せず、患者が自分の映像を見ながら画面内で適切
な診察アングルになるように患者自身が移動する上で、
患者の映像中に設定された選択領域が患者の動きに合わ
せて追尾して移動するので、遠隔地間において、医師
は、患者と会話をかわしながら小さな患部を見失うこと
なく診察できる。

【０１０９】また医師が診察を行う上で医師の映像と患
者の映像とが最適なタイミングで切り換えられるので、
医師と患者の会話がちぐはぐになることなくスムーズに
診察を行える。

【０１１０】この結果、医師と患者がスムーズに会話し
ながら、医師が患者を診察できる低コストの遠隔医療シ
ステムを提供することができる。

【図面の簡単な説明】

【図１】本発明に係る遠隔医療システムの一つの実施形
態を示す構成図である。

【図２】患部５０を強調するために選択領域４９を表示
した図である。

【図３】図２の選択領域４９が、患者が動いてしまった
ために患部５０から外れた場合を示す図である。

【図４】図３において患部から外れてしまった選択領域
４９を、患部５０を追従させて移動した図である。

【図５】前後のフレームにおける画面の変化について相
関計算を行うために、前のフレームにおける画面をブロ
ック化する方法を説明するための図である。

【図６】図３と同様に現在のフレームにおける画面をブ
ロック化する方法を説明するための図である。

【図７】相関計算の計算式を示す図である。

【図８】一般の画面において、フレーム間の映像の動き
の程度を相関係数で表現し、時間経過に伴い変化する様
子をグラフ化した図である。

【図９】患者の患部５０を囲った選択領域４９を微小移
動させた例を示す図である。

【図１０】図９の選択領域４９の拡大図である。

【図１１】患部５０を囲った選択領域４９内のフレーム
間の映像の動きを相関係数で表現した場合に、選択領域
４９を微小に上下左右に動かしたときに相関係数がどの
ように変化するかを表したグラフである。

【図１２】患部５０を囲った選択領域４９が画面２９ａ
の端に移動した場合を示す図である。

【図１３】図１２において、患者に対して注意を喚起す
る文言５２を表示した例を示す図である。

【図１４】選択領域設定時に患者の顔５３を囲って選択
領域５４とした図である。

【図１５】選択領域設定時に患者の上半身５５を囲って
選択領域５５とした図である。

【図１６】患部を選択領域で囲ったときの表示画面２９
ａ、３８ａを示す図である。

【図１７】選択領域表示後に患者側の画面２９ａに医師
の映像５６を表示させた例を示す図である。

【図１８】患者側の画面２９ａに医師の映像５６を表示
させている中で、選択領域が制限領域に接触し、画面２
９ａが患者の映像５７に切り換えられたときを示す図で
ある。

【図１９】患者側の画面２９ａにおいて、医師の上半身
映像５６と選択領域４９とを表示させた図である。

【図２０】患者側の表示画面２９ａにおいて、医師の上
半身映像５６と共に、選択領域４９とその中の患部映像
５７ａとの輪郭を表示させた例を示す図である。

【図２１】患者側の表示画面２９ａにおいて、患部５０
を選択領域４９で囲んだ患者の映像５７に医師の上半身
映像５６をマルチウィンドウで同時表示した例を示す図
である。

【図２２】患者側の画面において、医師の上半身を表示
させ、画面の端に患部を囲った長方形の移動範囲を示す
バーを表示させた図である。

【図２３】本発明における相関計算を高速に行うため
に、表示画面を順次細かく分割して、計算を行う例を説
明した図である。

【図２４】本発明における相関計算を高速に行うため
に、表示画面を順次細かく分割して、計算を行う例を説
明した図である。

【図２５】本発明における相関計算を高速に行うため
に、表示画面を順次細かく分割して、計算を行う例を説
明した図である。

【図２６】従来の遠隔医療システムの構成図である。

【図２７】医師側の姿１５６が表示された画面の例を示
す図である。

【図２８】患者の体１５７とその患部１２３とを示した
画面を示す図である。

【図２９】患者の体１５７が端に寄った画面の例を示す
図である。

【図３０】医師の映像と患者の映像とをマルチウィンド
ゥで同時表示した例を示す図である。

【符号の説明】

１…通信網、２…被監視装置、３…監視装置、２４、４
０…カメラ、２５、４１…カメラＩ／Ｆ、２６、４５…
スピーカ、２７、４６…マイク、２８、４７…音声入出
力部、２９、３８…表示装置、３０、３９…表示装置Ｉ
／Ｆ、３１、４４…通信Ｉ／Ｆ、３２…画面メモリ、３
３…画素ブロック化部、３４…画素メモリ、３５…相関
計算部、３６…被監視側制御部、４２…ライトペン、４
３…ライトペンＩ／Ｆ、４８…監視側制御部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被検者を撮影する被検者用カメラと、前
   記被検者が確認するための画像を表示する被検者用モニ
   タと、前記被検者から離れた場所に存在する検査者を撮
   影する検査者用カメラと、前記検査者が確認するための
   画像を表示する検査者用モニタとを相互に接続してなる
   遠隔医療システムにおいて、 前記被検者用カメラで撮影された被検者画像を前記検査
   者用モニタの表示画面上に表示する画像表示手段と、 前記画像表示手段により前記検査者用モニタに表示され
   た前記被検者画像から、その一部を指定するための選択
   領域を設定する領域設定手段と、 前記領域設定手段により設定された前記選択領域を、前
   記検査者用モニタの表示画面上に前記被検者画像に重畳
   して表示する選択領域表示手段と、 前記被検者の動きに伴って、前記被検者の画像が前記検
   査者用モニタの表示画面内を移動したとき、移動前に前
   記選択領域内に存在した画像を識別して前記被検者の画
   像が移動した位置に前記選択領域を移動させる領域移動
   手段とを具備したことを特徴とする遠隔医療システム。
2. 【請求項２】 請求項１記載の遠隔医療システムにおい
   て、 前記被検者用モニタの表示画面内において前記選択領域
   の移動を制限する移動制限領域を有し、前記領域移動手
   段により前記選択領域が前記移動制限領域を越えて移動
   した場合、前記被検者用モニタに注意メッセージを表示
   あるいは音声によるメッセージの通知を行う移動報知手
   段を具備したことを特徴とする遠隔医療システム。
3. 【請求項３】 請求項２記載の遠隔医療システムにおい
   て、 前記検査者用モニタの表示画面上に前記被検者画像に重
   畳して選択領域が表示されると、前記検査者用カメラで
   撮影された検査者の画像を、前記被検者用モニタ上に切
   り替え表示する検査者画像表示手段と、 前記検査者画像表示手段により前記被検者用モニタに前
   記検査者の画像が表示されているとき、前記領域移動手
   段により移動された選択領域が前記移動制限領域を越え
   た場合、前記被検者用モニタの表示画面上に前記検査者
   の画像と共に、前記選択領域を含む被検者画像を表示す
   る手段とを有することを特徴とする遠隔医療システム。
4. 【請求項４】 請求項１記載の遠隔医療システムにおい
   て、 前記選択領域表示手段は、 前記検査者用モニタと共に、前記検査者画像に選択領域
   を重畳させた画像を前記被検者用モニタに表示すること
   を特徴とする遠隔医療システム。
5. 【請求項５】 請求項１記載の遠隔医療システムにおい
   て、 前記検査者用カメラで撮影された検査者の画像と、前記
   選択領域とこの選択領域内に存在する被検者画像の一部
   とを前記被検者用モニタ上に表示する表示制御手段を具
   備したことを特徴とする遠隔医療システム。
6. 【請求項６】 請求項１記載の遠隔医療システムにおい
   て、 前記検査者用カメラで撮影された検査者の画像と、前記
   選択領域の位置と大きさを示すパラメータとを前記被検
   者用モニタ上に表示する表示制御手段を具備することを
   特徴とした遠隔医療システム。
7. 【請求項７】 請求項１記載の遠隔医療システムにおい
   て、 前記領域移動手段は、 前記選択領域が初めに設定されたときの第１の領域デー
   タと、１フレーム時間経過後に前記選択領域が上下左右
   に微小距離だけ移動した複数の第２の領域データとか
   ら、それぞれの画素の輝度を要素として複数の相関値を
   求め、前記複数の第２の領域データのうち最も相関値が
   大きい領域データをもつ第２の領域データを選択して、
   前記被検者画像の移動を識別することを特徴とする遠隔
   医療システム。
8. 【請求項８】 請求項１記載の遠隔医療システムにおい
   て、 前記領域移動手段は、 前記選択領域を所定のブロック単位に分割し、そのブロ
   ック内の画素における輝度の平均値を計算し、この平均
   値を要素として前記相関値を求める手段と、 前記各ブロックを順次細分化する細分化手段と、 前記細分化手段により細分化された第１のブロックと、
   次に細分化された第２のブロックとの相関値の絶対誤差
   が所定値以下になるまで前記細分化を繰り返して相関計
   算を行う相関計算手段とを具備することを特徴とした遠
   隔医療システム。