JP3816259B2 - 画像共有システム - Google Patents
画像共有システム Download PDFInfo
- Publication number
- JP3816259B2 JP3816259B2 JP08658099A JP8658099A JP3816259B2 JP 3816259 B2 JP3816259 B2 JP 3816259B2 JP 08658099 A JP08658099 A JP 08658099A JP 8658099 A JP8658099 A JP 8658099A JP 3816259 B2 JP3816259 B2 JP 3816259B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- user
- cursor
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
この発明は、通信回線を介して接続された第1の画像表示装置および第2の画像表示装置により同一の画像を共有する画像共有システムに関するものである。
【0002】
【従来の技術】
図31は例えば特開平2−218336号公報に記載の従来の画像共有システムを示すブロック図である。図において、501は、遠隔地に設置され、患者の画像情報を発生する画像撮影装置であり、502は、発生した画像情報を読み取り、デジタルデータに変換する画像読取装置であり、503は、画像情報を一時的に蓄積するとともに、患者情報、撮影条件、画像の伝送指令などを作業者に入力される画像蓄積装置であり、504は、画像情報を表示し確認するための表示装置である。505は、ラインクロックなどの画像フォーマットを変換するとともに第2の送受信装置507からの指令に対応する処理を実行するデータ処理部511と、通信回線506を介して第2の送受信装置507との間で通信を実行する通信部512とで構成される第1の送受信装置である。
【0003】
507は、ラインクロックなどの画像フォーマットを変換するとともに第1の送受信装置505からの指令に対応する処理を実行するデータ処理部521と、通信回線506を介して第1の送受信装置505との間で通信を実行する通信部522とで構成される第2の送受信装置である。508は、第2の送受信装置507で受信された画像情報に所定の画像処理を施す画像処理装置であり、509は、画像を再生する画像出力装置である。
【0004】
次に動作について説明する。
遠隔地において画像撮影装置501により発生した患者の画像情報は画像読取装置502により読み取られ、画像蓄積装置503に蓄積されるとともに、表示装置504に表示される。そして作業者により画像の伝送指令が入力されると、その画像情報が第1の送受信装置505のデータ処理部511により処理された後に通信部512により通信回線506を介して第2の送受信装置507の通信部522へ伝送される。
【0005】
第2の送受信装置507の通信部522は画像情報を受信するとデータ処理部521に供給し、その画像情報はデータ処理部521により元の画像情報に変換される。そして、画像処理装置508により適宜その画像に対して所定の画像処理が施され、画像出力装置509により患者の画像が出力される。都市部の医師はこの患者の画像に基づいて診断を行う。
【0006】
この他、関連する従来の技術としては、特開平4−118685号公報、特開平5−261087号公報、特開平9−135816号公報、特開平9−84000号公報、特開平10−31754号公報、特開平10−57370号公報、国際公開93/19672号公報などにそれぞれ記載がある。
【0007】
【発明が解決しようとする課題】
従来の画像共有システムは以上のように構成されているので、遠隔地の患者の画像を見て医師が診療することはできるが、様々な視点からの患者の画像を遠隔地の医師と共有しつつ、同一視点での画像を互いに見ながら連携して診療にあたることが困難であるなどの課題があった。
【0008】
この発明は上記のような課題を解決するためになされたもので、断層像から三次元モデルを作成し、設定された視点から三次元モデルを見た場合の三次元画像を共有し、視点変更操作があった場合にはそれに応じて視点を変更した後の三次元画像を共有するようにして、様々な視点からの患者の三次元画像を遠隔地の医師と共有しつつ、同一視点での画像を互いに見ながら連携して診療にあたることができる画像共有システムを得ることを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る画像共有システムは、所定の対象物より採取した断層像からその対象物の三次元モデルを作成する三次元モデル構築手段と、三次元モデルを所定の視点から見た場合の三次元画像を作成する三次元画像作成手段と、三次元画像を第2の画像表示装置に通信回線を介して送信する第1の送信手段と、三次元画像を表示する第1の表示装置と、通信回線を介して送信されてくる視点変更要求を受信する第1の受信手段と、第1のユーザによる操作に基づいて視点変更を入力される第1の入力手段と、受信された視点変更要求または入力された視点変更に応じて視点を変更し、変更後の視点に基づく三次元画像を三次元画像作成手段に作成させ、作成させた三次元画像を、第1の送信手段に第2の画像表示装置へ送信させるとともに第1の表示装置に表示させる制御手段とを第1の画像表示装置に備え、通信回線を介して送信されてくる三次元画像を受信する第2の受信手段と、受信された三次元画像を表示する第2の表示装置と、第2のユーザによる操作に基づいて視点変更を入力される第2の入力手段と、第2の入力手段に視点変更を入力されると視点変更要求を生成する視点変更要求生成手段と、その視点変更要求を第1の画像表示装置に通信回線を介して送信する第2の送信手段とを第2の画像表示装置に備えるものである。
【0010】
この発明に係る画像共有システムは、カーソルを第1の表示装置に表示させる第1のカーソル表示手段と、第1のユーザによる操作に基づいてカーソル位置を入力される第3の入力手段と、通信回線を介して通知されたカーソル位置または第3の入力手段に入力されたカーソル位置にカーソルの表示位置を変更する第1のカーソル位置制御手段と、第3の入力手段に入力されたカーソル位置を第2の画像表示装置に通信回線を介して通知する第1のカーソル位置通知手段とを第1の画像表示装置にさらに備え、カーソルを第2の表示装置に表示させる第2のカーソル表示手段と、第2のユーザによる操作に基づいてカーソル位置を入力される第4の入力手段と、通信回線を介して通知されたカーソル位置または第4の入力手段に入力されたカーソル位置にカーソルの表示位置を変更する第2のカーソル位置制御手段と、第4の入力手段に入力されたカーソル位置を第1の画像表示装置に通信回線を介して通知する第2のカーソル位置通知手段とを第2の画像表示装置にさらに備えるものである。
【0011】
この発明に係る画像共有システムは、第1のユーザを撮影する第1の撮影手段と、第1のユーザの音声を集音する第1の集音手段と、第1の撮影手段により撮影された第1のユーザの画像および第1の集音手段により集音された第1のユーザの音声を所定のデータ形式に変換する第1の変換手段と、変換後の第1のユーザの画像および音声を第2の画像表示装置に通信回線を介して送信する第3の送信手段と、通信回線を介して送信されてくる所定のデータ形式に変換後の第2のユーザの画像および音声を受信する第3の受信手段と、受信した第2のユーザの画像および音声を、変換前の画像および音声に復元する第1の復元手段と、復元された第2のユーザの画像を表示する第3の表示装置と、復元された第2のユーザの音声を出力する第1の音声出力装置とを第1の画像表示装置にさらに備え、第2のユーザを撮影する第2の撮影手段と、第2のユーザの音声を集音する第2の集音手段と、第2の撮影手段により撮影された第2のユーザの画像および第2の集音手段により集音された第2のユーザの音声を所定のデータ形式に変換する第2の変換手段と、変換後の第2のユーザの画像および音声を第1の画像表示装置に通信回線を介して送信する第4の送信手段と、通信回線を介して送信されてくる所定のデータ形式に変換後の第1のユーザの画像および音声を受信する第4の受信手段と、受信した第1のユーザの画像および音声を、変換前の画像および音声に復元する第2の復元手段と、復元された第1のユーザの画像を表示する第4の表示装置と、復元された第1のユーザの音声を出力する第2の音声出力装置とを第2の画像表示装置にさらに備えるものである。
【0012】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1は、この発明の実施の形態1による画像共有システムの構成例を示すブロック図である。図において、11は、断層像採取装置12により採取された対象物(例えば患者)の断層像から対象物の三次元モデルを構築し、その三次元モデルを所定の視点から見た場合の三次元画像を第1のユーザに対して表示するとともに、第1のユーザにより視点変更の入力がなされた場合および画像表示装置21から視点変更要求を受信した場合に視点変更をし、視点変更後の三次元画像を表示するとともに画像表示装置21に送信する画像表示装置(第1の画像表示装置)であり、12は、患者などの対象物の二次元の断層像を採取するX線CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)などの断層像採取装置である。
【0013】
画像表示装置11において、13−1は第1のユーザにより操作され、画像表示命令、画像送信命令、視点変更命令などを入力される操作手段(第1の入力手段、第3の入力手段)であり、14−1は三次元画像などを表示するディスプレイなどの表示装置(第1の表示装置、第3の表示装置)であり、31は断層像採取装置12により採取された断層画像を読み込む断層像採取インタフェース手段であり、32−1は公衆電話網などの広域ネットワーク(通信回線)20を介して各種情報を送受信するモデムなどの通信制御手段(第1の送信手段、第1の受信手段、第3の送信手段、第3の受信手段)であり、33−1は断層像および三次元画像のデータを蓄積するメモリ、ハードディスク装置などの蓄積手段である。
【0014】
34−1は三次元モデルに対する視点を変更する際に三次元モデルについて回転などの座標変換を実行する三次元モデル座標変換手段(三次元画像作成手段、第1の三次元画像作成手段)であり、35−1は複数の一連の断層像から三次元モデルを構築する三次元モデル構築手段(三次元モデル構築手段、第1の三次元モデル構築手段)であり、36−1は設定された視点から三次元モデルを見た場合の三次元画像を生成する三次元画像生成手段(三次元画像作成手段、第1の三次元画像作成手段)であり、38−1は生成された三次元画像を一時的に記憶する画像記憶手段であり、39は操作手段13−1に入力された各種命令に応じた処理を各部位に実行させるとともに、画像表示装置21から視点変更要求が受信された場合にはそれに応じた処理を各部位に実行させる制御手段(制御手段、第1の制御手段)であり、40−1は画像記憶手段38−1に記憶された三次元画像に対応するビデオ信号を生成し、表示装置14−1に供給するビデオ信号生成手段である。
【0015】
なお、操作手段13−1および表示装置14−1は、画像表示装置11に設ける代わりに、画像表示装置11と独立して設け画像表示装置11に接続するようにしてもよい。
【0016】
21は、画像表示装置11より送信されてくる三次元画像を第2のユーザに対して表示するとともに、第2のユーザにより視点変更の入力がなされた場合には画像表示装置11に視点変更要求を送信する画像表示装置(第2の画像表示装置)である。
【0017】
画像表示装置21において、13−2は第2のユーザにより操作され、画像表示命令、視点変更命令などを入力される操作手段(第2の入力手段、第4の入力手段)であり、14−2は三次元画像などを表示するディスプレイなどの表示装置(第2の表示装置、第4の表示装置)であり、32−2は広域ネットワーク20を介して各種情報を送受信するモデムなどの通信制御手段(第2の送信手段、第2の受信手段、第4の送信手段、第4の受信手段)であり、33−2は受信された三次元画像のデータを蓄積するメモリ、ハードディスク装置などの蓄積手段である。
【0018】
38−2は三次元画像を一時的に記憶する画像記憶手段であり、40−2は画像記憶手段38−2に記憶された三次元画像に対応するビデオ信号を生成し、表示装置14−2に供給するビデオ信号生成手段である。46は第2のユーザによる操作手段13−2への操作により三次元モデルに対する視点変更が生じた場合に視点変更要求を生成し、通信制御手段32−2および広域ネットワーク20を介して画像表示装置11に送信する視点変更要求手段(視点変更要求生成手段)であり、51は操作手段13−2に入力された各種命令に応じた処理を各部位に実行させる制御手段(第2の制御手段)である。
【0019】
なお、操作手段13−2および表示装置14−2は、画像表示装置21に設ける代わりに、画像表示装置21と独立して設け画像表示装置21に接続するようにしてもよい。
【0020】
次に動作について説明する。
図2は、図1の画像共有システムの動作について説明するフローチャートである。図3は、図2における画像表示操作処理(ステップST1)について説明するフローチャートである。図4は、三次元モデル、三次元画像および視点の関係を示す図である。図5は、図2における送信操作処理(ステップST2)について説明するフローチャートである。図6は、図2における画像表示処理(ステップST3)について説明するフローチャートである。図7は、図2における視点変更要求処理(ステップST4)について説明するフローチャートである。図8は、図2における視点変更処理(ステップST5)について説明するフローチャートである。
【0021】
まず図2のステップST1において、送信元となる画像表示装置11の操作手段13−1に画像表示命令が第1のユーザにより入力されると、図3に示す画像表示操作処理が実行される。
【0022】
画像表示操作処理(図3)では、ステップST11において画像表示命令が第1のユーザにより入力されると、制御手段39はステップST12において断層像採取インタフェース手段31を介して断層像採取装置12に断層像の採取を実行させ、ステップST13において断層像採取インタフェース手段31に断層像の読み込みを実行させる。読み込まれた断層像のデータはステップST14において蓄積手段33−1に蓄積される。
【0023】
断層像の蓄積が終わると制御手段39は、ステップST15において三次元モデル構築手段35−1に、蓄積手段33−1に蓄積されている断層像から三次元モデルを作成させ、ステップST16において三次元モデル座標変換手段34−1に、予め設定されている視点に対応して三次元モデルの座標変換を実行させ、ステップST17において三次元画像生成手段36−1に、その三次元モデルをその視点から見た場合の三次元画像を作成させる。図4に示すように仮想的な光源102からの光が三次元モデル101に照射された場合に、三次元モデル101と視点105との間に仮想的に配置したスクリーン103に投影される像が三次元画像とされる。
【0024】
作成された三次元画像はステップST18において画像記憶手段38−1に記憶される。そして、画像記憶手段38−1に記憶された三次元画像からビデオ信号生成手段40−1によりビデオ信号がステップST19において生成され、表示装置14−1に供給される。表示装置14−1はステップST20においてそのビデオ信号に基づきその三次元画像を第1のユーザに対して表示する。
【0025】
このようにして画像表示操作処理が実行される。
【0026】
次に図2のステップST2において、送信元となる画像表示装置11の操作手段13−1に画像送信命令が第1のユーザにより入力されると、図5に示す送信操作処理が実行される。
【0027】
送信操作処理(図5)では、ステップST21において画像送信命令が第1のユーザにより入力されると、制御手段39はステップST22において通信制御手段32−1に、広域ネットワーク20を介して画像表示装置21との回線を確立させ、ステップST23において画像記憶手段38−1から三次元画像のデータを読み出し、ステップST24において通信制御手段32−1に、その三次元画像のデータを送信させる。
【0028】
このようにして送信操作処理が実行される。
【0029】
そして送信元である画像表示装置11から三次元画像が送信されると、図2のステップST3において、送信先となる画像表示装置21により図6に示す画像表示処理が実行される。
【0030】
画像表示処理(図6)では、通信制御手段32−2によりステップST31において広域ネットワーク20を介して画像表示装置11との回線が確立され、ステップST32において三次元画像のデータが受信され、ステップST33において画像記憶手段38−2に記憶される。そして、画像記憶手段38−2に記憶された三次元画像からビデオ信号生成手段40−2によりビデオ信号がステップST34において生成され、表示装置14−2に供給される。表示装置14−2はステップST35においてそのビデオ信号に基づきその三次元画像を第2のユーザに対して表示する。
【0031】
このようにして画像表示処理が実行される。
ここまでのステップST1〜ステップST3の処理により、予め設定された視点での三次元画像が第1のユーザおよび第2のユーザにより共有される。次に第2のユーザによる三次元モデルに対する視点の変更が生じた場合の処理について説明する。
【0032】
まず、図2のステップST4において、送信先である画像表示装置21の操作手段13−2に視点変更命令が第2のユーザにより入力されると、図7に示す視点変更要求処理が実行される。
【0033】
視点変更要求処理(図7)では、ステップST41において視点変更命令が第2のユーザにより入力されると、制御手段51はステップST42において視点変更要求手段46に、その視点変更命令に応じて視点変更量または変更後の視点の位置を含む視点変更要求を生成させ、ステップST43において通信制御手段32−2に、広域ネットワーク20を介して画像表示装置11との回線を確立させ、ステップST44において通信制御手段32−2に、視点変更要求を送信させる。
【0034】
このように視点変更要求処理が実行される。
【0035】
そして送信先である画像表示装置21から視点変更要求が送信されると、図2のステップST5において、送信元である画像表示装置11により図8に示す視点変更処理が実行される。
【0036】
視点変更処理(図8)では、通信制御手段32−1によりステップST51において広域ネットワーク20を介して画像表示装置21との回線が確立され、ステップST52において視点変更要求が受信される。視点変更要求が受信されると、制御手段39は、ステップST53において断層像のデータを読み出し、ステップST54において三次元モデル構築手段35−1に、その断層像から三次元モデルを作成させ、ステップST55において三次元モデル座標変換手段34−1に、視点変更要求による視点に対応して三次元モデルの座標変換を実行させ、ステップST56において三次元画像生成手段36−1に、その三次元モデルをその視点から見た場合の三次元画像を作成させる。作成された三次元画像はステップST57において画像記憶手段38−1に記憶される。
【0037】
そして、画像記憶手段38−1に記憶された三次元画像からビデオ信号生成手段40−1によりビデオ信号がステップST58において生成され、表示装置14−1に供給される。表示装置14−1はステップST59においてそのビデオ信号に基づきその三次元画像を第1のユーザに対して表示する。
【0038】
一方、この視点変更後の三次元画像の表示に並行して、制御手段39はステップST60において通信制御手段32−1に、広域ネットワーク20を介して画像表示装置21との回線を確立させ、ステップST61において画像記憶手段38−1から三次元画像のデータを読み出し、通信制御手段32−1に、その三次元画像のデータを送信させる。
【0039】
このようにして視点変更処理が実行される。
【0040】
そして送信元である画像表示装置11から三次元画像が送信されると、図2のステップST6において、送信先である画像表示装置21により図6に示す画像表示処理がステップST3と同様に実行され、視点変更後の三次元画像が画像表示装置21の表示装置14−2により第2のユーザに対して表示される。
【0041】
ここまでのステップST4〜ステップST6の処理により、第2のユーザにより送信先である画像表示装置21に対して入力された視点変更命令に応じて実行した視点変更の後の三次元画像が第1のユーザおよび第2のユーザにより共有される。
【0042】
なお、第1のユーザにより画像表示装置11に対して視点変更命令が入力された場合には、図2の視点変更処理(ステップST5)および画像表示処理(ステップST6)が実行され、視点変更後の三次元画像が第1のユーザおよび第2のユーザにより共有される。この場合、視点変更処理(図8)のうちのステップST51およびステップST52の処理は実行されず、視点変更命令の入力に対応して制御手段39はステップST53以降の処理を実行させる。
【0043】
以上のように、この実施の形態1によれば、送信元である画像表示装置11において断層像から三次元モデルを作成し、所定の視点から見た場合の三次元画像を送信先である画像表示装置21に送信して共有し、視点変更があった場合にはそれに応じて視点を変更した後の三次元画像を画像表示装置11において作成し、その視点変更後の三次元画像を画像表示装置21に送信して共有するようにしたので、様々な視点からの患者の三次元画像を遠隔地の医師と共有しつつ、同一視点での画像を互いに見ながら連携して診療にあたることができるという効果が得られる。
【0044】
実施の形態2.
図9は、この発明の実施の形態2による画像共有システムの構成例を示すブロック図である。図において、11Aは、断層像採取装置12により採取された対象物(例えば患者)の断層像のデータを画像表示装置21Aに送信するとともに、その断層像から対象物の三次元モデルを構築し、その三次元モデルを所定の視点から見た場合の三次元画像を第1のユーザに対して表示するとともに、第1のユーザにより視点変更の入力がなされた場合には視点変更通知を画像表示装置21Aに送信し、第1のユーザにより視点変更の入力がなされた場合および画像表示装置21Aから視点変更通知を受信した場合に視点変更をし、視点変更後の三次元画像を表示する画像表示装置(第1の画像表示装置)である。なお、12は、実施の形態1と同様の断層像採取装置である。
【0045】
21Aは、画像表示装置21Aより送信されてくる断層像のデータを受信し、その断層像から対象物の三次元モデルを構築し、その三次元モデルを所定の視点から見た場合の三次元画像を第2のユーザに対して表示するとともに、第2のユーザにより視点変更の入力がなされた場合には視点変更通知を画像表示装置11Aに送信し、第2のユーザにより視点変更の入力がなされた場合および画像表示装置11Aから視点変更通知を受信した場合に視点変更をし、視点変更後の三次元画像を表示する画像表示装置(第2の画像表示装置)である。
【0046】
画像表示装置11Aにおいて、37−1は、視点変更命令が入力された場合に視点変更通知を生成し、通信制御手段32−1および広域ネットワーク20を介して画像表示装置21Aに送信する視点変更通知手段(第1の視点変更通知生成手段)である。なお、画像表示装置11Aにおけるその他の構成要素については実施の形態1の画像表示装置11におけるものと同様であるので、その説明を省略する。
【0047】
画像表示装置21Aにおいて、37−2は、視点変更命令が入力された場合に視点変更通知を生成し、通信制御手段32−2および広域ネットワーク20を介して画像表示装置11Aに送信する視点変更通知手段(第2の視点変更通知生成手段)である。なお、三次元モデル座標変換手段(第2の三次元画像作成手段)34−2、三次元モデル構築手段(第2の三次元モデル構築手段)35−2、三次元モデル画像生成手段(第2の三次元画像作成手段)36−2は、画像表示装置11Aにおける三次元モデル座標変換手段34−1、三次元モデル構築手段35−1、三次元モデル画像生成手段36−1とそれぞれ同様である。また、画像表示装置21Aにおけるその他の構成要素については実施の形態1の画像表示装置21におけるものと同様であるので、その説明を省略する。
【0048】
すなわち、画像表示装置11A,21Aは、断層像採取インタフェース手段31を除き、同様に構成されている。
【0049】
次に動作について説明する。
図10は、図9の画像共有システムの動作について説明するフローチャートである。図11は、図10における送信操作処理(ステップST102)について説明するフローチャートである。図12は、図10における画像表示処理(ステップST103)について説明するフローチャートである。図13は、図10における視点変更操作処理(ステップST104)について説明するフローチャートである。図14は、図10における視点変更処理(ステップST105)について説明するフローチャートである。
【0050】
まず図10のステップST101において、送信元となる画像表示装置11Aの操作手段13−1に画像表示命令が第1のユーザにより入力されると、画像表示操作処理が実行される。なお、画像操作処理については実施の形態1の場合(図3)と同様であるので、その説明を省略する。
【0051】
次に図10のステップST102において、送信元である画像表示装置11Aの操作手段13−1に画像送信命令が第1のユーザにより入力されると、図11に示す送信操作処理が実行される。
【0052】
送信操作処理(図11)では、ステップST111において画像送信命令が第1のユーザにより入力されると、制御手段39−1はステップST112において通信制御手段32−1に、広域ネットワーク20を介して画像表示装置21Aとの回線を確立させ、ステップST113において蓄積手段33−1から一連の断層像のデータを読み出し、ステップST114において通信制御手段32−1に、その断層像のデータを画像表示装置21Aへ送信させる。
【0053】
このようにして送信操作処理が実行される。
【0054】
そして送信元である画像表示装置11Aから断層像が送信されると、図10のステップST103において、送信先となる画像表示装置21Aにより図12に示す画像表示処理が実行される。
【0055】
画像表示処理(図12)では、通信制御手段32−2によりステップST121において広域ネットワーク20を介して画像表示装置11Aとの回線が確立され、ステップST122において断層像のデータが受信され、ステップST123において蓄積手段33−2に蓄積される。そして、断層像の蓄積が終わると制御手段51は、ステップST124において三次元モデル構築手段35−2に、蓄積手段33−2に蓄積されている断層像から三次元モデルを作成させ、ステップST125において三次元モデル座標変換手段34−2に、予め設定されている視点に対応して三次元モデルの座標変換を実行させ、ステップST126において三次元画像生成手段36−2に、その三次元モデルをその視点から見た場合の三次元画像を作成させる。
【0056】
作成された三次元画像はステップST127において画像記憶手段38−2に記憶される。そして、画像記憶手段38−2に記憶された三次元画像からビデオ信号生成手段40−2によりビデオ信号がステップST128において生成され、表示装置14−2に供給される。表示装置14−2はステップST129においてそのビデオ信号に基づきその三次元画像を第2のユーザに対して表示する。
【0057】
このようにして画像表示処理が実行される。
ここまでのステップST101〜ステップST103の処理により、予め設定された視点での三次元画像が第1のユーザおよび第2のユーザにより共有される。次に第2のユーザによる三次元モデルに対する視点の変更が生じた場合の処理について説明する。
【0058】
まず、図10のステップST104において、送信先である画像表示装置21Aの操作手段13−2に視点変更命令が第2のユーザにより入力されると、図13に示す視点変更操作処理が実行される。
【0059】
視点変更操作処理(図13)では、ステップST131において視点変更命令が第2のユーザにより入力されると、制御手段51はステップST132において断層像のデータを読み出し、ステップST133において三次元モデル構築手段35−2に、その断層像から三次元モデルを作成させ、ステップST134において三次元モデル座標変換手段34−2に、視点変更命令により変更された視点に対応して三次元モデルの座標変換を実行させ、ステップST135において三次元画像生成手段36−2に、その三次元モデルをその視点から見た場合の三次元画像を作成させる。作成された三次元画像はステップST136において画像記憶手段38−2に記憶される。
【0060】
そして、画像記憶手段38−2に記憶された三次元画像からビデオ信号生成手段40−2によりビデオ信号がステップST137において生成され、表示装置14−2に供給される。表示装置14−2はステップST138においてそのビデオ信号に基づきその三次元画像を第2のユーザに対して表示する。
【0061】
一方、この視点変更後の三次元画像の表示に並行して、制御手段51はステップST139において視点変更通知手段37−2に、視点変更量または変更後の視点の位置を含む視点変更通知を生成させ、ステップST140において通信制御手段32−2に、広域ネットワーク20を介して画像表示装置11Aとの回線を確立させ、ステップST141において視点変更通知手段37−2および通信制御手段32−2に、その視点変更通知を画像表示装置11Aへ送信させる。
【0062】
このようにして視点変更操作処理が実行される。
【0063】
そして送信先である画像表示装置21Aから視点変更通知が送信されると、図10のステップST105において、送信元である画像表示装置11Aにより図14に示す視点変更処理が実行される。
【0064】
視点変更処理(図14)では、通信制御手段32−1によりステップST151において広域ネットワーク20を介して画像表示装置21Aとの回線が確立され、ステップST152において視点変更通知が受信される。視点変更通知が受信されると、制御手段39−1は、ステップST153において断層像のデータを読み出し、ステップST154において三次元モデル構築手段35−1に、その断層像から三次元モデルを作成させ、ステップST155において三次元モデル座標変換手段34−1に、視点変更通知による視点に対応して三次元モデルの座標変換を実行させ、ステップST156において三次元画像生成手段36−1に、その三次元モデルをその視点から見た場合の三次元画像を作成させる。作成された三次元画像はステップST157において画像記憶手段38−1に記憶される。
【0065】
そして、画像記憶手段38−1に記憶された三次元画像からビデオ信号生成手段40−1によりビデオ信号がステップST158において生成され、表示装置14−1に供給される。表示装置14−1はステップST159においてそのビデオ信号に基づきその三次元画像を第1のユーザに対して表示する。
【0066】
このようにして視点変更処理が実行される。
ここまでのステップST104およびステップST105の処理により、第2のユーザにより画像表示装置21Aに対して入力された視点変更命令に応じて実行した視点変更の後の三次元画像が第1のユーザおよび第2のユーザにより共有される。
【0067】
次に第1のユーザの操作による三次元モデルに対する視点の変更が生じた場合の処理について説明する。
【0068】
まず、図10のステップST106において、画像表示装置11Aの操作手段13−1に視点変更命令が第1のユーザにより入力されると、視点変更操作処理が実行される。なお、この視点変更操作処理は、上述のステップST104(図13)と同様にして画像表示装置11Aにより実行される。そして画像表示装置11Aから視点変更通知が送信されると、図10のステップST107において、画像表示装置21Aにより視点変更処理が実行される。なお、この視点変更処理は、上述のステップST105(図14)と同様にして画像表示装置21Aにより実行される。
【0069】
このステップST106およびステップST107の処理により、第1のユーザにより画像表示装置21Aに対して入力された視点変更命令に応じて実行した視点変更の後の三次元画像が第1のユーザおよび第2のユーザにより共有される。
【0070】
以上のように、この実施の形態2によれば、実施の形態1のよる効果の他、予め断層像のデータを共有し、各画像表示装置11A,21Aにおいて三次元画像を作成するようにしたので、視点変更時に画像データを送受信することなく、視点変更通知の授受のみで迅速に視点変更後の三次元画像を共有することができるという効果が得られる。
【0071】
実施の形態3.
この発明の実施の形態3による画像共有システムは、実施の形態1による画像共有システムに、各表示装置14−1,14−2にカーソルを表示し、そのカーソルを共有して操作する機能を追加したものである。
【0072】
図15はこの発明の実施の形態3による画像共有システムの構成例を示すブロック図である。図において、41−1は、カーソルの画像のデータを画像記憶手段38−1に書き込み、表示画像にカーソルを重畳させるとともに、第1のユーザによる操作手段13−1に対する操作、または画像表示装置21より供給されるカーソル座標に応じてカーソルを表示画像上で移動させるカーソル操作手段(第1のカーソル表示手段、第1のカーソル位置制御手段)であり、42−1は、第1のユーザによる操作手段13−1に対する操作に応じてカーソルが移動した場合に移動後のカーソルの座標(位置)を画像表示装置21に通知するカーソル座標通知手段(第1のカーソル位置通知手段)である。
【0073】
41−2は、カーソルの画像のデータを画像記憶手段38−2に書き込み、表示画像にカーソルを重畳させるとともに、第2のユーザによる操作手段13−2に対する操作、または画像表示装置11より供給されるカーソル座標に応じてカーソルを表示画像上で移動させるカーソル操作手段(第2のカーソル表示手段、第2のカーソル位置制御手段)であり、42−2は、第2のユーザによる操作手段13−2に対する操作に応じてカーソルが移動した場合に移動後のカーソルの座標(位置)を画像表示装置11に通知するカーソル座標通知手段(第2のカーソル位置通知手段)である。
【0074】
なお、図15におけるその他の構成要素については実施の形態1(図1)におけるものと同様であるので、その説明を省略する。
【0075】
次に動作について説明する。
図16は、図15の画像共有システムの動作について説明するフローチャートである。図17は、図16におけるカーソル操作処理(ステップST207)について説明するフローチャートである。図18は、図16におけるカーソル表示処理(ステップST208)について説明するフローチャートである。
【0076】
この実施の形態3による画像共有システムでは、画像表示操作処理(ステップST201)、送信操作処理(ステップST202)、画像表示処理(ステップST203、ステップST206)、視点変更要求処理(ステップST204)、視点変更処理(ステップST205)などが実施の形態1による画像共有システムと同様に実行される。
【0077】
そして第1のユーザによりカーソル操作が操作手段13−1になされると、カーソル操作処理(ステップST207)が実行される。
【0078】
カーソル操作処理(図17)では、ステップST211においてカーソル操作が第1のユーザによりなされると、制御手段39は、ステップST212においてカーソル操作手段41−1およびカーソル座標通知手段42−1に、操作後のカーソルの座標を供給する。
【0079】
そしてステップST213において、カーソル操作手段41−1は、操作後の座標に対応してカーソルの画像のデータを画像記憶手段38−1に書き込み、表示画像にカーソルを重畳させる。画像記憶手段38−1に記憶された三次元画像からビデオ信号生成手段40−1によりビデオ信号がステップST214において生成され、表示装置14−1に供給される。表示装置14−1はステップST215においてそのビデオ信号に基づきカーソルを伴う三次元画像を第1のユーザに対して表示する。すなわち、カーソルが操作されると、それに伴いカーソルが表示画像上を移動する。
【0080】
一方、このカーソルを伴う三次元画像の表示に並行して、カーソル座標通知手段42−1はステップST216においてカーソル座標を受け取り、ステップST217において通信制御手段32−1に、広域ネットワーク20を介して画像表示装置21との回線を確立させ、ステップST218において通信制御手段32−1および広域ネットワーク20を介してそのカーソル座標のデータを画像表示装置21へ送信させる。
【0081】
このようにしてカーソル操作処理が実行される。
【0082】
そして画像表示装置11からカーソル座標のデータが送信されると、図16のステップST208において、画像表示装置21により図18に示すカーソル表示処理が実行される。
【0083】
カーソル表示処理(図18)では、通信制御手段32−2によりステップST221において広域ネットワーク20を介して画像表示装置11との回線が確立され、ステップST222においてカーソル座標のデータが受信され、ステップST223においてカーソル操作手段41−2がそのカーソル座標のデータを受け取り、ステップST224においてカーソル操作手段41−2により、そのカーソル座標に、画像記憶手段38−2におけるカーソルの書き込み位置が変更される。そして、画像記憶手段38−2に記憶された三次元画像からビデオ信号生成手段40−2によりビデオ信号がステップST225において生成され、表示装置14−2に供給される。表示装置14−2はステップST226においてそのビデオ信号に基づきカーソルを伴う三次元画像を第2のユーザに対して表示する。
【0084】
このようにしてカーソル表示処理が実行される。
ここまでのステップST207およびステップST208の処理により、第1のユーザのカーソル操作によるカーソル位置の座標に応じて各画像表示装置11,21で表示画像上の同一座標にカーソルが表示され、第1のユーザおよび第2のユーザによりカーソルが共有される。
【0085】
また、第2のユーザによりカーソル操作が操作手段13−2になされると、ステップST209において画像表示装置21によりカーソル操作処理がステップST207と同様に実行され、表示装置14−2でカーソル操作に応じた座標にカーソルが第2のユーザに対して表示されるとともに、カーソル座標のデータが画像表示装置11に送信される。
【0086】
そして画像表示装置21からカーソル座標のデータが送信されると、図16のステップST210において、画像表示装置11によりカーソル表示処理がステップST208と同様に実行され、表示装置14−2で、受信したカーソル座標にカーソルが第1のユーザに対して表示される。
【0087】
以上のように、この実施の形態3によれば、実施の形態1による効果の他、同一の座標にカーソルを表示するとともに、そのカーソルの表示位置を両者ともに操作可能にするようにしたので、カーソルにより第1のユーザおよび第2のユーザがそれぞれ着目点を示すことができ、その着目点を共有することができるという効果が得られる。
【0088】
実施の形態4.
この発明の実施の形態4による画像共有システムは、実施の形態2による画像共有システムに、実施の形態3と同様に、各表示装置14−1,14−2にカーソルを表示し、そのカーソルを共有して操作する機能を追加したものである。
【0089】
図19はこの発明の実施の形態4による画像共有システムの構成例を示すブロック図である。図において、41−1および41−2は実施の形態3によるもの同様のカーソル操作手段であり、42−1および42−2は実施の形態3によるもの同様のカーソル座標通知手段である。
【0090】
なお、図19におけるその他の構成要素については実施の形態2(図9)におけるものと同様であるので、その説明を省略する。
【0091】
次に動作について説明する。
図20は、図19の画像共有システムの動作について説明するフローチャートである。この実施の形態4による画像共有システムでは、画像表示操作処理(ステップST301)、送信操作処理(ステップST302)、画像表示処理(ステップST303)、視点変更操作処理(ステップST304、ステップST306)、視点変更処理(ステップST305、ステップST307)などが実施の形態2による画像共有システムと同様に実行される。
【0092】
そして第1のユーザによりカーソル操作が画像表示装置11Aの操作手段13−1になされると、ステップST308においてカーソル操作処理が、実施の形態3の場合(図17)と同様に実行され、表示装置14−1でカーソル操作に応じた座標にカーソルが第1のユーザに対して表示されるとともに、カーソル座標のデータが画像表示装置21Aに送信される。
【0093】
そして画像表示装置11Aからカーソル座標のデータが送信されると、ステップST309において、画像表示装置21Aによりカーソル表示処理が実施の形態3の場合(図18)と同様に実行され、受信したカーソル座標にカーソルが第1のユーザに対して表示装置14−2に表示される。
【0094】
ここまでのステップST308およびステップST309の処理により、第1のユーザのカーソル操作によるカーソル位置の座標に応じて各画像表示装置11A,21Aで表示画像上の同一座標にカーソルが表示され、第1のユーザおよび第2のユーザによりカーソルが共有される。
【0095】
また、第2のユーザによりカーソル操作が画像表示装置21Aの操作手段13−2になされると、ステップST310において画像表示装置21Aによりカーソル操作処理がステップST308と同様に実行され、表示装置14−2でカーソル操作に応じた座標にカーソルが第2のユーザに対して表示されるとともに、カーソル座標のデータが画像表示装置11Aに送信される。
【0096】
そして画像表示装置21Aからカーソル座標のデータが送信されると、ステップST311において画像表示装置11Aによりカーソル表示処理がステップST309と同様に実行され、受信したカーソル座標にカーソルが第1のユーザに対して表示装置14−1に表示される。
【0097】
以上のように、この実施の形態4によれば、実施の形態2による効果の他、同一の座標にカーソルを表示するとともに、そのカーソルの表示位置を両者ともに操作可能にするようにしたので、カーソルにより第1のユーザおよび第2のユーザがそれぞれ着目点を示すことができ、その着目点を共有することができるという効果が得られる。
【0098】
実施の形態5.
この発明の実施の形態5による画像共有システムは、実施の形態1による画像共有システムに、第1のユーザと第2のユーザとの間で使用するいわゆるTV会議機能を追加したものである。
【0099】
図21は、この発明の実施の形態5による画像共有システムの構成例を示すブロック図である。図において、15−1は第1のユーザを撮影するビデオカメラなどの画像入力装置(第1の撮影手段)であり、16−1は第1のユーザの音声を集音するマイクロフォンなどの音声入力装置(第1の集音手段)であり、17−1は第2のユーザの音声を出力するスピーカなどの音声出力装置(第1の音声出力手段)であり、43−1は、第1のユーザおよび第2のユーザについての画像および音声のデータの授受を、広域ネットワーク20を介して実行するTV会議手段(第1の変換手段、第1の復元手段)である。
【0100】
15−2は第2のユーザを撮影するビデオカメラなどの画像入力装置(第2の撮影手段)であり、16−2は第2のユーザの音声を集音するマイクロフォンなどの音声入力装置(第2の集音手段)であり、17−2は第1のユーザの音声を出力するスピーカなどの音声出力装置(第2の音声出力手段)であり、43−2は、第1のユーザおよび第2のユーザについての画像および音声のデータの授受を、広域ネットワーク20を介して実行するTV会議手段(第2の変換手段、第2の復元手段)である。
【0101】
なお、図21におけるその他の構成要素については実施の形態1(図1)におけるものと同様であるので、その説明を省略する。
【0102】
次に動作について説明する。
図22は、図21の画像共有システムの動作を説明するフローチャートである。図23は、図22におけるTV会議データ送信処理(ステップST407)について説明するフローチャートである。図24は、図22におけるTV会議データ再生処理(ステップST408)について説明するフローチャートである。
【0103】
この実施の形態5による画像共有システムでは、画像表示操作処理(ステップST401)、送信操作処理(ステップST402)、画像表示処理(ステップST403、ステップST406)、視点変更要求処理(ステップST404)、視点変更処理(ステップST405)などが実施の形態1による画像共有システムと同様に実行される。
【0104】
そして、所定の操作によりTV会議機能の実行が開始されると、まずステップST407において図23に示すTV会議データ送信処理が実行される。
【0105】
TV会議データ送信処理(図23)では、ステップST411において画像入力装置15−1により第1のユーザが撮影されるとともに、ステップST412において音声入力装置16−1により第1のユーザの音声が集音される。そしてTV会議手段43−1は、ステップST413においてその第1のユーザの画像および音声を所定のデータ形式のデータに変換し、ステップST414において通信制御手段32−1に画像表示装置21との回線を確立させ、ステップST415において第1のユーザの画像および音声のデータであるTV会議データを画像表示装置21へ送信させる。
【0106】
このようにしてTV会議データ送信処理が実行される。
【0107】
そして画像表示装置11によりTV会議データが送信されると、ステップST408において画像表示装置21により図24に示すTV会議データ再生処理が実行される。
【0108】
TV会議データ再生処理(図24)では、通信制御手段32−2によりステップST421において広域ネットワーク20を介して画像表示装置11との回線が確立され、ステップST422においてTV会議データが受信され、ステップST423においてTV会議手段43−2はTV会議データからの画像データの分離および音声データの復元を実行する。
【0109】
そして、ステップST424においてTV会議手段43−2により、その画像データが、三次元画像とは独立に、画像記憶手段38−2の所定の領域に記憶される。そして、画像記憶手段38−2に記憶された画像データからビデオ信号生成手段40−2によりビデオ信号がステップST425において生成され、表示装置14−2に供給される。表示装置14−2はステップST426においてそのビデオ信号に基づき第1のユーザの画像を三次元画像とは独立に第2のユーザに対して表示する。その第1のユーザの画像の表示に並行して、ステップST427においてTV会議手段43−2は音声出力装置17−2に、復元した第1のユーザの音声を出力させる。
【0110】
このようにしてTV会議データ再生処理が実行される。
【0111】
また同様にして、図22のステップST409において画像表示装置21により上述のTV会議データ送信処理が実行され、第2のユーザについてのTV会議データが画像表示装置11に送信される。そして、ステップST410において画像表示装置11により上述のTV会議データ再生処理が実行され、第2のユーザの画像が表示装置14−1に表示されるとともに、第2のユーザの音声が音声出力装置17−1により出力される。
【0112】
以上のように、この実施の形態5によれば、実施の形態1による効果の他、TV会議機能を使用して互いの意志疎通を良好にすることができ、より綿密に連携して診療にあたることができるという効果が得られる。
【0113】
実施の形態6.
この発明の実施の形態6による画像共有システムは、実施の形態2による画像共有システムに、第1のユーザと第2のユーザとの間で使用するいわゆるTV会議機能を追加したものである。
【0114】
図25は、この発明の実施の形態6による画像共有システムの構成例を示すブロック図である。図において、TV会議機能のための画像入力装置15−1,15−2、音声入力装置16−1,16−2、音声出力装置17−1,17−2およびTV会議手段43−1,43−2は、実施の形態5と同様のものである。
【0115】
なお、図25におけるその他の構成要素については実施の形態2(図9)によるものと同様であるので、その説明を省略する。
【0116】
次に動作について説明する。
図26は、図25の画像共有システムの動作について説明するフローチャートである。この実施の形態6による画像共有システムでは、画像表示操作処理(ステップST501)、送信操作処理(ステップST502)、画像表示処理(ステップST503)、視点変更操作処理(ステップST504、ステップST506)、視点変更処理(ステップST505、ステップST507)などが実施の形態2による画像共有システムと同様に実行される。
【0117】
そして、所定の操作によりTV会議機能の実行が開始されると、ステップST508において実施の形態5と同様にして画像表示装置11AによりTV会議データ送信処理が実行され、第1のユーザについてのTV会議データが画像表示装置21Aへ送信される。画像表示装置11AによりTV会議データが送信されると、ステップST509において画像表示装置21Aにより実施の形態5と同様にしてTV会議データ再生処理が実行され、第1のユーザの画像が表示装置14−2に表示され、第1のユーザの音声が音声出力装置17−2により出力される。
【0118】
同様にして、ステップST510において画像表示装置21Aにより同様のTV会議データ送信処理が実行され、第2のユーザについてのTV会議データが画像表示装置11Aへ送信される。そして、ステップST511において画像表示装置11Aにより同様のTV会議データ再生処理が実行され、第2のユーザの画像が表示装置14−1に表示されるとともに、第2のユーザの音声が音声出力装置17−1により出力される。
【0119】
以上のように、この実施の形態6によれば、実施の形態2による効果の他、TV会議機能を使用して互いの意志疎通を良好にすることができ、より綿密に連携して診療にあたることができるという効果が得られる。
【0120】
実施の形態7.
この発明の実施の形態7による画像共有システムは、実施の形態3による画像共有システムに、第1のユーザと第2のユーザとの間で使用するいわゆるTV会議機能を追加したものである。
【0121】
図27は、この発明の実施の形態7による画像共有システムの構成例を示すブロック図である。図において、TV会議機能のための画像入力装置15−1,15−2、音声入力装置16−1,16−2、音声出力装置17−1,17−2およびTV会議手段43−1,43−2は、実施の形態5と同様のものである。
【0122】
なお、図27におけるその他の構成要素については実施の形態3(図15)によるものと同様であるので、その説明を省略する。
【0123】
次に動作について説明する。
図28は、図27の画像共有システムの動作について説明するフローチャートである。この実施の形態7による画像共有システムでは、画像表示操作処理(ステップST601)、送信操作処理(ステップST602)、画像表示処理(ステップST603、ステップST606)、視点変更要求処理(ステップST604)、視点変更処理(ステップST605)、カーソル操作処理(ステップST607、ステップST609)、カーソル表示処理(ステップST608、ステップST610)などが実施の形態3による画像共有システムと同様に実行される。
【0124】
そして、所定の操作によりTV会議機能の実行が開始されると、ステップST611において実施の形態5と同様にして画像表示装置11によりTV会議データ送信処理が実行され、第1のユーザについてのTV会議データが画像表示装置21へ送信される。画像表示装置11によりTV会議データが送信されると、ステップST612において画像表示装置21により実施の形態5と同様にしてTV会議データ再生処理が実行され、第1のユーザの画像が表示装置14−2に表示され、第1のユーザの音声が音声出力装置17−2により出力される。
【0125】
同様にして、ステップST613において画像表示装置21により同様のTV会議データ送信処理が実行され、第2のユーザについてのTV会議データが画像表示装置11へ送信される。そして、ステップST614において画像表示装置11により同様のTV会議データ再生処理が実行され、第2のユーザの画像が表示装置14−1に表示されるとともに、第2のユーザの音声が音声出力装置17−1により出力される。
【0126】
以上のように、この実施の形態7によれば、実施の形態3による効果の他、TV会議機能を使用して互いの意志疎通を良好にすることができ、より綿密に連携して診療にあたることができるという効果が得られる。
【0127】
実施の形態8.
この発明の実施の形態8による画像共有システムは、実施の形態4による画像共有システムに、第1のユーザと第2のユーザとの間で使用するいわゆるTV会議機能を追加したものである。
【0128】
図29は、この発明の実施の形態8による画像共有システムの構成例を示すブロック図である。図において、TV会議機能のための画像入力装置15−1,15−2、音声入力装置16−1,16−2、音声出力装置17−1,17−2およびTV会議手段43−1,43−2は、実施の形態5と同様のものである。
【0129】
なお、図29におけるその他の構成要素については実施の形態4(図19)によるものと同様であるので、その説明を省略する。
【0130】
次に動作について説明する。
図30は、図29の画像共有システムの動作について説明するフローチャートである。この実施の形態8による画像共有システムでは、画像表示操作処理(ステップST701)、送信操作処理(ステップST702)、画像表示処理(ステップST703)、視点変更操作処理(ステップST704、ステップST706)、視点変更処理(ステップST705、ステップST707)、カーソル操作処理(ステップST708、ステップST710)、カーソル表示処理(ステップST709、ステップST711)などが実施の形態4による画像共有システムと同様に実行される。
【0131】
そして、所定の操作によりTV会議機能が実行されると、ステップST712において実施の形態5と同様にして画像表示装置11AによりTV会議データ送信処理が実行され、第1のユーザについてのTV会議データが画像表示装置21Aへ送信される。画像表示装置11AによりTV会議データが送信されると、ステップST713において画像表示装置21Aにより実施の形態5と同様にしてTV会議データ再生処理が実行され、第1のユーザの画像が表示装置14−2に表示され、第1のユーザの音声が音声出力装置17−2により出力される。
【0132】
同様にして、ステップST714において画像表示装置21Aにより同様のTV会議データ送信処理が実行され、第2のユーザについてのTV会議データが画像表示装置11Aへ送信される。そして、ステップST715において画像表示装置11Aにより同様のTV会議データ再生処理が実行され、第2のユーザの画像が表示装置14−1に表示されるとともに、第2のユーザの音声が音声出力装置17−1により出力される。
【0133】
以上のように、この実施の形態8によれば、実施の形態4による効果の他、TV会議機能を使用して互いの意志疎通を良好にすることができ、より綿密に連携して診療にあたることができるという効果が得られる。
【0134】
尚、以上の実施の形態では、所定の対象物から採取した断層像からその対象物の三次元モデルを作成するように説明したが、断層像に限らず、例えば、対象物の外観撮像画像から三次元モデルを作成するようにしても良い。
【0135】
【発明の効果】
以上のように、この発明によれば、所定の対象物より採取した断層像からその対象物の三次元モデルを作成する三次元モデル構築手段と、三次元モデルを所定の視点から見た場合の三次元画像を作成する三次元画像作成手段と、三次元画像を第2の画像表示装置に通信回線を介して送信する第1の送信手段と、三次元画像を表示する第1の表示装置と、通信回線を介して送信されてくる視点変更要求を受信する第1の受信手段と、第1のユーザによる操作に基づいて視点変更を入力される第1の入力手段と、受信された視点変更要求または入力された視点変更に応じて視点を変更し、変更後の視点に基づく三次元画像を三次元画像作成手段に作成させ、作成させた三次元画像を、第1の送信手段に第2の画像表示装置へ送信させるとともに第1の表示装置に表示させる制御手段とを第1の画像表示装置に備え、通信回線を介して送信されてくる三次元画像を受信する第2の受信手段と、受信された三次元画像を表示する第2の表示装置と、第2のユーザによる操作に基づいて視点変更を入力される第2の入力手段と、第2の入力手段に視点変更を入力されると視点変更要求を生成する視点変更要求生成手段と、その視点変更要求を第1の画像表示装置に通信回線を介して送信する第2の送信手段とを第2の画像表示装置に備えるようにしたので、様々な視点からの患者の三次元画像を遠隔地の医師と共有しつつ、同一視点での画像を互いに見ながら連携して診療にあたることができるという効果がある。
【0136】
この発明によれば、カーソルを第1の表示装置に表示させる第1のカーソル表示手段と、第1のユーザによる操作に基づいてカーソル位置を入力される第3の入力手段と、通信回線を介して通知されたカーソル位置または第3の入力手段に入力されたカーソル位置にカーソルの表示位置を変更する第1のカーソル位置制御手段と、第3の入力手段に入力されたカーソル位置を第2の画像表示装置に通信回線を介して通知する第1のカーソル位置通知手段とを第1の画像表示装置にさらに備え、カーソルを第2の表示装置に表示させる第2のカーソル表示手段と、第2のユーザによる操作に基づいてカーソル位置を入力される第4の入力手段と、通信回線を介して通知されたカーソル位置または第4の入力手段に入力されたカーソル位置にカーソルの表示位置を変更する第2のカーソル位置制御手段と、第4の入力手段に入力されたカーソル位置を第1の画像表示装置に通信回線を介して通知する第2のカーソル位置通知手段とを第2の画像表示装置にさらに備えるようにしたので、カーソルにより第1のユーザおよび第2のユーザがそれぞれ着目点を示すことができ、その着目点を共有することができるという効果がある。
【0137】
この発明によれば、第1のユーザを撮影する第1の撮影手段と、第1のユーザの音声を集音する第1の集音手段と、第1の撮影手段により撮影された第1のユーザの画像および第1の集音手段により集音された第1のユーザの音声を所定のデータ形式に変換する第1の変換手段と、変換後の第1のユーザの画像および音声を第2の画像表示装置に通信回線を介して送信する第3の送信手段と、通信回線を介して送信されてくる所定のデータ形式に変換後の第2のユーザの画像および音声を受信する第3の受信手段と、受信した第2のユーザの画像および音声を、変換前の画像および音声に復元する第1の復元手段と、復元された第2のユーザの画像を表示する第3の表示装置と、復元された第2のユーザの音声を出力する第1の音声出力装置とを第1の画像表示装置にさらに備え、第2のユーザを撮影する第2の撮影手段と、第2のユーザの音声を集音する第2の集音手段と、第2の撮影手段により撮影された第2のユーザの画像および第2の集音手段により集音された第2のユーザの音声を所定のデータ形式に変換する第2の変換手段と、変換後の第2のユーザの画像および音声を第1の画像表示装置に通信回線を介して送信する第4の送信手段と、通信回線を介して送信されてくる所定のデータ形式に変換後の第1のユーザの画像および音声を受信する第4の受信手段と、受信した第1のユーザの画像および音声を、変換前の画像および音声に復元する第2の復元手段と、復元された第1のユーザの画像を表示する第4の表示装置と、復元された第1のユーザの音声を出力する第2の音声出力装置とを第2の画像表示装置にさらに備えるようにしたので、TV会議機能を使用して互いの意志疎通を良好にすることができ、より綿密に連携して診療にあたることができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による画像共有システムの構成例を示すブロック図である。
【図2】 図1の画像共有システムの動作について説明するフローチャートである。
【図3】 図2における画像表示操作処理について説明するフローチャートである。
【図4】 三次元モデル、三次元画像および視点の関係を示す図である。
【図5】 図2における送信操作処理について説明するフローチャートである。
【図6】 図2における画像表示処理について説明するフローチャートである。
【図7】 図2における視点変更要求処理について説明するフローチャートである。
【図8】 図2における視点変更処理について説明するフローチャートである。
【図9】 この発明の実施の形態2による画像共有システムの構成例を示すブロック図である。
【図10】 図9の画像共有システムの動作について説明するフローチャートである。
【図11】図10における送信操作処理について説明するフローチャートである。
【図12】 図10における画像表示処理について説明するフローチャートである。
【図13】 図10における視点変更操作処理について説明するフローチャートである。
【図14】 図10における視点変更処理について説明するフローチャートである。
【図15】 この発明の実施の形態3による画像共有システムの構成例を示すブロック図である。
【図16】 図15の画像共有システムの動作について説明するフローチャートである。
【図17】 図16におけるカーソル操作処理について説明するフローチャートである。
【図18】 図16におけるカーソル表示処理について説明するフローチャートである。
【図19】 この発明の実施の形態4による画像共有システムの構成例を示すブロック図である。
【図20】 図19の画像共有システムの動作について説明するフローチャートである。
【図21】 この発明の実施の形態5による画像共有システムの構成例を示すブロック図である。
【図22】 図21の画像共有システムの動作を説明するフローチャートである。
【図23】 図22におけるTV会議データ送信処理について説明するフローチャートである。
【図24】 図22におけるTV会議データ再生処理について説明するフローチャートである。
【図25】 この発明の実施の形態6による画像共有システムの構成例を示すブロック図である。
【図26】 図25の画像共有システムの動作について説明するフローチャートである。
【図27】 この発明の実施の形態7による画像共有システムの構成例を示すブロック図である。
【図28】 図27の画像共有システムの動作について説明するフローチャートである。
【図29】 この発明の実施の形態8による画像共有システムの構成例を示すブロック図である。
【図30】 図29の画像共有システムの動作について説明するフローチャートである。
【図31】 従来の画像共有システムを示すブロック図である。
【符号の説明】
11,11A 画像表示装置(第1の画像表示装置)、13−1 操作手段(第1の入力手段、第3の入力手段)、13−2 操作手段(第2の入力手段、第4の入力手段)、14−1 表示装置(第1の表示装置、第3の表示装置)、14−2 表示装置(第2の表示装置、第4の表示装置)、15−1 画像入力装置(第1の撮影手段)、15−2 画像入力装置(第2の撮影手段)、16−1 音声入力装置(第1の集音手段)、16−2 音声入力装置(第2の集音手段)、17−1 音声出力装置(第1の音声出力手段)、17−2 音声出力装置(第2の音声出力手段)、20 広域ネットワーク(通信回線)、21,21A 画像表示装置(第2の画像表示装置)、32−1 通信制御手段(第1の送信手段、第1の受信手段、第3の送信手段、第3の受信手段)、32−2 通信制御手段(第2の送信手段、第2の受信手段、第4の送信手段、第4の受信手段)、34−1 三次元モデル座標変換手段(三次元画像作成手段、第1の三次元画像作成手段)、34−2 三次元モデル座標変換手段(第2の三次元画像作成手段)、35−1 三次元モデル構築手段(三次元モデル構築手段、第1の三次元モデル構築手段)、35−2 三次元モデル構築手段(第2の三次元モデル構築手段)、36−1 三次元画像生成手段(三次元画像作成手段、第1の三次元画像作成手段)、36−2 三次元画像生成手段(第2の三次元画像作成手段)、37−1 視点変更通知手段(第1の視点変更通知生成手段)、37−2 視点変更通知手段(第2の視点変更通知生成手段)、39 制御手段(制御手段、第1の制御手段)、41−1 カーソル操作手段(第1のカーソル表示手段、第1のカーソル位置制御手段)、41−2 カーソル操作手段(第2のカーソル表示手段、第2のカーソル位置制御手段)、42−1 カーソル座標通知手段(第1のカーソル位置通知手段)、42−2 カーソル座標通知手段(第2のカーソル位置通知手段)、43−1 TV会議手段(第1の変換手段、第1の復元手段)、43−2 TV会議手段(第2の変換手段、第2の復元手段)、46 視点変更要求手段(視点変更要求生成手段)、51 制御手段(第2の制御手段)。
Claims (3)
- 通信回線を介して接続された第1の画像表示装置および第2の画像表示装置により同一の画像を共有する画像共有システムにおいて、
所定の対象物より採取した断層像からその対象物の三次元モデルを作成する三次元モデル構築手段と、
前記三次元モデルを所定の視点から見た場合の三次元画像を作成する三次元画像作成手段と、
前記三次元画像を前記第2の画像表示装置に前記通信回線を介して送信する第1の送信手段と、
前記三次元画像を表示する第1の表示装置と、
前記通信回線を介して送信されてくる視点変更要求を受信する第1の受信手段と、
第1のユーザによる操作に基づいて視点変更を入力される第1の入力手段と、
受信された視点変更要求または入力された視点変更に応じて視点を変更し、変更後の視点に基づく前記三次元画像を前記三次元画像作成手段に作成させ、作成させた三次元画像を、前記第1の送信手段に前記第2の画像表示装置へ送信させるとともに前記第1の表示装置に表示させる制御手段とを前記第1の画像表示装置に備え、
前記通信回線を介して送信されてくる前記三次元画像を受信する第2の受信手段と、
受信された三次元画像を表示する第2の表示装置と、
第2のユーザによる操作に基づいて視点変更を入力される第2の入力手段と、
前記第2の入力手段に視点変更を入力されると視点変更要求を生成する視点変更要求生成手段と、
その視点変更要求を前記第1の画像表示装置に前記通信回線を介して送信する第2の送信手段とを前記第2の画像表示装置に備える
ことを特徴とする画像共有システム。 - 第1の画像表示装置は、カーソルを第1の表示装置に表示させる第1のカーソル表示手段と、第1のユーザによる操作に基づいてカーソル位置を入力される第3の入力手段と、通信回線を介して通知されたカーソル位置または前記第3の入力手段に入力されたカーソル位置に前記カーソルの表示位置を変更する第1のカーソル位置制御手段と、前記第3の入力手段に入力されたカーソル位置を第2の画像表示装置に前記通信回線を介して通知する第1のカーソル位置通知手段とを備え、
前記第2の画像表示装置は、カーソルを第2の表示装置に表示させる第2のカーソル表示手段と、第2のユーザによる操作に基づいてカーソル位置を入力される第4の入力手段と、前記通信回線を介して通知されたカーソル位置または前記第4の入力手段に入力されたカーソル位置に前記カーソルの表示位置を変更する第2のカーソル位置制御手段と、前記第4の入力手段に入力されたカーソル位置を第1の画像表示装置に前記通信回線を介して通知する第2のカーソル位置通知手段とを備える
ことを特徴とする請求項1記載の画像共有システム。 - 第1の画像表示装置は、第1のユーザを撮影する第1の撮影手段と、前記第1のユーザの音声を集音する第1の集音手段と、前記第1の撮影手段により撮影された前記第1のユーザの画像および前記第1の集音手段により集音された前記第1のユーザの音声を所定のデータ形式に変換する第1の変換手段と、変換後の前記第1のユーザの画像および音声を第2の画像表示装置に通信回線を介して送信する第3の送信手段と、前記通信回線を介して送信されてくる前記所定のデータ形式に変換後の第2のユーザの画像および音声を受信する第3の受信手段と、受信した第2のユーザの画像および音声を、変換前の画像および音声に復元する第1の復元手段と、復元された前記第2のユーザの画像を表示する第3の表示装置と、復元された前記第2のユーザの音声を出力する第1の音声出力装置とを備え、
前記第2の画像表示装置は、前記第2のユーザを撮影する第2の撮影手段と、前記第2のユーザの音声を集音する第2の集音手段と、前記第2の撮影手段により撮影された前記第2のユーザの画像および前記第2の集音手段により集音された前記第2のユーザの音声を所定のデータ形式に変換する第2の変換手段と、変換後の前記第2のユーザの画像および音声を前記第1の画像表示装置に通信回線を介して送信する第4の送信手段と、前記通信回線を介して送信されてくる前記所定のデータ形式に変換後の前記第1のユーザの画像および音声を受信する第4の受信手段と、受信した第1のユーザの画像および音声を、変換前の画像および音声に復元する第2の復元手段と、復元された前記第1のユーザの画像を表示する第4の表示装置と、復元された前記第1のユーザの音声を出力する第2の音声出力装置とを備える
ことを特徴とする請求項1または請求項2記載の画像共有システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08658099A JP3816259B2 (ja) | 1999-03-29 | 1999-03-29 | 画像共有システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08658099A JP3816259B2 (ja) | 1999-03-29 | 1999-03-29 | 画像共有システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000285262A JP2000285262A (ja) | 2000-10-13 |
JP3816259B2 true JP3816259B2 (ja) | 2006-08-30 |
Family
ID=13890954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08658099A Expired - Fee Related JP3816259B2 (ja) | 1999-03-29 | 1999-03-29 | 画像共有システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3816259B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7418480B2 (en) * | 2001-10-25 | 2008-08-26 | Ge Medical Systems Global Technology Company, Llc | Medical imaging data streaming |
JP2016071900A (ja) * | 2014-09-30 | 2016-05-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム |
-
1999
- 1999-03-29 JP JP08658099A patent/JP3816259B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000285262A (ja) | 2000-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100725867B1 (ko) | 의료 영상 저장 및 전송 시스템의 다이콤 영상 중계 시스템 | |
CN102831305B (zh) | 远程医疗诊断辅助工作站 | |
JP5040923B2 (ja) | 医用画像管理システム | |
WO2004068843A1 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
US20100076789A1 (en) | Method for remote consultation via mobile communication apparatus and system thereof | |
CN100482150C (zh) | 快速远端访问ct扫描以提高工作流程和增加患者处理量的实现方法 | |
JP3816259B2 (ja) | 画像共有システム | |
WO2004103167A1 (ja) | 画像記録装置 | |
JP2003284037A (ja) | マルチメディアデータ受信装置及び方法、マルチメディアデータ送信装置及び方法 | |
JP2006055262A (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP2006244060A (ja) | コンテンツ配信装置、コンテンツ提示用端末及びリクエスト用端末並びにコンテンツ同期配信プログラム | |
JP2006340091A (ja) | カメラサーバ、ビューワ、画像表示システム及び画像配信方法 | |
AU2004224935A1 (en) | Image archiving and communications system | |
JPH08263570A (ja) | 医用画像診断装置通信システムおよび医用画像診断装置 | |
JP2009507296A (ja) | 電子取り込みデバイスを使用するサービスの提供 | |
JP2004337503A (ja) | 医用画像管理システム | |
JPH0822503A (ja) | 遠隔診療支援システム | |
JP4367651B2 (ja) | 通信装置 | |
JP2003319908A (ja) | 携帯型医療情報撮影装置を使用した医療情報読影システム | |
KR100932195B1 (ko) | 의료 영상데이터 처리 방법 및 시스템 | |
KR100350281B1 (ko) | 자궁경부암 원격판독방법 | |
JP2002077115A (ja) | データ送信システム | |
Boisvert et al. | An open-source solution for interactive acquisition, processing and transfer of interventional ultrasound images | |
CN108551573A (zh) | 影像采集方法、装置、计算机设备及介质 | |
JP2011160931A (ja) | 医用画像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060607 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |