JP6617766B2 - 医療用観察システム、表示制御システムおよび表示制御装置 - Google Patents
医療用観察システム、表示制御システムおよび表示制御装置 Download PDFInfo
- Publication number
- JP6617766B2 JP6617766B2 JP2017243360A JP2017243360A JP6617766B2 JP 6617766 B2 JP6617766 B2 JP 6617766B2 JP 2017243360 A JP2017243360 A JP 2017243360A JP 2017243360 A JP2017243360 A JP 2017243360A JP 6617766 B2 JP6617766 B2 JP 6617766B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- information
- image
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
1.第1の実施形態
1.1.システム構成
1.2.表示制御処理
1.2.1.機能構成
1.2.2.HMDの画面表示
2.第2の実施形態(視線検出部を備える例)
3.変形例
[1.1.システム構成]
まず、図1〜図3を参照して、本開示の第1の実施形態に係るHMDを使用したシステムの一例として、内視鏡システムについて説明する。なお、図1は、本実施形態に係る内視鏡システム1の一構成例を示すシステム構成図である。図2は、本実施形態に係るHMD100をユーザが装着している状態を示す概略側面図である。図3は、HMD100の表示部152、154を示す概略図である。
HMD100を装着するユーザは、プロセッサユニット200から提示される内視鏡装置等の医療映像や、HMD100の撮像部112により撮影された映像を切り替えながら、手術を行う。このとき、HMD100の表示部152、154には、プロセッサユニット200により表示制御されている他のHMD100のユーザが視認している情報も表示される。以下、図4〜図7に基づき、本実施形態にかかる内視鏡システム1における表示制御処理について説明する。
図4に、本実施形態にかかる内視鏡システム1を構成するHMD100およびプロセッサユニット200の機能構成を示す。なお、図4には、HMD100の表示部152、154の表示制御を行う際に機能する機能部のみを示しており、実際には、他の機能部を備えているものとする。図4の例では、プロセッサユニット200は、2つのHMD100A、100Bの表示制御を行う表示制御装置として機能し、各HMD100A、100Bの表示切替指示に基づき、それぞれに提示する情報を切り替える。
図4に示すような内視鏡システム1において、表示制御部213は、HMD100のユーザにより選択された画像を表示するとともに、HMD100を装着する他のユーザが見ている情報を表示部152、154に表示させる。このとき、表示制御部213は、自身が見ている画像が見えにくくならない位置に、他のユーザが見ている情報が表示されるようにする。以下、図5〜図7に、HMD100の表示部152、154に表示される表示情報500の例を示す。これらの例では、4人のHMD100を装着したユーザがいるとし、プロセッサユニット200は各HMD100の表示制御を行っている。
以上、本実施形態に係る内視鏡システム1において、HMD100に表示する情報の提示方法について説明した。本実施形態によれば、HMD100を装着するユーザが複数存在する状況において、各ユーザのHMD100の表示部152、154に、主の表示情報とともに他のユーザが見ている情報も表示する。これにより、各ユーザは、共同して作業を行っている他のユーザが現在何を見て作業を行っているのか把握することが可能となる。その上で会話や指示を行うので、ユーザ間のコミュニケーションを容易に図ることが可能となり、連携ロスの発生等を回避することができる。
次に、図8に基づいて、本開示の第2の実施形態に係るHMDを使用したシステムにおける表示制御について説明する。本実施形態では、第1の実施形態と同様、内視鏡システムを例として説明する。なお、図8は、本実施形態に係る内視鏡システム1を構成するHMD100およびプロセッサユニット200の機能構成を示す機能ブロック図である。なお、図8には、HMD100の表示部152、154の表示制御を行う際に機能する機能部のみを示しており、実際には、他の機能部を備えているものとする。
上記実施形態では、HMD100を装着しているユーザ間のコミュニケーションについて主として説明したが、本開示はかかる例に限定されない。例えば、各ユーザが見ている情報は、プロセッサユニット200に接続されたディスプレイ300にも表示させてもよい。例えば図9に示すように、ディスプレイ300に、主となる表示情報600とHMD100を装着している各ユーザが見ている情報とを表示するようにしてもよい。
(1)
各ユーザの左右の眼の前に位置する複数のディスプレイと、前記複数のディスプレイに表示させる情報を制御する表示制御装置とが通信可能に接続され、前記表示制御装置と内視鏡装置とが通信可能に接続される内視鏡システムにおいて、
前記表示制御装置は、
前記複数のディスプレイのうち、一のユーザの左右の眼の前に位置するディスプレイに表示させる情報を、他のユーザが視認している情報に基づいて決定する、内視鏡システム。
(2)
前記表示制御装置は、前記一のユーザが選択している主情報を前記一のユーザの左右の眼の前に位置するディスプレイの表示領域に表示し、前記他のユーザが視認している情報を表すオブジェクトを前記表示領域の一部に表示する、前記(1)に記載の内視鏡システム。
(3)
前記オブジェクトは、前記他のユーザが視認している映像のサムネイルである、前記(2)に記載の内視鏡システム。
(4)
前記オブジェクトは、前記他のユーザが視認している情報を表すテキスト情報である、前記(2)または(3)に記載の内視鏡システム。
(5)
前記オブジェクトは、前記他のユーザが視認している情報を表すチャートである、前記(2)〜(4)のいずれか1項に記載の内視鏡システム。
(6)
前記表示制御装置は、前記オブジェクトに対応する情報を視認している前記他のユーザを特定する識別情報を、前記オブジェクトとともに表示する、前記(2)〜(5)のいずれか1項に記載の内視鏡システム。
(7)
前記表示制御装置は、前記他のユーザが視認している情報が変化したことを表す通知を前記表示領域の一部に表示する、前記(2)〜(6)のいずれか1項に記載の内視鏡システム。
(8)
前記表示制御装置は、前記各ユーザの左右の眼の前に位置する複数のディスプレイ以外の表示装置の表示領域一部に、前記各ユーザそれぞれが視認している各情報を表示させる、前記(1)〜(7)のいずれか1項に記載の内視鏡システム。
(9)
前記他のユーザが視認している情報は、前記他のユーザの視線を検出する視線検出部からの検出情報に基づいて決定される、前記(1)〜(8)のいずれか1項に記載の内視鏡システム。
(10)
前記他のユーザが視認している情報は、前記他のユーザのうち特定のユーザが手元を見
ていることを示す情報を含む、前記(1)〜(9)のいずれか1項に記載の内視鏡システム。
(11)
各ユーザの左右の眼の前に位置する複数のディスプレイと、前記複数のディスプレイに表示させる情報を制御する表示制御装置と、が通信可能に接続されており、
前記表示制御装置は、
前記複数のディスプレイのうち、一のユーザの左右の眼の前に位置するディスプレイに表示させる情報を、他のユーザが視認している情報に基づいて決定し、
前記他のユーザが視認している情報は、前記他のユーザの眼の動きから視線を検出する視線検出部からの検出情報に基づいて決定される、表示制御システム。
(12)
各ユーザの左右の眼の前に位置する複数のディスプレイのうち、一のユーザの左右の眼の前に位置するディスプレイに表示させる情報を、他のユーザが視認している情報に基づいて決定し、
前記他のユーザが視認している情報は、前記他のユーザの眼の動きから視線を検出する視線検出部からの検出情報に基づいて決定される、表示制御装置。
100 HMD
102 リモートコントローラ
110 本体部
152 第1の表示部
154 第2の表示部
162 ディスプレイポート
164 画像生成部
165 第1の表示素子
166 第2の表示素子
167 視線検出部
200 プロセッサユニット
211 画像入力部
212 画像処理部
213 表示制御部
214 出力部
215 操作入力部
300 ディスプレイ
400 外部機器
Claims (12)
- 一のユーザの左右の眼の前に位置し、第1の画像として第1右眼用画像と第1左眼用画像を表示する第1のディスプレイと、他のユーザの左右の眼の前に位置し、第2の画像として第2右眼用画像と第2左眼用画像を表示する第2のディスプレイと、前記第1のディスプレイまたは前記第2のディスプレイに表示させる情報を制御する表示制御装置とが通信可能に接続され、前記表示制御装置と医療用観察装置とが通信可能に接続される医療用観察システムにおいて、
前記表示制御装置は、
前記第1のディスプレイに第1の画像を表示し、
前記第2のディスプレイに第2の画像を表示し、
前記第1の画像は、前記一のユーザが選択した情報である一の主情報と、前記他のユーザの視認している情報を表すオブジェクトと、を含む、医療用観察システム。 - 前記第2の画像は、前記他のユーザが選択した情報である他の主情報を含む、請求項1に記載の医療用観察システム。
- 前記オブジェクトは、前記他のユーザが視認している映像のサムネイルである、請求項1または2に記載の医療用観察システム。
- 前記オブジェクトは、前記他のユーザが視認している情報を表すテキスト情報である、請求項1または2に記載の医療用観察システム。
- 前記オブジェクトは、前記他のユーザが視認している情報を表すチャートである、請求項1または2に記載の医療用観察システム。
- 前記表示制御装置は、前記オブジェクトに対応する情報を視認している前記他のユーザを特定する識別情報を、前記オブジェクトとともに表示する、請求項1〜5のいずれか1項に記載の医療用観察システム。
- 前記表示制御装置は、前記他のユーザが視認している情報が変化したことを表す通知を前記第1のディスプレイに表示する、請求項1〜6のいずれか1項に記載の医療用観察システム。
- 前記表示制御装置は、前記第1のディスプレイおよび前記第2のディスプレイ以外の表示装置の表示領域一部に、前記一のユーザおよび前記他のユーザそれぞれが視認している各情報を表示させる、請求項1〜7のいずれか1項に記載の医療用観察システム。
- 前記他のユーザが視認している情報は、前記他のユーザの視線を検出する視線検出部からの検出情報に基づいて決定される、請求項1〜8のいずれか1項に記載の医療用観察システム。
- 前記他のユーザが視認している情報は、前記他のユーザのうち特定のユーザが手元を見
ていることを示す情報を含む、請求項1〜9のいずれか1項に記載の医療用観察システム。 - 一のユーザの左右の眼の前に位置し、第1の画像として第1右眼用画像と第1左眼用画像を表示する第1のディスプレイと、他のユーザの左右の眼の前に位置し、第2の画像として第2右眼用画像と第2左眼用画像を表示する第2のディスプレイと、前記第1のディスプレイまたは前記第2のディスプレイに表示させる情報を制御する表示制御装置と、が通信可能に接続されており、
前記表示制御装置は、
前記第1のディスプレイに第1の画像を表示し、
前記第2のディスプレイに第2の画像を表示し、
前記第1の画像は、前記一のユーザが選択した情報である一の主情報と、前記他のユーザの視認している情報を表すオブジェクトと、を含む、表示制御システム。 - 一のユーザの左右の眼の前に位置し、第1の画像として第1右眼用画像と第1左眼用画像を表示する第1のディスプレイに表示させる情報を、他のユーザの左右の眼の前に位置し、第2の画像として第2右眼用画像と第2左眼用画像を表示する第2のディスプレイにて他のユーザが視認している情報に基づいて決定し、
前記第1のディスプレイに第1の画像を表示し、
前記第2のディスプレイに第2の画像を表示し、
前記第1の画像は、前記一のユーザが選択した情報である一の主情報と、前記他のユーザの視認している情報を表すオブジェクトと、を含む、表示制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243360A JP6617766B2 (ja) | 2017-12-20 | 2017-12-20 | 医療用観察システム、表示制御システムおよび表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243360A JP6617766B2 (ja) | 2017-12-20 | 2017-12-20 | 医療用観察システム、表示制御システムおよび表示制御装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014032008A Division JP6264087B2 (ja) | 2014-02-21 | 2014-02-21 | 表示制御装置、表示装置および表示制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018061850A JP2018061850A (ja) | 2018-04-19 |
JP6617766B2 true JP6617766B2 (ja) | 2019-12-11 |
Family
ID=61966275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017243360A Active JP6617766B2 (ja) | 2017-12-20 | 2017-12-20 | 医療用観察システム、表示制御システムおよび表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6617766B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023061262A (ja) * | 2021-10-19 | 2023-05-01 | キヤノン株式会社 | 画像表示システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001104331A (ja) * | 1999-10-06 | 2001-04-17 | Olympus Optical Co Ltd | 医療用顔面装着型映像表示装置 |
JP2001117046A (ja) * | 1999-10-22 | 2001-04-27 | Shimadzu Corp | 視線検出機能付ヘッドマウントディスプレイシステム |
JP4065507B2 (ja) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | 情報提示装置および情報処理方法 |
JP5603769B2 (ja) * | 2007-05-18 | 2014-10-08 | ザ ユーエービー リサーチ ファンデーション | 仮想インタラクティブプレゼンスのシステムおよび方法 |
JP2009095598A (ja) * | 2007-10-19 | 2009-05-07 | Mitaka Koki Co Ltd | ヘッドマウント型双眼ルーペ装置 |
JP2010250789A (ja) * | 2008-06-10 | 2010-11-04 | Akira Tomono | カメラ付き表示装置 |
JP5423716B2 (ja) * | 2011-03-30 | 2014-02-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
-
2017
- 2017-12-20 JP JP2017243360A patent/JP6617766B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018061850A (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6264087B2 (ja) | 表示制御装置、表示装置および表示制御システム | |
JP6574939B2 (ja) | 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ | |
JP6693507B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
US9898662B2 (en) | Information processing apparatus, information processing method, and information processing system | |
EP3204816B1 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
US20210022599A1 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery | |
TWI534476B (zh) | 頭戴式顯示器 | |
US9507155B2 (en) | Head-mounted display | |
TW201505603A (zh) | 資訊處理裝置、資訊處理方法及資訊處理系統 | |
JP2015019679A (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
US11094283B2 (en) | Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system | |
JP6311393B2 (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
JP6507827B2 (ja) | 表示システム | |
JP6589855B2 (ja) | 頭部装着ディスプレイ、制御装置および制御方法 | |
JP2016189120A (ja) | 情報処理装置、情報処理システム、及び頭部装着ディスプレイ | |
JP6617766B2 (ja) | 医療用観察システム、表示制御システムおよび表示制御装置 | |
JP2019101293A (ja) | 頭部装着型表示装置、表示システム及び表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191028 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6617766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |