JP6646880B2 - 医療用観察システム、医療用観察方法、および医療用制御装置 - Google Patents
医療用観察システム、医療用観察方法、および医療用制御装置 Download PDFInfo
- Publication number
- JP6646880B2 JP6646880B2 JP2018126831A JP2018126831A JP6646880B2 JP 6646880 B2 JP6646880 B2 JP 6646880B2 JP 2018126831 A JP2018126831 A JP 2018126831A JP 2018126831 A JP2018126831 A JP 2018126831A JP 6646880 B2 JP6646880 B2 JP 6646880B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- imaging
- gaze
- head
- surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Endoscopes (AREA)
Description
1.第1実施の形態:画像処理装置(図1乃至図10)
2.第2実施の形態:画像処理システム(図11)
3.第3実施の形態:画像処理システム(図12乃至図15)
4.第4実施の形態:コンピュータ(図16)
(医療用観察システムの概要の説明)
図1は、本開示を適用した撮影制御システムとしての医療用観察システムの第1実施の形態の概要を説明する図である。
図2は、図1の医療用観察システム10の構成例を示すブロック図である。
図3は、注視点の例を示す図である。
図4および図5は、ビデオマイクロスコープ13の撮影角度変更時の術者20の頭の動きの例を示す図である。
図6は、術者20の頭の動きと撮影角度の関係の例を示す図であり、ヘッドマウントディスプレイ11を装着した術者20とビデオマイクロスコープ13を上から見た図である。
図7は、術者20の頭の動きに応じたビデオマイクロスコープ13の移動を説明する図である。
図8は、ジャイロセンサ33により検出される頭の回転の角速度とビデオマイクロスコープ13の撮影角度の時間的変化の例を示す図である。
図9は、図1の医療用観察システム10の撮影角度制御処理を説明するフローチャートである。
図10は、頭の角度の閾値が2つ設けられる場合の、ジャイロセンサ33により検出される頭の角速度とビデオマイクロスコープ13の撮影角度の時間的変化の他の例を示す図である。
(医療用観察システムの第2実施の形態の構成例)
図11は、本開示を適用した撮影制御システムとしての医療用観察システムの第2実施の形態の構成例を示すブロック図である。
(医療用観察システムの第3実施の形態の構成例)
図12は、本開示を適用した撮影制御システムとしての医療用観察システムの第3実施の形態の構成例を示すブロック図である。
図13は、ビデオマイクロスコープ13の撮影倍率変更時の術者20の頭の動きの例を示す図である。
図14は、ジャイロセンサ211により検出される頭の傾きの角速度とビデオマイクロスコープ103の撮影倍率の時間的変化の例を示す図である。
図15は、図12の医療用観察システム200の撮影倍率制御処理を説明するフローチャートである。この撮影倍率制御処理は、例えば、撮影角度制御処理において撮影部51が撮影を開始したとき、開始される。
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
被写体の位置を表す位置情報を取得する取得部と、
ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
を備える制御装置。
(2)
前記ユーザの第2の動きに応じて前記撮影装置の撮影倍率を変更する倍率制御部
をさらに備える
前記(1)に記載の制御装置。
(3)
前記第1の動きの方向は、前記第2の動きの方向とは異なる
ように構成された
前記(2)に記載の制御装置。
(4)
前記制御部は、前記ユーザの頭の前記第1の動きと前記位置情報とに基づいて、前記撮影角度を変更する
ように構成された
前記(1)乃至(3)のいずれかに記載の制御装置。
(5)
前記制御部は、前記ユーザの頭の前記第1の動きを表す角速度と前記位置情報とに基づいて、前記撮影角度を変更する
ように構成された
前記(1)乃至(4)のいずれかに記載の制御装置。
(6)
前記制御部は、動作モードが所定のモードである場合に前記撮影角度を変更する
前記(1)乃至(5)のいずれかに記載の制御装置。
(7)
前記位置情報は、前記ユーザの注視点に基づいて決定される
ように構成された
前記(1)乃至(6)のいずれかに記載の制御装置。
(8)
前記撮影装置を移動自在かつ回転自在に保持する保持部
をさらに備え、
前記制御部は、前記保持部を制御することにより、前記撮影装置の撮影角度を変更する
ように構成された
前記(1)乃至(7)のいずれかに記載の制御装置。
(9)
前記撮影装置は、手術用のビデオマイクロスコープである
ように構成された
前記(1)乃至(8)のいずれかに記載の制御装置。
(10)
制御装置が、
被写体の位置を表す位置情報を取得する取得ステップと、
ユーザの第1の動きと、前記取得ステップの処理により取得された前記位置情報とに基づいて、前記被写体を撮影する撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御ステップと
を含む制御方法。
(11)
被写体を撮影する撮影装置と、
制御装置と
を備え、
前記制御装置は、
前記被写体の位置を表す位置情報を取得する取得部と、
ユーザの第1の動きと、前記取得部により取得された前記位置情報とに基づいて、前記撮影装置と前記被写体との距離を変化させずに、前記撮影装置の撮影角度を変更する制御部と
を有する
撮影制御システム。
(12)
前記第1の動きを検出する検出装置
をさらに備える
前記(11)に記載の撮影制御システム。
(13)
前記検出装置は、前記ユーザが装着するヘッドマウントディスプレイである
ように構成された
前記(12)に記載の撮影制御システム。
(14)
前記検出装置は、
前記第1の動きを検出する動き検出部と、
前記ユーザの注視点を検出する視線検出部と
を備え、
前記位置情報は、前記視線検出部により検出された前記注視点に基づいて決定される
ように構成された
前記(12)または(13)に記載の撮影制御システム。
Claims (16)
- 術野を撮像する手術用撮像装置と、
前記手術用撮像装置が撮像した術野画像を表示する表示装置と、
前記手術用撮像装置を支えるアーム機構を有する電動アームと、
前記表示装置を観察する術者を撮像した撮像画像から前記術者の視線を検出し、前記術者を撮像した撮像画像から前記術者の頭部の動きを検出し、前記術者の視線と前記術者の頭部の動きに基づいて前記アーム機構を制御し、前記手術用撮像装置による撮像を制御する制御装置と、
を備え、
前記制御装置は、前記術者の視線に基づいて前記術野画像に前記術者の注視領域を設定し、該注視領域に前記術者の視線が維持されている間に前記術者の頭部の動きから所定のパターンの動きが検出された場合に、前記アーム機構または前記手術用撮像装置を制御して、前記注視領域を基準として前記手術用撮像装置と前記注視領域に対応する術野領域との距離を保った状態で、前記手術用撮像装置の撮像角度または撮像倍率を制御する
医療用観察システム。 - 前記制御装置は、第1のモードでは前記注視領域に前記術者の視線が維持されている状態で前記術者の頭部の動きから所定のパターンが検出された場合に、前記注視領域を基準として前記手術用撮像装置の撮像角度または撮像倍率を制御し、第2のモードでは、前記術者の視線および前記術者の頭の動きに関わらず前記手術用撮像装置の撮像角度または撮像倍率を固定する、
請求項1に記載の医療用観察システム。 - 前記制御装置は、フットスイッチの入力に基づいて、前記第1のモードと前記第2のモードを切り替える、
請求項2に記載の医療用観察システム。 - 前記制御装置は、前記手術用撮像装置の撮像領域の中心が前記注視領域となる状態を維持したまま、前記手術用撮像装置の撮像角度または撮像倍率を変更する、
請求項1乃至3のいずれか一つに記載の医療用観察システム。 - 前記制御装置は、前記撮像領域の中心が前記注視領域となる状態を維持したまま、前記手術用撮像装置の位置を変更して撮像角度を変更する、
請求項4に記載の医療用観察システム。 - 前記制御装置は、前記注視領域に前記術者の視線が維持されている状態で前記術者の頭部の動きが前後または左右に所定の量以上動いた場合に、前記注視領域を基準として前記手術用撮像装置の撮像角度または撮像倍率を制御する、
請求項1乃至5のいずれか一つに記載の医療用観察システム。 - 前記表示装置を観察する術者に赤外光を照射する赤外光光源と、
前記術者で反射した赤外光を受光して赤外光撮像画像を生成する赤外光撮像装置と、
をさらに備え、
前記制御装置は、前記赤外光撮像画像に基づいて前記術者の視線を検出する、
請求項1乃至6のいずれか一つに記載の医療用観察システム。 - 前記表示装置を観察する術者を撮像して術者撮像画像を生成する術者撮像装置と、
をさらに備え、
前記制御装置は、前記術者撮像画像に基づいて前記術者の頭部の動きを検出する、
請求項1乃至7のいずれか一つに記載の医療用観察システム。 - 所定のフォーカスエリアにピントが合うように前記手術用撮像装置のフォーカスを制御するフォーカス制御部と、
をさらに備え、
前記フォーカス制御部は、第1のモードでは前記注視領域を前記フォーカスエリアに設定する、
請求項2または3に記載の医療用観察システム。 - 前記フォーカス制御部は、第2のモードでは注視領域が設定されている場合には該注視領域をフォーカスエリアとしてフォーカスを固定し、注視領域が設定されていない場合には前記手術用撮像装置の撮像領域の中心領域をフォーカスエリアとしてフォーカスを固定する、
請求項9に記載の医療用観察システム。 - 前記制御装置は、前記手術用撮像装置の撮像領域の中心が前記注視領域となる状態を維持したまま、前記表示装置に表示される術野画像が拡大または縮小されるように前記手術用撮像装置の撮像倍率を変更する、
請求項1乃至10のいずれか一つに記載の医療用観察システム。 - 前記制御装置は、前記手術用撮像装置の下面と前記注視領域との間の距離を示す距離情報を取得し、第1のモードでは前記注視領域に前記術者の視線が維持されている状態で前記術者の頭部の動きから所定のパターンが検出された場合に、前記注視領域を基準として前記距離が維持されるように前記手術用撮像装置の撮像角度または撮像倍率を制御する、
請求項2または3に記載の医療用観察システム。 - 前記制御装置は、前記注視領域
を基準として前記距離が維持された状態で前記手術用撮像装置の撮像角度を制御する、
請求項12に記載の医療用観察システム。 - 術野を撮像する手術用撮像装置と、前記手術用撮像装置が撮像した術野画像を表示する表示装置と、前記手術用撮像装置を支えるアーム機構を有する電動アームとを備える医療用観察システムが、
前記表示装置を観察する術者を撮像した撮像画像から前記術者の視線を検出し、前記術者を撮像した撮像画像から前記術者の頭部の動きを検出し、前記術者の視線と前記術者の頭部の動きに基づいて前記アーム機構を制御し、前記手術用撮像装置による撮像を制御することと、
前記術者の視線に基づいて前記術野画像に前記術者の注視領域を設定し、該注視領域に前記術者の視線が維持されている間に前記術者の頭部の動きから所定のパターンの動きが検出された場合に、前記アーム機構または前記手術用撮像装置を制御して、前記注視領域を基準として前記手術用撮像装置と前記注視領域に対応する術野領域との距離を保った状態で、前記手術用撮像装置の撮像角度または撮像倍率を制御することと
を含む医療用観察方法。 - 術野を撮像する手術用撮像装置と、
前記手術用撮像装置を支えるアーム機構を有する電動アームと、
前記手術用撮像装置が撮像した術野画像を表示する表示装置を観察する術者を撮像した撮像画像から前記術者の視線を検出し、前記術者を撮像した撮像画像から前記術者の頭部の動きを検出し、前記術者の視線と前記術者の頭部の動きに基づいて前記アーム機構を制御し、前記手術用撮像装置による撮像を制御する制御装置と、
を備え、
前記制御装置は、前記術者の視線に基づいて前記術野画像に前記術者の注視領域を設定し、該注視領域に前記術者の視線が維持されている間に前記術者の頭部の動きから所定のパターンの動きが検出された場合に、前記アーム機構または前記手術用撮像装置を制御することで、前記注視領域が前記表示装置の中心領域である状態を維持しながら、前記注視領域を基準として前記手術用撮像装置と前記注視領域に対応する術野領域との距離を保った状態で、前記手術用撮像装置の撮像角度または撮像倍率を変更する
医療用観察システム。 - 電動アームのアーム機構に支えられ、術野を撮像する手術用撮像装置から術野画像を取得し、前記手術用撮像装置が撮像した術野画像を表示する表示装置を観察する術者を撮像した撮像画像から前記術者の視線を検出し、前記術者を撮像した撮像画像から前記術者の頭部の動きを検出し、前記術者の視線と前記術者の頭部の動きに基づいて前記アーム機構を制御し、前記手術用撮像装置による撮像を制御する医療用制御装置であって、
前記術者の視線に基づいて前記術野画像に前記術者の注視領域を設定し、該注視領域に前記術者の視線が維持されている間に前記術者の頭部の動きから所定のパターンの動きが検出された場合に、前記アーム機構または前記手術用撮像装置を制御して、前記注視領域を基準として前記手術用撮像装置と前記注視領域に対応する術野領域との距離を保った状態で、前記手術用撮像装置の撮像角度または撮像倍率を制御する
医療用制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126831A JP6646880B2 (ja) | 2018-07-03 | 2018-07-03 | 医療用観察システム、医療用観察方法、および医療用制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126831A JP6646880B2 (ja) | 2018-07-03 | 2018-07-03 | 医療用観察システム、医療用観察方法、および医療用制御装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014071169A Division JP2015192697A (ja) | 2014-03-31 | 2014-03-31 | 制御装置および制御方法、並びに撮影制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018161526A JP2018161526A (ja) | 2018-10-18 |
JP6646880B2 true JP6646880B2 (ja) | 2020-02-14 |
Family
ID=63860617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018126831A Active JP6646880B2 (ja) | 2018-07-03 | 2018-07-03 | 医療用観察システム、医療用観察方法、および医療用制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6646880B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102313550B1 (ko) * | 2019-12-03 | 2021-10-15 | 권혜리 | 안구 운동 기능을 구비한 사용자 단말 장치 및 이를 이용한 안구 운동 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07299027A (ja) * | 1994-05-10 | 1995-11-14 | Olympus Optical Co Ltd | 光源装置 |
JPH0871072A (ja) * | 1994-09-01 | 1996-03-19 | Olympus Optical Co Ltd | 手術用マニピュレータシステム |
JP3816599B2 (ja) * | 1996-10-29 | 2006-08-30 | オリンパス株式会社 | 体腔内処置観察システム |
JP3201589B2 (ja) * | 1997-05-22 | 2001-08-20 | 川崎重工業株式会社 | 注視機能を付加した遠隔視覚提示装置 |
IL221863A (en) * | 2012-09-10 | 2014-01-30 | Elbit Systems Ltd | Digital video photography system when analyzing and displaying |
KR20140112207A (ko) * | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
JP2015192697A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 制御装置および制御方法、並びに撮影制御システム |
-
2018
- 2018-07-03 JP JP2018126831A patent/JP6646880B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018161526A (ja) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015192697A (ja) | 制御装置および制御方法、並びに撮影制御システム | |
US10666856B1 (en) | Gaze-directed photography via augmented reality feedback | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
JP5828070B2 (ja) | 撮像装置および撮像方法 | |
JP2015192697A5 (ja) | 手術用制御装置および手術用制御方法、並びに手術システム | |
EP3204816A1 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
US9916771B2 (en) | Portable vision aid with motion pan | |
JP7163282B2 (ja) | 医療用観察装置、処理方法、および医療用観察システム | |
US10958844B2 (en) | Control apparatus and control method | |
US20200015655A1 (en) | Medical observation apparatus and observation visual field correction method | |
JP2024036387A (ja) | 電子機器およびその制御方法 | |
JP6646880B2 (ja) | 医療用観察システム、医療用観察方法、および医療用制御装置 | |
JP2001036901A (ja) | 画像処理装置及び画像処理方法並びにメモリ媒体 | |
WO2018142993A1 (ja) | 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 | |
US10176726B2 (en) | Handheld, portable vision aid device and vision aid system | |
US12007567B2 (en) | Display device | |
KR20160144245A (ko) | 프로젝터 장치 | |
US10835342B2 (en) | Medical observation apparatus and control method | |
JP2014110473A (ja) | 頭部装着型装置 | |
JP6073114B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP6080991B1 (ja) | 光学機器 | |
JP2011099987A (ja) | 支持装置、光学装置及びカメラシステム | |
JP2022122720A (ja) | 雲台制御装置およびカメラ | |
JP2021078075A (ja) | 表示装置 | |
CN114144140A (zh) | 医疗观察系统、控制装置和控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6646880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |