JP6028357B2 - ヘッドマウントディスプレイ及び手術システム - Google Patents

ヘッドマウントディスプレイ及び手術システム Download PDF

Info

Publication number
JP6028357B2
JP6028357B2 JP2012065603A JP2012065603A JP6028357B2 JP 6028357 B2 JP6028357 B2 JP 6028357B2 JP 2012065603 A JP2012065603 A JP 2012065603A JP 2012065603 A JP2012065603 A JP 2012065603A JP 6028357 B2 JP6028357 B2 JP 6028357B2
Authority
JP
Japan
Prior art keywords
main body
display
inclination
unit
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012065603A
Other languages
English (en)
Other versions
JP2013195924A5 (ja
JP2013195924A (ja
Inventor
敏靖 森本
敏靖 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012065603A priority Critical patent/JP6028357B2/ja
Priority to TW102108450A priority patent/TWI547716B/zh
Priority to PCT/JP2013/001584 priority patent/WO2013140744A1/en
Priority to RU2014137293A priority patent/RU2014137293A/ru
Priority to EP13713252.8A priority patent/EP2828702A1/en
Priority to KR1020147021859A priority patent/KR102084276B1/ko
Priority to US14/383,697 priority patent/US9927617B2/en
Priority to CN201380014431.7A priority patent/CN104204902A/zh
Publication of JP2013195924A publication Critical patent/JP2013195924A/ja
Priority to IN1749MUN2014 priority patent/IN2014MN01749A/en
Publication of JP2013195924A5 publication Critical patent/JP2013195924A5/ja
Application granted granted Critical
Publication of JP6028357B2 publication Critical patent/JP6028357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本技術は、医療用として用いることができるヘッドマウントディスプレイに関する。
ユーザが頭部に装着して画像を観賞等するための、ヘッドマウントディスプレイ(HMD)が知られている。例えばHMDとして、右目用、左目用の画像表示面及び表示素子をそれぞれ有する構成が知られている(特許文献1参照)。このような構成のHMDは、視差を持たせた画像を左右の表示面からユーザの左右の目にそれぞれ表示することができるため、クロストークの無い三次元(3D)画像を提供することができる。
一方、医療用として用いられる内視鏡装置等においても、3D画像を提供できる3D内視鏡装置の実用化が検討されている。内視鏡手術は、通常の外科手術よりも患者に対して低侵襲性であり、近年盛んに行われている。一方で、手術時には、画像を通してのみ患部を確認することとなるため、従来の二次元(2D)画像では奥行き方向の把握が難しいことがあった。そこで、3D画像を提供できるHMDを3D内視鏡装置に接続して用いることにより、リアルな患部の画像を見つつ、より正確かつ迅速な内視鏡手術ができると期待される。
特開2011−145488号公報
ここで、上記構成のHMDを装着する際には、典型的には、ユーザが表示面に表示される画像を見ながら、画像のブレやピントずれがない位置、すなわち表示面と左右の目とが対向する位置にHMDの装着位置を調整する必要があった。
しかしながら、術者(ユーザ)は、術中にHMDを装着する際、衛生上の問題からHMDに触れることができないため、自身で装着位置を調節することができない。そこで、ユーザ以外の者が装着を助ける必要があるが、この場合、ユーザの目と表示面との位置関係を確認することが難しいため、HMDのユーザに対する相対位置の調整が困難であった。
以上のような事情に鑑み、本技術の目的は、表示画像を確認せずとも、ユーザに対する相対位置の調整が可能なHMDを提供することにある。
上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイは、本体と、装着部と、検出部と、出力部と、を具備する。
上記本体は、第1の軸方向に沿って配列された左目用の第1の表示面及び右目用の第2の表示面を有する。
上記装着部は、上記本体に取り付けられ、上記第1の軸方向と直交する第2の軸方向に上記第1及び第2の表示面とユーザの左右の目とが相互に対向するように上記ユーザの頭部に装着可能に構成される。
上記検出部は、上記本体に配置され、上記第1の軸および上記第1の軸と直交する第2の軸の少なくともいずれか一方の軸まわりにおける上記本体の傾斜を検出し上記傾斜の角度に関連する信号を生成する。
上記出力部は、上記本体に配置され、上記検出部の信号に基づいて上記傾斜に関する角度情報を出力する。
上記ヘッドマウントディスプレイ(HMD)は、上記検出部及び出力部によって、本体の傾斜の角度に関する情報が取得され、出力される。これにより、表示面により提示される画像を確認せずとも、本体のユーザに対する相対位置を調整することが可能となる。
上記検出部は、水平面からの上記傾斜の角度に関連する信号を生成してもよい。
これにより、上記HMDは、ユーザから見た左右方向及び前後方向を水平方向としたときに、ユーザの水平方向に対する本体の傾斜についての情報を出力することができる。したがって、表示面により提示される画像を確認せずとも、上記第1及び第2の表示面とユーザの左右の目とが相互に対向する適切な相対位置となるように、本体の相対位置を調整することが可能となる。
例えば上記出力部は、上記検出部の信号に基づいて上記傾斜の角度が所定以上である第1の状態か上記傾斜の角度が所定未満である第2の状態かを判定する制御部をさらに有し、上記第1の状態と上記第2の状態とで異なる角度情報を出力してもよい。
これにより、上記出力部は、上記所定の傾斜の角度について、例えばユーザが画像を観察する際に許容できる本体の第1及び第2の軸のうち少なくともいずれか一方の軸まわりの最大の傾斜角度と設定することで、本体の傾斜が許容できるものであるか否かについての角度情報を出力することができる。したがって、HMDの相対位置を修正すべきか否か、容易に判断することが可能となる。
さらに上記制御部は、上記第1の状態であると判定した場合、上記第2の軸まわりにおける上記水平面からの上記本体の傾斜の方向が第1の方向であるか、上記第1の方向とは異なる第2の方向であるか、をさらに判定してもよい。
これにより、第2の軸まわりにおいてどちらの方向に傾斜の角度を修正すべきか、容易に判断することが可能となる。
例えば、上記出力部は、上記角度情報を表示する表示部を含んでもよい。
また上記表示部を有する具体的な構成として、上記本体は、上記第1の軸方向に対向する第1及び第2の側面をさらに有し、
上記表示部は、上記第1及び第2の側面のうち少なくともいずれか一方に配置されてもよい。
これにより、例えば本体の第2の軸まわりの傾斜について把握しにくいユーザの側方からであっても、本体の傾斜について把握することが可能となる。
あるいは、上記出力部は、上記制御部の判定に基づき上記角度情報を出力するスピーカを含んでもよい。
これにより、ユーザの周囲に対し、音声をもって角度情報を出力することができる。
また上記検出部は、慣性センサを含んでもよい。
したがって、例えば加速度センサ、角速度センサ等の慣性センサにより、本体の傾斜の角度を容易に検出することができる。
上記装着部は、ユーザに対する上記本体の相対位置を調整するための調整部を有してもよい。
これにより、上記HMDは、ユーザに対する相対位置の調整が容易な構成とすることができる。
以上のように、本技術によれば、表示画像を確認せずとも、ユーザに対する相対位置の調整が可能なHMDを提供することが可能となる。
本技術の第1の実施形態に係る内視鏡システムの構成例を模式的に示す図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイを示す概略側面図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイを示す概略正面図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイをユーザが装着した態様を示す概略側面図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイをユーザが装着した態様を示す概略正面図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイの装置構成を示すブロック図である。 本技術の第1の実施形態に係るヘッドマウントディスプレイの装着方法の一例を示すフローチャートである。 本技術の第1の実施形態に係るヘッドマウントディスプレイをユーザが装着した態様を示す概略正面図であり、本体が第2の軸まわりに水平面から傾斜して装着された態様を示す。 本技術の第2の実施形態に係るヘッドマウントディスプレイの装置構成を示すブロック図である。 本技術の第3の実施形態に係るヘッドマウントディスプレイの装置構成を示すブロック図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[内視鏡システム]
図1は、本技術の一実施形態に係る内視鏡システムの構成例を模式的に示す図である。本実施形態に係る内視鏡システム100は、ヘッドマウントディスプレイ(HMD)1と、内視鏡装置2と、プロセッサユニット3と、を有する。本実施形態に係る内視鏡システム100は、内視鏡手術の際、HMD1を装着した術者(ユーザ)が、患者の体内に内視鏡装置2を挿入し、内視鏡装置2によって撮像された患部の様子をHMD1によって確認しながら、患部に対して切除等の処置をするために用いられる。
内視鏡装置2は、例えば挿入部21と、操作部22と、を有する。挿入部21は、体内に挿入されることが可能な管状の構造を有し、患部を撮像するための図示しないCMOSイメージセンサ等の撮像素子や、レンズ等の光学系を内蔵している。また、本実施形態において、撮像素子及び光学系等は、視差を有する右目用、左目用の画像を撮像するために、2個ずつ配置されている。これにより、患部を立体的に表示できる3D画像のデータを取得することができる。
さらに、挿入部21には、患部を切除、あるいは把持するためのメスや鉗子等が挿入される。操作部22は、手術助手等に把持され、挿入部21の操作等が可能に構成される。また、操作部22は、ケーブル23を介してプロセッサユニット3に接続されている。
プロセッサユニット3は、例えば内視鏡装置2によって取得された画像の処理等を行う画像処理部31や、内視鏡装置2による撮像時に患部を照射する光源32、あるいはHMD1へ出力する画像に関する信号を変換処理するための変換部33等を含む。光源32から照射された光は、例えば挿入部21の内部に配置された導光用のファイバ等を介して挿入部21の先端へ導光される。
また、画像処理部31では、撮像された右目用及び左目用の画像を重ね合わせ、3D画像データとして処理することができる。当該3D画像データは、例えばケーブル36等を介してモニタ装置Mに出力され、HMD1を装着したユーザ以外の補助者等にも、術中の患部が確認できるように構成される。
HMD1は、プロセッサユニット3と電気的に接続され、内視鏡装置2を操作する手術助手等に対し内視鏡画像を観察しながら指示を行うユーザに装着される。HMD1とプロセッサユニット3との接続方法は、有線でも無線でも特に限られないが、本実施形態では、例えばHDMI端子により出入力されるケーブル35によって有線で接続されている。
内視鏡装置2によって撮像された右目用及び左目用の画像に関する信号は、画像処理部31によって画像信号として処理された後、変換部33でHMD1に適合する画像データとしてそれぞれ処理され、ケーブル35を介してHMD1に出力される。なお、プロセッサユニット3は、ケーブル35を介してHMD1へ駆動電力を供給するよう構成されてもよい。
なお、HMD1への出力信号を処理する変換部33は、画像処理部31等と同一の筐体に含まれる図示の例に限られず、画像処理部31等とは別個の筐体に収容されることも可能である。
次に、本実施形態に係るHMD1の詳細な構成について説明する。
[HMD]
図2〜図6は、本実施形態に係るHMD1の構成を示す図であり、図2は概略側面図、図3は概略正面図、図4はユーザが装着した態様を示す概略側面図、図5はユーザが装着した態様を示す概略正面図、図6は装置構成を示すブロック図、である。HMD1は、本体4と、装着部5と、検出部6と、出力部7と、を有する。
なお、図中のx軸方向及びy軸方向はHMD1が属するxyz座標系における水平方向を示す。x軸方向(第1の軸方向)は、本体4の左右方向とする。y軸方向(第2の軸方向)は、x軸方向と直交する本体4の前後方向とする。z軸方向は、x軸方向とy軸方向とに直交する方向を示し、本体4の上下方向とする。
また、図中のX軸方向及びY軸方向はユーザが属するXYZ座標系における水平方向を示し、XY平面は「水平面」を示す。すなわち、X軸方向はユーザから見た左右方向、Y軸方向はX軸方向と直交しユーザから見た前後方向(ユーザの正面−背面方向)を示す。Z軸方向はX軸方向及びY軸方向と直交し、鉛直方向を示す。
本実施形態に係るHMD1は、例えばゴーグル形状の非透過型のHMDで構成される。また、本体4には、後述する装着部5が取り付けられており、装着部5がユーザの頭部に装着されることで、本体4がユーザの左右の目の前に配置されるよう構成される。
以下、各部の構成について説明する。
(本体)
本体4は、筐体41と、左目用の第1の表示面(表示面)421と、右目用の第2の表示面(表示面)422と、左目用の表示素子431と、右目用の表示素子432と、画像生成部44と、を有する。
本体4は、内視鏡装置2によって撮像された所定の画像をユーザに提示する画像表示装置として構成される。具体的には、まず、画像生成部44が、プロセッサユニット3を介して取得された画像データに基づき、左右の表示素子431,432へそれぞれ出力するための画像信号を生成する。次に、表示素子431,432が、これらの画像信号に応じた画像光をそれぞれ表示面421、422へ出射し、ユーザに画像が提示される。
筐体41は、全体として、ユーザの左右の目を被覆して顔面にフィットするように構成される。筐体41は、x軸方向にそれぞれ対向する左側面(第1の側面)411、右側面(第2の側面)412と、y軸方向にそれぞれ対向する前面413、接眼面414と、z軸方向にそれぞれ対向する上面415、下面416と、を含む。
接眼面414は、ユーザの左右の目の前に近接して対向するように構成され、例えば中央部には、ユーザの鼻の形状にあわせて切り欠きが形成されていてもよい。一方前面413は、HMD1を装着したユーザの正面に配置され、例えば矩形状に構成される。左側面411、右側面412は、装着時において、それぞれユーザの顔面の左側方、右側方に配置され、例えばユーザの左右のこめかみ付近まで被覆するように構成されてもよい。このような構成の筐体41により、装着時にユーザの眼前をほぼ完全に被覆することができ、ユーザの目に外光が入射せずより画像を見やすくすることができる。
筐体41の内部には、表示素子431,432、画像生成部44等が収容される。なお、筐体41は上記の構成に限られず、例えば、接眼面414を除く左右の側面411、412、前面413、上面415及び下面416が、滑らかに連接して一つの外表面を形成するように構成されてもよい。
接眼面414には、表示面421,422がx軸方向に沿って配列されている。表示面421,422は、出射する画像光の光軸がy軸方向と平行になるように、y軸方向と直交するよう配置される。
表示面421,422は、内視鏡装置2により撮像され、所定の処理がなされた右目用及び左目用の画像を、ユーザの左目及び右目にそれぞれ表示することが可能に構成される。表示面421、422の形状及び大きさは特に限られないが、本実施形態において、縦約16mm、横約30mmの矩形状でそれぞれ構成される。表示面421、422を形成する材料は、透過性を有すれば特に限られず、例えばプラスチック板、ガラス板等が採用される。
画像生成部44は、本実施形態において、プロセッサユニット3から送信された右目用及び左目用の画像データをHMD1用の画像信号に変換する、画像データ変換回路等で構成される。画像生成部44は、ケーブル35と接続されたHDMI(High-Definition Multimedia Interface)入力端子441から内視鏡画像データを取得する。
さらに画像生成部44は、当該画像データに所定のずらし処理等を行い、HMD1に適した左目用及び右目用の画像信号を生成してもよい。これにより、ユーザに対し所望の3D画像を提示することが可能となる。当該ずらし処理におけるずらし量は、例えばHMD1の表示素子431,432と目の距離、両目の間隔、あるいは後述する虚像位置等から算出される。
画像生成部44は、生成された左目用及び右目用の画像データを、左右の表示素子431,432にそれぞれ出力する。
左右の表示素子431,432は、画像生成部44から入力された画像データに基づいて、左右の表示面421,422へ向かって画像光を出射する。表示素子431,432は、例えば、表示面421、422とy軸方向に対向してそれぞれ配置される。これにより、表示素子431,432及び表示面421,422から出射される画像光の光軸は、y軸方向と平行になる。
表示素子431,432は、本実施形態において、有機EL(Electroluminescence)素子で構成される。表示素子431,432として有機EL素子を採用することで、小型化、高コントラスト及び迅速な応答性等を実現することができる。
表示素子431,432は、例えば複数の赤色有機EL素子,緑色有機EL素子,青色有機EL素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいは単純(パッシブ)マトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。また、表示素子431,432は、上記駆動回路が画像生成部44で生成された画像信号に基づいて制御されることで、表示素子431,432全体として所定の画像が表示されるよう、構成される。
なお、表示素子431,432は上記構成に限られず、例えば、液晶表示素子(LCD)等を採用することも可能である。
表示素子431,432と表示面421、422との間には、光学系として、例えば図示しない複数の接眼レンズがそれぞれ配置される。これらの接眼レンズとユーザの目とを所定距離で対向させることにより、ユーザに対し、所定位置(虚像位置)に表示されるように見える虚像を観察させることが可能となる。虚像位置及び虚像の大きさは、表示素子431,432及び光学系の構成等によって設定され、例えば、虚像の大きさが映画館サイズの750インチであり、虚像位置がユーザから約20m離れた位置とするように設定される。
ここで、ユーザに虚像を観察させるためには、表示素子431,432からy軸方向を光軸方向として出射される画像光が、接眼レンズ等により左右の目の網膜上にそれぞれ結像するように、本体4をユーザに対して配置する。
このことから、ユーザに所定の画像を観察させるためには、表示面421,422とユーザの左右の目とがそれぞれy軸方向に対向するように本体4を配置する必要がある。言い換えれば、表示面421,422が配列されるx軸方向が、水平面(XY平面)と平行になるように配置される。以下、このような本体4のユーザに対する相対位置を「適切な相対位置」と表すこととする。
本体4の配置が適切な相対位置でない場合には、ピントがぼけた画像となったり、3D画像にブレが生じたりすることで、ユーザは所望の画像を見ることができない。したがって、HMD1の装着に際し、本体4を適切な相対位置に調整し、さらに装着している間、当該位置がずれないように本体4を頭部に固定する必要がある。本実施形態においては、以下の装着部5によって本体4の相対位置が調整及び固定される。
(装着部)
装着部5は、バンド51,52と、調整部53と、左右の取付部材541,542と、額当てパッド55と、を有する。装着部5は本体4に取り付けられ、HMD1がユーザに対し適切な相対位置となるよう、すなわち、y軸方向に表示面421,422とユーザの左右の目とが相互に対向するように、ユーザの頭部に装着可能に構成される。
図4,5を参照し、本実施形態に係る装着部5の概略構成について説明する。バンド51,52は、本体4と取付部材541,542を介して取り付けられ、例えば本体4の左側面411からユーザの頭頂部及び後頭部をそれぞれ通り、右側面412に至るよう、構成される。さらに、調整部53により、バンド51,52の長さを調節可能に構成されることから、本体4のユーザに対する高さ方向及び前後方向の相対位置を調整することができる。また、額当てパッド55がユーザの額に当接可能に構成され、後頭部を通るバンド52の長さを調節することで、額当てパッド55とバンド52とによってユーザの前後方向の相対位置を固定することが可能となる。
バンド51、52は、いずれも、例えば取付部材541、542にそれぞれ取り付けられる2本の短いバンドを含み、これらの短いバンド同士が所定の長さで重なるように固定されることで、全体として一本のバンドになるようそれぞれ構成される。当該固定には、後述する調整部53が用いられる。またバンド51、52を形成する材料は、強度や柔軟性を鑑み、例えば、ゴム、プラスチック、布等が採用される。
調整部53は、本実施形態において、ユーザに対する本体4の相対位置を調整する。調整部53は、例えば、バンド51、バンド52にそれぞれ取り付けられ、取付部材541から取付部材542に至るこれらの長さをそれぞれ調節することが可能な調節部材531、532を有する。
調節部材531,532としては、例えばベルト等に用いられるバックルや、片ラッチ等の構成を採用することができる。このような構成により、バンド51,52のそれぞれの2本の短いバンドの重なりの長さを任意に固定及び解除することができ、バンド51,52の長さを可変とすることができる。調節部材531,532の構成は特に限られず、バンド51,52の素材、形状等に応じて適宜選択することができる。
左右の取付部材541,542は、本実施形態において、左右の側面411,412にそれぞれ配置される。取付部材541,542の構成は特に限られず、例えばバンド51,52の一端部同士をそれぞれ重ね合わせて本体4に取り付ける、カシメ状の構成としてもよい。また取付部材541,542は、本体4に対してバンド51,52を所定角度範囲でそれぞれ回動自在とするように構成されてもよい。
額当てパッド55は、例えば本体4の接眼面414から、上面415の上方へ突出するように取り付けられる。額当てパッド55の構成は特に限られず、ユーザの装着感等を鑑み、ユーザと当接する面にクッション状の構成が採用される。また、必要に応じて、本体4に対する角度やz軸方向の高さ位置を調整可能に構成されてもよく、必要に応じて取り外し可能に構成されてもよい。
(検出部)
検出部6は、本体4に配置され、水平面(XY平面)に対する本体4の傾斜を検出し当該傾斜の角度に関連する信号を生成する。検出部6は、本実施形態において加速度センサ61を含む。加速度センサ61は、本体4の、例えば左側面411に配置される。
加速度センサ61は、例えば2軸の加速度センサであり、x軸方向及びz軸方向の重力加速度に応じた電気的な信号を出力する。すなわち、加速度センサ61は、例えば本体4のy軸まわりにおける水平面からの傾斜の角度に関連する信号を、後述する出力部7の制御部72へ出力する。
加速度センサ61は、x軸方向及びz軸方向のいずれか一方の重力加速度に応じた信号を出力する、1軸の加速度センサとしてもよい。これによっても、上記傾斜の角度に関連する信号を検出することが可能となる。あるいは、3軸の加速度センサでもよい。この場合は、本体4のx軸まわりにおける水平面からの傾斜の角度も同時に検出することが可能となる。またHMD1の装置構成にあわせて、ピエゾ抵抗型、静電容量型その他のタイプの加速度センサを適宜採用することができる。
(出力部)
出力部7は、本体4に配置され、検出部6の信号に基づいて本体4の傾斜に関する角度情報を出力する。出力部7は、本実施形態において、表示部71と、制御部72と、記憶部73と、を含む。なお、本実施形態において、制御部72及び記憶部73は、筐体41に収容されている。
制御部72は、典型的には、MPU(Micro-Processing Unit)等で構成される。制御部72は、記憶部73に格納されたプログラムに従って所定の演算処理を行い、処理結果に基づき所定の判定を行う。さらに、当該判定結果を表示部71に出力する。
制御部72は、まず、加速度センサ61から出力される信号に基づき、本体4のy軸まわりにおける水平面からの傾斜の角度を算出する。
ここで、当該傾斜の角度が0°の場合、本体のx軸方向と水平面とが平行になり、適切な相対位置となる。また、当該角度が所定角度未満であれば、誤差の範囲として許容され、適切な相対位置であるとみなすことができる。一方、所定角度以上の場合は、画像が見にくくなり適切な相対位置とは言えず、相対位置の調整が必要となる。
これにより制御部72は、算出結果より、傾斜の角度が所定以上である第1の状態か、所定未満である第2の状態か、を判定する。「所定の傾斜の角度」は、ユーザが画像を観察するに際し許容される、水平面からの最大の傾斜の角度に設定される。すなわち、第1の状態は、本体4が水平面から傾斜しており、適切な相対位置とはいえない状態を表し、第2の状態は、本体4がほぼ水平であり、適切な相対位置とみなされる状態を表す。
さらに制御部72は、第1の状態であると判定した場合、y軸まわりにおける水平面からの本体4の傾斜の方向が第1の方向(左傾斜方向)であるか、左傾斜方向とは異なる第2の方向(右傾斜方向)であるか、をさらに判定する。当該判定結果は、LED711〜713の駆動回路へ出力される。ここで、「左傾斜方向」とは、本体4の左側が鉛直方向下向きに傾斜する方向を表し、「右傾斜方向」とは、本体4の右側が鉛直方向下向きに傾斜する方向を表す。
記憶部73は、RAM(Random Access Memory)、ROM(Read Only Memory)及びその他の半導体メモリ等で構成され、制御部72による種々の演算に用いられるプログラム等を格納する。例えば、ROMは、不揮発性メモリで構成され、制御部72に傾斜の角度の算出等の演算処理を実行させるためのプログラムや設定値を格納する。また、記憶部73は、例えば不揮発性の半導体メモリによって、第1の状態及び第2の状態等を判定するためのプログラム等を格納することが可能となる。さらに、半導体メモリ等に予め格納されたこれらのプログラムは、RAMにロードされ、制御部73によって実行されるようにしてもよい。
表示部71は、本実施形態において、本体4の左側面411に配置される3つのLEDランプ(LED)711,712,713と、制御部72からの出力に基づいてLED711〜713のいずれかを発光させるための駆動回路を有し、第1の状態と第2の状態とで異なる角度情報を出力するよう構成される。
LED711〜713は、z軸方向に沿って上面415側から下面416側にこの順で配置され、駆動回路によって、制御部72の判定結果に応じていずれか1つが点灯するように構成される。また、LED711〜713は、異なる発光色を採用してもよく、例えばLED711,713は黄色光、中央に配置されるLED712は緑色光を発光する。
例えば、第1の状態で、かつ右傾斜方向であると判定された場合には、LED711が黄色に発光するように構成され、左傾斜方向であると判定された場合には、LED713が黄色に発光するように構成される。一方、第2の状態、すなわち水平であると判定された場合には、LED712が緑色に発光するように構成される。
したがって、LED711〜713のうち点灯したLEDを確認することにより、水平面からの本体4の傾斜の有無と、さらに傾斜の方向を確認することができる。これにより、ユーザ自身が自らHMD1の傾斜を修正することができない場合であっても、補助者等が、LEDの点灯を確認しつつ傾きを修正することが可能となる。
また、LED711〜713は、例えばユーザの左側方から見た場合、水平面より鉛直方向上向きに傾斜する右傾斜方向で上面415側のLED711が点灯し、鉛直方向下向きに傾斜する左傾斜方向で下面416側のLED713が点灯する。これにより、点灯するLED711〜713の配置と傾斜方向とを直感的に関連付けることができる。
さらに、本実施形態に係る表示部71をLEDとすることで、発光色を適宜選択することができる。例えば本実施形態のように、交通信号を想起させる緑色、黄色等を採用し、より直感的な表示とすることができる。
以下、本実施形態に係るHMD1の装着方法の例について説明する。
[装着方法例]
図7は、HMD1の装着方法の一例を示すフローチャートである。ここでは、内視鏡装置2を用いて内視鏡手術を行おうとするユーザが、既に手指を滅菌しており、自身でHMD1の相対位置を調節できない場合において、周囲にいる装着補助者(以下、単に補助者とする)がユーザにHMD1の装着を行う例について説明する。
まず、HMD1は、補助者により、バンド51,52を装着時に想定される長さよりも長く調節され、準備されている(ステップST101)。この際HMD1は、予め起動されていてもよい。また補助者は、例えばユーザの左側方に立ち、HMD1の装着の補助をしやすい高さとなるよう適宜台に乗って準備している。
次にHMD1は、補助者によりユーザの上方から頭部に装着され、調節部材531、532によりバンド51,52の長さを仮調節される(ステップST102)。この際のバンド51,52の長さは、ユーザに対するHMD1の相対位置が固定されず、相対位置を調整可能な程度に余裕を持たせた長さとする。また、バンド51はユーザの頭頂部に、バンド52はユーザの後頭部に、それぞれ装着される。
さらに、HMD1のユーザに対する相対位置が調整される(ステップST103)。具体的には、HMD1の表示面411,412の高さとユーザの左右の目の高さとが略一致しHMD1のx軸方向が水平面に略平行となるように、本体4の傾きが調整される。この際、バンド51の長さが調節部材531により調節されてもよい。ここでは、バンド51,52が余裕のある長さに調節されているため、本体4の相対位置の調整を容易に行うことができる。
ここで、補助者は、ユーザの左側方からHMD1を装着している。したがって、本体4のy軸方向が水平面と平行であるか否かは比較的把握しやすいが、本体4のx軸方向が水平面と平行であるか否かを把握することは難しい。このため、本体4の相対位置の調整を行っても、実際には本体4のx軸方向が水平面に平行とならずに、本体4がy軸まわりに水平面から傾斜しており、適切な相対位置ではない可能性がある。
図8は、本体4がy軸まわりに水平面から傾斜してユーザに装着された態様を示す。この場合、x軸方向が水平面と平行ではなく、ユーザの左右の目と表示面411,412との高さが一致していない。このような状態でユーザが画像を観察した場合には、右目の画像と左目の画像とが適切に重ね合わされずブレが生じ、あるいはピントのずれが生じ得る。また、表示面411,412の画像表示領域が目の視野範囲からずれて、目の疲れ等が生じる原因ともなる。
一方、起動されたHMD1は、検出部6の加速度センサ61により、本体4のy軸まわりの水平面からの傾斜を検出している(ステップST104)。当該検出は、継続的に行われていてもよいし、一定間隔で断続的に行われてもよい。加速度センサ61は、加速度に比例した電圧等からなる傾斜の角度に関連する信号を制御部72へ出力する。
次に、制御部72は、加速度センサ61からの信号に基づいて、傾斜の角度を算出する(ステップST105)。さらに、当該角度が、所定以上である第1の状態か、所定未満である第2の状態か、を判定する(ステップST106)。
制御部72が第2の状態であると判定した場合には(ステップST106でNo)、LED712が点灯する(ステップST110)。これにより、相対位置が適切であると推認され、HMD1のユーザに対する相対位置が固定されるようにバンド52の長さが調節される(ステップST111)。バンド52の長さが調節部材532によってより短く調節され、額当てパッド55とバンド52とがユーザの頭部の前後方向を挟み込むことで、本体4のユーザに対する前後方向の相対位置が決定される。
一方制御部72は、第1の状態であると判定した場合(ステップST106でyes)、さらにy軸まわりにおける水平面からの本体4の傾斜の方向について判定する(ステップST107)。傾斜の方向が左傾斜方向である場合は(ステップST107でyes)、LED713を点灯させる(ステップST108)。ここで、左傾斜方向とは、表示面411の側の高さが下向きに回転する方向を示す。一方、傾斜の方向が右傾斜方向である場合は(ステップST107でNo)、LED711を点灯させる(ステップST110)。例えば、図8の場合は、傾斜の方向が左傾斜方向であると判定され、LED713が点灯する。
LED711,713の点灯が確認された場合、本体4の左右方向が水平面から傾斜しており、適切な相対位置ではないと判断される。また、LED713の点灯が確認された場合には本体4をy軸まわりに右方向へ傾斜させ、LED711の点灯が確認された場合には、本体4をy軸まわりに左方向へ傾斜させることで、再度相対位置が調整される(ステップST103)。またこの際、必要に応じて、バンド51,52の長さが再度調節される。このように、HMD1は、LED712が点灯するまで上記動作を繰り返す(ステップST103〜107)。
以上のように、本実施形態に係るHMD1は、LED711〜713の点灯により、本体4のy軸まわりの水平面からの傾きが許容範囲であるか否か、あるいは許容範囲を超えて傾いている場合にはどちらの方向に傾いているか、について表示する。これにより、ユーザの目と表示面411,412との位置関係を把握しにくい補助者であっても、LED711〜713の点灯を確認しつつHMD1の相対位置を調整し、適切な相対位置とすることが可能となる。
したがって、例えば手術中にHMD1を装着する必要がある場合であっても、ユーザ自身がHMD1に触れることなく、HMD1が適切な相対位置として装着されることが可能となる。また、これにより、ユーザは、快適な3D画像を見ながら、円滑に内視鏡手術を行うことが可能となる。
また、ユーザが補助者の方へ顔の正面を向けることができない場合であっても、LED711〜713が本体4の左側面411に配置されているため、補助者がユーザの側方からHMD1の傾斜の角度に関する情報を容易に取得することができ、相対位置を調整することが可能となる。
さらに、上記構成の装着部5により、バンド51,52の長さが容易に変更できるため、補助者は、装着及び相対位置の調整、固定等を容易に行うことが可能となる。
<第2の実施形態>
図9は本発明の第2の実施形態に係るHMD10の装置構成を示すブロック図である。本実施形態において第1の実施形態と異なる主な点は、表示部に代えて、出力部70がスピーカ710を有する点である。なお、図において上述の第1の実施形態と対応する部分については同一の符号を付し、その詳細な説明は省略するものとする。
本実施形態に係る出力部70は、スピーカ710と、制御部720と、記憶部730と、を含む。スピーカ710は、HMD10の本体4に配置される。制御部720及び記憶部730は、例えば第1の実施形態と同様に、筐体41内に収容される。
制御部720の基本的な構成は、第1の実施形態に係る制御部72と同様である。すなわち、制御部720は、記憶部730に格納されたプログラムに従い、所定の演算処理を行い、処理結果に基づき所定の判定を行う。さらに、当該判定結果をスピーカ710に出力する。
制御部720は、具体的には、加速度センサ61から出力される信号に基づき、本体4のy軸まわりにおける水平面からの傾斜の角度を算出する。さらに、当該算出結果より、傾斜の角度が所定以上である第1の状態か、所定未満である第2の状態か、を判定する。本実施形態に係る制御部720は、スピーカ710に対し、傾斜方向の判定を行わずに、第1の状態についての情報の出力のみを行う。
スピーカ710は、制御部720の判定に基づき上記傾斜の角度情報を出力する。具体的には、制御部720が第1の状態の状態と判定した際に、ブザー音を発生するように回路構成される。一方、第2の状態と判定した際には、ブザー音を発生しないように回路構成される。
したがって、補助者は、ブザー音を確認することで、HMD10の本体4がy軸まわりに傾斜していることを推認することができ、ユーザに対する本体4の相対位置を調整することができる。また、補助者は、ブザー音が発生しなくなるまで本体4の調整を続けることにより、適切な相対位置とすることができる。
さらに補助者は、HMD10に対するいずれの方向からでもスピーカ710による通知を受け取ることができる。したがって、本実施形態に係るHMD10は、ユーザに対する補助者の立ち位置の自由度を高め、補助者にとってより装着の補助がしやすい構成とすることができる。
なお、本実施形態に係る出力部70の構成は上記に限られない。例えば、第1の状態と第2の状態とで、異なるブザー音が発生するように構成してもよい。また例えば、制御部720は、第1の実施形態と同様に、第1の状態と判定した際、さらに水平面からの傾斜の方向を判定するように構成されてもよい。この場合、スピーカ710は、傾斜の方向に応じて異なる種類のブザー音を発生するように構成されてもよい。
また、スピーカ710から発せられる音声はブザー音に限られず、制御部720の判定結果を知らせるアナウンス音等であってもよい。
<第3の実施形態>
図10は本発明の第3の実施形態に係るHMD1Aの装置構成を示すブロック図である。本実施形態において第1の実施形態と異なる主な点は、検出部6Aが加速度センサ61に代えて、角速度センサ61Aを有する点である。なお、図において上述の第1の実施形態と対応する部分については同一の符号を付し、その詳細な説明は省略するものとする。
角速度センサ61Aは、典型的にはジャイロセンサであり、第1の実施形態と同様に本体4に配置される。角速度センサ61Aは、本体4のy軸まわりの回転に伴う角速度を電気的な信号として出力することにより、傾斜の角度に関する信号を出力部7Aの制御部72Aへ出力する。角速度センサ61Aとしては、例えば振動型のジャイロセンサ等が採用されるが、特に限られない。
すなわち、本実施形態に係る検出部6Aは、例えばHMD1Aがユーザに対して装着された後、徐々に本体4が水平面から傾斜してその相対位置が変化した場合に、その傾斜角の変化に伴う角速度を検出するように構成される。
出力部7Aは、表示部71Aと、制御部72Aと、記憶部73Aと、を含む。本実施形態において、表示部71Aの構成は第1の実施形態と同様であるが、制御部72Aの傾斜の角度についての演算方法が異なる。すなわち、制御部72Aは、出力部7Aからの角速度に関する信号に基づき、当該角速度を所定時間範囲において積分することで、当該時間内における傾斜の角度を算出する。
さらに制御部72Aは、算出された傾斜の角度に基づき、第1の実施形態と同様に、第1の状態か第2の状態か、第1の状態であれば傾斜の方向は右傾斜方向か、左傾斜方向か、について判定する。これにより、表示部71Aによって傾斜に関する情報を補助者に通知し、当該情報を受け取った補助者は、表示部71Aの表示にしたがってユーザの相対位置を調整することが可能となる。
なお、「所定時間」の始点は、角速度センサ61Aの起動時としてもよい。また、当該始点における本体4のユーザに対する相対位置を基準として、y軸まわりの傾斜の角度が算出されることとなる。角速度センサ61Aの起動方法は特に限られないが、例えば本体4、あるいはプロセッサユニット3等に、角速度センサ61Aを起動させるためのスイッチ等を配置してもよい。また、HMD1Aの起動と同時に角速度センサ61Aを起動させるよう、構成されてもよい。
以上のように、本実施形態に係るHMD1Aは、装着後においてHMD1Aの本体4がy軸まわりに傾斜し、ユーザに対する相対位置が変化した場合であっても、その傾斜の角度を検出し、当該角度に関する情報を補助者に通知することが可能となる。これにより、内視鏡装置2の使用中にHMD1の相対位置が変化した場合に、当該位置の調整が可能となる。
以上、本技術の実施形態について説明したが、本技術はこれに限定されることはなく、本技術の技術的思想に基づいて種々の変形が可能である。
例えば、第1の実施形態においては、検出部6の加速度センサ61がy軸まわりにおける水平面からの傾斜の角度に関連する信号を出力すると説明したが、以下のような変形例も採ることができる。すなわち、加速度センサ61は、x軸まわりにおける水平面からの傾斜の角度に関連する信号を出力可能な構成としてもよい。これにより、補助者がユーザに対し正面からHMD1を装着する場合において、特に把握しにくい前後方向の本体4の傾斜について検出可能な構成とすることができる。
上記変形例の場合、加速度センサ61は、例えばy軸方向及びz軸方向の重力加速度に応じた電気的な信号を出力する2軸の加速度センサで構成することができる。また、y軸方向及びz軸方向のいずれか一方の重力加速度に応じた信号を出力する、1軸の加速度センサとしてもよい。
また上記変形例においては、出力部7の表示部71が、前面413に配置されていてもよい。これにより、補助者がユーザの正面からHMD1を装着する場合に、表示部71をより確認しやすい配置とすることができる。
なお、上記変形例は、第2及び第3の実施形態に適用することも可能である。すなわち、第2の実施形態に適用した場合には、加速度センサ61によって検出されたx軸まわりの本体4の傾斜の角度情報を、ブザー等の音声によって出力することが可能となる。また、第3の実施形態に適用した場合には、装着後においてHMD1Aの本体4がx軸まわりに傾斜し、ユーザに対する相対位置が変化した場合であっても、その傾斜の角度を検出し、当該角度に関する情報を補助者に通知することが可能となる。
また、以上の実施形態では、検出部に用いられる慣性センサとして、加速度センサあるいは角速度センサを採用すると説明したが、これに限られない。例えば、地磁気センサ等を採用することも可能である。これによっても、地磁気の向きを検出することで、本体の傾きを検出することが可能な構成とすることができる。
また、検出部として、加速度センサと角速度センサとを含む構成としてもよい。これにより、装着時の相対位置の調整と、装着後の調整とをともに可能とすることができる。さらに、例えば角速度センサの出力に基づいて算出される傾斜角度の積分誤差を、加速度センサの出力により補正することが可能となる。この構成により、より高い精度の検出が可能となる。
例えば、第1の実施形態においては、表示部としてLEDを採用すると説明したが、これに限られない。例えば、表示部として、本体のy軸まわりの傾斜の角度を表示するメータを採用することもできる。メータは、例えば、傾斜の角度を示す目盛りが表示された表示盤と、表示盤上で所定の角度を指し示す針とからなり、アナログ的に傾斜の角度を表示することができる。これにより、制御部における判定処理が不要となるとともに、傾斜の角度の大きさの詳細を表示することができ、相対位置の調整が容易な構成とすることができる。
同様に、表示部として、本体の水平面からの傾斜の角度を表示するデジタル表示器を採用することができる。このような構成によっても、傾斜の角度の大きさを詳細に表示することができる。
第1の実施形態の変形例として、表示部7のLEDが1個、あるいは2個の構成とすることも可能である。1個のLEDを有する場合は、例えば第1の状態と判定された場合にのみ出力する構成とすることができる。2個のLEDを有する場合は、例えば第1の状態と判定された場合に点灯する一方のLEDと、第2の状態と判定された場合に点灯する他方のLEDを有する構成とすることができる。あるいは、2個のLEDを有する場合に、第1の状態の場合の傾斜方向に応じて、それぞれのLEDを点灯させる構成とすることもできる。このような構成により、装置構成をより簡略化することができ、HMD全体の軽量化及びコストの削減に寄与することができる。
また、表示部7のLEDを4個以上の構成とすることも可能である。これにより、より詳細な傾斜の角度に関する情報を表示することができる。
さらに、表示部7のLEDを点滅させることで判定結果を表示する構成とすることもできる。また、点灯時間の長さ等を変化させることによっても判定結果を表示することが可能である。
また、本体の画像生成部は、ユーザの操作指示等により、虚像位置、色、コントラスト、輝度等の調整や、上記光学系の各種歪補正及び色ズレ補正等を、画像信号の生成と同時に行うよう構成されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)第1の軸方向に沿って配列された左目用の第1の表示面及び右目用の第2の表示面を有する本体と、
上記本体に取り付けられ、上記第1の軸方向と直交する第2の軸方向に上記第1及び第2の表示面とユーザの左右の目とが相互に対向するように上記ユーザの頭部に装着可能に構成された装着部と、
上記本体に配置され、上記第1の軸および上記第1の軸と直交する第2の軸の少なくともいずれか一方の軸まわりにおける上記本体の傾斜を検出し上記傾斜の角度に関連する信号を生成する検出部と、
上記本体に配置され、上記検出部の信号に基づいて上記傾斜に関する角度情報を出力する出力部と
を具備するヘッドマウントディスプレイ。
(2)上記(1)に記載のヘッドマウントディスプレイであって、
上記検出部は、水平面からの上記傾斜の角度に関連する信号を生成する
ヘッドマウントディスプレイ。
(3)上記(2)に記載のヘッドマウントディスプレイであって、
上記出力部は、上記検出部の信号に基づいて上記傾斜の角度が所定以上である第1の状態か上記傾斜の角度が所定未満である第2の状態かを判定する制御部をさらに有し、上記第1の状態と上記第2の状態とで異なる角度情報を出力する
ヘッドマウントディスプレイ。
(4)上記(3)に記載のヘッドマウントディスプレイであって、
上記制御部は、上記第1の状態であると判定した場合、上記第2の軸まわりにおける上記水平面からの上記本体の傾斜の方向が第1の方向であるか、上記第1の方向とは異なる第2の方向であるか、をさらに判定する
ヘッドマウントディスプレイ。
(5)上記(1)から(4)のうちいずれか1つに記載のヘッドマウントディスプレイであって、
上記出力部は、上記角度情報を表示する表示部を含む
ヘッドマウントディスプレイ。
(6)上記(5)に記載のヘッドマウントディスプレイであって、
上記本体は、上記第1の軸方向に対向する第1及び第2の側面をさらに有し、
上記表示部は、上記第1及び第2の側面のうち少なくともいずれか一方に配置される
ヘッドマウントディスプレイ。
(7)上記(3)または(4)に記載のヘッドマウントディスプレイであって、
上記出力部は、上記制御部の判定に基づき上記角度情報を出力するスピーカを含む
ヘッドマウントディスプレイ。
(8)上記(1)から(7)のうちいずれか1つに記載のヘッドマウントディスプレイであって、
上記検出部は、慣性センサを含む
ヘッドマウントディスプレイ。
(9)上記(1)から(7)のうちいずれか1つに記載のヘッドマウントディスプレイであって、
上記装着部は、ユーザに対する上記本体の相対位置を調整するための調整部を有する
ヘッドマウントディスプレイ。
1,10,1A・・・ヘッドマウントディスプレイ
4・・・本体
5・・・装着部
6,6A・・・検出部
7,70,7A・・・出力部
411・・・第1の側面(左側面)
412・・・第2の側面(右側面)
421・・・第1の表示面(表示面)
422・・・第2の表示面(表示面)
53・・・調整部
71,71A・・・表示部
710・・・スピーカ
72,720,72A・・・制御部

Claims (11)

  1. 第1の軸方向に沿って配列された左目用の第1の表示面及び右目用の第2の表示面を有する本体と、
    前記本体に取り付けられ、第1の軸方向と直交する第2の軸方向に前記第1及び第2の表示面とユーザの左右の目とが相互に対向するようにユーザの頭部に装着可能に構成された装着部と、
    前記本体に配置され、前記第1の軸および前記第1の軸と直交する第2の軸の少なくともいずれか一方の軸まわりにおける前記本体の傾斜を検出し前記傾斜に関連する信号を生成する検出部と、
    前記傾斜に関する情報を表示する表示部を含み、前記本体に配置され、前記検出部の信号に基づいて前記傾斜に関する情報を出力する出力部と
    を具備するヘッドマウントディスプレイ。
  2. 請求項1に記載のヘッドマウントディスプレイであって、
    前記検出部は、水平面からの前記傾斜の角度に関連する信号を生成する
    ヘッドマウントディスプレイ。
  3. 請求項2に記載のヘッドマウントディスプレイであって、
    前記出力部は、前記検出部の信号に基づいて前記傾斜の角度が所定以上である第1の状態か前記傾斜の角度が所定未満である第2の状態かを判定する制御部をさらに有し、前記第1の状態と前記第2の状態とで異なる角度情報を出力する
    ヘッドマウントディスプレイ。
  4. 請求項3に記載のヘッドマウントディスプレイであって、
    前記制御部は、前記第1の状態であると判定した場合、前記第2の軸まわりにおける前記水平面からの前記本体の傾斜の方向が第1の方向であるか、前記第1の方向とは異なる第2の方向であるか、をさらに判定する
    ヘッドマウントディスプレイ。
  5. 請求項1から4のうちのいずれか1項に記載のヘッドマウントディスプレイであって、
    前記本体は、前記第1の軸方向に対向する第1及び第2の側面をさらに有し、
    前記表示部は、前記第1及び第2の側面のうち少なくともいずれか一方に配置される
    ヘッドマウントディスプレイ。
  6. 請求項3に記載のヘッドマウントディスプレイであって、
    前記出力部は、前記制御部の判定に基づき前記角度情報を出力するスピーカを含む
    ヘッドマウントディスプレイ。
  7. 請求項1から6のうちのいずれか1項に記載のヘッドマウントディスプレイであって、
    前記検出部は、慣性センサを含む
    ヘッドマウントディスプレイ。
  8. 請求項1から7のうちのいずれか1項に記載のヘッドマウントディスプレイであって、
    前記装着部は、ユーザに対する前記本体の相対位置を調整するための調整部を有する
    ヘッドマウントディスプレイ。
  9. 請求項1から8のうちのいずれか1項に記載のヘッドマウントディスプレイであって、
    前記傾斜に関する情報を表示する表示部は、LEDにより構成される
    ヘッドマウントディスプレイ。
  10. 患者の患部を撮像する撮像装置と、
    患者の患部を撮像する撮像装置と第1の軸方向に沿って配列された左目用の第1の表示面及び右目用の第2の表示面を有する本体と、
    前記本体に取り付けられ、前記第1の軸方向と直交する第2の軸方向に前記第1及び第2の表示面と術者の左右の目とが相互に対向するように前記術者の頭部に装着可能に構成された装着部と、
    前記本体に配置され、前記第1の軸および前記第1の軸と直交する第2の軸の少なくともいずれか一方の軸まわりにおける前記本体の傾斜を検出し前記傾斜に関連する信号を生成する検出部と、
    前記傾斜に関する情報を表示する表示部を含み、前記本体に配置され、前記検出部の信号に基づいて前記傾斜に関する情報を出力する出力部と
    を有するヘッドマウントディスプレイと
    を具備する手術システム。
  11. 請求項10に記載の手術システムであって、
    前記撮像装置によって撮像された画像の処理を行うプロセッサと、
    前記撮像装置によって撮像された画像を前記術者以外の者が把握できるように表示する
    表示装置と、
    をさらに具備する手術システム。
JP2012065603A 2012-03-22 2012-03-22 ヘッドマウントディスプレイ及び手術システム Active JP6028357B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012065603A JP6028357B2 (ja) 2012-03-22 2012-03-22 ヘッドマウントディスプレイ及び手術システム
TW102108450A TWI547716B (zh) 2012-03-22 2013-03-11 頭戴式顯示器及用於調整頭戴式顯示器的方法
RU2014137293A RU2014137293A (ru) 2012-03-22 2013-03-12 Головное отображающее устройство
EP13713252.8A EP2828702A1 (en) 2012-03-22 2013-03-12 Head -mounted display with tilt sensor for medical use
KR1020147021859A KR102084276B1 (ko) 2012-03-22 2013-03-12 의료용의 경사 센서를 갖는 헤드 마운트 디스플레이
US14/383,697 US9927617B2 (en) 2012-03-22 2013-03-12 Head-mounted display which provides an indication of an angle of tilt therefor relative to a wearer
PCT/JP2013/001584 WO2013140744A1 (en) 2012-03-22 2013-03-12 Head -mounted display with tilt sensor for medical use
CN201380014431.7A CN104204902A (zh) 2012-03-22 2013-03-12 医疗用的具有倾斜传感器的头戴式显示器
IN1749MUN2014 IN2014MN01749A (ja) 2012-03-22 2014-09-01

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012065603A JP6028357B2 (ja) 2012-03-22 2012-03-22 ヘッドマウントディスプレイ及び手術システム

Publications (3)

Publication Number Publication Date
JP2013195924A JP2013195924A (ja) 2013-09-30
JP2013195924A5 JP2013195924A5 (ja) 2015-04-16
JP6028357B2 true JP6028357B2 (ja) 2016-11-16

Family

ID=48040387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012065603A Active JP6028357B2 (ja) 2012-03-22 2012-03-22 ヘッドマウントディスプレイ及び手術システム

Country Status (9)

Country Link
US (1) US9927617B2 (ja)
EP (1) EP2828702A1 (ja)
JP (1) JP6028357B2 (ja)
KR (1) KR102084276B1 (ja)
CN (1) CN104204902A (ja)
IN (1) IN2014MN01749A (ja)
RU (1) RU2014137293A (ja)
TW (1) TWI547716B (ja)
WO (1) WO2013140744A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2619749A4 (en) * 2010-09-21 2017-11-15 4IIII Innovations Inc. Head-mounted peripheral vision display systems and methods
US10743815B2 (en) 2012-01-19 2020-08-18 Cerebrotech Medical Systems, Inc. Detection and analysis of spatially varying fluid levels using magnetic signals
EP3571986A1 (en) 2012-01-19 2019-11-27 Cerebrotech Medical Systems, Inc. Diagnostic system for detection of fluid changes
US11357417B2 (en) 2012-01-19 2022-06-14 Cerebrotech Medical Systems, Inc. Continuous autoregulation system
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
CN103777354A (zh) * 2014-02-25 2014-05-07 北京大学东莞光电研究院 Led阵列视频眼镜
EP3117263B1 (en) 2014-03-14 2018-05-09 Sony Interactive Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP6574939B2 (ja) * 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
US10459126B2 (en) * 2015-01-21 2019-10-29 Tesseland Llc Visual display with time multiplexing
WO2016136657A1 (ja) 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ
CN104765149B (zh) * 2015-03-18 2018-09-04 青岛歌尔声学科技有限公司 一种头戴显示器
CN104834356B (zh) * 2015-05-06 2018-04-13 百度在线网络技术(北京)有限公司 头戴式设备及其视觉反馈的方法及装置
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
ITUB20153938A1 (it) * 2015-09-28 2017-03-28 Marco Raoul Marini Dispositivo per endoscopia
JP6616842B2 (ja) * 2015-11-30 2019-12-04 アルプスアルパイン株式会社 キャリブレーション方法、携帯機器およびプログラム
CN105708407A (zh) * 2016-01-18 2016-06-29 樊大立 可穿戴语音识别内窥镜控制系统及可穿戴设备
CN108882854B (zh) * 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN106175650A (zh) * 2016-06-29 2016-12-07 上海波鸿医疗器械科技有限公司 一种穿戴型腔镜虚拟显示系统
KR102582841B1 (ko) * 2016-07-07 2023-09-27 삼성디스플레이 주식회사 표시 장치
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ, インコーポレイテッド 複合現実較正のための眼球周囲試験
CN110191672A (zh) * 2016-11-11 2019-08-30 脑科技医疗系统股份有限公司 流体变化的改进检测
CN106805936A (zh) * 2016-11-22 2017-06-09 上海美沃精密仪器股份有限公司 一种头戴式内窥检测系统
TR201619930A1 (tr) * 2016-12-28 2018-07-23 Muhammet Fatih Kilinc Endoskopi̇ ci̇hazlari i̇çi̇n joysti̇ck kontrollü el üni̇tesi̇ ve kablosuz veri̇ i̇leti̇mi̇ teknoloji̇si̇ ve metodu
CN106805934B (zh) * 2017-01-20 2019-05-07 杭州无创光电有限公司 增强现实无线电子内窥镜手术系统
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
CN107102442B (zh) * 2017-06-23 2020-04-07 江苏泽景汽车电子股份有限公司 一种hud的亮度自动调节装置的调节方法
JP6947616B2 (ja) 2017-12-04 2021-10-13 株式会社ホギメディカル 眼鏡装着型画像表示装置および画像表示システム
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
TWI658291B (zh) * 2018-01-25 2019-05-01 宏碁股份有限公司 頭戴式顯示器及其操作方法
US20190324283A1 (en) * 2018-04-19 2019-10-24 Htc Corporation Display device and display method
US10491890B1 (en) * 2018-05-14 2019-11-26 Dell Products L.P. Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays
US10578875B1 (en) 2018-05-30 2020-03-03 Facebook Technologies, Llc Head-mounted display with integrated speaker enclosure
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
KR102401854B1 (ko) * 2019-11-29 2022-06-08 주식회사 카이비전 다기능 증강현실 글라스
JP6882436B2 (ja) * 2019-12-09 2021-06-02 株式会社東芝 ウェアラブル端末、システム及び表示方法
JP7406902B2 (ja) * 2019-12-10 2023-12-28 キヤノン株式会社 制御装置、制御方法、プログラム、方法及び記憶媒体
US11580837B2 (en) * 2020-04-19 2023-02-14 Pedro Pachuca Rodriguez Head orientation training devices
CN111493879A (zh) * 2020-04-21 2020-08-07 北京麦宝克斯科技有限公司 一种头位监测装置、系统及方法
JP2022176817A (ja) * 2021-05-17 2022-11-30 株式会社日立製作所 作業支援装置および作業支援方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515127A (ja) * 1994-08-31 2002-05-21 バーチュアル・アイ/オゥ・インコーポレイテッド パーソナルディスプレイシステム
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP3679523B2 (ja) * 1996-09-06 2005-08-03 キヤノン株式会社 表示装置
JP3424468B2 (ja) * 1996-11-29 2003-07-07 ミノルタ株式会社 ブレ補正装置及びカメラ
US5926318A (en) * 1998-04-06 1999-07-20 Optimize Incorporated Biocular viewing system with intermediate image planes for an electronic display device
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
CN100359363C (zh) * 2004-05-06 2008-01-02 奥林巴斯株式会社 头戴式显示装置
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5335201B2 (ja) * 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
JP5428261B2 (ja) * 2008-09-16 2014-02-26 株式会社ニコン 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
JP2010062815A (ja) * 2008-09-03 2010-03-18 Nikon Corp 制御装置及びヘッドマウントディスプレイ装置
JP4849121B2 (ja) * 2008-12-16 2012-01-11 ソニー株式会社 情報処理システムおよび情報処理方法
JP5731764B2 (ja) 2009-06-26 2015-06-10 ローム アンド ハース エレクトロニック マテリアルズ エルエルシーRohm and Haas Electronic Materials LLC 電子デバイスを形成する方法
KR20110035609A (ko) * 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
JP2011145488A (ja) * 2010-01-14 2011-07-28 Sony Corp ヘッドマウントディスプレイ
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
JP5537204B2 (ja) * 2010-03-23 2014-07-02 オリンパス株式会社 医療用マニピュレータシステム
JP2012023495A (ja) * 2010-07-13 2012-02-02 Olympus Corp ジャケットおよび頭部装着型光学システム
CN102346544A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业(深圳)有限公司 具有互动功能的头戴式显示系统及显示方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
WO2013140744A1 (en) 2013-09-26
CN104204902A (zh) 2014-12-10
IN2014MN01749A (ja) 2015-07-03
KR102084276B1 (ko) 2020-03-03
JP2013195924A (ja) 2013-09-30
US20150015461A1 (en) 2015-01-15
EP2828702A1 (en) 2015-01-28
KR20140138620A (ko) 2014-12-04
TWI547716B (zh) 2016-09-01
RU2014137293A (ru) 2016-04-10
TW201400866A (zh) 2014-01-01
US9927617B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6028357B2 (ja) ヘッドマウントディスプレイ及び手術システム
TWI534476B (zh) 頭戴式顯示器
TWI457602B (zh) 頭戴式顯示器
US10134185B2 (en) Endoscopic surgery assisting system using head-mounted displays and associated methodology
JP6264087B2 (ja) 表示制御装置、表示装置および表示制御システム
ES2220574T3 (es) Ayuda de vision en forma de unas gafas-lupa con dispositivo de enfoque automatico.
JP2013022651A (ja) マニピュレータシステム
JPH10221637A (ja) 頭部装着型画像表示装置
JP2019086712A (ja) 観察装置、観察ユニット及び観察方法
JP2016101498A (ja) 可視映写手段を有する、眼球運動を測定する頭部装着可能デバイス
JP2018075674A (ja) 関節駆動用アクチュエータ
JP2004320722A (ja) 立体観察システム
JP6589855B2 (ja) 頭部装着ディスプレイ、制御装置および制御方法
US9848758B2 (en) Stereoscopic endoscope system
JP6617766B2 (ja) 医療用観察システム、表示制御システムおよび表示制御装置
JP3766598B2 (ja) 観察システム
JP6793623B2 (ja) 観察器具、観察装置、観察ユニット及び診療ユニット
JP2005292452A (ja) 画像観察装置と画像観察位置の調整方法
JP2014138649A (ja) X線画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161003

R151 Written notification of patent or utility model registration

Ref document number: 6028357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250