A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本実施形態では、映像を虚像として使用者に視認させるタイプのヘッドマウントディスプレイ100を例示する。
ヘッドマウントディスプレイ100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。カメラ61は、画像表示部20の表側方向、換言すれば、ヘッドマウントディスプレイ100を装着した状態における使用者の視界方向の外景(外部の景色)を撮像し、外景画像を取得する。カメラ61はいわゆる可視光カメラであり、カメラ61により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ61は単眼カメラであるが、ステレオカメラとしてもよい。カメラ61は、特許請求の範囲における「画像取得部」に相当し、カメラ61が取得する外景画像は、特許請求の範囲における「使用者の視界方向の画像」に相当する。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、ヘッドマウントディスプレイ100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、ヘッドマウントディスプレイ100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ100の電源の状態を切り替える。
図2は、ヘッドマウントディスプレイ100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。なお、入力情報取得部110は、種々の方法を用いて、使用者からの操作入力を取得することができる。例えば、図2に示すタッチパッド14や十字キー16による操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。また、例えば、画像表示部20に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、カメラ61を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業(例えば手術)においても、入力情報取得部110は、使用者からの操作入力を取得することができる。
記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部120は、不可視情報記憶部122と、外観情報記憶部124とを含んでいる。不可視情報記憶部122は、重畳情報表示処理の対象となる物体の不可視情報を予め記憶しておくための記憶領域である。「不可視情報」とは、物体の外観に現れない情報を意味する。本実施形態の不可視情報は、物体の構造を表した画像である。不可視情報は、物体が生体である場合、例えば、CT(Computed Tomography、コンピューター断層撮影)画像、MRI(Magnetic Resonance Imaging、核磁気共鳴画像法)画像、レントゲン(X線)画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等である。また、不可視情報は、物体が人工物である場合、例えば、設計図面、回路図、レントゲン(X線)画像、透視画像、赤外線画像、サーモグラフィー画像等である。
外観情報記憶部124は、重畳情報表示処理の対象となる物体の外観情報を予め記憶しておくための記憶領域である。本実施形態における「外観情報」とは、物体を外側から見た様子(外観)を表した画像であり、可視光カメラで撮像された写真等である。
電源130は、ヘッドマウントディスプレイ100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、無線LANやブルートゥースといった所定の無線通信規格に則って他の機器との間で無線通信を行う。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、音声処理部170、表示制御部190、重畳処理部142として機能する。重畳処理部142は、重畳情報表示処理を実行するアプリケーションプログラムである。重畳情報表示処理とは、使用者の視界方向の物体の実像に対して、物体の外観に現れない情報を重畳させて表示する処理である。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データーDataとを生成・送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデーターの画像データーDataとして、1フレームごとに記憶部120内のDRAMに格納する。一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データーDataを「右眼用画像データー」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データー」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61とを備えている。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。詳細な説明は省略する。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する。左側についても同様である。なお、図3のように、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
図4は、使用者に認識される虚像の一例を示す説明図である。図4には、使用者の視野VRを例示している。上述のようにして、ヘッドマウントディスプレイ100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像VIを視認する。図4に示す例では、虚像VIは、患者の手のレントゲン画像である。また、使用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。図4に示す例では、外景SCは、医師が持つメスの刃先が、患者の右手小指の第2間接に当てられている様子である。このように、ヘッドマウントディスプレイ100では、使用者は、視野VRのうち、虚像VIと重複しない部分はもとより、虚像VIと重複する部分についても虚像VIの背後に外景SCを視認することができる。
なお、本実施形態のヘッドマウントディスプレイは、サイドバイサイド方式を用いて、使用者に三次元的な虚像を視認させることもできる。使用者に三次元的な虚像を視認させるモード(以降「三次元表示モード」とも呼ぶ)では、LCDを左右に等分して、右半分を右眼用の表示とし、左半分を左眼用の表示とする。なお、サイドバイサイド方式に代えて、例えば、フレームパッキング方式、トップアンドボトム方式等の他の方式を用いることで、三次元表示モードを実現してもよい。
A−2.重畳情報表示処理:
図5は、第1実施形態における重畳情報表示処理の手順を示すフローチャートである。図5のステップS102、S104は重畳情報表示処理の前処理の手順を表している。図5のステップS106以降は重畳情報表示処理の手順を表している。重畳情報表示処理は、使用者の視界方向の物体の実像に対して、物体の外観に現れない情報を重畳させて表示する処理である。
重畳情報表示処理では、エッジ検出により重畳情報表示処理の対象とする物体(以降、「対象物体」とも呼ぶ。)の特徴を抽出する方法と、マーカー検出により対象物体の特徴を抽出する方法とがある(詳細は後述)。このうち、マーカー検出により対象物体の特徴を抽出する方法を採用する場合、ステップS102、S104、S108では、対象物体に予めマーカーを付しておく。なお、対象物体に付すマーカーは種々の種類のマーカーを使用可能である。例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ(登録商標)等を使用することができる。また、対象物体に付すマーカーの数は任意に定めることができる。
図5のステップS102において、使用者は、重畳情報表示処理の対象とする物体の不可視情報を不可視情報記憶部122に記憶させる。具体的には、使用者は、重畳情報表示処理の対象とする物体を撮像機器(CTや、MRIや、レントゲンや、内視鏡や、サーモグラフィー等)を用いて撮像し、対象物体の構造を表した画像(不可視情報)を取得する。そして、使用者は、取得した画像を不可視情報記憶部122に記憶させる。なお、ステップS102で撮像された不可視情報は、ステップS106以降の重畳情報表示処理において、右光学像表示部26および左光学像表示部28を透過して見える外景SCの中の実像に重ねて表示される。このため、重畳情報表示処理のステップS102では、ステップS106以降の重畳情報表示処理において想定される対象物体の向きに合わせた画像を取得し、不可視情報記憶部122に記憶させておくことが好ましい。なお、ステップS102では、対象物体の撮像に代えて、外部から受信した不可視情報を不可視情報記憶部122に記憶させてもよい。
図6は、不可視情報の一例を示す説明図である。図6で例示する不可視情報SIは、人の右手のレントゲン画像である。この場合、対象物体は「人の右手」である。図6の不可視情報SIから、関節リウマチによって、被撮像者の右手の小指の第2関節が変形していることがわかる。
図5のステップS104において、使用者は、重畳情報表示処理の対象とする物体の外観情報を外観情報記憶部124に記憶させる。具体的には、使用者は、対象物体をカメラ61やデジタルカメラ等を用いて撮像し、対象物体の外観を表した画像を取得する。そして、使用者は、取得した画像を外観情報記憶部124に記憶させる。
図7は、外観情報の一例を示す説明図である。図7で例示する外観情報FIは、人の右手の写真画像である。対象物体は、図6と同様である。
図5のステップS106において、重畳処理部142は、重畳情報表示処理の開始指示があったか否かを判定する。具体的には、重畳処理部142は、入力情報取得部110から重畳情報表示処理の開始指示を受信した場合に、開始指示あり(ステップS106:YES)と判定し、受信しない場合に、開始指示なし(ステップS106:NO)と判定する。開始指示なし(ステップS106:NO)の場合、重畳処理部142は、ステップS106に処理を遷移させ、開始指示の受信を待つ。一方、開始指示あり(ステップS106:YES)の場合、重畳処理部142は、次に説明する重畳情報生成処理によって、重畳情報を生成する(ステップS108)。
A−2−1.重畳情報生成処理:
図8は、重畳情報生成処理の手順を示すフローチャートである。重畳処理部142は、外景画像を取得する(ステップS202)。具体的には、重畳処理部142は、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。
外景画像取得後、重畳処理部142は、外景画像を画像認識することで対象物体の特徴を抽出する(ステップS204)。具体的には、重畳処理部142は、下記のi、iiのような画像認識の方法を用いて、外景画像に含まれる対象物体の特徴を抽出する。なお、方法iとiiとは、組み合わせてもよい。
方法i)重畳処理部142は、対象物体のエッジを検出する。この場合、検出されたエッジが「対象物体の特徴」となる。
方法ii)重畳処理部142は、対象物体に付されたマーカーを検出する。この場合、検出されたマーカーが「対象物体の特徴」となる。
図9は、外景画像から方法iによって抽出された対象物体の特徴(エッジ)を示している。
図8のステップS206において、重畳処理部142は、不可視情報SIを画像認識することで対象物体の特徴を抽出する。具体的には、重畳処理部142は、対象物体に対応する不可視情報SIを不可視情報記憶部122から読み出す。重畳処理部142は、上記i、iiで述べた画像認識の方法を用いて、読み出した不可視情報SIに含まれる対象物体の特徴を抽出する。なお、ステップS208における補正の精度向上のためには、ステップS204とステップS206とで使用する画像認識の方法は、統一することが好ましい。
図10は、不可視情報SIから方法iによって抽出された対象物体の特徴(エッジ)を示している。
図8のステップS208において、重畳処理部142は、ステップS204で抽出された外景画像の特徴と、ステップS206で抽出された不可視情報SIの特徴とが合うように、不可視情報SIを補正する。具体的には、ステップS204およびS206において方法iを用いた場合、重畳処理部142は、外景画像の特徴(すなわちステップS204で検出されたエッジ)と、不可視情報SIの特徴(すなわちステップS206で検出されたエッジ)との、輪郭や特徴的な部位が合うように、不可視情報SIを表す画像に対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。ここで、特徴的な部位とは、対象物体が生体である場合は、関節や、四肢の先端や、血管や、骨等であり、対象物体が人工物である場合は、突起箇所や、角部である。一方、ステップS204およびS206において方法iiを用いた場合、重畳処理部142は、外景画像の特徴(すなわちステップS204で検出されたマーカー)と、不可視情報SIの特徴(すなわちステップS206で検出されたマーカー)との位置が合うように、不可視情報SIを表す画像に対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。
図9および図10の例では、重畳処理部142は、ステップS204で検出されたエッジ(図9)と、ステップS206で検出されたエッジ(図10)との、手の輪郭や、特徴的な部位(関節、指先、血管、骨)が合うように、不可視情報SIに対する補正を行う。
図11は、補正後の不可視情報SIの一例を示す説明図である。補正後の重畳情報CP1では、外景画像に含まれる対象物体(すなわち患者の右手)の範囲に合わせて不可視情報SI(図6)がトリミングされている。同様に、補正後の重畳情報CP1では、外景画像に含まれる対象物体の大きさに合わせて不可視情報SI(図6)が縮小され、外景画像に含まれる対象物体の位置に合わせて不可視情報SI(図6)が回転および移動されている。なお、ステップS208において補正された不可視情報SIは、特許請求の範囲における「重畳情報」に相当する。
このように、重畳情報生成処理において、重畳処理部142は、不可視情報記憶部122に記憶されている物体の不可視情報SIを用いて重畳情報を生成することができる。ステップS202においてカメラ61(画像取得部)が取得する外景画像は、使用者の視界方向の対象物体(換言すれば、外景に含まれる物体)の実像を写した画像である。重畳処理部142は、カメラ61によって取得された外景画像から外景に含まれる対象物体のエッジやマーカー(対象物体の特徴)を抽出し、抽出した特徴に基づいて重畳情報を生成する。このため、重畳処理部142は、使用者の視界方向の対象物体(外景に含まれる物体)の特徴に合わせた重畳情報を生成することができる。
また、上記方法iによれば、重畳処理部142は、画像認識により対象物体のエッジを検出することで、外景に含まれる対象物体の輪郭を抽出することができる。この結果、重畳処理部142は、抽出した対象物体の輪郭に基づいて当該対象物体の不可視情報SIを補正して、重畳情報CP1を生成することができる。
また、上記方法iiによれば、重畳処理部142は、画像認識により対象物体に付されたマーカーを検出することで、外景に含まれる対象物体の位置を抽出することができる。この結果、重畳処理部142は、抽出した対象物体の位置に基づいて当該対象物体の不可視情報SIを補正して、重畳情報CP1を生成することができる。
重畳情報生成処理の終了後、図5のステップS110において重畳処理部142は、重畳情報CP1を表示させる。具体的には、重畳処理部142は、画像処理部160に対して、重畳情報生成処理によって生成された重畳情報CP1を送信する。重畳情報CP1を受信した画像処理部160は、重畳情報CP1に対して、図2で説明した表示処理を実行する。この結果、図4に示すように、ヘッドマウントディスプレイ100の使用者の視野VRには、重畳情報CP1が虚像VIとして表示される。本実施形態におけるヘッドマウントディスプレイ100は、使用者が虚像を視認すると同時に外景も視認可能な光学透過型のヘッドマウントディスプレイである。このため、ヘッドマウントディスプレイ100の使用者は、右光学像表示部26および左光学像表示部28を透過して見える外景SCの中の実像(医師が持つメスの刃先が患者の右手小指の第2間接に当てられている様子)と、虚像VIとして見える重畳情報CP1とが、重畳された状態で視認可能となる。
図5のステップS112において、重畳処理部142は、表示の切替指示があったか否か、および切替指示の内容を判定する。表示の切替指示がない場合、重畳処理部142は、所定の時間待機後に処理をステップS108へ遷移させる(図示省略)。これにより、所定の時間ごとに、外景画像の撮影と、重畳情報CP1の生成および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した重畳情報CP1を虚像VIとして表示させることができる。なお、所定の時間とは任意に定めることができる。
重畳処理部142は、入力情報取得部110から現在表示中の重畳情報CP1の表示を切り替える旨を指示する「画像切替」指示を受信した場合(ステップS112:画像切替)、処理をステップS114へ遷移させる。重畳処理部142は、他の重畳情報を生成する(ステップS114)。具体的には、重畳処理部142は、図8で説明した重畳情報生成処理を再び実行し、他の重畳情報を生成する。この際、重畳処理部142は、図8の説明のうち「不可視情報記憶部122に記憶されている不可視情報SI」に代えて、「外観情報記憶部124に記憶されている外観情報FI」を処理対象とする。このため、他の重畳情報とは、対象物体の外観を表す情報となる。他の重畳情報生成後、重畳処理部142は、他の重畳情報を表示させる(ステップS116)。具体的には、重畳処理部142は、画像処理部160に対して他の重畳情報を送信する。他の重畳情報を受信した画像処理部160は、他の重畳情報に対して、図2で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ100の使用者の視野VRには、重畳情報CP1に代えて、他の重畳情報が虚像VIとして表示される。その後、重畳処理部142は、処理をステップS112へと遷移させる。
このように、ステップS114、S116によれば、ヘッドマウントディスプレイ100の使用者は、使用者自らの意思によって、対象物体の構造を表す不可視情報SIをもとに生成された重畳情報の表示と、対象物体の外観を表す外観情報FIをもとに生成された他の重畳情報の表示とを切り替えることができる。このため、ヘッドマウントディスプレイ100における使用者の利便性を向上させることができる。
図5において、重畳処理部142は、入力情報取得部110から現在表示中の虚像を非表示とする旨を指示する「非表示」指示を受信した場合(ステップS112:非表示)、処理をステップS118へ遷移させる。重畳処理部142は、現在表示中の虚像VI(重畳情報CP1または他の重畳情報)を非表示とする(ステップS118)。具体的には、重畳処理部142は、画像処理部160に対する重畳情報CP1または他の重畳情報の送信を停止する。これにより、表示されるべき画像データーがなくなるため、虚像VIを非表示とすることができる。なお、重畳情報CP1または他の重畳情報の送信の停止に代えて、重畳処理部142は、表示制御部190に対して、画像を非表示とする旨の要求を送信してもよい。この場合、表示制御部190は、LCD制御部によるLCDの駆動をOFFとする制御信号、または、バックライト制御部によるバックライトの駆動をOFFとする制御信号を送信することにより、虚像VIを非表示とすることができる。
このように、ステップS118によれば、ヘッドマウントディスプレイ100の使用者は、使用者自らの意思によって、現在表示中の虚像VIを非表示とすることができる。例えば、光学像表示部を透過して見る実像に注視したい場合、使用者は、意図的に虚像VIを消すことができる。このため、ヘッドマウントディスプレイ100における使用者の利便性を向上させることができる。
図5において、重畳処理部142は、入力情報取得部110から視界方向の実像を拡大表示させる旨を指示する「拡大」指示を受信した場合(ステップS112:拡大)、処理をステップS120へ遷移させる。重畳処理部142は、外景画像を取得する(ステップS120)。具体的には、重畳処理部142は、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。外景画像取得後、重畳処理部142は、ステップS120で取得された外景画像を画像認識し、拡大指示と共に指定された点を中心とした所定範囲の領域をトリミング後、トリミングした画像を拡大処理する(ステップS122)。その後、重畳処理部142は、拡大処理後の画像を端部に配置し、他の部分には黒色のダミーデーターを配置した拡大情報を生成する。拡大情報生成後、重畳処理部142は、重畳情報CP1と、拡大情報とを表示させる。具体的には、重畳処理部142は、画像処理部160に対して重畳情報CP1と、拡大情報とを送信する。重畳情報CP1と、拡大情報とを受信した画像処理部160は、重畳情報CP1と拡大情報とを各レイヤーとした合成画像を生成し、生成した合成画像に対して、図2で説明した表示処理を実行する。
図12は、使用者に認識される虚像の他の例を示す説明図である。図12(A)は、図5のステップS122によって使用者に認識される虚像を表している。このように、ステップS120およびS122が実行された結果、ヘッドマウントディスプレイ100の使用者の視野VRには、重畳情報CP1と拡大情報CP2とが、虚像VIとして表示される。このように、ステップS120、S122によれば、ヘッドマウントディスプレイ100の使用者は、使用者自らの意思によって、視界方向の対象物体(換言すれば、外景に含まれる物体)の実像と、当該対象物体の外観に現れない情報(重畳情報CP1)とに加えてさらに、指定した点を中心とした実像の拡大情報CP2、すなわち、視界方向の物体の少なくとも一部の拡大情報CP2を同時に視認することができる。この結果、ヘッドマウントディスプレイ100における使用者の利便性を向上させることができる。
以上のように、第1実施形態の重畳情報表示処理では、画像表示部20は、外景SCに含まれる対象物体(上記の例では人の右手)に対して、当該対象物体の不可視情報SI(上記の例では人の右手のレントゲン画像)を重畳させるための重畳情報CP1に基づく虚像VI(映像)を使用者に視認させる。本形態のヘッドマウントディスプレイ100(頭部装着型表示装置)は、虚像VI(映像)と外景SCを同時に視認可能なヘッドマウントディスプレイである。このため、ヘッドマウントディスプレイ100の使用者は、視線を移動させることなく、視界方向の対象物体(換言すれば、外景に含まれる対象物体)の実像と、当該対象物体の外観に現れない情報(重畳情報CP1)とを同時に視認することができる。
さらに、上記実施形態では、不可視情報記憶部122に記憶されている不可視情報SIは、対象物体の構造を表した画像である。このため、ヘッドマウントディスプレイ100(頭部装着型表示装置)の使用者は、視線を移動させることなく、視界方向の対象物体の実像と、対象物体の構造を表した画像とを同時に視認することができる。このため、上記実施形態のヘッドマウントディスプレイ100は、低侵襲外科手術において特に有用である。なお、低侵襲外科手術とは、手術に伴う患者の痛みや手術痕を最小限にするためにメスによる切開箇所を最小限に留める手術方法である。
A−3.重畳情報表示処理における付加的処理:
なお、重畳情報表示処理(図5)では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。
A−3−1.付加的処理1:
付加的処理1では、重畳処理部142は、重畳情報CP1に加えてさらに、補助情報CP3を虚像VIとして表示させる。補助情報CP3とは、ヘッドマウントディスプレイ100の使用者の作業を補助するための付加的な情報である限り、任意の情報を採用可能である。補助情報CP3は、医療用のヘッドマウントディスプレイ100においては、例えば、以下のような情報とすることができる。
・患者に取り付けられた医療用機器(心電図、心拍数計、血圧計、パルスオキシメーター、血糖値計等)の計測値を表示する情報。
・患者に取り付けられた医療用機器の計測値に応じた注意喚起や、警告を表示する情報。
図12(B)は、補助情報CP3として、患者の心拍数(HR)と、血圧(SYS/DIA)と、動脈血酸素飽和度(SpO2)とが表示された補助情報CP3が、虚像VIとして表示されている例を示している。図12(B)の例では、補助情報CP3は文字によって表現されている。しかし、補助情報CP3は、文字のほか、写真、絵柄、図形、およびこれらの組み合わせを採用することができる。なお、補助情報CP3は、重畳情報CP1と重ならないように、例えば端部に配置されることが好ましい。重畳情報CP1と、補助情報CP3とを同時に表示させる方法は、ステップS122と同様である。
なお、図12(B)では、医療用のヘッドマウントディスプレイ100における補助情報CP3の例を挙げた。しかし、他の用途に用いられるヘッドマウントディスプレイ100においても、補助情報CP3を虚像VIとして表示させることができる。例えば、建設現場で使用されるヘッドマウントディスプレイ100における補助情報CP3は、建造物の情報(築年数、建造されている地盤の情報、施工方法の情報、建造に使用されている材料の情報等)を表示する情報とすることができる。その他、ヘッドマウントディスプレイ100の使用用途に応じた種々の補助情報を採用することができる。
このように、付加的処理1によれば、ヘッドマウントディスプレイ100の使用者は、作業を補助するための情報である補助情報CP3を虚像VI(映像)として視認することができる。このため、ヘッドマウントディスプレイ100を用いた作業の効率を向上させることができる。
A−3−2.付加的処理2:
付加的処理2では、ステップS108で生成した重畳情報CP1と、ステップS114で生成した他の重畳情報と、ステップS122で生成した拡大情報CP2と、のうちの少なくともいずれか1つに対して色変換処理を行う。色変換処理は、ステップS202で撮影された外景画像の明度、コントラスト、彩度、色相に応じて、重畳処理部142により生成された各情報(重畳情報CP1、他の重畳情報、拡大情報CP2)の視認性を向上させるような色変換処理であることが好ましい。例えば、重畳処理部142により生成された各情報の色相を、ステップS202で撮影された外景画像の色相の補色へと変換する色変換処理を行うことができる。なお、色変換処理は、画像処理部160に対して各情報を送信する前に重畳処理部142が実行してもよく、各情報を受信した画像処理部160が実行してもよい。
このように、付加的処理2によれば、ヘッドマウントディスプレイ100の使用者に対する虚像VI(映像)の視認性をより向上させることができる。
A−3−3.付加的処理3:
付加的処理3では、重畳処理部142は、虚像VIとして表示されている情報(重畳情報CP1、他の重畳情報、拡大情報CP2、補助情報CP3)を使用者の視界を妨げない位置へと退避させる。現在表示中の虚像VIが重畳情報CP1である場合を例にして説明する。重畳処理部142は、重畳情報CP1を縮小処理する。その後、重畳処理部142は、縮小処理後の画像を端部に配置し、他の部分には黒色のダミーデーターを配置した縮小情報を生成する。縮小情報生成後、重畳処理部142は、縮小情報を表示させる。具体的には、重畳処理部142は、画像処理部160に対して縮小情報を送信する。縮小情報を受信した画像処理部160は、縮小情報に対して、図2で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ100の使用者の視野VRには、重畳情報CP1に代えて、重畳情報CP1が縮小されて端部に配置された縮小情報が虚像VIとして表示される。なお、付加的処理3は、重畳情報表示処理(図5)のステップS118に代えて実行されてもよい。
このように、付加的処理3によれば、ヘッドマウントディスプレイ100の使用者は、使用者自らの意思によって、虚像VI(映像)として表示されている情報(重畳情報CP1、他の重畳情報、拡大情報CP2、補助情報CP3)を、視界を妨げない位置へと退避させることができる。例えば、光学像表示部を透過して見る実像に注視したい場合、使用者は、意図的に虚像VI(映像)として表示されている情報を退避させることができる。このため、ヘッドマウントディスプレイ100における使用者の利便性を向上させることができる。
さらに、付加的処理3によれば、縮小処理後の各種情報(重畳情報CP1、他の重畳情報、拡大情報CP2、補助情報CP3)が端部に配置されているため、ヘッドマウントディスプレイ100の使用者に対して各種情報の存在を喚起することができる。換言すれば、縮小処理後の各種情報をアイコンのようにして用いることも可能となる。例えば、縮小処理後の重畳情報CP1を使用者が選択したことをトリガーとして、重畳情報CP1を元の位置および大きさに戻すことができる。このようにすれば、ヘッドマウントディスプレイ100における使用者の利便性をさらに向上させることができる。
A−3−4.付加的処理4:
付加的処理4では、重畳処理部142は、使用者の頭の小さなブレに付随する虚像VIの揺れを抑制する、いわゆるスタビライザー機能を実現する。重畳情報表示処理(図5)のステップS112において、重畳処理部142は、表示の切替指示がない場合、所定の時間待機後に処理をステップS108へ遷移させる。これにより、所定の時間ごとに、外景画像の撮影と、重畳情報CP1の生成および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した重畳情報CP1を虚像VIとして表示させることができる。しかし、使用者の頭の微小な動きやゆらぎに追従して重畳情報CP1が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、重畳処理部142は、重畳情報生成処理(図8)のステップS202とS204との間に、手順a1、a2で示す処理を行ってもよい。
手順a1)ステップS202で撮影された外景画像と、前回実行された重畳情報生成処理のステップS202で撮影された外景画像との間の、RGBヒストグラムの変化量を求める。
手順a2)手順a1で求めた変化量が所定の閾値を超える場合、ステップS204以降の処理を継続する。手順a1で求めた変化量が所定の閾値以下である場合、前回実行された重畳情報生成処理で生成された重畳情報CP1を、現在実行中の重畳情報生成処理の処理結果とする。
このように、付加的処理4によれば、重畳処理部142は、前回実行された重畳情報生成処理における外景画像(使用者の視界方向の外景)と、現在実行中の重畳情報生成処理における外景画像と間の変化量が小さい場合、すなわち、使用者の頭の動きが微小である場合は、新たな重畳情報CP1は生成せず、前回実行された重畳情報生成処理で生成された重畳情報CP1を、現在実行中の重畳情報生成処理の処理結果とする。この結果、ヘッドマウントディスプレイ100の使用者の頭の微小な動きやゆらぎに追従して重畳情報CP1が度々変わることを抑制することができるため、使用者の眼精疲労や集中力低下を抑制することができる。なお、スタビライザー機能のON/OFFを使用者によって切替可能な構成にしてもよい。
A−3−5.付加的処理5:
付加的処理5では、重畳処理部142は、画像表示部20の光学像表示部26、28と、使用者の視界方向にある物体との間の距離に応じて、拡大情報CP2および補助情報CP3が虚像VIとして表示される大きさを変更する。具体的には、重畳処理部142は、重畳情報表示処理(図5)において、手順b1〜b3に示す処理を行うことができる。なお、付加的処理5を実施する場合、ヘッドマウントディスプレイ100には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部20との間の距離を取得するためのセンサーであり、例えば、図1のカメラ61の近傍に配置することができる。
手順b1)重畳処理部142は、定期的に測距センサーによる測定値を取得する。
手順b2)重畳処理部142は、重畳情報表示処理(図5)のステップS122における拡大処理の際に、取得した測距センサーの測定値に応じて拡大率を変更する。
手順b3)重畳処理部142は、測距センサーの測定値に応じて、付加的処理1の補助情報CP3の大きさを変更する。
このように、付加的処理5によれば、重畳処理部142は、使用者の視界方向にある物体と画像表示部20との間の距離に応じて、拡大情報CP2および補助情報CP3が虚像VI(映像)として表示される大きさを変更する。このため、ヘッドマウントディスプレイ100における使用者の利便性を向上させることができる。
A−3−6.付加的処理6:
付加的処理6では、無線通信部132は、上述した処理の最中に取得された外景画像を外部の装置へ送信する。外景画像とは、具体的には、重畳情報生成処理(図8)のステップS202で取得された外景画像と、重畳情報表示処理(図5)のステップS120で取得された外景画像とである。外部の装置とは、例えば、他のヘッドマウントディスプレイ100、サーバー、モニター等である。無線通信部132は、これらの外景画像を、無線接続を介して外部の装置へ送信する。外景画像を受信した外部の装置は、受信した外景画像を種々の態様で活用することができる。例えば、他のヘッドマウントディスプレイ100やモニターに表示させてもよい。また、サーバーへ記憶させて手術(作業)のログとして保存してもよい。
他のヘッドマウントディスプレイ100やモニターに表示させる態様では、外部の装置は、表示された画像を見た医師(作業者)による助言を取得してもよい。この場合、外部の装置は、取得した助言を、ヘッドマウントディスプレイ100へ送信する。助言を受信したヘッドマウントディスプレイ100の無線通信部132は、受信した助言を転送する。具体的には、無線通信部132は、受信した助言が音声情報である場合は音声処理部170へ転送し、文字情報や画像情報である場合は重畳処理部142へ転送する。音声情報を受信した音声処理部170は、音声情報に含まれる音声信号を増幅して、右イヤホン32と左イヤホン34とに内蔵されたスピーカーへ供給する。これにより、ヘッドマウントディスプレイ100の使用者は、音声による助言を聴くことができる。一方、文字情報や画像情報を受信した重畳処理部142は、重畳情報CP1に加えてさらに、受信した文字情報や画像情報を虚像VIとして表示させる。文字情報や画像情報の表示方法は、付加的処理1で説明した補助情報CP3と同様である。これにより、ヘッドマウントディスプレイ100の使用者は、文字や画像による助言を虚像VIとして視認することができる。
このように、付加的処理6によれば、処理の最中に取得された外景画像を外部の装置においても閲覧することができ、保存することができる。また、付加的処理6によれば、ヘッドマウントディスプレイ100の使用者は、処理の最中に取得された外景画像を見た人物からの助言を得ることができる。このため、ヘッドマウントディスプレイ100を用いた作業の効率化と、精度の向上を図ることができる。
A−3−7.付加的処理7:
付加的処理7では、重畳処理部142は、虚像VIの表示領域と、カメラ61の撮像領域とのキャリブレーションを行う。重畳処理部142は、重畳情報表示処理(図5)に先立って、次の手順c1〜c7に示す処理を行う。
手順c1)記憶部120に、キャリブレーションのためのガイド画像の画像データー(以降「ガイド画像データー」とも呼ぶ。)を予め記憶させておく。ガイド画像は、ヘッドマウントディスプレイ100の使用者に対して、虚像の表示領域の端部を示すための画像である。例えば、ガイド画像は、右LCD241および左LCD242と同じアスペクト比を有する矩形形状で、白色一色の背景を有する画像であり、その四隅と、対角線の交点に位置する部分とに、円状の案内マークを有する画像とすることができる。
手順c2)重畳処理部142は、記憶部120に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部160へ送信する。ガイド画像データーを受信した画像処理部160では、図2で説明した処理が実行される。この結果、ヘッドマウントディスプレイ100の使用者の視野VRにはガイド画像が虚像VIとして表示される。
手順c3)重畳処理部142は、虚像VIとして表示されたガイド画像の案内マークを順に指差すように、使用者に対して案内する。使用者に対する案内の方法として、ダイアログボックス等を用いたメッセージを用いてもよいし、音声による案内を行っても良い。音声による案内は、表示中のガイド画像を遮ることなく案内することができる点で好ましい。
手順c4)重畳処理部142は、カメラ61に外景画像を撮像させる。
手順c5)重畳処理部142は、カメラ61により撮像された外景画像を画像認識して、人間の指先の位置を特定する。重畳処理部142は、各案内マークについて、指先位置の座標を取得し、記憶部120へ保存する。例えば、指先位置の座標は、外景画像の最も左上部分の画素を(0,0)とした場合のX方向、Y方向の移動量として定義することができる。
手順c6)重畳処理部142は、全ての案内マークについて、外景画像の取得、指先位置の座標取得、座標の保存の一連の処理を繰り返す。その後、重畳処理部142は、ガイド画像の表示を終了させる。このようにして、重畳処理部142は、カメラ61の撮像領域と、虚像VIの表示領域とが重複する領域を予め取得する。なお、カメラ61の撮像領域(取得領域)と虚像VIの表示領域とが重複する領域のことを「重複領域」とも呼ぶ。
手順c7)重畳処理部142は、重畳情報生成処理(図8)のステップS204において、カメラ61により撮像された外景画像のうち、重複領域内の画像に含まれる物体の特徴を抽出する。そして、ステップS208において、重複領域に対応した重畳情報CP1を生成する。
このように、付加的処理7によれば、重畳処理部142は、虚像VI(映像)の表示領域とカメラ61(画像取得部)の取得領域とが重複する重複領域に対して重畳情報CP1を生成することができる。このため、透過型のヘッドマウントディスプレイ100(頭部装着型表示装置)において生じる課題であった「使用者が自身の視界において直接目にする像と、画像表示部20により視認させられる虚像VI(映像)との間のずれ」の発生を低減させることができる。この結果、重畳情報CP1に基づく虚像を使用者に視認させた場合に、使用者に与える違和感を低減させることができる。
B.第2実施形態:
本発明の第2実施形態では、頭部装着型表示装置において、さらに、使用者が行う作業を支援することが可能な構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
B−1.頭部装着型表示装置の構成:
図13は、第2実施形態におけるヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。図2に示した第1実施形態との違いは、制御部10に代えて制御部10aを備える点である。制御部10aは、記憶部120に代えて記憶部120aを備え、CPU140に代えてCPU140aを備えている。
記憶部120aは、図2で示した各記憶部に加えてさらに、手順テーブル126を含んでいる。CPU140aは、図2で示した重畳処理部142に代えて重畳処理部142aを備え、また、図2で示した各処理部に加えてさらに、手順管理部144を備えている。重畳処理部142aと手順管理部144とは、協働することによって、第2実施形態における重畳情報表示処理を実行する。
図14は、手順テーブル126の一例を示す説明図である。手順テーブル126は、第2実施形態における重畳情報表示処理で使用されるテーブルである。手順テーブル126は、記憶部120a内に予め格納されている。手順テーブル126は、作業番号と、手順番号と、手順名と、指示内容と、画像と、のフィールドを含んでいる。
作業番号には、作業を一意に識別するための識別子が格納されている。例えば、作業番号には、医療用のヘッドマウントディスプレイ100の場合、手術の術式を表す識別子が格納される。識別子は、文字列からなり、例えば英数字の組み合わせとすることができる。
手順番号以降の各フィールドには、作業番号により特定される作業に含まれる複数の手順に関する種々の情報が格納されている。手順番号には、手順を一意に識別するための識別子が格納されている。識別子は、文字列からなり、例えば英数字の組わせとすることができる。図14の例では、作業内の複数の手順は、手順番号の昇順に進行させることを想定している。手順名には、当該手順の名称が格納されている。指示内容には、当該手順において、使用者が実施すべき内容を表す文字列が格納されている。なお、図14の例では、指示内容を使用者に対する案内文形式の文字列で表現している。画像には、使用者が実施すべき内容を表す画像が格納されている。画像は、例えば、第三者が当該手順を模範的に実施している場面の写真等である。なお、画像は、写真のほか、図面(説明図、組立図、配置図、回路図等)であってもよく、それらの組み合わせであってもよい。
図14の例では、手順テーブル126は、医療用のヘッドマウントディスプレイ100において、医師が行う作業(すなわち手術)の手順を格納したテーブルであることがわかる。また、作業番号1で識別される作業は、人工指関節置換手術であることがわかる。さらに、手順番号1で識別される手順において使用者が実施すべき内容は「手術にあたって必要な物品を準備すること」であることと、「必要な物品は何か」であることがわかる。さらに、手順番号1で識別される手順には、使用者が実施すべき内容を表す画像は対応付けられていない。
B−2.重畳情報表示処理:
図15は、第2実施形態における重畳情報表示処理の手順を示すフローチャートである。図5に示した第1実施形態との違いは、ステップS302、S304、S306が追加されている点である。
重畳情報表示処理の開始指示後、ステップS302において手順管理部144は、現在の手順を推定する。具体的には、手順管理部144は、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。手順管理部144は、取得した外景画像を画像認識することによって、手順テーブル126に格納されている複数の手順から、現在の手順を推定する。このようにすれば、手順管理部144は、カメラ61(画像取得部)により取得された使用者の視界方向の画像(外景画像)に基づいて、自動的に現在の手順を推定することができる。
現在の手順を推定後、ステップS108において重畳処理部142aは、重畳情報生成処理を実行する。詳細は図8で説明した第1実施形態と同様である。
重畳情報生成処理の実行後、ステップS304において手順管理部144は、手順情報を生成する。具体的には、手順管理部144は、次の手順d1〜d4に示す処理を行う。
手順d1)手順管理部144は、手順テーブル126を検索し、ステップS302で推定された現在の手順に関連付けられているエントリーを抽出する。
手順d2)手順管理部144は、抽出されたエントリーのうち、画像フィールドに画像(使用者が実施すべき内容を表す画像)が格納されているか否かを判定する。手順管理部144は、画像が格納されている場合は手順d3を実行し、画像が格納されていない場合は手順d4を実行する。
手順d3)手順管理部144は、画像フィールドに格納されている画像を上端部に配置し、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。なお、文字列は、外景画像の色相を考慮したうえで、視認性の高い色とすることが好ましい。
手順d4)手順管理部144は、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。
なお、手順d3、d4における画像と文字列の配置は、任意に変更することができる。ただし、使用者の視界を過度に遮らない態様で使用者に実施すべき内容を案内するためには、画像と文字列の配置は、手順情報CP4の端部(換言すれば四辺の近傍)であることが好ましい。
図16は、手順情報の例を示す説明図である。手順情報CP4では、下側の端部に、使用者が実施すべき内容を表す「人工指関節を挿入します」という文字列MG4が配置されている。また、右側上端部に、人工指関節の挿入の模範例を示す画像IM4が配置されている。
手順情報CP4の生成後、ステップS306において重畳処理部142aおよび手順管理部144は、重畳情報CP1と手順情報とを表示させる。具体的には、重畳処理部142aは、画像処理部160に対して重畳情報CP1を送信し、手順管理部144は、画像処理部160に対して手順情報CP4を送信する。重畳情報CP1と、手順情報CP4とを受信した画像処理部160は、重畳情報CP1と手順情報CP4とを各レイヤーとした合成画像を生成し、生成した合成画像に対して、図2で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ100aの使用者の視野VRには、重畳情報CP1と手順情報CP4とが、虚像VIとして表示される。
以上のように、第2実施形態の重畳情報表示処理では、画像表示部20は、現在の手順についてヘッドマウントディスプレイ100aの使用者が実施すべき内容を表した手順情報CP4を虚像VI(映像)として使用者に視認させる。このため、第1実施形態の効果に加えてさらに、ヘッドマウンドディスプレイ100aの使用者が実施すべき内容を、画像を用いて視覚的に示すことが可能となる。このため、使用者が行う作業をより分かりやすく支援することができる。
なお、上記第2実施形態では、手順テーブル126の画像フィールドに対して、第三者が当該手順を模範的に実施している場面の写真等が格納されている場合を例にして説明した。しかし、手順テーブル126の画像フィールドには、実際の個別具体的な手順に際して使用者が実施すべき内容を表す画像が格納されていてもよい。具体的には、手順テーブル126の画像フィールドには、例えば、実際に手術を受ける患者の皮膚の切開箇所を表す画像や、実際に手術を受ける患者の体内に対する医療機器(例えば、医療用ねじ、ペースメーカー、カテーテル、人工関節等)の挿入箇所を表す画像が格納されていてもよい。この場合、手順管理部144は、重畳情報表示処理(図15)のステップS108、S304、S306に代えて、次の手順e1〜e9に示す処理を行う。
手順e1)手順管理部144は、手順テーブル126を検索し、ステップS302で推定された現在の手順に関連付けられているエントリーを抽出する。
手順e2)手順管理部144は、抽出されたエントリーのうち、画像フィールドに画像が格納されているか否かを判定する。手順管理部144は、画像が格納されている場合は手順e3〜e7、e9を実行し、画像が格納されていない場合は手順e8、e9を実行する。
手順e3)重畳処理部142aは、外景画像を取得する。詳細は重畳情報生成処理(図8)のステップS202と同様である。
手順e4)重畳処理部142aは、外景画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップS204と同様である。
手順e5)重畳処理部142aは、画像フィールドに格納されている画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップS206と同様である。ただし、ステップS206の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順e6)重畳処理部142aは、手順e4で抽出された外景画像の特徴と、手順e5で抽出された画像フィールドに格納されている画像の特徴とが合うように、画像フィールドに格納されている画像を補正し、重畳情報CP5を生成する。詳細は重畳情報生成処理のステップS208と同様である。ただし、ステップS208の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順e7)手順管理部144は、手順e6で生成された重畳情報CP5に対して、手順情報を表すレイヤーを追加する。具体的には、手順管理部144は、手順e1で抽出されたエントリーの指示内容フィールドに格納されている文字列を重畳情報CP5の下端部に配置する。
図17は、手順情報が追加された重畳情報の例を示す説明図である。この重畳情報CP5では、使用者の視界方向の対象物体(外景に含まれる物体)の特徴に合わせた角度、位置、大きさで、実際に手術を受ける患者の皮膚の切開箇所を表す画像IM5が配置されている。また、重畳情報CP5では、下側の端部に、使用者が実施すべき内容を表す「円刃メスを用いて手術部位の皮膚を切開し、指関節を露出させます」という文字列MG5が配置されている。
手順e8)手順管理部144は、手順e1で抽出されたエントリーの指示内容フィールドに格納されている文字列をがたん部に配置し、他の部分には黒色のダミーデーターを配置した手順情報CP4を生成する。
手順e9)手順管理部144は、手順e7で生成された重畳情報CP5または手順e8で生成された手順情報CP4を表示させる。具体的には、手順管理部144は、画像処理部160に対して生成された重畳情報CP5または手順情報CP4を送信する。重畳情報CP5または手順情報CP4を受信した画像処理部160は、図2で説明した表示処理を実行する。この結果、ヘッドマウンドディスプレイ100aの使用者の視野VRには、重畳情報CP5または手順情報CP4が、虚像VIとして表示される。
図18は、手順e1〜e9によって使用者に視認される虚像の一例を示す説明図である。図18に示すように、ヘッドマウンドディスプレイ100aの使用者の視野VRには、重畳情報CP5が虚像VIとして表示される。このように、本実施形態におけるヘッドマウンドディスプレイ100aの使用者は、右光学像表示部26および左光学像表示部28を透過して見える外景SCの中の実像(医師が持つメスの刃先が患者の右手小指の第2間接に当てられている様子)と、虚像VIとして見える重畳情報CP5(すなわち、実際に手術を受ける患者の皮膚の切開箇所を表す画像、および、使用者が実施すべき内容を表す文字列)とが、重畳された状態で視認可能となる。このようにすれば、ヘッドマウントディスプレイ100aの使用者が行う作業を、より個別具体的に支援することが可能となり、作業の精密化と、作業効率の向上を図ることができる。
B−3.重畳情報表示処理における付加的処理:
なお、第2実施形態の重畳情報表示処理(図15)では、さらに、「A−3.重畳情報表示処理における付加的処理」で説明した付加的処理1〜7を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。なお、付加的処理7は、手順管理部144が主体となり、手順管理部144が生成する手順情報に対して実行されてもよい。
C.第3実施形態:
本発明の第3実施形態では、第1実施形態の重畳情報表示処理における「重畳情報表示処理の対象とする物体の実像」に対する「物体の外観に現れない情報(重畳情報)」の重畳の精度を、より向上させることが可能な構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
C−1.頭部装着型表示装置の構成:
図19は、第3実施形態におけるヘッドマウントディスプレイ100bの概略構成を示す説明図である。図20は、第3実施形態におけるヘッドマウントディスプレイ100bの構成を機能的に示すブロック図である。図1、2に示した第1実施形態との違いは、制御部10に代えて制御部10bを備える点と、画像表示部20に代えて画像表示部20bを備える点である。
図20に示すように、制御部10bは、記憶部120に代えて記憶部120bを備え、CPU140に代えてCPU140bを備えている。記憶部120bは、第1実施形態で説明した不可視情報記憶部122と、外観情報記憶部124とに加えてさらに、視差情報128を備えている。
図21は、視差情報128について説明するための説明図である。本実施形態における視差情報128は、使用者と使用者が視認する虚像との間の複数の距離Lxと、複数の距離Lxにそれぞれ応じた視差Pxと、が対応付けられたテーブルである。なお、視差とは、両眼の網膜に映る像の違い(差)を意味する。図21の例では、使用者と使用者が視認する虚像VI1との間の距離L1に対して、視差2mmが対応付けられている。また、使用者と虚像VI2との間の距離L2に対して視差6mmが、使用者と虚像VI3との間の距離L3に対して視差10mmが、それぞれ対応付けられている。なお、人間の奥行間隔は、使用者と使用者が視認する虚像との間の距離が遠ざかるにつれて劇的に減少することが知られている。このため、視差情報128には、距離Lxが小さければ小さいほど多くのデーターを用意してもよい。
この対応付けは、右眼用の虚像の表示位置と左眼用の虚像の表示位置とをずらした結果として、使用者が両眼で視認する虚像の位置(すなわち、右眼が視認する虚像と左眼が視認する虚像とが結像する結像位置)と、使用者の両眼と、の間の距離を計測することによって、予め作成されている。なお、右眼用の虚像と左眼用の虚像とを同じ虚像とした場合に、使用者が両眼で視認する虚像の位置を「基準面」と定義する。この場合、視差情報128を作成する際の結像位置は、使用者から見て基準面の前であってもよいし、使用者から見て基準面よりも後ろであってもよい。基準面の前後の両方であってもよい。なお、前者の場合、使用者には虚像が飛び出ているように見え、後者の場合、使用者には虚像が窪んでいるように見える。
上述した視差2mm、6mm、10mmは、それぞれ、使用者の弁別視野および有効視野に相当する虚像の中心部分の視差である。従って、視差情報128には、より厳密を期すために、使用者の注視安定視野に相当する部分の視差(1.9mm、5mm、9mm)、使用者の誘導視野(1.8mm、4mm、8mm)に相当する部分の視差、使用者の補助視野に相当する部分の視差(1.7mm、3mm、7mm)等が区別して記憶されていてもよい。なお、図21における具体的な数値はあくまで例示である。
なお、弁別視野とは、人間の視野のうち、視力、色弁別などの視機能が優れ、高精度な情報受容可能な範囲である。弁別視野は通常、中心から数度以内である。有効視野とは、人間の視野のうち、眼球運動だけで情報を注視し、瞬時に特定情報を受容できる範囲である。有効視野は通常、左右約15度、上約8度、下約12度以内である。注視安定視野とは、人間の視野のうち、頭部運動が眼球運動を助ける状態で発生し、無理なく注視が可能な範囲である。注視安定視野は、通常、左右30〜45度、上20〜30度、下25〜40度以内である。誘導視野とは、人間の視野のうち、呈示された情報の存在が判定出来る程度の識別能力しかないが、人間の空間座標感覚に影響を与える範囲である。誘導視野は、通常、水平30〜100度、垂直20〜85度の範囲内である。補助視野とは、人間の視野のうち、情報受容は極度に低下し、強い刺激などに注視動作を誘発させる程度の補助的働きをする範囲である。補助視野は、通常、水平100〜200度、垂直85〜135度の範囲内である。
図20のCPU140bは、重畳処理部142に代えて、重畳処理部142bを備えている。重畳処理部142bは、実行する重畳情報表示処理の内容が第1実施形態とは異なる。詳細は後述する。
図20に示すように、画像表示部20bは、第1実施形態で説明した各部に加えて、さらに、瞳孔撮影用カメラ62、63と、近赤外線受発光部64、65と、9軸センサー66と、深度センサー67と、を備えている。
瞳孔撮影用カメラ62は、画像表示部20の端部ER(図1)の近傍に配置されている。瞳孔撮影用カメラ62は、画像表示部20の裏側方向において、ヘッドマウントディスプレイ100bを装着した状態における使用者の右眼REの瞳孔を撮影する。同様に、瞳孔撮影用カメラ63は、画像表示部20の端部EL(図1)の近傍に配置されている。瞳孔撮影用カメラ63は、ヘッドマウントディスプレイ100bを装着した状態における使用者の左眼LEの瞳孔を撮影する。
近赤外線受発光部64は、画像表示部20の端部ER(図1)の近傍に配置されている。近赤外線受発光部64は、画像表示部20の裏側方向において、使用者の右眼REに向かって赤外光を照射し、反射光を取得する。同様に、近赤外線受発光部65は、画像表示部20の端部EL(図1)の近傍に配置されている。近赤外線受発光部65は、画像表示部20の裏側方向において、使用者の左眼LEに赤外光を照射し、反射光を取得する。
瞳孔撮影用カメラ62、63と、近赤外線受発光部64、65とは、協働することで使用者の視線を検出する「視線検出部」として機能する。なお、瞳孔撮影用カメラ62、63と、近赤外線受発光部64、65とは、その一部を省略してもよい。例えば、近赤外線受発光部64、65を省略してもよいし、瞳孔撮影用カメラ63と近赤外線受発光部65とを省略してもよい。
9軸センサー66は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する「動き検出部」として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
深度センサー67は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。深度センサー67は、赤外線照射部と、赤外線センサーとを含み、深度センサー67の正面の各点の深度を測定する。深度センサー67は、重畳情報表示処理の対象とする物体(対象物体)に対する使用者の位置を検出する「位置検出部」として機能する。
C−2.重畳情報表示処理:
図22は、第3実施形態における重畳情報表示処理の手順を示すフローチャートである。図5に示した第1実施形態との違いは、ステップS102に代えてステップS602を、ステップS108に代えてステップS604を、ステップS110に代えてステップS606をそれぞれ備える点と、ステップS110の後にさらにステップS608を備える点である。なお、第3実施形態の重畳情報表示処理は、三次元表示モードで実行される。
ステップS602において、使用者は、重畳情報表示処理の対象とする一の物体に対する複数の不可視情報を、不可視情報記憶部122に記憶させる。ここで、不可視情報とは、図5のステップS102と同様に、CT、MRI、レントゲン、内視鏡、サーモグラフィー等の撮像機器を用いて取得された対象物体の構造を表した画像である。第3実施形態の重畳情報表示処理では、対象物体と使用者との位置関係に応じて複数の不可視情報から一の不可視情報が選択される。このため、ステップS602では、対象物体に関して、様々な角度から不可視情報を取得し、不可視情報記憶部122に記憶させておくことが好ましい。
図23は、不可視情報の一例を示す説明図である。図23で示すように、第3実施形態の不可視情報記憶部122には、患者PAの身体を前側と後側とに分割する任意の平面画像である複数の冠状面CT画像SI1と、患者PAの身体を長さ方向に対し垂直な平面に分割する任意の平面画像である複数の横断面CT画像SI2と、患者PAの術部のレントゲン画像SI3と、が記憶されている。なお、図23に示す不可視情報はあくまで一例であり、例えば、矢状面CT画像を含んでもよく、CT画像に代えてMRI画像や内視鏡画像を含んでもよい。
図22のステップS604において、重畳処理部142bは、以下に説明する「C−2−1.第1の重畳情報生成処理」と、「C−2−2.第2の重畳情報生成処理」と、のいずれかの処理を実行することによって、重畳情報を生成する。第1の重畳情報生成処理と、第2の重畳情報生成処理との違いは、重畳処理部142bが不可視情報を補正する際の精度である。具体的には、第2の重畳情報生成処理は、第1の重畳情報生成処理と比較して、より精度の高い補正が行われる。
第1の重畳情報生成処理と、第2の重畳情報生成処理とのどちらが実行されるかは、予め定められていてもよいし、使用者によって指定されてもよい。また、例えば9軸センサーによって検出される使用者の頭部の動きの大きさによって自動的に決定されもよいし、ヘッドマウントディスプレイ100bを使用して実施される手術の種類または術式によって自動的に決定されてもよい。
C−2−1.第1の重畳情報生成処理:
図24は、第1の重畳情報生成処理の手順を示すフローチャートである。ステップS402において重畳処理部142bは、外景画像を取得する。具体的には、重畳処理部142bは、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。
図25は、第1の重畳情報生成処理のステップS404について説明するための説明図である。図24のステップS404において重畳処理部142bは、使用者の視線と、位置とを取得する。具体的には、重畳処理部142bは、瞳孔撮影用カメラ62、63および近赤外線受発光部64、65の検出値から、使用者の視線を取得する。その後、重畳処理部142bは、取得した使用者の視線から、使用者と、使用者が注視している点PP(図25、注視点PP)と、の間の距離である注視点距離を求める。なお、注視点は、使用者の両眼の中心窩(網膜で視力の最も高い場所)の延長線上に交わる点である。さらに、重畳処理部142bは、深度センサー67の検出値から、対象物体に対する使用者の位置PO1〜PO3(図25)を取得する。この際、重畳処理部142bは、例えば、対象物体の特徴M1〜M4(図25、エッジやマーカー)部分に対する深度DP(図25)を、位置取得の基準としてもよい。
ステップS406において重畳処理部142bは、不可視情報記憶部122に記憶されている複数の不可視情報から、対象物体に対する使用者の位置に応じた一の不可視情報を選択する。具体的には、重畳処理部142bは、ステップS404で取得した使用者と対象物体との位置関係に基づいて、最適と考えられるいくつかの不可視情報を選択する。例えば、使用者が、図23に示す患者PA(対象物体)を上から見下ろす位置に居る場合、重畳処理部142bは、複数の冠状面CT画像SI1を選択する。次に重畳処理部142bは、選択したいくつかの不可視情報から、ステップS404で取得した深度に応じた一の不可視情報を選択する。なお、ステップS406において、重畳処理部142は、選択したいくつかの不可視情報を候補として使用者に提示し、使用者からの不可視情報の選択を受け付けてもよい。
ステップS408において重畳処理部142bは、外景画像を画像認識することで対象物体の特徴を抽出する。詳細は、第1実施形態で説明した図8のステップS204と同様である。
ステップS410において重畳処理部142bは、ステップS408で選択された不可視情報を画像認識することで対象物体の特徴を抽出する。詳細は、第1実施形態で説明した図8のステップS206と同様である。
ステップS412において重畳処理部142bは、ステップS408で抽出された外景画像の特徴と、ステップS410で抽出された不可視情報の特徴とが合うように、ステップS408で選択された不可視情報を補正して、重畳情報を生成する。詳細は、第1実施形態で説明した図8のステップS208と同様である。
ステップS414において重畳処理部142bは、重畳情報に対して視差を付与する。具体的には、重畳処理部142bは、ステップS404で求めた注視点距離をキーとして視差情報128を検索し、視差情報128に規定されている視差を取得する。重畳処理部142bは、ステップS412で生成された重畳情報に対して、視差情報128から取得した注視点距離に応じた視差を付与することで、右眼用の重畳情報と、左眼用の重畳情報とを生成する。このように、ステップS414によれば、重畳処理部142bは、予め用意された視差情報128を用いて、簡便に、右眼用の重畳情報と左眼用の重畳情報を生成することができる。
第1の重畳情報生成処理の終了後、図22のステップS606において重畳処理部142bは、重畳情報を表示させる。具体的には、重畳処理部142bは、画像処理部160に対して、重畳情報生成処理によって生成された右眼用の重畳情報と、左眼用の重畳情報とを送信する。右眼用の重畳情報と、左眼用の重畳情報とを受信した画像処理部160は、受信した重畳情報に対して、それぞれ、図2で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ100bの使用者の視野には、重畳情報に基づく虚像が表示される。ここで、右眼用の重畳情報と、左眼用の重畳情報とには、注視点距離に応じた視差が付与されている。このため、ヘッドマウントディスプレイ100bの使用者の視認する虚像は、使用者の注視点の近傍で結像した三次元表示となる。
図22のステップS608において重畳処理部142bは、使用者の視線と、位置とが変更されたか否かを判定する。使用者の視線と、位置とは、第1の重畳情報生成処理(図25)のステップS404と同様の方法で取得することができる。使用者の位置と、視線とが、所定の閾値を超えて変化した場合(ステップS608:YES)、重畳処理部142bは、処理をステップS604へ遷移させ、第1または第2の重畳情報生成処理を繰り返す。使用者の位置と、視線とが、所定の閾値を超えて変化していない場合(ステップS608:NO)、重畳処理部142bは、処理をステップS112へ遷移させる。なお、所定の閾値とは、任意に定めることができる。また、位置の変化量に関する閾値と、視線の変化量に関する閾値とは、異なっていてもよい。
以上のように、第1の重畳情報生成処理によれば、重畳処理部142bは、使用者と使用者が注視している注視点との間の距離(注視点距離)に応じた視差を付与した右眼用の重畳情報と左眼用の重畳情報を生成し、画像表示部20の画像処理部160は、これらの重畳情報に基づく虚像を使用者に視認させる。この結果、使用者は、注視点と同じ距離の位置において重畳情報を視認することができる。
また、第1の重畳情報生成処理によれば、重畳処理部142bは、記憶部120の不可視情報記憶部122に記憶されている複数の不可視情報から、使用者の対象物体に対する位置に応じた一の不可視情報を選択し、選択した不可視情報を補正することができる。このため、重畳処理部142bは、使用者と、対象物体との位置関係に基づいて、適切な不可視情報を使用して、重畳情報を生成することができる。
C−2−2.第2の重畳情報生成処理:
図26は、第2の重畳情報生成処理の手順を示すフローチャートである。図24に示した第1の重畳情報生成処理との違いは、ステップS404に代えてステップS502を、ステップS412に代えてステップS504を、それぞれ備える点である。
ステップS502において重畳処理部142bは、使用者の視線と、位置と、頭部の角度と、を取得する。使用者の視線と、位置とについては、第1の重畳情報生成処理(図25)のステップS404と同様である。さらに、重畳処理部142bは、9軸センサー66の検出値から、使用者の頭部の角度を取得する。
図27は、第2の重畳情報生成処理のステップS504について説明するための説明図である。図26のステップS504において重畳処理部142bは、不可視情報を補正する。具体的には、重畳処理部142は、以下の手順f1〜f3に説明する方法を用いて、ステップS408で選択された不可視情報を補正する。
手順f1)重畳処理部142bは、不可視情報SIを表す画像を、複数の領域A1〜Anに分割する(図5)。この分割の際、重畳処理部142bは、使用者と対象物体の各部との間の距離を、三角測量を用いてそれぞれ計測し、計測の結果に応じて不可視情報SIを表す画像の領域の分割を行ってもよい。具体的には、例えば、重畳処理部142bは、対象物体の各部について、測定された使用者との間の距離ごとにグルーピングを行い、グルーピングされた各部に対応する不可視情報SIを、1つの領域としてまとめることができる。なお、このグルーピングの際は、距離に所定の許容範囲(閾値)を設けてもよい。このようにすれば、重畳処理部142bは、効率的に、かつ、実態に即して、不可視情報SIを表す画像の領域の分割を行うことができる。
手順f2)重畳処理部142bは、手順f1で分割した複数の領域のそれぞれに対して、拡大、縮小、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行い、重畳情報を生成する。この加工の際、重畳処理部142bは、ステップS408およびS410で検出した外景画像の特徴と、不可視情報SIの特徴と、が合うように加工する。
手順f3)重畳処理部142bは、手順f2の加工を行う際に、使用者の視野内の情報受容特性に応じて、加工(補正)精度を変えてもよい。ここで、情報受容特性とは、視覚能力の程度を意味する。人間の視野は、視野内の情報受容特性が優れた順に、(1)弁別視野、(2)有効視野、(3)注視安定視野、(4)誘導視野、(5)補助視野に区分することができる(図21)。そこで、重畳処理部142bは、手順f1で分割された複数の領域のうち、加工対象とする領域が、情報受容特性に優れた視野(例えば、上記1、2)に属する場合は、加工の精度を高くし、情報受容特性に優れない視野(例えば、上記4、5)に属する場合は、加工の精度を低くすることができる。これは、情報受容特性に優れない視野においては、不可視情報SIと対象物体との重畳の精度を上げたところで、使用者の知覚能力の限界から、無駄となってしまう虞があるためである。
第2の重畳情報生成処理の終了後、図22のステップS606において重畳処理部142bは、重畳情報を表示させる。この結果、第1の重畳情報生成処理と同様に、ヘッドマウントディスプレイ100bの使用者の視野には、重畳情報に基づく虚像が表示される。また、使用者の視認する虚像は、使用者の注視点の近傍で結像した三次元表示となる。
以上のように、第2の重畳情報生成処理によれば、重畳処理部142bは、記憶部120の不可視情報記憶部122に記憶されている物体の不可視情報SIを表す画像を、複数の領域A1〜Anに分割した上で、複数の領域A1〜Anのそれぞれに対して、拡大と、縮小と、トリミングと、歪みの付与と、ノイズの除去とのうちの少なくともいずれかの補正を行う。このように重畳処理部142bは、不可視情報SIを表す画像を、複数の領域A1〜Anに分割した上で、各領域に対しての補正を行うため、不可視情報SIを表す画像の補正の精度を向上させることができる。
さらに、第2の重畳情報生成処理によれば、重畳処理部142bは、使用者の視野内の情報受容特性に応じて不可視情報SIに対する加工(補正)の精度を変える。この結果、重畳処理部142bは、効率的に不可視情報SIの補正を行うことができる。
C−3.重畳情報表示処理における付加的処理:
なお、重畳情報表示処理(図22)では、さらに、「A−3.重畳情報表示処理における付加的処理」において説明した付加的処理1〜7を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。
D.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、図2に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
図28は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図28(A)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20cが、右光学像表示部26に代えて右光学像表示部26cを備える点と、左光学像表示部28に代えて左光学像表示部28cを備える点である。右光学像表示部26cは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28cは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図28(B)の例の場合、図1に示したヘッドマウントディスプレイ100との違いは、画像表示部20dが、右光学像表示部26に代えて右光学像表示部26dを備える点と、左光学像表示部28に代えて左光学像表示部28dを備える点である。右光学像表示部26dは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28dは、第1実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
例えば、画像処理部、表示制御部、重畳処理部、手順管理部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
例えば、ヘッドマウントディスプレイは、カメラに代えて、測距センサーや変位センサーを備えることとしてもよい。この場合、重畳処理部は、測距センサーまたは変位センサーを用いて対象物体の特徴を抽出し、上記実施形態と同様の処理を行うことができる。
例えば、ヘッドマウントディスプレイは、不可視情報において多く使用される色相と同じ色相の光の透過を抑制する光学フィルターを備えていてもよい。また、不可視情報において多く使用される色相の補色となる色相の光学フィルターを備えていてもよい。このようにすれば、不可視情報の視認性が高くすることができる。
例えば、カメラと、瞳孔撮影用カメラと、近赤外線受発光部と、9軸センサーと、深度センサーと、のうちのいずれかを省略してもよい。例えば、瞳孔撮影用カメラと、近赤外線受発光部を省略して、手術室の天井部に備え付けられたカメラを代用することで使用者の視線を検出してもよい。また、上述の各構成を省略しない場合において、手術室の天井部に備え付けられたカメラを併用することで、不可視情報の加工の精度を向上させてもよい。
・変形例2:
上記実施形態では、重畳情報表示処理(図5、図22)の一例を示した。しかし、図5、図22に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、ステップS102において、使用者は、重畳情報表示処理の対象とする物体の不可視情報を不可視情報記憶部に記憶させることとした。上記実施形態での不可視情報は、撮像機器(CTや、MRIや、レントゲンや、内視鏡や、サーモグラフィー等)を用いて撮像され、2次元的に表現された画像を想定した。しかし、ステップS102では、3次元的に表現された不可視情報を記憶させてもよい。3次元的に表現された不可視情報とは、撮像機器を用いて撮像された複数の画像から作成された3次元モデルである。3次元的に表現された不可視情報を用いる場合、重畳情報生成処理(図8)のステップS202とS204との間において、重畳処理部は、ステップS202で取得された外景画像に基づいて3次元モデルのレンダリングを行う。そして、レンダリング後の画像を「不可視情報」として、以降の処理を継続する。このようにすれば、様々な方向から、対象物体の外観に現れない情報を視認することができる。また、ステップS102で記憶される不可視情報は静止画に限らず、動画であってもよい。
例えば、ステップS114、S116では、他の重畳情報は外観情報をもとに生成されるとした。しかし、他の重畳情報の元となる情報は種々の情報を使用することができる。例えば、重畳情報CP1を生成する際に用いられた不可視情報とは異なる撮像機器を用いて撮像された他の不可視情報を使用してもよい。
例えば、ステップS112以降の処理は、省略してもよい。
・変形例3:
上記第2実施形態では、重畳情報表示処理(図15)の一例を示した。しかし、図15に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、手順管理部は、手順情報に対して、以下の例のように、使用者に注意を喚起させるための情報を付加してもよい。
・手順内において使用者が特に注意すべき事項をポップアップ表示させる。
・手順情報内の画像や文字列を点滅表示させる。
・手順情報内に、当該手順の重要度、難易度、事故の多さ等を示すメッセージやアイコンを表示させる。
・変形例4:
上記実施形態では、手順テーブルの一例を示した。しかし、手順テーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、手順テーブルは、複数のテーブルに分割して正規化してもよい。
・変形例5:
上記第2実施形態では、ヘッドマウントディスプレイに手順テーブルと手順管理部とを備え、他の装置を必要とせずに、使用者が行う作業を支援することが可能な構成について説明した。しかし、ヘッドマウントディスプレイと、外部に設けられたサーバーとを備える作業支援システムにおいても、同様の処理を実現することができる。
例えば、ヘッドマウントディスプレイは手順管理部を備え、サーバーは手順テーブルを備える構成とする。この場合、ヘッドマウントディスプレイの手順管理部は、サーバー内に記憶されている手順テーブルにアクセスし、手順テーブル内のデーターを参照する。このようにすれば、1台のサーバーに記憶されている手順テーブルの情報を、複数台のヘッドマウントディスプレイで共有することが可能になる。この結果、各ヘッドマウントディスプレイに手順テーブルを備える構成と比較して、手順テーブルの更新に要する労力が低減される。
・変形例6:
上記第3実施形態では、第1、および、第2の重畳情報生成処理(図24、26)の一例を示した。しかし、図24、26に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、記憶部には、複数の視差情報が記憶されていてもよい。複数の視差情報とは、例えば、利き目が右眼である場合の視差情報と、利き目が左眼である場合の視差情報であってもよいし、眼間距離に応じた視差情報であってもよい。この場合、第1、2の重畳情報生成処理のステップS414では、ヘッドマウントディスプレイの使用者の特性(例えば眼間距離や利き目)に応じて、記憶部に格納されている複数の視差情報から、ステップS414の処理に使用する一の視差情報を選択してもよい。このようにすれば、重畳処理部は、使用者の特性(例えば、利き目や眼間距離)に合った視差情報を選択することで、使用者に与える視覚的な違和感を低減させることができる。
例えば、第1、および、第2の重畳情報生成処理において、エッジ強調処理や、二値化処理を併用して、不可視情報の補正の精度をより向上させてもよい。
・変形例7:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。