JPWO2018012207A1 - 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム - Google Patents

Abstract

ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供する。第１検出部（８０）は、ユーザ（１４）の手（３７）を３Ｄ画像（４０）の深さ方向に移動させる第１ジェスチャーを検出し、手（３７）の甲（９０）の深さ方向の位置を示す甲位置情報を判定部（８３）に出力する。判定部（８３）は、甲位置情報に基づき、３Ｄ画像（４０）の複数の層のうち、甲（９０）と深さ方向の位置が一致する層を選択層と判定する。第２検出部（８１）は、選択層の透過率を変更するための指（３８）を用いた第２ジェスチャーを検出する。受付部（８４）は選択層の透過率を変更する指示情報を受け付け、これを表示制御部（７４）に出力する。表示制御部（７４）は、判定部（８３）で選択層と判定された層の透過率を、指示情報にしたがって変更する。

Description

本発明は、画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムに関する。

コンピュータを用いて作り出される仮想空間において、ユーザに現実に近い代替的な体験をさせる技術が知られている。例えば特許文献１には、頭部等の人体の一部を示す外観画像をユーザに表示し、ユーザが操作する入力デバイスに連動した仮想的なメスで患部の切開を行うバーチャル外科手術に関する技術が記載されている。

特許文献１において、外観画像は例えば三次元ボリュームレンダリング画像であり、入力デバイスにはグローブ型デバイスや反力付き入力デバイスといった手持ちの入力デバイスが挙げられている。特許文献１では、入力デバイスを介して外観画像に仮想的に与えられる力の大きさと向き、並びに力が与えられている外観画像上の位置を検出し、仮想的にメスが切開した深さを求めている。そして、求めた深さに対応する層（頭皮、頭蓋骨、脳組織、血管、神経系等）を判定している。

特開２００３−０９９８０８号公報

ところで、仮想空間においてユーザに代替的な体験をさせる技術には、ユーザの頭部に装着したヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display））を通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる技術がある。このＨＭＤを用いた技術には、より直感的な操作を可能とするため、入力デバイスに代えてユーザの手や指等を用いたジェスチャーで操作を行わせるものがある。

特許文献１に記載の人体の三次元ボリュームレンダリング画像のような、複数の層が深さ方向に重なった三次元の仮想オブジェクトをＨＭＤに表示し、ユーザがジェスチャーを用いて、複数の層の中の所望の層を選択し、さらに続けて選択した層（以下、選択層）に対して何らかの指示を行うことが考えられる。

例えば選択層の選択を、ユーザの指先を深さ方向に移動させるジェスチャーで行うような場合を想定する。この場合、ユーザの指先と深さ方向の位置が一致する層を選択層とし、また、選択層に対する指示を、指を回したりタップするジェスチャーとする。こうすれば、指だけで選択層の選択と選択層に対する指示を済ませることができる。

しかしながら、指を回したりタップするジェスチャーで指先の深さ方向の位置が変わってしまうので、選択層に対する指示を選択層の選択と誤認識してしまうおそれがある。したがって、この方法では、選択層の選択と、選択層に対する指示とを、スムーズかつ誤認識することなく済ませることはできず、ユーザの利便性を高めることができない。

特許文献１は、仮想的にメスが切開した深さを求め、求めた深さに対応する層を判定しているため、選択層の選択をしているとは言えるが、選択層に対する指示は記載されていない。また、そもそも特許文献１は、ＨＭＤを用いた技術ではなく、かつジェスチャーで操作を行うものでもない。

本発明は、ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することを目的とする。

上記課題を解決するために、本発明の画像表示システムは、ユーザの頭部に装着されたヘッドマウントディスプレイと、ヘッドマウントディスプレイの制御装置とを備え、ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる画像表示システムにおいて、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御部と、ユーザの手を深さ方向に移動させる第１ジェスチャーを検出する第１検出部と、手の指を用いた第２ジェスチャーを検出する第２検出部と、第１ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定部であり、手の甲の位置を基準とした判定を行う判定部と、第２ジェスチャーに応じた選択層に対する指示を受け付ける受付部とを備える。

判定部は、手の甲と深さ方向の位置が一致する層を選択層と判定することが好ましい。あるいは、判定部は、手の甲から推定される指の先と深さ方向の位置が一致する層を選択層と判定することが好ましい。

表示制御部は、選択層の場合とそうでない場合とで層の表示態様を異ならせることが好ましい。また、表示制御部は、選択層の名称を示すアノテーションを表示させることが好ましい。さらに、表示制御部は、層と手との深さ方向に関する距離に応じて、層の色を変化させることが好ましい。

第２ジェスチャーは、指を回す、または指をタップするジェスチャーであることが好ましい。

受付部は、指示として、選択層の透過率を変更する指示を受け付けることが好ましい。

仮想オブジェクトは、現実空間における表示位置が固定されていることが好ましい。また、仮想オブジェクトは、人体の三次元ボリュームレンダリング画像であることが好ましい。

本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置において、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御部と、ユーザの手を深さ方向に移動させる第１ジェスチャーを検出する第１検出部と、手の指を用いた第２ジェスチャーを検出する第２検出部と、第１ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定部であり、手の甲の位置を基準とした判定を行う判定部と、第２ジェスチャーに応じた選択層に対する指示を受け付ける受付部とを備える。

本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御ステップと、ユーザの手を深さ方向に移動させる第１ジェスチャーを検出する第１検出ステップと、手の指を用いた第２ジェスチャーを検出する第２検出ステップと、第１ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定ステップであり、手の甲の位置を基準とした判定を行う判定ステップと、第２ジェスチャーに応じた選択層に対する指示を受け付ける受付ステップとを備える。

本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、複数の層が深さ方向に重なった三次元の仮想オブジェクトをヘッドマウントディスプレイに表示させる表示制御機能と、ユーザの手を深さ方向に移動させる第１ジェスチャーを検出する第１検出機能と、手の指を用いた第２ジェスチャーを検出する第２検出機能と、第１ジェスチャーに基づいて、複数の層の中からユーザが選択する選択層を判定する判定機能であり、手の甲の位置を基準とした判定を行う判定機能と、第２ジェスチャーに応じた選択層に対する指示を受け付ける受付機能とを、コンピュータに実行させる。

本発明によれば、ユーザの手を深さ方向に移動させる第１ジェスチャーに基づいて、手の甲の位置を基準として、三次元の仮想オブジェクトの複数の層の中からユーザが選択する選択層を判定し、ユーザの手の指を用いた第２ジェスチャーに応じた選択層に対する指示を受け付けるので、選択層の選択と選択層に対する指示とを、スムーズかつ誤認識することなく済ませることができる。したがって、ユーザの利便性を高めることが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することができる。

画像表示システムと画像蓄積サーバを示す図である。 ヘッドマウントディスプレイの外観斜視図である。 画像表示システムを用いたカンファレンスの様子を示す図である。 拡張現実空間の成り立ちを説明するための図である。 ３Ｄ画像を構成するＣＴスキャン画像を示す図である。 制御装置を構成するコンピュータのブロック図である。 制御装置のＣＰＵの各機能部を示すブロック図である。 検出部と処理部の詳細を示すブロック図である。 第１ジェスチャーを検出して甲位置情報を出力する第１検出部の機能を示す図である。 甲の位置を基準として選択層を判定する判定部の機能を示す図である。 皮膚を選択層と判定した場合の甲と皮膚の深さ方向の位置関係を示す図である。 第２対応情報と第２ジェスチャーを示す図である。 指の回転方向と回転量を指示情報に変換する第２検出部の機能を示す図である。 選択層の透過率を変更する表示制御部の機能を示す図である。 選択層の場合とそうでない場合とで層の表示態様を異ならせる表示制御部の機能を示す図である。 選択層の名称を示すアノテーションを表示させる表示制御部の機能を示す図である。 画像表示システムを用いて行うカンファレンスの全体の処理手順を示すフローチャートである。 選択層の透過率を変更するモードの処理手順を示すフローチャートである。 甲から推定される指の先と深さ方向の位置が一致する層を選択層と判定する第２実施形態を示す図である。 皮膚を選択層と判定した場合の指の先と皮膚の深さ方向の位置関係を示す図である。 層と手との深さ方向に関する距離に応じて、層の色を変化させる第３実施形態を示す図である。 指をタップするジェスチャーを第２ジェスチャーとする第４実施形態を示す図である。 選択層に注釈を与える指示を受け付けて、注釈が記されたアノテーションを表示させる様子を示す図である。 制御装置の別の例を示す図である。 制御装置のさらに別の例を示す図である。

[第１実施形態]
図１において、画像表示システム１０は、ＨＭＤ１１Ａ、１１Ｂ、１１Ｃと、制御装置１２とを備え、医療施設１３に設置されている。ＨＭＤ１１Ａはユーザ１４Ａ、ＨＭＤ１１Ｂはユーザ１４Ｂ、ＨＭＤ１１Ｃはユーザ１４Ｃのそれぞれの頭部に装着される。ユーザ１４Ａ〜１４Ｃは、医療施設１３に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。また、以下では、特に区別する必要がない場合は、ＨＭＤ１１Ａ〜１１ＣをまとめてＨＭＤ１１、ユーザ１４Ａ〜１４Ｃをまとめてユーザ１４とそれぞれ表記する場合がある。

制御装置１２は例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ１５とキーボードおよびマウスで構成される入力デバイス１６とを有する。ディスプレイ１５は入力デバイス１６の操作に用いる画面を表示する。操作に用いる画面はＧＵＩ(Graphical User Interface)を構成する。制御装置１２は、ディスプレイ１５の画面を通じて入力デバイス１６からの操作指示の入力を受け付ける。

制御装置１２は、ネットワーク１７を介してデータセンタ１８の画像蓄積サーバ１９と相互に通信可能に接続されている。ネットワーク１７は、インターネットや公衆通信網といったＷＡＮ（Wide Area Network）等である。ネットワーク１７には、情報セキュリティを考慮して、ＶＰＮ（Virtual Private Network）が構築されたり、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。

画像蓄積サーバ１９は、医療施設１３で取得した患者の様々な医療画像を蓄積し、かつ医療画像を医療施設１３に配信する。医療画像には、ＣＴ（Computed Tomography）スキャン画像４５（図５参照）を画像処理により再構成した三次元ボリュームレンダリング画像（以下、３Ｄ画像）４０（図３参照）等が含まれる。医療画像は、個々の患者を識別するための患者ＩＤ（Identification Data）、個々の医療画像を識別するための画像ＩＤ、あるいは医療画像を撮影したモダリティの種類、撮影日時等を検索キーとして検索が可能である。

画像蓄積サーバ１９は、医療施設１３からの検索キーを含む配信要求に応じて検索キーに対応する医療画像を検索し、検索した医療画像を医療施設１３に配信する。なお、図１では１つの医療施設１３だけが画像蓄積サーバ１９に接続されているが、実際には画像蓄積サーバ１９は複数の医療施設１３と接続され、複数の医療施設１３の医療画像を集積管理している。

図２において、ＨＭＤ１１は、本体部２５とバンド部２６とで構成される。本体部２５はＨＭＤ１１の装着時にユーザ１４の眼前に位置する。バンド部２６はＨＭＤ１１の装着時にユーザ１４の頭部の上半部に固定される。

本体部２５は、保護枠２７、スクリーン２８、およびカメラ２９を備えている。保護枠２７はユーザ１４の両眼全体を覆うゴーグル形状を有し、透明な色付きのガラスまたはプラスチックで形成される。図示は省略するが、保護枠２７のユーザ１４の顔面と接触する部分にはウレタンフォームが貼り付けられている。

スクリーン２８およびカメラ２９は、保護枠２７の内側に配されている。スクリーン２８は眼鏡形状を有し、保護枠２７と同様に透明な材料で形成される。このスクリーン２８と保護枠２７を通じて、ユーザ１４は現実空間ＲＳ（図４参照）を肉眼で視認する。つまりＨＭＤ１１は透過型である。

また、ユーザ１４の眼と対向するスクリーン２８の内面には、コンピュータグラフィックスを用いた仮想画像が投影部（図示せず）から投影表示される。投影部は周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン２８の内面に向けて投影する投影光学系とで構成される。仮想画像はスクリーン２８の内面で反射してユーザ１４の眼に入射する。これにより、ユーザ１４は仮想画像を仮想空間ＶＳ（図４参照）上の虚像として認識する。

仮想画像には、拡張現実空間ＡＲＳ（図３参照）において、現実空間ＲＳに存在する実在オブジェクトと同じようにユーザ１４が認識する仮想オブジェクトがある。仮想オブジェクトは、例えば患者の上半身の３Ｄ画像４０である。３Ｄ画像４０は、例えば皮膚は肌色、骨は灰色、内臓は赤褐色等の色付けがなされている。ユーザ１４は、３Ｄ画像４０に対して、自らの手３７（図３参照）および指３８（人差し指、図３参照）を用いたジェスチャーを行う。

カメラ２９は、例えばＨＭＤ１１の装着時にユーザ１４の眉間と対向する本体部２５の上部中央に設けられている。カメラ２９は、ユーザ１４がＨＭＤ１１を通じて認識する拡張現実空間ＡＲＳとほぼ同じ視野を所定のフレームレート（例えば３０フレーム／秒）で撮像する。カメラ２９は、撮像画像を逐次制御装置１２に送信する。３Ｄ画像４０に対するユーザ１４の手３７および指３８を用いたジェスチャーは、このカメラ２９の視野内で行われる。なお、ここでは透過型のＨＭＤ１１を例示したが、カメラ２９から出力された現実空間ＲＳの撮像画像に仮想画像を重畳してスクリーン２８の内面に投影表示する非透過型のＨＭＤを用いてもよい。

本体部２５にはケーブル３０の一端が接続されている。ケーブル３０の他端は制御装置１２に接続されている。ＨＭＤ１１は、このケーブル３０を介して制御装置１２と通信する。なお、ＨＭＤ１１と制御装置１２との間の通信を、ケーブル３０を用いた有線通信ではなく無線通信としてもよい。

バンド部２６は数センチ程度の幅を有する帯状の紐であり、横バンド３１と縦バンド３２とで構成される。横バンド３１は、ユーザ１４の両側頭部と後頭部に巻き付けられる。縦バンド３２はユーザ１４の前頭部、頭頂部、および後頭部に巻き付けられる。これら横バンド３１および縦バンド３２には図示しないバックルが取り付けられており、長さ調節が可能である。

図３は、医療施設１３の手術室３５にユーザ１４Ａ〜１４Ｃが集まり、手術予定の患者（以下、対象患者）の手術方針を検討するカンファレンスを開いている様子を示す。ユーザ１４Ａ〜１４Ｃは、ＨＭＤ１１Ａ〜１１Ｃを通じて、それぞれ拡張現実空間ＡＲＳ−Ａ、ＡＲＳ−Ｂ、ＡＲＳ−Ｃを認識している。なお、図３では制御装置１２やケーブル３０の図示を省略している。

手術室３５には手術台３６が設置されている。ユーザ１４Ａは手術台３６の一方の長辺のほぼ中央、ユーザ１４Ｂは手術台３６の一方の短辺、ユーザ１４Ｃは手術台３６の他方の短辺の（ユーザ１４Ｂの反対側）にそれぞれ立っている。ユーザ１４Ａは手術台３６に手３７Ａおよび指３８Ａを向けて、対象患者の病状等についてユーザ１４Ｂ、１４Ｃに説明を行っている。なお、以下では、ＨＭＤ１１およびユーザ１４と同様に、ユーザ１４Ａ〜１４Ｃのそれぞれの手３７Ａ、３７Ｂ、３７Ｃをまとめて手３７と表記する場合がある。また、ユーザ１４Ａの指３８Ａを単に指３８と表記する場合がある。

手術台３６にはマーカー３９が載置されている。マーカー３９は、例えば正方形の枠に白黒の規則的なパターンと上下左右の識別を可能とする識別線が描かれたシートである。マーカー３９は、現実空間ＲＳにおける仮想オブジェクトの出現位置を示す。つまり、仮想オブジェクトは、現実空間ＲＳに存在するマーカー３９上に表示位置が固定されている。

図３では、マーカー３９上に、対象患者の上半身の仰向けの３Ｄ画像４０が仮想オブジェクトとして表示された状態を示している。３Ｄ画像４０は、その体軸が手術台３６の長辺に沿い、かつ頸部がユーザ１４Ｂ側、腰部がユーザ１４Ｃ側となるように配置される。拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃでは、マーカー３９は３Ｄ画像４０によって隠されて表示されない。

ユーザ１４Ａ〜１４Ｃは、３Ｄ画像４０に対して、仮想的なメスを用いて開腹手術を施したり、後述するように皮膚や皮下組織、骨の層を透過させて手術予定の患部を直接視認可能としたり等、様々な処理を施す。この３Ｄ画像４０に対する処理は、同時に複数のユーザ１４が実施すると混乱を来すため、例えば、処理権限を与えられた１人のユーザ１４（ここではユーザ１４Ａ）が代表して実施する。なお、現実空間ＲＳにおいては、手術台３６には３Ｄ画像４０は存在せず、マーカー３９のみが載置されているため、手術台３６上では３Ｄ画像４０を破線で示し、マーカー３９を実線で示している。

３Ｄ画像４０の現実空間ＲＳにおける表示位置がマーカー３９上に固定され、かつユーザ１４Ａ〜１４Ｃの立ち位置が異なるため、ユーザ１４Ａ〜１４Ｃがそれぞれ認識する拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃにおける３Ｄ画像４０の見え方が異なる。具体的には、ユーザ１４Ａは、３Ｄ画像４０の右半身が手前側、頸部が左側に見える。ユーザ１４Ｂは、３Ｄ画像４０の頸部が手前側、腰部が奥側に見える。ユーザ１４Ｃは反対に、３Ｄ画像４０の腰部が手前側、頸部が奥側に見える。

また、例えばユーザ１４がマーカー３９に近付くと、近付くにつれて３Ｄ画像４０が拡大表示され、逆にマーカー３９から遠ざかると、遠ざかるにつれて３Ｄ画像４０が縮小表示される。このように、３Ｄ画像４０の表示は、ＨＭＤ１１（ユーザ１４）とマーカー３９との三次元的な位置関係に応じて変更される。

なお、当然ではあるが、現実空間ＲＳの実在オブジェクトである手術台３６やユーザ１４Ａの手３７Ａ等も、ユーザ１４Ａ〜１４Ｃがそれぞれ認識する拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃにおける見え方が異なる。例えばユーザ１４Ａの手３７Ａの見え方は、ユーザ１４Ａは手前側に見え、ユーザ１４Ｂは右側に見え、ユーザ１４Ｃは反対に左側に見える。

図４に、一例としてユーザ１４Ａが認識する拡張現実空間ＡＲＳ−Ａの成り立ちを示す。ユーザ１４Ａは、ＨＭＤ１１のスクリーン２８と保護枠２７を通じて、手術台３６、ユーザ１４Ａの手３７Ａ、およびマーカー３９が存在する現実空間ＲＳ−Ａを視認する。加えて、ユーザ１４Ａは、スクリーン２８の内面を通じて、３Ｄ画像４０が存在する仮想空間ＶＳ−Ａを視認する。これにより、ユーザ１４Ａは、現実空間ＲＳ−Ａと仮想空間ＶＳ−Ａを融合させた拡張現実空間ＡＲＳ−Ａを認識する。

図５は、３Ｄ画像４０を構成する複数枚のＣＴスキャン画像４５のうちの一枚を示したものである。ここで、ＣＴスキャン画像４５の面（スライス面）と平行な、腹背を結ぶ線に沿った人体の前後方向を深さ方向とする。ＣＴスキャン画像４５には、外側から順に、皮膚４６、脂肪等の皮下組織４７、腹直筋等の筋組織４８、肋骨、胸骨等の骨４９、肝臓５０Ａ、胃５０Ｂ、脾臓５０Ｃ等の内臓５０といった人体組織の層が複数写されている。３Ｄ画像４０は、こうした人体組織の複数の層が写されたＣＴスキャン画像４５を再構成したものであるため、複数の層が深さ方向に重なった仮想オブジェクトである。

複数の層のうち、皮膚４６、皮下組織４７、筋組織４８、骨４９は、３Ｄ画像４０上の位置に関わらず、外側からこの順に存在する。一方、肝臓５０Ａ等の内臓５０は、３Ｄ画像４０において、体軸方向の位置に応じて変わる。ここでは肝臓５０Ａ、胃５０Ｂ、脾臓５０Ｃを例示したが、上半身の３Ｄ画像４０であるため、腎臓、膵臓、小腸、大腸といった他の内臓５０も３Ｄ画像４０に含まれている。

図６において、制御装置１２は、前述のディスプレイ１５および入力デバイス１６に加えて、ストレージデバイス５５、メモリ５６、ＣＰＵ（Central Processing Unit）５７、および通信部５８を備えている。これらはデータバス５９を介して相互接続されている。

ストレージデバイス５５は、制御装置１２に内蔵、またはケーブルあるいはネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス５５には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。

メモリ５６は、ＣＰＵ５７が処理を実行するためのワークメモリである。ＣＰＵ５７は、ストレージデバイス５５に記憶されたプログラムをメモリ５６へロードして、プログラムにしたがった処理を実行することにより、制御装置１２の各部を統括的に制御する。通信部５８は、ＨＭＤ１１および画像蓄積サーバ１９との間の各種データの通信を担う。

図７において、ストレージデバイス５５には作動プログラム６５が記憶されている。作動プログラム６５は、制御装置１２を構成するコンピュータを、ＨＭＤ１１の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス５５には、作動プログラム６５の他に、第１対応情報６６、第２対応情報６７（図１２参照）、および第３対応情報６８が記憶されている。

作動プログラム６５が起動されると、ＣＰＵ５７は、メモリ５６等と協働して、撮像画像取得部７０、３Ｄ画像取得部７１、検出部７２、処理部７３、および表示制御部７４として機能する。

撮像画像取得部７０は、ＨＭＤ１１のカメラ２９から所定のフレームレートで逐次送信される撮像画像を取得する。撮像画像取得部７０は、取得した撮像画像を検出部７２に出力する。

３Ｄ画像取得部７１は、対象患者の３Ｄ画像４０の配信要求を画像蓄積サーバ１９に発行する。また、３Ｄ画像取得部７１は、配信要求に応じて画像蓄積サーバ１９から送信された対象患者の３Ｄ画像４０を取得する。３Ｄ画像取得部７１は、取得した３Ｄ画像４０を処理部７３に出力する。なお、配信要求に含まれる３Ｄ画像４０の検索キーは、入力デバイス１６を介して入力される。

検出部７２は、第１対応情報６６〜第３対応情報６８を参照して、撮像画像取得部７０からの撮像画像に基づいた各種検出を行う。検出部７２は、検出結果を処理部７３に出力する。処理部７３は、検出部７２からの検出結果に基づいた各種処理を実施する。処理部７３は、処理結果を表示制御部７４に出力する。

表示制御部７４は、仮想画像、すなわち仮想オブジェクトとしての３Ｄ画像４０のＨＭＤ１１への表示を制御する表示制御機能を担う。

図８において、検出部７２は、第１検出部８０、第２検出部８１、および第３検出部８２を有する。また、処理部７３は、判定部８３、受付部８４、および３Ｄ画像編集部８５を有する。

第１検出部８０は、第１ジェスチャーを検出する第１検出機能を担う。第１ジェスチャーは、３Ｄ画像４０の複数の層の中からユーザ１４が所望の層を選択するためのジェスチャーである。以下では、ユーザ１４が選択する層を選択層という。

第１検出部８０は、第１対応情報６６を参照して、マーカー３９に対する手３７の甲９０（図９参照）の三次元的な位置を検出する。第１検出部８０は、検出した甲９０の位置の情報（以下、甲位置情報、図９参照）を、検出結果として判定部８３に出力する。

第２検出部８１は、第２ジェスチャーを検出する第２検出機能を担う。第２ジェスチャーは、例えば選択層の透過率を変更する指示を行うためのジェスチャーである。なお、透過率は％で表され、透過率０％の場合は選択層が完全に視認可能な状態、透過率１００％の場合は選択層が完全に透明で、選択層の下の層が視認可能な状態である。

第２検出部８１は、検出した第２ジェスチャーを、第２対応情報６７を参照して選択層の透過率を変更する指示の情報（以下、指示情報、図１３参照）に変換する。第２検出部８１は、変換した指示情報を、検出結果として受付部８４に出力する。

第３検出部８２は、マーカー３９に対するＨＭＤ１１（ユーザ１４の眼）の三次元的な位置を検出する。第３検出部８２は、検出したＨＭＤ１１の位置の情報（以下、ＨＭＤ位置情報）を、検出結果として３Ｄ画像編集部８５に出力する。

検出部７２は、第１ジェスチャーを検出する第１検出部８０、および第２ジェスチャーを検出する第２検出部８１の他にも、第１ジェスチャーおよび第２ジェスチャー以外のジェスチャー、例えば仮想的なメスを用いた開腹手術のモードにおけるジェスチャーを検出する検出部をもつ。

判定部８３は、第１ジェスチャーに基づいて、３Ｄ画像４０の複数の層の中から選択層を判定する判定機能を担う。判定部８３は、第１検出部８０からの甲位置情報を３Ｄ画像編集部８５に出力する。判定部８３は、甲位置情報、並びに甲位置情報に応じて３Ｄ画像編集部８５から送信される、３Ｄ画像４０における複数の層の位置の情報（以下、層位置情報、図１０参照）を元に、甲９０の位置を基準とした判定を行う。判定部８３は、判定した選択層の情報（以下、選択層情報、図１０参照）を、処理結果として表示制御部７４に出力する。

受付部８４は、選択層に対する第２ジェスチャーに応じた指示を受け付ける受付機能を担う。具体的には、受付部８４は、第２検出部８１からの指示情報を受け付ける。受付部８４は、受け付けた指示情報を、処理結果として表示制御部７４に出力する。

３Ｄ画像編集部８５は、第３検出部８２からのＨＭＤ位置情報に応じて、３Ｄ画像取得部７１からの３Ｄ画像４０を編集する。より詳しくは、３Ｄ画像編集部８５は、ＨＭＤ位置情報で示されるＨＭＤ１１の位置から見た場合の向きおよび大きさとなるよう、３Ｄ画像４０に回転処理および拡縮処理を施す。位置情報はユーザ１４Ａ〜１４Ｃ毎に出力される。３Ｄ画像編集部８５は、ユーザ１４Ａ〜１４Ｃ毎の位置情報に基づいて、ユーザ１４Ａ〜１４Ｃ毎に対応する３Ｄ画像４０を編集する。３Ｄ画像編集部８５は、編集した３Ｄ画像４０を、処理結果として表示制御部７４に出力する。また、３Ｄ画像編集部８５は、判定部８３からの甲位置情報に応じた層位置情報を判定部８３に出力する。

なお、処理部７３も、検出部７２と同様に、第１ジェスチャーおよび第２ジェスチャー以外のジェスチャーに応じた処理、例えば開腹手術のモードと選択層の透過率を変更するモードを切り替える等の処理を施す処理部をもつ。

図９において、第１ジェスチャーは、手３７を深さ方向に移動させるジェスチャーである。より詳しくは、指３８を３Ｄ画像４０上の所望の位置（図９では臍付近の位置）に向けた状態の手３７を、深さ方向に沿って所望の位置の上方から下方に振り下ろすジェスチャーである。

第１検出部８０は、周知の画像認識技術を用いて撮像画像内の手３７の甲９０およびマーカー３９を認識する。そして、マーカー３９の中心を原点とする三次元空間における甲９０の位置座標（Ｘ−ＢＨ、Ｙ−ＢＨ、Ｚ−ＢＨ）を甲位置情報として検出する。なお、マーカー３９の中心を原点とする三次元空間とは、マーカー３９の中心を原点とし、マーカー３９が置かれた平面（この場合は手術台３６の上面）をＸＹ平面、マーカー３９が置かれた平面に垂直な軸をＺ軸とする三次元空間である。

手３７のイラストで示すように、ユーザ１４が３Ｄ画像４０に向けて自然に腕を伸ばした場合、カメラ２９には手の平が対向する。このため破線で示すように、撮像画像には実際には甲９０は写らない。そこで、第１検出部８０は、撮像画像に写る手の平の指３８の付け根部分を甲９０として認識する。

ここで、甲位置情報を検出する際に第１検出部８０が参照する第１対応情報６６は、マーカー３９の中心を原点とする三次元空間における甲９０の位置座標を求めるための計算式である。この計算式は、例えば、撮像画像内におけるマーカー３９を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置、並びに手３７の大きさや指３８の長さ等を変数とする。なお、図９では拡張現実空間ＡＲＳを示しているため、３Ｄ画像４０内に入り込んだ指３８の部分が描かれておらず、また、マーカー３９が破線で描かれているが、撮像画像には指３８の全体もマーカー３９も写り込んでいる。

３Ｄ画像４０上に破線で示す符号８７は、甲位置情報で示される甲９０の位置を基準として予め設定されたもので、選択層の透過率を変更する対象となる領域である。以下、この領域を対象領域８７と表記する。対象領域８７は、腹部の大部分をカバーする大きさであり、深さ方向に沿って四角柱状に設定されている。

図１０において、３Ｄ画像編集部８５から判定部８３に出力される層位置情報は、甲位置情報と同様に、マーカー３９の中心を原点とする三次元空間における各層の位置座標である。例えば皮膚４６の位置座標は（Ｘ−ＳＡ、Ｙ−ＳＡ、Ｚ−ＳＡ）である。この位置座標は、対象領域８７内の各層の位置座標の集合である。例えば皮膚４６の位置座標（Ｘ−ＳＡ、Ｙ−ＳＡ、Ｚ−ＳＡ）は、対象領域８７内の皮膚４６の複数の位置座標（Ｘ−Ｓ１、Ｙ−Ｓ１、Ｚ−Ｓ１）、（Ｘ−Ｓ２、Ｙ−Ｓ２、Ｚ−Ｓ２）、（Ｘ−Ｓ３、Ｙ−Ｓ３、Ｚ−Ｓ３）、・・・の集合である。

各層は深さ方向に厚みをもっているため、各層のＺ座標は、当該層の上面側と下面側のＺ座標を少なくとも含む。つまり、各層のＺ座標は各層の深さ方向の範囲を表すものである。

判定部８３は、甲９０と深さ方向の位置が一致する層を選択層と判定する。図１０では、第１検出部８０からの甲位置情報のＺ座標（Ｚ−ＢＨ）と、３Ｄ画像編集部８５からの層位置情報の皮膚４６のＺ座標（Ｚ−ＳＡ）とが一致する（Ｚ−ＢＨがＺ−ＳＡで示される皮膚４６の範囲内にある）ため、皮膚４６を選択層と判定した場合を例示している。なお、肝臓５０Ａ等の内臓５０の場合は、Ｚ座標だけでなく、甲位置情報と層位置情報のＸＹ座標が一致するか否かも加味して判定が行われる。

図１１は、図１０で例示した、皮膚を選択層と判定した場合の、実際の甲９０の位置と皮膚４６の位置関係を端的に表したものである。このように、皮膚４６と甲９０の深さ方向の位置が一致するため、判定部８３で皮膚４６が選択層と判定される。

図１２において、第２対応情報６７は、指３８の回転方向と、透過率の変動方向および透過率の単位変動幅との対応関係を示すものである。ここでは、甲９０を支点として指３８を時計回りに回転させるジェスチャーを、透過率を上げるジェスチャーに、甲９０を支点として指３８を反時計回りに回転させるジェスチャーを、透過率を下げるジェスチャーにそれぞれ対応させている。単位変動幅は、指３８の単位回転量（例えば指３８の１回転分）に対する透過率の変動幅である。時計回りの場合には＋１０％が、反時計回りの場合は−１０％がそれぞれ対応付けられている。

左側の２コマのイラストは、それぞれの回転方向に回転させた場合の撮像画像に写る指３８の軌跡である。上のコマは指３８を時計回りに回転させた場合、下のコマは反時計回りに回転させた場合である。双方の場合とも甲９０は回転の支点であるため、指３８を回転させても甲９０の位置は変化しない。

第２検出部８１は、第１検出部８０と同じく、周知の画像認識技術を用いて撮像画像内の指３８を認識し、認識した指３８の位置を所定フレーム毎に比較して、指３８の回転方向および回転量を検出する。そして、第２対応情報６７を参照して、検出した指３８の回転方向および回転量を指示情報に変換する。例えば図１３に示すように、指３８が時計回りに２回転したことを検出した場合は、透過率を２０％上げる指示情報に変換する。なお、初期段階においては、全ての層の透過率が０％に設定される。

第３検出部８２も他の検出部８０、８１と同じく、周知の画像認識技術を用いて撮像画像内のマーカー３９を認識する。そして、マーカー３９を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を検出し、これらと第３対応情報６８とに基づいて、ＨＭＤ位置情報を検出する。

ＨＭＤ位置情報は、甲位置情報および層位置情報と同様に、マーカー３９の中心を原点とする三次元空間におけるＨＭＤ１１の位置座標である。また、第３対応情報６８は、マーカー３９の中心を原点とする三次元空間におけるＨＭＤ１１の位置座標を求めるための計算式である。この計算式は、例えば、マーカー３９を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を変数とする。

表示制御部７４は、判定部８３からの選択層情報、および受付部８４からの指示情報に応じて、３Ｄ画像編集部８５からの３Ｄ画像４０の選択層の透過率を変更する。例えば図１４に示すように、選択層が皮膚４６で、第２ジェスチャーの指３８の回転方向が時計回り、回転量が１０回転であった場合、表示制御部７４は、矢印下部に示すように、対象領域８７における皮膚４６の透過率を１００％とし、対象領域８７において皮膚４６の下の層である皮下組織４７の層を露呈させる。なお、図１４では皮膚４６の透過率を変更する例を挙げたが、他の層についても同様に透過率が変更される。

また、表示制御部７４は、判定部８３からの選択層情報に応じて、選択層の場合とそうでない場合とで層の表示態様を異ならせる。例えば図１５に示すように、皮膚４６、皮下組織４７、筋組織４８、骨４９の各層の透過率が１００％に変更され、肝臓５０Ａ、胃５０Ｂ等の複数の内臓５０が視認可能な状態において、肝臓５０Ａが選択層とされた場合、表示制御部７４は、ハッチングで示すように肝臓５０Ａに対して選択層でない場合と異なる色付けをする。例えば肝臓５０Ａの色を、選択層でない場合の赤褐色から黄色に変更する。なお、色を異ならせる方法に代えて、あるいは加えて、選択層の明るさや色の濃度を選択層でない場合と異ならせてもよく、選択層を明滅させてもよい。

さらに、表示制御部７４は、選択層が他の層で覆い隠されていて、選択層をユーザ１４が視認不可能な場合、図１６に示すように選択層の名称を示すアノテーション９５を表示させる。図１６は、皮膚４６の透過率が０％で、内臓５０が皮膚４６で覆い隠されて視認不可能な状態において、肝臓５０Ａが選択層とされた場合を例示している。この場合、アノテーション９５には「肝臓」の文字が表示される。なお、図１５および図１６では、煩雑を避けるため内臓５０として肝臓５０Ａと胃５０Ｂの２つだけ描画しているが、実際には他の内臓５０も表示される。

以下、上記構成による作用について、図１７および図１８のフローチャートを参照して説明する。まず、ユーザ１４Ａ〜１４Ｃは、カンファレンスを開くために手術室３５に集まり、ＨＭＤ１１Ａ〜１１Ｃを頭部に装着する。そして、手術台３６の所望の位置にマーカー３９を載置する。次いで、制御装置１２の入力デバイス１６を操作し、対象患者の３Ｄ画像４０の配信要求を画像蓄積サーバ１９に送信する。これにより、画像蓄積サーバ１９から制御装置１２に対象患者の３Ｄ画像４０が配信される。

図１７に示すように、制御装置１２において、対象患者の３Ｄ画像４０は３Ｄ画像取得部７１で取得される（ステップＳ１０）。３Ｄ画像４０は表示制御部７４を介してＨＭＤ１１に表示される（ステップＳ１１、表示制御ステップ）。

ユーザ１４は、例えば患部を詳細に把握するために３Ｄ画像４０に近付いたり、全体像を把握するために３Ｄ画像４０から遠ざかったりする。あるいは、ユーザ１４は、患部を違った角度から観察するために、顔の向きや立ち位置を変える。また、ユーザ１４は、３Ｄ画像４０に対してジェスチャーで様々な処理を施す。

制御装置１２では、撮像画像取得部７０で取得したカメラ２９の撮像画像に基づいて、ＨＭＤ１１の位置、およびジェスチャーが検出部７２で検出される（ステップＳ１２）。そして、検出結果に応じた処理が処理部７３で施される（ステップＳ１３）。例えば第３検出部８２でマーカー３９に対するＨＭＤ１１の三次元的な位置が検出され、その検出結果であるＨＭＤ位置情報に応じて、３Ｄ画像編集部８５で３Ｄ画像４０が編集される。

これらステップＳ１１〜Ｓ１３の各処理は、入力デバイス１６を介してカンファレンス終了の指示が入力されるまで（ステップＳ１４でＹＥＳ）繰り返し続けられる。

図１８のフローチャートは、選択層の透過率を変更するモードの処理手順を示す。まず、第１検出部８０で第１ジェスチャーが検出された場合（ステップＳ１００でＹＥＳ、第１検出ステップ）、図９で示したように、第１検出部８０から判定部８３に、マーカー３９に対する手３７の甲９０の三次元的な位置を示す甲位置情報が出力される。

判定部８３では、図１０で示したように、第１検出部８０からの甲位置情報と３Ｄ画像編集部８５からの層位置情報とに基づき、選択層が判定される（ステップＳ１１０、判定ステップ）。選択層情報は表示制御部７４に出力される。

続いて第２検出部８１で第２ジェスチャーが検出された場合（ステップＳ１２０でＹＥＳ、第２検出ステップ）、図１２および図１３で示したように、第２対応情報６７が参照されて第２ジェスチャーが指示情報に変換される。指示情報は受付部８４に出力される。

受付部８４では、第２検出部８１からの指示情報が受け付けられる（ステップＳ１３０、受付ステップ）。指示情報は表示制御部７４に出力される。

表示制御部７４では、判定部８３からの選択層情報、および受付部８４からの指示情報に応じて、図１４で示したように３Ｄ画像４０の選択層の透過率が変更される（ステップＳ１４０）。また、図１５で示したように、選択層がそうでない場合と異なる表示態様で表示される。さらに、図１６で示したように、選択層の名称を示すアノテーション９５が表示される。

これら一連の処理は、ユーザ１４から選択層の透過率を変更するモードを終了する指示があるまで（ステップＳ１５０でＹＥＳ）、繰り返し続けられる。なお、選択層の透過率を変更するモードを終了する指示は、第１ジェスチャーおよび第２ジェスチャーとは異なる、例えば両手でバツ印を作るといったジェスチャーにより行われる。

選択層に対する指示を行うための指３８を回す第２ジェスチャーで位置が変化しない甲９０の位置を基準として選択層を判定するので、選択層に対する指示を選択層の選択と誤認識してしまうおそれがない。また、選択層を選択するためのジェスチャーを、手３７を深さ方向に移動させる第１ジェスチャーとし、選択層に対する指示を行うためのジェスチャーを、指３８を回す第２ジェスチャーとしたので、片方の手３７だけで素早く簡単に選択層の選択と選択層に対する指示とを行うことができる。したがって、ユーザ１４の利便性を高めることができる。

選択層の場合とそうでない場合とで層の表示態様を異ならせるので、ユーザ１４は自分が今どの層を選択しているかが一目で分かる。また、選択層の名称を示すアノテーション９５を表示させるので、選択層をユーザ１４が視認不可能な場合でも、ユーザ１４に選択層がどの層かを知覚させることができる。

３Ｄ画像４０の現実空間における表示位置が固定されているので、ユーザ１４は、３Ｄ画像４０をあたかも実在オブジェクトのように認識することができる。このため、対象患者が手術台３６に実際に寝ているような感覚でカンファレンスを行うことができる。

上記第１実施形態では、選択層が他の層で覆い隠されていて、選択層をユーザ１４が視認不可能な場合にアノテーション９５を表示させているが、選択層をユーザ１４が視認可能か不可能かに関わらず、アノテーション９５を表示させてもよい。例えば全ての層の透過率が０％に設定された初期段階において、皮膚４６が選択層とされた場合も、「皮膚」の文字が記されたアノテーション９５を表示する。また、表示態様を異ならせることによる選択層の表示と、選択層の名称を示すアノテーション９５の表示とを同時に行ってもよい。

［第２実施形態］
上記第１実施形態では、甲９０と深さ方向の位置が一致する層を選択層と判定している。この場合、図９や図１１等に示すように、指３８が層内に入り込んで見えなくなる。このため、ユーザ１４によっては、選択層よりも奥側の層を選択している感覚であるのに、手前側の層が選択層とされるので違和感を覚える場合がある。そこで、図１９および図２０に示す第２実施形態では、指３８の先が触れている層が選択されているように見せて、ユーザ１４が違和感を抱くおそれを除く。

具体的には図１９に示すように、第１検出部８０は、甲位置情報のＺ座標（Ｚ−ＢＨ）から指３８の長さＦＬを加算あるいは減算することで、指３８の先のＺ座標（Ｚ−ＥＦＴ）を算出する。つまり、甲９０の位置を基準として、甲９０から指先方向へ一定の距離の位置にある層が選択される。甲位置情報のＺ座標（Ｚ−ＢＨ）から指３８の長さＦＬを加算するか減算するかは、原点の位置によって決まる。指３８の長さＦＬには、例えば成人男性の平均的な値が登録されている。第１検出部８０は、甲位置情報の代わりに、算出したＺ−ＥＦＴをＺ座標とする推定指先位置情報（ＸＹ座標は甲位置情報と同じ）を判定部８３に出力する。

判定部８３は、第１検出部８０からの推定指先位置情報と３Ｄ画像編集部８５からの層位置情報とに基づいて選択層の判定を行う。判定部８３は、甲９０から推定される指３８の先と深さ方向の位置が一致する層を選択層と判定する。図１９では、第１検出部８０からの推定指先位置情報のＺ座標（Ｚ−ＥＦＴ）と、３Ｄ画像編集部８５からの層位置情報の皮膚４６のＺ座標（Ｚ−ＳＡ）とが一致する（Ｚ−ＥＦＴがＺ−ＳＡで示される皮膚４６の範囲内にある）ため、皮膚４６を選択層と判定した場合を例示している。

この場合、図２０に示すように、上記第１実施形態の甲９０ではなく、甲９０から推定した指３８の先９７と深さ方向の位置が一致する皮膚４６が、判定部８３で選択層と判定される。このように、ユーザ１４の見た目では、指３８の先９７が触れた層が選択層とされるので、ユーザ１４が違和感を抱くおそれがない。また、判定の基準はあくまでも甲９０であるため、上記第１実施形態と同じく、選択層に対する指示を選択層の選択と誤認識してしまうおそれもない。

指３８の長さＦＬは、成人男性の平均的な値といった定数に限らない。撮像画像内の手３７の大きさや向き等を変数とする計算式で指３８の長さＦＬを求めてもよい。また、指３８の先９７のＺ座標（Ｚ−ＥＦＴ）だけでなく、ＸＹ座標も同様にして推定してもよい。

［第３実施形態］
図２１に示す第３実施形態では、手３７と３Ｄ画像４０との距離感をユーザ１４が掴みやすくする。具体的には、層と手３７との深さ方向に関する距離に応じて、層の色を変化させる。

層と手３７との深さ方向に関する距離は、甲位置情報のＺ座標（Ｚ−ＢＨ）から層位置情報の層の上面のＺ座標を減算することで算出される。この距離の算出は判定部８３で行われ、算出した距離の情報（以下、距離情報）は表示制御部７４に出力される。表示制御部７４は、判定部８３からの距離情報に基づいて、例えば距離が近付くにつれて層の色を濃くする。

図２１は、手３７との深さ方向に関する距離に応じて対象領域８７内の皮膚４６の色を変化させる様子を示す。Ａ矢印の左側においては、皮膚４６と手３７との深さ方向に関する距離が、中央およびＢ矢印の右側と比較して最も離れている。このため、粗いハッチングで示すように、対象領域８７内の皮膚４６が例えば淡い橙色で色付けされる。Ａ矢印の左側よりも距離が近付いた中央では、Ａ矢印の左側よりも濃い橙色で色付けされる。そして、甲９０と皮膚４６の深さ方向の位置が一致し、皮膚４６が選択層と判定されたＢ矢印の右側では、中央よりもさらに濃い橙色で色付けされる。

このように、層と手３７との深さ方向に関する距離に応じて、層の色を変化させるので、ユーザ１４は手３７と３Ｄ画像４０との距離感が掴みやすい。したがって、よりユーザの利便性を高めることができる。

なお、図２１では、手３７との深さ方向に関する距離に応じて皮膚４６の色を変化させる例を挙げたが、手３７との深さ方向に関する距離に応じて色を変化させる層は皮膚４６に限らない。ユーザ１４が視認可能で、かつ最も外側の層であれば、皮膚４６以外の層も手３７との深さ方向に関する距離に応じて色を変化させる。例えば皮膚４６等の透過率が５０％（半透明）で内臓５０が透けて見えている状態の場合は、内臓５０が視認可能な状態であるため、手３７との深さ方向に関する距離に応じて内臓５０の色を変化させる。

［第４実施形態］
上記各実施形態では、第２ジェスチャーとして指３８を回すジェスチャーを例示し、受付部８４で受け付ける指示として、選択層の透過率を変更する指示を例示したが、本発明はこれに限定されない。図２２および図２３に示す第４実施形態では、第２ジェスチャーを、指３８をタップするジェスチャーとし、受付部８４で受け付ける指示を、選択層に注釈を与える指示とする。

図２２において、第４実施形態の第２ジェスチャーである指３８をタップするジェスチャーは、甲９０を支点として指３８を甲９０側に反らせた後に元の位置に戻すというものである。この指３８をタップするジェスチャーも、上記各実施形態の指３８を回すジェスチャーと同じく、甲９０の位置が変化しない。このため、上記各実施形態と同じく、選択層に対する指示を選択層の選択と誤認識してしまうおそれがない。

第２検出部８１は、指３８をタップするジェスチャーを検出した場合、選択層に注釈を与える旨の指示情報を受付部８４に出力する。受付部８４はこの選択層に注釈を与える旨の指示情報を表示制御部７４に出力する。表示制御部７４は、図２３に示すように、選択層（ここでは肝臓５０Ａ）に対して注釈（ここでは「肝右葉腫大」）が記されたアノテーション１００を表示させる。なお、注釈は、例えばＨＭＤ１１に搭載したマイクでユーザ１４の音声を収録し、収録した音声を認識して文字に変換することで入力する。

このように、第２ジェスチャーは、選択層の判定の基準となる甲９０の位置が変化しないものであれば、指３８を回すジェスチャー以外でもよい。図２２では指３８を１回タップするシングルタップを例示したが、指３８を連続して２回タップするダブルタップを第２ジェスチャーとしてもよい。また、受付部８４で受け付ける指示も、選択層の透過率を変更する指示、選択層に注釈を与える指示に限らない。選択層上の２点間の距離を測定する指示等でもよい。

さらに、選択層の透過率を変更するのではなく、選択層以外の他の層の透過率を変更してもよい。例えば選択層が肝臓５０Ａであった場合、肝臓５０Ａ以外の他の層の皮膚４６、皮下組織４７、筋組織４８、骨４９、および他の内臓５０の透過率をまとめて変更する。こうすれば、選択層だけを視認したい場合に、他の層の透過率を一気に１００％に変更することができ好適である。選択層の透過率を変更するか、選択層以外の他の層の透過率を変更するかをユーザ１４が切り替え可能な構成としてもよい。

カメラ２９の撮像画像と３Ｄ画像４０の合成画像内の手３７の甲９０と３Ｄ画像４０との位置関係に基づいて、甲位置情報を検出してもよい。

対象領域８７は上記各実施形態のように四角柱状に限らない。例えば甲９０を中心とする円あるいは楕円を面とする円柱あるいは楕円柱形状でもよい。

ＨＭＤ１１は、上記各実施形態のようにゴーグル形状の保護枠２７でユーザ１４の両目全体を覆い、バンド部２６をユーザ１４の頭部に固定するタイプに限らない。ユーザ１４の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプのＨＭＤを用いてもよい。

カメラ２９はＨＭＤ１１に搭載されていなくてもよい。少なくともユーザ１４の手３７を撮像可能であれば、カメラ２９の設置位置は問わない。このため、カメラ２９は、ユーザ１４がＨＭＤ１１を通じて認識する拡張現実空間ＡＲＳと同じ視野を撮像するものでなくともよい。例えばカメラ２９を、処理権限を与えられたユーザ１４の手３７の甲９０が写り込む、手術室３５の任意の位置に設置してもよい。

上記各実施形態では、ユーザ１４を３人としたが、ユーザ１４は１人でも２人でもよく、３人以上でもよい。

上記各実施形態では、マーカー３９で仮想オブジェクトの出現位置を規定する手法を用いているが、マーカー３９を用いずに、設定された特定の実在オブジェクトに仮想オブジェクトを出現させる手法を採用してもよい。この場合、撮像画像に写る特定の実在オブジェクトを画像認識技術により認識し、認識した特定の実在オブジェクトをマーカー３９に見立てて、特定の実在オブジェクト上に仮想オブジェクトを表示させる。

上記各実施形態では、ＨＭＤ１１の制御装置の機能をデスクトップ型のパーソナルコンピュータに担わせているが、本発明はこれに限定されない。画像蓄積サーバ１９がＨＭＤ１１の制御装置の機能の全てまたは一部を担ってもよい。例えば３Ｄ画像編集部８５の機能を画像蓄積サーバ１９が担う。この場合は画像蓄積サーバ１９からＨＭＤ１１に３Ｄ画像をストリーミング配信してもよい。

あるいは、図２４に示すように、画像蓄積サーバ１９とは別のネットワークサーバ１０５がＨＭＤ１１の制御装置の機能を担ってもよい。さらには、医療施設１３内に設置されたローカルサーバがＨＭＤ１１の制御装置の機能を担ってもよい。画像蓄積サーバ１９も医療施設１３内にローカルサーバとして設置されていてもよい。

もしくは、図２５に示すように、ユーザ１４が腰等に付けて携帯可能な携帯コンピュータ１１０にＨＭＤ１１の制御装置の機能を担わせてもよい。この場合、ＨＭＤ１１の制御装置の機能を担うコンピュータを、制御装置１２のような市販のパーソナルコンピュータではなく、画像表示システム１０に特化した専用の製品としてもよい。また、ＨＭＤ１１自体に制御装置の機能を搭載してもよい。この場合はＨＭＤ１１自体が制御装置となる。

このように、本発明のＨＭＤ１１の制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。ＨＭＤ１１の制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、撮像画像取得部７０および検出部７２の機能と、３Ｄ画像取得部７１、処理部７３、および表示制御部７４の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータでＨＭＤ１１の制御装置を構成する。

以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６５等のＡＰについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

３Ｄ画像４０は、対象患者の上半身の仰向けの画像に限らない。全身の仰向けの画像でもよいし、頭部等の他の部位の画像でもよい。また、層としては、上記各実施形態で例示した皮膚４６、皮下組織４７等に代えて、あるいは加えて、血管組織、神経組織等でもよい。

上記各実施形態では、画像表示システム１０の用途として医療施設１３内で行われる術前カンファレンスを例示し、仮想オブジェクトとして３Ｄ画像４０を例示したが、画像表示システム１０の用途は術前カンファレンスに限定されず、したがって仮想オブジェクトも３Ｄ画像４０に限定されない。例えば画像表示システム１０の用途をゲーム用途とし、ゲームのキャラクター等を仮想オブジェクトとして表示してもよい。

上記各実施形態において、例えば、撮像画像取得部７０、３Ｄ画像取得部７１、検出部７２（第１検出部８０、第２検出部８１、第３検出部８２）、処理部７３（判定部８３、受付部８４、３Ｄ画像編集部８５）、表示制御部７４といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、ＣＰＵ、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路等が含まれる。ＣＰＵは、周知のとおりソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

上記記載から、以下の付記項１に記載の画像表示システムを把握することができる。
［付記項１］
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記ユーザの手を前記深さ方向に移動させる第１ジェスチャーを検出する第１検出プロセッサと、
前記手の指を用いた第２ジェスチャーを検出する第２検出プロセッサと、
前記第１ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定プロセッサであり、前記手の甲の位置を基準とした前記判定を行う判定プロセッサと、
前記第２ジェスチャーに応じた前記選択層に対する指示を受け付ける受付プロセッサとを備える画像表示システム。

本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。例えば、第１実施形態と第４実施形態、あるいは第２実施形態と第３実施形態を複合して実施してもよい。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。

１０ 画像表示システム
１１、１１Ａ〜１１Ｃ ヘッドマウントディスプレイ（ＨＭＤ）
１２ 制御装置
１３ 医療施設
１４、１４Ａ〜１４Ｃ ユーザ
１５ ディスプレイ
１６ 入力デバイス
１７ ネットワーク
１８ データセンタ
１９ 画像蓄積サーバ
２５ 本体部
２６ バンド部
２７ 保護枠
２８ スクリーン
２９ カメラ
３０ ケーブル
３１ 横バンド
３２ 縦バンド
３５ 手術室
３６ 手術台
３７、３７Ａ、３７Ｂ、３７Ｃ 手
３８、３８Ａ 指
３９ マーカー
４０ 三次元ボリュームレンダリング画像（３Ｄ画像）
４５ ＣＴスキャン画像
４６ 皮膚
４７ 皮下組織
４８ 筋組織
４９ 骨
５０ 内臓
５０Ａ 肝臓
５０Ｂ 胃
５０Ｃ 脾臓
５５ ストレージデバイス
５６ メモリ
５７ ＣＰＵ
５８ 通信部
５９ データバス
６５ 作動プログラム
６６ 第１対応情報
６７ 第２対応情報
６８ 第３対応情報
７０ 撮像画像取得部
７１ ３Ｄ画像取得部
７２ 検出部
７３ 処理部
７４ 表示制御部
８０ 第１検出部
８１ 第２検出部
８２ 第３検出部
８３ 判定部
８４ 受付部
８５ ３Ｄ画像編集部
８７ 対象領域
９０ 甲
９５、１００ アノテーション
９７ 指の先
１０５ ネットワークサーバ（制御装置）
１１０ 携帯コンピュータ（制御装置）
ＡＲＳ、ＡＲＳ−Ａ〜ＡＲＳ−Ｃ 拡張現実空間
ＲＳ、ＲＳ−Ａ 現実空間
ＶＳ、ＶＳ−Ａ 仮想空間
Ｓ１０〜Ｓ１４、Ｓ１００〜Ｓ１５０ ステップ

Claims (13)

1. ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
   複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、
   前記ユーザの手を前記深さ方向に移動させる第１ジェスチャーを検出する第１検出部と、
   前記手の指を用いた第２ジェスチャーを検出する第２検出部と、
   前記第１ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定部であり、前記手の甲の位置を基準とした前記判定を行う判定部と、
   前記第２ジェスチャーに応じた前記選択層に対する指示を受け付ける受付部とを備える画像表示システム。
2. 前記判定部は、前記手の甲と前記深さ方向の位置が一致する前記層を前記選択層と判定する請求項１に記載の画像表示システム。
3. 前記判定部は、前記手の甲から推定される前記指の先と前記深さ方向の位置が一致する前記層を前記選択層と判定する請求項１に記載の画像表示システム。
4. 前記表示制御部は、前記選択層の場合とそうでない場合とで前記層の表示態様を異ならせる請求項１ないし３のいずれか１項に記載の画像表示システム。
5. 前記表示制御部は、前記選択層の名称を示すアノテーションを表示させる請求項１ないし４のいずれか１項に記載の画像表示システム。
6. 前記表示制御部は、前記層と前記手との前記深さ方向に関する距離に応じて、前記層の色を変化させる請求項１ないし５のいずれか１項に記載の画像表示システム。
7. 前記第２ジェスチャーは、前記指を回す、または前記指をタップするジェスチャーである請求項１ないし６のいずれか１項に記載の画像表示システム。
8. 前記受付部は、前記指示として、前記選択層の透過率を変更する指示を受け付ける請求項１ないし７のいずれか１項に記載の画像表示システム。
9. 前記仮想オブジェクトは、前記現実空間における表示位置が固定されている請求項１ないし８のいずれか１項に記載の画像表示システム。
10. 前記仮想オブジェクトは、人体の三次元ボリュームレンダリング画像である請求項１ないし９のいずれか１項に記載の画像表示システム。
11. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置において、
    複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、
    前記ユーザの手を前記深さ方向に移動させる第１ジェスチャーを検出する第１検出部と、
    前記手の指を用いた第２ジェスチャーを検出する第２検出部と、
    前記第１ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定部であり、前記手の甲の位置を基準とした前記判定を行う判定部と、
    前記第２ジェスチャーに応じた前記選択層に対する指示を受け付ける受付部とを備えるヘッドマウントディスプレイの制御装置。
12. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、
    複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
    前記ユーザの手を前記深さ方向に移動させる第１ジェスチャーを検出する第１検出ステップと、
    前記手の指を用いた第２ジェスチャーを検出する第２検出ステップと、
    前記第１ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定ステップであり、前記手の甲の位置を基準とした前記判定を行う判定ステップと、
    前記第２ジェスチャーに応じた前記選択層に対する指示を受け付ける受付ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。
13. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
    複数の層が深さ方向に重なった三次元の仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御機能と、
    前記ユーザの手を前記深さ方向に移動させる第１ジェスチャーを検出する第１検出機能と、
    前記手の指を用いた第２ジェスチャーを検出する第２検出機能と、
    前記第１ジェスチャーに基づいて、複数の前記層の中から前記ユーザが選択する選択層を判定する判定機能であり、前記手の甲の位置を基準とした前記判定を行う判定機能と、
    前記第２ジェスチャーに応じた前記選択層に対する指示を受け付ける受付機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。

Images