JPWO2014141504A1 - ３次元ユーザインタフェース装置及び３次元操作処理方法 - Google Patents

Abstract

３次元ユーザインタフェース装置（１００）は、視線画像に基づいて３次元座標空間を設定する座標設定部（１０２）と、その３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部（１０３）と、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、その生成された３次元領域データにより示される仮想３次元操作領域を表示させる表示処理部（１０４）と、操作者の特定部位に関し取得される３次元座標空間上の３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する操作検出部（１０６）と、を有する。

Description

本発明は、３次元ユーザインタフェース技術に関する。

近年、ＫＩＮＥＣＴ（登録商標）等の距離センサやＷＥＢカメラ等を使用して、ユーザのジェスチャを検出し、検出されたジェスチャに応じて機器を制御するユーザインタフェースが普及しつつある。

ジェスチャ操作では、ボタン操作やタッチパネルへのタッチ操作等とは異なり、操作に対する感触がなく、かつ、操作空間に対する制限が少ない。よって、ジェスチャを用いたユーザインタフェースでは、仮想の操作領域が設定され、この仮想の操作領域により、操作者の操作開始及び操作終了が判断される。

下記特許文献１では、ユーザの手を認識し、認識された手の周囲にユーザ操作可能な非表示の操作領域を設定し、その手の移動に追随してその操作領域の位置を移動させる手法が提案されている。また、下記特許文献２では、複数の操作者の操作部位をそれぞれ認識し、操作者毎に操作部位の可動範囲をそれぞれ算出し、重複部分が排除された各可動範囲に基づいて、各操作者にジェスチャ認識範囲をそれぞれ設定する手法が提案されている。下記特許文献３では、撮像装置と操作者との位置関係や障害物の位置などにより変化する操作者の操作可能範囲を表示する手法が提案されている。

特開２０１１−８１５０６号公報 特開２０１１−２４３０３１号公報 特開２０１１−１７５４０５号公報

ユーザインタフェースの操作者や提供者は、各個人の使い易さ、ジェスチャ認識処理の精度、ジェスチャ操作での操作対象などに応じて、所望の大きさで、又は、所望の位置に、或いは、所望の数、当該操作領域を配置することを望む可能性がある。このため、当該操作領域が自由に設定できない場合、ジェスチャ操作を用いた使い易いユーザインタフェースを実現するのが困難となる可能性がある。

上述の各提案手法では、ジェスチャ操作を検出するための操作領域を自由に設定できない。例えば、上記特許文献１及び２の提案手法は、操作者の操作部位の可動範囲を自動的に操作領域に設定している。このような自動設定により、操作者に操作領域を認識させる必要がないという思想の下、これら提案手法は、操作領域を表示しない。しかしながら、このような手法では、操作者の操作部位に操作領域が追従するため、操作者が意図しないジェスチャ操作が認識されてしまい、結果として、誤操作を引き起こし易くなる。一方、上記特許文献３の提案手法は、操作領域を表示するが、使用者の位置及び障害物の位置に応じて自動的に操作領域（操作可能範囲）を設定する。よって、この提案手法でも、操作領域を自由に設定することはできない。

本発明は、上述のような事情に鑑みてなされたものであり、操作者のジェスチャ操作を検出するための立体的な操作領域を自由に設定可能とすることにより、ジェスチャ操作を用いたユーザインタフェースのユーザビリティを向上させる技術を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面に係る３次元ユーザインタフェース装置は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得する視線画像取得部と、視線画像取得部により取得される視線画像に基づいて、３次元座標空間を設定する座標設定部と、その３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部と、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、仮想データ生成部により生成される３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させる表示処理部と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部と、位置取得部により取得される３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する操作検出部と、を有する。

第２の側面に係る３次元操作処理方法は、少なくとも１つのコンピュータにより実行される。第２の側面に係る３次元操作処理方法は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得し、取得された視線画像に基づいて、３次元座標空間を設定し、３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成し、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、上記生成された３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する、ことを含む。

なお、本発明の他の側面として、上記第２の側面における方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、操作者のジェスチャ操作を検出するための立体的な操作領域を自由に設定可能とし、ジェスチャ操作を用いたユーザインタフェースのユーザビリティを向上させる技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る３次元ユーザインタフェース装置の構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムのハードウェア構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムの利用形態の例を示す図である。 ヘッドマウントディスプレイ（ＨＭＤ）の外観構成の例を示す図である。 第１実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。 第１実施形態における表示側装置の処理構成例を概念的に示す図である。 ヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 ヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の他の例を示す図である。 操作者の特定部位の実際の動きを概念的に示す図である。 どら焼き型の仮想３次元操作領域と検出される操作との関係の例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムの動作例を示すシーケンスチャートである。 第２実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。 第２実施形態における表示側装置の処理構成例を概念的に示す図である。 第２実施形態における３次元ユーザインタフェースシステムの動作例を示すシーケンスチャートである。 機能メニューの表示例を示す図である。 第３実施形態における表示側装置の動作例を示すフローチャートである。 機能メニューの他の表示例を示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

図１は、本発明の実施の形態に係る３次元ユーザインタフェース装置１００の構成例を概念的に示す図である。図１に示されるように、３次元ユーザインタフェース装置１００は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得する視線画像取得部１０１と、視線画像取得部１０１により取得される視線画像に基づいて、３次元座標空間を設定する座標設定部１０２と、その３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部１０３と、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、仮想データ生成部１０３により生成される３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させる表示処理部１０４と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部１０５と、位置取得部１０５により取得される３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する操作検出部１０６と、を有する。

図１に示される３次元ユーザインタフェース装置１００は、例えば、後述する詳細実施形態における３次元ユーザインタフェースシステム１と同様のハードウェア構成を有し、その３次元ユーザインタフェースシステム１と同様にプログラムが処理されることで、上述の各処理部が実現される。操作者の頭部に装着される撮像部及び表示部は、３次元ユーザインタフェース装置１００と通信可能に接続される。

本実施形態における３次元操作処理方法は、上述の３次元ユーザインタフェース装置１００のような少なくとも１つのコンピュータにより実行される。本３次元操作処理方法は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得し、取得された視線画像に基づいて、３次元座標空間を設定し、３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成し、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、上記生成された３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する、ことを含む。

本実施形態では、操作者にとっての視線画像が取得され、この取得された視線画像に基づいて３次元座標空間が設定される。視線画像とは、操作者の目が向いている方向と同じ又は略同じ方向から当該撮像部により撮像される画像である。仮想３次元操作領域が実空間上に存在するように操作者に認識させることができれば、視線画像は、操作者により視認される画像と完全に一致しなくてもよい。当該３次元座標空間は、そのような視線画像から設定されるため、視線画像に写る現実空間と整合する。ここで、３次元座標空間の設定とは、３軸の方向、中心点、座標単位などを決めることを意味する。なお、視線画像に基づく３次元座標空間の具体的設定手法には、周知の手法が利用されればよいため、その手法は、後述の詳細実施形態の項において一例を説明する。

更に、本実施形態では、そのように設定された３次元座標空間に基づいて、３次元領域データが生成される。この３次元領域データは、操作者の操作を検出するための仮想３次元操作領域を示し、更に、その仮想３次元操作領域に関する当該３次元座標空間上の位置を少なくとも示す。本実施形態では、当該仮想３次元操作領域の位置は任意である。そして、３次元領域データに基づいて、仮想３次元操作領域が、操作者の頭部に装着される表示部に、少なくとも領域境界が視認可能な状態で透過的に表示される。更に、本実施形態では、操作者の特定部位に関する３次元座標空間上の３次元位置が取得され、取得された３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作が検出される。

このように、本実施形態によれば、ジェスチャ操作を検出するための仮想３次元操作領域を任意の位置で設定することができる。更に、仮想３次元操作領域は、少なくとも領域境界が視認可能な状態で透過的に表示されるため、操作者は、ジェスチャ操作の操作領域を容易に把握することができる。加えて、仮想３次元操作領域は、視線画像に写る空間に相当する３次元座標空間内の視認空間を表示基準として、任意の位置で表示されるため、操作者は、当該仮想３次元操作領域が現実空間に存在するものとして視認することができ、直感的にその操作領域を認識することができる。ひいては、容易かつ直感的に認識し得る仮想３次元操作領域により、操作者は、操作し易くなる。結果、本実施形態によれば、ジェスチャ操作を用いたユーザインタフェースのユーザビリティを向上させることができる。

以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として第１実施形態、第２実施形態及び第３実施形態を例示する。以下の各詳細実施形態は、上述の３次元ユーザインタフェース装置１００及び３次元操作処理方法を３次元ユーザインタフェースシステムに適用した場合の例である。但し、以下の各詳細実施形態では、ユーザインタフェースに関連する処理のみが説明され、検出された操作に応じて制御される内容や制御される対象については、周知の技術が利用されればよいため、特に説明されない。
［第１実施形態］
〔システム構成〕
図２は、第１実施形態における３次元ユーザインタフェースシステム（以降、単にシステムと表記する）１のハードウェア構成例を概念的に示す図である。第１実施形態におけるシステム１は、センサ側構成と表示側構成とを持つ。センサ側構成は、３次元センサ（以降、３Ｄセンサと表記する）８及びセンサ側装置１０から形成される。表示側構成は、ヘッドマウントディスプレイ（以降、ＨＭＤと表記する）９及び表示側装置２０から形成される。以降、３次元を３Ｄと適宜省略して表記する。

図３は、第１実施形態におけるシステム１の利用形態の例を示す図である。図３に示されるように、３Ｄセンサ８は、操作者（ユーザ）の特定部位を検出できる位置に配置される。ＨＭＤ９は、操作者（ユーザ）の頭部に装着され、操作者にとっての視線画像を撮像すると共に、その視線画像に合成された上述の仮想３Ｄ操作領域を少なくとも領域境界が視認できるように表示する。操作者は、ＨＭＤ９の表示部に表示される映像を見ながら、その映像に写る仮想３Ｄ操作領域に対して操作を行う。

３Ｄセンサ８は、操作者の特定部位の検出などのために利用される３Ｄ情報を検出する。３Ｄセンサ８は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを操作者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから操作者までの距離（深度）が算出される。なお、３Ｄセンサ８自体の実現手法は制限されず、３Ｄセンサ８は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図２では、３Ｄセンサ８が１つ要素で図示されるが、３Ｄセンサ８は、操作者の２次元画像を撮像する可視光カメラ及び操作者までの距離を検出するセンサといった複数の機器で実現されてもよい。

本実施形態では、図３に示されるように、既知の形状を示すマーカ７により、表示側構成及びセンサ側構成において共通の３次元座標空間が設定される。但し、共通の３次元座標空間を設定するための共通実オブジェクトは、専用のマーカ７のみに制限されない。その共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３軸の方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態は制限されない。例えば、マーカ７は、現実世界に配置された画像や物で代用され得る。

図４は、ＨＭＤ９の外観構成の例を示す図である。図４には、ビデオシースルー型と呼ばれるＨＭＤ９の構成が示されている。図４の例では、ＨＭＤ９は、２つの視線カメラ９ａ及び９ｂ、２つのディスプレイ９ｃ及び９ｄを有する。各視線カメラ９ａ及び９ｂは、ユーザの各視線に対応する各視線画像をそれぞれ撮像する。これにより、ＨＭＤ９は撮像部と呼ぶこともできる。各ディスプレイ９ｃ及び９ｄは、ユーザの視野の大部分を覆う形に配置され、各視線画像に仮想３Ｄ操作領域が合成された合成３Ｄ画像を表示する。これにより、各ディスプレイ９ｃ及び９ｄは、表示部と呼ぶこともできる。

センサ側装置１０及び表示側装置２０は、バスなどで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、入出力インタフェース（Ｉ／Ｆ）５などをそれぞれ有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体などである。

センサ側装置１０の入出力Ｉ／Ｆ５は、３Ｄセンサ８と接続され、表示側装置２０の入出力Ｉ／Ｆ５は、ＨＭＤ９と接続される。入出力Ｉ／Ｆ５と３Ｄセンサ８との間、及び、入出力Ｉ／Ｆ５とＨＭＤ９との間は無線により通信可能に接続されてもよい。各通信装置４は、無線又は有線にて、他の装置（センサ側装置１０、表示側装置２０など）と通信を行う。本実施形態は、このような通信の形態を制限しない。また、センサ側装置１０及び表示側装置２０の具体的ハードウェア構成についても制限されない。

〔処理構成〕
〈センサ側装置〉
図５は、第１実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第１実施形態におけるセンサ側装置１０は、３Ｄ情報取得部１１、第１オブジェクト検出部１２、基準設定部１３、位置算出部１４、送信部１６などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

３Ｄ情報取得部１１は、３Ｄセンサ８により検出された３Ｄ情報を逐次取得する。３Ｄ情報は、可視光により得られる操作者の２次元画像と、３Ｄセンサ８からの距離（深度）の情報とを含む。３Ｄセンサ８は、可視光カメラと深度センサといった複数の機器により構成されてもよい。

第１オブジェクト検出部１２は、３Ｄ情報取得部１１により取得された３Ｄ情報から既知の共通実オブジェクトを検出する。本実施形態では、共通実オブジェクトとして、図３に示されるマーカ７が利用される。第１オブジェクト検出部１２は、マーカ７が示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、マーカ７を３Ｄ情報から検出する。

基準設定部１３は、第１オブジェクト検出部１２により検出されるマーカ７に基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する。例えば、基準設定部１３は、マーカ７から抽出される基準点を原点とし、その基準点からの相互に直交する３方向を各軸とする３Ｄ座標空間を設定する。基準設定部１３は、マーカ７に関する既知の形状及びサイズと、３Ｄ情報から抽出されたマーカ７が示す形状及びサイズとの比較により、３Ｄセンサ８の位置及び向きを算出する。

位置算出部１４は、３Ｄ情報取得部１１により逐次取得される３Ｄ情報を用いて、操作者の特定部位に関する上記３Ｄ座標空間上の３Ｄ位置情報を逐次算出する。本実施形態では、位置算出部１４は、具体的に次のように当該３Ｄ位置情報を算出する。位置算出部１４は、まず、３Ｄ情報取得部１１により取得される３Ｄ情報から操作者の特定部位の３Ｄ位置情報を抽出する。ここで抽出される３Ｄ位置情報は、３Ｄセンサ８のカメラ座標系に対応する。そこで、位置算出部１４は、基準設定部１３により算出される３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、３Ｄセンサ８のカメラ座標系に対応する３Ｄ位置情報を基準設定部１３で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する。この変換は、３Ｄセンサ８のカメラ座標系から、上記マーカ７に基づき設定される３Ｄ座標系への変換を意味する。

ここで、検出すべき操作者の特定部位は複数であってもよい。例えば、複数の特定部位として操作者の両手が利用される形態があり得る。この場合、位置算出部１４は、３Ｄ情報取得部１１により取得される３Ｄ情報から、複数の特定部位の３Ｄ位置情報をそれぞれ抽出し、この各３Ｄ位置情報を３Ｄ座標空間上の各３Ｄ位置情報にそれぞれ変換する。また、特定部位とは、操作者が操作を行うために用いる体の一部であるため、或る程度の面積又は体積を有する。よって、位置算出部１４により算出される３Ｄ位置情報は、当該特定部位の中の或る１点の位置情報であってもよいし、複数点の位置情報であってもよい。

送信部１６は、操作者の特定部位に関する、位置算出部１４により算出された当該３Ｄ座標空間上の３Ｄ位置情報を表示側装置２０に送る。

〈表示側装置〉
図６は、第１実施形態における表示側装置２０の処理構成例を概念的に示す図である。第１実施形態における表示側装置２０は、視線画像取得部２１、第２オブジェクト検出部２２、座標設定部２３、仮想データ生成部２４、操作検出部２５、画像合成部２７、表示処理部２８などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

視線画像取得部２１は、上述の視線画像取得部１０１と同様に、視線画像を取得する。操作者が仮想３Ｄ操作領域に対して操作する場合、視線画像には、センサ側装置１０により検出される操作者の特定部位と同じ特定部位が写る。本実施形態では、視線カメラ９ａ及び９ｂが設けられているため、視線画像取得部２１は、左目及び右目の各々に対応する各視線画像をそれぞれ取得する。なお、各処理部は、左目及び右目に対応する両視線画像に対してそれぞれ同様に処理されるため、以下の説明では、１つの視線画像を対象に説明する。

第２オブジェクト検出部２２は、視線画像取得部２１により取得される視線画像から、センサ側装置１０で検出されるものと同じ既知の共通実オブジェクトを検出する。即ち、本実施形態では、第２オブジェクト検出部２２は、図３に示されるマーカ７を検出する。第２オブジェクト検出部２２の処理は、上述のセンサ側装置１０の第１オブジェクト検出部１２と同様であるため、ここでは詳細説明を省く。なお、視線画像に含まれるマーカ７は、３Ｄセンサ８で得られる３Ｄ情報に含まれるマーカ７とは、撮像方向が異なる。

座標設定部２３は、第２オブジェクト検出部２２により検出されたマーカ７に基づいて、センサ側装置１０の基準設定部１３により設定されたものと同じ３Ｄ座標空間を設定し、かつ、ＨＭＤ９の位置及び向きを算出する。座標設定部２３の処理についても、センサ側装置１０の基準設定部１３と同様であるため、ここでは詳細説明を省く。座標設定部２３により設定される３Ｄ座標空間も、センサ側装置１０の基準設定部１３により設定される３Ｄ座標空間と同じ共通の実オブジェクト（マーカ７）に基づいて設定されるため、結果として、３Ｄ座標空間がセンサ側装置１０と表示側装置２０との間で共有されることになる。

仮想データ生成部２４は、上述の仮想データ生成部１０３と同様に、３Ｄ領域データを生成する。上述したように、３Ｄ領域データは、３Ｄ座標空間における、仮想３Ｄ操作領域の位置、サイズ、形状等を示す。仮想データ生成部２４は、複数の仮想３Ｄ操作領域が設定される場合、複数の仮想３Ｄ操作領域の各々について、３Ｄ座標空間上の位置、サイズ、形状等に加えて、操作種をそれぞれ示す複数の３Ｄ領域データを生成する。本実施形態では、仮想３Ｄ操作領域の３Ｄ座標空間内の位置及び形態（形、大きさ、色、模様など）が決まるのであれば、３Ｄ領域データの具体的内容は制限されない。仮想３Ｄ操作領域に設定される形状には、立方体、直方体、球、楕円体、どら焼き型等があり得る。どら焼き型とは、２つの球が交わっている場合の重なった部分の立体形状を意味する。

仮想３Ｄ操作領域に設定される操作種とは、仮想３Ｄ操作領域における操作者の特定部位の動きから検出される情報種に対応するジェスチャ操作の種類を意味する。その操作種には、例えば、３次元（３軸）の位置変化情報に基づいて操作内容が特定される操作種（以降、３Ｄジェスチャタイプと表記する）、２次元（２軸）の位置変化情報に基づいて操作内容が特定される操作種（以降、２Ｄジェスチャタイプと表記する）、１次元（１軸）の位置変化情報に基づいて操作内容が特定される操作種（以降、１Ｄジェスチャタイプと表記する）、特定部位が仮想３Ｄ操作領域に触れたか否かに基づいて操作内容が特定される操作種（以降、０Ｄジェスチャタイプと表記する）が存在し得る。なお、本実施形態は、仮想３Ｄ操作領域に設定される操作種の具体的内容を制限しない。仮想３Ｄ操作領域に設定される形態及び操作種の具体例については、後述する。

位置、サイズ、形状、操作種等の仮想３Ｄ操作領域に設定される情報は、入力画面等に基づいて入出力Ｉ／Ｆ５に接続される入力装置（図示せず）を操作者が操作することにより入力された情報であってもよいし、可搬型記録媒体、他のコンピュータ等から通信装置４又は入出力Ｉ／Ｆ５を経由して取得された情報であってもよいし、初期値として予め仮想データ生成部２４により保持されている情報であってもよい。仮想３Ｄ操作領域に設定される情報は、操作者等により任意に設定され得る。

画像合成部２７は、ＨＭＤ９の位置及び向き並びに３Ｄ座標空間及び３Ｄ領域データに基づいて、視線画像取得部２１で取得された視線画像に仮想３Ｄ操作領域を合成する。このとき、仮想３Ｄ操作領域の位置及び形態は、視線画像に写る空間に相当する３次元座標空間内の視認空間を表示基準として決定される。また、本実施形態では、画像合成部２７は、視線カメラ９ａ及び９ｂで撮像された各視線画像に基づく各合成画像をそれぞれ生成する。なお、画像合成部２７による合成処理には、拡張現実（ＡＲ）等で用いられる周知の手法が利用されればよいため、ここでは詳細説明を省略する。

表示処理部２８は、上述の表示処理部１０４と同様に、仮想３Ｄ操作領域をＨＭＤ９に表示させる。本実施形態では、表示処理部２８は、仮想３Ｄ操作領域と視線画像との合成画像をＨＭＤ９に表示させる。これにより、ディスプレイ９ｃ及び９ｄにそれぞれ操作者の各視線に対応する各合成画像がそれぞれ表示されるため、操作者は、両眼視差により、視線画像及び仮想３Ｄ操作領域を３次元で視認することができる。

操作検出部２５は、操作者の特定部位に関する３Ｄ座標空間上の３Ｄ位置情報をセンサ側装置１０から受信し、３Ｄ座標空間における操作者の特定部位の位置と、仮想３Ｄ操作領域の位置とに基づいて、仮想３Ｄ操作領域における操作者の特定部位を用いた操作を検出する。操作検出部２５は、上述の位置取得部１０５及び操作検出部１０６に相当する。このとき、操作検出部２５は、操作が検出された仮想３Ｄ操作領域を特定し、その仮想３Ｄ操作領域に設定された操作種に対応する操作情報を取得する。具体的には、操作検出部２５は、当該仮想３Ｄ操作領域に２Ｄジェスチャタイプが設定されている場合、仮想３Ｄ操作領域内での操作者の特定部位の２次元変化情報を取得し、その２次元変化情報に対応する値を操作情報として取得する。仮想３Ｄ操作領域と検出される操作との具体的関係については後述する。

図７Ａは、ＨＭＤ９に表示される合成画像の例を示す図である。図７Ａの例に示される合成画像は、視線画像に写る実世界のテーブルＲＴ、３つの仮想３Ｄ操作領域ＶＯＡ１、ＶＯＡ２及びＶＯＡ３を含む。ＶＯＡ１は球形であり、ＶＯＡ２は直方体であり、ＶＯＡ３は立方体である。例えば、仮想３Ｄ操作領域ＶＯＡ１、ＶＯＡ２及びＶＯＡ３には、異なる操作種が設定される。例えば、ＶＯＡ１には、３Ｄジェスチャタイプが設定され、ＶＯＡ２には、１Ｄジェスチャタイプが設定され、ＶＯＡ３には、０Ｄジェスチャタイプが設定される。

図７Ｂは、ＨＭＤ９に表示される合成画像の他の例を示す図である。図７Ｂの例に示される合成画像は、視線画像に写る実世界のテーブルＲＴ、どら焼き型の仮想３Ｄ操作領域ＶＯＡ４を含む。ＶＯＡ４には、例えば、１Ｄジェスチャタイプが設定される。

また、各仮想３Ｄ操作領域は、図７Ａ及び図７Ｂに示されるように、領域境界が視認できるように半透明化されてそれぞれ表示される。このように、本実施形態によれば、操作者は、任意の形状を持ちかつ任意の位置に配置された仮想３Ｄ操作領域を、実世界に重畳された状態でかつ実世界の実オブジェクトを妨げないように視認することができる。

ここで、仮想３Ｄ操作領域の形状と検出される操作との関係について説明する。

図８は、操作者の特定部位の実際の動きを概念的に示す図である。本発明者らは、ジェスチャ操作に関し、次のような問題点を見出した。即ち、ジェスチャ操作では操作に対する感触やガイドがないため、操作者にとって、或る位置（始点）から或る位置（終点）まで指先（特定部位）を動かすジェスチャ操作を行いたい場合に、始点と終点との間を結ぶ直線上でその指先を動かすことは困難であり、図８に示されるように、指先は、その直線から外れた軌跡を描くのが通常である。従って、上述の１Ｄジェスチャタイプにおいて、１つの軸上のみで指先の軌跡を検出する方法を採った場合、操作者にとって使い辛いユーザインタフェースとなってしまう。

そこで、本発明者らは、１次元（１軸）の位置変化情報に基づいて操作内容が特定される１Ｄジェスチャタイプが設定される仮想３Ｄ操作領域にも、立体的な形状を持たせ、その形状内での操作者の特定部位の動きを検出することが望ましいとの着想を得た。

図９は、どら焼き型の仮想３Ｄ操作領域と検出される操作との関係の例を概念的に示す図である。図９に示されるように、仮想３Ｄ操作領域ＶＯＡ５は、球体ＳＰ１と球体ＳＰ２との重なり部分に相当するどら焼き型の形状を有する。この形状は、始点を球体ＳＰ１の中心点に設定し、終点を球体ＳＰ２の中心点に設定し、各中心点から各球面上の点までの距離を始点と終点との間の長さの半分に設定することで、形成される。ＶＯＡ５には、１Ｄジェスチャタイプが設定されており、操作検出部２５は、始点と終点とを結ぶ検出軸における操作者の特定部位の位置変化量を操作情報として取得する。

このとき、操作検出部２５は、操作者の特定部位のＶＯＡ５内での３次元位置を検出軸に射影した位置に対応する値を操作情報として取得する。例えば、始点に値（−１００）が設定され、終点に値（１００）が設定されている場合、操作検出部２５は、操作情報として示される検出軸上の位置と始点との距離と、その位置と終点との距離との比から、その位置に対応する値を算出する。更に、操作検出部２５は、当該特定部位がＶＯＡ５から球体ＳＰ１内に出た場合には、始点に対応する値（−１００）を取得し、当該特定部位がＶＯＡ５から球体ＳＰ２内に出た場合には、終点に対応する値（１００）を取得する。

このように、１Ｄジェスチャタイプのためにどら焼き型の仮想３Ｄ操作領域が設定されることにより、操作者の特定部位を用いた操作が検出軸を或る程度ずれたとしても、適切に操作情報を取得することができる。更に、どら焼き型の形状によれば、始点及び終点に近い程、検出マージンが小さく、始点及び終点から離れる程、検出マージンが大きくなる。これは、操作者の特定部位の動かし方の特性に合致している。操作者は、或る目標（始点）から或る目標（終点）へと特定部位を動かそうとした場合であって、目標間を結ぶ直線が見えない場合、各目標の近辺では目標近くに特定部位を置くことができるが、各目標から離れると当該直線から特定部位が離れやすくなるのが一般的である。よって、１Ｄジェスチャタイプのためにどら焼き型の仮想３Ｄ操作領域を設定することは、操作者の操作感と仮想３Ｄ操作領域とをマッチさせ、操作者にとって使い易いユーザインタフェースを実現することができる。このような効果は、始点と終点とを結ぶ線分を長径（長軸の長さ）とし、短径（短軸の長さ）を任意に設定した楕円を長軸を中心に回転させて得られる楕円体でも同様に得られる。但し、１Ｄジェスチャタイプのために設定される仮想３Ｄ操作領域の形状は、どら焼き型や楕円体に制限されず、立方体、直方体、球などのように他の立体的形状であってもよい。

〔動作例〕
以下、第１実施形態における３次元操作処理方法について図１０を用いて説明する。図１０は、第１実施形態におけるシステム１の動作例を示すシーケンスチャートである。以下では、センサ側装置１０又は表示側装置２０を各方法の実行主体として説明するが、実行主体は、システム１を構成する少なくとも１つのコンピュータとされてもよい。

センサ側装置１０は、３Ｄセンサ８から３Ｄ情報を逐次取得する（Ｓ１０１）。３Ｄ情報には、共通実オブジェクトとしてのマーカ７及び操作者の特定部に関する情報が含まれる。センサ側装置１０は、所定のフレームレートの当該３Ｄ情報に対して次のように動作する。

センサ側装置１０は、当該３Ｄ情報から共通実オブジェクト（マーカ７）を検出する（Ｓ１０２）。続いて、センサ側装置１０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する（Ｓ１０３）。

更に、センサ側装置１０は、当該３Ｄ情報を用いて、操作者の特定部位の３Ｄ位置情報を算出する（Ｓ１０４）。更に、センサ側装置１０は、工程（Ｓ１０３）で算出された３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、工程（Ｓ１０４）で算出された３Ｄ位置情報を工程（Ｓ１０３）で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する（Ｓ１０５）。

センサ側装置１０は、操作者の特定部位に関し、工程（Ｓ１０５）で得られた３Ｄ位置情報を表示側装置２０に送る（Ｓ１０６）。図７では、説明の便宜のため、工程（Ｓ１０２）及び（Ｓ１０３）が３Ｄ情報の所定のフレームレートで実行される例が示されるが、工程（Ｓ１０２）及び（Ｓ１０３）はキャリブレーション時のみ実行されるようにしてもよい。

一方で、表示側装置２０は、３Ｄ情報の取得（Ｓ１０１）とは非同期で、ＨＭＤ９から視線画像を逐次取得している（Ｓ１１１）。表示側装置２０は、所定のフレームレートの当該視線画像に対して次のように動作する。

表示側装置２０は、当該視線画像からセンサ側装置１０で検出されるものと同じ共通実オブジェクト（マーカ７）を検出する（Ｓ１１２）。続いて、表示側装置２０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間におけるＨＭＤ９の位置及び向きを算出する（Ｓ１１３）。同じマーカ７（共通実オブジェクト）が用いられるため、センサ側装置１０と表示側装置２０との間で３Ｄ座標空間が共有されることになる。

表示側装置２０は、上述のような３Ｄ領域データを生成する（Ｓ１１４）。この３Ｄ領域データは、仮想３Ｄ操作領域に関する、（Ｓ１１３）で設定された３Ｄ座標空間上の位置、サイズ、形状、表示態様（少なくとも領域境界が視認可能な状態で透過的に表示される態様）等の情報を含む。このような仮想３Ｄ操作領域に関する設定情報は、上述のように任意の手法により取得される。仮想３Ｄ操作領域が複数設定されている場合、表示側装置２０は、各仮想３Ｄ操作領域を示す各３Ｄ領域データをそれぞれ生成する。

表示側装置２０は、（Ｓ１１３）で設定された３Ｄ座標空間に基づいて、（Ｓ１１１）で取得された視線画像と、（Ｓ１１４）で生成された３Ｄ領域データに基づく仮想３Ｄ操作領域とを合成する（Ｓ１１５）。表示側装置２０は、その合成により得られた画像をＨＭＤ９に表示させる（Ｓ１１６）。

表示側装置２０は、センサ側装置１０から、操作者の特定部位に関する３Ｄ位置情報を受信すると（Ｓ１１７）、３Ｄ座標空間における操作者の特定部位の位置と、仮想３Ｄ操作領域の位置とに基づいて、仮想３Ｄ操作領域における操作者の特定部位を用いた操作を検出する（Ｓ１１８）。この操作の検出において、表示側装置２０は、操作が検出された仮想３Ｄ操作領域を特定し、その仮想３Ｄ操作領域に設定されている操作種に対応する操作情報を取得する。操作情報とは、操作種に対応する操作者の特定部位を用いた操作内容を示す情報である。

システム１は、（Ｓ１１８）で検出された操作に対応する制御を行う。

図１０では、説明の便宜のため、（Ｓ１１２）から（Ｓ１１４）が視線画像の所定のフレームレートで実行される例が示されるが、（Ｓ１１２）及び（Ｓ１１３）は、キャリブレーション時のみ実行され、（Ｓ１１４）は、仮想３Ｄ操作領域の設定時、又は、システム１の起動時に、実行されるようにしてもよい。

〔第１実施形態の作用及び効果〕
このように、第１実施形態では、ＨＭＤ９及び３Ｄセンサ８の各々で得られる画像情報に写る共通実オブジェクト（マーカ７）に基づいて、センサ側装置１０及び表示側装置２０で３Ｄ座標空間が共有される。そして、この３Ｄ座標空間に基づいて、仮想３Ｄ操作領域が少なくとも領域境界が視認可能な状態で透過的に表示されるように、視線画像と仮想３Ｄ操作領域とが合成され、この合成画像が操作者の頭部に装着されるＨＭＤ９に表示される。

これにより、操作者は、あたかも自身の目の前の現実世界に存在するかのように、仮想３Ｄ操作領域を視認することができる。更に、仮想３Ｄ操作領域は少なくとも領域境界が視認可能な状態で透過的に表示されるため、現実世界に存在するオブジェクトや背景についても仮想３Ｄ操作領域に遮られることなく視認することができる。即ち、第１実施形態によれば、操作者に、立体的な操作領域を直感的に把握させることができる。

更に、第１実施形態では、視線画像を得る撮像部（視線カメラ９ａ及び視線カメラ９ｂ）とは別に、操作者の特定部位の位置を測定し得るセンサ（３Ｄセンサ８）が設けられ、上述のような共通の３Ｄ座標空間において操作者の特定部位と仮想３Ｄ操作領域との位置関係が比較され、仮想３Ｄ操作領域における操作者の特定部位を用いた操作が検出される。

従って、第１実施形態によれば、視線画像に写る空間内における仮想３Ｄ操作領域と操作者の特定部位との位置関係を正確に検出することができ、結果として、操作者に、仮想３Ｄ操作領域をあたかも直接触っているかのような直感的操作感を与えることができる。

また、第１実施形態では、操作者などにより任意の方法で設定された、仮想３Ｄ操作領域を置く位置やサイズや形状等に基づいて、仮想３Ｄ操作領域の表示態様が決定される。従って、第１実施形態によれば、操作者のジェスチャ操作を検出するための立体的な操作領域を自由に設定することができる。

また、第１実施形態によれば、図３に示されるように、複数の仮想３Ｄ操作領域を設定することもでき、各仮想３Ｄ操作領域にそれぞれ異なる操作種を設定することもできる。これにより、設計者や利用者（操作者）に、３次元のユーザインタフェースを自由にデザインさせることができる。例えば、１Ｄジェスチャタイプのような少ない次元数の情報で操作内容を特定する操作種を用いる複数の仮想３Ｄ操作領域を用いれば、３Ｄセンサ８の測定精度や操作者の特定部位の認識精度により、細かな動き（ジェスチャ）が認識できない場合においても、多数の操作内容を識別することができる。

このように、第１実施形態によれば、操作領域を操作者に容易に認識させることができると共に、自由に複数の操作領域を設けることができるため、ユーザインタフェースのユーザビリティを向上させることができる。

［第２実施形態］
第２実施形態におけるシステム１は、表示されている仮想３Ｄ操作領域自体に対する移動、サイズ変更、回転、変形などを可能とする。以下、第２実施形態におけるシステム１について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。

〔処理構成〕
〈センサ側装置〉
図１１は、第２実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第２実施形態におけるセンサ側装置１０は、第１実施形態の構成に加えて、状態取得部１５を更に有する。状態取得部１５についても他の処理部と同様に実現される。

状態取得部１５は、操作者の特定部位の状態情報を取得する。特定部位の状態情報とは、特定部位の形状に関わる状態を特定し得る情報であり、例えば、握った状態、開いた状態、親指を立てた状態などを示す。この特定部位は、位置算出部１４で検出対象とされる特定部位と同一である。本実施形態は、検出可能な範囲で、この状態情報が示し得る状態の数を制限しない。また、複数の特定部位が利用される場合には、状態取得部１５は、各特定部位に関する状態情報をそれぞれ取得する。

状態取得部１５は、例えば、当該特定部位の識別すべき各状態に対応する画像特徴情報を予めそれぞれ保持しておき、３Ｄ情報取得部１１により取得される３Ｄ情報に含まれる２Ｄ画像から抽出される特徴情報と、その予め保持される各画像特徴情報との比較により、当該特定部位の状態情報を取得する。また、状態取得部１５は、当該特定部位に装着されたひずみセンサ（図示せず）から得られる情報から、当該特定部位の状態情報を取得してもよい。また、状態取得部１５は、操作者の手で操作される入力マウス（図示せず）からの情報から、当該状態情報を取得してもよい。更に、状態取得部１５は、マイクロフォン（図示せず）により得られる音声を認識することで当該状態情報を取得してもよい。

送信部１６は、操作者の特定部位に関する３Ｄ位置情報と共に、状態取得部１５により取得される操作者の特定部位に関する状態情報を表示側装置２０に送信する。

〈表示側装置〉
図１２は、第２実施形態における表示側装置２０の処理構成例を概念的に示す図である。第２実施形態における表示側装置２０は、第１実施形態の構成に加えて、領域処理部２６を更に有する。領域処理部２６についても他の処理部と同様に実現される。

操作検出部２５は、センサ側装置１０から送信される、操作者の特定部位に関する３Ｄ位置情報及び状態情報を受信し、これらの情報に基づいて、仮想３Ｄ操作領域自体に対する特定操作を検出する。操作検出部２５は、仮想３Ｄ操作領域に加えて、その周囲所定範囲に仮想３Ｄ操作領域自体に対する特定操作を検出するマージンを設けてもよい。以降、仮想３Ｄ操作領域自体に対する特定操作を検出する領域を特定操作検出領域と表記する。

操作検出部２５は、仮想３Ｄ操作領域自体に対する特定操作を検出すべきか、又は、第１実施形態で述べた仮想３Ｄ操作領域における操作を検出すべきかを、特定操作検出領域内での操作者の特定部位の滞留時間や特定部位の状態に応じて判断する。例えば、操作検出部２５は、操作者の特定部位が特定操作検出領域内で所定時間以上留まっていることを検出すると、仮想３Ｄ操作領域自体に対する特定操作の検出モードに移行する。また、操作検出部２５は、特定操作検出領域内で操作者の特定部位が特定状態（握った状態）となったことを検出すると、仮想３Ｄ操作領域自体に対する特定操作の検出モードに移行する。仮想３Ｄ操作領域自体に対する特定操作の検出モードに移行すると、操作検出部２５は、具体的に、次のような特定操作を検出する。但し、操作検出部２５により検出される仮想３Ｄ操作領域自体に対する特定操作は以下の内容に制限されない。

操作検出部２５は、操作者の特定部位が片手の場合、次のような特定操作を検出する。操作検出部２５は、特定操作検出領域内でその片手が特定状態（例えば握った状態）を維持しつつ移動する操作（以降、第１特定操作と表記）を検出する。この場合、操作検出部２５は、第１特定操作が検出されている間のその片手の直線移動量及び移動方向を操作情報として取得する。また、操作検出部２５は、片手が特定状態を維持している間におけるその片手の移動前後において、仮想３Ｄ操作領域内の特定点からの距離が変わらない操作（以降、第２特定操作と表記）を検出する。ここでの仮想３Ｄ操作領域内の特定点とは例えば中心点である。この場合、操作検出部２５は、第２特定操作が検出されている間のその片手と特定点とを結ぶ線分の立体角変化量を操作情報として取得する。

操作者の複数特定部位が両手の場合、操作検出部２５は、次のような特定操作を検出する。操作検出部２５は、両手が特定状態（例えば、握った状態）を維持しつつその両手間の距離が変化する操作（以降、第３特定操作と表記）を検出する。この場合、操作検出部２５は、第３特定操作が検出されている間の両手間の距離の変化量を操作情報として取得する。また、操作検出部２５は、両手が特定状態（例えば、握った状態）を維持しつつその両手間を結ぶ線分の角度が変化する操作（以降、第４特定操作と表記）を検出する。この場合、操作検出部２５は、第４特定操作が検出されている間の両手間を結ぶ線分の立体角変化量を操作情報として取得する。

また、操作検出部２５は、仮想３Ｄ操作領域に複数の操作ポインタが表示されている場合、その操作ポインタの領域において操作者の特定部位が特定状態（例えば、握った状態）を維持しつつ移動する操作（以降、第５特定操作と表記する）を検出する。この場合、操作検出部２５は、第５特定操作が検出されている間の特定部位の直線移動量及び移動方向を操作情報として取得する。

領域処理部２６は、仮想データ生成部２４により生成される３Ｄ領域データに対して、操作検出部２５により検出される操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す。領域処理部２６は、具体的には、３Ｄ領域データに対して次のような処理を施す。但し、領域処理部２６の処理内容は以下の具体例に制限されない。

領域処理部２６は、操作検出部２５により第１特定操作が検出されると、操作情報で示される直線移動量及び移動方向に基づいて、その直線移動量分、その移動方法に、対象の仮想３Ｄ操作領域を移動させる。また、領域処理部２６は、第２特定操作が検出されると、操作情報で示される立体角変化量で、特定点を基準として対象の仮想３Ｄ操作領域を回転させる。領域処理部２６は、第３特定操作が検出されると、操作情報で示される両手間の距離の変化量に対応する拡大率又は縮小率で、対象の仮想３Ｄ操作領域のサイズを変更する。また、領域処理部２６は、第４特定操作が検出されると、両手間を結ぶ線分の立体角変化量で片手の位置を基準点として、対象の仮想３Ｄ操作領域を回転させる。

また、領域処理部２６は、仮想３Ｄ操作領域自体に対する特定操作の検出モードに移行された場合、仮想３Ｄ操作領域の所定位置に所定数の操作ポインタを設定する。操作ポインタは、例えば、図７Ｂの符号ＯＰ１及びＯＰ２のように表示される。仮想３Ｄ操作領域の形状が直方体及び立方体に設定されている場合、領域処理部２６は、各頂点にそれぞれ操作ポインタを設定してもよい。また、仮想３Ｄ操作領域の形状がどら焼き型に設定されている場合、図９に示されるように、領域処理部２６は、始点及び終点に操作ポインタを設定してもよい。

領域処理部２６は、第５特定操作が検出されると、操作情報で示される直線移動量及び移動方向に操作がなされた操作ポインタを移動させることで、仮想３Ｄ操作領域を変形させる。例えば、どら焼き型の仮想３Ｄ操作領域は、操作ポインタの移動に伴う始点と終点との間の距離の変化に応じて、図９で示される原理で生成されるどら焼き型に変形される。また、立方体又は直方体の仮想３Ｄ操作領域は、操作ポインタ間の距離関係を維持した状態で変形される。

〔動作例〕
以下、第２実施形態における３次元操作処理方法について図１３を用いて説明する。図１３は、第２実施形態におけるシステム１の動作例を示すシーケンスチャートである。図１３では、図１０と同じ内容の工程については、図１０と同じ符号が付される。以下では、センサ側装置１０又は表示側装置２０を各方法の実行主体として説明するが、実行主体は、システム１を構成する少なくとも１つのコンピュータとされてもよい。

センサ側装置１０は、第１実施形態と同様に、（Ｓ１０１）から（Ｓ１０５）を実行し、第２実施形態では、操作者の特定部位の状態情報を更に取得する（Ｓ１３１）。センサ側装置１０は、操作者の特定部位に関する３Ｄ位置情報及び状態情報を表示側装置２０に送信する（Ｓ１３２）。なお、（Ｓ１３１）の実行タイミングは、図１３に示される時期に制限されない。

表示側装置２０は、第１実施形態と同様に、（Ｓ１１１）から（Ｓ１１６）を実行することで、視線画像と仮想３Ｄ操作領域との合成画像をＨＭＤ９に表示させる。表示側装置２０は、センサ側装置１０から、操作者の特定部位に関する３Ｄ位置情報及び状態情報を受信すると（Ｓ１３３）、それら情報に基づいて、検出すべき操作が仮想３Ｄ操作領域自体に対する特定操作か否かを判断する（Ｓ１３４）。この判断は、上述のように、特定操作検出領域内での操作者の特定部位の滞留時間や特定部位の状態に基づいて行われる。

表示側装置２０は、検出すべき操作が仮想３Ｄ操作領域自体に対する特定操作でないと判断すると（Ｓ１３４；ＮＯ）、第１実施形態と同様に、仮想３Ｄ操作領域における操作を検出する（Ｓ１１８）。

一方、表示側装置２０は、検出すべき操作が仮想３Ｄ操作領域自体に対する特定操作であると判断すると（Ｓ１３４；ＹＥＳ）、操作者の特定部位に関する３Ｄ位置情報及び状態情報に基づいて、仮想３Ｄ操作領域自体に対する特定操作を検出する（Ｓ１３５）。表示側装置２０は、３Ｄ領域データに対して、検出された特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す（Ｓ１３６）。結果、表示側装置２０は、サイズ変更、回転、変形及び移動の少なくとも１つがなされた後の仮想３Ｄ操作領域と視認画像との合成画をＨＭＤ９に表示させる。

〔第２実施形態における作用及び効果〕
上述のように、第２実施形態では、操作者の特定部位の３Ｄ位置情報と共に、その特定部位の状態情報が取得され、特定部位の３Ｄ位置及び状態に基づいて、仮想３Ｄ操作領域自体に対する特定操作か否かが判断される。そして、その特定操作が検出されると、その特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つが３Ｄ領域データに対して施され、結果、３Ｄ座標空間内の仮想３Ｄ操作領域自体が操作される。

このように、第２実施形態によれば、操作者であれば自分が扱いやすいように、ユーザインタフェース提供者であれば設計したいように、仮想３Ｄ操作領域の形状及び位置をデザインすることができる。更に、第２実施形態によれば、現実世界に存在するかのように表示される仮想３Ｄ操作領域自体に対する操作を、実際のオブジェクトを扱うのと同様の感覚で実現することができる。

［第３実施形態］
第３実施形態におけるシステム１は、仮想３Ｄ操作領域を新たな設定にすることを可能とする。以下、第３実施形態におけるシステム１について、第１実施形態及び第２実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態及び第２実施形態と同様の内容については適宜省略する。

第３実施形態では、センサ側装置１０及び表示側装置２０は、第１実施形態又は第２実施形態と同様の処理構成を有する。以下には、第１実施形態と異なる処理内容の各処理部についてのみ説明する。

仮想データ生成部２４は、仮想３Ｄ操作領域が取り得る複数の形状を示す、３Ｄ座標空間上に配置される機能メニューの表示データを更に生成する。機能メニューに表示される形状には、例えば、図７Ａ及び図７Ｂに示されるような、球形、立方体、直方体、どら焼き型等が該当する。但し、本実施形態は、機能メニューに表示される具体的形状自体を制限しない。

仮想データ生成部２４は、操作検出部２５により機能メニューに表示されるいずれか１つの形状の選択操作が検出されると、機能メニュー対する操作の検出位置に応じて決められる３Ｄ座標空間上の位置に仮想３Ｄ操作領域が配置される３Ｄ領域データを生成する。図７Ｂに示されるどら焼き型が選択された場合、具体的に、次のように、３Ｄ領域データが生成される。仮想データ生成部２４は、機能メニュー対する操作の検出位置に応じて決められる３Ｄ座標空間上の位置に始点（操作ポイントＯＰ１）及び終点（操作ポイントＯＰ２）を設定し、それら始点及び終点を中心点とし、かつ、その中心点から球面上の点までの距離を始点と終点とを結ぶ直線の半分とする２つの球体の交わる領域が持つ形状（どら焼き型）を持つ新たな仮想３Ｄ操作領域を設定する。

画像合成部２７は、機能メニューの表示データに基づいて、視線画像に上記機能メニューを合成させる。表示処理部２８は、画像合成部２７により生成される合成画像に基づいて、上記機能メニューをＨＭＤ９に更に表示させる。
図１４は、機能メニューの表示例を示す図である。図１４に示されるように、機能メニューは、各形状を選択可能に表示する。

操作検出部２５は、機能メニューに対する操作者の特定部位を用いた操作を検出することにより、仮想データ生成部２４に、その操作の検出位置に応じて決められる３Ｄ空間上の位置に配置されかつその操作により選択された形状を持つ仮想３Ｄ操作領域を示す、新たな３次元領域データを生成させる。また、操作検出部２５は、３Ｄ座標空間内の任意の位置で所定の操作を検出することにより、仮想データ生成部２４に、機能メニューの表示データを生成させる。仮想データ生成部２４は、機能メニューを表示させる操作及び機能メニューに対する選択操作を、操作者の特定部位の３Ｄ位置情報を用いて検出してもよいし、第２実施形態のように特定部位の３Ｄ位置情報及び状態情報を用いて検出してもよい。

〔動作例〕
以下、第３実施形態における３次元操作処理方法について図１５を用いて説明する。図１５は、第３実施形態における表示側装置２０の動作例を示すフローチャートである。図１５には、第３実施形態に関わる工程のみが示されており、表示側装置２０は、実際には、図１５に示される工程以外に、第１実施形態及び第２実施形態で示されるような工程を実行する。以下では、表示側装置２０を各方法の実行主体として説明するが、実行主体は、システム１を構成する少なくとも１つのコンピュータとされてもよい。

表示側装置２０は、センサ側装置１０から、操作者の特定部位の３Ｄ位置情報を受信する（Ｓ１５１）。このとき、ＨＭＤ９には、視線画像のみが表示されており、仮想３Ｄ操作領域は表示されていないと仮定する。

表示側装置２０は、（Ｓ１５１）で受信された３Ｄ位置情報に基づいて、所定の操作を検出すると、機能メニューの表示データを生成する（Ｓ１５２）。そして、表示側装置２０は、その表示データに基づいて、視線画像と機能メニューとを合成し（Ｓ１５３）、その合成画像をＨＭＤ９に表示させる（Ｓ１５４）。

操作者は、図１４に示されるように表示された機能メニューを特定部位を用いて操作する。図１４の例によれば、操作者は、所望の形状（例えば、どら焼き型）を示す領域を特定部位で指し示す。これにより、表示側装置２０は、センサ側装置１０から、その機能メニューに対する操作に対応する、操作者の特定部位の３Ｄ位置情報を受信する（Ｓ１５５）。

表示側装置２０は、その３Ｄ位置情報に基づいて、機能メニューに対する選択操作を特定し、選択された形状を有する仮想３Ｄ操作領域を示す３Ｄ領域データを生成する（Ｓ１５６）。上記例によれば、表示側装置２０は、どら焼き型の仮想３Ｄ操作領域を示す３Ｄ領域データを生成する。

表示側装置２０は、生成された３Ｄ領域データにより示される仮想３Ｄ操作領域と視線画像と合成し（Ｓ１５７）、その合成画像をＨＭＤ９に表示させる（Ｓ１５８）。これにより、操作者は、自身が選択した形状を有する仮想３Ｄ操作領域を視認することができる。

〔第３実施形態における作用及び効果〕
上述のように、第３実施形態では、機能メニューの表示データに基づいて、視線画像に機能メニューが合成された画像がＨＭＤ９に表示され、その機能メニューで選択された形状を持つ仮想３Ｄ操作領域を示す３Ｄ領域データが新たに生成される。この３Ｄ領域データでは、仮想３Ｄ操作領域は、機能メニュー対する操作の検出位置に応じて決められる３Ｄ座標空間上の位置に配置される。結果、視線画像にその新たな仮想３Ｄ操作領域が合成された画像がＨＭＤ９に表示される。

このように、第３実施形態によれば、操作者は、所望の位置に所望の形状の仮想３Ｄ操作領域を設定することができる。更に、第３実施形態によれば、仮想現実として表示される機能メニューを操作するという簡易な操作で仮想３Ｄ操作領域を操作者に設定させることができる。

［変形例］
上述の各実施形態では、図３に示されるように、ＨＭＤ９が、操作者（ユーザ）の両目に対応して、視線カメラ９ａ及び９ｂ、並びに、ディスプレイ９ｃ及び９ｄを有したが、視線カメラ及びディスプレイを１つずつ持つようにしてもよい。この場合、１つのディスプレイは、操作者の片目の視野を覆うように配置されてもよいし、操作者の両目の視野を覆うように配置されてもよい。この場合、表示側装置２０の仮想データ生成部２４は、仮想３Ｄ空間に含まれる表示物を３ＤＣＧで表示させることができるように、周知の３ＤＣＧ技術を用いて仮想３Ｄオブジェクトデータを生成すればよい。

また、上述の各実施形態では、視線画像を得るためにビデオシースルー型のＨＭＤ９が用いられたが、光学シースルー型のＨＭＤ９が用いられてもよい。この場合には、ＨＭＤ９にはハーフミラーのディスプレイ９ｃ及び９ｄが設けられ、このディスプレイ９ｃ及び９ｄに仮想３Ｄオブジェクトが表示されるようにすればよい。但し、この場合、操作者の視線方向で共通実オブジェクトを検出するための画像を得るためのカメラがＨＭＤ９の操作者の視野を遮らない箇所に設けられる。

また、上述の各実施形態では、図２に示されるように、センサ側装置１０と表示側装置２０とが別々に設けられたが、１つのコンピュータ（装置）で構成されてもよい。この場合、そのコンピュータの入出力Ｉ／Ｆ５には、ＨＭＤ９及び３Ｄセンサ８が接続され、送信部１６は不要となる。

また、上述の第２実施形態では、操作者の特定部位の３Ｄ位置情報及び状態情報を用いて、仮想３Ｄ操作領域自体に対する特定操作の検出モードへの移行が判断され、かつ、当該特定操作が検出されたが、３Ｄ位置情報のみによりそれらが行われてもよい。この場合、センサ側装置１０の状態取得部１５は不要となる。

また、上述の第３実施形態では、仮想３Ｄ操作領域を新たに設定するための機能メニューが表示されが、その機能メニューは、既に設定されている仮想３Ｄ操作領域に対して形状を変化させるために表示されるようにしてもよい。この場合、操作検出部２５は、既に存在する仮想３Ｄ操作領域に対する所定の操作を検出し、仮想データ生成部２４は、その所定の操作の検出に応じて、機能メニューの表示データを生成する。そして、領域処理部２６は、対象となる仮想３Ｄ操作領域を、機能メニューで選択された形状に変えるように、３Ｄ領域データを処理する。

更に、機能メニューは、仮想３Ｄ操作領域に対して操作種を指定するために表示されるようにしてもよい。この場合、仮想データ生成部２４は、図１６に示されるように、仮想３Ｄ操作領域に設定され得る複数の操作種を示す機能メニューの表示データを生成する。図１６は、機能メニューの他の表示例を示す図である。図１６の例によれば、機能メニューは、３Ｄジェスチャタイプ、２Ｄジェスチャタイプ、１Ｄジェスチャタイプ、及び、０Ｄジェスチャタイプのいずれか１つが選択されるように表示する。この場合、操作検出部２５は、この機能メニューから選択されたいずれか１つの操作種を特定し、仮想データ生成部２４又は領域処理部２６は、その特定された操作種を対象の仮想３Ｄ操作領域に設定すればよい。

なお、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。

（付記１）
操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得する視線画像取得部と、
前記視線画像取得部により取得される視線画像に基づいて、３次元座標空間を設定する座標設定部と、
前記３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部と、
前記視線画像に写る空間に相当する前記３次元座標空間内の視認空間を表示基準として、前記仮想データ生成部により生成される３次元領域データにより示される前記仮想３次元操作領域を前記操作者の頭部に装着される表示部に表示させる表示処理部と、
前記操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得する位置取得部と、
前記位置取得部により取得される３次元位置と前記仮想３次元操作領域の前記３次元座標空間上の位置とに基づいて、前記仮想３次元操作領域における前記操作者の前記特定部位を用いた操作を検出する操作検出部と、
を備える３次元ユーザインタフェース装置。

（付記２）
前記操作検出部が前記仮想３次元操作領域自体に対する特定操作を検出する場合に、前記３次元領域データに対して、前記操作検出部により検出される特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す領域処理部を更に備える付記１に記載の３次元ユーザインタフェース装置。

（付記３）
前記仮想データ生成部は、複数の仮想３次元操作領域の各々について、前記３次元座標空間上の位置及び操作種をそれぞれ示す複数の３次元領域データを生成し、
前記操作検出部は、前記複数の仮想３次元操作領域のうち操作された仮想３次元操作領域を特定し、該特定された仮想３次元操作領域に設定されている操作種に対応する操作情報を取得する、
付記１又は２に記載の３次元ユーザインタフェース装置。

（付記４）
前記仮想データ生成部は、前記仮想３次元操作領域が取り得る複数の形状を示す、前記３次元座標空間上に配置される機能メニューの表示データを更に生成し、
前記表示処理部は、前記機能メニューを前記表示部に更に表示させ、
前記操作検出部は、前記機能メニューに対する前記操作者の特定部位を用いた操作を検出することにより、前記仮想データ生成部に、該操作の検出位置に応じて決められる前記３次元空間上の位置に配置されかつ該操作により選択された形状を持つ前記仮想３次元操作領域を示す、３次元領域データを生成させる、
付記１から３のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記５）
前記仮想データ生成部は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元座標空間上の位置に始点及び終点を設定し、該始点及び該終点を中心点とし、かつ、該中心点から球面上の点までの距離を該始点と該終点とを結ぶ直線の半分とする２つの球体の交わる領域が持つ形状を新たな３次元領域データにより示される前記仮想３次元操作領域に設定する、
付記４に記載の３次元ユーザインタフェース装置。

（付記６）
前記３次元座標空間に基づいて、前記表示基準となる空間を写す前記視線画像に、前記３次元領域データにより示される前記仮想３次元操作領域を合成する画像合成部、
を更に備え、
前記表示処理部は、前記画像合成部により得られる画像を前記表示部に表示させる、
付記１から５のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記７）
３次元センサから３次元情報を取得する３次元情報取得部と、
前記３次元情報から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、
前記視線画像取得部により取得される視線画像から前記共通実オブジェクトを検出する第２オブジェクト検出部と、
前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を設定し、かつ、前記３次元センサの位置及び向きを算出する基準設定部と、
を更に備え、
前記座標設定部は、前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を共有し、かつ、前記撮像部の位置及び向きを算出し、
前記位置取得部は、前記基準設定部により算出される前記３次元センサの位置及び向き並びに前記３次元座標空間に基づいて、前記３次元情報取得部により取得される３次元情報から取得される前記操作者の特定部位に関する３次元位置情報を変換することにより、前記操作者の特定部位に関する前記３次元座標空間上の３次元位置情報を算出する、
前記画像合成部は、前記座標設定部により算出される前記撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記合成を行う、
付記６に記載の３次元ユーザインタフェース装置。

（付記８）
少なくとも１つのコンピュータに実行される３次元操作処理方法において、
操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得し、
前記取得された視線画像に基づいて、３次元座標空間を設定し、
前記３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成し、
前記視線画像に写る空間に相当する前記３次元座標空間内の視認空間を表示基準として、前記生成された３次元領域データにより示される前記仮想３次元操作領域を前記操作者の頭部に装着される表示部に表示させ、
前記操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得し、
前記取得された３次元位置と前記仮想３次元操作領域の前記３次元座標空間上の位置とに基づいて、前記仮想３次元操作領域における前記操作者の前記特定部位を用いた操作を検出する、
ことを含む３次元操作処理方法。

（付記９）
前記仮想３次元操作領域自体に対する前記操作者の特定操作を検出し、
前記３次元領域データに対して、前記検出された特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す、
ことを更に含む付記８に記載の３次元操作処理方法。

（付記１０）
前記３次元領域データの生成は、複数の仮想３次元操作領域の各々について、前記３次元座標空間上の位置及び操作種をそれぞれ示す複数の３次元領域データを生成し、
前記操作の検出は、前記複数の仮想３次元操作領域のうち操作された仮想３次元操作領域を特定し、該特定された仮想３次元操作領域に設定されている操作種に対応する操作情報を取得する、
付記８又は９に記載の３次元操作処理方法。

（付記１１）
前記仮想３次元操作領域が取り得る複数の形状を示す、前記３次元座標空間上に配置される機能メニューの表示データを生成し、
前記機能メニューを前記表示部に表示させ、
前記機能メニューに対する前記操作者の特定部位を用いた操作を検出する、
ことを更に含み、
前記３次元領域データの生成は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元空間上の位置に配置されかつ該操作により選択された形状を持つ前記仮想３次元操作領域を示す、３次元領域データを生成させる、
付記８から１０のいずれか１つに記載の３次元操作処理方法。

（付記１２）
前記３次元領域データの生成は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元座標空間上の位置に始点及び終点を設定し、該始点及び該終点を中心点とし、かつ、該中心点から球面上の点までの距離を該始点と該終点とを結ぶ直線の半分とする２つの球体の交わる領域の形状を持つ前記仮想３次元操作領域を示す前記３次元領域データを生成する、
付記１１に記載の３次元操作処理方法。

（付記１３）
前記３次元座標空間に基づいて、前記表示基準となる空間を写す前記視線画像に、前記３次元領域データにより示される前記仮想３次元操作領域を合成する、
ことを更に含み、
前記仮想３次元操作領域の表示は、前記合成により得られる画像を前記表示部に表示させる、
付記８から１２のいずれか１つに記載の３次元操作処理方法。

（付記１４）
３次元センサから３次元情報を取得し、
前記３次元情報から既知の共通実オブジェクトを検出し、
前記取得された視線画像から前記共通実オブジェクトを検出し、
前記検出された前記共通実オブジェクトに基づいて、前記３次元座標空間を設定し、
前記３次元センサの位置及び向きを算出し、
前記３次元センサの位置及び向き並びに前記３次元座標空間に基づいて、前記３次元情報から取得される前記操作者の特定部位に関する３次元位置情報を変換することにより、前記操作者の特定部位に関する前記３次元座標空間上の３次元位置情報を算出する、
ことを更に含み、
前記３次元座標空間の設定は、前記視線画像から検出された前記共通実オブジェクトに基づいて、前記３次元座標空間を共有し、かつ、前記撮像部の位置及び向きを算出し、
前記視線画像と前記仮想３次元操作領域との合成は、前記撮像部の位置及び向き並びに前記３次元座標空間を用いる、
付記１３に記載の３次元操作処理方法。

（付記１５）
付記８から１４のいずれか１つに記載の３次元操作処理方法を少なくとも１つのコンピュータに実行させるプログラム。

この出願は、２０１３年３月１１日に出願された日本出願特願２０１３−０４７８４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

第１の側面に係る３次元ユーザインタフェース装置は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得する視線画像取得部と、視線画像取得部により取得される視線画像に基づいて、３次元座標空間を設定する座標設定部と、その３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部と、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、仮想データ生成部により生成される３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させる表示処理部と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部と、位置取得部により取得される３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する操作検出部と、を有する。仮想データ生成部は、３次元座標空間上に配置される機能メニューの表示データを更に生成する。機能メニューは、仮想３次元操作領域が取り得る複数の形状を示している。表示処理部は、機能メニューを表示部に更に表示させる。操作検出部は、機能メニューに対する操作者の特定部位を用いた操作を検出することにより、仮想データ生成部に、該操作の検出位置に応じて決められる３次元空間上の位置に配置されかつ該操作により選択された形状を持つ仮想３次元操作領域を示す、３次元領域データを生成させる。

第２の側面に係る３次元操作処理方法は、少なくとも１つのコンピュータにより実行される。第２の側面に係る３次元操作処理方法は、操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得し、取得された視線画像に基づいて、３次元座標空間を設定し、３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成し、視線画像に写る空間に相当する当該３次元座標空間内の視認空間を表示基準として、上記生成された３次元領域データにより示される仮想３次元操作領域を操作者の頭部に装着される表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置と仮想３次元操作領域の３次元座標空間上の位置とに基づいて、仮想３次元操作領域における操作者の特定部位を用いた操作を検出する、ことを含む。また、第２の側面に係る３次元操作処理方法は、３次元座標空間上に配置される機能メニューであって、仮想３次元操作領域が取り得る複数の形状を示す機能メニューの表示データを生成し、機能メニューを表示部に表示させ、機能メニューに対する操作者の特定部位を用いた操作を検出する、ことを更に含む。また、３次元領域データの生成は、機能メニューに対する操作の検出位置に応じて決められる３次元空間上の位置に配置されかつ該操作により選択された形状を持つ仮想３次元操作領域を示す、３次元領域データを生成させることを含む。

Claims (13)

1. 操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得する視線画像取得部と、
   前記視線画像取得部により取得される視線画像に基づいて、３次元座標空間を設定する座標設定部と、
   前記３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成する仮想データ生成部と、
   前記視線画像に写る空間に相当する前記３次元座標空間内の視認空間を表示基準として、前記仮想データ生成部により生成される３次元領域データにより示される前記仮想３次元操作領域を前記操作者の頭部に装着される表示部に表示させる表示処理部と、
   前記操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得する位置取得部と、
   前記位置取得部により取得される３次元位置と前記仮想３次元操作領域の前記３次元座標空間上の位置とに基づいて、前記仮想３次元操作領域における前記操作者の前記特定部位を用いた操作を検出する操作検出部と、
   を備える３次元ユーザインタフェース装置。
2. 前記操作検出部が前記仮想３次元操作領域自体に対する特定操作を検出する場合に、前記３次元領域データに対して、前記操作検出部により検出される特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す領域処理部を更に備える請求項１に記載の３次元ユーザインタフェース装置。
3. 前記仮想データ生成部は、複数の仮想３次元操作領域の各々について、前記３次元座標空間上の位置及び操作種をそれぞれ示す複数の３次元領域データを生成し、
   前記操作検出部は、前記複数の仮想３次元操作領域のうち操作された仮想３次元操作領域を特定し、該特定された仮想３次元操作領域に設定されている操作種に対応する操作情報を取得する、
   請求項１又は２に記載の３次元ユーザインタフェース装置。
4. 前記仮想データ生成部は、前記仮想３次元操作領域が取り得る複数の形状を示す、前記３次元座標空間上に配置される機能メニューの表示データを更に生成し、
   前記表示処理部は、前記機能メニューを前記表示部に更に表示させ、
   前記操作検出部は、前記機能メニューに対する前記操作者の特定部位を用いた操作を検出することにより、前記仮想データ生成部に、該操作の検出位置に応じて決められる前記３次元空間上の位置に配置されかつ該操作により選択された形状を持つ前記仮想３次元操作領域を示す、３次元領域データを生成させる、
   請求項１から３のいずれか１項に記載の３次元ユーザインタフェース装置。
5. 前記仮想データ生成部は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元座標空間上の位置に始点及び終点を設定し、該始点及び該終点を中心点とし、かつ、該中心点から球面上の点までの距離を該始点と該終点とを結ぶ直線の半分とする２つの球体の交わる領域が持つ形状を新たな３次元領域データにより示される前記仮想３次元操作領域に設定する、
   請求項４に記載の３次元ユーザインタフェース装置。
6. 前記３次元座標空間に基づいて、前記表示基準となる空間を写す前記視線画像に、前記３次元領域データにより示される前記仮想３次元操作領域を合成する画像合成部、
   を更に備え、
   前記表示処理部は、前記画像合成部により得られる画像を前記表示部に表示させる、
   請求項１から５のいずれか１項に記載の３次元ユーザインタフェース装置。
7. 少なくとも１つのコンピュータに実行される３次元操作処理方法において、
   操作者の頭部に装着される撮像部により撮像される操作者にとっての視線画像を取得し、
   前記取得された視線画像に基づいて、３次元座標空間を設定し、
   前記３次元座標空間上の任意の位置に少なくとも領域境界が視認可能な状態で配置される透過的な仮想３次元操作領域を示す、３次元領域データを生成し、
   前記視線画像に写る空間に相当する前記３次元座標空間内の視認空間を表示基準として、前記生成された３次元領域データにより示される前記仮想３次元操作領域を前記操作者の頭部に装着される表示部に表示させ、
   前記操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得し、
   前記取得された３次元位置と前記仮想３次元操作領域の前記３次元座標空間上の位置とに基づいて、前記仮想３次元操作領域における前記操作者の前記特定部位を用いた操作を検出する、
   ことを含む３次元操作処理方法。
8. 前記仮想３次元操作領域自体に対する前記操作者の特定操作を検出し、
   前記３次元領域データに対して、前記検出された特定操作に対応するサイズ変更処理、回転処理、変形処理及び移動処理の少なくとも１つを施す、
   ことを更に含む請求項７に記載の３次元操作処理方法。
9. 前記３次元領域データの生成は、複数の仮想３次元操作領域の各々について、前記３次元座標空間上の位置及び操作種をそれぞれ示す複数の３次元領域データを生成し、
   前記操作の検出は、前記複数の仮想３次元操作領域のうち操作された仮想３次元操作領域を特定し、該特定された仮想３次元操作領域に設定されている操作種に対応する操作情報を取得する、
   請求項７又は８に記載の３次元操作処理方法。
10. 前記仮想３次元操作領域が取り得る複数の形状を示す、前記３次元座標空間上に配置される機能メニューの表示データを生成し、
    前記機能メニューを前記表示部に表示させ、
    前記機能メニューに対する前記操作者の特定部位を用いた操作を検出する、
    ことを更に含み、
    前記３次元領域データの生成は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元空間上の位置に配置されかつ該操作により選択された形状を持つ前記仮想３次元操作領域を示す、３次元領域データを生成させる、
    請求項７から９のいずれか１項に記載の３次元操作処理方法。
11. 前記３次元領域データの生成は、前記機能メニューに対する操作の検出位置に応じて決められる前記３次元座標空間上の位置に始点及び終点を設定し、該始点及び該終点を中心点とし、かつ、該中心点から球面上の点までの距離を該始点と該終点とを結ぶ直線の半分とする２つの球体の交わる領域の形状を持つ前記仮想３次元操作領域を示す前記３次元領域データを生成する、
    請求項１０に記載の３次元操作処理方法。
12. 前記３次元座標空間に基づいて、前記表示基準となる空間を写す前記視線画像に、前記３次元領域データにより示される前記仮想３次元操作領域を合成する、
    ことを更に含み、
    前記仮想３次元操作領域の表示は、前記合成により得られる画像を前記表示部に表示させる、
    請求項７から１１のいずれか１項に記載の３次元操作処理方法。
13. 請求項７から１２のいずれか１項に記載の３次元操作処理方法を少なくとも１つのコンピュータに実行させるプログラム。

Images