JPWO2014147858A1 - ３次元ロック解除装置、３次元ロック解除方法及びプログラム - Google Patents

Abstract

３次元ロック解除装置（１００）は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部（１０１）と、当該複数の仮想オブジェクトを表示部に表示させる表示処理部（１０２）と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部（１０３）と、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部（１０４）と、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部（１０５）と、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部（１０６）と、を有する。

Description

本発明は、３次元ユーザインタフェース技術に関する。

スマートフォンやタブレット型端末のような携帯端末や、パーソナルコンピュータ（ＰＣ）等には、個人情報の漏洩や不正利用を防ぐために、ロック機能が設けられている。ロック機能には、画面操作を不可能にする画面ロック機能に加えて、特定の操作を不可能とするロック機能等も存在する。

ＡＮＤＲＯＩＤ（登録商標）を搭載する携帯端末は、縦横３つずつ並ぶ９つのポイントをなぞることで得られる軌跡パターンが、予め登録されている軌跡パターンと合致した場合に画面ロックを解除する画面ロック機能を持つ。

下記特許文献１では、タッチパネル上に残る指紋跡からロックパターンが第三者に推測される危険性を低減させるために、ユーザがロックパターンを指定する際にタッチパネル上で毎回同じ位置をなぞることがないようにする手法が提案されている。

特開２０１３−１６１１５号報

上記提案手法やＡＮＤＲＯＩＤ（登録商標）で採用される手法は、タッチパネルを用いた２次元のユーザインタフェースを対象としている。一方、近年、ＫＩＮＥＣＴ（登録商標）等の距離センサやＷＥＢカメラ等を使用して、ユーザの３次元の動作を検出し、検出された動作に応じて機器を制御するユーザインタフェースが普及しつつある。このような３次元操作を扱うユーザインタフェースにおいて上述のようなロック機能を実現する手法については現状存在しない。

本発明は、上述のような事情に鑑みてなされたものであり、操作者の３次元操作に伴いロックを解除する技術を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面に係る３次元ロック解除装置は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させる表示処理部と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部と、位置取得部により取得される３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部と、操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、を有する。

第２の側面に係る３次元ロック解除方法は、少なくとも１つのコンピュータにより実行される。第２の側面に係る３次元ロック解除方法は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出し、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、ことを含む。

なお、本発明の他の側面として、上記第２の側面における方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、操作者の３次元操作に伴いロックを解除する技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る３次元ロック解除装置の構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムのハードウェア構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムの利用形態の例を示す図である。 ヘッドマウントディスプレイ（ＨＭＤ）の外観構成の例を示す図である。 第１実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。 第１実施形態における表示側装置の処理構成例を概念的に示す図である。 第１実施形態で生成される３次元ロックデータが示す仮想オブジェクトの例を示す図である。 第１実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 第１実施形態における３次元ユーザインタフェースシステムの動作例を示すシーケンスチャートである。 第２実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 第２実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 変形例における表示側装置の処理構成例を概念的に示す図である。 変形例における３次元ユーザインタフェースシステムのハードウェア構成例を概念的に示す図である。 変形例における処理装置の処理構成例を概念的に示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

図１は、本発明の実施の形態に係る３次元ロック解除装置１００の構成例を概念的に示す図である。図１に示されるように、３次元ロック解除装置１００は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部１０１と、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させる表示処理部１０２と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部１０３と、位置取得部１０３により取得される３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部１０４と、操作検出部１０４により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部１０５と、選択情報取得部１０５により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部１０６と、を有する。

図１に示される３次元ロック解除装置１００は、例えば、後述する詳細実施形態における３次元ユーザインタフェースシステム１と同様のハードウェア構成を有し、その３次元ユーザインタフェースシステム１と同様にプログラムが処理されることで、上述の各処理部が実現される。表示部は、３次元ロック解除装置１００と通信可能に接続される。

本実施形態における３次元ロック解除方法は、上述の３次元ロック解除装置１００のような少なくとも１つのコンピュータにより実行される。本３次元ロック解除方法は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出し、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、ことを含む。

本実施形態では、３次元ロックデータが生成され、この３次元ロックデータで示される複数の仮想オブジェクトが表示される。一方で、３次元ロックデータで用いられる３次元座標空間と同じ３次元座標空間における、操作者の特定部位の３次元位置が取得される。そして、操作者の特定部位及び複数の仮想オブジェクトの各３次元位置に基づいて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作が検出される。特定部位とは、３次元ユーザインタフェースで操作位置を指し示すための操作者の体の一部又は全部である。操作者の特定部位の３次元位置は、周知の手法で取得されればよく、本実施形態ではその取得方法は制限されない。

本実施形態では、検出された各選択操作に応じて選択情報が取得され、その選択情報と既に登録されている選択情報との比較により、ロックが解除される。例えば、選択情報により示される仮想オブジェクトの選択順が両者間で一致する場合に、ロックが解除される。選択情報は、仮想オブジェクトの選択順と、選択された各仮想オブジェクトに対応する識別情報とを示す。識別情報は、各仮想オブジェクトをそれぞれ識別し得る情報であればよく、本実施形態では、その具体的内容は制限されない。識別情報の具体的態様は、後述する詳細実施形態において詳述する。既に登録されている選択情報は、３次元ロック解除装置１００に保持されていてもよいし、他のコンピュータにより保持されていてもよい。また、本実施形態で解除されるロックは、画面ロックであってもよいし、他の処理のロックであってもよい。

このように、本実施形態では、３次元座標空間上に配置される複数の仮想オブジェクトに対する操作者の特定部位を用いた３次元操作により、ロックを解除するか否かが判断される。従って、本実施形態によれば、３次元操作に伴うロック解除が実現される。

以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として第１実施形態及び第２実施形態を例示する。以下の各詳細実施形態は、上述の３次元ロック解除装置１００及び３次元ロック解除方法を３次元ユーザインタフェースシステムに適用した場合の例である。但し、以下の各詳細実施形態では、ロック解除に関連する処理のみが説明され、ロック解除以外の処理内容については、周知の技術が利用されればよいため、特に説明されない。
［第１実施形態］
〔システム構成〕
図２は、第１実施形態における３次元ユーザインタフェースシステム（以降、単にシステムと表記する）１のハードウェア構成例を概念的に示す図である。第１実施形態におけるシステム１は、センサ側構成と表示側構成とを持つ。センサ側構成は、３次元センサ（以降、３Ｄセンサと表記する）８及びセンサ側装置１０から形成される。表示側構成は、ヘッドマウントディスプレイ（以降、ＨＭＤと表記する）９及び表示側装置２０から形成される。以降、３次元を３Ｄ、２次元を２Ｄと適宜省略して表記する。

図３は、第１実施形態におけるシステム１の利用形態の例を示す図である。図３に示されるように、３Ｄセンサ８は、操作者（ユーザ）の特定部位を検出できる位置に配置される。ＨＭＤ９は、操作者（ユーザ）の頭部に装着され、操作者にとっての視線画像を撮像すると共に、その視線画像に合成された上述の複数の仮想オブジェクトを表示する。操作者は、ＨＭＤ９の表示部に表示される映像を見ながら、ロック解除のために、その映像に写る仮想オブジェクトに対して選択操作を行う。

３Ｄセンサ８は、操作者の特定部位の検出などのために利用される３Ｄ情報を検出する。３Ｄセンサ８は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを操作者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから操作者までの距離（深度）が算出される。なお、３Ｄセンサ８自体の実現手法は制限されず、３Ｄセンサ８は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図２では、３Ｄセンサ８が１つ要素で図示されるが、３Ｄセンサ８は、操作者の２次元画像を撮像する可視光カメラ及び操作者までの距離を検出するセンサといった複数の機器で実現されてもよい。

本実施形態では、図３に示されるように、既知の形状を示すマーカ７により、表示側構成及びセンサ側構成において共通の３次元座標空間が設定される。但し、共通の３次元座標空間を設定するための共通実オブジェクトは、専用のマーカ７のみに制限されない。その共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３軸の方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態は制限されない。例えば、マーカ７は、現実世界に配置された画像や物で代用され得る。

図４は、ＨＭＤ９の外観構成の例を示す図である。図４には、ビデオシースルー型と呼ばれるＨＭＤ９の構成が示されている。図４の例では、ＨＭＤ９は、２つの視線カメラ９ａ及び９ｂ、２つのディスプレイ９ｃ及び９ｄを有する。各視線カメラ９ａ及び９ｂは、ユーザの各視線に対応する各視線画像をそれぞれ撮像する。これにより、ＨＭＤ９は撮像部と呼ぶこともできる。各ディスプレイ９ｃ及び９ｄは、ユーザの視野の大部分を覆う形に配置され、各視線画像に仮想３Ｄ操作領域が合成された合成３Ｄ画像を表示する。これにより、各ディスプレイ９ｃ及び９ｄは、表示部と呼ぶこともできる。

センサ側装置１０及び表示側装置２０は、バスなどで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、入出力インタフェース（Ｉ／Ｆ）５などをそれぞれ有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体などである。

センサ側装置１０の入出力Ｉ／Ｆ５は、３Ｄセンサ８と接続され、表示側装置２０の入出力Ｉ／Ｆ５は、ＨＭＤ９と接続される。入出力Ｉ／Ｆ５と３Ｄセンサ８との間、及び、入出力Ｉ／Ｆ５とＨＭＤ９との間は無線により通信可能に接続されてもよい。各通信装置４は、無線又は有線にて、他の装置（センサ側装置１０、表示側装置２０など）と通信を行う。本実施形態は、このような通信の形態を制限しない。また、センサ側装置１０及び表示側装置２０の具体的ハードウェア構成についても制限されない。

〔処理構成〕
〈センサ側装置〉
図５は、第１実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第１実施形態におけるセンサ側装置１０は、３Ｄ情報取得部１１、第１オブジェクト検出部１２、基準設定部１３、位置算出部１４、状態取得部１５、送信部１６などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

３Ｄ情報取得部１１は、３Ｄセンサ８により検出された３Ｄ情報を逐次取得する。３Ｄ情報は、可視光により得られる操作者の２Ｄ画像と、３Ｄセンサ８からの距離（深度）の情報とを含む。３Ｄセンサ８は、可視光カメラと深度センサといった複数の機器により構成されてもよい。

第１オブジェクト検出部１２は、３Ｄ情報取得部１１により取得された３Ｄ情報から既知の共通実オブジェクトを検出する。本実施形態では、共通実オブジェクトとして、図３に示されるマーカ７が利用される。第１オブジェクト検出部１２は、マーカ７が示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、マーカ７を３Ｄ情報から検出する。

基準設定部１３は、第１オブジェクト検出部１２により検出されるマーカ７に基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する。例えば、基準設定部１３は、マーカ７から抽出される基準点を原点とし、その基準点からの相互に直交する３方向を各軸とする３Ｄ座標空間を設定する。基準設定部１３は、マーカ７に関する既知の形状及びサイズと、３Ｄ情報から抽出されたマーカ７が示す形状及びサイズとの比較により、３Ｄセンサ８の位置及び向きを算出する。

位置算出部１４は、３Ｄ情報取得部１１により逐次取得される３Ｄ情報を用いて、操作者の特定部位に関する上記３Ｄ座標空間上の３Ｄ位置情報を逐次算出する。本実施形態では、位置算出部１４は、具体的に次のように当該３Ｄ位置情報を算出する。位置算出部１４は、まず、３Ｄ情報取得部１１により取得される３Ｄ情報から操作者の特定部位の３Ｄ位置情報を抽出する。ここで抽出される３Ｄ位置情報は、３Ｄセンサ８のカメラ座標系に対応する。そこで、位置算出部１４は、基準設定部１３により算出される３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、３Ｄセンサ８のカメラ座標系に対応する３Ｄ位置情報を基準設定部１３で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する。この変換は、３Ｄセンサ８のカメラ座標系から、上記マーカ７に基づき設定される３Ｄ座標系への変換を意味する。

ここで、検出すべき操作者の特定部位は複数であってもよい。例えば、複数の特定部位として操作者の両手が利用される形態があり得る。この場合、位置算出部１４は、３Ｄ情報取得部１１により取得される３Ｄ情報から、複数の特定部位の３Ｄ位置情報をそれぞれ抽出し、この各３Ｄ位置情報を３Ｄ座標空間上の各３Ｄ位置情報にそれぞれ変換する。また、特定部位とは、操作者が操作を行うために用いる体の一部であるため、或る程度の面積又は体積を有する。よって、位置算出部１４により算出される３Ｄ位置情報は、当該特定部位の中の或る１点の位置情報であってもよいし、複数点の位置情報であってもよい。

状態取得部１５は、操作者の特定部位の状態情報を取得する。特定部位の状態情報とは、特定部位の形状に関わる状態を特定し得る情報であり、例えば、握った状態、開いた状態、親指を立てた状態などを示す。この特定部位は、位置算出部１４で検出対象とされる特定部位と同一である。本実施形態は、検出可能な範囲で、この状態情報が示し得る状態の数を制限しない。また、複数の特定部位が利用される場合には、状態取得部１５は、各特定部位に関する状態情報をそれぞれ取得する。

状態取得部１５は、例えば、当該特定部位の識別すべき各状態に対応する画像特徴情報を予めそれぞれ保持しておき、３Ｄ情報取得部１１により取得される３Ｄ情報に含まれる２Ｄ画像から抽出される特徴情報と、その予め保持される各画像特徴情報との比較により、当該特定部位の状態情報を取得する。また、状態取得部１５は、当該特定部位に装着されたひずみセンサ（図示せず）から得られる情報から、当該特定部位の状態情報を取得してもよい。また、状態取得部１５は、操作者の手で操作される入力マウス（図示せず）からの情報から、当該状態情報を取得してもよい。更に、状態取得部１５は、マイクロフォン（図示せず）により得られる音声を認識することで当該状態情報を取得してもよい。

送信部１６は、操作者の特定部位に関する、位置算出部１４により算出された当該３Ｄ座標空間上の３Ｄ位置情報と、状態取得部１５により取得された操作者の特定部位に関する状態情報を表示側装置２０に送信する。

〈表示側装置〉
図６は、第１実施形態における表示側装置２０の処理構成例を概念的に示す図である。第１実施形態における表示側装置２０は、視線画像取得部２１、第２オブジェクト検出部２２、座標設定部２３、仮想データ生成部２４、操作情報取得部２５、操作検出部２６、画像合成部２７、表示処理部２８、選択情報取得部２９、ロック制御部３０などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

視線画像取得部２１は、操作者の視線画像を取得する。視線画像とは、操作者の目が向いている方向と略同じ方向から撮像される画像である。但し、視線画像は、操作者に見えている（見える）画像と完全に一致しなくてもよい。操作者が仮想オブジェクトの選択操作を行う場合、視線画像には、センサ側装置１０により検出される操作者の特定部位と同じ特定部位が写る。本実施形態では、視線カメラ９ａ及び９ｂが設けられているため、視線画像取得部２１は、左目及び右目の各々に対応する各視線画像をそれぞれ取得する。なお、各処理部は、左目及び右目に対応する両視線画像に対してそれぞれ同様に処理されるため、以下の説明では、１つの視線画像を対象に説明する。

第２オブジェクト検出部２２は、視線画像取得部２１により取得される視線画像から、センサ側装置１０で検出されるものと同じ既知の共通実オブジェクトを検出する。即ち、本実施形態では、第２オブジェクト検出部２２は、図３に示されるマーカ７を検出する。第２オブジェクト検出部２２の処理は、上述のセンサ側装置１０の第１オブジェクト検出部１２と同様であるため、ここでは詳細説明を省く。なお、視線画像に含まれるマーカ７は、３Ｄセンサ８で得られる３Ｄ情報に含まれるマーカ７とは、撮像方向が異なる。

座標設定部２３は、第２オブジェクト検出部２２により検出されたマーカ７に基づいて、センサ側装置１０の基準設定部１３により設定されたものと同じ３Ｄ座標空間を設定し、かつ、ＨＭＤ９の位置及び向きを算出する。座標設定部２３の処理についても、センサ側装置１０の基準設定部１３と同様であるため、ここでは詳細説明を省く。座標設定部２３により設定される３Ｄ座標空間も、センサ側装置１０の基準設定部１３により設定される３Ｄ座標空間と同じ共通の実オブジェクト（マーカ７）に基づいて設定されるため、結果として、３Ｄ座標空間がセンサ側装置１０と表示側装置２０との間で共有されることになる。

仮想データ生成部２４は、座標設定部２３により設定された３Ｄ座標空間上に任意に配置される複数の仮想オブジェクトを示す３Ｄロックデータを生成する。即ち、仮想データ生成部２４は、上述の仮想データ生成部１０１に相当する。

図７は、第１実施形態で生成される３Ｄロックデータが示す仮想オブジェクトの例を示す図である。なお、図７に示される点線は、仮想オブジェクトの配列を見易いように補足的に示したものであり、ＨＭＤ９には表示されない。また、図７には、球体の仮想オブジェクトが示されるが、第１実施形態では、仮想オブジェクトの数、形、色、サイズは制限されない。仮想オブジェクトは半透明化されてもよい。

図７に示されるように、第１実施形態では、仮想データ生成部２４は、当該３Ｄ座標空間において当該複数の仮想オブジェクトが格子状に所定の並びで配置される３Ｄロックデータを生成する。図７の例では、３Ｄ座標空間の各次元について３つずつ立方体状に並ぶ２７個の仮想オブジェクトが示される。

これにより、各仮想オブジェクトは、３Ｄ座標空間上の位置を示す情報に加えて、格子状の配置の中の相対的な位置情報をそれぞれ持つことになる。以降、仮想オブジェクトの位置情報のうち、３Ｄ座標空間上の位置を示す情報を３Ｄ位置情報と表記し、仮想オブジェクトの格子状の配置の中の相対的な位置を示す情報を相対位置情報と表記する。図７の例では、各仮想オブジェクトは、次のような相対位置情報をそれぞれ持つ。相対位置情報は、ｘ方向の位置、ｙ方向の位置、ｚ方向の位置により、（ｘ、ｙ、ｚ）により示される。
仮想オブジェクトＯＢ１：相対位置情報（１，３，１）
仮想オブジェクトＯＢ２：相対位置情報（１，３，３）
仮想オブジェクトＯＢ３：相対位置情報（３，３，１）
仮想オブジェクトＯＢ４：相対位置情報（１，１，３）
仮想オブジェクトＯＢ５：相対位置情報（３，１，１）

画像合成部２７は、ＨＭＤ９の位置及び向き並びに３Ｄ座標空間及び３Ｄロックデータに基づいて、視線画像取得部２１で取得された視線画像に仮想オブジェクトを合成する。このとき、仮想オブジェクトの３Ｄ座標空間上の位置は、視線画像に写る空間に相当する３Ｄ座標空間内の視認空間を表示基準として決定される。また、本実施形態では、画像合成部２７は、視線カメラ９ａ及び９ｂで撮像された各視線画像に基づく各合成画像をそれぞれ生成する。なお、画像合成部２７による合成処理には、拡張現実（ＡＲ）等で用いられる周知の手法が利用されればよいため、ここでは詳細説明を省略する。

表示処理部２８は、上述の表示処理部１０２と同様に、複数の仮想オブジェクトをＨＭＤ９に表示させる。本実施形態では、表示処理部２８は、仮想オブジェクトと視線画像との合成画像をＨＭＤ９に表示させる。これにより、ディスプレイ９ｃ及び９ｄにそれぞれ操作者の各視線に対応する各合成画像がそれぞれ表示されるため、操作者は、両眼視差により、視線画像及び仮想オブジェクトを立体的に視認することができる。

図８は、ＨＭＤ９に表示される合成画像の例を示す図である。なお、図８に示される点線は、仮想オブジェクトの配列を見易いように補足的に示したものであり、ＨＭＤ９には表示されない。操作者は、図８に示されるような、視線画像と複数の仮想オブジェクトとの合成画像をディスプレイ９ｃ及び９ｄを通じて見る。図８の例に示される合成画像は、視線画像に写る実世界のテーブルＲＴと、格子状に並ぶ９つの仮想オブジェクトを含む。表示処理部２８は、図８に示されるように、選択された仮想オブジェクトを変色させ、選択順に対応する仮想オブジェクトの選択軌跡を表示させることもできる。

操作情報取得部２５は、操作者の特定部位に関する３Ｄ座標空間上の３Ｄ位置情報と、操作者の特定部位に関する状態情報をセンサ側装置１０から受信する。これにより、操作情報取得部２５は、上述の位置取得部１０３に相当する。

操作検出部２６は、操作者の特定部位に関する３Ｄ位置情報及び複数の仮想オブジェクトの３Ｄ位置情報、並びに、操作者の特定部位に関する状態情報を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する。例えば、操作検出部２６は、各仮想オブジェクトに対する操作検出領域をそれぞれ認識しており、その操作検出領域内に操作者の特定部位が入り、かつ、状態情報が所定の状態（例えば、握った状態）を示す場合に、その仮想オブジェクトに対し選択操作が行われたことを検出する。操作検出領域は、例えば、３Ｄ座標空間上で仮想オブジェクトに設定される３Ｄ位置を中心にした所定の範囲に設定される。操作検出領域は、３Ｄ座標空間上の仮想オブジェクトの大きさ（サイズ）に設定されてもよい。

また、操作検出部２６は、選択解除の操作も検出するようにしてもよい。例えば、操作検出部２６は、当該状態情報に基づいて、選択操作に対応する所定状態（例えば、握った状態）から他の所定状態（例えば、開いた状態）への変化を選択解除の操作として検出してもよい。また、操作検出部２６は、複数の仮想オブジェクトが並ぶ領域から所定距離離れた位置への特定部位の移動を、選択解除の操作として検出するようにしてもよい。

選択情報取得部２９は、上述の選択情報取得部１０５と同様に、選択情報を取得する。本実施形態では、選択情報取得部２９は、操作検出部２６により検出された選択操作に基づいて、選択された仮想オブジェクトの相対位置情報と選択順とを示す選択情報を取得する。但し、選択情報が示す仮想オブジェクトの位置情報は、上述の３Ｄ位置情報であってもよい。選択情報取得部２９は、選択解除を検出するまで、操作検出部２６による選択操作の検出順に、仮想オブジェクトの相対位置情報及びその順番を選択情報として取得する。選択解除は、操作検出部２６による選択解除の操作の検出に応じて検出されてもよいし、操作検出部２６による選択操作の最初の検出からの経過時間が所定時間を超えたことにより検出されてもよい。また、選択情報取得部２９は、選択された仮想オブジェクトの数が上限値に達したことにより、選択解除を検出するようにしてもよい。

ロック制御部３０は、上述のロック制御部１０６と同様に、当該選択情報と既に登録されている選択情報との比較により、ロックを解除する。例えば、ロック制御部３０は、当該選択情報により示される仮想オブジェクトの選択順と、既に登録されている選択情報により示される仮想オブジェクトの選択順とが一致する場合に、ロックを解除する。既に登録されている選択情報は、表示側装置２０に保持されていてもよいし、他のコンピュータに保持されていてもよい。

〔動作例〕
以下、第１実施形態における３次元ロック解除方法について図９を用いて説明する。図９は、第１実施形態におけるシステム１の動作例を示すシーケンスチャートである。以下では、センサ側装置１０又は表示側装置２０を各方法の実行主体として説明するが、実行主体は、システム１を構成する少なくとも１つのコンピュータとされてもよい。

センサ側装置１０は、３Ｄセンサ８から３Ｄ情報を逐次取得する（Ｓ１０１）。３Ｄ情報には、共通実オブジェクトとしてのマーカ７及び操作者の特定部に関する情報が含まれる。センサ側装置１０は、所定のフレームレートの当該３Ｄ情報に対して次のように動作する。

センサ側装置１０は、当該３Ｄ情報から共通実オブジェクト（マーカ７）を検出する（Ｓ１０２）。続いて、センサ側装置１０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する（Ｓ１０３）。

更に、センサ側装置１０は、当該３Ｄ情報を用いて、操作者の特定部位の３Ｄ位置情報を算出する（Ｓ１０４）。更に、センサ側装置１０は、工程（Ｓ１０３）で算出された３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、工程（Ｓ１０４）で算出された３Ｄ位置情報を工程（Ｓ１０３）で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する（Ｓ１０５）。

センサ側装置１０は、操作者の特定部位の状態情報を更に取得する（Ｓ１０６）。
センサ側装置１０は、操作者の特定部位に関する３Ｄ位置情報及び状態情報を表示側装置２０に送信する（Ｓ１０７）。

図９では、説明の便宜のため、工程（Ｓ１０２）及び（Ｓ１０３）が３Ｄ情報の所定のフレームレートで実行される例が示されるが、工程（Ｓ１０２）及び（Ｓ１０３）はキャリブレーション時のみ実行されるようにしてもよい。また、（Ｓ１０６）の実行タイミングは、図９に示されるタイミングに制限されない。

一方で、表示側装置２０は、３Ｄ情報の取得（Ｓ１０１）とは非同期で、ＨＭＤ９から視線画像を逐次取得している（Ｓ１１１）。表示側装置２０は、所定のフレームレートの当該視線画像に対して次のように動作する。

表示側装置２０は、当該視線画像からセンサ側装置１０で検出されるものと同じ共通実オブジェクト（マーカ７）を検出する（Ｓ１１２）。続いて、表示側装置２０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間におけるＨＭＤ９の位置及び向きを算出する（Ｓ１１３）。同じマーカ７（共通実オブジェクト）が用いられるため、センサ側装置１０と表示側装置２０との間で３Ｄ座標空間が共有されることになる。

表示側装置２０は、上述のような３Ｄロックデータを生成する（Ｓ１１４）。この３Ｄロックデータは、複数の仮想オブジェクトに関する、（Ｓ１１３）で設定された３Ｄ座標空間上の位置、サイズ、形状、表示態様等の情報を含む。このような仮想オブジェクトに関する設定情報は任意の手法により取得される。

表示側装置２０は、（Ｓ１１３）で設定された３Ｄ座標空間に基づいて、（Ｓ１１１）で取得された視線画像と、（Ｓ１１４）で生成された３Ｄロックデータにより示される複数の仮想オブジェクトとを合成する（Ｓ１１５）。表示側装置２０は、その合成により得られた画像をＨＭＤ９に表示させる（Ｓ１１６）。

表示側装置２０は、センサ側装置１０から、操作者の特定部位に関する３Ｄ位置情報及び状態情報を受信すると（Ｓ１１７）、３Ｄ座標空間における操作者の特定部位の３Ｄ位置と、各仮想オブジェクトの３Ｄ位置とに基づいて、仮想オブジェクトに対する操作者の特定部位を用いた選択操作を検出する（Ｓ１１８）。この選択操作の検出において、表示側装置２０は、選択された仮想オブジェクトの相対位置情報を取得する。

表示側装置２０は、（Ｓ１１８）の選択操作の検出に応じて、選択情報を更新する（Ｓ１１９）。具体的には、表示側装置２０は、（Ｓ１１８）で検出された選択操作が行われた仮想オブジェクトの相対位置情報を、選択順番に応じて、選択情報に反映する。表示側装置２０は、選択解除を検出するまで（Ｓ１２０）、（Ｓ１１８）及び（Ｓ１１９）を繰り返す。これにより、選択情報には、選択された仮想オブジェクトの相対位置情報とその選択された順番とが蓄積される。

表示側装置２０は、選択解除を検出すると（Ｓ１２０；ＹＥＳ）、（Ｓ１１９）で更新された選択情報と既に登録されている選択情報とを照合する（Ｓ１２１）。表示側装置２０は、両者の仮想オブジェクトの選択順が一致すると（Ｓ１２２；ＹＥＳ）、ロックを解除する（Ｓ１２３）。一方、表示側装置２０は、両者の仮想オブジェクトの選択順が一致しない場合（Ｓ１２２；ＮＯ）、ロックを解除せず、選択情報を初期化する（Ｓ１２４）。以降、両者の仮想オブジェクトの選択順が一致するまで（Ｓ１２２）、表示側装置２０は、（Ｓ１１８）以降を繰り返し実行する。

図９では、説明の便宜のため、（Ｓ１１２）から（Ｓ１１５）が視線画像の所定のフレームレートで実行される例が示されるが、（Ｓ１１２）及び（Ｓ１１３）は、キャリブレーション時のみ実行され、（Ｓ１１４）及び（Ｓ１１５）は、ロック解除が必要なタイミングで実行されるようにしてもよい。

〔第１実施形態の作用及び効果〕
このように、第１実施形態では、ＨＭＤ９及び３Ｄセンサ８の各々で得られる画像情報に写る共通実オブジェクト（マーカ７）に基づいて、センサ側装置１０及び表示側装置２０で３Ｄ座標空間が共有される。そして、この３Ｄ座標空間に基づいて、視線画像とロック解除のための複数の仮想オブジェクトとが合成され、この合成画像が操作者の頭部に装着されるＨＭＤ９に表示される。更に、第１実施形態では、視線画像を得る撮像部（視線カメラ９ａ及び視線カメラ９ｂ）とは別に、操作者の特定部位の位置を測定し得るセンサ（３Ｄセンサ８）が設けられ、当該共通の３Ｄ座標空間において操作者の特定部位と仮想オブジェクトとの位置関係が比較され、仮想オブジェクトに対する特定部位を用いた操作者の特定部位を用いた選択操作が検出される。

また、第１実施形態では、選択操作が行われる複数の仮想オブジェクトが格子状に並べられて表示され、各仮想オブジェクトの相対的な位置情報とその選択順とに基づいて、ロック解除が判断される。このように、第１実施形態によれば、３次元化されたロックパターンを用いたロック解除機能が実現されており、言い換えれば、３次元ユーザインタフェースでのロック機能が実現され得る。

更に、操作者は、あたかも自身の目の前の現実世界に存在するかのように複数の仮想オブジェクトを視認できると共に、ロック解除のために、それら仮想オブジェクトを自身の特定部位を用いて選択することができる。即ち、第１実施形態によれば、操作者は、仮想オブジェクトをあたかも直接触っているかのような直感的操作感により、ロック解除のための操作を行うことができる。また、仮想オブジェクトは操作者のみによって見ることができるため、第３者は、操作者の特定部位を用いた動作（ジェスチャ）が何を目的としているのか把握しづらい。即ち、第１実施形態によれば、第３者に、ロック解除のための操作者の特定部位を用いた選択操作（ジェスチャ）が漏洩するのを防止することができる。

また、第１実施形態では、仮想オブジェクトの選択操作は、操作者の特定部位の位置と状態とから検出される。これにより、特定部位としての手で、仮想オブジェクトを握る動作（ジェスチャ）を選択操作として検出するようにすれば、操作者に、より直感的な操作感を与えることができる。更に、選択操作に対応する特定部位の特定状態を設けることにより、仮想オブジェクトに対する選択操作の誤検出を防ぐことができる。例えば、操作者の特定部位が仮想オブジェクトの操作検出領域に意図せず触れてしまったとしても、その動作により、仮想オブジェクトの選択操作と検出されることを防ぐことができる。第１実施形態によれば、このような直感的操作及び誤検出の防止により、３次元ユーザインタフェースでのロック機能のユーザビリティを向上させることができる。

［第２実施形態］
第２実施形態におけるシステム１は、仮想オブジェクトに割り当てられている標識に基づいてロック解除を判断する。以下、第２実施形態におけるシステム１について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。

〔処理構成〕
第２実施形態では、センサ側装置１０及び表示側装置２０は、第１実施形態と同様の処理構成を有する。以下には、第１実施形態と異なる処理内容の各処理部についてのみ説明する。

〈表示側装置〉
仮想データ生成部２４は、操作者により識別可能な標識がユニークにそれぞれ付される複数の仮想オブジェクトを示す３次元ロックデータを生成する。仮想データ生成部２４は、標識として、例えば、色、数字、文字及び記号の少なくとも１つを、各仮想オブジェクトがそれぞれ識別可能となるように、各仮想オブジェクトにそれぞれ設定する。第２実施形態では、仮想データ生成部２４は、複数の仮想オブジェクトの配置を３Ｄ座標空間上に任意に決定することができる。また、第２実施形態では、仮想データ生成部２４は、複数の仮想オブジェクトの配置を所定のタイミング毎に変更することもできる。所定のタイミングは、例えば、仮想オブジェクトの表示毎や、ロック毎等、任意に決定可能である。

表示処理部２８は、仮想オブジェクトと視線画像との合成画像をＨＭＤ９に表示させる。図１０Ａ及び図１０Ｂは、第２実施形態におけるＨＭＤ９に表示される合成画像の例を示す図である。図１０Ａの例では、標識としてのユニークな数字が各仮想オブジェクトにそれぞれ割り当てられており、図１０Ｂの例では、標識としてのユニークな色が各仮想オブジェクトにそれぞれ割り当てられている。

選択情報取得部２９は、選択された仮想オブジェクトに付された標識と選択順とを示す選択情報を取得する。図１０Ａの例では、選択情報取得部２９は、選択された仮想オブジェクトの数字と選択順とを示す選択情報を取得し、図１０Ｂの例では、選択情報取得部２９は、選択された仮想オブジェクトの色と選択順とを示す選択情報を取得する。このように、第２実施形態における選択情報は、仮想オブジェクトに対応する識別情報としての標識と選択順とを示す。

〔動作例〕
第２実施形態における３次元ロック解除方法は、仮想オブジェクトに対応する識別情報として標識を用いる点以外、図９に示される第１実施形態と同様である。但し、（Ｓ１１４）において３Ｄロックデータを生成する度に、表示側装置２０は、仮想オブジェクトの並びを任意に変えるようにしてもよい。図９の（Ｓ１１４）は、ロック解除（Ｓ１２３）後、再度掛けられたロックを解除する際に、また実行される。

〔第２実施形態における作用及び効果〕
このように、第２実施形態では、各仮想オブジェクトに、操作者により識別可能な標識がそれぞれ割り当てられ複数の仮想オブジェクトが視線画像と合成されてＨＭＤ９に表示される。これにより、操作者は、ロック解除のために既に登録されている選択情報としての仮想オブジェクトの標識の選択順に沿って、仮想オブジェクトを順次選択していくことで、ロック解除を行うことが出来る。第２実施形態によれば、操作者は、ロック解除のためのパターンを仮想オブジェクトの標識の並びで覚えることができるため、操作者にとって覚えやすく、使い勝手の良いロック解除機能を実現することができる。

更に、第２実施形態では、仮想オブジェクトの選択順は、仮想オブジェクトの標識により示されるため、仮想オブジェクトの並びを任意とすることができ、かつ、表示の度に仮想オブジェクトの並びを変更することもできる。従って、第２実施形態によれば、ロック解除のための操作者の特定部位を用いた動作（ジェスチャ）を毎回変えることができるため、第３者に、ロック解除のための操作者の特定部位を用いた選択操作（ジェスチャ）が漏洩するのを更に防止することができる。

［第１変形例］
上述の第２実施形態では、仮想オブジェクトに対応する識別情報として標識が用いられたが、形状及びサイズの少なくとも１つが当該識別情報として用いられてもよい。この場合、仮想データ生成部２４は、操作者により識別可能な形状及びサイズの少なくとも一方がユニークにそれぞれ付される複数の仮想オブジェクトを示す３次元ロックデータを生成する。この場合、操作者は、ロック解除のために仮想オブジェクトの形状及びサイズの少なくとも一方の選択順に沿って、仮想オブジェクトを順次選択していくことで、ロック解除を行うことが出来る。形状及びサイズによっても、各仮想オブジェクトを識別することは可能であるため、このような変形例においても、第２実施形態と同様の作用効果を奏することができる。更に、第２実施形態において用いられた標識、形状及びサイズの中のいずれか複数の組み合わせが当該識別情報として用いられてもよい。

［第２変形例］
また、上述の第１実施形態及び第２実施形態では、操作者の特定部位の３Ｄ位置情報及び状態情報を用いて、仮想オブジェクトの選択操作が検出されたが、状態情報を用いない形態もあり得る。この場合、センサ側装置１０の状態取得部１５は不要となり、送信部１６は、操作者の特定部位の３Ｄ位置情報のみを表示側装置２０へ送信する。また、表示側装置２０では、操作検出部２６は、状態情報を用いず、操作者の特定部位の３Ｄ位置及び複数の仮想オブジェクトの３Ｄ位置に基づいて、仮想オブジェクトに対する選択操作を検出する。例えば、操作検出部２６は、操作者の特定部位が仮想オブジェクトの操作検出領域内に存在することで、その仮想オブジェクトに対する選択操作を検出する。また、操作検出部２６は、操作者の特定部位が仮想オブジェクトの操作検出領域内で所定時間以上停止した場合に、その仮想オブジェクトに対する選択操作を検出するようにしてもよい。

また、操作検出部２６は、次のように、仮想オブジェクトに対する選択操作を検出するようにしてもよい。例えば、操作検出部２６は、最初の選択操作のみ特定の操作を検出し、選択解除までのその後の選択操作を、上記特定の操作ではなく、仮想オブジェクトの操作検出領域への特定部位の侵入を検出するようにしてもよい。具体的には、操作検出部２６は、仮想オブジェクトの最初の選択を、その仮想オブジェクトの操作検出領域での当該特定部位の一定時間以上の停止により検出し、以降の選択を、当該特定部位の操作検出領域への侵入のみにより、検出する。このようにすれば、ロック解除のための仮想オブジェクトの選択操作を簡単化することができる。

［第３変形例］
図１１は、変形例における表示側装置２０の処理構成例を概念的に示す図である。上述の各実施形態では特に触れられなかったが、システム１は、比較対象の選択情報を登録する機能を持つようにしてもよい。変形例では、表示側装置２０は、図１１に示されるように、上述の各実施形態における構成に加えて、選択情報登録部３５を更に有するようにしてもよい。表示側装置２０は、選択情報の登録時とロック解除時とで処理を分け、選択情報の登録時には、選択情報登録部３５が、選択情報取得部２９で取得された選択情報を正規の選択情報として格納部に登録する。この格納部は、表示側装置２０が持っていてもよいし、他のコンピュータが持っていてもよい。

更に、選択情報の登録時には、表示処理部２８は、仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを操作者に選択させるための画面をＨＭＤ９に表示させ、操作検出部２６は、仮想オブジェクトに対応する識別情報の形態を選択する操作を検出し、選択情報取得部２９は、操作者に選択された識別情報の種別と、その種別の識別情報を含む選択情報とを対応付けて選択情報登録部３５に登録させる。これにより、例えば、操作者は、相対位置情報を用いる形態（第１実施形態に相当）、及び、標識、サイズ及び形状の少なくとも１つを用いる形態（第２実施形態及び変形例に相当）を選択することができる。更に、当該画面において、操作者に、色、数字、記号等の標識の中の所望の標識を選択させるようにしてもよい。

また、相対位置情報を用いる形態が選択された場合、当該画面において、更に、仮想オブジェクトの格子状の並びのパターンを操作者に選択させるようにしてもよい。この場合、仮想データ生成部２４は、操作者に選択された並びパターンで配置される複数の仮想オブジェクトを示す３Ｄロックデータを生成すればよい。並びパターンとしては、第１実施形態で例示された立方体に加えて、直方体、三角錐、正八面体など、様々なパターンがあり得る。この場合、正規の選択情報と共に仮想オブジェクトの並びパターンの情報が登録される。このようにすれば、操作者毎に仮想オブジェクトの並びや識別情報を変えることができるため、ロック解除のための操作者の特定部位を用いた選択操作の漏洩を一層防ぐことができる。

［他の変形例］
上述の各実施形態では、図３に示されるように、ＨＭＤ９が、操作者（ユーザ）の両目に対応して、視線カメラ９ａ及び９ｂ、並びに、ディスプレイ９ｃ及び９ｄを有したが、視線カメラ及びディスプレイを１つずつ持つようにしてもよい。この場合、１つのディスプレイは、操作者の片目の視野を覆うように配置されてもよいし、操作者の両目の視野を覆うように配置されてもよい。この場合、表示側装置２０の仮想データ生成部２４は、仮想オブジェクトを３ＤＣＧで表示させることができるように、周知の３ＤＣＧ技術を用いて３Ｄロックデータを生成すればよい。

また、上述の各実施形態では、視線画像を得るためにビデオシースルー型のＨＭＤ９が用いられたが、光学シースルー型のＨＭＤ９が用いられてもよい。この場合には、ＨＭＤ９にはハーフミラーのディスプレイ９ｃ及び９ｄが設けられ、このディスプレイ９ｃ及び９ｄに仮想オブジェクトが表示されるようにすればよい。但し、この場合、操作者の視線方向で共通実オブジェクトを検出するための画像を得るためのカメラがＨＭＤ９の操作者の視野を遮らない箇所に設けられる。

また、上述の第１実施形態及び第２実施形態では、図２に示されるように、センサ側装置１０と表示側装置２０とが別々に設けられ、対象者の視線画像に仮想オブジェクトが合成されたが、センサ側装置１０で得られる３Ｄ情報に含まれる２Ｄ画像に仮想オブジェクトが合成された画像が表示されるようにしてもよい。

図１２は、変形例におけるシステム１のハードウェア構成例を概念的に示す図である。システム１は、処理装置５０、３Ｄセンサ８、及び、表示装置５１を有する。処理装置５０は、ＣＰＵ２、メモリ３、入出力Ｉ／Ｆ５等を有し、入出力Ｉ／Ｆ５は、３Ｄセンサ８及び表示装置５１に接続される。表示装置５１は、合成画像を表示する。

図１３は、変形例における処理装置５０の処理構成例を概念的に示す図である。変形例における処理装置５０は、上述の各実施形態におけるセンサ側装置１０に含まれる３Ｄ情報取得部１１、位置算出部１４及び状態取得部１５を有し、上述の各実施形態における表示側装置２０に含まれる仮想データ生成部２４、操作検出部２６、画像合成部２７、表示処理部２８、選択情報取得部２９及びロック制御部３０を有する。これら各処理部については以下の点を除き、上述の各実施形態と同様である。

位置算出部１４は、３Ｄ情報取得部１１により３Ｄセンサ８から得られる３Ｄ情報から直接的に、対象者の特定部位の３Ｄ位置情報を得る。操作検出部２６は、位置算出部１４により算出されるカメラ座標系の３Ｄ位置情報と状態取得部１５により得られる状態情報とに基づいて、仮想オブジェクトに対する選択操作を検出する。画像合成部２７は、３Ｄ情報取得部１１により得られる３Ｄ情報に含まれる２Ｄ画像と、仮想データ生成部２４により生成された３Ｄロックデータが示す仮想オブジェクトとを合成する。

この変形例では、対象者は、自身の視線方向以外の方向（３Ｄセンサ８）から撮像された自身の映像を見ながら、仮想オブジェクトを操作することになる。よって、この変形例では、対象者自身の視線画像を用いる上述の各実施形態に比べて、直感性は低下する可能性があるが、特定部位を用いた仮想オブジェクトに対する３次元操作によりロック解除をすることができる。

なお、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

この出願は、２０１３年３月１９日に出願された日本出願特願２０１３−０５７１８５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

第１の側面に係る３次元ロック解除装置は、３次元座標空間上において幅方向、高さ方向、および奥行方向にそれぞれ配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させる表示処理部と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部と、位置取得部により取得される３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部と、操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、を有する。

第２の側面に係る３次元ロック解除方法は、少なくとも１つのコンピュータにより実行される。第２の側面に係る３次元ロック解除方法は、３次元座標空間上において幅方向、高さ方向、および奥行方向にそれぞれ配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出し、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、ことを含む。

この出願は、２０１３年３月１９日に出願された日本出願特願２０１３−０５７１８５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以下、参考形態の例を付記する。
１．
３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、
前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させる表示処理部と、
操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得する位置取得部と、
前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する操作検出部と、
前記操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、
前記選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、
を備える３次元ロック解除装置。
２．
前記仮想データ生成部は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
前記選択情報取得部は、選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
１．に記載の３次元ロック解除装置。
３．
前記仮想データ生成部は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
前記選択情報取得部は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
１．に記載の３次元ロック解除装置。
４．
前記仮想データ生成部は、前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する３．に記載の３次元ロック解除装置。
５．
前記操作者の前記特定部位の状態情報を取得する状態取得部、
を更に備え、
前記操作検出部は、前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記状態取得部により取得される状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
１．から４．のいずれか１つに記載の３次元ロック解除装置。
６．
前記ロック制御部において前記選択情報取得部により取得される選択情報と比較される、選択情報を登録する選択情報登録部、
を更に備え、
前記表示処理部は、前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
前記選択情報取得部は、前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて前記選択情報登録部に登録させる、
１．から５．のいずれか１つに記載の３次元ロック解除装置。
７．
少なくとも１つのコンピュータにより実行される３次元ロック解除方法において、
３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、
前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させ、
操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得し、
前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出し、
前記検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、
前記取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、
ことを含む３次元ロック解除方法。
８．
前記３次元ロックデータの生成は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
前記選択情報の取得は、前記選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
７．に記載の３次元ロック解除方法。
９．
前記３次元ロックデータの生成は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
前記選択情報の取得は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
７．に記載の３次元ロック解除方法。
１０．
前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する、
ことを更に含む９．に記載の３次元ロック解除方法。
１１．
前記操作者の前記特定部位の状態情報を取得する、
ことを更に含み、
前記選択操作の検出は、前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記取得された状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
７．から１０．のいずれか１つに記載の３次元ロック解除方法。
１２．
前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて登録する、
ことを更に含む７．から１１．のいずれか１つに記載の３次元ロック解除方法。
１３．
７．から１２．のいずれか１つに記載の３次元ロック解除方法を少なくとも１つのコンピュータに実行させるプログラム。

Claims (13)

1. ３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、
   前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させる表示処理部と、
   操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得する位置取得部と、
   前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する操作検出部と、
   前記操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、
   前記選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、
   を備える３次元ロック解除装置。
2. 前記仮想データ生成部は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
   前記選択情報取得部は、選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
   請求項１に記載の３次元ロック解除装置。
3. 前記仮想データ生成部は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
   前記選択情報取得部は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
   請求項１に記載の３次元ロック解除装置。
4. 前記仮想データ生成部は、前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する請求項３に記載の３次元ロック解除装置。
5. 前記操作者の前記特定部位の状態情報を取得する状態取得部、
   を更に備え、
   前記操作検出部は、前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記状態取得部により取得される状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
   請求項１から４のいずれか１項に記載の３次元ロック解除装置。
6. 前記ロック制御部において前記選択情報取得部により取得される選択情報と比較される、選択情報を登録する選択情報登録部、
   を更に備え、
   前記表示処理部は、前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
   前記選択情報取得部は、前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて前記選択情報登録部に登録させる、
   請求項１から５のいずれか１項に記載の３次元ロック解除装置。
7. 少なくとも１つのコンピュータにより実行される３次元ロック解除方法において、
   ３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、
   前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させ、
   操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得し、
   前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出し、
   前記検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、
   前記取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、
   ことを含む３次元ロック解除方法。
8. 前記３次元ロックデータの生成は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
   前記選択情報の取得は、前記選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
   請求項７に記載の３次元ロック解除方法。
9. 前記３次元ロックデータの生成は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
   前記選択情報の取得は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
   請求項７に記載の３次元ロック解除方法。
10. 前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する、
    ことを更に含む請求項９に記載の３次元ロック解除方法。
11. 前記操作者の前記特定部位の状態情報を取得する、
    ことを更に含み、
    前記選択操作の検出は、前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記取得された状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
    請求項７から１０のいずれか１項に記載の３次元ロック解除方法。
12. 前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
    前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて登録する、
    ことを更に含む請求項７から１１のいずれか１項に記載の３次元ロック解除方法。
13. 請求項７から１２のいずれか１項に記載の３次元ロック解除方法を少なくとも１つのコンピュータに実行させるプログラム。

Images