JPWO2017217375A1 - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

Abstract

ユーザのジェスチャによる直感的且つ誤操作が少ないユーザインタフェースを、簡素な構成で実現することができる画像表示装置等を提供する。画像表示装置は、複数の選択対象及び操作用オブジェクトを含むユーザインタフェースの画像を仮想空間内の特定の平面に配置する仮想空間構成部と、現実空間に関する情報を取得する外部情報取得部と、上記情報に基づいて現実空間に実在する特定の物体を認識する物体認識部と、特定の物体の像を仮想空間内の上記平面に配置する疑似３次元化処理部と、該平面において特定の物体の像が操作用オブジェクトと接触したか否かを判定する接触判定部と、両者が接触したと判定された場合に特定の物体の像の動きが操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、上記作用が及ぼされた操作用オブジェクトにより複数の選択対象のいずれが選択されたかを判定する選択判定部とを備える。

Description

本発明は、仮想空間におけるユーザインタフェースの表示技術に関する。

近年、仮想現実（バーチャルリアリティ、以下「ＶＲ」とも記す）をユーザに体験させる技術が、ゲームやエンターテインメント或いは職業訓練等の様々な分野で利用されている。ＶＲにおいては、通常、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置が用いられる。このＨＭＤをユーザの頭部に装着し、ＨＭＤに内蔵された画面を両眼で見ることにより、ユーザは立体感のある画像を鑑賞することができる。ＨＭＤにはジャイロセンサや加速度センサが内蔵されており、これらのセンサによって検出したユーザの頭部の動きに応じて、画面に表示する画像が変化する。それにより、ユーザは、あたかも表示された画像の中に入り込んだような体験をすることができる。

このようなＶＲの技術分野においては、ユーザのジェスチャにより操作を行うユーザインタフェースが研究されている。一例として、ユーザの体表に専用のセンサを取り付け、或いは、ユーザの動きを検出するための外部装置をユーザの周囲に配置することにより、ＨＭＤに対してユーザの動きに応じた操作を行う技術が知られている。

また、別の例として、ＨＭＤに表示される画面内に操作用の特定のオブジェクトを配置し、このオブジェクトに対するユーザの視点の変化を、ＨＭＤに内蔵されたジャイロセンサや加速度センサによって検出することにより、ユーザの視点の変化に応じた操作を行う技術も知られている。

さらに、別の例として、特許文献１には、仮想空間にユーザインタフェースを配置し、ユーザがこのユーザインタフェースを操作するために用いる操作部が撮像部の視野内にあり、且つ、操作部とユーザインタフェースとの位置関係が規定の位置関係にある場合に、ユーザインタフェースに対する操作があったと判断する画像処理装置が開示されている。

特開２０１２−４８６５６号公報

しかしながら、ユーザのジェスチャを検出するために専用のセンサや外部装置を設ける場合、システム全体が大掛かりになってしまう。また、専用のセンサや外部装置により検出された信号を処理するための演算量も膨大になるため、リアルタイムな操作を行うためには高スペックな演算装置が必要になってしまう。

また、ＨＭＤの画面内に操作用のオブジェクトを表示しておく場合、このオブジェクトが常にユーザの視野に入ってくるため、ユーザにとっては邪魔に感じ、ＶＲ体験特有の没入感が低減してしまうおそれがある。また、視点の動きによる操作はユーザにとっては直感的とは言えず、誤操作が発生してしまうおそれもある。

さらに、ユーザインタフェースとして複数のアイコンが仮想空間に表示されている場合、操作部を移動させることにより各アイコンとの位置関係がその都度変化する。そのため、単純に、操作部と各アイコンとの位置関係に基づいて操作の有無を判定すると、ユーザが意図しないアイコンに対して操作がなされたものと判断されてしまうおそれがある。この点に関し、特許文献１においては、アイコンと操作部との位置関係が所定の条件を満たしている状態で選択指示が入力された場合に、当該アイコンに対する操作がなされたものと判断している。つまり、アイコンの選択と決定という２段階の処理が行われている。そのため、ユーザにとっては直感的な操作とは言い難い。

本発明は上記に鑑みてなされたものであって、ユーザのジェスチャによる直感的且つ誤操作が少ないユーザインタフェースを、簡素な構成で実現することができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様である画像表示装置は、ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置であって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置する仮想空間構成部と、当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、前記特定の物体の像を前記仮想空間内の前記平面に配置する疑似３次元化処理部と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、を備えるものである。

上記画像表示装置において、前記相互作用演算部は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出しても良い。

上記画像表示装置において、前記相互作用演算部は、前記特定の物体の像の前記速度ベクトルを、前記操作用オブジェクトの速度ベクトルに加算することにより前記作用を算出しても良い。

上記画像表示装置において、前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定しても良い。

上記画像表示装置において、前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトが、前記複数の選択対象に対してそれぞれ設定された複数の判定領域のいずれかに位置している場合、当該位置している判定領域に対応する選択対象が選択されたものと判定しても良い。

上記画像表示装置において、前記仮想空間構成部は、前記複数の選択対象のいずれも選択されなかったと前記選択判定部が判定した場合、前記操作用オブジェクトを前記作用が及ぼされる前の位置に戻しても良い。

上記画像表示装置は、当該画像表示装置の動きを検出する動き検出部をさらに備え、前記仮想空間構成部は、当該画像表示装置の動きが所定の範囲内である場合、前記ユーザインタフェースの画像を前記仮想空間に配置しても良い。

上記画像表示装置において、前記仮想空間構成部は、当該画像表示装置の動きが前記所定の範囲を超えた場合に、前記ユーザインタフェースの画像を前記仮想空間から消去しても良い。

上記画像表示装置において、前記外部情報取得部は、当該画像表示装置に内蔵されたカメラであっても良い。

上記画像表示装置において、前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目であっても良い。

上記画像表示装置において、前記複数の選択対象の各々は、２次元的に表示される図面において特定される位置であっても良い。

本発明の別の態様である画像処理方法は、ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ（ａ）と、前記画像表示装置が実在している現実空間に関する情報を取得するステップ（ｂ）と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ（ｃ）と、前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ（ｄ）と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ（ｅ）と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ（ｆ）と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ（ｇ）と、を含むものである。

本発明のさらに別の態様である画像処理プログラムは、ユーザに仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ（ａ）と、前記画像表示装置が実在している現実空間に関する情報を取得するステップ（ｂ）と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ（ｃ）と、前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ（ｄ）と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ（ｅ）と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ（ｆ）と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ（ｇ）と、をコンピュータに実行させるものである。

本発明によれば、仮想空間内の特定の平面にユーザインタフェースの画像を配置すると共に、現実空間に実在する特定の物体の像を上記平面に配置し、該物体の像により、ユーザインタフェースに含まれる操作用オブジェクトを介して複数の選択対象に対する選択を行うので、現実空間におけるユーザのジェスチャによる直感的且つ誤操作が少ないユーザインタフェースを簡素な構成で実現することが可能となる。

図１は、本発明の第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。 図２は、画像表示装置をユーザに装着させた状態を示す模式図である。 図３は、図１に示す表示部に表示される画面の例を示す模式図である。 図４は、図３に示す画面に対応する仮想空間の例を示す模式図である。 図５は、操作メニューが表示された画面の例を示す模式図である。 図６は、図１に示す画像表示装置の動作を示すフローチャートである。 図７は、メニューの選択判定処理を示すフローチャートである。 図８は、メニューの選択判定処理を説明するための模式図である。 図９は、本発明の第１の実施形態の変形例におけるメニューの選択判定処理を示すフローチャートである。 図１０は、本発明の第２の実施形態に係る画像表示装置の動作を示すフローチャートである。 図１１は、操作用地図を例示する模式図である。 図１２は、地図上の移動先の判定処理を示すフローチャートである。

以下、本発明の実施形態に係る表示装置について、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。本実施形態に係る画像表示装置１は、ユーザに両眼で画面を見させることにより、３次元的な仮想空間を認識させる装置である。図１に示すように、画像表示装置１は、画面が表示される表示部１１と、記憶部１２と、各種演算処理を行う演算部１３と、当該画像表示装置１の外部に関する情報（以下、外部情報という）を取得する外部情報取得部１４と、画像表示装置１の動きを検出する動き検出部１５とを備える。

図２は、画像表示装置１をユーザ２に装着させた状態を示す模式図である。画像表示装置１は、例えば図２に示すように、スマートフォン、携帯情報端末（ＰＤＡ）、携帯型ゲーム装置のようなディスプレイ及びカメラを備えた汎用の表示装置３をホルダー４に取り付けることにより構成することができる。この場合、表示装置３は、表面に設けられたディスプレイをホルダー４の内側に向け、背面に設けられたカメラ５をホルダー４の外側に向けた状態で取り付けられる。ホルダー４の内部には、ユーザの左右の眼に対応する位置にレンズがそれぞれ設けられており、ユーザ２は、これらのレンズを通して表示装置３のディスプレイを見る。また、ユーザ２は、ホルダー４を頭部に装着することにより、画像表示装置１に表示される画面をハンズフリーで見ることができる。

もっとも、表示装置３及びホルダー４の外観は、図２に示すものに限定されない。例えば、ホルダー４の代わりに、レンズが内蔵されたシンプルな箱型のホルダーを用いても良い。また、ディスプレイや演算装置やホルダーが一体化された専用の画像表示装置を用いても良い。このような専用の画像表示装置は、ヘッドマウントディスプレイとも呼ばれる。

再び図１を参照すると、表示部１１は、例えば液晶又は有機ＥＬ（エレクトロルミネッセンス）によって形成された表示パネル及び駆動部を含むディスプレイである。

記憶部１２は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部１２は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部１２１と、表示部１１に表示させるコンテンツ（静止画や動画）の画像データを記憶する画像データ記憶部１２２と、コンテンツの表示中に入力操作を行う際に用いられるユーザインタフェースの画像のデータを記憶するオブジェクト記憶部１２３とを含む。この他、記憶部１２は、各種アプリケーションの実行中に出力される音声や効果音の音声データを記憶しても良い。

演算部１３は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部１２１に記憶された各種プログラムを読み込むことにより、画像表示装置１の各部を統括的に制御すると共に、種々の画像を表示するための各種演算処理を実行する。演算部１３の詳細な構成については後述する。

外部情報取得部１４は、画像表示装置１が実在している現実空間に関する情報を取得する。外部情報取得部１４の構成は、現実空間に実在する物体の位置や動きを検出可能な構成であれば特に限定されず、例えば光学カメラ、赤外線カメラ、超音波発信機及び受信機等を外部情報取得部１４として用いることができる。本実施形態においては、表示装置３に内蔵されたカメラ５を外部情報取得部１４として用いる。

動き検出部１５は、例えばジャイロセンサ及び加速度センサを含み、画像表示装置１の動きを検出する。この動き検出部１５の検出結果に基づいて、画像表示装置１は、ユーザ２の頭部の状態（静止しているか否か）や、ユーザ２の視線方向（上方、下方）や、ユーザ２の視線方向の相対的な変化等を検知することができる。

次に、演算部１３の詳細な構成について説明する。演算部１３は、プログラム記憶部１２１に記憶された画像表示プログラムを読み込むことにより、３次元的に構成された仮想空間をユーザ２に認識させる画面を表示部１１に表示させると共に、ユーザ２のジェスチャによる入力操作を受け付ける動作を実行する。

ここで、図３は、表示部１１に表示される画面の例を示す模式図である。図４は、図３に示す画面に対応する仮想空間の例を示す模式図である。静止画又は動画のコンテンツを仮想空間としての表示する際には、図３に示すように、表示部１１の表示パネルを２つの領域に分け、互いに視差を設けた２つの画面１１ａ、１１ｂをこれらの領域に表示する。ユーザ２は、画面１１ａ、１１ｂを左右の眼でそれぞれ見ることにより、図４に示すような３次元的な画像（即ち、仮想空間）を認識することができる。

図１に示すように、演算部１３は、動き判定部１３１と、仮想空間構成部１３２と、物体認識部１３３と、疑似３次元化処理部１３４と、仮想空間表示制御部１３５と、接触判定部１３６と、相互作用演算部１３７と、選択判定部１３８、操作実行部１３９とを備える。

動き判定部１３１は、動き検出部１５から出力された検出信号に基づいて、ユーザ２の頭部の動きを判定する。具体的には、動き判定部１３１は、ユーザの頭部が静止している否か、及び、頭部が動いている場合には頭部をどの方向に向けたか、といったことを判定する。

仮想空間構成部１３２は、ユーザに認識させる仮想空間におけるオブジェクトの配置等を行う。詳細には、仮想空間構成部１３２は、画像データ記憶部１２２から画像データを読み出し、ユーザの頭部の状態に応じて、画像データによって表される画像全体から、一部の領域（ユーザの視野の範囲内の領域）を切り出したり、画像内のオブジェクトの奥行き感を変化させたりする。

また、仮想空間構成部１３２は、ユーザがジェスチャによる操作を行う際に使用されるユーザインタフェースの画像データをオブジェクト記憶部１２３から読み出し、このユーザインタフェースの画像を仮想空間内の特定の平面に配置する。

図５は、ユーザインタフェースが表示された画面の例を示す模式図である。図５においては、ユーザインタフェースとして操作メニュー１６が表示されている。操作メニュー１６は、選択対象である複数のメニュー項目１６ａ〜１６ｄと、これらの選択対象のいずれかを選択する際に用いられる操作用オブジェクト１７とを含む。各メニュー項目１６ａ〜１６ｄは、画像処理装置１に対する操作の内容（メニューＡ〜Ｄ）を表している。また、操作用オブジェクト１７は、ユーザが仮想的に操作することにより所望のメニュー項目を選択するためのツールである。本実施形態においては、円形状のアイコンを操作用オブジェクト１７として表示しているが、操作用オブジェクトの形状やサイズは特に限定されない。例えば、棒状や矢印状など、所望の形状及びサイズのアイコンを操作用オブジェクトとして用いても良い。

物体認識部１３３は、外部情報取得部１４によって取得された外部情報に基づいて、現実空間に実在する特定の物体を認識する。上述したように、外部情報取得部１４としてカメラ５（図２参照）を用いる場合、物体認識部１３３は、カメラ５が撮像することにより取得した現実空間の画像に対する画像処理により、予め設定された特徴を有する物体を認識する。認識対象とする特定の物体は、ユーザ２の手や指であっても良いし、スタイラスペンや棒などの物体であっても良い。

特定の物体を認識する際に用いられる特徴は、認識対象に応じて予め設定される。例えばユーザ２の手や指を認識する場合、物体認識部１３３は、例えば、肌色の範囲に含まれる色特徴量（Ｒ、Ｇ、Ｂの各画素値、色比、色差等）を有する画素を抽出し、これらの画素が所定数以上集まっている領域を、指や手が写った領域として抽出する。或いは、抽出した画素が集まっている領域の面積や周囲長に基づいて、指や手が写った領域を抽出しても良い。

疑似３次元化処理部１３４は、物体認識部１３３が認識した特定の物体の像を仮想空間内の特定の平面に配置する処理を実行する。具体的には、特定の物体の像をユーザインタフェースの画像と同じ平面に配置する。詳細には、疑似３次元化処理部１３４は、特定の物体の像を含む２次元画像を生成し、この２次元画像が仮想空間においてユーザインタフェースの画像が表示される平面と同じ奥行き感となるように視差を設定することにより、当該物体の像があたかも３次元的な仮想空間の中のある平面に存在しているようにユーザに認識させる処理を行う。

仮想空間表示制御部１３５は、仮想空間構成部１３２が構成した仮想空間に対し、疑似３次元化処理部１３４が生成した２次元画像を合成して表示部１１に表示させる。それにより、例えば図５に示すように、操作メニュー１６に対してユーザの指の像（以下、指画像という）１８が重畳して表示される。

接触判定部１３６は、ユーザインタフェースの画像（例えば操作メニュー１６）において、物体認識部１３３が認識した特定の物体の像（例えば指画像１８）と操作用オブジェクトとが接触しているか否かを判定する。

相互作用演算部１３７は、操作用オブジェクトと特定の物体の像とが接触していると判定された場合に、特定の物体の像の動きが操作用オブジェクトに及ぼす作用を算出する。

選択判定部１３８は、相互作用演算部１３７が算出した作用に基づき、操作用オブジェクトにより複数の選択対象のいずれが選択されたかを判定する。例えば図５において指画像１８を動かすことにより操作用オブジェクト１７と接触させ、さらに指画像１８を図の左上方向に動かした作用により操作用オブジェクト１７を移動させ、その結果、操作用オブジェクト１７がメニュー項目１６ａの象限内の所定領域に入った場合、メニュー項目１６ａ（即ち、「メニューＡ」）が選択されたものと判定される。

操作実行部１３９は、複数の選択対象のいずれかが選択されたと判定された場合に、選択された選択対象に応じた操作を実行する。操作の内容は、画像表示装置１において実行可能な操作であれば特に限定されない。具体例として、画像表示のオン・オフを切り替える操作や、表示中の画像を別の画像に切り替える操作等が挙げられる。

次に、画像表示装置１の動作について説明する。図６は、画像表示装置１の動作を示すフローチャートであり、仮想空間の画像表示プログラムの実行中にユーザのジェスチャによる入力操作を受け付ける動作を示している。以下の説明においては、ユーザインタフェースの画像として、図５に示す操作メニュー１６が表示されるものとする。

ステップＳ１０１において、演算部１３は、操作メニュー１６の表示を待機する。
続くステップＳ１０２において、演算部１３は、ユーザの頭部が静止しているか否かを判定する。ここで、頭部が静止しているとは、ユーザの頭部が完全に動いていない状態の他、頭部が僅かに動いている場合を含む。詳細には、動き判定部１３１が、動き検出部１５から出力された検出信号に基づいて、画像表示装置１（即ち頭部）の加速度及び角加速度が所定値以下であるか否かを判定する。加速度及び角加速度が所定値を超える場合、動き判定部１３１は、ユーザの頭部が静止していないと判定する（ステップＳ１０２：Ｎｏ）。この場合、演算部１３の動作はステップＳ１０１に戻り、引き続き操作メニュー表示を待機する。

一方、演算部１３は、ユーザの頭部が静止していると判定した場合（ステップＳ１０２：Ｙｅｓ）、続いて、ユーザがカメラ５（図２参照）の前に手をかざしているか否かを判定する（ステップＳ１０３）。詳細には、物体認識部１３３が、カメラ５によって取得された画像に対する画像処理により、手（肌色）の色特徴量を有する画素が所定数以上集まっている領域が存在するか否かを判定する。手の色特徴量を有する画素が所定数以上集まっている領域が存在しない場合、物体認識部１３３は、ユーザが手をかざしていないと判定する（ステップＳ１０３：Ｎｏ）。この場合、演算部１３の動作はステップＳ１０１に戻る。

一方、演算部１３は、ユーザが手をかざしていると判定した場合（ステップＳ１０３：Ｙｅｓ）、操作メニュー１６を表示部１１に表示する（ステップＳ１０４）。なお、この間にユーザの頭部が動いた場合、演算部１３は、ユーザの頭部の動き（即ち、ユーザの視線方向）に追従するように、操作メニュー１６を表示する。ユーザの視線方向が変化しているにもかかわらず、操作メニュー１６が背景の仮想空間に対して固定されていると、ユーザの視野から操作メニュー１６が外れてしまい、これから操作を行おうとするユーザにとって不自然な画面になってしまうからである。

なお、ステップＳ１０３、Ｓ１０４においては、カメラ５に対してユーザが手をかざすことを、操作メニュー１６を表示させるトリガーとしているが、手の他にも、例えばスタイラスペンや棒などの予め設定された物体をカメラ５の前にかざすことをトリガーとしても良い。

続くステップＳ１０５において、演算部１３は、ユーザの頭部が静止しているか否かを再度判定する。演算部１３は、ユーザの頭部が静止していないと判定した場合（ステップＳ１０５：Ｎｏ）、操作メニュー１６を消去する（ステップＳ１０６）。その後、演算部１３の動作はステップＳ１０１に戻る。

ここで、ステップＳ１０１、Ｓ１０５において、ユーザの頭部が静止していることを操作メニュー表示の条件とするのは、一般に、ユーザは、頭部を大きく動かしている状態で画像表示装置１の操作を行うことはないからである。逆に言えば、ユーザが頭部を大きく動かしているということは、ユーザは鑑賞中の仮想空間に没入している最中であると考えられ、そのようなときに操作メニュー１６を表示すると、ユーザは煩わしく感じてしまうからである。

演算部１３は、ユーザの頭部が静止していると判定した場合（ステップＳ１０５：Ｙｅｓ）、現実空間における特定の物体の認識処理を実行する（ステップＳ１０７）。以下においては、特定の物体として、ユーザの指を認識するものとする。詳細には、外部情報取得部１４が取得した現実空間の画像に対し、物体認識部１３３が画像処理を行うことにより、肌色の色特徴量を有する画素が所定数以上集まっている領域を、ユーザの指が写った領域として抽出する。また、疑似３次元化処理部１３４が、抽出された領域の２次元画像（即ち、指画像１８）を生成し、仮想空間表示制御部１３５が、該２次元画像を操作メニュー１６に重畳して表示部１１に表示させる。

続くステップＳ１０８において、演算部１３は、特定の物体の像が操作用オブジェクトに接触しているか否かを判定する。詳細には、接触判定部１３６が、操作用オブジェクト１７の画素領域に対して指画像１８の画素領域の一部が重なっているか否かを判定する。両者が重なっていない場合、接触判定部１３６は、指画像１８は操作用オブジェクト１７に接触していないと判定する（ステップＳ１０８：Ｎｏ）。この場合、演算部１３の動作はステップＳ１０４に戻る。

一方、演算部１３は、物体の像が操作用オブジェクトに接触していると判定した場合（ステップＳ１０８：Ｙｅｓ）、メニューの選択判定処理を実行する（ステップＳ１０９）。

図７は、メニューの選択判定処理を示すフローチャートである。また、図８は、メニューの選択判定処理を説明するための模式図である。
まず、ステップＳ１２１において、相互作用演算部１３７は、操作用オブジェクトの速度ベクトルを初期化する。

続くステップＳ１２２において、相互作用演算部１３７は、物体の像のうち、操作用オブジェクトに接触している部分から、物体の像の速度ベクトルを算出する。例えば図８の場合、ユーザが自身の指を動かすことにより、指画像１８が破線の矢印の方向に移動し、点Ｐにおいて操作用オブジェクト１７と接触すると、この点Ｐにおける指画像１８の速度ベクトルｖ１が算出される。

続くステップＳ１２３において、相互作用演算部１３７は、ステップＳ１２２において算出された速度ベクトルを操作用オブジェクトの速度ベクトルとして与える。例えば図８の場合、指画像１８の速度ベクトルｖ１と同じ方向及び量を有する速度ベクトルｖ２が操作用オブジェクト１７に与えられる。

続くステップＳ１２４において、相互作用演算部１３７は、新たに速度ベクトルが与えられた操作用オブジェクトの位置を更新する。例えば図８の場合、速度ベクトルｖ２が与えられることにより、操作用オブジェクト１７は破線で示す位置に移動する。

なお、図８においては、円形状の操作用オブジェクト１７を表示しているため、速度ベクトルｖ２が与えられても、操作用オブジェクト１７の向きは変化せずに位置のみが変化している。しかし、操作用オブジェクトとして例えば棒状のオブジェクトを用いる場合、速度ベクトルが与えられた位置に応じて操作用オブジェクトを回転させるなどして向きを変化させても良い。要は、指画像１８との接触点に速度ベクトルが与えられた場合の操作用オブジェクトの位置や向きを、一般的な物理法則に従って算出すれば良い。また、この際に、操作用オブジェクト１７の位置を慣性的に変化させることとしても良い。それにより、ユーザは、より自然な感覚で操作用オブジェクト１７を操作することができる。

続くステップＳ１２５において、選択判定部１３８は、操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在し、且つ該速度ベクトルの絶対値が閾値以上であるか否かを判定する。ここで、判定領域とは、ユーザインタフェースの画像内の領域であって、特定のメニュー項目が選択されたか否かの判定を行うために予め設定された領域のことである。判定領域としては、メニュー項目がテキスト表示された領域や、メニュー項目を表すアイコンなど、所望の領域を設定することができる。図８においては、メニュー項目１６ａ〜１６ｄの表示領域の近傍に、判定領域１９ａ〜１９ｄをそれぞれ設けている。

操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在し、且つ該速度ベクトルの絶対値が閾値以上である場合（ステップＳ１２５：Ｙｅｓ）、選択判定部１３８は、当該判定領域に対応するメニュー項目が選択されたと判定する（ステップＳ１２６）。例えば、図８の場合、速度ベクトルｖ２の延長線上に判定領域１９ａが存在する。この場合、判定領域１９ａに対応するメニュー項目１６ａが選択されたと判定される。その後、処理はメインルーチンに戻る。

一方、操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在しないか、又は、該速度ベクトルの絶対値が閾値未満である場合（ステップＳ１２５：Ｎｏ）、選択判定部１３８は、メニュー項目の選択に失敗したと判定する（ステップＳ１２７）。この場合、選択判定部１３８はさらに、操作用オブジェクトを初期位置に戻す（ステップＳ１２８）。例えば、図８において、指画像１８に押された操作用オブジェクト１７が速度ベクトルｖ２の方向に移動したものの、判定領域１９ａに届かなった場合、操作用オブジェクト１７は元の位置に戻って表示される。その後、処理はメインルーチンに戻る。

ステップＳ１０９に続くステップＳ１１０において、演算部１３は、メニュー項目の選択に成功したか否かを判定する。メニュー項目の選択に成功した場合（ステップＳ１１０：Ｙｅｓ）、ユーザのジェスチャによる入力操作の受け付けは終了する。この場合、演算部１３は、選択されたメニュー項目に応じた動作を実行する。一方、メニュー項目の選択に失敗した場合（ステップＳ１１０：Ｎｏ）、演算部１３の動作はステップＳ１０４に戻る。

以上説明したように、本発明の第１の実施形態によれば、ユーザが頭部をほぼ静止させた場合に操作メニューを仮想空間に表示させるので、入力操作を開始しようとするユーザの意図に沿った表示を行うことができる。つまり、ユーザが意図せずに画像表示装置１のカメラ５（図２参照）に手をかざしてしまったり、手に類似する物体が偶然カメラ５に写り込んでしまったりした場合であっても、操作メニューは表示されないので、ユーザは、操作メニューに妨げられることなく仮想空間の鑑賞を継続することができる。

また、上記実施形態によれば、現実空間に存在する物体の像によって選択対象を直接選択するのではなく、操作用オブジェクトを介して選択対象を選択するので、誤操作を低減することができる。例えば図８において、仮に、指画像１８によって直接触った判定領域のメニュー項目が選択されることとすると、判定領域１９ａに触れようとして指画像１８を動かした際に、別の判定領域１９ｄに触れてしまうおそれがある。それに対し、上記実施形態においては、最終的に、操作用オブジェクト１７の位置や動きによって選択対象（判定領域）が決定される。従って、ユーザは、指画像１８と選択対象の判定領域との位置関係を考慮することなく、簡単に正確な操作を行うことができる。

また、上記実施形態によれば、指画像１８の動きを操作用オブジェクト１７に作用させる演算処理を行うので、ユーザは、あたかも自身の指で操作用オブジェクト１７を操作したようなリアルな感覚を得ることができる。それにより、ユーザは、直感的な操作を行うことができ、意図しない操作を低減することが可能となる。

また、上記実施形態によれば、ユーザインタフェースの画像を仮想空間内の特定の平面に配置すると共に、ジェスチャによる操作を行うための特定の物体（例えばユーザの指）の像を同じ平面に配置するので、ユーザは、操作用オブジェクトを触るような感覚で、直感的な操作を行うことができる。例えば、上記実施形態において、ユーザは、円形状の操作用オブジェクト１７を、あたかもおはじきを押したりはじいたりする感覚で操作することができる。

また、上記実施形態によれば、ユーザインタフェースの画像及び特定の物体の像を２次元的に表示するので、これらの表示に要する演算量や、いずれの選択対象が選択されたかの判定処理に要する演算量を抑制することも可能となる。従って、スマートフォン等の汎用の表示装置を利用する場合であっても高速な処理が可能となり、ユーザにとっても、リアルタイムな感覚での入力操作が可能となる。

また、上記実施形態によれば、ユーザのジェスチャによる入力操作に関する情報を、画像表示装置１に設けられた外部情報取得部１４により取得する。つまり、従来のように、ユーザのジェスチャを検出するための専用のセンサや外部デバイスを設ける必要がなくなる。それにより、システム全体の構成を簡素化することができるので、コストを大幅に抑制することが可能になる。また、専用のセンサ等から入力された情報を解析するための演算も不要になる。従って、スマートフォン等の小型の表示装置を利用する場合であっても、ジェスチャによるリアルタイムな入力操作が可能な画像表示装置を実現することが可能となる。

また、上記実施形態によれば、外部情報取得部１４により取得された外部情報のうち、予め設定された特定の物体に関する情報のみを仮想空間に表示するので、ユーザは、現実空間に存在する操作に関与しない物体に惑わされることなく、所望の操作を行うことができる。

なお、上記実施形態においては、ユーザが頭部を動かしたことを、操作メニューを消去するトリガーとしているが（図６のステップＳ１０５、Ｓ１０６参照）、操作メニューを消去するトリガーはこれに限定されない。例えば、「操作メニューを消去する」というメニュー項目を操作メニュー内に設けても良い。或いは、操作用オブジェクト１７に対して特定の操作が行われた際に、操作メニューを消去することとしても良い。一例として、操作メニュー１６から操作用オブジェクト１７が飛び出すほど強くはじく操作が挙げられる。

（変形例）
次に、本発明の第１の実施形態の変形例について説明する。図９は、本変形例におけるメニューの選択判定処理を示すフローチャートである。なお、本変形例において用いられる画像表示装置の構成及び動作は、上記第１の実施形態と同様である（図１及び図６参照）。また、図９のステップＳ１２１〜Ｓ１２４における処理も、上記第１の実施形態と同様である（図７参照）。

ステップＳ１２４に続くステップＳ１３１において、選択判定部１３８は、操作用オブジェクトが特定のメニュー項目の判定領域に存在するか否かを判定する。例えば図８に示すように、操作用オブジェクト１７が破線に示す位置に表示されている場合、操作用オブジェクト１７はメニュー項目１６ａの判定領域１９ａに存在すると判定される。

操作用オブジェクトが特定のメニュー項目の判定領域に存在する場合（ステップＳ１３１：Ｙｅｓ）、選択判定部１３８は、操作用オブジェクトが存在する判定領域に対応するメニュー項目が選択されたと判定する（ステップＳ１３２）。その後、処理はメインルーチンに戻る。

一方、操作用オブジェクトがいずれのメニュー項目の判定領域にも存在しない場合（ステップＳ１３１：Ｎｏ）、選択判定部１３８はさらに、物体の像（図８においては指画像１８）が操作用オブジェクトから離れたか否かを判定する（ステップＳ１３３）。

物体の像が操作用オブジェクトから離れていない場合（ステップＳ１３３：Ｎｏ）、処理はステップＳ１２２に戻る。この場合、物体の像の動きに合わせて操作用オブジェクトがさらに移動させられる（ステップＳ１２２〜Ｓ１２４参照）。

一方、物体の像が操作用オブジェクトから離れた場合（ステップＳ１３３：Ｙｅｓ）、選択判定部１３８は、メニュー項目の選択に失敗したと判定する（ステップＳ１３４）。この場合、選択判定部１３８はさらに、操作用オブジェクトの位置を初期位置に戻す（ステップＳ１３５）。その後、処理はメインルーチンに戻る。

以上説明したように、本変形例によれば、操作用オブジェクトが複数の判定領域のいずれかに入るまで、物体の像によって操作用オブジェクトを運ぶので、ユーザは、所望のメニュー項目をより確実に選択することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。図１０は、本発明の第２の実施形態に係る画像表示装置の動作を示すフローチャートであり、仮想空間の画像表示プログラムの実行中にユーザのジェスチャによる入力操作を受け付ける動作を示している。また、図１１は、本実施形態において表示されるユーザインタフェースの画像の例を示す模式図である。なお、本実施形態に係る画像表示装置の構成は、図１に示すものと同様である。

図１１に示すように、本実施形態においては、ユーザインタフェースとして操作用地図２０を例示している。この操作用地図２０は、地図２１及び操作用オブジェクト２２を含む。操作用地図２０においては、不動産物件が選択対象となっており、地図２１に表示された各物件が占める領域が選択対象の判定領域となっている。また、操作用オブジェクト２２としては、上記第１の実施形態と同様に円形状のアイコンを示しているが、当然ながら、棒状や矢印状など所望の形状及びサイズを有するアイコンを操作用オブジェクト２２として用いても良い。

図１０を参照しながら、本実施形態における画像表示装置の動作について説明する。
まず、ステップＳ２０１において、演算部１３は、操作用地図２０の表示を待機する。続くステップＳ２０２及びＳ２０３の動作は、図６に示すステップＳ１０２及びＳ１０３と同様である。

演算部１３は、ステップＳ２０３においてユーザが手をかざしていると判定した場合（ステップＳ２０３：Ｙｅｓ）、図１１に例示する操作用地図２０を表示部１１に表示する（ステップＳ２０４）。

続くステップＳ２０５〜ステップＳ２０８の動作は、図６に示すステップＳ１０５〜Ｓ１０８と同様である。なお、ステップＳ２０６においては、ステップＳ２０４において表示された操作用地図２０を消去する。

演算部１３は、ステップＳ２０８において物体の像（図１１においては指画像１８）が操作用オブジェクト２２に接触していると判定した場合（ステップＳ２０８：Ｙｅｓ）、操作用オブジェクト２２の地図２１上における移動先の判定処理を実行する（ステップＳ２０９）。

図１２は、地図２１上の移動先の判定処理を示すフローチャートである。なお、ステップＳ２２１〜Ｓ２２４の処理は、図７に示すステップＳ１２１〜Ｓ１２４と同様である。

ステップＳ２２４に続くステップＳ２２５において、選択判定部１３８は、物体の像（指画像１８）から操作用オブジェクト２２が離れたか否かを判定する。物体の像が操作用オブジェクト２２から離れていない場合（ステップＳ２２５：Ｎｏ）、処理はステップＳ２２２に戻る。

一方、物体の像が操作用オブジェクト２２から離れた場合（ステップＳ２２５：Ｙｅｓ）、選択判定部１３８はさらに、操作用オブジェクト２２が地図２１上に存在するか否かを判定する（ステップＳ２２６）。

操作用オブジェクト２２が地図２１上に存在する場合（ステップＳ２２６：Ｙｅｓ）、選択判定部１３８は、操作用オブジェクト２２が位置している地図２１上の特定の地点が選択されたと判定する（ステップＳ２２７）。その後、処理はメインルーチンに戻る。

一方、操作用オブジェクト２２が地図２１上に存在しない場合（ステップＳ２２６：Ｎｏ）、例えば、操作用オブジェクト２２が、地図２１の周囲の余白領域２３に位置している場合、選択判定部１３８は、移動先の選択に失敗したと判定する（ステップＳ２２８）。その後、処理はメインルーチンに戻る。

ステップＳ２０９に続くステップＳ２１０において、演算部１３は、地図２１上の移動先の選択に成功したか否かを判定する。移動先の選択に成功した場合（ステップＳ２１０：Ｙｅｓ）、ユーザのジェスチャによる入力操作の受け付けは終了する。この場合、演算部１３は、選択された移動先を仮想空間に表示する処理を実行する。一方、移動先の選択に失敗した場合（ステップＳ２１０：Ｎｏ）、演算部１３の動作はステップＳ２０４に戻る。

以上説明したように、本発明の第２の実施形態によれば、地図のように、判定領域がランダムに配置されている場合や、判定領域の広さが一定でない場合であっても、直感的な操作を行うことができ、誤操作を低減することが可能となる。

なお、第２の実施形態においては、地図上に示された物件を選択する場合を説明したが、２次元的に表示される図面上で特定可能な位置（領域や地点）であれば、本実施形態を適用することができる。具体的には、家屋の間取り図に表示された特定の部屋を選択する場合や、ビルの縦断面図において特定のフロアを選択する場合が挙げられる。

本発明は、上記第１及び第２の実施形態並びに変形例に限定されるものではなく、第１及び第２の実施形態並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、第１及び第２の実施形態並びに変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、第１及び第２の実施形態並びに変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像表示装置
２ ユーザ
３ 表示装置
４ ホルダー
５ カメラ
１１ 表示部
１１ａ、１１ｂ 画面
１２ 記憶部
１３ 演算部
１４ 外部情報取得部
１５ 動き検出部
１６ 操作メニュー
１６ａ〜１６ｄ メニュー項目
１７、２２ 操作用オブジェクト
１８ 指画像
１９ａ〜１９ｄ 判定領域
２０ 操作用地図
２１ 地図
２３ 余白領域
１２１ プログラム記憶部
１２２ 画像データ記憶部
１２３ オブジェクト記憶部
１３１ 動き判定部
１３２ 仮想空間構成部
１３３ 物体認識部
１３４ 疑似３次元化処理部
１３５ 仮想空間表示制御部
１３６ 接触判定部
１３７ 相互作用演算部
１３８ 選択判定部
１３９ 操作実行部

Claims (13)

1. ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置であって、
   複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置する仮想空間構成部と、
   当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、
   前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、
   前記特定の物体の像を前記仮想空間内の前記平面に配置する疑似３次元化処理部と、
   前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、
   前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、
   前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、
   を備える画像表示装置。
2. 前記相互作用演算部は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出する、請求項１に記載の画像表示装置。
3. 前記相互作用演算部は、前記特定の物体の像の前記速度ベクトルを、前記操作用オブジェクトの速度ベクトルに加算することにより前記作用を算出する、請求項２に記載の画像表示装置。
4. 前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定する、請求項２又は３に記載の画像表示装置。
5. 前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトが、前記複数の選択対象に対してそれぞれ設定された複数の判定領域のいずれかに位置している場合、当該位置している判定領域に対応する選択対象が選択されたものと判定する、請求項２又は３に記載の画像表示装置。
6. 前記仮想空間構成部は、前記複数の選択対象のいずれも選択されなかったと前記選択判定部が判定した場合、前記操作用オブジェクトを前記作用が及ぼされる前の位置に戻す、請求項２〜５のいずれか１項に記載の画像表示装置。
7. 当該画像表示装置の動きを検出する動き検出部をさらに備え、
   前記仮想空間構成部は、当該画像表示装置の動きが所定の範囲内である場合、前記ユーザインタフェースの画像を前記仮想空間に配置する、請求項１〜６のいずれか１項に記載の画像表示装置。
8. 前記仮想空間構成部は、当該画像表示装置の動きが前記所定の範囲を超えた場合に、前記ユーザインタフェースの画像を前記仮想空間から消去する、請求項７に記載の画像表示装置。
9. 前記外部情報取得部は、当該画像表示装置に内蔵されたカメラである、請求項１〜８のいずれか１項に記載の画像表示装置。
10. 前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目である、請求項１〜９のいずれか１項に記載の画像表示装置。
11. 前記複数の選択対象の各々は、２次元的に表示される図面において特定される位置である、請求項１〜９のいずれか１項に記載の画像表示装置。
12. ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、
    複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ（ａ）と、
    前記画像表示装置が実在している現実空間に関する情報を取得するステップ（ｂ）と、
    前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ（ｃ）と、
    前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ（ｄ）と、
    前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ（ｅ）と、
    前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ（ｆ）と、
    前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ（ｇ）と、
    を含む画像表示方法。
13. ユーザに仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、
    複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ（ａ）と、
    前記画像表示装置が実在している現実空間に関する情報を取得するステップ（ｂ）と、
    前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ（ｃ）と、
    前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ（ｄ）と、
    前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ（ｅ）と、
    前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ（ｆ）と、
    前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ（ｇ）と、
    をコンピュータに実行させる画像表示プログラム。