JP2025041209A - 情報処理装置 - Google Patents

Abstract

【課題】表示アイテムによって指定される位置（指定位置）の揺れの低減と、操作体の動きに対する指定位置の高い追従性とを両立させることのできる技術を提供する。
【解決手段】本発明の情報処理装置は、操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定する決定手段と、前記操作体から前記指定位置までの距離の情報を取得する第１取得手段と、前記指定位置の移動量の情報を取得する第２取得手段と、前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行う処理手段とを有することを特徴とする。
【選択図】図１

Description

本発明は、情報処理装置に関し、特に表示アイテムを用いて位置を指定する操作の操作性を向上させる技術に関する。

コンピュータによって作られた仮想世界（仮想空間）をあたかも現実世界（現実空間）ようにユーザーに体験させる技術が知られており、この技術は仮想現実（Ｖｉｒｔｕａｌ
Ｒｅａｌｉｔｙ：ＶＲ）技術と呼ばれている。仮想オブジェクト（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ：ＣＧ）によって現実世界を拡張する技術も知られており、この技術は拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術と呼ばれている。ＶＲ技術とＡＲ技術は、例えば、様々なゲームおよびシミュレーションに利用されている。

ＶＲ技術およびＡＲ技術では、ユーザーが体験する３次元空間（仮想空間、または拡張（複合）現実空間）内の位置を指定するために、レイと呼ばれる表示アイテム（仮想オブジェクト）が使用されることがある。レイは操作体から３次元空間内のオブジェクトに伸びる光線のような仮想オブジェクトであり、操作体の動き（位置と姿勢の少なくとも一方）の変化によってレイの始点と方向の少なくとも一方が変わる。レイの始点と方向の少なくとも一方が変わることによって、レイの終点（レイによる指定位置）も変わる。

特許文献１には、ディスプレイにカーソルを表示し、ディスプレイから離れた入力ペンの動きに合わせてカーソルを移動させ、入力ペンがディスプレイから遠いほど高い強度でカーソルの位置の平均化処理を行う技術が開示されている。入力ペンがディスプレイから遠いほど高い強度でカーソルの位置の平均化処理を行うことによって、手ぶれによるカーソルの揺れを低減することができる。

特開２００４－１３３５６６号公報

しかしながら、特許文献１に開示の技術では、ユーザーがカーソルを大きく移動させたい場合に、平均化処理によって入力ペンの動きに対してカーソルの移動が遅れ（入力ペンの動きに対するカーソルの追従性の低下）、ユーザーがもたつきを感じてしまう。

本発明は、表示アイテムによって指定される位置（指定位置）の揺れの低減と、操作体の動きに対する指定位置の高い追従性とを両立させることのできる技術を提供することを目的とする。

本発明の第１の態様は、操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定する決定手段と、前記操作体から前記指定位置までの距離の情報を取得する第１取得手段と、前記指定位置の移動量の情報を取得する第２取得手段と、前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行う処理手段とを有することを特徴とする情報処理装置である。

本発明の第２の態様は、操作体の位置および姿勢に応じて表示アイテムによる指定位置
を決定するステップと、前記操作体から前記指定位置までの距離の情報を取得するステップと、前記指定位置の移動量の情報を取得するステップと、前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行うステップとを有することを特徴とする情報処理方法である。

本発明の第３の態様は、コンピュータを、上記情報処理装置の各手段として機能させるためのプログラムである。

本発明によれば、表示アイテムによって指定される位置（指定位置）の揺れの低減と、操作体の動きに対する指定位置の高い追従性とを両立させることができる。

実施形態１に係るシステムの機能ブロック図である。 実施形態１，２に係る情報処理装置のハードウェアブロック図である。 実施形態１に係る平均化処理部の動作を説明するための模式図である。 実施形態１に係る情報処理装置の動作を示すフローチャートである。 実施形態２に係るシステムの機能ブロック図である。 実施形態２に係る変動角の具体例を説明するための模式図である。 実施形態２に係る情報処理装置の動作を示すフローチャートである。

（実施形態１）
以下、本発明の実施形態１について説明する。実施形態１では、操作体の位置および姿勢に基づいて、表示アイテム（仮想オブジェクト）によって指定される位置（指定位置）を決定する。実施形態１では操作体がユーザーの指（人差し指、第２指）であるとするが、操作体は指に限られず、例えば手、腕、コントローラ、挿し棒、またはペンであってもよい。実施形態１では表示アイテムがレイであるとするが、表示アイテムはレイに限られず、例えば指定位置に配置されるポインタ（カーソル）であってもよい。位置を指定する表示アイテムを表示することによって、ユーザーは、手の届かない位置に配置されたオブジェクトを選択（指定）したり、当該オブジェクト操作したりすることができる。

レイは、光線のような仮想オブジェクトである。レイの始点は、操作体の位置に設定され、レイの終点（レイによる指定位置）は、光線が３次元空間（ユーザーが体験する３次元空間）内でオブジェクトに接触する位置に設定される。そのため、レイは、操作体から３次元空間内のオブジェクトに伸びる。操作体の動き（位置と姿勢の少なくとも一方）の変化によってレイの始点と方向の少なくとも一方が変わる。レイの始点と方向の少なくとも一方が変わることによって、レイの終点も変わる。レイの終点をユーザーが認識できるように、レイの終点には別の表示アイテム（仮想オブジェクト）を表示してもよい。レイの終点を示す表示アイテムは、例えば、丸または矢印の形状を有するポインタ（カーソル）である。

図１は、実施形態１に係るシステムの機能構成を示すブロック図である。図１のシステムは、情報処理装置１０００、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）１２００、および画像表示装置１３００を有する。例えば、情報処理装置１０００は、パーソナルコンピュータ（ＰＣ）またはサーバであり、画像表示装置１３００は、ＰＣモニタ、テレビジョン装置、スマートフォン、またはタブレット端末である。情報処理装置１０００が行う処理の一部または全部は、ＨＭＤ１２００または画像表示装置１３００によって行われてもよい。

情報処理装置１０００は、撮像画像取得部１０１０、位置・姿勢計測部１０２０、仮想データ保持部１０３０、仮想空間生成部１１３０、レイ情報算出部１０５０、距離算出部１０６０、移動量算出部１０７０、移動方向算出部１０８０、平均化処理部１０９０、および複合現実画像生成部１１４０を有する。これら複数の機能部は、パス１１１０を介して互いに接続されている。

ＨＭＤ１２００は、撮像部１２１０と画像表示部１２２０を有する。ＨＭＤ１２００は情報処理装置１０００に接続されており、情報処理装置１０００とＨＭＤ１２００の間でデータ通信（データの送受信）を行うことができる。また、情報処理装置１０００には画像表示装置１３００も接続されており、情報処理装置１０００と画像表示装置１３００の間でもデータ通信を行うことができる。情報処理装置１０００、ＨＭＤ１２００、および画像表示装置１３００の接続は特に限定されず、有線接続であってもよいし、無線接続であってもよい。

情報処理装置１０００について説明する。

撮像画像取得部１０１０は、ＨＭＤ１２００の撮像部１２１０によって撮像された現実空間の画像（現実空間画像）を取得し、位置・姿勢計測部１０２０、レイ情報算出部１０５０、および複合現実画像生成部１１４０に出力する。

位置・姿勢計測部１０２０は、撮像画像取得部１０１０によって取得された現実空間画像から特徴点を検出し、特徴点の検出結果に基づいて、ＨＭＤ１２００の位置と姿勢を計測（検出、推定）したり、ＨＭＤ１２００の周囲の環境地図を作成したりする。位置・姿勢計測部１０２０は、ＨＭＤ１２００の位置・姿勢情報（位置と姿勢を示す情報）と環境地図を、レイ情報算出部１０５０と複合現実画像生成部１１４０に出力する。例えば、位置・姿勢計測部１０２０は、ＶＳＬＡＭ（Ｖｉｓｕａｌ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いて、位置・姿勢情報と環境地図を取得する。ＶＳＬＡＭは、未知環境下でカメラの自己位置推定と環境地図作成を同時に行う既知の技術である。なお、ＶＳＬＡＭを用いた方法に限られず、例えば赤外光を用いた方法、超音波を用いた方法、または慣性センサを用いた方法によって、位置・姿勢情報と環境地図を取得してもよい。

仮想データ保持部１０３０は、仮想空間に係るデータ（仮想空間関係データ）を保持し、レイ情報算出部１０５０と仮想空間生成部１１３０に出力する。仮想空間関係データは、例えば、仮想空間を構成する仮想オブジェクトに係るデータ（形状情報および位置・姿勢情報）、および仮想空間中に光を照射する光源に係るデータ（種類情報および位置・姿勢情報）を含む。

レイ情報算出部１０５０は、ユーザーの人差し指（第２指）の位置および姿勢に応じて、レイの始点、終点、および方向を決定する。実施形態１では、レイ情報算出部１０５０は、撮像画像取得部１０１０によって取得された現実空間画像からユーザーの手の関節点を認識（検出）し、関節点の検出結果に基づいて手の位置と姿勢（人差し指の位置と姿勢を含む）を計測（検出、推定）する。レイ情報算出部１０５０は、位置・姿勢計測部１０２０によって取得されたＨＭＤ１２００の位置・姿勢情報と環境地図に基づいて、手の位置と姿勢を示す座標をグローバル座標系にマッピングし、レイの始点と方向を算出する。そして、レイ情報算出部１０５０は、仮想データ保持部１０３０から出力された仮想空間関係データと、レイの始点および方向とに基づいて、レイが仮想空間内で仮想オブジェクトに接触する終点（レイによる指定位置）を算出する。レイ情報算出部１０５０は、レイ情報（レイの始点と終点）を、距離算出部１０６０、移動量算出部１０７０、移動方向算出部１０８０、および平均化処理部１０９０に出力する。なお、手の関節点の認識方法は
特に限定されず、例えば既知の機械学習によって学習された学習済みモデルを用いて手の関節点を認識してもよい。手の位置と姿勢は、コントローラといったデバイスを用いて計測してもよい。レイの終点は、レイが複合（拡張）現実空間内で現実オブジェクトに接触する位置であってもよい。

距離算出部１０６０は、レイ情報算出部１０５０によって取得されたレイの始点（始点座標）と終点（終点座標）に基づいて、レイの始点から終点までの距離（レイの長さ、ユーザーの人差し指からレイの終点までの距離）を算出する。そして、距離算出部１０６０は、算出した距離の情報を平均化処理部１０９０に出力する。

移動量算出部１０７０は、レイ情報算出部１０５０によって取得された最新のレイの終点（終点座標）と過去（例えば前回）のレイの終点とに基づいて、レイの終点の移動量を算出する。そして、移動量算出部１０７０は、算出した移動量の情報を平均化処理部１０９０に出力する。

移動方向算出部１０８０は、レイ情報算出部１０５０によって取得された最新のレイの終点（終点座標）と過去（例えば前回）のレイの終点とに基づいて、レイの終点の移動方向を算出する。そして、移動方向算出部１０８０は、算出した移動方向の情報を平均化処理部１０９０に出力する。

平均化処理部１０９０は、レイの始点から終点までの距離の情報を距離算出部１０６０から取得し、レイの終点の移動量の情報を移動量算出部１０７０から取得し、レイの終点の移動方向の情報を移動方向算出部１０８０から取得する。そして、平均化処理部１０９０は、取得したこれらの情報に基づく強度でレイの終点の平均化処理を行う。例えば、平均化処理部１０９０は、平均化処理を行うか否かをレイの終点の移動量と移動方向に基づいて決定し、平均化処理の強度をレイの始点から終点までの距離に応じて決定する。

実施形態１では、平均化処理部１０９０は、レイの終点の移動量が閾値よりも小さく且つレイの終点の移動方向が一定でないという条件が満たされているか否かを判定する。平均化処理部１０９０は、条件が満たされていない場合には、平均化処理を行わず、条件が満たされている場合に、レイの始点から終点までの距離に応じた強度で平均化処理を行う。平均化処理部１０９０は、平均化処理を行わなかった場合は、レイ情報算出部１０５０から取得した最新のレイ情報を仮想空間生成部１１３０に出力し、平均化処理を行った場合は、最新の平均化レイ情報を仮想空間生成部１１３０に出力する。なお、レイの始点から終点までの距離が長いほどレイの終点の移動量は大きくなりやすいため、当該移動量の閾値として、当該距離が長いほど大きい値を用いてもよい。

平均化処理部１０９０は、レイ情報算出部１０５０からレイ情報（レイの始点と終点）を取得する。平均化処理部１０９０は、平均化処理によって、レイ情報算出部１０５０から取得した最新の終点（終点座標）を、現在までの参照期間に取得した複数の終点の重心（平均位置）に変換する。これによって、終点が変換された平均化レイ情報が得られる。実施形態１では、平均化処理部１０９０は、レイの始点から終点までの距離が長いほど長く且つ当該距離が短いほど短い参照期間を設定する。これによって、レイの始点から終点までの距離が長い場合は、平均化処理に使用する終点の数が増やされ、平均化処理が強められる。そして、レイの始点から終点までの距離が短い場合は、平均化処理に使用する終点の数が減らされ、平均化処理が弱められる。

なお、レイの終点の移動量の情報と、レイの終点の移動方向の情報とを個別に取得するとしたが、それらの情報の両方を兼ねた１つの情報を取得してもよい。例えば、レイの終点の動きベクトルを取得してもよい。そして、動きベクトルの周波数特性解析を行って、
レイの終点の動きを推定してもよい。

図３（Ａ）～３（Ｃ）を用いて、平均化処理部１０９０の動作の具体例を説明する。

図３（Ａ）は、ユーザーがレイ３０３によって仮想オブジェクト３０２を選択または操作している様子を示す。レイ３０３は、ユーザーの人差し指３０１の先端（始点３０４）から、人差し指３０１が伸びる方向に伸びており、仮想オブジェクト３０２に到達している。実施形態１では、レイ３０３と、レイ３０３の終点（仮想オブジェクト３０２とレイ３０３の接触位置）を示すポインタ３０５（カーソル）とが表示される。距離ｄは、人差し指３０１の先端（レイ３０３の始点３０４）からポインタ３０５（レイ３０３の終点）までの距離である。距離ｄの場合は、平均化処理において異なる時刻の６つの終点が使用されるとする。なお、レイ３０３とポインタ３０５の一方が表示されなくてもよい。

図３（Ｂ）は、レイ３０３の終点の変化を示す。図３（Ｂ）では、所定時間ごとに、位置３１１から位置３１２、位置３１２から位置３１３、位置３１３から位置３１４、位置３１４から位置３１５、位置３１５から位置３１６へと終点が移動している。位置３１６は最新の終点である。動きベクトルＶ１１は、位置３１１から位置３１２までの移動量と移動方向を示し、動きベクトルＶ１２は、位置３１２から位置３１３までの移動量と移動方向を示し、動きベクトルＶ１３は、位置３１３から位置３１４までの移動量と移動方向を示す。動きベクトルＶ１４は、位置３１４から位置３１５までの移動量と移動方向を示し、動きベクトルＶ１５は、位置３１５から位置３１６までの移動量と移動方向を示す。

図３（Ｂ）は、ユーザーが仮想オブジェクトを選択または操作したい場合を示し、手ぶれによる終点の揺れが発生している場合を示す。図３（Ｂ）では、終点の移動量が閾値よりも小さく、終点の移動方向が不規則である。そのため、平均化処理によって、最新の終点が、位置３１６から、位置３１１～３１６の重心３１７に変換される。

図３（Ｃ）は、レイ３０３の終点の別の変化を示す。図３（Ｃ）では、所定時間ごとに、位置３２１から位置３２２、位置３２２から位置３２３、位置３２３から位置３２４、位置３２４から位置３２５、位置３２５から位置３２６へと終点が移動している。位置３２６は最新の終点である。動きベクトルＶ２１は、位置３２１から位置３２２までの移動量と移動方向を示し、動きベクトルＶ２２は、位置３２２から位置３２３までの移動量と移動方向を示し、動きベクトルＶ２３は、位置３２３から位置３２４までの移動量と移動方向を示す。動きベクトルＶ２４は、位置３２４から位置３２５までの移動量と移動方向を示し、動きベクトルＶ２５は、位置３２５から位置３２６までの移動量と移動方向を示す。

図３（Ｃ）は、ユーザーがレイ３０３を１方向に大きく動かしたい（終点を１方向に大きく移動させたい）場合を示す。図３（Ｃ）では、位置３２５から位置３２６（最新の終点）までの移動量が閾値よりも大きく、位置３２１～３２６が１方向に並んでいる（終点の移動方向が一定である）。そのため、平均化処理は行われない。

図１の説明に戻る。仮想空間生成部１１３０は、平均化処理部１０９０からレイ情報（レイ情報算出部１０５０から取得した最新のレイ情報、または最新の平均化レイ情報）を取得し、仮想データ保持部１０３０から仮想空間関係データを取得する。そして、仮想空間生成部１１３０は、取得したこれらの情報（データ）に基づいて、レイと、レイの終点を示すポインタ（カーソル）とを含む仮想空間を生成する。仮想空間生成部１１３０は、生成した仮想空間のデータ（仮想空間データ）を複合現実画像生成部１１４０に出力する。

複合現実画像生成部１１４０は、仮想空間生成部１１３０から仮想空間データを取得し、位置・姿勢計測部１０２０からＨＭＤ１２００の位置・姿勢情報と環境地図を取得する。そして、複合現実画像生成部１１４０は、取得したこれらの情報（データ）に基づいて、仮想空間の画像（仮想空間画像）を生成する。さらに、複合現実画像生成部１１４０は、撮像画像取得部１０１０から現実空間画像を取得し、仮想空間画像を現実空間画像に合成（重畳）することによって複合現実空間の画像（複合現実画像）を生成する。複合現実画像生成部１１４０は、生成した複合現実画像をＨＭＤ１２００の画像表示部１２２０に出力する。なお、任意の位置からの見えを表す仮想空間画像の生成、および複合現実空間の生成には、既知の技術を用いることができる。

ＨＭＤ１２００について説明する。撮像部１２１０は、現実空間を撮像し、撮像画像である現実空間画像を情報処理装置１０００の撮像画像取得部１０１０に出力する。画像表示部１２２０は、例えば液晶表示パネルまたは有機ＥＬ表示パネルを有し、情報処理装置１０００の複合現実画像生成部１１４０によって生成された複合現実画像を表示する。なお、画像表示部１２２０は、レーザーを用いてユーザーの網膜に画像を直接投影してもよい。複合現実画像生成部１１４０は、複合現実画像を画像表示部１２２０と画像表示装置１３００に出力してもよく、複合現実画像は、画像表示部１２２０と画像表示装置１３００で表示されてもよい。また、図１には１つの画像表示部１２２０が示されているが、ＨＭＤ１２００は、画像表示部１２２０として、右目用の画像表示部（右表示部）と左目用の画像表示部（左表示部）とを有する。右表示部は、ＨＭＤ１２００を頭部に装着したユーザーの右目に対して画像を表示するように設けられており、左表示部は、ＨＭＤ１２００を頭部に装着したユーザーの左目に対して画像を表示するように設けられている。ユーザーが画像を立体視することができるように、視差のある２つの画像を２つの画像表示部（右表示部と左表示部）にそれぞれ表示するステレオ表示を行ってもよい。

図２は、情報処理装置１０００のハードウェア構成を示すブロック図である。ＣＰＵ２０１０は、バス２０００を介して接続された各デバイスを統括的に制御する。ＣＰＵ２０１０は、読み出し専用メモリ（ＲＯＭ）２０２０に格納されたプログラムを読み出して実行する。オペレーティングシステム、後述するフローチャートの処理プログラム、およびデバイスドライバといった様々なプログラムがＲＯＭ２０２０に記憶されている。これらのプログラムは、ランダムアクセスメモリ（ＲＡＭ）２０３０に一時記憶され、ＣＰＵ２０１０によって適宜実行される。入力Ｉ／Ｆ２０４０は、外部装置（例えば撮像装置または操作装置）からの信号を情報処理装置１０００に入力する。入力Ｉ／Ｆ２０４０は、外部装置からの信号を、情報処理装置１０００で処理可能な形式の信号に適宜変換してもよい。出力Ｉ／Ｆ２０５０は、外部装置（例えば表示装置）に信号を出力する。外部装置に出力する信号は、例えば、情報処理装置１０００によって生成された信号である。出力Ｉ／Ｆ２０５０は、外部装置に出力する信号を、当該外部装置で処理可能な形式の信号に適宜変換してもよい。

図１に示す情報処理装置１０００の各機能部は、例えば、ＣＰＵ２０１０が、ＲＯＭ２０２０に格納されたプログラム（後述するフローチャートの処理プログラム）をＲＡＭ２０３０に展開して実行することによって実現される。なお、図１に示す情報処理装置１０００の機能部の一部または全部が、ハードウェア（例えば処理回路）によって実現されてもよい。

図４は、情報処理装置１０００の動作を示すフローチャートである。

ステップＳ４０１では、位置・姿勢計測部１０２０は、撮像部１２１０から撮像画像取得部１０１０を介して現実空間画像を取得し、現実空間画像に基づいて、ＨＭＤ１２００の位置と姿勢の計測と、ＨＭＤ１２００の周囲の環境地図の作成とを行う。そして、ステ
ップＳ４０２に進む。

ステップＳ４０２では、レイ情報算出部１０５０は、現実空間画像、ステップＳ４０１で取得された情報（ＨＭＤ１２００の位置・姿勢情報と環境地図）、および仮想空間関係データに基づいて、人差し指の位置と姿勢を計測して、レイの始点と終点を算出する。そして、ステップＳ４０３に進む。

ステップＳ４０３では、距離算出部１０６０は、ステップＳ４０２で算出されたレイの始点から終点までの距離（人差し指から終点までの距離）を算出する。そして、ステップＳ４０４に進む。

ステップＳ４０４では、移動量算出部１０７０は、ステップＳ４０２で算出された最新のレイの終点と前回のレイの終点との間における終点の移動量を算出する。さらに、移動方向算出部１０８０は、最新のレイの終点と前回のレイの終点との間における終点の移動方向を算出する。そして、ステップＳ４０５に進む。

ステップＳ４０５では、平均化処理部１０９０は、ステップＳ４０４で算出された移動量が閾値よりも小さいか否かを判定する。移動量が閾値よりも小さい場合はステップＳ４０６に進み、そうでない場合はステップＳ４０８に進む。なお、移動量が閾値と等しい場合にステップＳ４０８に進むとしたが、移動量が閾値と等しい場合にステップＳ４０６に進んでもよい。

ステップＳ４０６では、平均化処理部１０９０は、ステップＳ４０４で算出された移動方向（および過去の移動方向）に基づいて、レイの移動方向が一定であるか否かを判定する。例えば、平均化処理部１０９０は、前回からの移動方向の変化量が閾値よりも小さい状態が所定回数以上連続しているか否かを判定する。レイの移動方向が一定である場合（前回からの移動方向の変化量が閾値よりも小さい状態が所定回数以上連続している場合）はステップＳ４０８に進み、そうでない場合はステップＳ４０７に進む。

ステップＳ４０７では、平均化処理部１０９０は、ステップＳ４０３で算出された距離に応じた強度で、レイの終点の平均化処理を行う。そして、ステップＳ４０８に進む。

ステップＳ４０８では、仮想空間生成部１１３０は、最新のレイ情報と、仮想空間関係データとに基づいて、レイと、レイの終点を示すポインタとを含む仮想空間を生成する。ステップＳ４０７を通らなかった場合は、ステップＳ４０２で取得されたレイ情報（ステップＳ４０２で算出された始点と終点を示すレイ情報）が使用される。ステップＳ４０７を通った場合は、ステップＳ４０２で取得されたレイ情報の終点を平均化処理によって変換した平均化レイ情報が使用される。そして、ステップＳ４０９に進む。

ステップＳ４０９では、複合現実画像生成部１１４０は、ステップＳ４０８で生成された仮想空間と、ステップＳ４０１で取得された情報（ＨＭＤ１２００の位置・姿勢情報と環境地図）とに基づいて、仮想空間画像を生成する。さらに、複合現実画像生成部１１４０は、撮像部１２１０から撮像画像取得部１０１０を介して現実空間画像を取得し、仮想空間画像を現実空間画像に合成（重畳）することによって複合現実画像を生成する。複合現実画像生成部１１４０は、生成した複合現実画像をＨＭＤ１２００の画像表示部１２２０（および画像表示部１２２０）に出力する。そして、ステップＳ４１０に進む。

ステップＳ４１０では、ＣＰＵ２０１０は、図４の動作の終了条件が満たされたか否かを判定する。終了条件は、例えば、ユーザーから図４の動作の終了が指示されたという条件である。終了条件が満たされた場合は図４の動作が終了し、そうでない場合はステップ
Ｓ４０１に進む。

以上説明したように、実施形態１によれば、表示アイテムによって指定される位置（指定位置）の揺れの低減と、操作体の動きに対する指定位置の高い追従性とを両立させることができる。

なお、操作体（レイの始点）から指定位置（レイの終点）までの距離、指定位置の移動量、および指定位置の移動方向に基づく強度で平均化処理を行うとしたが、平均化処理の方法（強度の決定方法）はこれに限られない。例えば、移動方向を考慮せずに、距離と移動量に基づく強度で平均化処理を行ってもよい。平均化処理を行うか否かを移動量に基づいて決定し、平均化処理の強度を距離に応じて決定してもよい。図４のステップＳ４０６を省略してもよい。つまり、移動量が閾値よりも大きい場合には平均化処理を行わず、移動量が閾値よりも小さい場合に、距離に応じた強度で平均化処理を行うとしてもよい。

（実施形態２）
以下、本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば、実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。実施形態２では、レイの方向の変動角（操作体から指定位置までの方向の変化量）をさらに考慮する。レイの方向は、レイの始点（始点座標）と終点（終点座標）から算出してもよいが、実施形態２では、レイ情報が、レイの始点、終点、および方向を示すとする。

図５は、実施形態２に係るシステムの機能構成を示すブロック図である。図５のシステムは、情報処理装置５０００、ＨＭＤ１２００、および画像表示装置１３００を有する。情報処理装置５０００は、撮像画像取得部１０１０、位置・姿勢計測部１０２０、仮想データ保持部１０３０、仮想空間生成部１１３０、レイ情報算出部１０５０、距離算出部１０６０、移動量算出部１０７０、移動方向算出部１０８０、変動角算出部５１００、平均化処理部５０９０、および複合現実画像生成部１１４０を有する。これら複数の機能部は、パス１１１０を介して互いに接続されている。

変動角算出部５１００は、レイ情報算出部１０５０によって取得された最新のレイの方向と過去（例えば前回）のレイの方向とに基づいて、レイの方向の変動角を算出する。そして、変動角算出部５１００は、算出した変動角の情報を平均化処理部５０９０に出力する。

図６を用いて、変動角算出部５１００によって算出される変動角の具体例を説明する。ここでは、人差し指の先端（レイの始点）からポインタ（レイの終点）までの距離が一定であるとする。図６は、ユーザーがレイによって仮想オブジェクト６０２を選択または操作している様子を示す。ユーザーは、人差し指６０１を下向きから上向きに動かしている。レイ６０６は、前回のレイであり、人差し指６０１の先端（始点６０７）から、人差し指６０１が伸びる方向に伸びており、仮想オブジェクト６０２に到達している。ポインタ６０８（カーソル）は、前回のポインタであり、レイ６０６の終点（仮想オブジェクト６０２とレイ６０６の接触位置）を示す。レイ６０３は、最新のレイであり、人差し指６０１の先端（始点６０４）から、人差し指６０１が伸びる方向に伸びており、仮想オブジェクト６０２に到達している。ポインタ６０５（カーソル）は、最新のポインタであり、レイ６０３の終点（仮想オブジェクト６０２とレイ６０３の接触位置）を示す。レイ６０９は、レイ６０６の始点６０７がレイ６０３の始点６０４と一致するように、レイ６０６を平行移動したものである。変動角算出部５１００では、例えば、レイ６０３とレイ６０９（レイ６０６）の間の角度Θが変動角として算出される。ユーザーがレイを大きく動かしたい場合は、そうでない場合に比べて、変動角Θが大きくなりやすい。

平均化処理部５０９０は、実施形態１の平均化処理部１０９０と同様に、距離（レイの長さ）の情報を距離算出部１０６０から取得し、レイの移動量の情報を移動量算出部１０７０から取得し、レイの移動方向の情報を移動方向算出部１０８０から取得する。さらに、平均化処理部５０９０は、レイの方向の変動角の情報を変動角算出部５１００から取得する。そして、平均化処理部５０９０は、取得したこれらの情報に基づく強度でレイの終点の平均化処理を行う。例えば、平均化処理部５０９０は、平均化処理を行うか否かをレイの終点の移動量、レイの終点の移動方向、およびレイの方向の変動角に基づいて決定し、平均化処理の強度をレイの始点から終点までの距離に応じて決定する。

実施形態２では、平均化処理部５０９０は、レイの終点の移動量が閾値よりも小さく且つレイの終点の移動方向が一定でなく且つレイの方向の変動角が閾値よりも小さいという条件が満たされているか否かを判定する。平均化処理部５０９０は、条件が満たされていない場合には、平均化処理を行わず、条件が満たされている場合に、レイの始点から終点までの距離に応じた強度で平均化処理を行う。平均化処理部５０９０は、平均化処理を行わなかった場合は、レイ情報算出部１０５０から取得した最新のレイ情報を仮想空間生成部１１３０に出力し、平均化処理を行った場合は、最新の平均化レイ情報を仮想空間生成部１１３０に出力する。

図７は、情報処理装置５０００の動作を示すフローチャートである。ステップＳ７０１～Ｓ７０４は、実施形態１（図４）のステップＳ４０１～Ｓ４０４と同じである。ステップＳ７０４の次にステップＳ７１１に進む。なお、ステップＳ７０２では、レイの方向も算出される。

ステップＳ７１１では、変動角算出部５１００は、ステップＳ７０２で算出されたレイの方向と前回のレイの方向との間の角度を、レイの方向の変動角として算出する。そして、ステップＳ７１２に進む。

ステップＳ７１２では、平均化処理部５０９０は、ステップＳ７１１で算出された変動角が閾値よりも小さいか否かを判定する。変動角が閾値よりも小さい場合はステップＳ７０５に進み、そうでない場合はステップＳ７０８に進む。なお、変動角が閾値と等しい場合にステップＳ７０８に進むとしたが、変動角が閾値と等しい場合にステップＳ７０５に進んでもよい。

ステップＳ７０５～Ｓ７１０は、実施形態１（図４）のステップＳ４０５～Ｓ４１０と同じである。

以上説明したように、実施形態２によれば、レイの方向の変動角（操作体から指定位置までの方向の変化量）をさらに考慮することによって、ユーザーの意図に合った動作をより高精度に実現することができる（操作性をより向上させることができる）。

なお、上記実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

例えば、上述した各種閾値は予め定められた固定値であってもよいし、ユーザーが指定した値（変更可能な値）であってもよいし、情報処理装置によって決定された値（変更可能な値）であってもよい。現実空間画像に仮想空間画像を合成（重畳）した複合現実画像を表示するビデオシースルー型のＨＭＤを用いる例を説明したが、画像ではない現実空間
を直接観察することが可能な光学シースルー型のＨＭＤを用いてもよい。

また、本発明は様々なシーンに適用可能である。例えば、ＨＭＤではなく、スマートフォンまたはタブレット端末を用いるシーンにも、本発明は適用可能である。電子ホワイトボードのような表示装置の表示面上の位置を指定するシーンにも、本発明は適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定する決定手段と、
前記操作体から前記指定位置までの距離の情報を取得する第１取得手段と、
前記指定位置の移動量の情報を取得する第２取得手段と、
前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行う処理手段と
を有することを特徴とする情報処理装置。
（構成２）
前記表示アイテムは、前記操作体から前記指定位置に伸びるレイである
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記表示アイテムは、前記指定位置に配置されるポインタである
ことを特徴とする構成１に記載の情報処理装置。
（構成４）
前記処理手段は、前記平均化処理を行うか否かを前記移動量に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
ことを特徴とする構成１～３のいずれかに記載の情報処理装置。
（構成５）
前記処理手段は、
前記移動量が閾値よりも大きい場合には前記平均化処理を行わず、
前記移動量が前記閾値よりも小さい場合に、前記距離に応じた強度で前記平均化処理を行う
ことを特徴とする構成１～４のいずれかに記載の情報処理装置。
（構成６）
前記指定位置の移動方向の情報を取得する第３取得手段をさらに有し、
前記処理手段は、前記距離、前記移動量、および前記移動方向に基づく強度で前記平均化処理を行う
ことを特徴とする構成１～４のいずれかに記載の情報処理装置。
（構成７）
前記処理手段は、前記平均化処理を行うか否かを前記移動量と前記移動方向に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
ことを特徴とする構成６に記載の情報処理装置。
（構成８）
前記処理手段は、
前記移動量が閾値よりも大きい場合と、前記移動方向が一定である場合とのそれぞれにおいて前記平均化処理を行わず、
前記移動量が前記閾値よりも小さく且つ前記移動方向が一定でない場合に、前記距離
に応じた強度で前記平均化処理を行う
ことを特徴とする構成６または７に記載の情報処理装置。
（構成９）
前記操作体から前記指定位置までの方向の変化量の情報を取得する第４取得手段をさらに有し、
前記処理手段は、前記距離、前記移動量、前記移動方向、および前記変化量に基づく強度で前記平均化処理を行う
ことを特徴とする構成６または７に記載の情報処理装置。
（構成１０）
前記処理手段は、前記平均化処理を行うか否かを前記移動量、前記移動方向、および前記変化量に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
ことを特徴とする構成９に記載の情報処理装置。
（構成１１）
前記処理手段は、
前記移動量が第１閾値よりも大きい場合、前記移動方向が一定である場合、および前記変化量が第２閾値よりも大きい場合のそれぞれにおいて前記平均化処理を行わず、
前記移動量が前記第１閾値よりも小さく且つ前記移動方向が一定でなく且つ前記変化量が前記第２閾値よりも小さい場合に、前記距離に応じた強度で前記平均化処理を行う
ことを特徴とする構成９または１０に記載の情報処理装置。
（方法）
操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定するステップと、
前記操作体から前記指定位置までの距離の情報を取得するステップと、
前記指定位置の移動量の情報を取得するステップと、
前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行うステップと
を有することを特徴とする情報処理方法。
（プログラム）
コンピュータを、構成１～１１のいずれかに記載の情報処理装置の各手段として機能させるためのプログラム。

１０００，５０００：情報処理装置 １０５０：レイ情報算出部
１０６０：距離算出部 １０７０：移動量算出部
１０９０，５０９０：平均化処理部 ２０１０：ＣＰＵ

Claims (13)

1. 操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定する決定手段と、
   前記操作体から前記指定位置までの距離の情報を取得する第１取得手段と、
   前記指定位置の移動量の情報を取得する第２取得手段と、
   前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行う処理手段と
   を有することを特徴とする情報処理装置。
2. 前記表示アイテムは、前記操作体から前記指定位置に伸びるレイである
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示アイテムは、前記指定位置に配置されるポインタである
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記処理手段は、前記平均化処理を行うか否かを前記移動量に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記処理手段は、
   前記移動量が閾値よりも大きい場合には前記平均化処理を行わず、
   前記移動量が前記閾値よりも小さい場合に、前記距離に応じた強度で前記平均化処理を行う
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記指定位置の移動方向の情報を取得する第３取得手段をさらに有し、
   前記処理手段は、前記距離、前記移動量、および前記移動方向に基づく強度で前記平均化処理を行う
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記処理手段は、前記平均化処理を行うか否かを前記移動量と前記移動方向に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記処理手段は、
   前記移動量が閾値よりも大きい場合と、前記移動方向が一定である場合とのそれぞれにおいて前記平均化処理を行わず、
   前記移動量が前記閾値よりも小さく且つ前記移動方向が一定でない場合に、前記距離に応じた強度で前記平均化処理を行う
   ことを特徴とする請求項６に記載の情報処理装置。
9. 前記操作体から前記指定位置までの方向の変化量の情報を取得する第４取得手段をさらに有し、
   前記処理手段は、前記距離、前記移動量、前記移動方向、および前記変化量に基づく強度で前記平均化処理を行う
   ことを特徴とする請求項６に記載の情報処理装置。
10. 前記処理手段は、前記平均化処理を行うか否かを前記移動量、前記移動方向、および前記変化量に基づいて決定し、前記平均化処理の強度を前記距離に応じて決定する
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記処理手段は、
    前記移動量が第１閾値よりも大きい場合、前記移動方向が一定である場合、および前記変化量が第２閾値よりも大きい場合のそれぞれにおいて前記平均化処理を行わず、
    前記移動量が前記第１閾値よりも小さく且つ前記移動方向が一定でなく且つ前記変化量が前記第２閾値よりも小さい場合に、前記距離に応じた強度で前記平均化処理を行う
    ことを特徴とする請求項９に記載の情報処理装置。
12. 操作体の位置および姿勢に応じて表示アイテムによる指定位置を決定するステップと、
    前記操作体から前記指定位置までの距離の情報を取得するステップと、
    前記指定位置の移動量の情報を取得するステップと、
    前記距離と前記移動量に基づく強度で前記指定位置の平均化処理を行うステップと
    を有することを特徴とする情報処理方法。
13. コンピュータを、請求項１～１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images