JP7439639B2 - 情報提示システム及びプログラム - Google Patents

Description

本発明は、情報提示システム及びプログラムに関する。

物理的な作業スペースは、机等の置き場所が必要であり、一度決まるとその大きさは容易に変更できない。また、アナログメディアとデジタルメディアの間ではデータの同期がとれないため再変換が頻繁に生じてしまう。他方で、仮想的な作業空間では、これらの制約を取り除き、表示や操作の自由度を上げることで思考が途切れることなく行うことができる環境を提供し得る。

特許文献１には、マシン操作に馴染みの薄い利用者であっても、ドキュメントの管理や閲覧が容易に行えるようにする技術が記載されている。 生成情報入力処理では３次元の本のグラフィックモデルを生成するのに必要な情報として、本のページ数Ｍ、ページのサイズＡ４、各ページに貼付するページイメージへのファイルインデックスを入力する。ファイルインデックスは高解像度及び低解像度の２つのインデックスを持つ。３次元モデル作成処理では入力処理で得られた生成情報に基づき、３次元の本のグラフィックモデルを作成する。テクスチャマッピング処理では入力処理で得られた本の３次元モデルの各ページに対応するイメージの格納情報に基づき記憶装置内のページイメージをテクスチャマッピングにより各ページモデルに貼付する。格納するページイメージとして同一ページに対し低解像度と高解像度の２つの解像度の画像を用意しておく。

特許文献２には、階層が深いオブジェクトの階層構造を３次元上に概観することで、オブジェクトの一覧性を高めることを可能とし、オブジェクト群の関連および成長過程を分析または一覧することを可能とする技術が記載されている。表示部には、オブジェクトを構成する文書および動画等のサムネイルである複数のイメージが多面体の形状で表示される。イメージが多数存在する場合は、イメージを下部（若しくは上部）に積み重ねていくことができ、ユーザは３次元のＧＵＩで表示されたサムネイルであるイメージからオブジェクトの内容および構成を確認することができる。ユーザは入力部によりカーソルを表示領域内において操作することができ、イメージ上にカーソルを合わせると、イメージのタイトル名が文字で表示される。

特許文献３には、ドキュメント／コンポーネント間の論理的関係を反映する方法でドキュメント又はそれらのドキュメントコンポーネントをパノラマ的な視覚化を行う方法が記載されている。パノラマ的視覚化ドキュメントナビゲーションシステムは、ナビゲーションエンジンと、リクエストインターフェースとを含んでいる。ナビゲーションエンジンは、ドキュメントコンポーネントのパノラマ的可視化ドキュメントコレクションのドキュメントコンポーネントのレイアウトを受け取るように構成されており、ドキュメントコンポーネントの各々は、それぞれのドキュメントコンポーネントに関する情報を供給する関連メタデータを有している。ナビゲーションエンジンは、リクエストに応じて且つリクエストに従って、レイアウトの視覚的表現の調節を行うように構成されている。

特開２０００－１９４４７５号公報 特開２００４－２４６７１２号公報 特開２０１３－１７５１６１号公報

ところで、多量のドキュメントを読み込む際には、ページを並べたり、ドキュメント同士を重ねたりして比較や参照を行うことが多く、かかる作業には机等ドキュメントを置くための作業空間が必要となるところ、仮想的な３次元作業空間を用いることで作業空間の確保や操作の自由度が向上し、ドキュメントの閲覧性が向上し得る。

しかし、自由度が高いが故に、ドキュメントを構成する複数のページを広範囲に配置してしまうと、何らかの規則に従ってページを再びまとめる際等に多大な手間がかかり作業効率の低下につながる。

本発明は、コンピュータにより生成された仮想的な３次元作業空間において、ドキュメントを構成する複数のページを必要に応じてまとめて操作し得る技術を提供することを目的とする。

請求項１に記載の発明は、ユーザに仮想的な３次元作業空間を提供する表示装置と、前記３次元作業空間内のオブジェクトをユーザが操作するための入力装置と、プロセッサと、を備え、前記プロセッサは、プログラムを実行することで、前記３次元作業空間を前記表示装置に表示させ、前記３次元作業空間内にドキュメントを表示させ、前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示させ、前記入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行い、さらに、前記入力装置による前記代表オブジェクトの表示／非表示の切替操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して表示／非表示を切り替える処理を行う、情報提示システムである。
また、請求項２に記載の発明は、ユーザに仮想的な３次元作業空間を提供する表示装置と、前記３次元作業空間内のオブジェクトをユーザが操作するための入力装置と、プロセッサと、を備え、前記プロセッサは、プログラムを実行することで、前記３次元作業空間を前記表示装置に表示させ、前記３次元作業空間内にドキュメントを表示させ、前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示させ、前記入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行い、前記代表オブジェクトは、前記ドキュメントを構成する複数のページのうちの一部のページのみを一時的に代表する部分代表オブジェクトを含む、情報提示システムである。

請求項３に記載の発明は、前記プロセッサは、前記入力装置による前記代表オブジェクトの移動操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページの相対的位置を維持したまま移動する処理を行う、請求項１、２のいずれかに記載の情報提示システムである。

請求項４に記載の発明は、前記プロセッサは、前記入力装置による前記代表オブジェクトの特定操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して整列する処理を行う、請求項１、２のいずれかに記載の情報提示システムである。

請求項５に記載の発明は、前記代表オブジェクトは、上位代表オブジェクト、及び前記上位代表オブジェクトよりも下位の下位代表オブジェクトを少なくとも含む階層構造をなす、請求項１～４のいずれかに記載の情報提示システムである。

請求項６に記載の発明は、前記プロセッサは、前記入力装置による前記代表オブジェクトの特定操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを移動させずに前記代表オブジェクトのみを移動する処理を行う、請求項１、２のいずれかに記載の情報提示システムである。

請求項７に記載の発明は、前記プロセッサは、前記入力装置による前記代表オブジェクトの操作を検知した場合に、操作が検知された前記代表オブジェクトが代表するドキュメントを構成する複数のページの表示形態を変化させる処理を行う、請求項１、２のいずれかに記載の情報提示システムである。

請求項８に記載の発明は、前記プロセッサは、操作が検知された前記代表オブジェクトが代表するドキュメントを構成する複数のページを、前記代表オブジェクトとの関係を識別可能に表示する処理を行う、請求項７に記載の情報提示システムである。

請求項９に記載の発明は、前記プロセッサは、前記代表オブジェクトとして第１のドキュメントを代表する第１の代表オブジェクトと、第２のドキュメントを代表する第２の代表オブジェクトを表示させ、前記入力装置による前記第１のドキュメントを構成する特定ページを前記第２の代表オブジェクトに関連づける操作を検知した場合に、前記特定ページの代表先を前記第１の代表オブジェクトから前記第２の代表オブジェクトに変更する処理を行う、請求項１、２のいずれかに記載の情報提示システムである。

請求項１０に記載の発明は、コンピュータに、３次元作業空間を表示装置に表示するステップと、前記３次元作業空間内にドキュメントを表示するステップと、前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示するステップと、入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作するステップと、前記入力装置による前記代表オブジェクトの表示／非表示の切替操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して表示／非表示を切り替える処理を行うステップと、を実行させるプログラムである。
また、請求項１１に記載の発明は、コンピュータに、３次元作業空間を表示装置に表示するステップと、前記３次元作業空間内にドキュメントを表示するステップと、前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示するステップと、入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行うステップと、を実行させ、前記代表オブジェクトは、前記ドキュメントを構成する複数のページのうちの一部のページのみを一時的に代表する部分代表オブジェクトを含む、プログラムである。

請求項１，１０に記載の発明によれば、仮想的な３次元作業空間において、ドキュメントを構成する複数のページを必要に応じてまとめて操作でき、さらに、ドキュメントを構成する複数のページを一括して表示／非表示を切り替えることができる。
また、請求項２，１１に記載の発明によれば、仮想的な３次元作業空間において、ドキュメントを構成する複数のページを必要に応じてまとめて操作でき、さらに、ドキュメントを構成する複数のページのうちの一部のページのみを一時的に代表することができる。

請求項３に記載の発明によれば、さらに、ドキュメントを構成する複数のページの相対的位置をそのまま維持したまま移動できる。

請求項４に記載の発明によれば、さらに、ドキュメントを構成する複数のページを一括して整列することができる。

請求項５に記載の発明によれば、さらに、代表オブジェクト間で階層構造とすることができる。

請求項６に記載の発明によれば、さらに、ドキュメントを構成する複数のページを移動させずに代表オブジェクトのみを移動することができる。

請求項７に記載の発明によれば、さらに、ドキュメントを構成する複数のページの表示形態を変化させることができる。

請求項８に記載の発明によれば、さらに、ドキュメントを構成する複数のページと代表オブジェクトとの関係を識別できる。

請求項９に記載の発明によれば、さらに、代表オブジェクトを変更することができる。

実施形態の構成ブロック図である。 実施形態のヘッドマウントディスプレイ装着説明図である。 実施形態のｘＲ空間の一例を示す説明図である。 実施形態のファイルシステムの説明図である。 実施形態のｘＲ空間上におけるオブジェクトの表示説明図である。 実施形態の代表オブジェクトの操作説明図である。 実施形態の代表オブジェクト及びこれに属するオブジェクトの座標系説明図である。 実施形態の代表オブジェクト及びこれに属するオブジェクトのデータ構造を示すテーブル説明図である。 実施形態の処理フローチャートである。 実施形態の他の処理フローチャートである。 実施形態の代表オブジェクトの移動操作説明図（その１）である。 実施形態の代表オブジェクトの移動操作説明図（その２）である。 実施形態の代表オブジェクトのみの移動操作説明図（その１）である。 実施形態の代表オブジェクトのみの移動操作説明図（その２）である。 実施形態の代表オブジェクトの表示／非表示操作説明図（その１）である。 実施形態の代表オブジェクトの表示／非表示操作説明図（その２）である。 実施形態の代表オブジェクトの整列操作説明図（その１）である。 実施形態の代表オブジェクトの整列操作説明図（その２）である。 実施形態の代表オブジェクトの構成明示操作説明図（その１）である。 実施形態の代表オブジェクトの構成明示操作説明図（その２）である。 実施形態の代表オブジェクトの部分選択操作説明図（その１）である。 実施形態の代表オブジェクトの部分選択操作説明図（その２）である。 実施形態の代表オブジェクトの変更操作説明図（その１）である。 実施形態の代表オブジェクトの変更操作説明図（その２）である。

以下、図面に基づき本発明の実施形態について説明する。

＜構成＞
図１は、本実施形態における情報提示システムの構成図を示す。情報提示システムは、表示部１０、入力部１２、位置／姿勢検出部１４、ｘＲ空間計算部１６、接触判定部１８、表示画像計算部２０、演算部２２、及びファイルシステム２４を備える。

表示部１０は、ドキュメントを閲覧あるいは操作するための仮想的な３次元空間をユーザに提示する。表示部１０は、ユーザに視差を提示し、これによりユーザは奥行など３次元的に空間を認識し得る。視差を提示できる表示部１０として、例えば２眼のヘッドマウントディスプレイ等があるが、これに限定されない。現実空間における表示部１０の位置や姿勢は位置／姿勢検出部１４で検出され、仮想的な３次元空間上のディスプレイオブジェクトに反映される。

入力部１２は、仮想的な３次元空間内に表示されたオブジェクトをユーザが操作するための装置である。現実空間における入力部１２の位置及び姿勢は、位置／姿勢検出部１４で検出され、仮想的な３次元空間上の入力部オブジェクトに反映される。入力部１２は、仮想的な３次元空間用のコントローラ等の物理的に存在する装置でもよく、センサにより検出されたユーザの手を入力部１２として用いてもよい。また、入力部１２は単数あるいは複数のいずれでもよく、入力部１２の位置及び姿勢の検出信号は、オブジェクトに対する操作信号として位置／姿勢検出部１４から演算部２２に送信される。なお、操作信号の送信タイミングは、入力部１２に設けられた物理的なボタン操作をトリガとしてもよいし、センサで検出されたユーザの手のジェスチャの認識結果をトリガとしてもよい。

位置／姿勢検出部１４は、現実空間における表示部１０及び入力部１２の位置や姿勢を検出する。位置／姿勢検出部１４は、表示部１０に内蔵されていてもよく、表示部１０とは別個に表示部１０の外部に設置されてもよい。

ｘＲ空間計算部１６は、位置／姿勢検出部１４で検出された表示部１０及び入力部１２の位置や姿勢を仮想的な３次元空間に反映し、仮想的な３次元空間内の全てのオブジェクトの位置及び姿勢を計算する。仮想的な３次元空間内の全てのオブジェクトとは、表示部オブジェクトや入力部オブジェクト、ドキュメントの代表オブジェクトや当該代表オブジェクトに属するオブジェクト等である。表示部オブジェクトは、位置／姿勢検出部１４で検出された現実空間の情報に基づいて仮想的な３次元空間内の位置及び姿勢が計算される。また、入力部オブジェクトは、位置／姿勢検出部１４で検出された現実空間の情報に基づいて仮想的な３次元空間内の位置及び姿勢が計算される。なお、ここで、ｘＲとは、仮想的な３次元空間を構成するための技術の総称であり、具体的にはＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality：複合現実）のいずれも含まれる。以下、仮想的な３次元空間をｘＲ空間と称する。

接触判定部１８は、ｘＲ空間内のオブジェクト同士が接触しているか否かを判定する。

表示画像計算部２０は、ｘＲ空間内の表示部オブジェクトの位置と姿勢から表示すべき画像を計算する。表示画像計算部２０は、計算した画像を表示部１０に出力する。

演算部２２は、各種計算を実行する。演算部２２は、表示部１０に内蔵されていてもよい。

ファイルシステム２４は、ｘＲ空間内でユーザが閲覧あるいは操作するドキュメントの入出力を管理するシステムである。ドキュメントは電子データとしてファイルシステム２４が管理する。ファイルシステム２４は、演算部２２等とは別個にサーバコンピュータとして存在してもよく、通信ネットワークで接続されていてもよい。ドキュメントは、一般に複数のページから構成され、各ページは個別に属性を有する。但し、ドキュメントは、１枚のみのページから構成されていてもよい。ドキュメントがｘＲ空間内に出力される際には、代表オブジェクトが作成される。また、ドキュメントを構成するページは、それぞれが独立したオブジェクトとして変換され、代表オブジェクトに属する。

代表オブジェクト及びオブジェクトは、ｘＲ空間内における位置と姿勢情報を有する。また、代表オブジェクトに属するオブジェクトは、当該代表オブジェクトが有する座標系に対する相対的な位置及び姿勢情報を有する。相対的な位置及び姿勢情報は、予め保持してもよく、あるいはその都度計算から求めてもよい。これらの位置及び姿勢情報は、ファイルシステム２４に保持される。

ｘＲ空間計算部１６、接触判定部１８、表示画像計算部２０，及び演算部２２は、具体的にはコンピュータのプロセッサ２３で実現し得る。プロセッサ２３は、ＲＯＭ等のプログラムメモリに記憶された処理プログラムを読み出して実行することで、ｘＲ空間計算部１６、接触判定部１８、表示画像計算部２０，及び演算部２２として機能する。ここで、プロセッサ２３とは広義的なプロセッサを指し、汎用的なプロセッサ（CPU：Central Processing Unit等）や、専用のプロセッサ（GPU：Graphics Processing Unit 、 ASIC Application Specific Integrated Circuit、FPGA：Field Programmable Gate Array 、 プログラマブル論理デバイス等）を含むものである。また、プロセッサ２３の動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。プロセッサ２３の主な処理を列挙すると、以下の通りである。
（１）ｘＲ空間を計算して表示部１０に表示させる
（２）ｘＲ空間内にドキュメントの複数のオブジェクトを配置して表示させる
（３）ｘＲ空間内にドキュメントの複数のオブジェクトを代表する代表オブジェクトを作成して表示させる
（４）ユーザによる入力部１２の操作によりｘＲ空間内におけるオブジェクトの操作を検知し、操作内容に応じて当該オブジェクトを操作する
（５）ユーザによる入力部１２の操作によりｘＲ空間内における代表オブジェクトの操作を検知し、操作内容に応じて当該代表オブジェクトに属する全てのオブジェクトを一括操作する

また、表示部１０、入力部１２、及び位置／姿勢検出部１４は、既述したように、例えばヘッドマウントディスプレイ及びｘＲ用コントローラで実現し得る。ヘッドマウントディスプレイは、頭部に装着するディスプレイであり、ハーフミラーなどを利用することにより虚像を形成し、映像を観察できる虚像投影方式でもよく、目の水晶体を利用して網膜に直接結像させる網膜投影方式でもよい。ヘッドマウントディスプレイは、ＸＹＺ３軸の傾きを検出する３自由度方式でもよいが、傾きに加えて三次元空間における位置情報を検出する６自由度方式が望ましい。ヘッドマウントディスプレイは、例えばＩＲＬＥＤをトラッキングすることで、ユーザの動きをｘＲ空間に変換し得る。ｘＲ用コントローラは、ヘッドマウントディスプレイと連動し、ｘＲ用コントローラを操作することで、ユーザはｘＲ空間内に表示されたオブジェクトである仮想的な手（バーチャルハンド）をあたかも自分の手のように動かすことができる。勿論、ｘＲ用コントローラは必須ではなく、ヘッドマウントディスプレイに内蔵されたセンサによりユーザの手を検出してもよい。

図２は、ヘッドマウントディスプレイ３０を用いる場合を示す。ユーザは、頭部にヘッドマウントディスプレイ３０を装着し、表示部１０に表示されたｘＲ空間を視認する。ヘッドマウントディスプレイ３０は、表示部１０及び位置／姿勢検出部１４を内蔵する。また、入力部１２としてのユーザの手３２の動きを検出する。

図３は、ヘッドマウントディスプレイ３０を装着したユーザが視認するｘＲ空間の一例を示す。ｘＲ空間３４は奥行を有する３次元空間であり、ｘＲ空間内には各種オブジェクトが特定位置及び特定姿勢で表示される。図３では、ドキュメントのオブジェクト４０，４２が表示されている。また、ｘＲ空間３４には、仮想的な手（バーチャルハンド）のオブジェクト３６が表示され、その先端にはマーカとなるオブジェクト３８が表示される。ユーザが自分の手３２を現実空間において移動させると、ｘＲ空間内のバーチャルハンドのオブジェクト３６が実際の手の動きに連動してｘＲ空間内を移動する。ユーザは、オブジェクト３６をあたかも自分の手のようにｘＲ空間３４内で動かすことができる。ユーザが現実空間において頭の向きを変えると、ｘＲ空間３４もこれに連動して変化し、表示されるオブジェクトの種類や位置、姿勢が変化する。

オブジェクト４０，４２等は、例えば実物大の大きさで表示される。また、ユーザは、バーチャルハンドのオブジェクト３６を操作することでオブジェクト４０，４２等を把持し、現実空間内において手３２を移動させることで、ｘＲ空間３４内で把持したオブジェクト４０，４２等を移動させることができる。ユーザは、ｘＲ空間３４内で移動させたオブジェクト４０，４２を、ｘＲ空間３４内の所望の位置に置くこともできる。すなわち、ユーザは、現実空間と異なり、物理的な支えを意識することなく、ｘＲ空間３４内の任意の位置にオブジェクト４０，４２を配置することができる。

このように、ｘＲ空間３４内では、オブジェクト４０，４２等の操作の自由度が高いが故に、ドキュメントを構成する複数のページのオブジェクトをｘＲ空間３４内に広範囲に配置してしまうと、何らかの規則に従ってページを再びまとめる際等に多大な手間がかかってしまい、作業効率の低下につながる。例えば、図３において、オブジェクト４０，４２のみならず、これらに加えて多数のオブジェクトが配置されている場合において、これらのオブジェクトのいくつかをｘＲ空間３４内の所望の位置に移動させる場合、オブジェクトを一つ一つバーチャルハンドのオブジェクト３６で把持して移動させるのは手間であり、これら複数のオブジェクトをまとめて一括操作できることが望ましい。

そこで、本実施形態では、複数のオブジェクトを代表する代表オブジェクトを用いる。

図４は、ファイルシステム２４に記憶されたドキュメント４４，４６を示す。ドキュメント４４は、あるドキュメントＡであって複数のページから構成される。また、ドキュメント４６は、ドキュメントＡとは異なる別のドキュメントＢであって同様に複数のページから構成される。ドキュメントは、一般に複数のページから構成され、各ページは個別に属性を有するが、既述したように１枚のみのページから構成されていてもよい。ドキュメントがｘＲ空間３４内に出力される際には、代表オブジェクトが作成され、ドキュメントを構成するページは、それぞれが代表オブジェクトに属する独立オブジェクトとして変換される。

代表オブジェクト及びオブジェクトは、それぞれｘＲ空間３４内における位置と姿勢情報を有する。代表オブジェクトに属するオブジェクトは、代表オブジェクトが有する座標系に対する相対的な位置及び姿勢情報を有する。すなわち、代表オブジェクトに属するオブジェクトは、代表オブジェクトに従属するオブジェクトと言い得る。

図５は、ドキュメント４４及びドキュメント４６をそれぞれｘＲ空間３４内に表示する例を示す。ドキュメント４４は、ＸＹＺ３軸で表現されるｘＲ空間３４内に、ドキュメント４４を構成する複数のページＡ－１、Ａ－２，Ａ－３，Ａ－４，Ａ－５のオブジェクトとして表示される。以下、これらをオブジェクトＡ－１，オブジェクトＡ－２、・・・等と称する。そして、これらのオブジェクトＡ－１，Ａ－２，・・・，Ａ－５を代表する代表オブジェクトＡがオブジェクトＡ－１，Ａ－２，・・・，Ａ－５の近傍に配置される。ここで、「近傍」とは、ｘＲ空間上における近傍であって、代表オブジェクトＡがオブジェクトＡ－１～Ａ－５と何らかの関連があると視認し得る程度の近い距離を意味する。図５では、オブジェクトＡ－１～Ａ－５の向きが、代表オブジェクトＡに向くように配置されている。言い換えれば、代表オブジェクトＡは、オブジェクトＡ－１～Ａ－５で囲まれた空間の中心に位置するように配置される。このような配置は、代表オブジェクトと当該代表オブジェクトに属するオブジェクトの関連付けの一例である。

また、ドキュメント４６は、ＸＹＺ３軸で表現されるｘＲ空間３４内に、ドキュメント４６を構成する複数のページＢ－１、Ｂ－２，Ｂ－３，Ｂ－４，Ｂ－５のオブジェクトとして表示される。以下、これらをオブジェクトＢ－１，オブジェクトＢ－２、・・・等と称する。そして、これらのオブジェクトＢ－１，Ｂ－２，・・・，Ｂ－５を代表する代表オブジェクトＢがオブジェクトＢ－１，Ｂ－２，・・・，Ｂ－５の近傍に配置される。ここでの「近傍」も、ｘＲ空間上における近傍であって、代表オブジェクトＢがオブジェクトＢ－１～Ｂ－５と何らかの関連があると視認し得る程度の近い距離を意味する。

図５では、代表オブジェクトＡ，Ｂは、それぞれ立方体として表示されているが、これに限定されない。但し、代表オブジェクトＡ，Ｂは、その代表オブジェクトに従属するオブジェクトの形状、模様、色彩、文字の少なくともいずれかにおいて異なり、ユーザが代表オブジェクトであることを容易に識別できることが望ましい。例えば、代表オブジェクトＡ，Ｂを青色の立方体とする等である。あるいは、代表オブジェクトＡ，Ｂを現実のクリップを模した形状としてもよい。これにより、代表オブジェクトＡ，Ｂは、複数のオブジェクトをまとめる機能を有するものであることをユーザはその形状から容易に理解し得る。さらに、代表オブジェクトＡ，Ｂの近傍にドキュメント名を表示してもよい。代表オブジェクトＡの近傍に「ドキュメントＡ」と名称を表示する等である。

代表オブジェクトＡ，Ｂは、単一のオブジェクトでもよいし、複数のオブジェクトの組み合わせでもよい。例えば、立方体の周囲に球が配置されたオブジェクトとする等である。

代表オブジェクトＡ，Ｂの操作は、代表オブジェクトＡ，Ｂに入力部１２のオブジェクト、例えば図３におけるバーチャルハンドのオブジェクト３６が接触したことをトリガとしてもよい。あるいは、オブジェクト３６が接触または重なった状態で入力部１２からの特定の操作信号をトリガとしてもよい。

代表オブジェクトＡ，Ｂに対する操作の内容は、予め操作内容を決定してもよいし、入力部１２の操作信号に基づき選択されてもよい。また、代表オブジェクトＡ，Ｂがオブジェクト３６によって接触された位置に基づいて選択されてもよい。さらに、物理シミュレーションにより代表オブジェクトＡ，Ｂがどのように運動したかを計算し、その計算結果に基づき選択されてもよい。

なお、代表オブジェクト同士に関しては、代表オブジェクト同士が階層構造を有していてもよい。例えば、代表オブジェクトＢは代表オブジェクトＡに属していてもよく、代表オブジェクトＡは上位代表オブジェクト、代表オブジェクトＢは下位代表オブジェクトとして機能する。

図６は、代表オブジェクトが階層構造を有する場合を示す。代表オブジェクトＡには、オブジェクトＡ－１～Ａ－５が属するとともに、他の代表オブジェクトＢが属する。代表オブジェクトＢには、オブジェクトＢ－１～Ｂ－３が属する。

この場合、代表オブジェクトＡに対して行われた操作は、代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５、及び代表オブジェクトＢに対しても実行される。その結果、代表オブジェクトＢに属するオブジェクトＢ－１～Ｂ－３は、代表オブジェクトＢに対して行われた操作に応じて同様に操作される。

他方で、代表オブジェクトＢに対して行われた操作は、オブジェクトＢ－１～Ｂ－３に対しても行われる。オブジェクトＡ－１～Ａ－５については何らの影響も及ぼさない。

次に、代表オブジェクトのデータ構造について、より具体的に説明する。

図７は、代表オブジェクトＡと、その代表オブジェクトに属するオブジェクトＡ－１の座標系を示す。

ｘＲ空間は、ＸＹＺ３軸の３次元座標系を有する。代表オブジェクトを含むすべてのオブジェクトは自身の座標系を有し、その座標系はｘＲ空間の座標系に対する位置と姿勢のデータを有する（絶対座標）。位置データは、例えば（ｘ、ｙ、ｚ）のような３次元ベクトルとして保持される。姿勢データは、例えば（α、β、γ）のようなオイラー角として保持される。

また、オブジェクトが形状を有する場合、その形状情報を有する。

また、オブジェクトは、属性情報を有する。属性情報は、例えば、属する代表オブジェクトの情報、オブジェクトを表す名前、同一の代表オブジェクトに属するオブジェクトの中の順序等である。

代表オブジェクトに属するオブジェクトは、当該代表オブジェクトの座標系に対する自身の座標系の位置と姿勢のデータを有する（相対座標）。このデータは、予め計算し保持しておいてもよいし、必要な時にその都度計算した結果を保持してもよい。

図８は、代表オブジェクトＡ及びオブジェクトＡ－１のデータ構造を具体的に示す。代表オブジェクトＡに関しては、ｘＲ空間の座標系に対する位置データ、姿勢データとしてのオイラー角、属性情報としての名前、それが属する代表オブジェクトの名前、オーダ（順序）を有する。なお、代表オブジェクトＡは、それ自身が代表オブジェクトであって他の代表オブジェクトに属していないので、それが属する代表オブジェクトの名前は存在しない（ｎｕｌｌデータ）。

＜処理フローチャート＞
図９は、本実施形態の処理フローチャートである。入力部１２のオブジェクト３６がドキュメントのオブジェクトに接触したことを操作のトリガとする処理である。

まず、位置／姿勢検出部１４で表示部１０及び入力部１２の位置及び姿勢を検出する（Ｓ１０１）。位置／姿勢検出部１４は、検出した位置データ及び姿勢データをｘＲ空間計算部１６に出力する。

ｘＲ空間計算部１６は、ｘＲ空間を計算し（Ｓ１０２）、表示画像計算部２０に出力する。表示画像計算部２０は、表示部１０に表示すべき表示画像を計算して作成し、表示部１０に出力する。表示画像の一例は図３に示す通りであり、ドキュメントのオブジェクト４０，４２、入力部１２のオブジェクトとしてのバーチャルハンドのオブジェクト３６が含まれる。あるドキュメントが複数のページから構成される場合、各ページのオブジェクトが表示画像に含まれるとともに、これら複数のページを代表する代表オブジェクトが表示画像に含まれる。

次に、接触判定部１８は、入力部１２のオブジェクト３６が表示画像内のドキュメントのオブジェクトに接触したか否かを判定する（Ｓ１０３、Ｓ１０４）。

接触している場合（Ｓ１０４でＹＥＳ）、接触判定部１８は、次に入力部１２のオブジェクト３６が接触しているオブジェクトが代表オブジェクトであるか否かを判定する（Ｓ１０５）。

代表オブジェクトに接触している場合（Ｓ１０５でＹＥＳ）、演算部２２は、接触している代表オブジェクト及び代表オブジェクトに属する全てのオブジェクトに対してユーザから指示された操作を実行すべくオブジェクトの位置及び姿勢を計算し、表示画像計算部２０に出力する（Ｓ１０６）。表示画像計算部２０は、演算部２２からの計算結果に基づいて操作後の表示画像を計算して作成し、表示部１０に出力する（Ｓ１０８）。ユーザから指示された操作には、オブジェクトの移動、オブジェクトの表示／非表示、整列、代表オブジェクトに属するオブジェクトの明示、部分的選択、代表オブジェクトの変更等が含まれる。操作の具体的内容についてはさらに後述する。

他方、代表オブジェクトに接触していない場合（Ｓ１０５でＮＯ）、演算部２２は、接触しているオブジェクトに対してユーザから指示された操作を実行すべくオブジェクトの位置及び姿勢を計算し、表示画像計算部２０に出力する（Ｓ１０７）。表示画像計算部２０は、演算部２２からの計算結果に基づいて操作後の表示画像を計算して作成し、表示部１０に出力する（Ｓ１０８）。Ｓ１０１～Ｓ１０８の処理は、所定の制御周期で繰り返し実行される。

図１０は、本実施形態の他の処理フローチャートである。入力部１２からの操作信号をトリガとする処理である。

まず、入力部１２からの操作信号を取得する（Ｓ２０１）。そして、入力部１２からの操作信号を取得すると、図９におけるＳ１０１～Ｓ１０８と同様の処理を実行し、ユーザ操作に応じてオブジェクトを操作し、表示部１０に出力する（Ｓ２０２～Ｓ２０９）。

次に、代表オブジェクトを用いた具体的な操作について説明する。

＜移動＞
図１１Ａ及び図１１Ｂは、代表オブジェクトを移動させる操作を行った場合のｘＲ空間の表示例を示す。図１１Ａは移動前の表示例であり、図１１Ｂは移動後の表示例である。

ユーザが代表オブジェクトＡを移動すると、代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５がその相対的な位置及び姿勢を維持しつつ移動する。例えば、入力部１２がボタンを有するｘＲコントローラの場合、ユーザがｘＲ空間上で入力部１２のオブジェクト、具体的には図３におけるオブジェクト３６を代表オブジェクトＡに接触または重ねた状態でボタンを押すことで、代表オブジェクトＡおよびそれに属するオブジェクトＡ－１～Ａ－５の移動が開始される。ボタンが押されている間は移動が継続され、その移動は入力部１２の位置及び姿勢に合わせて行われる。ボタンが離された時に移動は終了し、その時の位置及び姿勢で代表オブジェクトＡおよび属するオブジェクトＡ－１～Ａ－５がｘＲ空間に配置される。

ユーザの手３２をセンシングして入力部１２として用いる場合、ボタンの押下操作の代わりにジェスチャを用いてもよい。

＜代表オブジェクトのみ移動＞
図１２Ａ及び図１２Ｂは、代表オブジェクトのみを移動させる操作を行った場合のｘＲ空間の表示例を示す。図１２Ａは移動前の表示例であり、図１２Ｂは移動後の表示例である。

代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５の位置に合わせて、改めて代表オブジェクトＡの位置及び姿勢を調整するために、代表オブジェクトＡのみを移動するモードである。これは、ページの配置が偏った場合等に使用され得る。本モードの場合、代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５の位置及び姿勢は維持され、代表オブジェクトＡの位置及び姿勢のみが変更される。勿論、代表オブジェクトＡの位置のみ、あるいは代表オブジェクトＡの姿勢のみを変更してもよい。モードの切り替えは、例えばユーザによるボタンの押下操作によって行われてもよいし、ユーザのジェスチャによって行われてもよい。

具体的には、入力部１２がボタンを有するコントローラの場合、ユーザがｘＲ空間上で入力部１２のオブジェクト、すなわち図３におけるオブジェクト３６を代表オブジェクトＡに接触または重ねた状態でボタンを押すことで、代表オブジェクトＡの移動が開始される。ボタンが押されている間は移動が継続され、その移動は入力部１２の位置及び姿勢に合わせて行われる。ボタンが離された時に移動は終了し、その時の位置及び姿勢で代表オブジェクトＡがｘＲ空間に配置される。

＜表示と非表示の切替＞
図１３Ａ及び図１３Ｂは、代表オブジェクトに対して表示／非表示の操作を行った場合のｘＲ空間の表示例を示す。図１３Ａは表示状態の表示例であり、図１３Ｂは非表示状態の表示例である。

代表オブジェクトＡに対して表示／非表示切替の操作を行うと、代表オブジェクトＡに属するオブジェクト全て、すなわちオブジェクトＡ－１～Ａ－５に対して表示／非表示の切り替えが行われる。

代表オブジェクトＡは、ユーザに対して表示状態か非表示状態かを形状の変化や色の変化等で提示することが望ましい。

例えば、入力部１２がボタンを有するコントローラの場合、ユーザはｘＲ空間上で入力部１２のオブジェクト、すなわち図３のオブジェクト３６を代表オブジェクトＡに接触または重ねた状態でボタンを押すことで、代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５の表示／非表示の状態を切り替えることができる。

ボタン操作等により表示／非表示を切り替えるモードを予め切り替えた上で、ユーザがｘＲ空間上で入力部１２のオブジェクトを代表オブジェクトＡに接触させることで、表示／非表示を切り替えてもよい。

＜整列＞
図１４Ａ及び図１４Ｂは、代表オブジェクトに対して整列操作を行った場合のｘＲ空間の表示例を示す。図１４Ａは整列前の表示例であり、図１４Ｂは整列後の表示例である。

代表オブジェクトＡ，Ｂに対して整列操作を行うと、属するオブジェクトが有する属性に従い、それぞれに属するオブジェクトＡ－１～Ａ－５、オブジェクトＢ－１～Ｂ－５が整列する。

例えば、入力部１２がボタンを有するコントローラの場合、ユーザはｘＲ空間上で入力部１２のオブジェクト、すなわち図３のオブジェクト３６を代表オブジェクトＡに接触または重ねた状態でボタンを押すことで、代表オブジェクトＡに属するオブジェクトＡ－１～Ａ－５を整列した状態に移動する。同様に、図３のオブジェクト３６を代表オブジェクトＢに接触または重ねた状態でボタンを押すことで、代表オブジェクトＢに属するオブジェクトＢ－１～Ｂ－５を整列した状態に移動する。

ボタン操作等により整列指示モードを予め切り替えた上で、ユーザがｘＲ空間上で入力部１２のオブジェクト３６を代表オブジェクトＡに接触させることで整列させてもよい。あるいは、代表オブジェクトＡ近傍に整列を指示するためのアイコンオブジェクトを配置し、入力部１２のオブジェクト３６を接触させることで整列させてもよい。整列の種類は、押下するボタンの種類によって切り替えてもよいし、ボタンの押下回数によって順次切り替わってもよい。図１４Ｂでは、代表オブジェクトＡと代表オブジェクトＢとで、整列の種類が異なっていることを示す。

＜構成の明示＞
図１５Ａ及び図１５Ｂは、代表オブジェクトに対して属するオブジェクトを明示する操作を行った場合のｘＲ空間の表示例を示す。図１４Ａは操作前の表示例であり、図１５Ｂは操作後の表示例である。

代表オブジェクトＡ，Ｂに対して属するオブジェクトを明示する操作を行うと、代表オブジェクトＡ，Ｂにそれぞれ属するオブジェクトが明示される。

例えば、入力部１２がボタンを有するコントローラの場合、ユーザはｘＲ空間上で入力部１２のオブジェクト３６を代表オブジェクトＡに接触または重ねた状態でボタンを押すことで、代表オブジェクトＡに属するオブジェクトが明示される。明示の表示形態は任意であるが、例えば、同一の代表オブジェクトに属するオブジェクトの輪郭が同一色に変更されてもよいし、矢印等で表示されてもよい。図１５Ｂでは、代表オブジェクトＡに属するオブジェクトは同一色（図では同一のハッチングで示す）に変更され、代表オブジェクトＢに属するオブジェクトは代表オブジェクトＢを始点とし、属するオブジェクトを終点とする矢印で表示されている。要するに、操作対象の代表オブジェクトに属するオブジェクトが他のオブジェクトに比べて相対的に強調表示される。

＜部分選択＞
図１６Ａ及び図１６Ｂは、代表オブジェクトに対して部分選択の操作を行った場合のｘＲ空間の表示例を示す。図１６Ａは操作前の表示例であり、図１６Ｂは部分選択の操作後の表示例である。

実施形態の情報提示システムは、基本的には代表オブジェクトを操作することで、当該代表オブジェクトに属する全てのオブジェクトを一括操作するが、代表オブジェクトに属するオブジェクトの中の特定のオブジェクトのみを一括操作する部分選択モードを有していてもよい。部分選択モードは、さらに選択モードと操作モードを有し、選択モードや操作モードは、使用するボタンに応じて切り替わってもよいし、ボタン操作によって順次切り替えてもよい。

例えば、選択モードに切り替えた状態で、ユーザが入力部１２のオブジェクト３６を選択したいオブジェクトに接触させることで選択を行うことができる。具体的には、オブジェクトＡ－２，Ａ－３，Ａ－５に接触した場合、これら３つのオブジェクトが選択される。選択されたオブジェクトは、ユーザが識別し得るように、輪郭の色が変わる等の提示が行われることが望ましい。

部分選択した状態では、選択されたオブジェクト群のいずれかのオブジェクトが代表オブジェクトと同様の機能を有する。従って、オブジェクトＡ－２に対して移動の操作を行うと、オブジェクトＡ－２を代表オブジェクトの代わりとして、オブジェクトＡ－３とオブジェクトＡ－５に対して同様の移動が行われる。

＜代表オブジェクトの変更＞
図１７Ａ及び図１７Ｂは、代表オブジェクトの変更操作を行った場合のｘＲ空間の表示例を示す。図１７Ａは変更前の表示例であり、図１７Ｂは変更後の表示例である。

ある代表オブジェクトに属するオブジェクトを、別の代表オブジェクトに属するよう変更し得る。

例えば、オブジェクトを移動し、自身が属する代表オブジェクトとは異なる別の代表オブジェクトに接触させることで変更することができる。代表オブジェクトＢに属するオブジェクトＢ－１を移動させ、代表オブジェクトＡに接触させることで、オブジェクトＢ－１は代表オブジェクトＢから代表オブジェクトＡに属するオブジェクトとなる。

以上説明したように、本実施形態では、ｘＲ空間にドキュメントを構成する複数のページのオブジェクトを表示する際に、これらのオブジェクトを代表する代表オブジェクトを表示させ、代表オブジェクトの操作により、当該代表オブジェクトに属する複数のオブジェクトの一括操作を可能としたので、個々のオブジェクトを操作する手間を省くことができる。

＜変形例＞
ドキュメントが複数のページから構成されている場合、各ページのオブジェクト及びこれら複数のオブジェクトを代表する代表オブジェクトをｘＲ空間に表示するが、ドキュメントが１ぺージから構成されている場合でも、そのページのオブジェクトの近傍に代表オブジェクトを作成して表示してもよい。図１７Ａ及び図１７Ｂに示すように、ある代表オブジェクトに属するオブジェクトを別の代表オブジェクトに属するように変更を行う場合に特に有効である。

１０ 表示部、１２ 入力部、１４ 位置／姿勢検出部、１６ ｘＲ空間計算部、１８ 接触判定部、２０ 表示画像計算部、２２ 演算部、２３ プロセッサ、２４ ファイルシステム。

Claims (11)

1. ユーザに仮想的な３次元作業空間を提供する表示装置と、
   前記３次元作業空間内のオブジェクトをユーザが操作するための入力装置と、
   プロセッサと、
   を備え、前記プロセッサは、プログラムを実行することで、
   前記３次元作業空間を前記表示装置に表示させ、
   前記３次元作業空間内にドキュメントを表示させ、
   前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示させ、
   前記入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行い、
   さらに、前記入力装置による前記代表オブジェクトの表示／非表示の切替操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して表示／非表示を切り替える処理を行う、
   情報提示システム。
2. ユーザに仮想的な３次元作業空間を提供する表示装置と、
   前記３次元作業空間内のオブジェクトをユーザが操作するための入力装置と、
   プロセッサと、
   を備え、前記プロセッサは、プログラムを実行することで、
   前記３次元作業空間を前記表示装置に表示させ、
   前記３次元作業空間内にドキュメントを表示させ、
   前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示させ、
   前記入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行い、
   前記代表オブジェクトは、前記ドキュメントを構成する複数のページのうちの一部のページのみを一時的に代表する部分代表オブジェクトを含む、
   情報提示システム。
3. 前記プロセッサは、前記入力装置による前記代表オブジェクトの移動操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページの相対的位置を維持したまま移動する処理を行う、
   請求項１、２のいずれかに記載の情報提示システム。
4. 前記プロセッサは、前記入力装置による前記代表オブジェクトの特定操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して整列する処理を行う、
   請求項１、２のいずれかに記載の情報提示システム。
5. 前記代表オブジェクトは、上位代表オブジェクト、及び前記上位代表オブジェクトよりも下位の下位代表オブジェクトを少なくとも含む階層構造をなす、
   請求項１～４のいずれかに記載の情報提示システム。
6. 前記プロセッサは、前記入力装置による前記代表オブジェクトの特定操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを移動させずに前記代表オブジェクトのみを移動する処理を行う、
   請求項１、２のいずれかに記載の情報提示システム。
7. 前記プロセッサは、前記入力装置による前記代表オブジェクトの操作を検知した場合に、操作が検知された前記代表オブジェクトが代表するドキュメントを構成する複数のページの表示形態を変化させる処理を行う
   請求項１、２のいずれかに記載の情報提示システム。
8. 前記プロセッサは、操作が検知された前記代表オブジェクトが代表するドキュメントを構成する複数のページを前記代表オブジェクトとの関係を識別可能に表示する処理を行う
   請求項７に記載の情報提示システム。
9. 前記プロセッサは、前記代表オブジェクトとして第１のドキュメントを代表する第１の代表オブジェクトと、第２のドキュメントを代表する第２の代表オブジェクトを表示させ、
   前記入力装置による前記第１のドキュメントを構成する特定ページを前記第２の代表オブジェクトに関連づける操作を検知した場合に、前記特定ページの代表先を前記第１の代表オブジェクトから前記第２の代表オブジェクトに変更する処理を行う
   請求項１、２のいずれかに記載の情報提示システム。
10. コンピュータに、
    ３次元作業空間を表示装置に表示するステップと、
    前記３次元作業空間内にドキュメントを表示するステップと、
    前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示するステップと、
    入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行うステップと、
    前記入力装置による前記代表オブジェクトの表示／非表示の切替操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを一括して表示／非表示を切り替える処理を行うステップと、
    を実行させるプログラム。
11. コンピュータに、
    ３次元作業空間を表示装置に表示するステップと、
    前記３次元作業空間内にドキュメントを表示するステップと、
    前記３次元作業空間内に前記ドキュメントを代表する代表オブジェクトを前記ドキュメントに関連付けて表示するステップと、
    入力装置による前記３次元作業空間内における前記代表オブジェクトの操作を検知した場合に、前記代表オブジェクトが代表する前記ドキュメントを構成する複数のページを操作する処理を行うステップと、
    を実行させ、前記代表オブジェクトは、前記ドキュメントを構成する複数のページのうちの一部のページのみを一時的に代表する部分代表オブジェクトを含む、プログラム。