JPH08190640A - 情報表示方法および情報提供システム - Google Patents

Abstract

(57)【要約】 【目的】移動可能なディスプレイを対象に向け、虫めが
ねのようにかざすことで、対象指定及び、参照情報の対
象把握が直感的に行える表示方法提供する。 【構成】利用者１０の視点位置ｅの検出手段３、手持ち
のディスプレイ２の位置検出手段４及び予め登録されて
いる対象物（図示例では、マウス８，９）の位置検出手
段５の位置情報を情報処理装置１に取り込む。対象特定
部１１は、視点ｅとディスプレイ２の中心点を結ぶ線分
の延長線が交叉する対象物を特定する。映像生成部１４
は、特定した対象物の参照情報を記憶装置７から取得
し、参照情報の表示中心を求めて、ディスプレイ２に表
示する。表示中心は、視点ｅと特定対象物の中心を結ぶ
線分が交叉するディスプレイ上の交点にとる。さらに、
視点ｅとディスプレイ２の距離に応じて、表示する参照
情報の詳細度が「粗い」または「詳しい」ものを選択す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、利用者の所望する情報
を表示する情報提供システムに係り、特に、利用者の手
持ちで移動するディスプレイを利用した情報表示方式に
関する。このような情報提供システムは、機械設計など
のＣＡＤ分野、情報の可視化などのＣＡＥ分野、製品展
示などのプレゼンテーション分野等に適用される。

【０００２】

【従来の技術】本発明の従来例として、「シチュエーテ
ッド インフォーメーション スペース アンド スペ
ーシャリ アウエア パームトップコンピュータズ(Sit
uatedInformation Spaces and Spatially Aware Palmto
p Computers)」（George W. Fitzmaurice著,COMMUNICAT
IONS OF THE ACM, July 1993, Vol.36,No.7）と、「シ
ースルー型ＨＭＤを用いた仮想空間による実空間の修飾
の研究」（廣瀬通孝、木島竜吾、佐藤洋一、石井威望
（以上、東京大学工学部）著、計測自動制御学会、第６
回ヒューマンインタフェースシンポジウム論文集1990
年）を、それぞれ引用例１及び引用例２として説明す
る。

【０００３】引用例１には、利用者が小型のディスプレ
イを手で持ち、空間を動かして関心のある対象に近付
け、その対象に関する特定の情報を小型ディスプレイに
表示するシステムが記述されている。

【０００４】このシステムは、ディスプレイの３次元空
間中の位置および姿勢を実時間で入力する機能を持ち、
ディスプレイと各対象の間の距離を計算し、小型ディス
プレイから所定の近距離にあるものを、利用者が参照し
ようとしている対象であると判定する。なお、対象とな
り得るものの３次元空間中の座標はあらかじめシステム
に登録してある。対象に関連する特定の情報も、あらか
じめシステムに登録されている。

【０００５】引用例１には、対象として地図を用いる場
合について記載している。システムには、地図が置かれ
ている位置および姿勢と、その地図に描かれている内容
があらかじめ登録されている。利用者は、例えばＡ都市
に関する情報を知りたいと思った時、地図上のＡ都市の
そばにディスプレイを持っていくことで、その都市に関
する地図には表記していない情報、例えば天気情報や観
光情報などを参照することができる。

【０００６】特定された対象の表示情報は、対象物とデ
ィスプレイの距離に応じて、表示する情報の詳細度（ま
たは対象指定の詳細度）を制御するアイデアが記載され
ている。上述の例で言えば、ディスプレイがＡ都市にそ
れほど近付いていない時は、その都市を含む地域に関す
る情報が表示され、ディスプレイがＡ都市に近付くほ
ど、その都市に関する詳細な情報が表示されるようにな
る。

【０００７】また、特定される対象物は映像でも良いと
している。例えば、同じシステムに接続された据え置き
型の大型ディスプレイがあり、その位置および姿勢がシ
ステムに登録してあれば、それに表示されている映像の
ある要素を特定し、その要素の詳細な情報を手持ちの小
型のディスプレイに表示することができる。

【０００８】さらに、手持ちの小型のディスプレイにペ
ン入力機能を追加し、ディスプレイに表示された情報に
編集を加えるというアイデアが記載されている。ディス
プレイに表示されている情報に対する編集は、その表示
に対応するシステム内部の情報にも反映される。

【０００９】引用例２には、半透明なディスプレイを利
用者の頭部に固定して利用者の眼前に配置し、ディスプ
レイの位置から対象物を指定し、それに関する情報を参
照するシステムが記載されている。このディスプレイは
「シースルー型ヘッドマウントディスプレイ」と呼ば
れ、半透明であるので、利用者には現実の視野とディス
プレイに表示された特定情報の映像が重なって見える。

【００１０】このシステムは、引用例１と同様に、ディ
スプレイの位置および姿勢を実時間で入力することがで
きる。また、対象物の位置および姿勢さらには対象に関
連する情報は、あらかじめシステムに登録されている。

【００１１】したがって、ディスプレイの位置および姿
勢が分かれば、それを通して利用者が見ている対象物を
特定できる。何故なら、ディスプレイは頭部に固定され
ているので、視点（目の位置）とディスプレイの相対的
な位置関係が不変となるからである。利用者が参照しよ
うとしている対象が特定できたら、それに関連する情報
をディスプレイに表示する。

【００１２】このシステムでは、対象物が利用者の視野
のどこに位置するかも計算できるので、利用者の視野の
中で対象物と重なるように情報を表示することも可能で
ある。したがって、利用者が情報を参照しようとしてる
対象物の方に顔を向けるだけで、その対象物に関する情
報が、その対象物に重なる位置に表示されることにな
る。

【００１３】

【発明が解決しようとする課題】上記引用例１に記載の
システムでは、対象の位置および姿勢と、ディスプレイ
の位置および姿勢だけから、詳細情報を参照する対象を
特定している。すなわち、利用者の視点の位置（目の位
置）を考慮していない。このため、対象指定が直感的に
行えないので、利用者の意志とは違う対象の情報を表示
してしまうことがあり、かかる場合に利用者はその正誤
を即座に判断できない。

【００１４】即ち、利用者の視界の中で、ディスプレイ
がどこに位置しているかを判定する手段がないために、
利用者の視界の中で対象物と関連づけた位置に情報を表
示することができない。このため、利用者はどの対象の
情報を参照しているのか、直感的に把握できないという
問題がある。

【００１５】また、複数の対象が登録されている場合
に、ディスプレイとの距離だけを基準に対象を選択する
と、遠くの方にある対象を選択するためには、利用者は
その対象が一番近くに来るように、ディスプレイを持っ
て移動しなければならない。このため、対象とディスプ
レイ間の距離が不安定に変動するので、対象の指定に際
して試行錯誤が必要となり、効率的でないという問題が
ある。

【００１６】一方、引用例２に記載のシステムでは、頭
部にディスプレイを装着し、対象に近づいたり遠ざかっ
たりして対象を特定するために、利用者に負担がかかっ
て汎用的でない。また、ディスプレイが常に目の前に存
在するために、他の作業と並行して行うのが難しく使い
勝手が悪い。また、ディスプレイも半透明なものに限ら
れる。

【００１７】このように、従来のシステムでは、直感的
な対象指定と効率的な対象指定を同時に実現できず、ま
た、指定された対象と表示される参照情報との関係も直
感的に把握しずらい。さらに、利用者の負担が大きく使
い勝手が悪いなどの問題があった。

【００１８】本発明の目的は、移動ディスプレイを用い
て対象の指定を直感的且つ効率的に行える情報表示方法
を提供することにある。

【００１９】本発明の目的は、表示する情報の内容を多
様に、かつ、簡単に選択できる情報表示方法を提供する
ことにある。

【００２０】本発明の目的は、指定対象と表示情報の対
応関係が直感的に把握でき、使い勝手の良い情報表示方
法を提供することにある。

【００２１】本発明の目的は、ユーザの負担が少なく移
動ディスプレイを採用できる情報提供システムを提供す
ることにある。

【００２２】

【課題を解決するための手段】本発明の目的は、ディス
プレイをかざしながら複数の対象物の一つを特定し、そ
の対象物に関する参照情報を該ディスプレイに表示する
情報表示方法において、前記ディスプレイを手持ちする
利用者の眼の位置（以下、視点と呼ぶ）と前記ディスプ
レイの所定点を求め、この視点と所定点を結ぶ線分の延
長線と交叉する対象物を特定することにより達成され
る。

【００２３】また、前記ディスプレイを手持ちする利用
者の眼の位置（以下、視点と呼ぶ）と前記ディスプレイ
の所定点を結ぶ線分の延長線と交叉する対象物を特定す
ると共に、前記所定点と視点（又は、特定対象物）との
距離に応じて前記参照情報の詳細度または種類を決定
し、対応する所定の参照情報を取得して表示することに
より達成される。

【００２４】あるいは、前記ディスプレイを手持ちする
利用者の眼の位置（以下、視点と呼ぶ）と前記ディスプ
レイの中心または中心付近の所定点を求め、この所定点
と視点を結ぶ第１の線分の延長線と交叉する対象物を特
定してその参照情報を取得すると共に、該特定対象物の
中心または中心付近にある中央点と前記視点を結ぶ第２
の線分と交叉する前記ディスプレイ上の交点に位置付け
て前記所定の情報を表示することにより達成される。

【００２５】さらに、目視ができない参照情報を有して
いる複数の対象物と、特定された対象物の参照情報を表
示する移動可能なディスプレイと、対象物を特定しその
参照情報を取得して表示する情報処理装置を具備する情
報提供システムにおいて、前記情報処理装置に、情報を
参照する利用者の眼の位置（以下、視点位置と呼ぶ）を
検出する視点位置検出手段と、前記ディスプレイの位置
を検出するディスプレイ位置検出手段と、前記対象物の
位置を検出する対象物位置検出手段と、前記ディスプレ
イの位置による所定点と前記視点を結ぶ線分の延長線と
が交叉する位置にある対象物を決定する対象物特定手段
と、特定された対象物の参照情報を取得して前記ディス
プレイに表示する映像生成手段を備えることにより達成
される。

【００２６】

【作用】本発明によれば、利用者の視点とディスプレイ
の所定点（例えば中心点）を結ぶ線分の延長線に貫かれ
る対象物が特定される。従って、利用者はディスプレイ
を手持ちして所望の対象物にその中心付近をかざすこと
で、対象物を直感的かつ効率的に指定できる。

【００２７】参照する情報の詳細度や種類は、例えば利
用者の視点とディスプレイとの間の距離によって決定さ
れる。利用者は参照する情報の詳細度や内容を選択する
際に、手（ディスプレイの位置）または頭部（視点）を
動かしてディスプレイとの距離を調整することで所望の
情報を取得できる。また、情報の詳細度や種類は、対象
物とディスプレイの距離によって決定されてもよい。し
たがって、従来のように対象物に身体ごと近づいたり離
れたりするのに比べ、使い勝手がよく効率的である。

【００２８】さらに、指定された対象に関する情報を利
用者に提示する際は、利用者の視野の中で対象と関連し
て見えるディスプレイ上の表示位置を計算し、例えば、
対象が機械部品である場合、その部品の型式や材質など
の情報を、利用者の視野の中で対象の機械部品と隣り合
う位置あるいは重なる位置に表示する。これによれば、
利用者は手持ちのディスプレイ装置により、あたかも観
察対象に虫めがねをかざすような感覚で、特定対象に関
する情報を直感的に把握でき、誤まった情報を受け取る
こともななくなる。

【００２９】さらに、対象物位置を実時間で検出するこ
とにより、移動する対象物の情報取得が可能になる。例
えば、複数の構成要素をもつ機械モデルを回転し、所望
の構成要素にディスプレイをかざして対象物を特定す
る。この場合、構成要素毎にその位置を検出するセンサ
ーが具備されている。

【００３０】なお、対象物の特定において、ディスプレ
イを移動するか対象物を移動するかは相対的な関係であ
り、上記した特許請求の範囲においてディスプレイを移
動すると読めるものは、対象物を移動するものと読み代
えることができる。

【００３１】以上、本発明の作用により、利用者は興味
のある対象に移動可能ディスプレイ装置を向けることに
よって、直感的に対象を指定することができる。また、
視点と移動可能ディスプレイ装置の間の距離を調節する
ことで、参照する情報の詳細度を直感的かつ効率的に指
定することができる。さらに、指定した対象に関する情
報は、利用者の視界の中で対象と関連付けられた位置、
例えば対象と重なる、あるいは並ぶ位置に表示されるの
で、利用者は対象と表示される情報の関係を直感的に把
握することができる。

【００３２】

【実施例】本発明の一実施例を、機械装置の設計におい
て部品情報を参照したり、変更したりする場合の情報提
供システムを例として説明する。

【００３３】図１は、情報提供システムの全体構成を示
すブロック図である。本システムは、計算機により構成
される情報処理装置１、利用者１０が手持して移動する
ことのできるディスプレイ装置（以下、手持ちディスプ
レイ装置と呼ぶ）２、視点位置検出部３、ディスプレイ
位置検出部４、対象位置検出部５及び情報入力装置とし
てのペン６などを備えている。

【００３４】図２に、手持ちディスプレイ装置の構造を
示す。ディスプレイ装置２は、液晶ディスプレイ（ＬＣ
Ｄ）２１と、画面上の入力座標を検出する透明のタブレ
ット２２が重ねて装着され、例えばスタイラスペン６に
よる画面入力を可能にしている。表示更新中断ボタン２
３は、表示情報の編集時などに、利用者が表示画面の更
新を一時停止するボタンである。ディスプレイ２１の裏
面には、反射板などが設置されていないので、ディスプ
レイの向う側が透けて見える。

【００３５】視点位置検出部３は、利用者の眼１０１の
位置を検出する手段である。本例では、利用者の頭部の
一点１０２の位置と姿勢の３次元空間の座標を実時間で
検出するセンサーを採用している。頭部の一点１０２と
眼１０１との位置関係は変化しないので、頭部の一点１
０２の位置と姿勢の検出結果から、単純な幾何計算によ
って眼１０１の位置、即ち視点ｅを求めることができ
る。

【００３６】頭部の一点１０２の検出は、そこに装着し
たセンサーからの信号を、位置及び姿勢の分かっている
受信器で受信して、頭部１０２の位置および姿勢を求め
ることができる。３次元空間の位置及び姿勢を検出する
センサーは周知である。例えば、被検出部に磁界を発生
する発信器を装着し、位置及び姿勢が既知である受信器
でその信号を受信して、被検出部の位置及び姿勢を検出
する。被検出部が複数の場合は、発信器毎に発生する磁
界の周波数を特定する。この場合の３次元空間座標や姿
勢の計算方法は周知であり、その詳細な説明は省略す
る。この他に、複数の位置センサやジャイロを組み合わ
せる構成なども周知である。本例の場合、発信器は頭部
１０２に、受信器は視点位置検出部３に設けられる。

【００３７】対象物が表示装置や掲示物などの図形要素
で、利用者の姿勢と移動範囲が限られる場合は、ＴＶカ
メラ等による画像信号から、頭部の一点の座標を求める
ことも可能である。この場合、頭部にピン装着したり色
紙を貼付したりする。また、頭部の一点ではなく鼻や耳
などの座標によってもよい。もちろん、可能な場合には
眼の位置を直接に測定するようにしてもよい。

【００３８】なお、利用者の眼球の位置と動きから直
接、視点や視線を求める多数の方法が周知であり、それ
らの中で利用者に対し、検出方式が非接触ないしは負担
が軽い接触であれば利用可能である。ただし、本実施例
で言う視点は利用者の眼の位置であって、視線の対象点
ではない。

【００３９】ディスプレイ座標検出部４は、手持ちディ
スプレイ装置２の位置および姿勢の座標を実時間で検出
する手段で、ディスプレイ２に装着している小形発信器
からの信号を受けとる受信器を備え、視点位置検出部３
と同様に構成されている。ディスプレイ座標検出部４
は、ディスプレイの３次元空間位置と、その中心点ｃ１
（または中心付近の所定点）を算出する。

【００４０】対象位置検出部５は、対象物の３次元空間
の位置及び姿勢を実時間で検出する手段である。各対象
物に装着され発信周波数の異なる発信器からの信号を、
対象物ＩＤ毎に弁別して受信できる受信器を備えてい
る。なお、対象物の空間座標や姿勢の検出方法は、上述
の視点位置検出部３と同様である。

【００４１】本例では、対象位置検出部５による対象物
の位置として、発信器からの位置信号を基に、その物体
を外挿する球体の中心位置を算出する。発信器の位置
（空間座標と姿勢）と外挿球体の中心位置の関係は、物
体が変形しない限り不変である。なお、各対象物を外挿
した球体の半径は、予め形状記憶領域７１に設定されて
いる。

【００４２】本実施例で対象物の例とされるマウス８，
９は、単体部品として扱われ、その位置は予め固定され
ていない。例えば、卓上に無造作に置かれたり、あるい
は利用者が参照したいマウスを手に取ってもよく、かか
る場合、上述の位置検出が行われる。

【００４３】一方、対象物が静止画面や図面の図形要
素、あるいは固定された装置の部品などの場合、対象物
の位置は変動しない。この場合は、予め既知のデータを
設定し、対象位置検出部５が参照できるようにしてい
る。

【００４４】情報処理装置１は対象物を特定し、その参
照情報を映像化してディスプレイ装置２に表示し、ま
た、表示された参照情報を修正入力により更新するた
め、以下の各機能を有している。

【００４５】即ち、対象物形状記憶領域７１から取り出
す対象形状検索部１１、利用者がその情報を参照しよう
としている対象物を特定する対象特定部１２、特定され
た対象物の参照情報を参照情報記憶領域７２から検索す
る対象情報検索部１３、対象情報を表示データに変換し
てディスプレイ装置２に出力する映像生成部１４、ペン
６によるディスプレイ２１上の入力データを取り込むペ
ン入力解析部１５、入力データを基に表示中の対象情報
を更新し、参照情報記憶領域７２に格納する対象情報更
新部１６を具備している。

【００４６】図３に、対象特定の処理フロー図を示す。
対象特定部１２は、まず、対象形状検索部１１を介し
て、対象物形状記憶領域７１から予め設定されている全
ての対象物（ここではマウス８、９）の形状を読出す
（ステップ３０１）。

【００４７】対象物形状記憶領域７１に記憶されている
物体の形状は、詳細な形状である必要はない。ここで
は、物体に外接する球体の半径のみを記憶するように
し、その後の対象特定処理を簡単にしている。

【００４８】次に、利用者の視点位置ｅ、ディスプレイ
２１の座標および姿勢、対象物（マウス８及び９）の座
標及び姿勢を取り込み（ステップ３０２）、ディスプレ
イの中心座標ｃ１（ディスプレイ２１の対角線交点）を
求め（ステップ３０３）、視点ｅとディスプレイ中心ｔ
点ｃ１を通る直線１０１１を定める（ステップ３０
４）。図４に、物体の中心点ｏ１にその物体に外接する
球体ｓｐｈを描いたとき、視点ｅとディスプレイ中心ｔ
点ｃ１を通る直線１０１１との関係を示している。

【００４９】次に、マウス８及びマウス９の座標と姿勢
から、各々の所定点（ここでは外挿球体ｓｐｈの中心
点）ｏ１を求め、中心点ｏ１と直線１０１１間の距離
（垂線）Ｌを計算する（ステップ３０５）。そして、各
対象物の中心点ｏ１から直線１０１１までの距離Ｌと、
ステップ３０１で読み出した各対象物の外挿球体ｓｐｈ
の半径ｒを比較する（ステップ３０６）。

【００５０】対象物の中心点ｏ１から直線１０１１まで
の距離Ｌが、その対象物に外接する球体の半径ｒより小
さい場合、球体ｓｐｈと直線１０１１は交叉する。この
場合、その対象物が利用者の指定対象であると判定し
（ステップ３０７）、当該対象物を映像生成部１４に報
告する（ステップ３０８）。一方、直線１０１１までの
距離Ｌが、物体に外接する球体の半径ｒより小さいもの
がない場合は、現時点では利用者が対象を特定していな
いものと判定し、その旨を映像生成部１４に報告する
（ステップ３０９）。

【００５１】対象特定部１２から映像生成部１４に送ら
れる指定対象物の報告は、図５に示すように、判定され
た対象物の対象物番号（ＩＤ）、対象物の座標および姿
勢、視点ｅの座標、ディスプレイ装置２の位置および姿
勢である。ここでは、マウス８の対象物番号を１、マウ
ス９の対象物番号を２とし、対象の無いときは対象物番
号を０とする。

【００５２】通常は、上記したステップ３０２〜３０８
の処理を、十分に短い時間間隔（例えば、数十ミリ秒）
周期で繰り返す。

【００５３】ステップ３１０は、ディスプレイ装置２が
画面フリーズ機能を有している場合の追加処理である。
即ち、対象特定部１２は、映像生成部１４への報告が済
んだら、ステップ３１０に進み、表示更新中断ボタン２
３が押されているかどうかを調べる。もし押されていた
ら、表示更新中断ボタン２３が解除されるまで表示を凍
結する（ステップ３１１）。そして、表示更新中断ボタ
ン２３が解除されたら、ステップ３０２に戻って、再び
一連の処理を実行する。一方、表示更新中断ボタン２３
が押されていなかった場合は、直ちにステップ３０２に
戻って、再び一連の処理を実行する。

【００５４】この表示更新を中断する機能を用いること
により、利用者は表示が実時間で更新されてしまうこと
による不都合、例えばディスプレイ表示されている対象
情報をペン６で修正中に、表示内容が変化してしまうこ
とを回避できる。

【００５５】本実施例における対象特定は以上のよう
に、各検出手段３〜５の位置データから求めた利用者の
視点ｅ、移動可能なディスプレイの中心点ｃ１、対象物
の外挿球体の中心ｏ１を基に、視点ｅとディスプレイ中
心点ｃ１を結ぶ線分の延長線１０１１に対する各対象物
中心ｏ１からの距離Ｌを求め、予め記憶してある各対象
物の外挿球体の半径ｒと比較して、Ｌ＜ｒの関係になる
ものを参照する対象物として特定する。

【００５６】したがって、利用者は参照したい対象物に
その中心付近がくるよう手持ちのディスプレイをかざす
ことで、直感的且つ効率的に対象を指定できる。なお、
対象指定をより直感的にするために、ディスプレイにそ
の中心を示す何らかの印、例えばマーカーや中心枠を表
示するようにしてもよい。

【００５７】本実施例では計算を単純にするために、対
象物の形状として物体に外接する球体の半径のみを用い
たが、より複雑な形状情報を用いて、視点ｅとディスプ
レイの中心ｃ１を結ぶ直線によって物体が貫かれるかど
うかを判定しても良い。

【００５８】また、直線ではなく、直線の周りにある程
度の広がりのある領域（例えば円筒）と物体が占める空
間とが、交わりを持つかどうかで対象を判定するように
してもよい。例えば、ディスプレイの中心に半径数セン
チメートルの円を表示し、視点から見てその円と重なる
部分がある物体を対象と判定する。

【００５９】さらに、手振れによる対象指定の不安定を
緩和するために、ディスプレイ位置検出手段４または対
象特定部１２に、手振れ補正機能を設けてもよい。例え
ば、ディスプレイ位置検出手段４から得られる座標を直
接用いる代わりに、過去数回分の入力座標を平均したも
のを用いるようにする。これによれば、手振れによるデ
ィスプレイの細かな動きが平滑化され、対象指定が安定
になる。

【００６０】なお、複数の対象が利用者の視界の中で隣
接して存在する場合、複数の対象物が球体の半径より小
さい判定基準を満たすことがある。この場合、複数を特
定対象物としてもよいが、最も半径の小さい対象物を選
択したり、適用対象の性質に合わせた基準に従って選択
するようにしても良い。

【００６１】次に、映像生成部の動作を図６に示す処理
フローを用いて説明する。

【００６２】映像生成部１４は、対象特定部１２から図
５の報告内容を周期的に受けとると（ステップ６０
１）、報告内容の物体番号が０であるかチエックし（ス
テップ６０２）、それが０であった場合、何もせずにス
テップ６０１に戻る。

【００６３】一方、物体番号が０でない場合は、報告内
容に含まれる各座標情報に基づき、参照する情報の詳細
度を決定する。ここでは、物体に関する情報が「粗い情
報」と「詳細な情報」の２段階で保持されているものと
する。

【００６４】まず、視点ｅとディスプレイ装置２間の距
離を計算する（ステップ６０３）。次に、その距離が所
定の値、例えば３０センチメートル以下であるか判定し
（ステップ６０４）、所定値以下の場合は利用者が「詳
細な情報」を参照しようとしていると判断し、対象情報
検索部１３を介して、関連情報記憶領域７２から当該対
象に関する「詳細情報」を検索する（ステップ６０
５）。一方、距離が所定値を超える場合は、利用者が
「粗い情報」を参照しようとしていると判断し、対象情
報検索部１３を介し、当該対象に関する「粗い情報」を
検索する（ステップ６０６）。

【００６５】対象物がマウスの場合、図７の関連情報フ
ァイルに示すように、「粗い情報」としてはマウスの名
称または型式、「詳細な情報」としてはマウスの名称ま
たは型式に加え、価格、製造元、納期などが含まれる。
情報の詳細度は、より多段階としてもよく、その場合は
詳細度の判定基準（視点とディスプレイ間の距離）も細
分する。また、詳細度の判定基準は、ディスプレイと指
定された対象物の距離によることも可能である。

【００６６】上記例では、視点ｅとディスプレイの距離
に応じて、取得する参照情報の詳細度を変更したが、参
照情報の種類や内容を変更することも可能である。ま
た、これらの変更は対象特定部１２で行うようにしても
よい。

【００６７】次に、手持ちのディスプレイ装置２に表示
する映像の生成について説明する。この際、対象と表示
された関連情報の対応関係が直感的に把握できるように
考慮する必要がある。例えば利用者の視野の中で、情報
が対象に重なって表示されたり、情報が対象と並んで表
示されることが必要である。このため、映像生成部１４
は、対象情報の表示位置を以下のようにして決定する。

【００６８】図８は、表示位置の求め方の説明図であ
る。特定された対象物中心ｏ１と視点ｅが図示関係にあ
るとき、まず、視点ｅと対象中心ｏ１を結ぶ直線を求め
る（ステップ６０７）。次に、その直線とディスプレイ
２１の交点ｃ２の座標を求める（ステップ６０８）。デ
ィスプレイ２１上の交点ｃ２が情報を表示すべきエリア
の中心、すなわち情報表示中心となる。ディスプレイの
中心ｃ１と交点ｃ２は、概ね一致して見えることが多い
が、必ずしも一致してはいない。

【００６９】なお、交点ｃ２がディスプレイ２１の表示
可能領域の外にある場合は、交点ｃ２の近傍の表示可能
領域中に情報表示中心をシフトする。また、交点ｃ２が
表示可能領域にある場合でも、指定対象物と並べて見た
いときや、他の情報とのラップを回避したいときには、
情報表示中心を予め定めた基準にしたがってシフトす
る。その際、指定対象物との間に引出線を表示するのが
よい。

【００７０】以上の処理で、ディスプレイ２１上で対象
情報を表示する中心位置が定まるので、その領域に予め
編集されている対象情報パターンの映像を生成する（ス
テップ６０９）。この映像は、ディスプレイ装置２に表
示される。

【００７１】図９は、対象物に関する情報の表示状況を
示した画面例である。図示のように、利用者の視野に
は、ディスプレイ２１を透して、対象物のマウス８、マ
ウス９が見えている。いま、手持ちのディスプレイ装置
２を移動して、マウス８にディスプレイ中心付近を合わ
せると共に視点ｅに一定距離以内に近づけると、対象と
してマウス８が特定され、マウス８と並んで見える画面
上の所定位置に、その「詳細な情報」２０１及び、情報
とマウス８の中心ｏ１を結ぶ引出線２０２が表示され
る。

【００７２】映像生成部１４は、ステップ６０９が終了
すると、再びステップ６０１に戻って上記処理を諸定周
期（例えば数十ミリ秒）で繰り返す。これにより、利用
者のディスプレイ装置２の移動に合わせて、表示内容が
連続的に更新される。

【００７３】以上のように、特定対象に関する参照情報
は利用者の視野の中で、対象物と関連付けられた位置に
表示されるので、利用者は表示された情報がどの対象物
に関するものであるかを直感的に把握でき、誤情報に惑
わされることがない。

【００７４】本実施例では、さらにペン入力機能を有し
ている。図１０は、ペン入力機能による情報の修正状況
を示したものである。利用者がペン６を用いて、画面上
に表示されている対象情報を修正する。このとき、表示
更新中断ボタン２３が押されて、画面表示はフリーズさ
れている。

【００７５】入力した修正情報は、情報入力解析部１５
が受けとり、映像生成部１４から得られる情報の表示内
容に基づいて、入力の意図を解析する。例えば、利用者
がペン６で、表示している「詳細な情報」の価格の位置
にチェックマーク（レ）２０３を書き込んだとすれば、
それは価格につて修正が必要であると判定する。ペン入
力解析部１５は対象情報更新部１６を介し、続いて入力
される価格の数値で、参照情報記憶領域７２の対象情報
を更新する。

【００７６】以上では、マウスを例に、対象の位置およ
び姿勢が実時間で入力できる場合を説明した。しかし、
適用可能な対象物には種々のものがあり、対象の位置お
よび姿勢に予め登録したものを使用してもよい。

【００７７】図１１に、この一例を示す。所定位置に設
置された自動車（モデル）のタイヤ等、各部品の位置お
よび姿勢を予め登録している。図示では、モデルｏｂｊ
のタイヤに手持ちのディスプレイ２をかざして、その仕
様情報を表示している。

【００７８】これとは別に、モデルｏｂｊを回転機構に
載置し、ディスプレイ２を観察する利用者の前にモデル
を回しながら、対象を特定してその情報を表示させるよ
うにしてもよい。この場合には、モデルの対象部品の位
置は実時間で検出される必要がある。言い替えれば、対
象位置が実時間で検出できる場合は、物体を色々な角度
から観察することが可能になるので、種々の部品が表に
も裏にも実装されている装置（又はモデル）などに適す
る。また、対象物が移動できる場合には、ディスプレイ
が手持ちタイプでなくても可能になる。

【００７９】さらに、このモデルｏｂｊが、試験機に連
結されている場合は、例えば指定した対象部品の強度シ
ミュレーションを実行させて、その結果情報を取得する
ことも可能である。このような情報は、その種類または
内容を、視点とディスプレイの距離を変更して指定す
る。

【００８０】対象物は別のディスプレイに表示された映
像であってもよい。例えば、情報提供システムが移動可
能ディスプレイ以外に、大型の据え置き型ディスプレイ
装置を備え、その据え置き型ディスプレイ装置の位置お
よび姿勢があらかじめ登録してあれば、そこに表示され
ている図形の３次元空間中の位置および姿勢は容易に算
出できる。したがって、利用者は据え置き型ディスプレ
イ装置に表示された図形要素を対象として、その情報を
参照するための同様の処理を実行できる。例えば、画面
上のプラント系統図から、プラントを構成する機器のど
れかを、手持ちまたは移動可能なディスプレイで指定
し、その動作状態や検査結果などを取得することができ
る。

【００８１】この場合、利用者がペン入力部で対象に関
する情報を変更すると、その変更の影響を、対象、すな
わち据え置き型ディスプレイ装置に表示されたものに即
座に反映することができる。したがって、このような使
い方をすれば、変更の影響を直感的に把握できる。

【００８２】上記の実施例では、ディスプレイ装置が一
つしかない場合を説明したが、複数のディスプレイ装置
を用いることも可能である。例えば、対象に関する複数
の種類の情報が各々用意されている場合、どの種類の情
報を参照するかを決める必要がある。この場合、情報の
種類毎に使用するディスプレイ装置を決めておけば、利
用者はディスプレイ装置を持ち替えることで、複数の種
類の情報を参照することができる。

【００８３】これによって、あるディスプレイ装置では
部品の機械的な特性に関する情報を取得し、別のディス
プレイ装置では部品の電気的な特性に関する情報を取得
するような利用が可能になる。

【００８４】また、移動可能な複数のディスプレイ装置
を同時に使用する場合には、最後に位置または姿勢が変
化したディスプレイ装置を処理の対象とするように定め
れば、一つの場合と同様の処理が可能である。もちろ
ん、複数のディスプレイ装置について、時分割による並
行処理を行うようにしてもよい。なお、ディスプレイ装
置が複数の場合は、対象特定部１２から映像生成部１４
への報告は、ディスプレイ番号も合わせて行う。

【００８５】さらに、利用者と移動可能ディスプレイの
組合せも複数存在してよい。例えば、複数の設計者が同
時に設計を検証する場合は、各設計者がそれぞれの移動
可能ディスプレイ装置を使って、対象を参照することに
なる。この場合は、視点座標入力部と、ディスプレイ座
標入力部も複数用意し、対象特定部や映像生成部は時分
割処理によって行う。

【００８６】なお、本実施例では移動可能ディスプレイ
装置が透明な場合について説明したが、必ずしも透明で
なくてもよい。透明でない場合は、表示された情報の視
認性はよくなる。しかし、対象指定の容易さの点では透
明の場合よりも劣る。なお、液晶のシャッタなどを移動
可能ディスプレイ装置の裏面に設け、利用者が透明と不
透明を切り替えて使用することもできる。

【００８７】

【発明の効果】本発明によれば、利用者の視点と手持ち
のディスプレイの中心を通る直線と交叉する位置にある
対象物を特定し、その参照情報をディスプレイ上に表示
することができるので、利用者は参照したい対象を直感
的、効率的に指定できる。

【００８８】また、利用者の眼の位置とディスプレイの
距離に応じた詳細度や種類の参照情報を取得できるの
で、ディスプレイを持つ手の位置を調節するのみで所望
の情報が取得でき、使い勝手がよい。

【００８９】さらに、取得した参照情報は利用者の視野
の中で、対象物と重ねまたは並べて見える位置に表示さ
れるので、あたかも観察対象に虫めがねをかざすような
感覚で使用できるようになり、指定対象と取得情報に対
し直感的な把握が可能になり、誤情報に惑わされること
もない。

【００９０】さらに、本発明によれば、表示される参照
情報を簡単に更新でき、参照情報のメンテナンスが容易
である。

【図面の簡単な説明】

【図１】本発明の一実施例である設計検証システムの構
成を示す機能ブロック図。

【図２】移動可能ディスプレイ装置の構造図。

【図３】本実施例の対象特定部の処理フロー図。

【図４】対象特定における視点、ディスプレイ、対象物
の慣例を示す説明図。

【図５】対象特定部から映像生成部に送られる報告信号
のフォーマット図。

【図６】本実施例の映像生成部の処理フロー図。

【図７】対象物の参照情報のデータ構成図。

【図８】参照情報の表示位置の決め方を示す説明図。

【図９】対象に関する参照情報表示の一例を示す画面
図。

【図１０】表示中の参照情報の修正状況を示す画面図。

【図１１】他の対象に関する参照情報表示の例を示す画
面図。

【符号の説明】

１…情報処理装置、２…移動可能なディスプレイ装置
（手持ちディスプレイ）、２１…ディスプレイ（画
面）、２３…表示更新中断ボタン、３…視点位置検出手
段、４…ディスプレイ位置検出手段、５…対象位置検出
手段、６…スタイラスペン、７…記憶装置、７１…対象
形状データ領域、７２…参照情報データ領域、８，９…
マウス（対象物）、１０…利用者、１０１…眼の位置
（視点）、１０２…頭部位置発信装置、１１…対象形状
検索部、１２…対象特定部、１３…対象情報検索部、１
４…映像生成部、１５…入力解析部、１６…情報更新
部、２０１…表示情報エリア、２０２…引出線、２０３
…チエックマーク、ｅ…視点、ｃ１…ディスプレイ中心
点、ｏ１…対象物の中心点、ｃ２…ｅ−ｏ１線とディス
プレイの交点（表示中心）。

Claims (23)

【特許請求の範囲】
1. 【請求項１】 ディスプレイまたは対象物を移動しなが
   ら、特定の対象物に関する参照情報を表示する情報表示
   方法において、 利用者の眼の位置（以下、視点と呼ぶ）と対象物にかざ
   したディスプレイを結ぶ延長線上にある対象物を、参照
   する対象として特定することを特徴とする情報表示方
   法。
2. 【請求項２】 ディスプレイをかざしながら複数の対象
   物の一つを特定し、その対象物に関する参照情報を表示
   する情報表示方法において、 前記ディスプレイを手持ちする利用者の眼の位置（以
   下、視点と呼ぶ）と前記ディスプレイの所定点を求め、
   この視点と所定点を結ぶ線分の延長線と交叉する対象物
   を特定することを特徴とする情報表示方法。
3. 【請求項３】 ディスプレイをかざしながら対象物を特
   定し、その対象物に関する参照情報を該ディスプレイに
   表示する情報表示方法において、 前記ディスプレイを手持ちする利用者の眼の位置（以
   下、視点と呼ぶ）と前記ディスプレイの所定点を結ぶ線
   分の延長線と交叉する対象物を特定すると共に、前記所
   定点と視点（又は、特定対象物）との距離に応じて前記
   参照情報の詳細度または種類を決定し、対応する所定の
   参照情報を取得して表示することを特徴とする情報表示
   方法。
4. 【請求項４】 ディスプレイをかざしながら、対象物に
   関する参照情報を特定して該ディスプレイに表示する情
   報表示方法において、 前記ディスプレイを手持ちする利用者の眼の位置（以
   下、視点と呼ぶ）と前記ディスプレイの中心または中心
   付近の所定点を求め、この所定点と視点を結ぶ第１の線
   分の延長線と交叉する対象物を特定してその参照情報を
   取得すると共に、該特定対象物の中心または中心付近に
   ある中央点と前記視点を結ぶ第２の線分と交叉する前記
   ディスプレイ上の交点に位置付けて前記所定の情報を表
   示することを特徴とする情報表示方法。
5. 【請求項５】 請求項４において、 前記位置付けは、前記交点を前記参照情報の表示エリア
   の中心とすることを特徴とする情報表示方法。
6. 【請求項６】 請求項１、２、３、４または５におい
   て、 前記参照情報は、対象物毎に予め設定されていることを
   特徴とする情報表示方法。
7. 【請求項７】 請求項１、２、３、４、５または６にお
   いて、 前記視点が利用者の頭部の所定位置を基に算出され、該
   所定位置と前記ディスプレイの所定点は、各々の空間座
   標及び姿勢の検出値から求められることを特徴とする情
   報表示方法。
8. 【請求項８】 請求項２、３、４、５、６または７にお
   いて、 前記所定点と視点を結ぶ線分の延長線と交叉する対象物
   の特定は、対象物毎に予め設定されている形状データと
   対象物毎の空間座標及び姿勢から求まる中央値から対象
   物の空間領域を算出し、前記延長線と前記空間領域の交
   叉有無を判定して行うことを特徴とする情報表示方法。
9. 【請求項９】 請求項８において、 前記対象物の形状データは、対象物を外挿する球体の半
   径により与えられ、前記対象物の前記中央値から前記延
   長線までの距離が前記球体の半径より小さいとき、前記
   空間領域と前記延長線が交叉するものと判定することを
   特徴とする情報表示方法。
10. 【請求項１０】 請求項８または９において、 前記対象物が移動するとき、その空間座標及び姿勢は実
    時間で入力される値を用いることを特徴とする情報表示
    方法。
11. 【請求項１１】 参照情報を有している複数の対象物
    と、特定された対象物の参照情報を表示する移動可能な
    ディスプレイと、対象物を特定しその参照情報を取得し
    て表示する情報処理装置を具備する情報提供システムに
    おいて、 前記情報処理装置に、情報を参照する利用者の眼の位置
    （以下、視点位置と呼ぶ）を検出する視点位置検出手段
    と、前記ディスプレイの位置を検出するディスプレイ位
    置検出手段と、前記対象物の位置を検出する対象物位置
    検出手段と、前記ディスプレイの位置による所定点と前
    記視点を結ぶ線分の延長線とが交叉する位置にある対象
    物を決定する対象物特定手段と、特定された対象物の参
    照情報を取得して前記ディスプレイに表示する映像生成
    手段を備えることを特徴とする情報提供システム。
12. 【請求項１２】 請求項１１において、 前記ディスプレイ位置検出手段は、前記ディスプレイが
    利用者の手持ちによって移動される場合は、前記ディス
    プレイの位置を実時間で検出する位置センサーからのデ
    ータを受信可能に構成してなることを特徴とする情報提
    供システム。
13. 【請求項１３】 請求項１２において、 前記ディスプレイ位置検出手段は、手振れ補正手段を備
    えていることを特徴とする情報提供システム。
14. 【請求項１４】 請求項１１、１２または１３におい
    て、 前記対象物位置検出手段は、対象物の位置が固定される
    場合は予め設定されているデータを参照可能に構成さ
    れ、一方、対象物の位置が移動される場合はその位置を
    実時間で検出する位置センサーからのデータを受信可能
    に構成してなることを特徴とする情報提供システム。
15. 【請求項１５】 請求項１１、１２、１３または１４に
    おいて、 前記視点位置検出手段は、利用者の頭部の所定位置を実
    時間で検出する位置センサーからのデータを受信可能に
    構成し、そのデータを基に前記視点位置を算出すること
    を特徴とする情報提供システム。
16. 【請求項１６】 請求項１１〜請求項１５のいずれか１
    項において、 前記情報処理装置は記憶手段を備え、前記参照情報を前
    記対象物毎に検索可能に記憶してなることを特徴とする
    情報提供システム。
17. 【請求項１７】 請求項１６において、 前記記憶手段は、前記対象物毎に詳細度または内容の異
    なる複数の参照情報を有し、前記情報処理装置は、前記
    視点位置と前記ディスプレイ位置の距離に対応して取得
    する参照情報の詳細度または内容を決定する手段を具備
    することを特徴とする情報提供システム。
18. 【請求項１８】 請求項１６において、 前記記憶手段は、前記対象物毎に種類の異なる複数の参
    照情報を有し、前記映像生成手段は、前記ディスプレイ
    毎に予め設定されている種類の参照情報を取得すること
    を特徴とする情報提供システム。
19. 【請求項１９】 請求項１１〜請求項１８のいずれか１
    項において、 前記映像生成手段は、取得した参照情報の表示映像が、
    利用者の視界の中で、特定した対象物と重ねまたは並べ
    られるように生成することを特徴とする情報提供システ
    ム。
20. 【請求項２０】 請求項１１〜請求項１９のいずれか１
    項において、 前記ディスプレイは透明または半透明のものでなること
    を特徴とする情報提供システム。
21. 【請求項２１】 請求項１１〜請求項２０のいずれか１
    項において、 前記ディスプレイは、前記所定点を示すマークを表示す
    ることを特徴とする情報提供システム。
22. 【請求項２２】 請求項１１〜請求項２１のいずれか１
    項において、 前記情報処理装置は、前記ディスプレイに表示された前
    記参照情報の修正情報を取り込んで更新する情報更新手
    段を備えいてることを特徴とする情報提供システム。
23. 【請求項２３】 請求項１１〜請求項２２のいずれか１
    項において、 前記対象物は据え置き型のディスプレイに表示されてい
    る画像の構成要素であり、前記対象物位置検出手段は、
    前記構成要素の表示エリアついて予め設定されている座
    標を参照するように構成されてることを特徴とする情報
    提供システム。