JPH05189484A

JPH05189484A - 情報検索装置

Info

Publication number: JPH05189484A
Application number: JP4182660A
Authority: JP
Inventors: Kenichi Takahara; 原憲一高; Atsuko Kawamoto; 本敦子川; Takao Suzuki; 木孝夫鈴
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1991-07-12
Filing date: 1992-07-09
Publication date: 1993-07-30
Anticipated expiration: 2017-08-05
Also published as: JP3311025B2

Abstract

(57)【要約】【目的】データベース等の情報検索を効率的かつ容易
に行う。【構成】立体視装置により映像空間１内に検索インデ
ックスを表示するカプセル映像４、５…を映し出す。こ
のカプセル映像４、５…を仮想腕の手８Ｒ、８Ｌで直接
操作し、そのときの手の動作パターンにより入力情報を
認識する。この入力情報により演算部で所定のカプセル
映像が表示するインデックスの集合論理演算を行う。こ
れにより所定のデータベースの照合検索を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報検索装置に係り、特
に立体視装置により立体映像空間内に表示されたカプセ
ル映像を検索者がデータ入力装置を介して掴んで選択す
るという人工現実感（Artificial Reality; AR ）のも
とでデータベースの照合検索を行えるようにした情報検
索装置に関する。

【０００２】

【従来の技術】情報の氾濫期に入り、自分に必要な情報
をすばやく的確に獲得することが求められている。この
ため大量の情報を容易に検索する作業の重要性が注目さ
れてきている。従来の情報検索装置における入出力イン
タフェースでは、キーワード等の入力にキーボード、タ
ッチパネル、マウスなどが使用され、この入力キーワー
ドにより照合検索を行い、得られた情報を画像やプリン
ト出力により取り出すようになっている。したがって、
実際の情報検索ではキーボードに慣れていて、かつ、デ
ータベースの体系を知っている熟練者のみが端末機のキ
ーボード等を操作して情報検索を行っていた。

【０００３】これに対して最近のコンピュータシミュレ
ーションの分野において、多くのユーザが利用できるこ
とを目的として人間の動作と視覚、聴覚等の五感とをた
くみに利用したコンピュータインタフェースが開発、研
究されている。いわゆる人工現実感（ＡＲ）である。

【０００４】この人工現実感は現在大きく２つの開発分
野に分けられる。１つの分野はバーチャルリアリティ
（Virtual Reality ）と呼ばれるもので、このバーチャ
ルリアリティの世界では、コンピュータグラフィックス
の映像内にインタフェースの操作者の分身である「ユー
ザエージェント」を登場させ、この「ユーザエージェン
ト」を介して操作者がコンピュータグラフィックス内に
展開される世界を体験することができるというものであ
る。もう１つの分野はテレイグジスタンス（Tele-Exist
ence）と呼ばれ、操作者は遠隔連動しているマニピュレ
ータを介して離れた場所のロボットを自分の分身のよう
に操作できるというものである。この両者は、テレイグ
ジスタンスが現実の環境に対応した作業面を主眼として
いるのに対してバーチャルリアリティはコンピュータ自
体のインタフェースとして利用していこうというもので
ある。

【０００５】ところで、後者のバーチャルリアリティを
実現するためのコンピュータシミュレーションツールの
一例として、立体視装置とデータグローブが開発されて
いる。このうち立体視装置はユーザに３次元コンピュー
タグラフィックスの世界を提供するもので、米国特許第
４，８８１，０６８号、第４，８５３，７６９号、第
４，８３４，４７６号及び第４，１６０，９７３号など
数多く提案されている。このうちバーチャルリアリティ
では実際に結像した立体画像をあたかも直接手で取り扱
うことができるかのように体感させるため、操作者の手
の動作により映像を遮らないものが採用されている。た
とえばＮＡＳＡで開発され、米国ＶＰＬＲｅｓｅａｒｃ
ｈ社で製品化された「アイフォン」は、スキーゴーグル
に似た眼鏡状の装置の内面に液晶の表示器を取り付けた
立体視装置である。一方、データグローブは操作者の手
の動作をコンピュータに入力するための入力インタフェ
ースで手袋の各部の表面に磁気センサや光ファイバが装
着されている。これにより操作者の手の位置や手の動作
パターンを検知認識でき、コンピュータに所定の入力情
報をインプットすることができる。

【０００６】

【発明が解決しようとする課題】ところで、上述のよう
に従来のキーボードなどが使用されている情報検索装置
では、一般の人が使うには抵抗があり、使えても効率的
でないという問題がある。また、情報の表示方法もＣＲ
Ｔ（カソードレイチューブ）などの平面ディスプレイ表
示を行っているため、検索インデックスの重み付けを検
索者が直接的には認識できなかった。さらにこの平面デ
ィスプレイ表示では複数の画面を同時に表示するマルチ
ウィンドウなどの表示方法も可能であるが、情報が多く
なると複数の表示画面が重なって展開されるので、画面
が見にくく、検索インデックス等の情報間の繋がりを効
果的に表示できず混乱を招くことが多かった。

【０００７】一方、バーチャルリアリティは、コンピュ
ータグラフィックスのシミュレーションツールとしては
使用されていたが、データーグローブを用いてコンピュ
ータ内のデータベースに直接アクセスするための媒体を
設定し、この媒体を介して集合論理演算を行うことはさ
れていなかった。

【０００８】そこで本発明の目的は上述した従来の技術
が有する問題点を解消し、検索者が直接自分の手を使っ
て画像空間に映像として配置されたインデックスとして
の媒体を選択し、所定の指令動作を行ってデータベース
の照合検索を直接的に行えるようにした情報検索装置を
提供することにある。

【０００９】

【課題を解決するための手段】本発明は、データベース
を属性管理するインデックスの集合を検索者の視界内の
立体映像空間内にインデックス表示体映像により表示し
て視覚的に認識させる立体視装置と、インデックス表示
体映像に対する検索者の身体の動作パターンを入力情報
として検出し上記立体映像空間内に身体の動作パターン
を表示する入力装置と、この入力装置を介して入力され
た身体の動作パターンによる入力情報を認識し、所定の
インデックス表示体映像が表示するインデックスの集合
演算を行なうことにより上記データベースの照合検索を
行なう演算部とを備えたことを特徴とする情報検索装
置、およびデータベースを属性管理するインデックスの
集合を検索者の視界内の二次元映像空間内にインデック
ス表示体映像により表示して視覚的に認識させる二次元
視装置と、インデックス表示体映像に対する検索者の身
体の動作パターンを入力情報として検出し上記二次元映
像空間内にこの動作パターンを表示する入力装置と、こ
の入力装置を介して入力された身体の動作パターンによ
る入力情報を認識し、所定のインデックス表示体映像が
表示するインデックスの集合演算を行なうことにより上
記データベースの照合検索を行なう演算部とを備えたこ
とを特徴とする情報検索装置である。

【００１０】

【作用】上述したように本発明では、検索者がキーボー
ドの代わりに立体映像空間内または二次元映像空間内の
インデックス表示体映像を直接操作し、そのときの身体
の動作パターンにより入力情報を認識し、演算部が所定
のインデックス表示体映像が表示するインデックスの集
合論理演算を行ってデータベースの照合検索を行うた
め、キーボードの操作に慣れていない一般の人でもデー
タベース等の情報媒体の照合検索を簡単に行うことがで
きる。また、照合検索のためのインデックスの集合を立
体映像空間内または二次元映像空間内でインデックス表
示体映像として表示しているので、検索対象であるイン
デックスを視覚的に明瞭に認識でき、照合検索作業を容
易にすることができる。さらに、このインデックス表示
体映像に対して検索者の身体の各種動作パターンが固有
の入力情報として定義されているので、各種の動作パタ
ーンをもとに検索装置は所定の動作を実施することがで
きる。このときその入力情報により検索インデックスの
取捨選択が容易に行える。たとえばあるインデックス表
示体映像を掴んで弾くことによって対応する検索インデ
ックスの削除を行え、インデックス表示体映像を手前に
引き寄せることによって検索インデックスの取り込みを
行うことができる。

【００１１】また、表示部にインデックス表示体映像を
表示するとともに、インデックス表示体映像に所定の動
作パターンを行なわせる入力情報を表示部上で入力し、
演算部でインデックスの集合論理演算を行なうことによ
り、データベースの照合検索を簡単に行なうことができ
る。

【００１２】

【実施例】以下本発明による情報検索装置の一実施例を
具体的な照合検索手順をもとに説明する。

【００１３】図１は本発明による情報検索装置により映
し出される３次元映像空間と検索者との係わりを第三者
の視点から仮想的に示したものである。図中符号９０
は、検索者を示し、この検索者９０は、顔面にスキーゴ
ーグル状の立体視装置９１を装着するとともに、両手に
入力装置の一例としてのデータグローブ９２Ｒ、９２Ｌ
をはめている。このデータグローブ９２Ｒ、９２Ｌから
はそれぞれ信号線９３Ｒ、９３Ｌが延出しており、これ
ら信号線９３Ｒ、９３Ｌは演算部９４に接続されてい
る。この演算部９４ではデータグローブ９２を介して検
出される検索者９０の動作パターンから所定の検索演算
部９６へ入力するための入力情報データあるいは処理コ
マンドを生成するとともに、データグローブ９２を介し
て検出される検索者９０の動作とカプセル映像の動きと
を３次元映像空間内にフィードバックして映し出させる
信号を信号線９５Ｒ、９５Ｌを介して送るようになって
いる。また検索演算部９６は、インデックスにより属性
管理されたデータベース１０１に接続されている。図２
に示されるように、立体視装置９１ではデータグローブ
９２Ｒ、９２Ｌの動きを映像空間内で仮想腕８Ｒ、８Ｌ
として映し出させ、あたかもこの仮想腕８Ｒ、８Ｌが映
像空間内に映し出されている各種のカプセル映像４、
５、６を取扱うような人工現実感の世界を構築してい
る。すなわち、この検索者９０の眼前には、図２で示す
ような３次元映像空間が映し出されている。この３次元
映像空間において、検索者９０は右手データグローブ９
２Ｒでカプセル映像４ｇを掴んでおり、左手データグロ
ーブ９２Ｌでカプセル映像４ｃを弾こうとしている。こ
のとき、検索者９０の眼前には仮想腕右手８Ｒでカプセ
ル映像４ｇを掴み、仮想腕左手８Ｌでカプセル映像４Ｃ
を弾こうとしている映像が映し出されている。なお、図
１において符号７は保存エリアを示しており、この保存
エリア７は箱状をしており、この箱の中にカプセルを収
容させることができるようになっている。

【００１４】次に、上述の検索者の眼前に映し出された
３次元映像空間の状況を詳述する。

【００１５】図２において、枠２は情報が表示される３
次元映像空間の輪郭を仮想的に示したものである。この
３次元映像空間は、データグローブ９２Ｒ、９２Ｌを装
着した検索者９０の仮想腕８Ｒ、８Ｌが十分に届く範囲
内に設定されている。また、この３次元映像空間内には
長方形のカード状に表されたカプセル映像３ａ、３ｂ、
３ｃ、３ｄ、３ｅと、長円状カプセル形状のカプセル映
像４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ、４ｇと、楕円
形のカプセル映像５ａ、５ｂ、５ｃ、５ｄ、６ａ、６
ｂ、６ｃ、６ｄ、６ｅ、６ｆと、球形のカプセル映像７
ａ、７ｂとが表示されている。長方形で表されたカプセ
ル映像３ａ、３ｂ、３ｃ、３ｄ、３ｅは、小グループの
たとえば住所録などの個人情報の検索インデックスの集
合を表示したものである。また、奥行き方向には五十音
順に分類されている。長円形のカプセル映像４ａ、４
ｂ、４ｃ、４ｄ、４ｅ、４ｆ、４ｇのうち、同じ分類レ
ベルのカプセル映像４ａ、４ｂ、４ｃ、４ｇが奥行き一
定の位置に、その次の分類レベルのカプセル映像４ｄ、
４ｅがそれらの奥に、さらに下位のレベルのカプセル映
像４ｆがカプセル映像４ｄ、４ｅの奥にそれぞれ表示さ
れている。楕円形のカプセル映像５ａ、５ｂ、５ｃ、５
ｄ、６ａ、６ｂ、６ｃ、６ｄ、６ｅ、６ｆにおいても同
様に情報すなわち検索インデックスの重要度に応じて重
み付けされている。枠２の右端に表示されている円形の
カプセル映像７ａ、７ｂは論理演算などの情報の選択方
法や保存エリアを表す処理カプセルに設定することがで
きる。上記各カプセル映像のうち、インデックスの集合
を表示するカプセル映像３ａ，３ｂ…６ｅ，６ｆはイン
デックス表示体映像となり、演算情報を表示するカプセ
ル映像７ａ，７ｂは演算子カプセル映像となる。

【００１６】ここで、検索インデックスとはデータベー
ス１０１を照合検索するための索引（インデックス）を
指し、一般にはキーワード、キー項目等の用語で理解さ
れている。また、この検索インデックスはデータベース
１０１中に蓄積された情報から抽出された属性によって
構成されている。したがって、データベース検索ではこ
の検索インデックスを情報中の索引と照合することによ
り、必要な情報の集合を抽出できるようになっている。
このとき、複数の検索インデックスを論理演算により組
合せ、より正確な情報を得ることもできる。このため、
適切な検索インデックスを容易に選択できるとともに、
それらの論理演算を思い通りに行うことが重要である。
本発明では上記カプセル映像を利用してこの検索を行っ
ている。

【００１７】次に、この図２を参照してカプセル映像
３、４、５、６…による検索インデックスの選択動作に
ついて説明する。図２において、符号８Ｒは検索者の仮
想腕の右手を示しており、この仮想腕８は図１に示した
ように検索者９０の手に実際に装着されたデータグロー
ブ９２Ｒからの入力情報により立体映像空間内を移動
し、閉じたり開いたりという実際の人間の動作と同じ自
由な動作パターンをとることができる仮想の映像であ
る。いま、この画面では仮想腕８の右手８Ｒはカプセル
映像４ｇを親指と人差し指で摘んでいる状態を表してい
る。このカプセル映像４ｇに対する動作パターンによっ
てカプセル映像４ｇで示された集合論理演算のための検
索インデックスを選択したことになる。ここでは具体的
に摘む動作を例に示したが、入力の動作は仮想腕の右手
８Ｒ全体でカプセル映像を掴んでも、指で軽くタッチし
てもよい。また、本実施例では、例えば右手８Ｒでカプ
セル映像４ｇを摘んだ時に、色分けされたカプセル映像
４ｇの色の変化、選択音、あるいは光（選択した瞬間に
フラッシュが光る）によって情報選択の状態を検索者に
認識させることができ、検索インデックスの分類を容易
にしたり、誤操作に対して音や光で注意や警告を促すこ
とができる。

【００１８】また、例えば仮想の右手８Ｒでカプセル映
像４ｇを摘んだ時に、データグローブ９２Ｒから検索者
９０の実際の右手に圧感覚を伝えるようにすることがで
きる。すなわち、図１９に示すように、データグローブ
９２Ｒ内に圧感機構１０５が内蔵され、検索者９０の実
際の右手からデータグローブ９２Ｒに入力される入力情
報により圧感機構１０５が作動するようになっている。

【００１９】たとえば、データグローブ９２からの入力
情報により演算部９４が仮想の右手８Ｒでカプセル映像
４ｇを摘んだと認識した場合、データグローブ９２の圧
感機構１０５が作動して実際の右手に圧感覚が伝えら
れ、検索者９０は「摘む」感覚をより確実にもつことが
できる。なお、圧感機構１０５の具体例としては、歪み
ゲージにより指に掛る力を検出し、これを内部に設けら
れたバルーンに与える空気圧に変換する等の方法を採用
することができる。さらに、本実施例ではカプセル映像
の検索インデックスの情報量の大小に応じてカプセルの
大きさを変化させることにより視覚的に情報の大小の判
断が即座に下せる。一方、図１に示した仮想腕の左手８
Ｌは、カプセル映像４ｃを人差し指で弾き飛ばそうとす
る状態を表している。この動作によってカプセル映像４
ｃを画面上から削除することができる。ここでは具体的
に弾き飛ばす動作を示したが、削除の動作は指の背でカ
プセル映像を払うとか掴んで枠２の外に投げ飛ばしても
よい。

【００２０】また、上述の検索インデックスはキーワー
ドのようにその内容が直接カプセル映像に表示されてい
ても良く、このキーワードで示された表示情報を検索す
ることもできる。この場合は例えば、キーワードの表示
された例えば２個のカプセル映像を指で直接、順々に掴
むことで、その２個のキーワードと関連のある情報をす
ぐさま表示することもできる。この検索方法は、複数個
のキーワードと関連のある複雑な情報を検索する場合に
は特に有効である。

【００２１】ここで、データグローブ９２で認識できる
手の動作パターンの一例について図３〜図７を参照して
説明する。一般に手は対象物がある場合にはその対象物
を握る、摘む、弾く、選り分ける、所定位置に移動させ
る等の動作を行うことができる。そしてこの対象物にカ
プセル映像を用いることにより上記各動作パターンでカ
プセル映像で表示された検索インデックスの集合論理演
算や検索インデックスに対する演算処理コマンドを演算
部に入力することができる。

【００２２】以下にその手の動作パターンの定義の一例
を示す。図３は「握る」動作を模式的に示しており、仮
想腕８Ｒの掌にカプセル映像４を包み込む動作をとる。
このとき、カプセル映像４の位置座標はコンピュータ内
で把握されており、このカプセル映像４の座標（Ａ）と
人差し指の先端に装着されたセンサの座標（Ｂ）と親指
の先端に装着されたセンサの座標（Ｃ）とがほぼ（Ａ）
−（Ｂ）−（Ｃ）の順に並んだ状態によりカプセル映像
４を握った状態を認識するようになっている。このとき
本実施例では、掌にあるカプセル映像４の検索インデッ
クスは照合検索のために抽出され、次の検索処理のため
の待機状態であると定義されている。図４は「摘む」動
作を模式的に示しており、人差し指と親指の指先に装着
されたセンサの間隔が所定量以下で、センサ間にキーワ
ードのカプセル映像が存在している場合にカプセル映像
を摘んだ状態を認識するようになっている。あるいは、
立体映像を画像処理することによって認識することもで
きる。図５は「弾く」という動作を模式的に示してお
り、人差し指の指先に装着されたセンサが感知する指先
の移動速度あるいは加速度が所定値以上でこの人差し指
とカプセル映像が干渉している場合に、そのカプセル映
像の検索インデックスが削除されたという状態を認識す
るようになっている。図６（ａ）、（ｂ）は「選り分け
る」という動作を模式的に示している。このうち図６
（ａ）において、４本の指先に装着されたセンサが近接
し、仮想線分（Ａ）−（Ｂ）とカプセル映像とが干渉し
ている場合に、そのカプセル映像の検索インデックスが
排除されたという状態を認識するようになっている。ま
た、図６（ｂ）に示すように両手で囲んだ範囲内のカプ
セル映像を選り分けることもできる。図７は集合の論理
演算の一例を示しており、右手８Ｒであるカプセル映像
４を摘み、左手８Ｌで他のカプセル映像５を摘んだ状態
では両者の検索インデックスの論理積演算を行うことを
認識するようになっている。このとき、右手８Ｒに検索
しようとする検索インデックスの集合のカプセル映像４
（あるいは複数のカプセル映像）をつまみ（握り）、左
手８Ｌでデータベースの集合の論理演算を実行させる演
算処理コマンドの演算子カプセル映像７ａをつまむ（握
る）ことにより右手８Ｒの中の検索インデックスに対し
て所定の論理演算を実行することができる。

【００２３】例えば右手８Ｒでカプセル映像４を摘み、
左手８Ｌでカプセル映像５を摘むことにより、カプセル
映像４が表示するインデックスとカプセル映像５が表示
するインデックスとの「ＯＲ」演算を行なうことができ
る。あるいはまた演算子カプセル映像７ａが「ＡＮＤ」
の論理演算手段を表示すると仮定した場合、左手８Ｌで
摘んだ演算子カプセル映像７ａに対して右手８Ｒで摘ん
だカプセル映像４および５を順次接触させることによ
り、映像カプセル４および５が表示する各々のインデッ
クスの「ＡＮＤ」演算を行なうことができる。また、検
索実行中に処理中止したりするために所定の手の動作パ
ターンを定義することもでき、この場合、通常の作業で
は使われない手の動作を指定することで誤操作の発生を
防ぐことができる。なお、以上の動作パターン例ではデ
ータグローブを例に説明したが、手の動作パターンを把
握できる入力装置であれば、その構造はどのようなもの
でもよいことは明らかである。また、立体視装置として
はアイフォン以外のものを使用することももちろん可能
である。

【００２４】次に、カプセル映像の検索インデックスに
時間因子が含まれている場合の効果的な検索方法につい
て説明する。図８は３次元映像空間内に映し出された直
線状の時間座標軸Ｔを示しており、この時間座標軸Ｔに
沿って浮遊するようにカプセル映像４が映し出されてい
る。このカプセル映像４は検索インデックスとして時間
因子を含んでおり、カプセル映像４が位置している時間
軸座標Ｔに該当するデータがデータベースから引き出せ
るようになっている。すなわち、あるカプセル映像４が
時間軸座標Ｔの１９９０年６月の位置にあれば、そのカ
プセル映像の示す検索インデックスでヒットするデータ
のうち、１９９０年６月のデータのみが抽出される。さ
らにこのカプセル映像の時間因子にある幅を与えたとき
のデータを得たい場合には、図９に示したように仮想腕
の両手８Ｒ、８Ｌで時間座標軸Ｔを遮ることによりその
範囲（Ｔ₁〜Ｔ₂）を網羅することができる。これによ
り該当するカプセル映像の時間因子のうち、たとえば、
１９８９年６月〜１９９０年１２月までのデータを抽出
することができる。

【００２５】ところで、この直線状の時間座標軸Ｔでは
軸の奥行きと時間の遡及とリニアな関係にあるので、古
い年代を検索を行う場合、手の動作が取りにくくなると
いう問題がある。そこで、図１０（ａ）に示したように
時間座標軸Ｔを螺旋状にして映像空間の奥行き方向を有
効に使うこともできる。このとき、時間座標軸Ｔの時間
刻みは、遡及するに従って粗くすることで時間座標軸Ｔ
に年代を有効に割り当てることができる。図１０ａにお
いてカプセル映像４は左手８Ｌで摘むことによって時間
座標軸Ｔに沿って進ませることができるが、この他に例
えば左手８Ｌで円を何回か描くことによってカプセル映
像４を進ませることもできる。また、図１０（ｂ）に示
すように時間座標軸Ｔをジクザグ状にとってもよく、さ
らに図１０（ｃ）に示すように時間座標軸Ｔをスネーク
状にとっても良い。

【００２６】このように本発明は、３次元映像空間に表
示されている複数のカプセル映像の中から必要な情報を
直接人間の手で取捨選択できるようにしたので、現在デ
ータベース化されている様々なデータの情報検索に適用
できる。例えば百科辞典検索システム、新聞検索システ
ム、野球情報検索システム、特許検索システム、歴史検
索システム、地図検索システム、医療情報検索システ
ム、電話帳、社内組織検索システム、個人情報検索シス
テムなど枚挙にいとまがない。

【００２７】以下、図１１を参照しながら百科事典検索
システムを例にとって具体的な検索方法を説明する。図
１１は大分類から小分類へと複数の段階の概念を順に絞
り込んでいき、求める項目に到達するという検索方法を
概念的に示したものである。まず始めに前述した３次元
映像空間に大分類情報としてのレベル１のカプセル映像
１１ａ、１１ｂ、１１ｃを表示する。検索者は表示され
たカプセル映像１１の中から自分の知りたい情報である
“歴史”のカプセル映像１１ｂを前述の方法で直接掴
む。すると画面が切り替わり、レベル２のカプセル映像
１３ａ、１３ｂ、１３ｃが表示される。レベル１と同様
に自分の知りたい“地域”のカプセル映像１３ｂを選択
する。レベル１からレベル２への移行と同様に画面が切
り替わり、レベル３のカプセル映像１５ａ、１５ｂ、１
５ｃが表示され、“ヨーロッパ”のカプセル映像１５ｂ
を選択する。これまでの画面展開と同様に画面が切り替
わり、レベル４のカプセル映像１６ａ、１６ｂ、１６ｃ
が表示される。ここで自分の知りたい“ドイツ”のカプ
セル映像１６ｂを選択すると、次の画面にドイツの歴史
情報の選択項目例えば“中世”という年代のカプセル映
像が表示され、これらを順次自分の手で選択していくこ
とによって自分の欲しい情報に到達できる。この検索イ
ンデックスを選択する動作はごく短時間に実行すること
ができる。

【００２８】以上に述べた検索方法は各レベルの画面が
次々に展開する方法を示したが、他の方法でも検索が可
能である。大分類であるレベル１は検索の基準となるの
で最初に選択する必要があるが、レベル２以下のカプセ
ル映像を表示する順序は特に限定されない。例えば、次
に示す３つの順序でも同一の概念に到達することが可能
である。１歴史→地域→ヨーロッパ→ドイツ→時代→中世→宗教２歴史→時代→中世→地域→ヨーロッパ→ドイツ→宗教３歴史→宗教→地域→ヨーロッパ→ドイツ→時代→中世したがってレベル２以下のカプセル映像を映像を表示す
る場合、図１１に示すように複数のレベルを一度に表示
しても良い。また複数の選択画面を介して適当なグルー
プ分けをして例えば図１１のレベル１のみ、あるいはレ
ベル２のみを表示しても良い。

【００２９】次に、図１２及び図１３を参照して検索者
の操作方法について説明する。図１２及び図１３におい
て、検索順序をＳＴＥＰ１〜ＳＴＥＰ６で表しているの
で、以下の説明もこれに従って行う。ＳＴＥＰ１：３次元映像空間に浮かぶように映し出され
た大分類であるレベル１のカプセル映像の中から検索し
ようとしている概念を示すカプセル映像を選択して手、
例えば左手８Ｌで掴む。手で掴んだカプセル映像を例え
ば空間の右側に設けられた保存エリア７に移動させる
（図１２（ａ）参照）。ＳＴＥＰ２：レベル２のカプセル映像の中から自分が必
要な概念を示すカプセル映像を選択して左手８Ｌで掴
み、保存エリア７へ移動させる（図１２（ｂ）参照）。ＳＴＥＰ３：レベル３のカプセル映像の中から自分が必
要な概念を示すカプセル映像を選択して左手８Ｌで掴
み、保存エリア７へ移動させる（図１２（ｃ）参照）。ＳＴＥＰ４：レベル４のカプセル映像の中から自分が必
要な概念を示すカプセル映像を選択して左手８Ｌで掴
み、保存エリア７へ移動させる（図１３（ａ）参照）。ＳＴＥＰ５：レベル５のカプセル映像の中から自分が必
要な概念を示すカプセル映像を選択して左手８Ｌで掴
み、保存エリア７へ移動させる（図１３（ｂ）参照）。ＳＴＥＰ６：次に、選択したカプセル映像が集まってい
る保存エリア７から余分なカプセル映像を左手８Ｌで弾
き飛ばし（図１３（ｃ）参照）、保存エリア７に残った
選択後のカプセル映像を新たに表示された年表を示した
時間座標軸Ｔ上の自分の指定する時間（時期）の位置に
持ってくる（図１４（ａ）参照）。なお、図１３（ｃ）
において、保存エリア７から余分のカプセル映像を弾き
飛ばすのは、その後の検索作業を明瞭かつ簡単にするた
めである。

【００３０】ここで中世の情報が必要な場合は、西暦１
０００年の位置に選択したカプセル映像を持ってくれば
よい（同図（ａ）参照）。また、西暦５００〜１５００
年の範囲の情報が必要な場合は、左手８Ｌで西暦５００
年、右手８Ｒで西暦１５００年を掴んで範囲を示せばよ
い（同図（ｂ）参照）。表示する時点が決まれば、そこ
で求めていた歴史的な事実を所定の出力形式で表示させ
ることができる。これにより一連の検索作業が終了す
る。なお、表示する範囲がある場合は、さらに３次元映
像空間が展開されて詳しく検索していくことになる。処
理終了の合図として、手を裏返したり、カプセル映像を
押しやったりあるいは“終了”を表したカプセル映像を
掴むなどの動作を行えばよい。

【００３１】以上は歴史上の事実を検索する例である
が、たとえば生物の進化の過程を検索する場合、たとえ
ば表示領域の左右方向に時間軸をとれば、手を左右に送
る動作をすることで過去あるいは未来（予想になる）の
情報を検索できる。また、表示領域の奥行き方向に時間
軸を設定すれば、手で呼び込む（あるいは送り出す）操
作によって上述のような時間座標軸に沿って時間因子に
対する検索が直接的かつ容易に行える。情報が時系列的
な因子を含まない情報であれば、その座標軸に「重要
度」を適用して、座標軸に沿ってその座標位置により重
み付けされた情報が表示されるようにすれば良い。ま
た、関連する情報の集合がいくつかある場合には、手で
掴んだ情報に関連する情報だけを表示し直すこともでき
る。これにより大量の情報を取り扱う場合の混乱を防止
できる。

【００３２】次に、図１５〜図１６に同じレベルにある
カプセル映像同士の集合論理演算で絞り込みを行う検索
方法について説明する。図１５（ａ）は、図１３（ａ）
のＳＴＥＰ４と同様の状態からたとえば“米国”のカプ
セル映像５０を取り出し、すでに“歴史”カプセル映像
５４が選択してある保存エリア５１に移動した後、“日
本”のカプセル映像５３ならびに“ドイツ”のカプセル
映像５２を選んで保存エリア５１に入れた状態を示して
いる。次にこの状態から図１３（ｃ）のＳＴＥＰ６と同
様に不必要なカプセル映像を弾き飛ばして“米国”のカ
プセル映像５０と“日本”のカプセル映像５３と“ドイ
ツ”のカプセル映像５２の３つのカプセル映像を表示さ
せる。ここで、同図（ｂ）に示したように“日本”のカ
プセル映像５３と“ドイツ”のカプセル映像５２を右手
８Ｒで掴み、その２つのカプセル映像５２、５３を接触
させる。この動作は２つのカプセル映像５２、５３の論
理積（ＡＮＤ演算）を表し、この２つのカプセル映像５
２、５３に共通の情報が次のステップで検索できる。さ
らに接触させた２つのカプセル映像５２、５３を右手８
Ｒで掴んでおき、左手８Ｌで“米国”のカプセル映像５
０を掴むことで左右に掴んだカプセル映像の論理和（Ｏ
Ｒ演算）を表すことができる。すなわち図１５（ｂ）に
示した状態は、「“日本”のカプセル映像５３と“ドイ
ツ”のカプセル映像５２に共通した情報」と「“米国”
のカプセル映像５０の情報」との集合した情報を取り出
すことを指示していることになる。もちろん、カプセル
映像５２、５３を接触させる動作をカプセル映像５２、
５３の倫理和とし、さらにカプセル映像５０を掴む動作
を論理積として定義することも可能である。このように
複数のカプセル映像をまとめて掴むという２種類の動作
により論理和と論理積とを簡単に表示でき、また検索対
象の集合の指定や変更も容易に行える。

【００３３】次に、図１６によって排他的論理和の検索
動作を説明する。まず、上述した検索方法によって“生
物”→“植物”→“花”の順にカプセル映像を選択して
保存エリアに入れる。次に“植物”の中から“木”を選
択して保存エリアに入れる。この保存エリアから左手８
Ｌで“花”のカプセル映像６１を掴みだし、次に右手８
Ｒで“木”のカプセル映像６３を持ってきて“花”のカ
プセル映像６１に一度接触させてから再び放す。この動
作は排他的論理和を表し、“木”に咲かない“花”ある
いは“花”の咲かない“木”を意味している。この他に
もカプセル映像を掴んでそれを裏返す動作で否定を表す
ことができる。この実施例はこのように掴んだカプセル
映像を接触したり、放したり、裏返したりという自然な
動作で情報の検索が行えるものである。

【００３４】図１７は、本発明の他の実施例による検索
方法の概略図である。図１７において、五十音順あるい
はアルファベット順の用語辞書７０が３次元映像空間に
映し出されている。辞書をひこうとする検索者は手８で
映像である辞書の表面に触れてその頁をパラパラとめく
るように画面をスクロールすることができる。この場
合、左手と右手をたたくことによって頁をめくるように
画面をスクロールすることもできる。そして求める語句
やトピックスがあった場合にはその語句を表示したアイ
コンを辞書からつかみ出すことによって検索対象をダイ
レクトに検索することができる。なお、この辞書の各頁
のすべての語句に相当する部分にはアイコン７２が埋込
んであり、このアイコン７２はカプセル映像と同様に情
報のインデックスとしての機能を果たすことができる。
このようにさまざまなジャンルの用語辞書を用意してお
いてこの方法による検索を行うと、従来のように何冊か
の重い辞書をいちいち持ち運ぶ必要がないので人間の疲
労度を和らげる検索方法となる。

【００３５】図１８は、本発明の他の実施例による検索
方法のうち、カプセル映像に表示されていないキーワー
ドを新たに入力する手段を示している。この入力手段８
０は、空間に表示されたペン８１の形状をしており、操
作者は仮想腕８Ｒ（８Ｌ）でペン８１を掴めるようにな
っている。このとき握った指の間隔を狭めることによっ
てインクが放出され、空間上に文字を描くことができ
る。新たにキーワードを作成する場合は、データベース
を属性管理するために予め設けられた既設の対応インデ
ックスが存在していることが条件となる。

【００３６】このように空間上に文字あるいは図形を描
けることを利用して本発明による情報検索装置を幼児の
教育用の機器として使うことも可能である。この場合、
幼児やお年寄りを含む幅広い年齢層の人々に情報検索や
コンピュータグラフィックスの世界へのインタフェース
を提供することができる。

【００３７】また、空間に使用者の好みに合ったキーボ
ードを表示し、前記手の動き（指の動き）を検出する装
置で入力ができるように構成すれば、現在規格の異なる
様々なキーボードの中から自分に最適のキーボードを使
って入力を行える。本発明では情報検索の際に従来のキ
ーボード操作も併用することができる。

【００３８】なお、図１において、検索者９０の両手に
はめたデーダグローブ９２Ｒ，９２Ｌによって検索者９
０の手の動作パターンを検出し、これを入力情報とした
例を示したが、検索者９０の手の動作パターンに限らず
検索者の頭１１０の動作パターンを立体視装置９１を支
持するヘッドバンド１１２により検出してこれを入力情
報とすることもできる。あるいはまた、検索者９０の足
の動作パターンを提出してもよい。

【００３９】さらに、検索者９０の手または頭の動作パ
ターンをＴＶカメラ１００で検出し、これを入力情報と
して演算部９４に送ることもできる。

【００４０】また、図１において、検索者９０が装着し
たスキーゴーグル状の立体視装置９１によって検索者９
０の眼前に３次元映像空間を映し出した例を示したが、
これに限らず例えば図２０に示すように、検索者９０が
頭１１０からわずかに離れた位置に一対のプライベート
アイ１１４を装着し、このプライベートアイ１１４を用
いて両眼に情報を投影することによって３次元映像空間
を映し出しても良い。プライベートアイ１１４を用いた
場合は、頭１１０に対する圧迫感を減少させることがで
きる。また、３次元映像空間に写し出されるカプセル映
像は、そのカプセルの意味する内容などに応じて任意の
形状に設定することもできる。

【００４１】また、図１および図２において、検索者９
０が立体視装置９１を装着することによって３次元映像
空間を映し出した例を示したが、立体視装置９１の代わ
りに検索者９０が二次元視装置１１６を装着して二次元
映像空間を映し出しても良い。二次元視装置１１６を装
着した場合は、仮想の左手８Ｌおよび右手８Ｒ、および
各種カプセル映像３，４，５，６，７が二次元映像空間
内に映し出される。

【００４２】次に図２１により本発明による情報検索装
置の他の実施例について説明する。図２１において、Ｃ
ＲＴのような平面ディスプレイ画面（表示部）１２１上
に、カプセル映像（インデックス表示体映像）１２４，
１２５，１２６が表示されている。これらカプセル１２
４，１２５，１２６はデータベースを属性管理するイン
デックスの集合を表わしている。

【００４３】また、画面１２１に表示されたカプセル映
像１２４，１２５，１２６に対して、画面１２１上か
ら、実際の右手１４０に把持されたタッチペン１４１を
接触させ、カプセル映像１２４，１２５，１２６に対し
て所定の動作パターンを行なわせるための入力情報を入
力することができる。例えばタッチペン１４１をカプセ
ル映像１２５にタッチし、タッチペン１４１をカプセル
映像１２４側に移行させることによって、カプセル映像
１２５をカプセル映像１２４側にもってきて互いに重ね
合せることができる。

【００４４】すなわち、平面ディスプレイ画面１２１は
演算部１３０に接続され、この演算部１３０においてタ
ッチペン１４１から入力された入力情報を認識し、画面
１２１上にカプセル映像１２４，１２５，１２６の動き
を映し出す。同時に演算部１３０では、タッチペン１４
１から入力された入力情報に基づいてカプセル映像１２
４，１２５，１２６が表示するインデックスの集合演算
を行なう。演算部１３０の演算結果は検索演算部１３１
に入力され、検索演算部１３１からデータベース１３２
に検索データが入力される。

【００４５】図２１において、例えばタッチペン１４１
を用いてカプセル映像１２５をカプセル映像１２４側に
もってきて互いに重ね合せた場合、カプセル映像１２４
と１２５の論理積を表し、演算部１３０においてカプセ
ル映像１２４と１２５のＡＮＤ演算を行なわせることが
できる。これにより、カプセル映像１２５と１２５が表
示する各々のインデックスの共通した情報をデータベー
ス１３２から取出すことができる。

【００４６】次に図２２により、情報検索装置の更に他
の実施例について説明する。図２２において、図２１に
示す部分と同一部分には同一符号を符して詳細な説明は
省略する。

【００４７】図２２において、右手１４０でコード１４
４ａを有する右手用マウス１４４を持ち、操作板（図示
せず）上をすべらせてカプセル映像１４８に対して所定
の動作パターンを行なわせる。また左手１４２でコード
１４６ａを有する左手用マウス１４６を待ち、操作板上
をすべらせてカプセル映像１５０に対して所定の動作パ
ターンを行なわせる。そして、例えば２つのカプセル映
像１４８と１５０を互に重ね合せる。

【００４８】この場合、右手用マウス１４４のコード１
４４ａおよび左手用マウス１４６のコード１４６ａは、
演算部１３０に接続され、この演算部１３０において右
手用マウス１４４および左手用マウス１４６から入力さ
れた入力情報を認識し、画面１２１上にカプセル映像１
４８、１５０の動きを移し出す。同時に演算部１３０で
は右手用マウス１４４および左手用マウス１４６から入
力された入力情報に基づいてカプセル映像１４８、１５
０が表示するインデックスの集合演算を行なう。演算部
１３０の演算結果は検索演算部１３１に入力され、検索
演算部１３１からデータベースに検索データが入力され
る。

【００４９】

【発明の効果】以上に説明したように本発明によれば、
検索者がキーボードの代わりに立体映像空間内または二
次元空間内のインデックス表示体映像を直接操作し、そ
のときの身体の動作パターンにより入力情報を認識し、
演算部が所定のインデックス表示体映像が表示するイン
デックスの集合演算を行ってデータベースの照合検索を
行うため、キーボード等の従来の入力装置の操作に慣れ
ていない一般の人でもデータベース等の大量の情報の中
から自分の希望する検索対象を容易かつ精度良く取り出
すことができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明による情報検索装置により映し出される
３次元映像空間の一実施例と検索者との係わりを仮想的
に示した説明図。

【図２】図１に示した情報検索装置により映し出された
３次元映像空間を示した概念図。

【図３】手の動作パターンの一例を示した説明図。

【図４】手の動作パターンの一例を示した説明図。

【図５】手の動作パターンの一例を示した説明図。

【図６】手の動作パターンの一例を示した説明図。

【図７】手の動作パターンの一例を示した説明図。

【図８】３次元映像空間内での時間座標軸Ｔの概念を示
した説明図。

【図９】３次元映像空間内での時間座標軸Ｔの概念を示
した説明図。

【図１０】３次元映像空間内での時間座標軸Ｔの概念を
示した説明図。

【図１１】本発明による一実施例である百科事典検索シ
ステムの概念の一例を示した階層図。

【図１２】図１１に示した検索システムの検索手順を示
した説明図。

【図１３】図１１に示した検索システムの検索手順を示
した説明図。

【図１４】図１３（ｃ）に示した検索結果の内容を時間
座標軸Ｔによりさらに検索する手順を示した説明図。

【図１５】集合論理演算を行う動作の一例を示した説明
図。

【図１６】集合論理演算を行う動作の一例を示した説明
図。

【図１７】本発明による他の実施例として語句サーチの
一例を示した説明図。

【図１８】本発明による他の実施例として３次元映像空
間に文字を書く動作を示した説明図。

【図１９】データグローブに内蔵された圧感機構を示す
図。

【図２０】頭に装着されたプライベートアイを示す図。

【図２１】カプセル映像を表示する平面ディスプレイ画
面を示す図。

【図２２】カプセル映像を表示する他の平面ディスプレ
イ画面を示す図。

【符号の説明】

１３次元立体映像空間３〜６カプセル映像８Ｒ仮想腕右手８Ｌ仮想腕左手９０検索者９１立体視装置９２入力装置（データグローブ）１００ＴＶカメラ１０１データベース１１２ヘッドバンド１２１平面ディスプレイ画面１４１タッチペン

Claims

【特許請求の範囲】

【請求項１】データベースを属性管理するインデックス
の集合を検索者の視界内の立体映像空間内にインデック
ス表示体映像により表示して視覚的に認識させる立体視
装置と、インデックス表示体映像に対する検索者の身体
の動作パターンを入力情報として検出し上記立体映像空
間内に身体の動作パターンを表示する入力装置と、この
入力装置を介して入力された身体の動作パターンによる
入力情報を認識し、所定のインデックス表示体映像が表
示するインデックスの集合演算を行なうことにより上記
データベースの照合検索を行なう演算部とを備えたこと
を特徴とする情報検索装置。
【請求項２】入力装置は検索者の手の動作パターンを入
力情報として検出し、立体視装置の立体映像空間内に手
の動作パターンを表示することを特徴とする請求項１記
載の情報検索装置。
【請求項３】立体視装置は立体映像空間内に設定された
時間座標軸にインデックス表示体映像を表示し、演算部
は所定のインデックス表示体映像が表示するインデック
スの集合演算を時系列により行なうことを特徴とする請
求項１記載の情報検索装置。
【請求項４】データベースを属性管理するインデックス
の集合を検索者の視界内の二次元映像空間内にインデッ
クス表示体映像により表示して視覚的に認識させる二次
元視装置と、インデックス表示体映像に対する検索者の
身体の動作パターンを入力情報として検出し上記二次元
映像空間内にこの動作パターンを表示する入力装置と、
この入力装置を介して入力された身体の動作パターンに
よる入力情報を認識し、所定のインデックス表示体映像
が表示するインデックスの集合演算を行なうことにより
上記データベースの照合検索を行なう演算部とを備えた
ことを特徴とする情報検索装置。